আমার স্পার্ক ইউআই থেকে এড়িয়ে যাওয়া মানে কী?
আমার স্পার্ক ইউআই থেকে এড়িয়ে যাওয়া মানে কী?
উত্তর:
সাধারণত এর অর্থ হ'ল ডেটা ক্যাশে থেকে আনা হয়েছে এবং প্রদত্ত পর্যায়ে পুনরায় সম্পাদন করার প্রয়োজন ছিল না। এটি আপনার ডিএজি এর সাথে সামঞ্জস্যপূর্ণ যা দেখায় যে পরবর্তী পর্যায়ে বদলানো প্রয়োজন ( reduceByKey)। যখনই সেখানে জড়িত জড়িত থাকে স্পার্ক স্বয়ংক্রিয়ভাবে উত্পন্ন ডেটা ক্যাশে করে :
শিফেল ডিস্কে প্রচুর সংখ্যক ইন্টারমিডিয়েট ফাইল তৈরি করে। স্পার্ক ১.৩ হিসাবে, সম্পর্কিত আরডিডি আর ব্যবহার না করা এবং আবর্জনা সংগ্রহ না করা অবধি এই ফাইলগুলি সংরক্ষণ করা হয়। এটি সম্পন্ন করা হয়েছে যাতে বংশটি পুনরায় গণনা করা হয় তবে শাফল ফাইলগুলি পুনরায় তৈরি করার দরকার নেই।