প্রথমত shufflingহ'ল ম্যাপারগুলি থেকে হ্রাসকারীদের কাছে ডেটা স্থানান্তর করার প্রক্রিয়া, তাই আমি মনে করি এটি স্পষ্টতই যে এটি হ্রাসকারীদের জন্য প্রয়োজনীয়, অন্যথায়, তাদের কোনও ইনপুট (বা প্রতিটি ম্যাপার থেকে ইনপুট) রাখতে সক্ষম হবে না । কিছুটা সময় বাঁচানোর জন্য মানচিত্রের পর্ব শেষ হওয়ার আগেই বদলানো শুরু হতে পারে। এজন্য আপনি যখন মানচিত্রের স্থিতিটি 100% না থেকে 0% (তবে 33% এরও কম) এর চেয়ে বেশি হ্রাসের স্থিতি দেখতে পাবেন।
Sortingরিডুসারের জন্য সময় সাশ্রয় করে, যখন কোনও নতুন হ্রাস কার্য শুরু করা উচিত তখন সহজেই পার্থক্য করতে সহায়তা করে। এটি সহজেই নতুন কমানোর কাজ শুরু করে, যখন সাজানো ইনপুট ডেটার পরবর্তী কীটি কেবল সহজভাবে বলা যায়। প্রতিটি হ্রাস টাস্কটি মূল-মান জোড়গুলির একটি তালিকা নেয়, তবে এটি হ্রাস () পদ্ধতিতে কল করতে হয় যা একটি কী-তালিকা (মান) ইনপুট নেয়, তাই এটি কী দ্বারা মানগুলি গোষ্ঠীভুক্ত করতে হয়। এটি করা সহজ, যদি ইনপুট ডেটা মানচিত্রের পর্যায়ে প্রাক স্থানীয়ভাবে সাজানো হয় (স্থানীয়ভাবে) এবং কেবল হ্রাস পর্বের মধ্যে সজ্জিত করা হয় (যেহেতু হ্রাসকারীরা অনেক ম্যাপার থেকে ডেটা পান)।
Partitioning, যেগুলির একটি উত্তরে আপনি উল্লেখ করেছেন, এটি একটি আলাদা প্রক্রিয়া। এটি নির্ধারণ করে যে কোন রিডুসার একটি (কী, মান) জোড়, মানচিত্রের পর্বের আউটপুট প্রেরণ করা হবে। ডিফল্ট পার্টিশনারে কীগুলি হ্রাস করার কাজে বিতরণ করতে একটি হ্যাশিং ব্যবহার করে তবে আপনি এটিকে ওভাররাইড করতে এবং আপনার নিজস্ব কাস্টম পার্টিশনারের ব্যবহার করতে পারেন।
এই পদক্ষেপগুলির জন্য তথ্যের একটি দুর্দান্ত উত্স হ'ল এই ইয়াহু টিউটোরিয়াল ।
এটির একটি দুর্দান্ত গ্রাফিকাল উপস্থাপনা নিম্নলিখিত: (এই চিত্রটিতে নকল "বলা হয়")
মনে রাখবেন shufflingএবং sortingআপনি শূন্য হ্রাসকারীদের (setNumReduceTasks (0)) নির্দিষ্ট করে নিলে এবং সম্পাদিত হয় না। তারপরে, মানচিত্রের কাজটি মানচিত্রের পর্যায়ে থামবে এবং মানচিত্রের পর্যায়ে কোনও ধরণের বাছাই করা অন্তর্ভুক্ত হবে না (তাই এমনকি মানচিত্রের পর্বটি আরও দ্রুত)।
আপডেট: যেহেতু আপনি আরও সরকারী কিছু সন্ধান করছেন, আপনি টম হোয়াইটের বই "হ্যাডোপ: দ্য সংজ্ঞা নির্দেশিকা "ও পড়তে পারেন। এখানে আপনার প্রশ্নের আকর্ষণীয় অংশ।
টম হোয়াইট ফেব্রুয়ারী ২০০ February সাল থেকে অ্যাপাচি হ্যাডোপ প্রতিশ্রুতিবদ্ধ এবং অ্যাপাচি সফটওয়্যার ফাউন্ডেশনের সদস্য, সুতরাং আমার ধারণা এটি বেশ বিশ্বাসযোগ্য এবং অফিসিয়াল ...
