সোজা ঘোড়ার মুখ থেকে :
হ্যাডোপ হল পণ্য হার্ডওয়্যার দ্বারা নির্মিত বৃহত ক্লাস্টারে অ্যাপ্লিকেশন চালানোর জন্য একটি কাঠামো। হ্যাডোপ ফ্রেমওয়ার্কটি স্বচ্ছভাবে অ্যাপ্লিকেশনগুলিকে নির্ভরযোগ্যতা এবং ডেটা গতি সরবরাহ করে। হ্যাডোপ মানচিত্র / রেডুউস নামে একটি গণনামূলক দৃষ্টান্ত প্রয়োগ করে, যেখানে অ্যাপ্লিকেশনটি অনেকগুলি ছোট ছোট টুকরো টুকরো টুকরো করে বিভক্ত, যার প্রত্যেকটিই ক্লাস্টারের কোনও নোডে এক্সিকিউট করা বা পুনরায় সংযুক্ত হতে পারে। এছাড়াও, এটি একটি বিতরণকৃত ফাইল সিস্টেম (এইচডিএফএস) সরবরাহ করে যা ক্লাস্টার জুড়ে খুব উচ্চতর সমষ্টিগত ব্যান্ডউইথ সরবরাহ করে কম্পিউট নোডগুলিতে ডেটা সঞ্চয় করে। উভয় মানচিত্র / হ্রাস এবং বিতরণ করা ফাইল সিস্টেম এমনভাবে নকশা করা হয়েছে যাতে নোড ব্যর্থতা স্বয়ংক্রিয়ভাবে কাঠামোর দ্বারা পরিচালিত হয়।
মানচিত্র / হ্রাস হ'ল এমন একটি প্রোগ্রামিং দৃষ্টান্ত যা গুগল জনপ্রিয় করে তুলেছিল যেখানে কোনও কাজকে ছোট ছোট ভাগে ভাগ করা হয় এবং প্রসেসিংয়ের জন্য প্রচুর সংখ্যক নোডে বিতরণ করা হয় (মানচিত্র) এবং ফলাফলগুলি পরে চূড়ান্ত উত্তরে সংক্ষিপ্ত করা হয় (হ্রাস) )। গুগল এবং ইয়াহু অন্যান্য জিনিসগুলির সাথে তাদের অনুসন্ধান ইঞ্জিন প্রযুক্তির জন্য এটি ব্যবহার করে।
হাদুপ এই জাতীয় প্রক্রিয়াকরণ প্রকল্পটি বাস্তবায়নের জন্য একটি সাধারণ কাঠামো। কেন এটি গাধাটিকে লাথি দেয়, বেশিরভাগ কারণ এটি ত্রুটি সহনশীলতার মতো ঝরঝরে বৈশিষ্ট্য সরবরাহ করে এবং প্রসেসিংয়ের জন্য আপনাকে কোনও ধরণের হার্ডওয়ার একসাথে আনতে দেয়। এটি খুব ভাল স্কেল করে, আপনার সমস্যাটি দৃষ্টান্তের সাথে ফিট করে।
আপনি এটি ওয়েবসাইটে পড়তে পারেন ।
কিছু উদাহরণ হিসাবে, পল কয়েকটি দিয়েছেন, তবে এখানে আপনি আরও কিছু করতে পারেন যা ওয়েব কেন্দ্রিক নয়:
- একটি 3D চলচ্চিত্র রেন্ডারিং। "মানচিত্র" পদক্ষেপটি প্রতিটি ফ্রেমের জন্য জ্যামিতিকে একটি ভিন্ন নোডে বিতরণ করে, নোডগুলি এটি রেন্ডার করে এবং রেন্ডার করা ফ্রেমগুলি "হ্রাস" পদক্ষেপে পুনরায় সমন্বিত হয়।
- একটি আণবিক মডেল একটি সিস্টেমের মধ্যে শক্তি গণনা। সিস্টেম ট্রাজেক্টোরির প্রতিটি ফ্রেম "মানচিত্র" পদক্ষেপে একটি নোডে বিতরণ করা হয়। নোডগুলি প্রতিটি ফ্রেমের জন্য শক্তি গণনা করে
এবং তারপরে ফলাফলগুলি "হ্রাস" পদক্ষেপে সংক্ষিপ্ত করা হয়।
মূলত মডেল এমন সমস্যার জন্য খুব ভাল কাজ করে যা সম্পূর্ণরূপে স্বতন্ত্র মত একই রকমের আলাদা আলাদা কম্পিউটারে বিভক্ত হয়ে যায় এবং একটি চূড়ান্ত ফলাফল তৈরির জন্য পুনরায় সংযুক্ত করা যায়।