হাদুপ কী এবং এটি কীসের জন্য ব্যবহৃত হয়? [বন্ধ]


28

আমি কিছুক্ষণের জন্য সার্ভারফল্ট পড়া উপভোগ করছি এবং আমি হ্যাডোপের বেশ কয়েকটি বিষয় নিয়ে এসেছি। এটি বিশ্বব্যাপী দৃষ্টিকোণ থেকে কী করে তা খুঁজে পেতে আমার একটু সমস্যা হয়েছে।

সুতরাং আমার প্রশ্নটি বেশ সহজ: হ্যাডোপ কী? এটার কাজ কি ? এটা কি কাজে লাগে ? পাছায় লাথি মারছে কেন?

সম্পাদনা করুন: হ্যাডোপ ব্যবহৃত হয়েছে এমন কেসগুলির যদি ব্যবহারের ক্ষেত্রে বিক্ষোভ / ব্যাখ্যা থাকে তবে তা দুর্দান্ত।


ফেসবুক হ্যাডোপের ভারী ব্যবহার করে (হুডুপের উপরে একটি স্তর যা সত্যই হুভ হয়)। ফেসবুক ইঞ্জিনিয়ারিং পাতায় এটির একটি ভাল লেখার ব্যবস্থা রয়েছে। facebook.com/note.php?note_id=89508453919
জন মেঘের

হ্যাডোপ হ'ল একটি কাঠামো যা নোড / সার্ভারের মধ্যে ডেটা ক্লাস্টার বিতরণ করে এবং প্রক্রিয়াটিকে সমান্তরালভাবে চালিত করে প্রচুর পরিমাণে ডেটা ( বিগ ডেটা ) প্রক্রিয়াকরণকে সহজ করে তোলে । এই প্রক্রিয়া / অ্যালগরিদম ম্যাপ্রেডুস হিসাবে পরিচিত।
মিস্টার_গ্রীন

উত্তর:


26

সোজা ঘোড়ার মুখ থেকে :

হ্যাডোপ হল পণ্য হার্ডওয়্যার দ্বারা নির্মিত বৃহত ক্লাস্টারে অ্যাপ্লিকেশন চালানোর জন্য একটি কাঠামো। হ্যাডোপ ফ্রেমওয়ার্কটি স্বচ্ছভাবে অ্যাপ্লিকেশনগুলিকে নির্ভরযোগ্যতা এবং ডেটা গতি সরবরাহ করে। হ্যাডোপ মানচিত্র / রেডুউস নামে একটি গণনামূলক দৃষ্টান্ত প্রয়োগ করে, যেখানে অ্যাপ্লিকেশনটি অনেকগুলি ছোট ছোট টুকরো টুকরো টুকরো করে বিভক্ত, যার প্রত্যেকটিই ক্লাস্টারের কোনও নোডে এক্সিকিউট করা বা পুনরায় সংযুক্ত হতে পারে। এছাড়াও, এটি একটি বিতরণকৃত ফাইল সিস্টেম (এইচডিএফএস) সরবরাহ করে যা ক্লাস্টার জুড়ে খুব উচ্চতর সমষ্টিগত ব্যান্ডউইথ সরবরাহ করে কম্পিউট নোডগুলিতে ডেটা সঞ্চয় করে। উভয় মানচিত্র / হ্রাস এবং বিতরণ করা ফাইল সিস্টেম এমনভাবে নকশা করা হয়েছে যাতে নোড ব্যর্থতা স্বয়ংক্রিয়ভাবে কাঠামোর দ্বারা পরিচালিত হয়।

মানচিত্র / হ্রাস হ'ল এমন একটি প্রোগ্রামিং দৃষ্টান্ত যা গুগল জনপ্রিয় করে তুলেছিল যেখানে কোনও কাজকে ছোট ছোট ভাগে ভাগ করা হয় এবং প্রসেসিংয়ের জন্য প্রচুর সংখ্যক নোডে বিতরণ করা হয় (মানচিত্র) এবং ফলাফলগুলি পরে চূড়ান্ত উত্তরে সংক্ষিপ্ত করা হয় (হ্রাস) )। গুগল এবং ইয়াহু অন্যান্য জিনিসগুলির সাথে তাদের অনুসন্ধান ইঞ্জিন প্রযুক্তির জন্য এটি ব্যবহার করে।

হাদুপ এই জাতীয় প্রক্রিয়াকরণ প্রকল্পটি বাস্তবায়নের জন্য একটি সাধারণ কাঠামো। কেন এটি গাধাটিকে লাথি দেয়, বেশিরভাগ কারণ এটি ত্রুটি সহনশীলতার মতো ঝরঝরে বৈশিষ্ট্য সরবরাহ করে এবং প্রসেসিংয়ের জন্য আপনাকে কোনও ধরণের হার্ডওয়ার একসাথে আনতে দেয়। এটি খুব ভাল স্কেল করে, আপনার সমস্যাটি দৃষ্টান্তের সাথে ফিট করে।

আপনি এটি ওয়েবসাইটে পড়তে পারেন ।

কিছু উদাহরণ হিসাবে, পল কয়েকটি দিয়েছেন, তবে এখানে আপনি আরও কিছু করতে পারেন যা ওয়েব কেন্দ্রিক নয়:

  • একটি 3D চলচ্চিত্র রেন্ডারিং। "মানচিত্র" পদক্ষেপটি প্রতিটি ফ্রেমের জন্য জ্যামিতিকে একটি ভিন্ন নোডে বিতরণ করে, নোডগুলি এটি রেন্ডার করে এবং রেন্ডার করা ফ্রেমগুলি "হ্রাস" পদক্ষেপে পুনরায় সমন্বিত হয়।
  • একটি আণবিক মডেল একটি সিস্টেমের মধ্যে শক্তি গণনা। সিস্টেম ট্রাজেক্টোরির প্রতিটি ফ্রেম "মানচিত্র" পদক্ষেপে একটি নোডে বিতরণ করা হয়। নোডগুলি প্রতিটি ফ্রেমের জন্য শক্তি গণনা করে
    এবং তারপরে ফলাফলগুলি "হ্রাস" পদক্ষেপে সংক্ষিপ্ত করা হয়।

মূলত মডেল এমন সমস্যার জন্য খুব ভাল কাজ করে যা সম্পূর্ণরূপে স্বতন্ত্র মত একই রকমের আলাদা আলাদা কম্পিউটারে বিভক্ত হয়ে যায় এবং একটি চূড়ান্ত ফলাফল তৈরির জন্য পুনরায় সংযুক্ত করা যায়।


আপনার উত্তর করার জন্য আপনাকে ধন্যবাদ। সুতরাং মূলত এটি অ্যাপস লাগে (পিএইচপি? জাভা?) এবং এটি সেগুলি ভেঙে দেয় এবং একগুচ্ছ নোডের মধ্যে কাজটি প্রেরণ করে? এইচডিএফএসের জন্য, এটি এক ধরণের নোড বাদে ওসিএফএসের মতো?
এন্টোইন বেনেকমুন

এই aswell আগ্রহী। যদিও আমি আরও কিছু নির্দিষ্ট, বাস্তব শব্দের উদাহরণ দেখতে চাই।
ক্যারোলিস টি।

আমি এটিও সন্ধান করছিলাম :-)
এন্টোইন বেনকামাউন

10

ক্লৌডের কাছে কিছু দুর্দান্ত ভিডিও রয়েছে যা মানচিত্র হ্রাস এবং হাদুপের পিছনে নীতিগুলি ব্যাখ্যা করে।

http://www.cloudera.com/hadoop-training-basic

ম্যাপ্রেডিউসের পিছনে মূল ধারণাগুলির মধ্যে একটি হ'ল বড় ডেটা সেটগুলির জন্য আপনি আপনার ডিস্কে আবদ্ধ হতে চলেছেন, সুতরাং হ্যাডোপ এইচডিএফসে আপনাকে সমান্তরাল প্রক্রিয়াকরণ সক্ষম করে প্রচুর নোডের মধ্যে জিনিসগুলি বিভক্ত করার ক্ষমতা দেয়।

সিস্টেম অ্যাডমিনিস্ট্রেটরদের আগ্রহের হডোপের কিছু ব্যবহার প্রায়শই বড় লগ ফাইল সেটগুলি প্রক্রিয়াজাতকরণের আশেপাশে থাকে - আমি কেবল একটি লিঙ্ক পোস্ট করতে পারি তবে এর মধ্যে অন্তর্ভুক্ত রয়েছে, গুগল এগুলি খুঁজে পাওয়া উচিত:

  1. র‌্যাকস্পেস মেল লগ ক্যোয়ারী
  2. শুকরের সাথে অ্যাপাচি লগ বিশ্লেষণ - ক্লৌডের ব্লগ দেখুন
  3. ইয়াহু স্প্যাম যুদ্ধ

দেখতে দেখতে দুর্দান্ত
লাগছে

1

ওএলএপি পরিবেশে প্রচুর পরিমাণে ডেটা সেটের জন্য প্রাথমিকভাবে হ্যাডোপ তৈরি করা হয়।

হ্যাডোপের শীর্ষে Hbase প্রবর্তনের সাথে, ওএলএপি প্রসেসিংয়ের জন্যও বেত ব্যবহার করা যেতে পারে। হ্যাডোপ হ'ল মানচিত্র হ্রাস, এইচডিএফএস, এইচবিএস, পিগের মতো সমস্ত উপ-উপাদানগুলির একটি কাঠামো।

হ্যাডোপ কেন হ্যাডুপে বেসিকের বেসিক নিয়ে নিবন্ধটি প্রবর্তিত হয়

হাদুপে, টেবিল, কলামগুলিতে নয়, ফাইল আকারে ডেটা স্টোরেজ।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.