মানচিত্রের জন্য একটি খুব সহজ , দ্রুত এবং "ডামিদের জন্য" পরিচিতিটি এখানে পাওয়া যায়: http://www.marcolotz.com/?p=67
এর কিছু বিষয়বস্তু পোস্ট করা:
প্রথমত, মানচিত্রের মূলত কেন তৈরি করা হয়েছিল?
মূলত গুগলের বৃহত গণনার কাজগুলিকে সহজেই সমান্তরাল করে তোলার জন্য একটি সমাধানের প্রয়োজন ছিল, যাতে নেটওয়ার্কের মাধ্যমে সংযুক্ত বেশ কয়েকটি মেশিনে ডেটা বিতরণ করা যায়। এদিকে, এটিকে স্বচ্ছ উপায়ে মেশিনের ব্যর্থতা পরিচালনা করতে হবে এবং ভারসাম্য রোধের সমস্যাগুলি পরিচালনা করতে হবে।
মানচিত্রের আসল শক্তি কী?
কেউ বলতে পারেন যে ম্যাপ্রেডস যাদুটি মানচিত্র এবং হ্রাস ফাংশন অ্যাপ্লিকেশানের উপর ভিত্তি করে। আমার অবশ্যই সাথীকে স্বীকার করতে হবে, আমি দৃ strongly়ভাবে একমত নই। ম্যাপরেডুসকে এত জনপ্রিয় করে তুলেছে যে প্রধান বৈশিষ্ট্যটি হ'ল সাধারণ ইন্টারফেসের সাথে মিলিত করে এটি স্বয়ংক্রিয় সমান্তরালকরণ এবং বিতরণ করার ক্ষমতা cap এই ত্রুটিটিকে এত জনপ্রিয় করে তুলেছে বেশিরভাগ ত্রুটির জন্য স্বচ্ছ ব্যর্থতা পরিচালনার সাথে সংযুক্ত এই ফ্যাক্টরটি।
কাগজে আরও কিছু গভীরতা:
সমান্তরাল পদ্ধতির এবং পণ্য-কম্পিউটার ক্লাস্টারগুলি ব্যবহার করে বিগ ডেটাতে গণনা করার সমাধান হিসাবে ম্যাপ্রেডস মূলত একটি গুগল পেপারে (ডিন ও ঘেমাওয়াত, 2004 - এখানে লিঙ্ক) উল্লেখ করা হয়েছিল। হ্যাডোপের বিপরীতে, এটি জাভাতে লেখা, গুগলের কাঠামোটি সি ++ তে লেখা হয়। দস্তাবেজটি বর্ণনা করে যে কীভাবে একটি সমান্তরাল কাঠামোটি মানচিত্র ব্যবহার করে আচরণ করবে এবং বৃহত ডেটা সেটগুলিতে ফাংশনাল প্রোগ্রামিং থেকে ফাংশন হ্রাস করবে।
এই সমাধানে দুটি প্রধান পদক্ষেপ থাকবে - যাকে বলা হয় মানচিত্র এবং হ্রাস - প্রথম এবং দ্বিতীয়টির মধ্যে একটি stepচ্ছিক পদক্ষেপ - যাকে সম্মিলন বলা হয়। মানচিত্রের পদক্ষেপটি প্রথমে চলবে, ইনপুট কী-মান জোড়ায় গণনা করবে এবং একটি নতুন আউটপুট কী-মান তৈরি করবে। একটি অবশ্যই মনে রাখতে হবে যে ইনপুট কী-মান জোড়ার ফর্ম্যাটটি আউটপুট ফর্ম্যাট জুটির সাথে প্রয়োজনীয়ভাবে মেলে না। হ্রাস পদক্ষেপ এটি একই কী এর সমস্ত মান একত্রিত করবে, এটির উপরে অন্যান্য গণনা সম্পাদন করবে। ফলস্বরূপ, এই শেষ পদক্ষেপটি মূল-মান জোড়া আউটপুট করে। শব্দ সংখ্যা গণনা করা মানচিত্রের সবচেয়ে তুচ্ছ অ্যাপ্লিকেশনগুলির মধ্যে একটি।
এই অ্যাপ্লিকেশনটির সিউডো-কোডটি দেওয়া হয়েছে:
map(String key, String value):
// key: document name
// value: document contents
for each word w in value:
EmitIntermediate(w, “1”);
reduce(String key, Iterator values):
// key: a word
// values: a list of counts
int result = 0;
for each v in values:
result += ParseInt(v);
Emit(AsString(result));
যেহেতু কেউ লক্ষ্য করতে পারে, মানচিত্রটি একটি রেকর্ডে সমস্ত শব্দ পড়ে (এই ক্ষেত্রে একটি রেকর্ড একটি লাইন হতে পারে) এবং একটি কী হিসাবে এবং 1 নম্বর হিসাবে শব্দটি প্রকাশ করে। পরে, হ্রাসগুলি একই কী এর সমস্ত মানকে গ্রুপ করবে। আসুন একটি উদাহরণ দিন: কল্পনা করুন যে 'বাড়ি' শব্দটি রেকর্ডটিতে তিনবার উপস্থিত হয়েছে। হ্রাসকারীর ইনপুটটি হবে [বাড়ি, [1,1,1]]। হ্রাসকারীটিতে, এটি মূল ঘরের জন্য সমস্ত মানগুলির সংমিশ্রণ করবে এবং আউটপুট হিসাবে নিম্নলিখিত মূল মানটি দেবে: [বাড়ি, [৩]]।
মানচিত্রের ফ্রেমওয়ার্কে এটি কীভাবে প্রদর্শিত হবে তার একটি চিত্র এখানে রয়েছে:
মানচিত্রার অ্যাপ্লিকেশনগুলির কয়েকটি অন্যান্য ধ্রুপদী উদাহরণ হিসাবে, কেউ বলতে পারেন:
URL ইউআরএল অ্যাক্সেস ফ্রিকোয়েন্সি গণনা
বিপরীত ওয়েব লিঙ্ক গ্রাফ
• বিতরণ গ্রেপ
হোস্টের জন্য m টার্ম ভেক্টর
অতিরিক্ত নেটওয়ার্ক ট্র্যাফিক এড়ানোর জন্য, কাগজটি বর্ণনা করে যে কীভাবে ফ্রেমওয়ার্কটি ডেটার লোকাল বজায় রাখতে চেষ্টা করা উচিত। এর অর্থ এই যে সর্বদা এটি নিশ্চিত করার চেষ্টা করা উচিত যে কোনও মেশিনে চলমান মেশিনের নেটওয়ার্ক থেকে এটি আনতে এড়ানো এড়িয়ে যাওয়ার স্মৃতি / স্থানীয় স্টোরেজে ডেটা রয়েছে। একটি ম্যাপার লাগানোর মাধ্যমে নেটওয়ার্ক হ্রাস করার লক্ষ্যে, আগে বর্ণিত alচ্ছিক সংযোজক পদক্ষেপটি ব্যবহৃত হয়। কম্বিনার রেডুসারদের প্রেরণের আগে প্রদত্ত মেশিনে ম্যাপারগুলির আউটপুট নিয়ে গণনা সম্পাদন করে - এটি অন্য কোনও মেশিনে থাকতে পারে।
নথিতেও বর্ণনা করা হয়েছে যে ত্রুটির ক্ষেত্রে কাঠামোর উপাদানগুলি কীভাবে আচরণ করা উচিত। কাগজে এই উপাদানগুলিকে কর্মী এবং মাস্টার হিসাবে ডাকা হয়। ওপেন সোর্স বাস্তবায়নের ক্ষেত্রে এগুলিকে আরও নির্দিষ্ট উপাদানগুলিতে ভাগ করা হবে। যেহেতু গুগল কেবল কাগজে এই পদ্ধতির বর্ণনা দিয়েছে এবং এর মালিকানাধীন সফ্টওয়্যার প্রকাশ করেছে না, তাই মডেলটি বাস্তবায়নের জন্য অনেকগুলি মুক্ত-উত্স কাঠামো তৈরি করা হয়েছিল। উদাহরণ হিসাবে কেউ হ্যাডোপ বা মঙ্গোডিবি-তে সীমিত মানচিত্রের বৈশিষ্ট্য বলতে পারে।
রান-টাইমটি অ-বিশেষজ্ঞ প্রোগ্রামারদের বিশদ যেমন: ইনপুট ডেটা বিভাজন করা, মেশিনের বৃহত সেট জুড়ে প্রোগ্রামের নির্ধারনের সময়সূচি নির্ধারণ করা, মেশিন ব্যর্থতাগুলি পরিচালনা করা (অবশ্যই স্বচ্ছ উপায়ে) এবং আন্তঃ-মেশিন যোগাযোগ পরিচালনা করা উচিত । একজন অভিজ্ঞ ব্যবহারকারী এই পরামিতিগুলি টিউন করতে পারেন, কীভাবে শ্রমিকদের মধ্যে ইনপুট ডেটা বিভক্ত হবে।
মূল ধারণা:
• ফল্ট অভ্যস্ত:এটি অবশ্যই মেশিনের ব্যর্থতা গ্রেপ্তার সহ্য করতে হবে। এটি সম্পাদন করার জন্য, মাস্টার পর্যায়ক্রমে শ্রমিকদের pings। মাস্টার যদি একটি নির্দিষ্ট সময়ের মধ্যে কোনও প্রদত্ত শ্রমিকের কাছ থেকে প্রতিক্রিয়া না পান তবে মাস্টার সেই কর্মীকে ব্যর্থ বলে কাজটিকে সংজ্ঞায়িত করবেন। এই ক্ষেত্রে, ত্রুটিযুক্ত শ্রমিক দ্বারা সম্পন্ন সমস্ত মানচিত্রের কাজগুলি ফেলে দেওয়া হয় এবং অন্য উপলব্ধ কর্মীকে দেওয়া হয়। একইভাবে ঘটে যদি শ্রমিক এখনও কোনও মানচিত্র বা একটি হ্রাস টাস্ক প্রক্রিয়াজাত করে। মনে রাখবেন যে কর্মী যদি ইতিমধ্যে এর হ্রাস অংশটি সম্পন্ন করে থাকে তবে সমস্ত ব্যর্থতার ব্যর্থতার সময় ইতিমধ্যে সমস্ত গণনা শেষ হয়ে গিয়েছিল এবং পুনরায় সেট করার দরকার নেই। ব্যর্থতার প্রাথমিক পয়েন্ট হিসাবে, মাস্টার যদি ব্যর্থ হয় তবে সমস্ত কাজ ব্যর্থ হয়। এই কারণে, কেউ তার ডেটা কাঠামোটি সংরক্ষণ করার জন্য মাস্টারের জন্য পর্যায়ক্রমিক চেকপয়েন্টগুলি সংজ্ঞায়িত করতে পারে।
Ity লোকেশন: নেটওয়ার্ক ট্র্যাফিক এড়ানোর জন্য, ফ্রেমওয়ার্কটি নিশ্চিত করার চেষ্টা করে যে সমস্ত ইনপুট ডেটা মেশিনগুলিতে স্থানীয়ভাবে উপলব্ধ রয়েছে যা সেগুলিতে কম্পিউটার তৈরি করতে চলেছে। মূল বিবরণে, এটি প্রতিলিপি ফ্যাক্টর 3 এবং ব্লক আকার 64 এমবি সহ গুগল ফাইল সিস্টেম (জিএফএস) ব্যবহার করে। এর অর্থ 64৪ মেগাবাইটের একই ব্লকের (যেটি ফাইল সিস্টেমে একটি ফাইল রচনা করে) তিনটি পৃথক মেশিনে অভিন্ন অনুলিপি রাখবে। মাস্টার জানেন যে কোথায় ব্লক রয়েছে এবং সেই মেশিনে মানচিত্রের কাজের সময় নির্ধারণের চেষ্টা করুন। যদি এটি ব্যর্থ হয় তবে মাস্টার টাস্ক ইনপুট ডেটার (যেমন ডেটা মেশিনের একই র্যাকের একটি ওয়ার্কার মেশিন) এর একটি প্রতিরূপের কাছে একটি মেশিন বরাদ্দ দেওয়ার চেষ্টা করেন।
• টাস্ক গ্র্যানুলারিটিপরিবর্তন: ধরে নেওয়া যাক প্রতিটি মানচিত্র ফেজ এম টুকরা বিভক্ত করা হয় এবং প্রতিটি কমাতে ফেজ আর টুকরা বিভক্ত করা হয় যে, আদর্শ হতে হবে যে M এবং আর কর্মী মেশিন সংখ্যার চেয়ে অনেক বড় হয়। এই কারণে যে কোনও শ্রমিক অনেকগুলি বিভিন্ন কার্য সম্পাদন করে গতিশীল লোড ভারসাম্য উন্নত করে। এ ছাড়াও, কর্মী ব্যর্থ হওয়ার ক্ষেত্রে এটি পুনরুদ্ধারের গতি বাড়িয়ে তোলে (যেহেতু এটি সম্পন্ন বহু মানচিত্রের কাজ অন্যান্য সমস্ত মেশিনে ছড়িয়ে দেওয়া যেতে পারে)।
• ব্যাকআপ টাস্ক: কখনও কখনও, একটি মানচিত্র বা রিডুসার কর্মী ক্লাস্টারের অন্যদের তুলনায় অনেক বেশি ধীর আচরণ করতে পারে। এটি মোট প্রসেসিং সময় ধরে রাখতে পারে এবং এটিকে একক ধীর মেশিনের প্রক্রিয়াকরণের সময়ের সমান করে তুলতে পারে। মূল কাগজটি ব্যাকআপ টাস্ক নামে একটি বিকল্প বর্ণনা করে, যা কোনও মানচিত্রের অপারেশন সমাপ্তির কাছাকাছি হলে মাস্টার দ্বারা নির্ধারিত হয়। এগুলি হ'ল কার্যগুলি যা অগ্রগতিমূলক কাজের মাস্টার দ্বারা নির্ধারিত হয়। সুতরাং, প্রাথমিক বা ব্যাকআপ শেষ হলে মানচিত্রে অপারেশন সম্পূর্ণ হয়।
• কাউন্টার: কখনও কখনও এক ঘটনা ঘটনা গণনা ইচ্ছা হতে পারে। এই কারণে, গণনা করা হয়েছে যেখানে তৈরি। প্রতিটি শ্রমিকের পাল্টা মানগুলি পর্যায়ক্রমে মাস্টারের কাছে প্রচার করা হয়। তারপরে মাস্টার একত্রিত হন (হ্যাঁ। প্রাগেল এগ্রিগেটরগুলি মনে হয় এই জায়গা থেকে এসেছে) একটি সফল মানচিত্রের পাল্টা মানগুলি এবং কার্য হ্রাস করে এবং মানচিত্রের ক্রিয়াকলাপটি সম্পূর্ণ হওয়ার পরে তাদের ব্যবহারকারীর কোডে ফিরিয়ে দিন। মাস্টার স্ট্যাটাসে একটি বর্তমান কাউন্টার মানও পাওয়া যায়, সুতরাং কোনও প্রক্রিয়া পর্যবেক্ষণকারী একজন মানুষ এটি কীভাবে আচরণ করছে তা ট্র্যাক রাখতে পারে।
ঠিক আছে, আমি উপরের সমস্ত ধারণাটি নিয়ে অনুমান করি, হাদুপ আপনার জন্য কেকের টুকরো হবে। মূল মানচিত্রের নিবন্ধ বা সম্পর্কিত কিছু সম্পর্কে আপনার যদি কোনও প্রশ্ন থাকে তবে দয়া করে আমাকে জানান।