লোকদের তাদের ডেটা প্রক্রিয়া করতে সহায়তা করার জন্য অনেক সরঞ্জাম / ফ্রেমওয়ার্ক সম্পর্কে শুনেছি (বড় ডেটা পরিবেশ)।
একটির নাম হাদোপ এবং অন্যটি নো এসকিউএল ধারণা। প্রসেসিং পয়েন্টে পার্থক্য কী?
তারা পরিপূরক না?
উত্তর:
হাদুপ কোনও ডাটাবেস নয় , হ্যাডোপ একটি সম্পূর্ণ বাস্তুতন্ত্র।
বেশিরভাগ লোক হ্যাডোপ সম্পর্কে কথা বলার সময় মানচিত্রের কাজগুলি উল্লেখ করবে । একটি ম্যাপ্রেডস জব বড় ডেটাসেটগুলিকে কিছুটা ছোট ছোট ডেটাতে বিভক্ত করে এবং এগিয়ে যাওয়ার জন্য নোডের গুচ্ছের উপরে ছড়িয়ে দেয়। শেষ পর্যন্ত প্রতিটি নোড থেকে ফলাফল আবার একটি ডেটাसेट হিসাবে একসাথে রাখা হবে।
আসুন ধরে নেওয়া যাক যে আপনি কোনও <String, Integer>শহরের মধ্যে কয়েকটি আশেপাশের জনসংখ্যার সংখ্যার একটি সেটকে লোড করেছেন এবং আপনি প্রতিটি শহরের পুরো পাড়াটির গড় জনসংখ্যা পেতে চান (চিত্র 1)।
চিত্র 1
[new york, 40394]
[new york, 134]
[la, 44]
[la, 647]
...
হ্যাডুপ প্রথমে প্রতিটি মানটি কীগুলি ব্যবহার করে মানচিত্র তৈরি করবে (চিত্র 2)
চিত্র ২
[new york, [40394,134]]
[la, [44,647]]
...
ম্যাপিংয়ের পরে এটি প্রতিটি কীটির মানকে একটি নতুন মূল্যে হ্রাস করবে (উদাহরণস্বরূপ প্রতিটি কীটির মান সেটের তুলনায় গড়) (চিত্র 3)
চিত্র 3
[new york, [20264]]
[la, [346]]
...
এখন hadoop সব কিছু করা হবে। আপনি এখন ফলাফলটি এইচডিএফএসে (হ্যাডোপ বিতরণকারী ফাইল সিস্টেম) বা কোনও ডিবিএমএস বা ফাইলের মধ্যে লোড করতে পারেন।
হ্যাডুপ কী করতে পারে তার কেবলমাত্র একটি খুব প্রাথমিক এবং সাধারণ উদাহরণ। আপনি হাদুপে আরও অনেক জটিল কাজ চালাতে পারেন।
আপনি ইতিমধ্যে আপনার প্রশ্নে উল্লিখিত হিসাবে, hadoop এবং noSQL পরিপূরক হয়। আমি কয়েকটি সেটআপ জানি যেখানে সেন্সরগুলি থেকে কয়েক বিলিয়ন ডেটাসেটগুলি এইচবেসে সংরক্ষণ করা হয় এবং হ্যাডুপের মাধ্যমে শেষ পর্যন্ত একটি ডিবিএমএসে সংরক্ষণ করা যায়।
নোএসকিউএল হ'ল ডেটা সংরক্ষণ করার একটি উপায় যা কোনও ধরণের সম্পর্কের প্রয়োজন হয় না। এর নকশার সরলতা এবং অনুভূমিক স্কেল-ক্ষমতা, তারা ডেটা সংরক্ষণ করার একটি উপায় key : valueজোড় ডিজাইন। এটি নিজেকে প্রক্রিয়াকরণে ndsণ দেয় যা হ্যাডোপের অনুরূপ। কোনও নোএসকিউএল ডিবি ব্যবহার আসলে যে ধরণের সমস্যার পরে হয় তার উপর নির্ভর করে।
এখানে একটি ভাল উইকিপিডিয়া লিঙ্ক নোএসকিউএল রয়েছে
হাদুপ একটি সিস্টেম যা প্রচুর পরিমাণে ডেটা সংরক্ষণ এবং প্রক্রিয়াজাত করতে বোঝায়। এটি একটি বিতরণ ফাইল সিস্টেম dfs। এটি এর কারণটি হ'ল এটি হ'ল হার্ডওয়্যার ব্যর্থতাগুলি সাধারণ বলে ধারণাটি তৈরি করে, সুতরাং একই তথ্যটির একাধিক অনুলিপি তৈরি করে একাধিক মেশিন এবং র্যাকগুলিতে ছড়িয়ে দেওয়া হয়, সুতরাং যদি কেউ নীচে যায় তবে কোনও সমস্যা নেই, আমরা আরও দুটি কপি আছে। উইকিপিডিয়া থেকে হাদুপের জন্য এখানে একটি দুর্দান্ত লিঙ্ক, আপনি দেখতে পাবেন যে এটি আমার মতে কেবল স্টোরেজ নয়, প্রক্রিয়াজাতকরণের চেয়েও বেশি: হ্যাডোপ