মঙ্গোডিবি-র জন্য লিখিত অ্যালগরিদমগুলি কি পরে হ্যাডোপকে পোর্ট করা যায়?


11

আমাদের সংস্থায়, আমাদের কাছে একটি মোংগোডিবি ডাটাবেস রয়েছে যাতে প্রচুর অরক্ষিত ডেটা থাকে, যার উপর প্রতিবেদন ও অন্যান্য বিশ্লেষণ উত্পন্ন করতে আমাদের মানচিত্র-হ্রাস অ্যালগরিদম চালানো দরকার। প্রয়োজনীয় বিশ্লেষণগুলি বাস্তবায়নের জন্য আমাদের দুটি পন্থা বেছে নিতে হবে:

  1. একটি পন্থা হ'ল মঙ্গোডিবি থেকে একটি হ্যাডোপ ক্লাস্টারে ডেটা বের করা এবং বিশ্লেষণ সম্পূর্ণ হ্যাডোপ প্ল্যাটফর্মে করা। তবে এটির জন্য প্ল্যাটফর্ম (সফ্টওয়্যার এবং হার্ডওয়্যার) প্রস্তুত করা এবং দলটিকে হাদুপের সাথে কাজ করতে এবং এটির জন্য মানচিত্র-হ্রাস কার্যগুলি লেখার জন্য শিক্ষিত করার জন্য যথেষ্ট বিনিয়োগ প্রয়োজন।

  2. আর একটি পদ্ধতি হ'ল মানচিত্র-হ্রাস অ্যালগরিদমগুলি ডিজাইন করার জন্য আমাদের প্রচেষ্টা করা, এবং মঙ্গোডিবি মানচিত্রে কার্যকারিতা হ্রাস করার জন্য অ্যালগরিদমগুলি চালানো। এইভাবে, আমরা চূড়ান্ত সিস্টেমের একটি প্রাথমিক প্রোটোটাইপ তৈরি করতে পারি যা প্রতিবেদন তৈরি করতে পারে। আমি জানি যে মঙ্গোডিবি-র মানচিত্র-হ্রাস কার্যকারিতা হাদুপের তুলনায় অনেক ধীর গতিতে রয়েছে, তবে বর্তমানে তথ্য এত বড় নয় যে এটি এটিকে এখনও বাধা তৈরি করে, অন্তত পরবর্তী ছয় মাসের জন্য নয়।

প্রশ্নটি হ'ল, দ্বিতীয় পদ্ধতিটি ব্যবহার করে এবং মঙ্গোডিবি-র জন্য অ্যালগরিদমগুলি লেখার পরে সেগুলি কি পরে খুব কম প্রয়োজনীয় পরিবর্তন এবং অ্যালগরিদম পুনরায় নকশার সাহায্যে হাদুপে পোর্ট করা যেতে পারে? মঙ্গোডিবি কেবল জাভাস্ক্রিপ্ট সমর্থন করে তবে প্রোগ্রামিং ভাষার পার্থক্যগুলি পরিচালনা করা সহজ। যাইহোক, মঙ্গোডিবি এবং হাদুপের মানচিত্র-হ্রাসের মডেলগুলির মধ্যে এমন কোনও মৌলিক পার্থক্য রয়েছে যা হডোপকে পোর্ট করার জন্য আমাদের যথেষ্ট পরিমাণে অ্যালগরিদমগুলি আবার ডিজাইন করতে বাধ্য করতে পারে?


উত্তর:


4

আপনি কেবল মঙ্গো ব্যবহার করে প্রোটোটাইপ করে নিলে অবশ্যই একটি অনুবাদ কাজ হবে।

আপনি যখন মঙ্গোডবিতে মানচিত্রের কাজটি চালান, তখন এতে ডেটা উত্স এবং কাঠামোটি অন্তর্নির্মিত থাকে eventually আপনি যখন শেষ পর্যন্ত হ্যাডুপে রূপান্তর করেন তখন আপনার ডেটা স্ট্রাকচারগুলি একই রকম না দেখায়। আপনি হ্যাডুপের মধ্যে থেকে সরাসরি মঙ্গো ডেটা অ্যাক্সেস করার জন্য মঙ্গোডব-হাদুপ সংযোগকারীকে উত্তোলন করতে পারেন, তবে এটি আপনার পক্ষে যতটা সহজ মনে হবে তেমন সোজা হবে না। আইএমও, আপনার জায়গায় প্রোটোটাইপ পেলে কীভাবে রূপান্তরটি সর্বাধিক অনুকূলভাবে করা যায় তা সঠিকভাবে প্রমাণ করার সময়টি নির্ধারণ করার সময়।

আপনার যখন ম্যাপ্রেডস ফাংশনগুলি অনুবাদ করতে হবে তবে মূল সিউডোকোড দুটি সিস্টেমেই ভালভাবে প্রয়োগ করা উচিত। আপনি মোঙ্গোডিবিতে যা জাভা ব্যবহার করে সম্পন্ন করা যায় না বা জাভা সম্পর্কে এটি আরও জটিল যে এটি করা যায় না এমন কিছুই পাবেন না।


5

আপনি জাভাতে প্রোগ্রামিং না করে হ্যাডোপে অ্যালগোরিদম হ্রাস করতে মানচিত্র ব্যবহার করতে পারেন। একে স্ট্রিমিং বলা হয় এবং লিনাক্স পাইপিংয়ের মতো কাজ করে। আপনি যদি বিশ্বাস করেন যে আপনি টার্মিনালটি পড়তে এবং লিখতে আপনার ফাংশনগুলি পোর্ট করতে পারেন তবে এটি দুর্দান্তভাবে কাজ করা উচিত। এখানে ব্লগ পোস্টের উদাহরণ রয়েছে যা দেখায় যে কীভাবে মানচিত্রে হ্যাডোপে পাইথনে লেখা ফাংশন হ্রাস করা যায়।


1
এটি এখনও মঙ্গো প্রক্রিয়াজাতকরণ করবে, যা আমি বিশ্বাস করি যে প্রশ্ন থেকে আমি চূড়ান্ত সমাধান এড়ানো উচিত। জ্ঞানের একটি গুরুত্বপূর্ণ অংশটি আনার জন্য আপনাকে যেকোন উপায়ে উপহার দেওয়া।
স্টিভ ক্যালাস্টেদ

4

আপনি একটি মঙ্গোডিবি-হাদোপ সংযোগও তৈরি করতে পারেন ।


আপনার পোস্টের জন্য আপনাকে ধন্যবাদ, তবে আপনি কি এখানে লিঙ্কযুক্ত সমাধানের সামগ্রিক বিবরণ অন্তর্ভুক্ত করতে পারেন? লিঙ্কটিতে প্রশ্নের উত্তর থাকতে পারে, তবে কেবলমাত্র লিঙ্কের উত্তর নিরুৎসাহিত করা হয়েছে।
রুবেন্স
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.