tl; dr: এগুলি অনেক দিক থেকে উল্লেখযোগ্যভাবে পৃথক হয়েছে এবং আমি ভাবতে পারি না যে রেডশিফ্ট হাদুপকে প্রতিস্থাপন করবে।
- ফাংশন
আপনি রেডশিফটে এসকিউএল ব্যতীত অন্য কিছু চালাতে পারবেন না। সম্ভবত সবচেয়ে গুরুত্বপূর্ণ, আপনি রেডশিফ্টে কোনও ধরণের কাস্টম ফাংশন পরিচালনা করতে পারবেন না। হ্যাডোপে আপনি অনেকগুলি ভাষা (জাভা, পাইথন, রুবি .. আপনি এটির নাম দিয়ে) ব্যবহার করতে পারেন। উদাহরণস্বরূপ, হ্যাডোপে এনএলপি সহজ, যদিও এটি রেডশিফ্টে কমবেশি অসম্ভব। অর্থাৎ হ্যাডুপে আপনি প্রচুর কাজ করতে পারেন তবে রেডশিফটে নয়। এটি সম্ভবত সবচেয়ে গুরুত্বপূর্ণ পার্থক্য।
-
রেডশিফ্টে পারফরম্যান্স প্রোফাইল কোয়েরি এক্সিকিউশন হডোপের চেয়ে বেশিরভাগ ক্ষেত্রে উল্লেখযোগ্যভাবে বেশি দক্ষ। যাইহোক, এই দক্ষতা সূচক থেকে আসে যা ডেটা লোড লোড করার সময় করা হয় রেডশিফ্টে (আমি indexingএখানে শব্দটি খুব আলগাভাবে ব্যবহার করছি )। অতএব, আপনি যদি একবার আপনার ডেটা লোড করেন এবং একাধিক ক্যুরিয়াস চালিত করেন তবে এটি দুর্দান্ত but
-কাস্ট প্রোফাইল
যা সমাধানে ব্যয় জিততে পারে তা পরিস্থিতিটির (পারফরম্যান্সের মতো) উপর নির্ভর করে, তবে হ্যাডোপ (আরও নির্দিষ্টভাবে অ্যামাজনের ইলাস্টিক ম্যাপ হ্রাস) এর চেয়ে সস্তা করার জন্য আপনার সম্ভবত বেশ কয়েকটি প্রশ্নের প্রয়োজন। উদাহরণস্বরূপ, আপনি যদি ওএলএপ করছেন তবে খুব সম্ভবত রেডশিফ্ট সস্তার বাইরে আসবে। আপনি যদি প্রতিদিন ব্যাচের ইটিএল করেন তবে হ্যাডোপ সস্তার বাইরে আসার সম্ভাবনা বেশি।
এটি বলার পরে, আমরা আমাদের ইটিএলের একটি অংশ প্রতিস্থাপন করেছি যা হাইভে টু রেডশিফ্টে করা হয়েছিল এবং এটি একটি দুর্দান্ত অভিজ্ঞতা ছিল; বেশিরভাগ ক্ষেত্রে উন্নয়নের স্বাচ্ছন্দ্যের জন্য। রেডশিফ্টের ক্যোয়ারী ইঞ্জিন পোস্টগ্র্রেএসকিউএল ভিত্তিক এবং হাইভের তুলনায় খুব পরিপক্ক। এর এসিডি বৈশিষ্ট্যগুলি এটি সম্পর্কে তর্ক করা সহজ করে তোলে এবং দ্রুত প্রতিক্রিয়া সময় আরও পরীক্ষা করার অনুমতি দেয়। এটি থাকার একটি দুর্দান্ত সরঞ্জাম তবে এটি হাদুপকে প্রতিস্থাপন করবে না।
সম্পাদনা : সেটআপ জটিলতার জন্য, আমি এমনকি এও বলতে পারি যে আপনি যদি ডাব্লুএস এর ইএমআর ব্যবহার করেন তবে হ্যাডোপের সাথে এটি আরও সহজ। তাদের সরঞ্জামগুলি এত পরিপক্ক যে আপনার হ্যাডোপ কাজ চালানো হাস্যকর বিষয়। রেডশিফ্টের ক্রিয়াকলাপের আশেপাশে থাকা সরঞ্জামগুলি এবং প্রক্রিয়াগুলি এখনও এটি পরিপক্ক নয়। উদাহরণস্বরূপ, রেডশিফ্ট ট্রিকল লোডিং পরিচালনা করতে পারে না এবং এইভাবে আপনাকে এমন কিছু নিয়ে আসতে হবে যা ঘুরিয়ে দেওয়া লোডে রূপান্তরিত করে, যা আপনার ইটিএলটিতে কিছুটা জটিলতা যুক্ত করতে পারে।