বড় আকারের ডেটা প্রসেসিং হ্যাসবেস বনাম কাসান্দ্রা [বন্ধ]

Question 1

যেমনটি বর্তমানে দাঁড়িয়ে আছে, এই প্রশ্নটি আমাদের প্রশ্নোত্তর বিন্যাসের জন্য উপযুক্ত নয়। আমরা উত্তরগুলি তথ্য, তথ্যসূত্র বা দক্ষতার দ্বারা সমর্থন করা আশা করি তবে এই প্রশ্নটি সম্ভবত বিতর্ক, যুক্তি, পোলিং বা বর্ধিত আলোচনার জন্য অনুরোধ করবে। আপনি যদি মনে করেন যে এই প্রশ্নটি উন্নত এবং সম্ভবত পুনরায় খোলা যেতে পারে তবে গাইডেন্সের জন্য সহায়তা কেন্দ্রে যান ।

8 বছর আগে বন্ধ ছিল ।

বড় আকারের ডেটা স্টোরেজ সমাধান সম্পর্কে আমার গবেষণা শেষে আমি প্রায় ক্যাসান্দ্রায় পৌঁছেছি। তবে এর সাধারণভাবে বলা হয়েছে যে বৃহত আকারের ডেটা প্রক্রিয়াকরণ এবং বিশ্লেষণের জন্য হাব্যাসই ভাল সমাধান।

উভয়ই একই কী / মান স্টোরেজ এবং উভয়ই চলতে পারে / চালাতে পারে (ক্যাসান্দ্রা সম্প্রতি) হডোপ স্তর তারপরে বড় ডেটাতে প্রক্রিয়াকরণ / বিশ্লেষণ করার সময় হ্যাডোপকে কী আরও ভাল প্রার্থী করে তোলে।

আমি উভয়ের সম্পর্কে http://ria101.wordpress.com/2010/02/24/hbase-vs-cassandra-why-we-moved/ এ উভয় সম্পর্কে ভাল বিবরণও পেয়েছি

তবে আমি এখনও Hbase এর কংক্রিট সুবিধাগুলি খুঁজছি।

যদিও আমি ক্যাসান্দ্রার বিষয়ে আরও দৃ am় বিশ্বাস করি কারণ নোড এবং বিজোড় প্রতিলিপি যুক্ত করার জন্য এর সরলতা এবং ব্যর্থতার বৈশিষ্ট্যগুলির বিন্দু নেই। এবং এটি মাধ্যমিক সূচক বৈশিষ্ট্যও রাখে যাতে এটির একটি ভাল প্লাস।

Question 2

আপনার পক্ষে কোনটি সবচেয়ে ভাল তা নির্ধারণের চেষ্টা করা হচ্ছে আপনি কীসের জন্য এটি ব্যবহার করতে যাচ্ছেন তার উপর নির্ভর করে, তাদের প্রত্যেকের রয়েছে তাদের সুবিধা এবং কোনও বিবরণ ছাড়াই এটি একটি ধর্মীয় যুদ্ধে পরিণত হয়। আপনার উল্লেখ করা পোস্টটিও এক বছরেরও বেশি পুরানো এবং এর পর থেকে উভয়ই অনেক পরিবর্তন পেরেছে। দয়া করে মনে রাখবেন আমি সাম্প্রতিক ক্যাসান্দ্রার উন্নয়নগুলির সাথে পরিচিত নই।

এই কথাটি বলার পরে, আমি এইচবিজে প্রতিশ্রুতিবদ্ধ অ্যান্ড্রু পার্টেলকে প্যারাফ্রেস করব এবং নিজের কিছু অভিজ্ঞতা যুক্ত করব:

HBase বৃহত্তর উত্পাদন পরিবেশে (1000 নোড) তবে এটি এখনও ক্যাসান্দ্রার ~ 400 নোড ইনস্টল করার বলপাড়ায় রয়েছে তাই এটি সত্যই একটি প্রান্তিক পার্থক্য।
এইচবেস এবং ক্যাসান্দ্রা উভয়ই ক্লাস্টার / ডেটাসেন্টারগুলির মধ্যে প্রতিলিপি সমর্থন করে। আমি বিশ্বাস করি যে এইচবেসের ব্যবহারকারীর কাছে আরও প্রকাশিত হয় তাই এটি আরও জটিল দেখা যায় তবে আপনি আরও নমনীয়তা পান।
যদি আপনার অ্যাপ্লিকেশনটির প্রয়োজন দৃ application় ধারাবাহিকতা হয় তবে এইচবিএস সম্ভবত আরও ভাল ফিট। এটি স্থল থেকে সামঞ্জস্যপূর্ণ হওয়ার জন্য ডিজাইন করা হয়েছে। উদাহরণস্বরূপ এটি পরমাণু কাউন্টারগুলিকে সহজভাবে প্রয়োগ করার অনুমতি দেয় (আমার মনে হয় ক্যাসান্দ্রা কেবল তাদের পেয়েছে) পাশাপাশি চেক এবং পুট অপারেশনগুলি।
লেখার পারফরম্যান্স দুর্দান্ত, আমি যা বুঝতে পেরেছি তা থেকে ফেসবুক তাদের ম্যাসেঞ্জারের জন্য এইচবিতে গিয়েছিল reasons
আমি ক্যাসান্দ্রার আদেশিত পার্টিশনকারীর বর্তমান অবস্থার বিষয়ে নিশ্চিত নই, তবে অতীতে এটির জন্য ম্যানুয়াল পুনরায় ভারসাম্য প্রয়োজন। আপনি চাইলে এইচবিস হ্যান্ডল করে। অর্ডার করা পার্টিশনকারী হ্যাডোপ স্টাইল প্রক্রিয়াকরণের জন্য গুরুত্বপূর্ণ।
ক্যাসান্দ্রা এবং এইচবেস উভয়ই জটিল, ক্যাসান্দ্রা এটি আরও ভালভাবে আড়াল করে। এইচবিজে তার স্টোরেজটির জন্য এইচডিএফএস ব্যবহারের মাধ্যমে এটি আরও প্রকাশ করে, যদি আপনি কোডবেসটিতে দেখেন ক্যাসান্দ্রা ঠিক তত স্তরযুক্ত। আপনি যদি ডায়নামো এবং বিগ টেবিল কাগজপত্রের তুলনা করেন তবে দেখতে পাবেন ক্যাসান্দ্রার পরিচালন তত্ত্বটি আসলে আরও জটিল।
এইচবেসে আরও ইউনিট পরীক্ষা FWIW রয়েছে।
সমস্ত ক্যাসান্দ্রার আরপিসি থ্রিফ্ট, এইচবেসের একটি থ্রিফ্ট, আরএসটি এবং নেটিভ জাভা রয়েছে। থ্রিফ্ট এবং আরআরএসটি কেবলমাত্র মোট ক্লায়েন্টের এপিআইয়ের একটি উপসেট অফার করে তবে আপনি যদি শুদ্ধ গতি চান তবে দেশীয় জাভা ক্লায়েন্টটি সেখানে রয়েছে।
পিয়ার থেকে পিয়ার এবং মাস্টার টু ক্রীতদাস উভয়েরই সুবিধা রয়েছে। মাস্টার - স্লেভ সেটআপ সাধারণত ডিবাগ করা সহজ করে দেয় এবং বেশ কিছুটা জটিলতা হ্রাস করে।
এইচবেস কেবল traditionalতিহ্যবাহী এইচডিএফএসের সাথে আবদ্ধ নয়, আপনি আপনার প্রয়োজনের উপর নির্ভর করে আপনার অন্তর্নিহিত স্টোরেজটি পরিবর্তন করতে পারেন। ম্যাপআরটি বেশ আকর্ষণীয় দেখায় এবং আমি ভাল জিনিস শুনেছি যদিও আমি নিজে এটি ব্যবহার করি নি।

Question 3

ক্যাসান্দ্রার বিকাশকারী হিসাবে, আমি প্রশ্নের অন্য দিকটির উত্তর দেওয়াতে আরও ভাল:

ক্যাসান্দ্রার স্কেল আরও ভাল। ক্যাসান্দ্রা একটি ক্লাস্টারে 400 টিরও বেশি নোডের স্কেল হিসাবে পরিচিত ; যখন ফেসবুক এইচবেসের শীর্ষে মেসেজিং স্থাপন করেছিল তখন তাদের এটি 100-নোড এইচবেস সাব-ক্লাস্টার জুড়ে তীক্ষ্ণ করতে হয়েছিল ।
ক্যাসান্দ্রা শত শত এমনকি হাজার হাজার কলাম ফ্যামিলি সমর্থন করে। " এইচবাসে বর্তমানে দুই বা তিনটি কলাম পরিবারের উপরে কিছু করা যায় না ।"
কোনও "বিশেষ" নোড বা প্রক্রিয়াবিহীন সম্পূর্ণ বিতরণকারী সিস্টেম হিসাবে , ক্যাসান্দ্রা সেটআপ এবং পরিচালনা করা , সমস্যা সমাধানে সহজতর এবং আরও শক্তিশালী is
মাল্টি-মাস্টার প্রতিলিপির জন্য ক্যাসান্দ্রার সমর্থনের অর্থ হ'ল আপনি কেবল একাধিক ডাটাসেন্টার - ভৌগলিক রিডানডেন্সি, স্থানীয় লেটেন্সিগুলির স্পষ্ট শক্তি পাবেন না - আপনি রিয়েলটাইম এবং বিশ্লেষণমূলক কাজের চাপগুলিও তাদের মধ্যে রিয়েলটাইম, দ্বিদ্বৈত প্রতিলিপি দিয়ে পৃথক গ্রুপে বিভক্ত করতে পারেন । যদি আপনি সেই কাজের বোঝা আলাদা না করেন তবে তারা দর্শনীয়ভাবে লড়াই করবে।
যেহেতু প্রতিটি ক্যাসান্দ্রা নোড তার নিজস্ব স্থানীয় স্টোরেজ পরিচালনা করে, ক্যাসান্দ্রার যথেষ্ট কার্যকারিতা রয়েছে যা উল্লেখযোগ্যভাবে সংকীর্ণ হওয়ার সম্ভাবনা নেই। (উদাহরণস্বরূপ, ক্যাসান্দ্রা কমলগকে একটি পৃথক ডিভাইসে রাখার জন্য এটি প্রমিত অনুশীলন যাতে এটি পাঠ্য অনুরোধগুলি থেকে র্যান্ডম i / o দ্বারা সিক্যুয়ালিটি লিখে না যায়))
ক্যাসান্দ্রা আপনাকে প্রতিটি অপারেশন ভিত্তিতে ধারাবাহিকতা থাকা দরকার কতটা শক্তিশালী তা চয়ন করতে আপনাকে অনুমতি দেয়। "ক্যাসান্দ্রা আপনাকে দৃ strong় ধারাবাহিকতা দেয় না" হিসাবে কখনও কখনও এটি ভুল বোঝা যায় তবে এটি ভুল।
ক্যাসান্দ্রা র্যান্ডম পার্টিশনারের পাশাপাশি আরও বিগটবেলের মতো অর্ডারড পার্টিশনারের প্রস্তাব দেয়। র‌্যান্ডম পার্টিশনার হট স্পটগুলির তুলনায় অনেক কম ঝুঁকিপূর্ণ।
ক্যাসান্দ্রা ম্যাকচেডের সাথে তুলনামূলক পারফরম্যান্স সহ অন-অফ-হিপ ক্যাচিংয়ের প্রস্তাব দেয় তবে ক্যাশে ধারাবাহিকতা সমস্যা বা অতিরিক্ত চলমান অংশগুলির প্রয়োজনীয়তার জটিলতা ছাড়াই
জাভাবিহীন ক্লায়েন্টরা দ্বিতীয় শ্রেণির নাগরিক নয়

আমার জানা মতে, এইচবিতে এখনই মূল সুবিধাটি রয়েছে (এইচবিজে 0.90.4 এবং ক্যাসান্দ্রা 0.8.4) হ'ল ক্যাসান্দ্রা এখনও স্বচ্ছ ডেটা সংক্ষেপণ সমর্থন করে না। (এটি ক্যাসান্দ্রার ১.০ এর জন্য যুক্ত করা হয়েছে , অক্টোবরের প্রথম দিকে, তবে আজ এটিই এইচবেসের পক্ষে সত্যিকারের সুবিধা)) হ্যাডোপ ব্যাচ প্রসেসিংয়ের ধরণের রেঞ্জ স্ক্যানগুলির জন্য এইচবাস আরও ভালভাবে অনুকূল হতে পারে।

এছাড়াও কিছু জিনিস রয়েছে যা অগত্যা ভাল বা খারাপ নয়, কেবল আলাদা। এইচবেস বিগটবেল ডেটা মডেলকে আরও কঠোরভাবে মেনে চলে, যেখানে প্রতিটি কলামই অন্তর্নিহিত সংস্করণযুক্ত। ক্যাসান্দ্রা সংস্করণ হ্রাস করে এবং এর পরিবর্তে সুপার কলামগুলি যুক্ত করে।

আশা করি এইটি কাজ করবে!

Question 4

100 নোড এইচবেস ক্লাস্টার ব্যবহারের কারণ এইচবেস বড় আকারের আকারে স্কেল করে না। এটি হ'ল কারণ আপনার সম্পূর্ণ পরিষেবাটি নামিয়ে না নিয়ে এইচবিএস / এইচডিএফএস সফ্টওয়্যারটিকে রোলিং ফ্যাশনে আপগ্রেড করা সহজ। আর একটি কারণ হ'ল একক নেমনোডকে পুরো পরিষেবাটির জন্য এসপিওএফ হিসাবে আটকানো। এছাড়াও, এইচবেস বিভিন্ন পরিষেবার জন্য ব্যবহৃত হচ্ছে (কেবল এফবি বার্তা নয়) এবং 100-নোডের পড পদ্ধতির উপর ভিত্তি করে অসংখ্য এইচবিএস ক্লাস্টার স্থাপনের জন্য কুকি-কাটার পদ্ধতি গ্রহণ করা বুদ্ধিমানের কাজ। 100 নম্বর অ্যাডহক, আমরা 100 অনুকূল কিনা তা নিয়ে আমরা ফোকাস করিনি।