ইলাস্টিকসার্ক বনাম ক্যাসান্দ্রা বনাম ক্যাসান্দ্রার সাথে ইলাস্টিকসার্ক


110

আমি নোএসকিউএল শিখছি এবং আমার ক্লায়েন্টের প্রয়োজনীয়তার জন্য আলাদা আলাদা বিকল্পগুলি খুঁজছি। এই প্রশ্নটি রাখার আগে আমি বিভিন্ন সংস্থার মধ্য দিয়ে গিয়েছি (নোএসকিউএল-তে স্বল্প জ্ঞানবান ব্যক্তি)

  • আমার দ্রুত হারে ডেটা সংরক্ষণ এবং ডেটা পড়তে হবে।
  • সম্পূর্ণরূপে ব্যর্থ-নিরাপদ এবং সহজেই স্কেলেবল।
  • অ্যানালিটিক্সের জন্য ডেটা অনুসন্ধান করতে সক্ষম।

আমি একটি সংক্ষিপ্ত তালিকা দিয়ে শেষ: Cassandra and Elasticsearch

আমি যা বুঝতে পারি তা হল ক্যাসান্দ্রা আমার জন্য একটি নিখুঁত নোএসকিউএল স্টোরেজ সমাধান, কারণ আমি ইনডেক্সগুলি ব্যবহার করে ডেটা লিখতে এবং পড়তে পারি। যেখানে এটি ব্যর্থ হয় বা এটি ব্যর্থ হতে পারে তা বিশ্লেষণে রয়েছে on ভবিষ্যতে, যদি আমি from_date to to_dateবিশ্লেষণকারীর জন্য ডেটা পেতে বা আরও অনেক উপায়ে ডেটা পেতে চাই, আমি যদি ডেটা মডেলটি সঠিকভাবে ডিজাইন না করি বা দীর্ঘমেয়াদী দৃষ্টি রাখি, যা সম্ভবত পৃথিবীর পরিবর্তনের ক্ষেত্রে বেশ কঠিন হতে পারে।

যদিও Elastic Search ইন্ডেক্স (Lucene সমর্থন) এ সেরা, এবং কিছু র্যান্ডম টেক্সট ছুঁড়ে এলোমেলোভাবে তথ্য অনুসন্ধান করতে পারেন। তবে কী আমি ডেটা পুনরুদ্ধার করতে চাইলেও এটির জন্য একই কাজ করে from_date to to_date(আমি আশা করি এটি হতে পারে)। তবে আসল প্রশ্নটি হচ্ছে, এটি কোনও অনুসন্ধান ইঞ্জিন, বা ক্যাসান্দ্রার মতো নিখুঁত নোএসকিউএল ডেটা স্টোরেজ? যদি হ্যাঁ, তবে আমাদের এখনও কেন ক্যাসান্দ্রার দরকার?

এই দুটোই যদি আলাদা আলাদা পৃথিবীতে থাকে তবে দয়া করে তা ব্যাখ্যা করুন! আরও কার্যকর সমাধান পেতে আমরা কীভাবে তাদের একত্রিত করব?


2
আপনার ডিএসই অনুসন্ধান = ক্যাসান্দ্রা + সোলার ইন্টিগ্রেটেড = উভয় বিশ্বের সেরা: সোলারের অনুসন্ধানের শক্তি দ্বারা চালিত স্টোরেজটির জন্য একটি স্কেলেবল ডিবিও বিবেচনা করা উচিত।
বেরেং

1
@ বেরেং, আমার ধারণা ডিএসই বাণিজ্যিক এবং আমরা বাণিজ্যিক সফ্টওয়্যারগুলি দেখছি না।
রেড্ডি

3
যদি আপনি নিট উপার্জন <2 মিলিয়ন ডলার (মার্কিন) দিয়ে শুরু করেন তবে তারা আপনাকে ডিএসই বিনা মূল্যে (কমপক্ষে এক বা দুই বছর) ব্যবহার করতে দেবে।
হারুন

উত্তর:


150

আমাদের অ্যাপ্লিকেশনগুলির মধ্যে একটি এমন ডেটা ব্যবহার করে যা ক্যাসান্দ্রা এবং ইলাস্টিক অনুসন্ধান উভয়ের মধ্যে সঞ্চিত থাকে। আমরা যখনই পারি পারি সেই রেকর্ডগুলিতে অ্যাক্সেসের জন্য ক্যাসান্দ্রা ব্যবহার করি এবং নির্দিষ্ট অ্যাপ্লিকেশন সাইডের অনুরোধগুলি মেনে চলার জন্য ডিজাইন করা ক্যোয়ারী সারণিতে নকল করা আছে। আমাদের ক্যোয়ারী সারণীগুলি যে অনুমতি দিতে পারে তার চেয়ে বেশি উদার অনুসন্ধানের জন্য, ইলাস্টিক অনুসন্ধান সেই কার্যকারিতাটি দুর্দান্তভাবে সম্পাদন করে।

আমরা সেই একই প্রশ্নটি (নিজেরাই) জিজ্ঞাসা করেছি ... "কেন আমরা কেবল এলাস্টিক অনুসন্ধান থেকে সবকিছু পাই না?"

উত্তরটি হ'ল ইলাস্টিক অনুসন্ধানটি একটি অনুসন্ধান ইঞ্জিন হিসাবে নকশাকৃত হয়েছিল, এবং একটি ধ্রুবক ডেটা স্টোর নয়। কখনও কখনও স্থিতিস্থাপক অনুসন্ধান হারিয়ে যায়। স্কিমার পরিবর্তনগুলি ইলাস্টিক অনুসন্ধানে সমস্ত কিছু দূরে না ফেলা এবং পুনরায় লোড না করে করা কঠিন। সেই লক্ষ্যে, আমার কাছে এমন কাজ লেখা আছে যা ইলাস্টিক অনুসন্ধানকে আমাদের ক্যাসান্দ্রা ক্লাস্টারের সাথে সিঙ্ক করতে designed এই বিষয়টি সম্পর্কে কোওরায় একটি সাম্প্রতিক আলোচনাও ছিল , যা একই ধরণের পয়েন্ট ।

বলা হচ্ছে, ইলাস্টিকসন্ধান অনুসন্ধান ইঞ্জিন হিসাবে দুর্দান্ত কাজ করে । এবং ক্যাসান্দ্রা একটি স্কেলযোগ্য, উচ্চ-পারফরম্যান্স ডেটাস্টোর হিসাবে দুর্দান্ত কাজ করে । কিন্তু অনুসন্ধান ডেটা থেকে ভিন্ন অনুসন্ধানের ডেটার জন্য। আমাদের এক বা অন্যটির প্রয়োজন এবং আমাদের অ্যাপ্লিকেশনটির জন্য দুটির সংমিশ্রণ ভালভাবে কাজ করে। এটি (বা এটি নাও পারে) আপনার পক্ষে ভাল কাজ করে।

অ্যানালিটিক্স হিসাবে, আরও জটিল ওএলএপি কোয়েরিগুলি সরবরাহ করার জন্য, ক্যাসান্দ্রা স্পার্ক সংযোগকারীটি ব্যবহার করার ক্ষেত্রে আমার কিছুটা সাফল্য আছে। আশা করি এইটি কাজ করবে.

20200421 সম্পাদনা করুন

আমি একই প্রশ্নের একটি নতুন উত্তর লিখেছি:

ইলাস্টিক অনুসন্ধান বনাম ইলাস্টিক অনুসন্ধান + ক্যাসান্দ্রা


24
কেউ এর মধ্যে পার্থক্য উপর সম্প্রসারিত করতে পারেন অনুসন্ধান এবং অনুসন্ধানের তথ্য?
ভয়ঙ্কর

21
@ ডার উদাহরণস্বরূপ আপনি যদি নিজের ডেটাটির আইডি (গুলি) জানেন তবে আপনি কেবল এটির (ক্যাসান্দ্রা) জিজ্ঞাসা করেছেন এবং যদি আপনি আপনার ডেটার আইডি (গুলি) না জানেন তবে আপনি এটি / তাদের (ইলাস্টিক অনুসন্ধান) অনুসন্ধান করুন।
আর্সেনিক

2
@ গ্ল্যাডওয়েল এটি আপনার ডেটার আকার এবং আপনার প্রশ্নের জটিলতার উপর নির্ভর করে। তত্ত্বগতভাবে ইলাস্টিক এটি সব করতে পারে। তবে, আমি ইলাস্টিকের চেয়ে বড় ডেটা সেট (ক্যোয়ারির জন্য) সমর্থন করার জন্য ক্যাসানড্রাকে স্কেলিংয়ের আরও ভাল কাজ করার বিষয়ে বিশ্বাস করব, বিশেষত যদি আপনি মাল্টি-অঞ্চল / ডিসি সমর্থন করেন।
হারুন

1
@ অ্যারন ... একটি বড় ডেটাসেটকে সমর্থন করার জন্য স্কেলিং এই উভয় ইঞ্জিনই ভাল করে well আমাদের সংস্থা প্রাথমিক ডাটাবেস হিসাবে সতর্কতা ইঞ্জিন, বিশ্লেষণ সরঞ্জাম হিসাবে ইলাস্টিক অনুসন্ধান ব্যবহার করে এবং এখন যে এক্সপ্যাক মেশিন লার্নিং সমর্থন করে; এটি আমাদের প্রান্ত আইওটির চারপাশে ব্যবসায়ের পরিসংখ্যানও সরবরাহ করে।
অ্যান্থনিজেসিঙ্ক লিঙ্ক

1
@ ড্রয়ার আসল প্রশ্ন জিজ্ঞাসা করুন!
মাইক এজ্জাতি

32

ক্যাসান্দ্রা + লুসিন একটি দুর্দান্ত বিকল্প। এই ইস্যুটির জন্য বিভিন্ন উদ্যোগ রয়েছে, উদাহরণস্বরূপ:

  • স্ট্রেটিওর ক্যাসান্দ্রা লুসিন সূচক - স্ট্রেটিও ক্যাসান্দ্রা থেকে প্রাপ্ত, অ্যাপাচি ক্যাসান্দ্রার জন্য একটি প্লাগইন যা এর সূচক কার্যকারিতা বাড়িয়ে তোলে। ( https://github.com/Stratio/cassandra-lucene-index )
  • স্ট্রেটিও ক্যাসান্দ্রা, এটি আপাচি লুসিনের সাথে স্থানীয় একীকরণ, এটি খুব আকর্ষণীয়। ( https://github.com/Stratio/stratio-cassandra ) - এই প্রকল্পটি স্ট্রিটোর ক্যাসান্দ্রা লুসিন সূচকের অনুকূলে রয়েছে
  • টুপলেজাম্প ক্যালিওপ, এটি স্ট্রেটিও ক্যাসান্দ্রার মতো, তবে এটি কম সক্রিয়। ( https://github.com/tuplejump/stargate-core )
  • ডেটাস্ট্যাক্স দ্বারা ডিএসই অনুসন্ধান। এটি অ্যাপাচি সলারের সাথে ক্যাসান্দ্রা ব্যবহারের অনুমতি দেয় তবে এটি মালিকানাধীন বিকল্প (( http://www.datastax.com/ কি-we-offer/products-services/datastax-enterprise )

একটি জিনিস মনে রাখবেন, ২.১-এ আপনি এখন একটি কাস্টম ইনডেক্সারকে "ড্রপ" করতে পারেন ... সুতরাং উদাহরণস্বরূপ আপনি স্টাটিও তাদের সি * এর কাঁটাচামচ দিয়ে কী করছেন কিন্তু মূললাইন সি * এর বাইরে নকল করতে পারেন। আমি এটি করার জন্য কোনও বিস্তৃত প্রচেষ্টা সম্পর্কে অবগত নই, তবে আমি নিজে লুসিন সূচকে সি * এ নামানোর পরিকল্পনা করছি। আরও তথ্যের জন্য: मुद्दा.apache.org/jira/browse/CASSANDRA-8717
ইভানভ

8

এই সমস্যাটিতে কাজ করার পরে আমি নিজেই বুঝতে পেরেছি যে ক্যাসান্দ্রার মতো নোএসকিউএল ডাটাবেসগুলি ভাল যখন আপনি নিশ্চিত করতে চান যে আপনি আপনার ডেটা স্কিমাটি নির্ভরযোগ্য রাইটিং অপারেশনের সাথে সংরক্ষণ করছেন, এবং ইলাস্টিকের অনুসন্ধানের অফারগুলি সূচীকরণ অপারেশনের সুবিধা নিতে চান না। আপনি যদি কিছু সূচী তথ্য সংরক্ষণ করতে চান তবে আপনি যদি আপনার স্কিমের উপর নির্ভর করে থাকেন এবং কেবল লেখার চেয়ে অনেক বেশি পাঠ করতে চলেছেন তবে ইলাস্টিকের অনুসন্ধান ভাল।

আমার কেসটি ছিল ডেটা অ্যানালিটিক্স। সুতরাং আমি আমার প্রচুর ল্যাটিকসগুলি পরে ইলাস্টিক অনুসন্ধানে সংরক্ষণ করেছি পরে আমার পরবর্তী পদক্ষেপটি কী হওয়া উচিত তা দেখার জন্য আমি ডেটাটি অনেকটা ট্রান্সভার করতে চেয়েছিলাম। আমি যদি আমার বিশ্লেষণাত্মক পাইললাইনে ডেটার স্কিমাতে প্রচুর পরিবর্তন আনতে চাইতাম তবে আমি ক্যাসান্দ্রা ব্যবহার করতাম।

এছাড়াও কিবানার মতো অনেকগুলি উপস্থাপনযোগ্য সরঞ্জাম রয়েছে যা আপনি কিছু ভাল গ্রাফিক্সের সাহায্যে আপনার ডেটা উপস্থাপন করতে পারেন। হতে পারে আমি অলস কিন্তু তারা দেখতে খুব ভাল এবং তারা আমাকে সহায়তা করেছিল।


4

ক্যাসান্দ্রা এবং ইলাস্টিক অনুসন্ধানের সংমিশ্রণে ডেটা সংরক্ষণ করা আপনাকে সর্বাধিক কার্যকারিতা দেয়। এটি আপনাকে কী-মান সারণীগুলি অনুসন্ধান করতে দেয় এবং আপনাকে সূচীতে ডেটা অনুসন্ধান করার অনুমতি দেয়।

সংমিশ্রণটি আপনাকে প্রচুর নমনীয়তা দেয়, আপনার আবেদনের জন্য আদর্শ।


4

ইলেসান্দ্রা হ'ল ক্যাসান্দ্রা + ইলাস্টিক অনুসন্ধানের সম্মিলিত সমাধান, এটি ডাটা স্টোর হিসাবে ইন্ডাস্টিক অনুসন্ধান এবং ডেটা স্টোর হিসাবে ক্যাসান্দ্রার ব্যবহার করে, আমি পারফরম্যান্স সম্পর্কে নিশ্চিত নই তবে এই নিবন্ধ অনুসারে , এর কার্যকারিতা ভাল।
যদি আপনার অ্যাপ্লিকেশনটিতে অনুসন্ধানের বৈশিষ্ট্যটির প্রয়োজন হয় তবে, ইলাসান্দ্রা সেরা ওপেন সোর্স বিকল্প। ডিএসই অনুসন্ধান পাওয়া যায় তবে এটি ব্যয়বহুল।


1

আমরা একটি অ্যাপ্লিকেশন তৈরি করেছি যেখানে আমরা ইলাস্টিকসার্ক এবং ক্যাসান্দ্রা ব্যবহার করেছি। অনুরূপ ডেটা ক্যাসানড্রায় সংরক্ষণ করা হয়েছিল এবং ইলাস্টিকসার্কে সূচিযুক্ত।

আমাদের অ্যাপ্লিকেশনটির ইউআই-তে অনুসন্ধান, সমষ্টি, ডেটা রফতানি ইত্যাদির মতো বৈশিষ্ট্য ছিল The ব্যাক-এন্ড মাইক্রোসার্ভেসিস ক্রমাগত বিশাল ডেটা পেয়েছিল (কাফকা বিষয়গুলিতে) এবং এটি ক্যাসান্দ্রায় সংরক্ষণ করছে। একবার ক্যাসান্দ্রায় ডেটা সংরক্ষণ করা হয়ে গেলে পরিষেবাগুলি নিশ্চিত করে যে ডেটা ইলাস্টিকসर्चে সূচিযুক্ত হয়েছে।

ক্যাসান্দ্রা ইলাস্টিকসার্কের পক্ষে "সত্যের উত্স" হিসাবে অভিনয় করেছিলেন। যেসব ক্ষেত্রে, ইএস সূচকের পুনর্নির্মাণের প্রয়োজন ছিল, আমরা ক্যাসান্দ্রাকে জিজ্ঞাসা করেছি এবং ডেটাগুলি পুনরায় ইএসে পুনর্নির্মাণ করেছি।

এই সমাধানটি আমাদের সহায়তা করেছিল, কারণ এটি স্কেল করা খুব সহজ ছিল এবং অনুসন্ধান এবং সমষ্টিগুলি আরও দ্রুত ছিল।


0
  • যেহেতু ইলাস্টিকসার্ক লুসিন সূচকে নির্মিত এবং আপনি যদি ইলাস্টিকের অনুসন্ধানে সূচী সঞ্চয় করতে চান এটি ডেটা পুনরুদ্ধারের জন্য নিজেই ক্যাসানড্রায় সূচকের সাথে তুলনা করে।
  • যদি আপনার প্রয়োজনীয়তাগুলি রিয়েল-টাইম পুনরুদ্ধারের সাথে সম্পর্কিত না হয় তবে আপনি ইওলাস্টিক সার্চটি নোএসকিউএল ডাটাবেস হিসাবেও ব্যবহার করতে পারেন, এমন ভাবনা রয়েছে যে ইলাস্টিকসন্ধান লিখেছেন এবং স্কিমা পরিবর্তনগুলি মুশকিল, তবে যদি আপনার ডেটার পরিমাণ খুব বেশি না হয়। আপনি সহজেই একটি নোএসকিউএল ডাটাবেস হিসাবে ইলাস্টিক অনুসন্ধানের পাশাপাশি সেরা সূচিকর্ম সহ একটি অনুসন্ধান ইঞ্জিন হিসাবে ইলাস্টিক সন্ধান করতে পারেন। আপনি এটি প্রতিরোধ করতে পারেন এমন বেশ কয়েকটি উপায় রয়েছে। আমি ইলাস্টিকের অনুসন্ধানে স্কিমা পরিবর্তনগুলি নিয়ে কাজ করেছি, যদি আপনার ডেটা কাঠামোটি সামঞ্জস্যপূর্ণ হয় তবে এটি কোনও সমস্যা তৈরি করবে।
  • ইলাস্টিক অনুসন্ধান বা SOlr এর সমর্থক হয়ে। আমি উভয় সার্চ ইঞ্জিনে কাজ করেছি এবং আমি অভিজ্ঞতা পেয়েছি যে আপনি যদি সঠিকভাবে কনফিগার করেন তবে সার্চ ইঞ্জিন দুটিই সাবলীলভাবে ব্যবহার করা যেতে পারে।
  • আপনি যদি বাস্তব সময়ের ফলাফলটিকে লক্ষ্য করে নিচ্ছেন এবং আপনার প্রতিক্রিয়াতে মিলিসেকেন্ড বিলম্ব করতে পারছেন না তবে কেবলমাত্র আমি তা ভাবতে পারি। তারপরে ক্যাসান্দ্রা বা কাউচবেসের মতো অন্যান্য নোএসকিউএল ডাটাবেসের সহায়তা নেওয়া আরও ভাল।
  • সোলার সহ ক্যাসান্দ্রা, ইলাস্টিক অনুসন্ধানের সাথে ক্যাসান্দ্রার চেয়ে আরও ভাল কাজ করুন।

0

ক্যাসান্দ্রা আইডির মাধ্যমে ডেটা পুনরুদ্ধারে দুর্দান্ত । আমি গৌণ সূচকের পারফরম্যান্স সম্পর্কে বেশি কিছু জানি না তবে আমি সন্দেহ করি এটি ইলাস্টিকসার্কের মতো দ্রুত। এটি সম্পূর্ণ পাঠ্য অনুসন্ধান কার্যকারিতা ( পাঠ্য বিশ্লেষণ , প্রাসঙ্গিকতা স্কোরিং) এলে অবশ্যই ইলাস্টিকসার্ক জিতে যায় ইত্যাদি) ।

ক্যাসান্দ্রা আপডেটের পারফরম্যান্সেও জয়ী হয় । ইলাস্টিকসার্ক আপডেটগুলি সমর্থন করে তবে একটি আপডেট সত্যই একটি পারমাণবিক ক্রিয়াকলাপে রিইন্ডেক্স + নরম মোছা।

ক্যাসান্দ্রার একটি খুব সুন্দর প্রতিরূপ মডেল রয়েছে (যদি আপনার অতিরিক্ত-ব্যর্থ-নিরাপদ হওয়া প্রয়োজন)। ইলাস্টিকসার্কও ঠিক আছে, আমি শিবিরে নেই যে বলে যে ES বিশেষত অবিশ্বাস্য (এটির মাঝে মাঝে সমস্ত সফ্টওয়্যারগুলির মতো সমস্যা রয়েছে)।

রিয়েল-টাইম অ্যানালিটিকগুলির জন্য ইলাস্টিকের অনুসন্ধানেরও সমষ্টি রয়েছে । এবং অনুসন্ধানগুলি এত দ্রুত হওয়ার কারণে, ডেটার একটি উপসেটের বিশ্লেষণগুলি দ্রুত হবে হবে।

যদি আপনার প্রয়োজনীয়তাগুলি তাদের মধ্যে একটির পক্ষে যথেষ্ট পরিমাণে সন্তুষ্ট হয় (যেমন এখানে মনে হয় ES ভালভাবে কাজ করবে), আমি কেবল একটি ব্যবহার করব। উভয় জগতের যদি আপনার প্রয়োজনীয়তা থাকে তবে আপনি তা করতে পারেন:

  • এর মধ্যে একটি ব্যবহার করুন এবং ডাউনসাইডের চারপাশে কাজ করুন। উদাহরণস্বরূপ, আপনি ইলাস্টিকসার্কের সাহায্যে অনেকগুলি আপডেট পরিচালনা করতে পারবেন তবে আরও শার্ড এবং আরও হার্ডওয়ারের সাহায্যে
  • উভয়ই ব্যবহার করুন এবং নিশ্চিত করুন যে তারা সিঙ্কে রয়েছে
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.