ইলাস্টিকসার্কে শারদ এবং প্রতিলিপি


303

আমি ইলাস্টিকসার্কে শারড এবং প্রতিলিপিটি কী তা বোঝার চেষ্টা করছি, তবে আমি এটি বুঝতে সক্ষম হইনি। যদি আমি ইলাস্টিকসার্কটি ডাউনলোড করি এবং স্ক্রিপ্টটি চালিত করি তবে আমি যা জানি তা থেকে আমি একটি নোড দিয়ে একটি ক্লাস্টার শুরু করেছি। এখন এই নোডে (আমার পিসি) 5 টি শার্প (?) এবং কিছু প্রতিলিপি (?) রয়েছে।

এগুলি কী, আমার কি সূচকের 5 টি নকল আছে? যদি তাই হয় কেন? আমার কিছু ব্যাখ্যা দরকার ছিল।


1
: এখানে একটি চেহারা আছে stackoverflow.com/questions/12409438/...
javanna

তবে তবুও প্রশ্নটি উত্তরহীন রয়ে গেছে।
লাকীলুক

আমি ভেবেছিলাম আপনি উত্তর পেয়েছেন এবং উপরে লিঙ্কিত উত্তরগুলি বিষয়গুলি স্পষ্ট করা উচিত। তাহলে কি পরিষ্কার হয় না?
জাভান্না

আমি একটি শারড কি এবং প্রতিলিপিগুলি কম তা ব্যাখ্যা করি না। একটি নোডে কেন অনেক শার্ড এবং প্রতিলিপি রয়েছে তা আমি পাই না।
লাকিলুক

1
প্রতিটি বিতরণ ডেটা বিতরণ করতে সক্ষম হতে শারডগুলিতে বিভক্ত হতে পারে। শারড হ'ল একটি সূচকের পারমাণবিক অংশ, যদি আপনি আরও নোড যোগ করেন তবে এটি ক্লাস্টারের উপরে বিতরণ করা যেতে পারে।
জাভান্না

উত্তর:


965

আপনি যে উত্তর এবং উত্তরগুলি পেয়েছেন তা আপনাকে সহায়তা করে বলে মনে হচ্ছে না বলে আমি একটি বাস্তব উদাহরণ দিয়ে ব্যাখ্যা করার চেষ্টা করব।

আপনি যখন স্থিতিস্থাপক অনুসন্ধানটি ডাউনলোড করে এটি শুরু করেন, আপনি একটি স্থিতিস্থাপক নোড তৈরি করেন যা বিদ্যমান ক্লাস্টারে যদি যোগ হয় বা যদি একটি নতুন তৈরি করে তবে এটি যোগ দেওয়ার চেষ্টা করে। ধরা যাক আপনি একটি নতুন নোড দিয়ে নিজের নতুন ক্লাস্টার তৈরি করেছেন, এটি একটি যা আপনি সবে শুরু করেছিলেন। আমাদের কোনও ডেটা নেই, সুতরাং আমাদের একটি সূচক তৈরি করতে হবে।

আপনি যখন একটি সূচক তৈরি করেন (প্রথম সূত্রটিও যখন সূচকে তৈরি হয় তখন একটি সূচক স্বয়ংক্রিয়ভাবে তৈরি হয়) আপনি এটি নির্ধারণ করতে পারবেন যে এটি কতটি শার্ডের সমন্বয়ে গঠিত হবে। আপনি যদি একটি নম্বর উল্লেখ না করেন তবে এতে শার্দের ডিফল্ট নম্বর থাকবে: 5 টি প্রাথমিক। এর মানে কী?

এর অর্থ হ'ল স্থিতিস্থাপক অনুসন্ধান 5 টি প্রাথমিক শারড তৈরি করবে যা এতে আপনার ডেটা থাকবে:

 ____    ____    ____    ____    ____
| 1  |  | 2  |  | 3  |  | 4  |  | 5  |
|____|  |____|  |____|  |____|  |____|

প্রতিবার আপনি কোনও দস্তাবেজকে সূচিকর্ম করার সময়, স্থিতিস্থাপক অনুসন্ধান সিদ্ধান্ত নেবে যে কোন প্রাথমিক শারডটি সেই দস্তাবেজটি ধারণ করবে এবং সেখানে এটি সূচী করবে। প্রাথমিক শারডগুলি ডেটার অনুলিপি নয়, তারা ডেটা! একাধিক শারড থাকা একক মেশিনে সমান্তরাল প্রক্রিয়াকরণের সুবিধা গ্রহণে সহায়তা করে, তবে পুরো বিষয়টি হ'ল আমরা যদি একই ক্লাস্টারে অন্য একটি ইলাস্টিক অনুসন্ধান শুরু করি, তবে শারডগুলি ক্লাস্টারের ওপরেও সমান উপায়ে বিতরণ করা হবে।

নোড 1 এর পরে কেবলমাত্র তিনটি শারড থাকবে:

 ____    ____    ____ 
| 1  |  | 2  |  | 3  |
|____|  |____|  |____|

যেহেতু বাকী দুটি শার্ড সদ্য শুরু হওয়া নোডে স্থানান্তরিত হয়েছে:

 ____    ____
| 4  |  | 5  |
|____|  |____|

কেন এমন হয়? কারণ ইলাস্টিকসার্ক একটি বিতরণ করা সার্চ ইঞ্জিন এবং এই পদ্ধতিতে আপনি প্রচুর পরিমাণে ডেটা পরিচালনা করতে একাধিক নোড / মেশিন ব্যবহার করতে পারেন।

প্রতিটি স্থিতিস্থাপক অনুসন্ধান সূচকটি কমপক্ষে একটি প্রাথমিক শারডের সমন্বয়ে গঠিত কারণ সেখান থেকে ডেটা সংরক্ষণ করা হয়। প্রতিটি শারড একটি ব্যয় করে আসে, যদিও, তাই আপনার যদি একটি একক নোড থাকে এবং কোনও প্রত্যাশিত বৃদ্ধি না হয় তবে কেবল একটি একক প্রাথমিক শারড দিয়ে আটকে যান।

আর এক ধরণের শার্ড একটি প্রতিরূপ। ডিফল্টটি হ'ল 1, যার অর্থ প্রতিটি প্রাথমিক শারড অন্য শार्ডে অনুলিপি করা হবে যাতে একই ডেটা থাকবে। প্রতিরূপগুলি অনুসন্ধানের কার্যকারিতা বাড়াতে এবং ব্যর্থতার জন্য ব্যবহার করা হয়। সম্পর্কিত প্রাথমিক যেখানে একই নোডে একটি প্রতিলিপি শর্ট কখনও বরাদ্দ করা হবে না (এটি প্রায় অনেকটা একই মূল ডিস্কের মতো একই ডিস্কে ব্যাকআপ রাখার মতো হবে)।

আমাদের উদাহরণে ফিরে আসুন, 1 প্রতিলিপি দিয়ে আমাদের প্রতিটি নোডে পুরো সূচক থাকবে, যেহেতু প্রথম প্রতি নোডে 2 প্রতিলিপি শার্ড বরাদ্দ করা হবে এবং এগুলিতে দ্বিতীয় নোডের প্রাথমিক শারডের মতো ঠিক একই ডেটা থাকবে:

 ____    ____    ____    ____    ____
| 1  |  | 2  |  | 3  |  | 4R |  | 5R |
|____|  |____|  |____|  |____|  |____|

দ্বিতীয় নোডের জন্য একই, এতে প্রথম নোডে প্রাথমিক শারডের অনুলিপি থাকবে:

 ____    ____    ____    ____    ____
| 1R |  | 2R |  | 3R |  | 4  |  | 5  |
|____|  |____|  |____|  |____|  |____|

এর মতো একটি সেটআপ সহ, যদি কোনও নোড নীচে যায় তবে আপনার কাছে এখনও সম্পূর্ণ সূচক রয়েছে। প্রতিলিপি শার্ডগুলি স্বয়ংক্রিয়ভাবে প্রাথমিক হয়ে উঠবে এবং নোড ব্যর্থতা সত্ত্বেও ক্লাস্টারটি সঠিকভাবে কাজ করবে:

 ____    ____    ____    ____    ____
| 1  |  | 2  |  | 3  |  | 4  |  | 5  |
|____|  |____|  |____|  |____|  |____|

যেহেতু আপনার কাছে রয়েছে "number_of_replicas":1, প্রতিলিপিগুলি আর বরাদ্দ করা যাবে না কারণ সেগুলি তাদের প্রাথমিক যেখানে একই নোডে কখনও বরাদ্দ করা হয় না। এটা কেন আপনি 5 নিয়োগমুক্র shards, প্রতিরুপ হবে, এবং ক্লাস্টারের অবস্থা হতে হবে YELLOWপরিবর্তে GREEN। কোনও ডেটা ক্ষতি হয় না, তবে এটি আরও ভাল হতে পারে যেহেতু কিছু শার্ডগুলি বরাদ্দ করা যায় না।

যে নোডটি ফেলে রেখেছিল তা ব্যাক আপ হওয়ার সাথে সাথেই এটি আবার ক্লাস্টারে যোগ দেবে এবং প্রতিলিপিগুলি আবার বরাদ্দ করা হবে। দ্বিতীয় নোডের বিদ্যমান শারডটি লোড করা যেতে পারে তবে নোডটি ডাউন থাকাকালীন সম্ভবত লেখার ক্রিয়াকলাপ ঘটেছিল বলে তাদের অন্যান্য শারডগুলির সাথে সুসংগত করতে হবে। এই ক্রিয়াটি শেষে ক্লাস্টারের স্থিতি হয়ে যাবে GREEN

আশা করি এটি আপনার জন্য বিষয়গুলি স্পষ্ট করে।


57
অসাধারণ ব্যাখ্যা, সময়টি একসাথে রাখার জন্য ধন্যবাদ! :)
লাকলিউকে

6
এটি এখন পর্যন্ত শার্ড / প্রতিরূপ ধারণার সর্বোত্তম ব্যাখ্যা। অনেক অনেক ধন্যবাদ :)
ফ্র্যাঙ্ক ফারস্টার

1
@ জাভান্না দুর্দান্ত ব্যাখ্যা, মাল্টি ক্লাস্টারগুলি এবং তারা কীভাবে কাজ করে সে সম্পর্কে কিছুটা কথা বলতে পারেন?
রাফিয়ান

3
নীচে নেমে যাওয়া নোডটি আবার ফিরে এলে কী হবে তা আমি আরও ব্যাখ্যা করার পরামর্শ দিতে পারি?
c0dem4gnetic

1
আপনি পড়ান? আপনার সম্পূর্ণ করা উচিত। আপনি দোলা। তবে @ অণিমেশ পান্ডে যেমন জিজ্ঞাসা করেছিলেন, আমিও জানতে আগ্রহী যে দুটি প্রতিরূপ বা 3 টি নোড সহ 1 টি প্রতিলিপি দিয়ে কী হয়।
হিমশীতল

24

এগুলি বিতরণ এবং স্কেল করার জন্য একটি সূচকটি শার্ডে বিভক্ত হয়।

প্রতিলিপি হ'ল শার্ডের অনুলিপি এবং কোনও নোড হারিয়ে গেলে নির্ভরযোগ্যতা সরবরাহ করে। এই সংখ্যায় প্রায়শই বিভ্রান্তি দেখা দেয় কারণ প্রতিলিপি গণনা == 1 এর অর্থ ক্লাস্টারের অবশ্যই সবুজ অবস্থায় থাকার জন্য উপলব্ধ শার্কের মূল এবং প্রতিলিপি থাকা উচিত copy

প্রতিরূপ তৈরি করার জন্য, আপনার ক্লাস্টারে কমপক্ষে 2 টি নোড থাকতে হবে।

আপনি সংজ্ঞাগুলি বোঝার জন্য এখানে আরও সহজ পেতে পারেন: http://www.elasticsearch.org/guide/references/glossary/

শুভেচ্ছা, পল


প্রতিটি নথিতে এটিই বলা হয় - সূচকটি শার্ডে বিভক্ত হয় তবে সূচীতে আসলে কী থাকে?
অ্যালেক্স প্রিওমকা

@ অ্যালেক্সপ্রিওমকা, সূচীতে ডেটা রয়েছে
গৌরব

সুতরাং এটি কি মূলত কাফকার বিশ্বে পার্টিশন-প্রতিরূপের সমান?
বেট্রাইস

19

আপনি যদি সত্যিই এটি হলুদ দেখতে পছন্দ করেন না। আপনি প্রতিরূপ সংখ্যা শূন্য হতে সেট করতে পারেন:

curl -XPUT 'localhost:9200/_settings' -d '
{
    "index" : {
        "number_of_replicas" : 0
    }
}
'

মনে রাখবেন যে আপনার স্থানীয় উন্নয়ন বাক্সে এটি করা উচিত।


10

ঠিকরা:

  1. অনুসন্ধান সার্ভার বিতরণ করা হচ্ছে, সমস্ত নোড জুড়ে সূচী নথি বিতরণ করতে ElasticSearchডাকা ধারণাটি ব্যবহার Shardকরে।
  2. একটি indexসম্ভাব্যভাবে প্রচুর পরিমাণে ডেটা সঞ্চয় করতে পারে যা এ এর ​​হার্ডওয়ার সীমা অতিক্রম করতে পারেsingle node
  3. উদাহরণস্বরূপ, এক বিলিয়ন ডকুমেন্টের একক সূচকটি 1 টিবি ডিস্কের স্থান গ্রহণ করে কোনও একক নোডের ডিস্কে ফিট নাও হতে পারে বা একক নোড থেকে অনুসন্ধানের অনুরোধগুলি সরবরাহ করতে খুব ধীর হতে পারে।
  4. এই সমস্যাটি সমাধান Elasticsearchকরার জন্য, আপনার সূচকে ডাকা একাধিক টুকরোগুলিতে বিভক্ত করার ক্ষমতা সরবরাহ করে shards
  5. আপনি যখন একটি সূচক তৈরি করেন, আপনি কেবল shards যেটি চান তার সংখ্যা নির্ধারণ করতে পারেন।
  6. Documentsএতে সঞ্চিত থাকে shardsএবং শার্ডগুলি nodesআপনার মধ্যে বরাদ্দ করা হয়cluster
  7. আপনার clusterবৃদ্ধি বা সঙ্কুচিত হওয়ার সাথে সাথে Elasticsearchস্বয়ংক্রিয়ভাবে শারদগুলি স্থানান্তর করবে nodesযাতে clusterঅবশিষ্টগুলি ভারসাম্যহীন থাকে।
  8. একটি শারড হয় এক primary shardবা একটি হতে পারে replica shard
  9. আপনার সূচকের প্রতিটি দস্তাবেজ একটি এর সাথে সম্পর্কিত single primary shardতাই আপনার প্রাথমিক সূচকগুলির সংখ্যা যা আপনার সূচককে ধরে রাখতে পারে এমন সর্বোচ্চ পরিমাণের ডেটা নির্ধারণ করে
  10. replica shardপ্রাইমারী শারডের একটি অনুলিপি।

প্রতিরূপ:

  1. Replica shardprimary Shardহার্ডওয়্যার ব্যর্থতার ক্ষেত্রে ডেটা ক্ষতি রোধ করতে, এর অনুলিপি ।
  2. Elasticsearchআপনাকে আপনার সূচকের শারডগুলির এক বা একাধিক অনুলিপি তৈরি করতে দেয় যা রেপ্লিকা শার্ডস বা replicasসংক্ষেপে বলা হয় into
  3. একটি indexএছাড়াও বা তার বেশি বার (কোন প্রতিলিপি অর্থ) শূন্য প্রতিলিপি করা যেতে পারে।
  4. number of shardsএবং প্রতিলিপি সময় সূচক তৈরি করা হয় সূচক প্রতি সংজ্ঞায়িত করা যায়।
  5. সূচক তৈরি হওয়ার পরে, আপনি যে কোনও সময় প্রতিরূপের সংখ্যা পরিবর্তনশীল পরিবর্তন করতে পারেন তবে আপনি cannot change the number of shards সত্য-সত্য।
  6. ডিফল্টরূপে, প্রতিটি সূচকে Elasticsearch5 টি প্রাথমিক শারড বরাদ্দ করা হয় এবং 1 replicaএর অর্থ হ'ল যদি আপনার ক্লাস্টারে কমপক্ষে দুটি নোড থাকে তবে আপনার সূচকে প্রতি 10 টি মোট শারডের জন্য 5 টি প্রাথমিক শারড এবং আরও 5 টি প্রতিলিপি শারড থাকবে (1 সম্পূর্ণ প্রতিলিপি) সূচি।

6

এগুলি বিতরণ এবং স্কেল করার জন্য একটি সূচকটি শার্ডে বিভক্ত হয়।

প্রতিলিপি হ'ল শার্ডের অনুলিপি।

একটি নোড ইলাস্টিক অনুসন্ধানের একটি চলমান উদাহরণ যা একটি ক্লাস্টারের অন্তর্গত।

একটি ক্লাস্টারে এক বা একাধিক নোড থাকে যা একই ক্লাস্টারের নাম ভাগ করে দেয়। প্রতিটি ক্লাস্টারের একটি একক মাস্টার নোড থাকে যা ক্লাস্টার দ্বারা স্বয়ংক্রিয়ভাবে নির্বাচিত হয় এবং বর্তমান মাস্টার নোড ব্যর্থ হলে এটি প্রতিস্থাপন করা যেতে পারে।


আমার কাছে তিনটি AWS ec2উদাহরণ রয়েছে, প্রত্যেকেরইতে এটিতে ইলাস্টিক অনুসন্ধান ইনস্টল করা আছে। মানে আমাদের এখানে তিনটি নোড আছে? যদি এই সমস্ত নোডের সমান cluster.name: testসম্পত্তি সেট থাকে তবে এটি কি একটি ক্লাস্টারের নাম তৈরি করবে testযার তিনটি নোড থাকবে?
TheCoder

5

আমি এটি বাস্তব শব্দ পরিস্থিতিতে ব্যবহার করে ব্যাখ্যা করব। কল্পনা করুন আপনি কোনও ইকমার্স ওয়েবসাইট চালাচ্ছেন। আপনি আরও জনপ্রিয় হওয়ার সাথে সাথে আরও বেশি বিক্রেতারা এবং পণ্যগুলি আপনার ওয়েবসাইটে যুক্ত হয়। আপনি সূচকের জন্য প্রয়োজনীয় পণ্যগুলির সংখ্যাটি উপলব্ধি করতে পারবেন এবং এটি একটি নোডের একটি হার্ড ডিস্কে ফিট করার পক্ষে খুব বড়। এমনকি যদি এটি হার্ড ডিস্কে ফিট করে তবে একটি মেশিনে সমস্ত নথি দিয়ে লিনিয়ার সন্ধান করা অত্যন্ত ধীর। একটি নোডের একটি সূচক বিতরণ ক্লাস্টার কনফিগারেশনের সুবিধা নেবে না যার উপর স্থিতিস্থাপক কাজ কাজ করে।

সুতরাং ইলাস্টিকসার্ক ক্লাস্টারের একাধিক নোড জুড়ে সূচীতে নথিগুলি বিভক্ত করে। নথির প্রতিটি বিভাজনকে একটি শারড বলা হয়। নথির একটি শার্ড বহনকারী প্রতিটি নোডের নথির কেবলমাত্র একটি উপসেট থাকবে। ধরুন আপনার কাছে 100 টি পণ্য এবং 5 টি শার্ড রয়েছে, প্রতিটি শারডের 20 টি পণ্য থাকবে। এই তথ্যের শ্যাডিং হ'ল যা স্থিতিস্থাপক অনুসন্ধানে কম বিলম্বিত অনুসন্ধান সন্ধান করে। অনুসন্ধান একাধিক নোডের সমান্তরালে পরিচালিত হয়। ফলাফলগুলি একত্রিত করে ফেরত দেওয়া হয়। তবে শার্ডগুলি দোষ সহ্য করতে পারে না। মানে শারডযুক্ত কোনও নোড নিচে থাকলে, ক্লাস্টারের স্বাস্থ্য হলুদ হয়ে যায়। মানে কিছু ডেটা পাওয়া যায় না।

ফল্ট সহিষ্ণুতা প্রতিরূপ বাড়াতে ছবিতে আসা। ডিওল্ট দ্বারা ইলাস্টিক অনুসন্ধান প্রতিটি শার্ডের একটি একক প্রতিরূপ তৈরি করে। এই প্রতিলিপিগুলি সর্বদা অন্য নোডে তৈরি করা হয় যেখানে প্রাথমিক শারড থাকে না। সুতরাং সিস্টেম ত্রুটি সহনীয় করতে আপনার ক্লাস্টারে নোডের সংখ্যা বাড়তে হতে পারে এবং এটি আপনার সূচকের শার্দের সংখ্যার উপরও নির্ভর করে। প্রতিরূপ এবং শার্ডের উপর ভিত্তি করে প্রয়োজনীয় নোডের সংখ্যা গণনা করার সাধারণ সূত্রটি হ'ল নোডের সংখ্যা = শার্ডের সংখ্যা * (প্রতিলিপিগুলির সংখ্যা + 1) "practice

শার্ডের সংখ্যা নির্ধারণ করা একটি স্ট্যাটিক অপারেশন, যার অর্থ যখন আপনি কোন সূচক তৈরি করবেন তখন আপনাকে এটি নির্দিষ্ট করতে হবে। ওয়াল্ফের পরে যে কোনও পরিবর্তনের জন্য ডেটার সম্পূর্ণ পুনর্নির্মাণের প্রয়োজন হয় এবং এতে সময় লাগবে। তবে, প্রতিরূপ সংখ্যা স্থাপন একটি গতিশীল অপারেশন এবং সূচি তৈরির পরে যে কোনও সময় করা যেতে পারে।

আপনি নীচের কমান্ড দিয়ে আপনার সূচীর জন্য শারড এবং প্রতিরূপ সংখ্যা সেটআপ করতে পারেন।

curl -XPUT 'localhost:9200/sampleindex?pretty' -H 'Content-Type: application/json' -d '
{
  "settings":{
    "number_of_shards":2,
    "number_of_replicas":1
  }
}'

3

ইলাস্টিক অনুসন্ধানের মূল ধারণার জন্য একটি উত্তর নয়, তবে অন্য একটি রেফারেন্স , এবং আমার কাছে মনে হয় যে তারা @ জাভানার জবাবের প্রশংসা হিসাবে বেশ পরিষ্কার।

shards

একটি সূচক সম্ভাব্যভাবে প্রচুর পরিমাণে ডেটা সঞ্চয় করতে পারে যা কোনও একক নোডের হার্ডওয়্যার সীমা অতিক্রম করতে পারে। উদাহরণস্বরূপ, এক বিলিয়ন ডকুমেন্টের একক সূচকটি 1 টিবি ডিস্কের স্থান গ্রহণ করে কোনও একক নোডের ডিস্কে ফিট নাও হতে পারে বা একক নোড থেকে অনুসন্ধানের অনুরোধগুলি সরবরাহ করতে খুব ধীর হতে পারে।

এই সমস্যাটি সমাধান করার জন্য, ইলাস্টিকসার্চ আপনার সূচককে শার্ডস নামে একাধিক টুকরোতে বিভক্ত করার ক্ষমতা সরবরাহ করে। আপনি যখন একটি সূচক তৈরি করেন, আপনি যে শার্ডগুলি চান তা কেবল সংজ্ঞায়িত করতে পারেন। প্রতিটি শারড নিজেই একটি সম্পূর্ণ-কার্যকরী এবং স্বতন্ত্র "সূচক" যা ক্লাস্টারের যে কোনও নোডে হোস্ট করা যায়।

দুটি প্রাথমিক কারণে ভাগ করে নেওয়া গুরুত্বপূর্ণ:

  • এটি আপনাকে আপনার সামগ্রীর পরিমাণকে অনুভূমিকভাবে বিভক্ত / স্কেল করতে দেয় ।
  • এটি আপনাকে শারডগুলি জুড়ে ক্রিয়াকলাপ বিতরণ ও সমান্তরাল করার অনুমতি দেয় (সম্ভাব্যত একাধিক নোডে) এইভাবে পারফরম্যান্স / থ্রুটপুট বৃদ্ধি করে

প্রতিলিপি

কোনও নেটওয়ার্ক / মেঘ পরিবেশে যেখানে ব্যর্থতা যে কোনও সময় আশা করা যায়, সেখানে কোনও শারড / নোড কোনওভাবে অফলাইনে চলে যায় বা যে কোনও কারণেই অদৃশ্য হয়ে যায় সে ক্ষেত্রে ব্যর্থতাটি কার্যকর এবং অত্যন্ত প্রস্তাবিত highly এই লক্ষ্যে, ইলাস্টিকসার্চ আপনাকে আপনার সূচকের শারডগুলির এক বা একাধিক অনুলিপি তৈরি করতে অনুমতি দেয় যা রেপ্লিকা শার্ড বা সংক্ষেপে প্রতিরূপ বলে into

প্রতিলিপি দুটি প্রাথমিক কারণে গুরুত্বপূর্ণ:

  • কোনও শারড / নোড ব্যর্থ হলে এটি উচ্চ প্রাপ্যতা সরবরাহ করে । এই কারণে, এটি লক্ষ করা জরুরী যে প্রতিলিপি শারডটি কখনই মূল / প্রাথমিক শারডের অনুলিপি করা হয় নি যেটি থেকে অনুলিপি করা হয়েছিল একই নোডে বরাদ্দ করা হয় না ।
  • সমান্তরালে সমস্ত প্রতিরূপে অনুসন্ধানগুলি কার্যকর করা যেতে পারে তাই এটি আপনাকে আপনার অনুসন্ধানের পরিমাণ / থ্রুপুট স্কেল করতে দেয় ।

1

ইলাস্টিক অনুসন্ধানে, শীর্ষ স্তরে আমরা নথিকে সূচকে সূচি করি। প্রতিটি সূচকে সংখ্যক শার্ড রয়েছে যা অভ্যন্তরীণভাবে ডেটা বিতরণ করে এবং অভ্যন্তরীণ শার্ডগুলি লুসিন বিভাগগুলিতে বিদ্যমান যা ডেটার মূল স্টোরেজ। সুতরাং যদি সূচকে 5 টি শারড থাকে তবে এর অর্থ ডেটাটি শার্ডগুলিতে বিতরণ করা হয়েছে এবং শারডগুলির মধ্যে একই ডেটা নেই।

ES https://www.youtube.com/watch?v=PpX7J-G2PEo এর মূল ব্যাখ্যা দেয় এমন ভিডিওটি দেখুন

একাধিক সূচক বা একাধিক শারডের উপর নিবন্ধ ইলাস্টিক অনুসন্ধান, এক সূচক বনাম একাধিক সূচী এবং বিভিন্ন ডেটা সেটের প্রকার?


1

স্থিতিস্থাপক অনুসন্ধান সমস্ত ক্রেডিট তার বিতরণ করা আর্কিটেকচারের সাথে দুর্দান্তভাবে স্কেলযোগ্য। শেয়ারিংয়ের কারণে এটি সম্ভব হয়েছে। এখন, এটি আরও এগিয়ে যাওয়ার আগে আসুন আমরা একটি সাধারণ এবং খুব সাধারণ ব্যবহারের কেসটি বিবেচনা করি। আমাদের ধরুন, আপনার একটি সূচক রয়েছে যার মধ্যে অনেকগুলি নথি রয়েছে, এবং সরলতার জন্য, সেই সূচকের আকার 1 টিবি (যেমন, সেই সূচকের প্রতিটি নথির আকারের সমষ্টি 1 টিবি) বিবেচনা করুন )। এছাড়াও, ধরে নিও যে আপনার কাছে 5 টি গিগাবাইট স্পেস সহ ডেটা সংরক্ষণের জন্য দুটি নোড রয়েছে। পরিষ্কারভাবে দেখা যায় যে, আমাদের সম্পূর্ণ সূচকটি দুটি উপলব্ধ নোডের কোনওটিতেই সংরক্ষণ করা যাবে না এবং তাই আমাদের এই সূচকগুলি এই নোডগুলির মধ্যে বিতরণ করা দরকার।

এরকম ক্ষেত্রে যেখানে সূচকের আকার একক নোডের হার্ডওয়্যার সীমা ছাড়িয়ে যায়, সেখানে ভাগাভাগি উদ্ধার করতে আসে। সূচিগুলি ছোট টুকরাগুলিতে ভাগ করে ভাগ করা এই সমস্যাটি সমাধান করে এবং এই টুকরোগুলিকে শারড হিসাবে নামকরণ করা হয়।


0

এর সহজ শর্তে, এটি shardকোনও সূচকের অংশ ছাড়া কিছুই নয় যা পৃথক ফোল্ডারে ডিস্কে সঞ্চয় করে:

ইলাস্টিকসার্চ

এই স্ক্রিনশটটি পুরো ইলাস্টিকসার্চ ডিরেক্টরি দেখায়।

আপনি দেখতে পাচ্ছেন, সমস্ত ডেটা dataডিরেক্টরিতে চলে যায় ।

সূচকটি পরিদর্শন করে C-mAfLltQzuas72iMiIXNwআমরা দেখতে পাচ্ছি যে এর পাঁচটি শার্ড রয়েছে (ফোল্ডার 0টু 4)।

অন্যদিকে, JH_A8PgCRj-GK0GeQ0limwসূচীতে কেবল একটি শারড ( 0ফোল্ডার) রয়েছে।

ইলাস্টিকসার্চ

priShards মোট সংখ্যা দেখেন।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.