ইলাস্টিক অনুসন্ধান হার্ডওয়্যার [বন্ধ] জন্য প্রস্তাবনাগুলি

এই প্রশ্নটি ভবিষ্যতের কোনও দর্শকদের সহায়তা করার সম্ভাবনা কম; এটি কেবলমাত্র একটি ছোট ভৌগলিক ক্ষেত্রের সাথে প্রাসঙ্গিক, একটি নির্দিষ্ট মুহুর্তে বা একটি অসাধারণ সংকীর্ণ পরিস্থিতি যা সাধারণত ইন্টারনেটের বিশ্বব্যাপী দর্শকদের জন্য প্রযোজ্য নয়। এই প্রশ্নটিকে আরও বিস্তৃতভাবে প্রযোজ্য করার জন্য সহায়তা কেন্দ্রটি দেখুন ।

8 বছর আগে বন্ধ ছিল ।

ইলাস্টিক অনুসন্ধানকে সমর্থন করার জন্য কি হার্ডওয়্যার স্তরের জন্য কোনও ভাল গাইড আছে? Lucene বা সোলার জন্য সুপারিশগুলি শুরু করার জন্য ভাল জায়গা? আমরা শুরু দিয়ে একটি স্থাপনার রোলিংয়ের দিকে তাকিয়ে আছি

২ million মিলিয়ন ডকুমেন্ট, ৮ টিবি ডাটা data
প্রতিদিন 300k ডকুমেন্ট যুক্ত করুন

তারপরে এটি প্রায় 10x পর্যন্ত স্কেলিং করে

270 মিলিয়ন ডকুমেন্টস, 80TB ডেটা
3 মিলিয়ন নথি / দিন যোগ করুন

এটি একটি অদ্ভুত ব্যবহারের ক্ষেত্র, যেখানে প্রশ্নগুলি হাজার / দিনে থাকবে, তবে অ্যাজ্যাক্সির ওয়েবঅ্যাপের সাথে ভাল অভিজ্ঞতার জন্য প্রতিক্রিয়ার সময়গুলি যথেষ্ট কম থাকতে হবে।

hardware scaling elasticsearch

— জেমস সোসোল
সূত্র

@ মার্কহেন্ডারসন: এটি একটি বাস্তব (খেলনাবিহীন) এবং আকর্ষণীয় প্রশ্ন। আমি মনে করি এটির "খুব স্থানীয়করণ" হওয়ার বিষয়ে আপনার মূল্যায়ন অফ-টার্গেট।

— ডেভিড জে।

ডেভিড, প্রশ্নটি আমাদের FAQ অনুসারে বন্ধ হয়েছিল আমরা শপিংয়ের প্রশ্ন করি না

— মার্ক হেন্ডারসন

খেলায় আসতে পারে এমন অনেকগুলি কারণ রয়েছে, তাই আমি মনে করি না অনেকগুলি সাধারণ নির্দেশিকা রয়েছে।

আপনি যখন সেট আপটিতে আপনার প্রত্যাশিত ইনডেক্সিং এবং অনুসন্ধানের লোড ছুঁড়ে ফেলেন তখন জিনিসগুলি কীভাবে আচরণ করে তা দেখতে প্রথম ডেটা সেট করে আপনার সম্ভবত একটি ছোট স্কেল মূল্যায়ন করা উচিত। এটি আপনার ডেটা প্রকৃতপক্ষে অনুসন্ধান ইঞ্জিনে কতটা স্থান গ্রহণ করবে তা বুঝতে পারবেন। স্থিতিস্থাপক অনুসন্ধানের জন্য, আপনি যদি সোর্স জসন সংরক্ষণ করছেন এবং ক্ষেত্রগুলি কীভাবে বিশ্লেষণ করা হয় এবং সেগুলি সঞ্চয় করা হয় তা নির্ভর করে।

ইসি 2 হ'ল / ডাব্লু ব্যয় ছাড়াই স্থিতিস্থাপক অনুসন্ধানের যুক্তিসঙ্গত উপায় হতে পারে।

ক্লাস্টার ভিত্তিক সফ্টওয়্যারগুলির জন্য, যেমন ইলাস্টিকসার্ক, ক্লাস্টারটিকে ছোট বনাম আরও বড় রাখার মধ্যে রয়েছে বাণিজ্য। একটি বৃহত ক্লাস্টার দুর্দান্ত কারণ আপনি যখন কোনও সার্ভার হারাবেন তখন কম ডেটা পুনরায় বরাদ্দ করা দরকার। একটি ছোট ক্লাস্টার কম শক্তি খরচ করে এবং বজায় রাখা সহজ।

সমস্ত সূচকগুলি অনুলিপি করা হওয়ায় আমরা ৩০০ মিলিয়ন ডকুমেন্ট ডাব্লু / মোট সূচকের আকার প্রায় 300 জিবি x 2 সহ একটি ক্লাস্টার পরিচালনা করি। এটি এবং প্রচুর সংখ্যক অনুসন্ধানগুলিকে সমর্থন করার জন্য, আমাদের কাছে 4 টি নোড রয়েছে, প্রতিটিতে 24 টি কোর, 48 গিগাবাইট র্যাম এবং 1 টিবি স্টোরেজ 10 টি ডিস্ক সহ 10 টি ডিস্ক রয়েছে। আমাদের আরও বেশি মাথা কক্ষ আছে তা নিশ্চিত করার জন্য আমরা সম্প্রতি ডিস্কের আকার বাড়িয়েছি।

আপনার ক্ষেত্রে, আমি আরও র‌্যাম এবং আরও বেশি ডিস্কের পরামর্শ দেব। আপনি সম্ভবত অনুসন্ধানের ভলিউম দিয়ে সিপিইউগুলিতে অর্থ সাশ্রয় করতে পারেন।

স্বল্প অনুসন্ধানের ভলিউমটি কার্য সম্পাদনকে ক্ষতিগ্রস্থ করে, যেহেতু ক্যাশে (উভয় অভ্যন্তরীণ ব্যবহৃত এস / ডাব্লু এবং ওএস ডিস্ক) ভালভাবে গরম করা যায় না।

আশা করি এই সাহায্য করবে, পল

— পল
সূত্র

আপনি কোন ধরণের দলিল সম্পর্কে কথা বলছেন? লগ? আসল দলিল?

— ম্যানুয়েল রাউবার