এসএসডি ক্যাশে স্টোর সহ স্কুইড বা অন্যান্য এইচটিটিপি ক্যাচ?


9

আমি এসএসডি ড্রাইভ সহ একটি সিস্টেমে স্কুইড (বা সম্ভবত বার্নিশ) ক্যাশে স্থাপনের কথা ভাবছি।

সুস্পষ্ট সুবিধাটি হ'ল এই সিস্টেমে দুর্দান্ত রিড গতি রয়েছে এবং আমি আশা করি যে আমার হিট অনুপাতটি বেশ উচ্চতর হবে।

ধরা যাক আমি একটি RAID কনফিগারেশনে 7 এসএসডি রাখতে পারি। (এমন কিছু মামলা রয়েছে যা আমাকে আরও অনেক কিছুতে প্যাক করতে দেবে)

বাস্তবায়ন প্রশ্ন:

  • আমার কি RAID0 ব্যবহার করা উচিত? (আমি আশা করি একটি ড্রাইভ শেষ পর্যন্ত ব্যর্থ হবে, সুতরাং এটি বিপজ্জনক বলে মনে হচ্ছে))

  • আমার কি RAID10 ব্যবহার করা উচিত? (এটি আমার ডিস্কের পদচিহ্নগুলি অর্ধেক করে দেয় যা ব্যয়বহুল)

  • আমার কি RAID5 ব্যবহার করা উচিত? (এসএসডিগুলিতে "খারাপ" রাইটিং পারফরম্যান্স এবং লেখার সীমা রয়েছে বলে জানা যায় এবং সমস্ত অতিরিক্ত প্যারিটি লেখার কারণে এটি যথেষ্ট কমে যায়।)

  • আমি কি প্রতিটি ডিস্কের নিজস্ব স্কুইড ডাটাস্টোরের মতো আচরণ করব? (স্কুইড একাধিক ডেটা স্টোরকে কীভাবে পরিচালনা করতে পারে? এবং / যখন কোনও ব্যর্থ হয় তবে কী ঘটে?)

  • আমি কি ডেটাস্টোরগুলিকে উপেক্ষা করে এসএসডিগুলিকে বড় বড় সোয়াপ পার্টিশনগুলিতে পরিণত করতে এবং লিনাক্স ভিএমকে এটি করতে দেব? (ঘোলাটে মনে হচ্ছে)

উত্পাদন পরিবেশে এসএসডি ব্যবহার করে লোকেদের যে কোনও পরামর্শ প্রশংসিত হবে। (যেমন আপনি যদি এইচটিটিপি ক্যাশে ব্যবহার করেন)


একটি আকর্ষণীয় প্রশ্নের জন্য +1, আমি কখনই ড্রাইভগুলি একটি বৃহত্তর অদলবিক বিভাজনে রূপান্তরিত করিনি
বব

হ্যাঁ স্পষ্টতই আকর্ষণীয় ... যদিও আমি এসএসডি ব্যান্ডওয়াগনে না পড়ার জন্য প্রবলভাবে ঝোঁক ছিল এবং পরিবর্তে সেই অর্থের জন্য আরও বেশি র্যাম যুক্ত করব।
ওসকার ডুভোর্ন

দুঃখের বিষয়, আমার যে ক্যাশে পায়ের ছাপ দরকার তা র্যামের সাথে খাপ খায় না। আমার কাছে ইতিমধ্যে এই সমস্ত বস্তুর জন্য র্যাম-ব্যাকড স্কুইড ক্যাশে রয়েছে।
জোয়েল কে

উত্তর:


8

আমরা গত 9 মাস ধরে এসএসডি ড্রাইভে বার্নিশ ব্যবহার করছি, এটি আমাদের জন্য অত্যন্ত কার্যকরভাবে কাজ করেছে has আমরা পূর্বে স্কুইড মেমরি কেবল কার্প স্তর সহ ক্যাশে ব্যবহার করি। এটি কাজ করেছে, তবে মেমরি বিভাজন একটি ঘন ঘন পুনরায় আরম্ভের জন্য প্রয়োজন এমন একটি আসল সমস্যা ছিল। স্কুইড ২.x এছাড়াও কেবল একটি কোর ব্যবহার করবে যা এটি বর্তমান হার্ডওয়্যারকে বরং অকার্যকর করে তোলে।

আমাদের সাইটের জন্য, যা খুব ক্যাশে বান্ধব, আমরা প্রায় 10% সিপিইউ ব্যবহার করি একটি 8 টি মেশিনে 100 এমবি / ট্রাফিক সরবরাহ করে। আমাদের পরীক্ষাগুলিতে আমরা 2 1 জিবি পোর্ট সহ সিপিইউ সীমাতে আঘাতের আগে ব্যান্ডউইথের বাইরে চলে যাই।

এসএসডি ক্যাশে দিয়ে বার্নিশ চালানোর জন্য আমার কিছু পরামর্শ আছে।

  • র্যান্ডম লেখার পারফরম্যান্সটি সত্যই গুরুত্বপূর্ণ। আমরা ইন্টেল x-25m তে স্থির হওয়ার আগে এসএসডি ড্রাইভের জন্য বেশ কয়েকটি বিক্রেতা চেষ্টা করেছি। আমরা 4k এলোমেলো লেখার জন্য .1MB / s এর মতো সামান্য কিছু পোস্ট দেখেছি, আমরা 24MB / s 4k এলোমেলোভাবে x-25m দিয়ে লেখি।

  • Raid0। ২.০-তে ক্যাশে স্থির নয়, তাই অতিরিক্ত কাজ সম্পর্কে উদ্বিগ্ন হওয়ার দরকার নেই। এটি পুনরারম্ভগুলিকে আঘাত করে তবে তা বিরল। আপনি নতুন কনফিগার লোড এবং পুনরায় আরম্ভ না করে অবজেক্টগুলি সাফ করার মতো কাজ করতে পারেন।

  • এমএমএপ মোড। বার্নিশ ক্যাশে কোনও ফাইলে এমএমপ করতে পারে বা অদলবদল স্পেস ব্যবহার করতে পারে। অদলবদলটি আমাদের পক্ষে ভাল কাজ করে না, একই পরিমাণ ট্র্যাফিকের জন্য এটি আরও i / o ব্যান্ডউইথ ব্যবহার করতে ঝোঁক। লিনাক্স সোয়াপিন কোডে একটি 4 টি সেক্টর রিডহেড রয়েছে, আমরা এটিকে সরাতে একটি প্যাচ লিখেছিলাম তবে এটি উত্পাদন করতে চেষ্টা করে নি।

  • শেষ সময়সূচী। ২..2.২৮+ সহ এটি এসএসডি সচেতন এবং ভাল সম্পাদন করে। আমরা নূরের চেষ্টা করেছিলাম কিন্তু i / o ব্যান্ডউইথ সীমিত হওয়ার সাথে সাথে সময়সীমাটি আরও ভাল ছিল।

  • সামনে পড়তে অক্ষম করুন। যেহেতু কোনও ঘোরানো দেরি নেই, কেবল আপনার প্রয়োজন হতে পারে বলে অতিরিক্ত ডেটা পড়ার কোনও অর্থ নেই। i / o ব্যান্ডউইথ এই জিনিসগুলির জন্য মূল্যবান।

  • 2.6.28+ চালান। লিনাক্সের অনেক জায়গার এমএমএপ মেমোরি ম্যানেজারকে একটি ভাল ওয়ার্কআউট দেয়, তবে বিভক্ত lru প্যাচগুলি অনেক সাহায্য করে। আমরা আপডেট করার সাথে সাথে kswapd cpu ব্যবহার অনেক কমেছে।

আমরা লিঙ্ক পাঠ্যে বার্নিশের সাথে ব্যবহার করে আমাদের ভিসিএল ফাইলের পাশাপাশি বেশ কয়েকটি সরঞ্জাম পোস্ট করেছি । ভিসিএল-এ ম্যাক্সমাইন্ড ডাটাবেসের উপর ভিত্তি করে খুব দ্রুত জিওপ্লিকআপ সার্ভার প্রয়োগকারী একটি ঝরঝরে হ্যাক অন্তর্ভুক্ত রয়েছে।


1

আমি এসএসডিগুলি এইচটিটিপি ক্যাশে হিসাবে ব্যবহার করছি না, তবে আমি এই পর্যবেক্ষণগুলি করতে পারি:

সমস্ত এসএসডি সমান নয়, তাই আপনাকে শালীন বাছাইয়ের বিষয়ে খুব যত্নশীল হতে হবে। ফিউশনআইসি পিসিআই-সমর্থিত এসএসডি তৈরি করুন যা সত্যই উচ্চ-শেষ পারফর্মার (তুলনামূলক কম ক্ষমতা সহ), তবে ব্যয়বহুল। ইন্টেলের এক্স 25-ই এসএলসি এসএসডিগুলি সত্যই ভাল পারফর্ম করে এবং আরও সাশ্রয়ী মূল্যের, তবে এখনও কম ক্ষমতা capacity আপনার গবেষণা করুন! আমি অবশ্যই X25-E এসএলসি বৈকল্পিকগুলির প্রস্তাব দিতে পারি, কারণ আমি এগুলি উত্পাদন পদ্ধতিতে ব্যবহার করছি।

সেখানে অন্যান্য এসএসডিএস রয়েছে যা আপনাকে দুর্দান্ত ক্রমবর্ধমান পাঠ / লেখার গতি দিতে পারে তবে ক্যাশের মতো কোনও কিছুর জন্য গুরুত্বপূর্ণ বিষয়টি এলোমেলো আইও এবং এসএসডি অনেকগুলি স্পিনিং ডিস্কের মতো প্রায় র্যান্ডম পারফরম্যান্স দেবে। এসএসডিগুলিতে এমপ্লিফিকেশন প্রভাব লেখার কারণে, স্পিনিং ডিস্কগুলি প্রায়শই আরও ভাল পারফর্ম করে। অনেক এসএসডি-র মানের মানের নিয়ামক থাকে (যেমন, পুরানো জেএমক্রন নিয়ন্ত্রক), যা কিছু পরিস্থিতিতে উল্লেখযোগ্যভাবে হ্রাসপ্রাপ্ত কর্মক্ষমতা থেকে ভুগতে পারে। আনন্দটেক এবং অন্যান্য সাইটগুলি আইওমিটারের মতো সরঞ্জামগুলির সাথে ভাল তুলনা করে, সেখানে পরীক্ষা করে।

এবং, অবশ্যই, এসএসডি ছোট হয়। ইন্টেল এক্স 25-ই, যা আমি বলব যে আমি দেখেছি সেরা সটা এসএসডি, কেবল 32 এবং 64 জিবি ভেরিয়েন্টে আসে।

RAID স্তরের জন্য, স্ট্যান্ডার্ড RAID পারফরম্যান্স নোটগুলি এখনও প্রয়োগ হয়। একটি RAID 5 বাথিকে একটি লেখার মধ্যে আপনি যে ডেটা ব্লকটি সংশোধন করতে যাচ্ছেন তা পড়া, প্যারিটি ব্লকটি পড়া, প্যারিটি আপডেট করা, ডেটা ব্লক লেখা এবং প্যারিটি লেখার সাথে জড়িত রয়েছে, তাই এটি এখনও অন্যান্য রেডের চেয়ে খারাপ পারফরম্যান্স দিতে চলেছে স্তরগুলি এমনকি এসএসডি সহ। যাইহোক, এক্স 25-ই এর মতো ড্রাইভের সাথে এ জাতীয় উচ্চ র্যান্ডম আইও পারফরম্যান্স রয়েছে, এটি সম্ভবত কম গুরুত্বপূর্ণ - কারণ এটি এখনও একই আকারের অ্যারের জন্য স্পিনিং ডিস্কগুলিতে র্যান্ডম আইওকে ছাড়িয়ে যাচ্ছে।

আমি যা দেখেছি তা থেকে, RAID কন্ট্রোলার ব্যান্ডউইথ খুব শীঘ্রই 7 ডিস্ক RAID সেট থেকে সর্বাধিক উপকার পাওয়ার জন্য স্যাচুরেটেড হয়, কমপক্ষে যথাক্রমে যথাযথ পারফরম্যান্স সম্পর্কিত concerned আপনি স্যাটা নিয়ন্ত্রণকারীদের বর্তমান মডেলগুলি (3 ওয়্যার, আর্কা ইত্যাদি) থেকে প্রায় 800 এমবি / সেকেন্ডের বেশি পেতে পারবেন না। একাধিক কন্ট্রোলার জুড়ে আরও ছোট অ্যারে (উদাহরণস্বরূপ, একক RAID10 এর চেয়ে বেশ কয়েকটি RAID1) এর উন্নতি ঘটবে, যদিও প্রতিটি অ্যারের স্বতন্ত্র কার্যকারিতা ক্ষতিগ্রস্থ হবে।

এইচটিটিপি ক্যাশে সম্পর্কিত, আমি মনে করি আপনাকে আরও ভাল স্পিনিং ডিস্ক এবং প্রচুর পরিমাণে রাম সরবরাহ করা হবে। ঘন ঘন অ্যাক্সেস করা অবজেক্টগুলি মেমোরি ক্যাশে থাকবে - হয় স্কুইডের অভ্যন্তরীণ ক্যাশে বা আপনার OS এর fs ক্যাশে। কেবল একটি মেশিনকে আরও বেশি র্যাম দেওয়ার ফলে ডিস্কের লোডিং উল্লেখযোগ্যভাবে হ্রাস করতে পারে। আপনি যদি একটি বিশাল স্কুইড ক্যাশে চালাচ্ছেন তবে আপনি সম্ভবত প্রচুর ডিস্কের জায়গা চাইবেন এবং উচ্চ-পারফরম্যান্স এসএসডিগুলি কেবল অপেক্ষাকৃত কম ক্ষমতাতে আসে।


এমনকি
এক্স 25

আমি আমার হোম ওয়ার্কটি করেছি এবং জেএমক্রোনগুলি এড়াতে জানি। আমি বেশিরভাগই এক্স 25-এমএস (ইনটেল এমএলসি) এবং সম্ভবত আরও নতুন (জেএমক্রন) ওসিজেড ভার্টেক্স সিরিজটি বিবেচনা করছিলাম।
জোয়েল কে

বাহ, অক্স ভার্টেক্সে x25-m এর চেয়ে কম সর্বোচ্চ এলোমেলো রচনা রয়েছে !!!
পাইরোলিস্টিকাল

1

আমি এসএসডি ড্রাইভের সাথে খুব বেশি পরিচিত নই, তবে আমি যে ধরণের আর্কিটেকচার ব্যবহার করেছি সে সম্পর্কে কথা বলতে পারি যা আপনার কিছু সমস্যার সমাধান করতে সহায়তা করতে পারে।

ভাইবোন

আমার ক্ষেত্রে আমি প্রতিটি 16 গিগাবাইট র‌্যামের সাথে চারটি সার্ভার তৈরি করেছি। স্কুইডটি ব্যবহারের জন্য আমি মেমরি ক্যাশে হিসাবে 9 জিবি সেট করেছি। আমি তাদের ভাইবোনদের সেট হিসাবে কনফিগার করেছি যাতে একটি সার্ভারের কাছে একটি কোয়েরি ডেটা সন্ধান করার আগে অন্যদের জিজ্ঞাসা করে। একসাথে আমার কাছে মেমরি ক্যাশে 36GB ছিল। তাদের মধ্যে যোগাযোগ শুরু হওয়ার সাথে সাথে আমি চার ভাইবোনকে পেতে পারি না।

ভিআইপিরা

ক্লায়েন্টের সাথে কথা বলার জন্য আমি চারটি সার্ভারের জন্য একটি ভিআইপি কনফিগার করেছি। কোনও সার্ভার ডাউন হয়ে গেলে যা ঘটে তা সমাধান করে।

শিশু

আমি আমার ওয়েব অ্যাপ্লিকেশনটি 127.0.0.1 এ চলমান স্থানীয় স্কুইড সার্ভারের ক্যোয়ারিতে সেট করেছি। তারপরে এই স্কুইড উদাহরণের পিতামাতাকে ভিআইপি হতে কনফিগার করেছেন। এটি পুরো ভিআইপি ডাউন হয়ে যাওয়ার ইভেন্টে খুব দ্রুত ব্যর্থতার অনুমতি দেয়। যদি পিতামাতারা কোনও প্রতিক্রিয়া না জানায় তবে শিশু সরাসরি পরিষেবাগুলিকে জিজ্ঞাসা করে। আপনি যদি একটি একক স্কুইড সার্ভার ব্যবহার করেন এবং ভিআইপি না রাখেন তবে এটিও সহজ। অবশ্যই যদি আপনার ওয়েবসারভারে স্থানীয় স্কুইড উদাহরণটি বন্ধ হয়ে যায় তবে সবকিছু বন্ধ হয়ে যায়।

স্কুইড নিজেই

আমি সত্যিই 3.0 এর দিকে নজর নেই, তবে 2.x এখনও একক থ্রেডেড। কিছু সময় আপনি সিপিইউ বা টিসিপি বাফারগুলির বাইরে চলে যাবেন। সম্ভব হলে আমি 2-3 টি কম বাক্সে ক্যাশে ছড়িয়ে দেব। এছাড়াও আপনি যদি সিস্টেমটি বাড়তে দেখেন তবে ভবিষ্যতে আপনার স্কুইড ফার্মগুলি বিভক্ত করার পরিকল্পনা করতে চাইতে পারেন।

যে কোনও ক্ষেত্রে আপনার এসএসডি বিল্ডের জন্য শুভকামনা। এটি কীভাবে রূপান্তরিত হয় তা শুনতে আগ্রহী আমি ভবিষ্যতে সম্ভবত এই পথে যাব।


0

আপনি এমনকি 10 বা 5 টি অভিযানের কথা বিবেচনা করছেন কেন আপনি এখানে পারফরম্যান্স চান। ড্রাইভগুলি কেবল নিচে নামা হয় কিনা তা আপনার যত্ন নেই, কারণ এটি কেবল ক্যাশে a

কেবল রাইড 0 ব্যবহার করুন বা তাদের আলাদা রাখুন। আমি মনে করি পৃথকীকরণ আরও ভাল হবে, যেহেতু কোনও ড্রাইভ ব্যর্থতা আপনার পুরো ক্যাশে নেবে না।


যদি কোনও একক ডেটা স্টোর পড়ে যায় তবে স্কুইড কীভাবে পুনরুদ্ধার করবে? (স্পষ্টতই আমার এটি পরীক্ষা করা দরকার) RAID5 একটি আপোস যদি স্কুইড কোনও ডেটাস্টোর ব্যর্থ হওয়ার বিষয়ে সুদর্শন না করে।
জোয়েল কে

-1

স্কুইড ডকুমেন্টেশন RAID ব্যবহার না করে অতিরিক্ত ডিস্কে অতিরিক্ত ক্যাশে ডিরেক্টরি সেটআপ করার পরামর্শ দেয়।


1
স্কুইড ডকুমেন্টেশনের সংশ্লিষ্ট বিভাগে একটি লিঙ্ক সরবরাহ করুন।
অ্যান্ড্রু শুলম্যান

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.