বড় ইনজেট রেট সহ পরিষেবাগুলি পর্যাপ্ত পরিমাণে হার্ড ডিস্কগুলি কীভাবে ইনস্টল করে?

Question

প্রতিদিন পিবি না হলে অ্যামাজন, ফেসবুক এবং গুগলকে অবশ্যই টিবি নিতে হবে, এর অর্থ এই যে তারা নিয়মিত সার্ভার তৈরি করতে পারে সেইভাবেই লোকেরা নিয়মিতভাবে নতুন র‌্যাঙ্কগুলিতে নতুন হার্ড ডিস্ক এবং কেবল ইনস্টল করে থাকে বা অন্য কোনও প্রযুক্তি ব্যবহার করা হচ্ছে? সংযুক্ত ড্রাইভের জন্য মাস?

Comments

en.wikedia.org/wiki/I,_Pencil

— মাইকেল হ্যাম্পটন

ভেবে দেখার আরেকটি বিষয় হ'ল ড্রাইভ ব্যর্থতার হার much এত বেশি সঞ্চয়স্থান এবং তারা কীভাবে বজায় রাখে। কিছু লোক অনুমান করেছেন যে প্রতি মিনিটে গুগলের কোথাও কোনও নতুন ড্রাইভ ব্যর্থতা হতে পারে।

— ম্যাট

Answer 1

আমি জানি না যে তাদের মধ্যে কেউ একবারে হার্ডওয়্যার একটি সার্ভার ইনস্টল করছে কিনা। পিছনে 2008 মাইক্রোসফট সিল এবং প্রাক ওয়্যার্ড শিপিং সার্ভার যে তারা শুধু একটা ট্রাক ও প্লাগ শক্তি / নেটওয়ার্ক সংযোগ থেকে মাল খালাস করা প্রয়োজন ছিল পাত্রে বিতরণ সার্ভার বুঝিয়ে তার ডেটা সেন্টার নির্মাণের শুরু করে। যদিও 08 বিল্ডটি কন্টেইনারগুলির মিশ্রণ ছিল এবং তাদের অতি সাম্প্রতিক ডাটাবেসটারের জন্য traditional তিহ্যবাহী ছিল তারা তখন থেকে একটি কাস্টম প্রিফ্যাব ডিজাইনে গেছে যা আবহাওয়াবিরোধী এবং পৃথক ভবনের অভ্যন্তরে রাখার দরকার নেই।

এইচপি এবং আইবিএম উভয়ই সার্ভারে পূর্ণ প্রি-বিল্ট কনটেইনারগুলির সাথে একই রকম প্যাকেজ বিক্রি করে যেগুলি মোতায়েনের জন্য কেবল শক্তি / ডেটা সংযোগ প্রয়োজন।

Comments

এটি আমার কাছে কেবল প্রাথমিক উত্তরটি সম্বোধন করে। +1

— এএমআর

বিটিডাব্লু, এখানে সেই ছবির উত্স । এটি ভার্জিনিয়ার একটি মাইক্রোসফ্ট অ্যাজুরে ডেটাসেন্টার।

— tedder42

কারও কাছে এখনও শিপিং কনটেইনার সার্ভারটি একবারে তৈরি / সংযোগ / পরীক্ষা করতে হয় এবং গুগল / ফেসবুক তাদের হার্ডওয়্যার ঘরে বসে থাকে।

— ম্যাট

@ মাইন্ডথেমোনকি যা একই কারখানায় একই সস্তা চীনা শ্রম ব্যবহার করে সম্পন্ন হয়েছে যা সাধারণ র‌্যাক মাউন্ট করা আমাদের / আমাদের দ্বারা ব্যবহৃত ব্লেডগুলিতে একত্রিত হয়

— ড্যান ফিজলিং ফায়ারলাইট

সবকটিই নয়

— ম্যাট

Answer 2

গুগলের বেশ কয়েকটি প্রযুক্তি রয়েছে যা তারা অভ্যন্তরীণভাবে এই বিশাল আকারের ডেটা সঞ্চয় করার জন্য বিকাশ করেছিল। এই প্রযুক্তিগুলি ব্যবহার করে তারা প্রকৃতপক্ষে কোনও ক্লিষ্টে কোনও ডাউনটাইম ছাড়াই হার্ড ডিস্কের বোঝা ট্রাক ডিস্ক যুক্ত করতে পারে, তবে হ্যাঁ, তাদের এখনও এমন লোকের প্রয়োজন নেই।

যতদূর আমি গুগল ব্লগ থেকে জানি যে দুটি প্রধান অংশ হ'ল গুগল ফাইল সিস্টেম, যা একটি বিতরণ করা ফাইল সিস্টেম যা সত্যই বড় স্কেল পর্যন্ত স্কেল করতে পারে: গুগল ফাইল সিস্টেম

এবং গুগল ফাইল সিস্টেমের উপরে তাদের কাছে বিগ টেবিল রয়েছে যা কিছু ধরণের মূল মান ডাটাবেস এবং বিশাল আকারের স্কেলগুলিতে আকার দেয়: বড় টেবিল

উচ্চ প্রাপ্যতার গ্যারান্টি দেওয়ার জন্য সবকিছু বেশিরভাগ ক্ষেত্রে অপ্রয়োজনীয়, বেশিরভাগ ক্ষেত্রে 3 বারেরও বেশি।

Comments

আমি মনে করি প্রশ্নটি আরও হার্ডওয়ার-ভিত্তিক, এবং আপনার উত্তরটি কিছুটা অফ-টপিক, তবে এটি একটি ভাল-জানা তথ্য।

— mveroone

Answer 3

এটি অবশ্যই সঠিক correct আমার মনে আছে একসময়, ফেসবুক ডেটাসেন্টাররা গড়ে দিনে হার্ড ড্রাইভ এবং র্যাক-মাউন্ট সার্ভারে পূর্ণ তিনটি ট্রাক্টর-ট্রেলার যুক্ত করছিল। অবশ্যই, স্টোরেজকে স্কেলযোগ্য এবং অপ্রয়োজনীয় করার জন্য তাদের জটিল পরিকল্পনা রয়েছে। গুগলের উদাহরণস্বরূপ, জিএফএস রয়েছে । ফেসবুকের কেবল তাদের সরঞ্জামের জন্য তিনটি ডেটা সেন্টার রয়েছে, প্রতিটি দুটি ওয়াল-মার্টের চেয়ে বড় এবং একটি নতুন তাদের বিদ্যমান কেন্দ্রগুলির চেয়ে চারগুণ বড় পরিকল্পনা করেছে।

Answer 4

নতুন প্রজন্মের ওপেন কম্পিউট স্টোরেজ সমাধানগুলি 4 টি রাক ইউনিটে 180 টিবি ডিস্ক ফিট করতে সক্ষম, একটি পিবি সত্যিকার অর্থে একটি বিশাল পরিমাণের স্থান নয়: দিনে 1PB যুক্ত করার অর্থ হ'ল দিনে 5 টি এইরকম সার্ভারকে র্যাক করা, কোনও বড় সমস্যা নয়। আরও ভাল, এগুলি প্রায় 10K ডলারে নেওয়া যেতে পারে যার অর্থ আপনি প্রতি টিবিতে $ 60 এর চেয়ে কম দিচ্ছেন।

হ্যাঁ, প্রযুক্তিটি আমাদের সকলের জন্য একই জিনিস করার জন্য উপলভ্য, এমন দামে যা ব্যাংকটি ভাঙে না।

তবে আপনাকে মনে রাখতে হবে যে বৃহত্তর সংস্থাগুলি সর্বদা আরও ভাল চুক্তি করে এবং বিশাল পরিমাণ সঞ্চয়স্থান সংগ্রহের জন্য বড় চুক্তিতে স্বাক্ষর করে। তারা বছর জুড়ে ছড়িয়ে ছড়িয়ে ছোট ছোট চালনা পেতে পারে তবে তারা একবারে কেবল 1PB অর্ডার দেয় এমন নয়।

Comments

খোলা খিলান চশমা অনলাইনে আছেন । 4 টিবি ড্রাইভের সাথে তারা 2U-তে 120TB অবধি থাকে।

— ম্যাট

Answer 5

তারা কীভাবে এটি করে সে সম্পর্কে ব্যাকব্লেজের একটি আকর্ষণীয় ব্লগ পোস্ট এখানে রয়েছে (তাদের সম্ভবত গুগল বা ফেসবুকের মতো এতগুলি ডিস্কের প্রয়োজন নেই, তবে এখনও পুরো এলটি), এবং থাইল্যান্ডে যখন বন্যার কারণে হার্ডডিস্ক হয়েছিল তখন তাদের কী করা দরকার ছিল ব্যয়বহুল এবং আরও কঠিন:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/