বিকাশকারী এবং অন্যান্য ব্যবহারকারীদের কাছে স্টোরেজ সমস্যাগুলি বোঝানোর সর্বোত্তম উপায় কী


40

সার্ভার স্টোরেজ যখন কম বিকাশকারীরা পায় তখন সমস্ত কান্নাকাটি শুরু করে, "আমি 100 টাকার বিনিময়ে ওয়ালমার্টে 1 টিবি ড্রাইভ পেতে পারি, সমস্যা কী"।

স্টোরেজের জটিলতাগুলি কীভাবে বিকাশকারীদের বোঝানো যায় যাতে তারা বুঝতে পারে যে ওয়ালমার্ট থেকে 1 টিবি ড্রাইভ কেন কাজ করবে না।

পিএস আমি বিকাশকারী এবং খুব জানতে চাই:)


5
অথবা "আমি অ্যামাজন এস 3 থেকে প্রতি গিগাবাইটে 0.15 ডলার স্টোরেজ পেতে পারি, সমস্যা কী?"
ক্রিস আপচর্চ

@ ক্রিস আপচর্চ: তবে সমস্যাটি হ'ল অ্যামাজন এস 3, গুগল অ্যাপ ইঞ্জিন বা ... গোশ, বেছে নিতে পারেন কিনা তা নিয়ে আপনার একটি প্রতিবেদন লিখতে হতে পারে that ;)
নাচ 2die

6
আমি আপনাকে এটি ঘুরিয়ে দিতে পারে। আমার কাজ আয় উপার্জন করছে এবং কার্যকরভাবে আমার কাজটি করার জন্য আমার আরও কিছুটা স্টোরেজ দরকার। এটি একটি শক্ত বিনিয়োগ, তবে আপনি কেন কেবলমাত্র আরও সঞ্চয়স্থান কিনতে পারবেন না?

1
@ ক্রিস: অবশ্যই এটি সর্বদা হাতের অবস্থার উপর নির্ভর করে তবে আমি (ব্যয়বহুল) অভিজ্ঞতার মধ্য দিয়ে দেখেছি যে বেসলাইন স্টোরেজের জন্য অ্যামাজন এস 3 ব্যবহার করা একেবারে ব্যয়বহুল নয়। ট্র্যাফিক শিখর পরিচালনা করতে এস 3 এর ব্যবহার অনেক বেশি ভাল যাতে আপনার এমন কোনও সিস্টেমে বিনিয়োগ করতে হবে না যা বিরলতম পরিস্থিতিগুলি হ্যান্ডেল করতে পারে - তবে আপনি যদি দিনের পর দিন অপারেশনের জন্য এটি ব্যবহার শুরু করেন তবে দেখতে পাবেন যে আপনি অনেক বেশি ভালো আছেন off মূলধন মূল্য পরিশোধ করা হচ্ছে ...
মিহাই লিম্বান

উত্তর:


53

স্টোরেজ সম্পর্কে কিছু ঘরের সত্যতা, বা এন্টারপ্রাইজ স্টোরেজটি এফ-আইং ব্যয়বহুল কেন?

গ্রাহক হার্ড ড্রাইভগুলি প্রচুর পরিমাণে স্থান দেয় যাতে এমনকি * কাশি * স্ট্রিমিং মিডিয়া * কাশি * এর সবচেয়ে বিচক্ষণ ব্যবহারকারী বেশ কয়েকটি টেরাবাইটের সংগ্রহ সঞ্চয় করার জন্য পর্যাপ্ত পরিমাণে কিনতে পারেন। আসলে, কয়েক দশক ধরে সিলিকনে ট্রানজিস্টর গণনার চেয়ে ডিস্কের ক্ষমতা দ্রুত বৃদ্ধি পাচ্ছে।

'এন্টারপ্রাইজ' স্টোরেজটি কিছুটা জটিল সমস্যা কারণ ডেটাতে পারফরম্যান্স এবং অখণ্ডতার প্রয়োজনীয়তা রয়েছে যা কিছুটা বেশি হেভিওয়েট পদ্ধতির নির্দেশ করে। হার্ডওয়্যার ব্যর্থতার ক্ষেত্রে ডেটাটির অবশ্যই প্রাপ্যতার কিছু গ্যারান্টি থাকতে হবে এবং এটি প্রচুর সংখ্যক ব্যবহারকারীর সাথে ভাগ করে নিতে হতে পারে, যা একক ব্যবহারকারীর চেয়ে অনেক বেশি পড়ার / লেখার অনুরোধ উত্পন্ন করবে।

এই সমস্যার প্রযুক্তিগত সমাধানগুলি গ্রাহক স্টোরেজ সমাধানের চেয়ে গিগাবাইট প্রতি বহুগুণ ব্যয়বহুল হতে পারে। তাদের শারীরিক রক্ষণাবেক্ষণও প্রয়োজন; ব্যাকআপ নিতে হবে এবং প্রায়শই অফ-সাইট সংরক্ষণ করা উচিত যাতে আগুন ডেটা ধ্বংস না করে। এই প্রক্রিয়া চলমান ব্যয় যুক্ত করে।

কর্মক্ষমতা

আপনার 1 টিবি গ্রাহক বা এমনকি এন্টারপ্রাইজ কাছাকাছি লাইন ড্রাইভটিতে আপনার কেবল একটি মাথা রয়েছে। ডিস্কটি 7200 আরপিএম বা সেকেন্ডে 120 বিপ্লব ঘোরায়। এর অর্থ হল যে আপনি তত্ত্বে * প্রতি সেকেন্ডে সর্বাধিক 120 র্যান্ডম-অ্যাক্সেস I / O ক্রিয়াকলাপ পেতে পারেন এবং অনুশীলনে কিছুটা কম less সুতরাং, একটি একক 1 টিবি ভলিউমে একটি বড় ফাইল অনুলিপি করা তুলনামূলকভাবে ধীর is

14x 72 গিগাবাইট ডিস্ক সহ একটি ডিস্ক অ্যারেতে আপনার 14 ডিস্কের উপরে 14,000 আরপিএম বা সেকেন্ডে প্রায় 250 টি বিপ্লব চলছে say এটি আপনাকে প্রতি সেকেন্ডে ৩,৫০০ র‌্যান্ডম আই / ও অপারেশনকে তাত্ত্বিক দেয় (আবার, অনুশীলনে কিছুটা কম)। সমস্ত ফাইল ফাইল অনুলিপি সমান হওয়া অনেকগুলি, বহুগুণ দ্রুত হবে।

*আপনি যদি ডিস্কের জ্যামিতিটি ড্রাইভকে মাথা সরাতে এবং এমন একটি সেক্টর পড়তে দেয় যা ডিস্কের একটি বিপ্লবের মধ্যে পাওয়া যায় তবে আপনি ডিস্কের বিপ্লব প্রতি একাধিক এলোমেলো অ্যাক্সেস পেতে পারেন। যদি ডিস্কের অ্যাক্সেসগুলি ব্যাপকভাবে ছড়িয়ে দেওয়া হয় তবে আপনি সম্ভবত একের চেয়ে কম গড় পাবেন। যেখানে একটি স্ট্রাইপযুক্ত (নীচে দেখুন) বিন্যাসে ডিস্ক অ্যারে ফর্ম্যাট হয় আপনি বেশিরভাগ পরিস্থিতিতে ডিস্কের বিপ্লব প্রতি সর্বাধিক এক স্ট্রাইপ পাবেন এবং (রেড নিয়ামকের উপর নির্ভর করে) সম্ভবত গড়ে একেরও কম।

7200 RPM 1TB ড্রাইভটি সম্ভবত যথাযথ আই / ও-তে যথাযথভাবে দ্রুত হবে। স্ট্রাইপযুক্ত স্কিমে ফর্ম্যাট করা ডিস্ক অ্যারেগুলি (RAID-0, RAID-5, RAID-10 ইত্যাদি) সাধারণত ডিস্কের বিপ্লব প্রতি সর্বাধিক এক স্ট্রাইপ পড়তে পারে। একটি 64 কে স্ট্রাইপ সহ আমরা 15,000 আরপিএম ডিস্কের মাধ্যমে প্রতি সেকেন্ডে 64Kx250 = 16MB বা এর বেশি তথ্য পড়তে পারি। এটি 14 ডিস্কের অ্যারেতে প্রতি সেকেন্ডে প্রায় 220MB এর অনুক্রমিক থ্রুটপুট দেয় যা 150MB / সেকেন্ডের চেয়ে কাগজে খুব বেশি দ্রুত নয় বা আধুনিক 1 টিবি সাটা ডিস্কের জন্য উদ্ধৃত হয়েছে।

ভিডিও স্ট্রিমিংয়ের জন্য (উদাহরণস্বরূপ), একটি বড় স্ট্রাইপ আকারের (একটি RAID কন্ট্রোলাররা 1MB অবধি স্ট্রাইপ আকারকে সমর্থন করবে) একটি RAID-0-তে 4 টি SATA ডিস্কের একটি অ্যারে রয়েছে যথেষ্ট পরিমাণে ক্রমবর্ধমান থ্রুপুট। এই উদাহরণটি তাত্ত্বিকভাবে প্রায় 480MB / সেকেন্ডের দিকে প্রবাহিত করতে পারে, যা রিয়েল-টাইম অসম্পূর্ণ এইচডি ভিডিও সম্পাদনা করতে যথেষ্ট আরামদায়ক। সুতরাং, ম্যাক প্রস এবং অনুরূপ হার্ডওয়্যারগুলির মালিকরা এইচডি ভিডিও সংমিশ্রনের কাজগুলি করতে পারেন যা কিছু বছর আগে সরাসরি সংযুক্ত ফাইবার অ্যারে সহ একটি মেশিনের প্রয়োজন হত।

ডিস্ক অ্যারের আসল সুবিধা হ'ল ডেটাবেস ওয়ার্কে যা বিপুল সংখ্যক ছোট, বিক্ষিপ্ত I / O অনুরোধগুলির দ্বারা চিহ্নিত করা হয়। এই ধরণের ওয়ার্কলোডের পারফরম্যান্সটি ডিস্কের ধাতব বিটগুলির দৈহিক প্রচ্ছন্নতা দ্বারা বৃত্তাকার এবং বৃত্তাকার এবং পিছনে এবং সামনের দিকে সীমাবদ্ধ থাকে। এই মেট্রিক আইওপিএস হিসাবে পরিচিত (প্রতি সেকেন্ডে আই / ও অপারেশন)। আপনার যত বেশি শারীরিক ডিস্ক রয়েছে - ক্ষমতা নির্বিশেষে যত বেশি আইওপিএস আপনি তাত্ত্বিকভাবে করতে পারেন। আরও আইওপিএস মানে প্রতি সেকেন্ডে আরও বেশি লেনদেন।

তথ্য অখণ্ডতা

অতিরিক্তভাবে RAID কনফিগারেশনগুলি আপনাকে কিছু উপাত্ত সরবরাহ করে - যার সংজ্ঞা অনুসারে একাধিক শারীরিক ডিস্কের প্রয়োজন। এই জাতীয় অপ্রয়োজনীয়তা এবং বিপুল সংখ্যক ড্রাইভের সাথে স্টোরেজ স্কিমের সংমিশ্রণটি একটি সিস্টেমকে নির্ভরযোগ্যভাবে একটি বড় ট্রানজেকশনাল কাজের চাপ সরবরাহ করার ক্ষমতা দেয়।

ডিস্ক অ্যারেগুলির জন্য পরিকাঠামো (এবং আরও চরম ক্ষেত্রে SANs) হুবহু কোনও গণ-বাজারের আইটেম নয়। উপরন্তু এটি বিটগুলির মধ্যে একটি যা সত্যই সত্যই ব্যর্থ হতে পারে না। বিল্ডের স্ট্যান্ডার্ড এবং ছোট বাজারের ভলিউমের এই সমন্বয়টি সস্তা হয় না come

ব্যাকআপ সহ মোট স্টোরেজ ব্যয়

অনুশীলনে, 1TB ডেটা বজায় রাখার জন্য সবচেয়ে বড় ব্যয় ব্যাকআপ এবং পুনরুদ্ধারের সম্ভবত। ব্যাকআপ এবং পুনরুদ্ধারের পুরো দাদা চক্রের জন্য একটি টেপ ড্রাইভ এবং 34 টি সেট এসডিএলটি বা আল্ট্রিয়াম টেপগুলির জন্য সম্ভবত 1 টিবি ডিস্ক অ্যারের চেয়ে বেশি খরচ হবে। অফ-সাইট স্টোরেজের ব্যয় এবং এমনকি একটি একক টেপ-বানরের বেতন যোগ করুন এবং হঠাৎ আপনার 1TB ডেটা এত সস্তা নয়।

ডিস্কগুলির ব্যয় প্রায়শই প্রভাবশালী স্টোরেজ ব্যয়ের শ্রেণিবিন্যাসের নিচু রাস্তা থেকে যায়। এক ব্যাঙ্কে আমার সান স্টোরেজের জন্য কাজ করার সুযোগ ছিল একটি ডেভলপমেন্ট সিস্টেমের জন্য 900 ডলার / জিবি এবং একটি প্রোডাকশন সার্ভারে একটি ডিস্কের জন্য £ 5,000 / জিবি করে দেওয়া হয়েছিল। এমনকি এন্টারপ্রাইজ বিক্রেতার দামগুলিতে ডিস্কগুলির শারীরিক ব্যয়ও ছিল এর একটি ক্ষুদ্র ভগ্নাংশ। আমি যে সম্পর্কে সচেতন সেগুলির একটি (তুলনামূলক) বিনয়ী কনফিগার করা আইবিএম শার্ক এসএন রয়েছে যার জন্য তাদের কোথাও cost 1 মিলিয়ন ডলার ব্যয় করতে হবে। কেবলমাত্র এতে শারীরিক স্টোরেজই আপনার 1TB গ্রাহক এইচডিডি সমতুল্য স্থানের জন্য প্রায় £ 9 / গিগাবাইট বা প্রায় 9,000 ডলার চার্জ করা হয়।


40

শুধু বলুন: "হ্যাঁ, এবং আমি একটি জাভা প্রোগ্রামার অফশোরটি $ 5 / ঘন্টা হিসাবে পেতে পারি।"


8
এখন ভাল!
জন ডায়ার

3
এটি বেশ মজাদার মন্তব্য, তবে আমি এটি উত্থাপন করতে পারি না কারণ এটি আসলে প্রশ্নের উত্তর দেয় না, যার উত্তর খুঁজে পেতে আমি আগ্রহী
নাচ

1
@ dance2die আমি মনে করি এটি প্রশ্নের উত্তরটি বেশ স্পষ্ট করে দিয়েছে।
জো ফিলিপস

11
আমি মনে করি এটি একটি কার্যকর প্রতিক্রিয়া। মুল বক্তব্যটি হ'ল আমাদের প্রত্যেকের নিজস্ব দক্ষতার ক্ষেত্র রয়েছে এবং একটি দলের সদস্যদের একে অপরের উপর নির্ভর করা দরকার। এইভাবে প্রশ্নটিকে বিকাশকারীর কাছে ফিরিয়ে ফেলা তাদের একে অপরকে দ্বিতীয়-অনুমান করার চেষ্টা করা কতটা অর্থহীন তা বুঝতে সাহায্য করবে।
পোর্টম্যান 17

2
আর একটি বৈধ প্রতিক্রিয়া হ'ল গীক স্কোয়াডের লোকটি সম্ভবত এটি কীভাবে করা যায়, এটি সস্তা করার জন্য এবং এটি করার বিষয়ে আরও ভাল মনোভাব রাখতে পারে। গম্ভীরভাবে, কেন এই প্রশ্নের সর্বোচ্চ ভোট দেওয়া উত্তর? এটি পড়ার সময় আমার খুব সুন্দর ছড়িয়ে পড়েছিল, তবে এটি যদি সাইটের সদস্যরা কী নিষ্পাপ প্রশ্নের প্রতিক্রিয়া জানায় তা হতে চলেছে, তবে আমি গুগল এবং বিশেষজ্ঞ এক্সচেঞ্জের সাথে থাকব।
dfjacobs

14

তাদের ওয়ালমার্ট ড্রাইভ সম্পর্কে কিছু প্রশ্ন জিজ্ঞাসা করুন:

  • ব্যর্থতা এর গড় সময় কি?
  • এটি বিপর্যয়করভাবে ব্যর্থ হলে কী হবে?
  • এটি কতবার ব্যাক আপ করা হয়?
  • 12 মাসের ব্যাকআপের জন্য কত স্টোরেজ লাগবে?
  • কীভাবে সাইট থেকে ব্যাক আপ নেওয়া যায়?
  • কিভাবে এটি পুনরুদ্ধার করা যেতে পারে? (সামগ্রিকভাবে? একটি একক ফাইল? বেশ কয়েকটি ডিরেক্টরি?)
  • ব্যাকআপগুলি সঞ্চয় করতে কত খরচ হয়?
  • ব্যাকআপগুলি সুরক্ষিত রাখার গ্যারান্টি সে কীভাবে দেবে? নিরাপদ?
  • অত্যাবশ্যকীয় ডেটা হারাতে তার কোন বীমা থাকতে হবে?

... এই উত্তরগুলির সাথে একটি ড্রাইভের সাথে তুলনা করুন যা একটি ভালভাবে পরিচালিত ডেটাসেন্ট্রে র‌্যাড 5 অ্যারের অংশ হিসাবে চলছে।

(প্রকাশ: আমিও একজন বিকাশকারী - আমি কেবল অনুমান করছি!)


1
প্রশ্নের "কেন" একটি ভাল, ব্যাপক পদ্ধতির জন্য +1।
অ্যাভেরি পেইন

4

হতে পারে আপনার পৃথক স্টোরেজ বিবেচনা করা উচিত।

আপনার দেবের আরও বেশি জায়গার প্রয়োজন হতে পারে তবে সম্ভবত এটি "এন্টারপ্রাইজ শ্রেণি" ড্রাইভস্পেস নয়। সম্ভবত তার কেবল স্টোর করার জায়গা থাকা দরকার v হতে পারে পরীক্ষার রানগুলির জন্য বৃহত ক্ষণস্থায়ী স্থানের প্রয়োজনীয়তা প্রয়োজন যা কেবল পরীক্ষার সময়কাল চলার জন্য সেখানে থাকতে হবে। এই সমস্ত জন্য একটি 50 ডলার ওয়ালমার্ট ড্রাইভ একটি বৈধ সমাধান হতে পারে।


3

লোকেরা স্টোরেজ সম্পর্কে উপলব্ধি করা এক নম্বর জিনিস হ'ল ক্ষমতা এবং আইওপিএসের মধ্যে একটি বড় পার্থক্য। স্থায়িত্ব ইত্যাদির মতো জিনিসগুলি সাধারণত মোট থাকে, এটি প্রায়শই আইওপিএস বনাম ক্ষমতাতে নেমে আসে।


4
আইওপিএস: প্রতি সেকেন্ডে ইনপুট / আউটপুট অপারেশনস
স্যাম হাসার

2

এটি নির্ভর করে সেখানে কোন ধরনের সার্ভারের বিষয়ে জিজ্ঞাসা করছেন। একটি বেসিক দেব বা পরীক্ষার সার্ভারের জন্য ওয়ালমার্ট থেকে এক টিবি ড্রাইভ সম্ভবত যথেষ্ট ভাল। যদি আপনি একটি উচ্চ প্রান্তের সার্ভারের সাথে লেনদেন করছেন যা শেল্ফ উপাদানগুলি ব্যবহার করে না তবে তাদের জিজ্ঞাসা করুন যে তারা কিছুটা গাড়ি বাঁচানোর জন্য একটি রেস গাড়ি তৈরি করে এবং অটো পার্টস স্টোর থেকে টায়ার কিনে।


1
আমি যদিও ম্যানেজারগুলিতে এই কৌশলটি ব্যবহার না করার পরামর্শ দিই। উত্তরটি খুব ভাল "হ্যাঁ" হতে পারে।
জেসন বেকার

1

আমি যেভাবে এটি ব্যাখ্যা করব তা এই। যদি আপনার বস ক্রয়ে সাইন অফ করে দেয়। আমি ওয়ালমার্ট ড্রাইভে একটি চিহ্ন রেখে দেব যা এতে বলেছে ..

"সিস অ্যাডকে তাঁর ইচ্ছা এবং অন্ত্রের বিপরীতে এটি এখানে রাখার জন্য নির্দেশ দেওয়া হয়েছিল।" এবং যখন ড্রাইভটি মারা যায় তখন আমি ড্রাইভটি দেবকে নোট করব এবং এবার আমার কাজটি কীভাবে করবেন তা তাদের জিজ্ঞাসা করব ..

আমি পোর্টম্যানের সাথে একমত ... দলকে বিশ্বাস করুন, বা চলে যাবেন।


0

একটি সাধারণ এক-লাইন উত্তর: 1 টিবি ড্রাইভগুলি সাধারণত সটা হয় তবে আপনার সার্ভারটি এসসিএসআই। (এমনকি সার্ভারটি এসসিএসআই না হলেও এটি আপাতত তদন্তের লাইনটি থামিয়ে দিতে পারে))

একটি 300 গিগাবাইট এসসিএসআই ড্রাইভ সাধারণত দাম 4x হয়, তারপরে বিদ্যমান ডেটা ব্যাক আপ করা, ডাউনটাইম সুসংহত হওয়া, ইনস্টল করা, কিছু ভুল হতে পারে, ওভারটাইম ইত্যাদি etc. সব মিলিয়ে, একটি সাধারণ স্টোরেজ আপগ্রেড সকলকে বাড়ে বিভিন্ন ধরণের ব্যথা which যার কোনওটিই সরাসরি দায়বদ্ধ নয়। এই বলে যে আপনি একটি অফ-শেল্ফ ড্রাইভ কিনতে পারেন যা বর্তমানের চাহিদা পূরণ করে তা হতাশাজনকভাবে সরল।

তবে আপনি কি জানেন যে আপনার যখন কিনেছিলেন তখন আপনার বাজে সার্ভারগুলিতে আরও বড় ড্রাইভ করা উচিত ছিল এবং আপনি এখন নিজেকে লাথি মারছেন! তবে আপনি সার্ভারগুলি ইনস্টল করতে চেয়েছিলেন এবং তারা এতে ব্যয় করতে পারত এবং এটিকে অনুমোদনের অতিরিক্ত দফায় যেতে হয়েছিল ... সিসাদমিনের ব্যথার জগতে আপনাকে স্বাগতম ...

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.