100 টিড়াবাইটস ক্যাপাসিটি ডেটাবেস - রিসোর্স এবং সময় অনুমান


10

আমি 100TB রিপোর্টিং ডাটাবেস সেটআপের জন্য 'খামের পিছনে' গণনায় কাজ করছি। আমি এখানে বিশেষজ্ঞদের কাছ থেকে চিন্তা সন্ধান করছি। প্রস্তাবিত পরিবেশ:

  1. স্টোরেজ ক্যাপাসিটি ~ 100TB
  2. টেবিলগুলি 200 ডলার, 1GB থেকে 5TB পর্যন্ত আকারের। গড় আকারটি 100GB-200GB এর মধ্যে থাকতে পারে
  3. ইটিএল - 10 টি বাইট থেকে 500 বাইট অবধি জোড় কীগুলির সাথে 10 লক্ষ লক্ষ সারি টেবিলের মধ্যে কাজের প্রয়োজন হতে পারে jobs এই জাতীয় যোগদান 2-5 মিনিটের মধ্যে শেষ করা উচিত
  4. সরাসরি বাছাই করুন - প্রাথমিকভাবে কেবলমাত্র নির্বাচিত গতিতে আগ্রহী। 500 নির্বাচন / সেকেন্ড সমর্থন করা উচিত। আপডেট / সেকেন্ড তুলনামূলকভাবে অনেক কম সংখ্যার হবে এবং এই অনুশীলনের জন্য এড়ানো যায়।
  5. 24x7 প্রাপ্যতা প্রয়োজন। নির্বাচিত কলগুলি সরবরাহ করার জন্য 2 টি স্বতন্ত্র ডিবি সার্ভার উপলব্ধ থাকতে হবে (তথ্য প্রতিলিপি সহ)।

প্রশ্নাবলী:

  1. বর্তমানে আমি ওরাকলকে দেখছি। অন্যান্য ডেটাবেসগুলির জন্য অন্যান্য বাণিজ্যিক (বা) ওপেনসোর্স সমাধানগুলির সাথে আপনার অভিজ্ঞতা কেমন হয়েছে?
  2. আপনি কোন হার্ডওয়্যার-ওএস সেরা কাজ করতে দেখেছেন? আমি ডেল অন লিনাক্স জন্য পরিকল্পনা করছি।
  3. নেটওয়ার্ক স্টোরেজ যেমন নেট অ্যাপ্লিকেশন কি আবশ্যক? শেল্ফ ডিস্কগুলি বন্ধ রেখে বাণিজ্যিক ব্যবহার করার ক্ষেত্রে আপনি কী সমস্যার পূর্বাভাস দিয়েছেন?
  4. একবার হার্ডওয়্যার এবং ওএস প্রস্তুত হয়ে গেলে আপনি সেটআপ, ডিবি কনফিগার, স্টোরেজ ইত্যাদির জন্য কত সময় নির্ধারণ করবেন would
  5. আপনি যে পরিবেশগুলি পর্যবেক্ষণ করেছেন তাতে কোন দল রচনাগুলি সবচেয়ে ভাল কাজ করেছে? মানে, এই জাতীয় একটি সেটআপ পরিচালনা এবং পরিচালনা করার জন্য প্রয়োজনীয় বিভিন্ন অ্যাডমিন (ওএস অ্যাডমিন, ওরাকল ডিবি অ্যাডমিন?)। 24x7 আপটাইম অর্জনের জন্য তাদের মধ্যে কতগুলি প্রয়োজন হতে পারে।
  6. ডিবি লাইসেন্স, নেটওয়ার্ক স্টোরেজ ব্যয়ের যেকোন আনুমানিক / পরিসীমা।

আমি জানি আমার কাছে পরিবেশের সমস্ত বিবরণ নেই। আমি সঠিক বিশদটি খুঁজছি না, একটি আনুমানিক যথেষ্ট। যদিও কিছু প্রশ্নের উত্তর ম্যানেজারদের দ্বারা সর্বোত্তমভাবে দেওয়া যেতে পারে, তবে আমি অ্যাডমিনস দৃষ্টিকোণে আগ্রহী। আমি আপনার ইনপুট প্রশংসা করি।


1
আমি মনে করি এই প্রশ্নের উত্তর দেওয়ার পক্ষে অনেক বিস্তৃত। আমি অগ্রসর হওয়ার আগে অন্যরা রাজি হয় কিনা তা আমি দেখতে দেব।
ফিলি

1
@ ফিলিল আমি সম্মত, আমি নিশ্চিত নই যে এটি একাধিক প্রশ্নের মধ্যে বিভক্ত করা উচিত, যাতে বিভিন্ন দক্ষতার সাথে ব্যবহারকারীরা বিভিন্ন অংশের উত্তর দিতে পারেন। তবে পরিবেশের বিবরণ সমস্ত প্রশ্নের জন্য একই, তাই একক প্রশ্ন করার জন্য এগিয়ে গেল। আমি মনে করি এটি আমার প্রথম প্রশ্ন হতে পারে (যদিও এটি একজন নিয়মিত ব্যবহারকারীর) তবে আমাকে নবাগত হিসাবে বিবেচনা করুন এবং যদি এই প্রশ্ন উত্থাপন করার আরও ভাল উপায় থাকে তবে দয়া করে পরামর্শ দিন।
কাশ

10
এটি বহু মিলিয়ন ডলার প্রকল্পের মতো শোনাচ্ছে। ফোরামের পরামর্শে আপনি কি এই জাতীয় প্রকল্পের ভিত্তি করবেন?
রেমাস রুসানু

1
@RemusRusanu এটি তথ্যের একক উত্স নয়। এটি যখন আনুষ্ঠানিক মূল্যায়ন পর্যায়ে যায়, তখন অন্যান্য প্রচুর ক্রিয়াকলাপ হবে। SO ব্যবহারকারীরা যে পরামর্শ দেয় সে সম্পর্কে আমার উচ্চ মত have প্রশ্নটি লেখার সময় আমি নিশ্চিত ছিলাম যে আমি খুব কার্যকরভাবে কিছু বিশদ আবিষ্কার করব যা আমি কখনই ভাবিনি।
কাশ

1
@ রেমাসরুসানু - এটি। নেটেজার জন্য সর্বশেষ মূল্যটি আমি দেখেছি টুইনফিন সিস্টেমগুলির জন্য k 20k / TB। নিশ্চিত না যে সেই ক্ষমতাটির একটি এক্সডাটা বক্স কী জন্য যাবে। এছাড়াও, এসএলএ বেশ আক্রমনাত্মক এবং সিস্টেমটির মতো দেখতে এটির একটি বৃহত ব্যবহারকারীর বেস রয়েছে। ক্যোরি লোড পরিচালনা করতে এটির জন্য বৃহত সংখ্যক ডেটা মার্ট সার্ভারের প্রয়োজন হতে পারে।
কনসার্নড

উত্তর:


21

প্রথম ইমপ্রেশন

  1. আপনার কর্মক্ষমতা প্রয়োজনীয়তার উপর নির্ভর করে 100TB মোটামুটি আগ্রাসী ডেটা ভলিউম। আপনি যদি ওরাকল চান, আপনার তাদের এক্সডাটা সিস্টেমগুলি পরীক্ষা করে নেওয়া উচিত। এছাড়াও, নেটেজা বা তেরদাটা থেকে দেওয়া অফারগুলি একবার দেখুন। নির্বাচনের সেই পরিমাণের সাথে আপনি কোনও ওএলএপি ভিত্তিক সামনের প্রান্তটি দেখতে চান বা বস্তুগত দৃষ্টিভঙ্গি এবং কোয়েরি পুনর্লিখনের কমপক্ষে মোটামুটি আক্রমণাত্মক ব্যবহারের দিকে নজর দিতে পারেন। আপনি কোনও কিছু থেকে 500 টেবিল স্ক্যান / সেকেন্ড পাবেন না।

    কম কড়া লেটেন্সি প্রয়োজনীয়তার সাথে স্টাফগুলির জন্য আপনি আপনার ব্যবহারকারী সম্প্রদায়কে প্রতিবেদন করার ক্ষমতা সরবরাহ করতে বৃহত সংখ্যক ডেটা মার্ট বিবেচনা করতে চাইতে পারেন। এই ক্ষেত্রে, এসকিউএল সার্ভার এবং এসএসএএস ডেটা মার্টগুলির জন্য একটি বিকল্প হতে পারে কারণ প্রচুর সংখ্যক সার্ভারের লাইসেন্স ওরাকল দিয়ে একই করার চেষ্টা করার চেয়ে সস্তা হবে।

  2. দেখুন (1)। একটি শেয়ার্ড-ডিস্ক আর্কিটেকচারের প্রচলিত হার্ডওয়্যার এই আকারের ডেটা সেটটিতে ধীর হতে পারে।

  3. না! যদি কেউ এনএফএসের পরামর্শ দেয় তবে তাদের একটি ভাল লাথি দিন। হয় প্রচুর মিড-রেঞ্জ কন্ট্রোলারের সাথে সরাসরি সংযুক্ত সঞ্চয়স্থান বা একাধিক নিয়ামক SAN সম্ভবত কয়েক ডজন এমডি 3000 সিরিজ কন্ট্রোলার বা এর অনুরূপ কিছু বিবেচনা করুন - আপনি যদি 'বিগ ডেটা' প্ল্যাটফর্ম তৈরির উদ্দেশ্যে না যান তবে।

  4. পিবি রেঞ্জের ডেটা গুদাম প্ল্যাটফর্মগুলির অভিজ্ঞতার সাথে স্টোরেজ বিশেষজ্ঞ পান। আপনি সম্ভবত একটি উল্লেখযোগ্য ETL বিকাশ কাজের জন্য প্রস্তুত রয়েছেন, এবং যদি আপনাকে একটি কঠোর এসএলএর সাথে দেখা করতে হয় তবে প্রচুর পরীক্ষার কাজ করতে হবে।

  5. একটি ডেটা গুদামে 24x7 সময় উত্সাহী is এটি কি অপারেশনাল রিপোর্টিং প্ল্যাটফর্ম? সম্ভবত আপনি আপনার প্রয়োজনীয়তা কিছুটা বিস্তৃত হতে পারে।

  6. স্পিঙ্কটার-প্যাকারিংলি ব্যয়বহুল, এবং আপনার পারফরম্যান্স প্রয়োজনীয়তার উপর নির্ভরশীল। সর্বশেষ আমি দেখেছি (কয়েক বছর আগে) নেটিজা টুইনফিন সিস্টেমগুলির জন্য আপনার প্ল্যাটফর্মটিকে 100 টিবি হিসাবে 2 মিলিয়ন ডলার প্লাস আপনার অপ্রয়োজনীয় সার্ভার এবং ব্যাকআপ হার্ডওয়ারের ব্যয় করে $ 20,000 / টিবি উদ্ধৃত করত। এক্সডাটা হ'ল, আমি বিশ্বাস করি, কিছুটা সস্তা, তবে আমার হাতে কোনও দাম নেই।

    তুলনার জন্য নেটিজা, এক্সাডাটা এবং একটি টেরাদাতা প্ল্যাটফর্ম এবং একটি ইটিএল সরঞ্জাম হিসাবে আব ইনিশিয়োর জন্য মূল্য দেখুন।

এটি প্রয়োজনীয়তার একটি মোটামুটি আগ্রাসী সেট - একটি ডেটা গুদামে 24x7 সাধারণত সম্পন্ন হয় না এবং ডেটা ভলিউম আপনাকে একটি 'বিগ ডেটা' প্ল্যাটফর্মের রাজ্যে রাখার জন্য যথেষ্ট বড়। আপনার যদি অপারেশনাল রিপোর্টিংয়ের প্রয়োজনীয়তা থাকে তবে আপনার এটি কী তা মনোযোগ সহকারে দেখে নেওয়া উচিত। আপনার বিশ্লেষণ থেকে আলাদা রাখুন যদি না আপনার নির্দিষ্ট কারণ থাকে (যেমন একটি স্বল্প-বিলম্বিত বাজারের ডেটা ফিড) না থাকে। একই প্ল্যাটফর্মে অপারেশনাল এবং অ্যানালিটিকাল প্রয়োজনীয়তাগুলি মিশ্রণ করা খারাপ মোজো jo

আমি মনে করি আপনার প্রয়োজনীয়তাগুলি মূল্যায়নের জন্য আপনাকে বিশেষজ্ঞের অবশ্যই নেওয়া উচিত। আপনি যা অর্জন করতে চাইছেন তা অর্জন করার জন্য আপনি যে চেষ্টা করছেন তা নিবিড়ভাবে পর্যালোচনা না করে করণীয় বা কী করা উচিত নয় সে সম্পর্কে কিছু অনুশীলনমূলক পরামর্শ।


8

এর মতো বৃহত্তর ডেটা ভলিউমগুলির সাথে কাজ করার সময় বিবেচনা করার জন্য কিছু অন্যান্য বিকল্পের মধ্যে রয়েছে:

  1. @ কনসার্নড অফফুনব্রিজ ওয়েলস পোস্ট করা সমস্ত কিছু
  2. ইএমসি থেকে গ্রিনপ্লাম
  3. মাইক্রোসফ্ট থেকে সমান্তরাল ডেটা গুদাম

হার্ডওয়ারের ব্যয় কোথাও ছাড়ার পরিকল্পনা করবেন না। এই ধরণের চশমা সহ একটি সিস্টেম আপনার জন্য কিছু বড় অর্থ ব্যয় করতে চলেছে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.