বড় টেবিল
কাঠামোগত ডেটার জন্য একটি বিতরণ স্টোরেজ সিস্টেম
বিগ টেবিল একটি বৃহত আকারের স্কেল করার জন্য ডিজাইন করা কাঠামোগত ডেটা পরিচালনার জন্য একটি বিতরণকৃত স্টোরেজ সিস্টেম (গুগল দ্বারা নির্মিত): হাজার হাজার পণ্য সার্ভার জুড়ে ডেটার পেটবাইট।
ওয়েব ইনডেক্সিং, গুগল আর্থ এবং গুগল ফিনান্স সহ গুগল স্টোরের ডেটা বিগটবেলে অনেকগুলি প্রকল্প। এই অ্যাপ্লিকেশনগুলি ডেটা আকারের (ইউআরএল থেকে ওয়েব পৃষ্ঠাগুলির উপগ্রহের চিত্রগুলিতে) এবং ল্যাটেন্সি প্রয়োজনীয়তার ক্ষেত্রে (ব্যাকএন্ড বাল্ক প্রসেসিং থেকে রিয়েল-টাইম ডেটা সার্ভিসিং পর্যন্ত) উভয় ক্ষেত্রে বিগ টটেলে খুব আলাদা দাবি রাখে।
এই বিবিধ চাহিদা থাকা সত্ত্বেও, বিগটবেল সফলভাবে এই সমস্ত গুগল পণ্যগুলির জন্য একটি নমনীয়, উচ্চ-সম্পাদন সমাধান সরবরাহ করেছে।
কিছু বৈশিষ্ট্য
- দ্রুত এবং চরম আকারের ডিবিএমএস
- একটি বিচ্ছিন্ন, বিতরণ বহু-মাত্রিক সাজানো মানচিত্র, উভয় সারি-ভিত্তিক এবং কলাম-ওরিয়েন্টেড ডাটাবেসের বৈশিষ্ট্যগুলি ভাগ করে নেওয়া।
- পেটাবাইট পরিসীমা স্কেল ডিজাইন
- এটি কয়েকশো বা হাজার হাজার মেশিন জুড়ে কাজ করে
- সিস্টেমে আরও মেশিন যুক্ত করা সহজ এবং কোনও পুনর্গঠন ছাড়াই স্বয়ংক্রিয়ভাবে সেই সংস্থাগুলির সুবিধা নেওয়া শুরু করুন
- প্রতিটি টেবিলের একাধিক মাত্রা রয়েছে (যার মধ্যে একটি সময়ের জন্য ক্ষেত্র, সংস্করণকে অনুমতি দেয়)
- টেবিলগুলি একাধিক ট্যাবলেটগুলিতে বিভক্ত হয়ে জিএফএস (গুগল ফাইল সিস্টেম) এর জন্য অনুকূলিত করা হয়েছে - টেবিলের অংশগুলিকে একক সারিতে বিভক্ত হিসাবে বেছে নেওয়া হয়েছে যাতে ট্যাবলেটটি আকারে 200 ডলার মেগাবাইট হবে।
স্থাপত্য
বিগ টেবিল কোনও সম্পর্কিত ডেটাবেস নয়। এটি যোগদান করে না সমর্থন করে না এটি সমৃদ্ধ এসকিউএল-জাতীয় প্রশ্নগুলিকে সমর্থন করে না। প্রতিটি টেবিল একটি বহুমাত্রিক বিচ্ছিন্ন মানচিত্র। টেবিলগুলিতে সারি এবং কলাম থাকে এবং প্রতিটি ঘরে একটি সময় স্ট্যাম্প থাকে। বিভিন্ন টাইম স্ট্যাম্প সহ একটি ঘরের একাধিক সংস্করণ থাকতে পারে। টাইম স্ট্যাম্প "এই ওয়েব পৃষ্ঠার সংস্করণ নির্বাচন করুন" বা "নির্দিষ্ট তারিখ / সময়ের চেয়ে পুরানো সেলগুলি মুছুন" এর মতো ক্রিয়াকলাপের অনুমতি দেয়।
বিশাল টেবিলগুলি পরিচালনা করতে, বিগ টেবিল সারি সীমানায় টেবিলগুলি বিভক্ত করে এবং সেগুলি ট্যাবলেট হিসাবে সংরক্ষণ করে। একটি ট্যাবলেট প্রায় 200 এমবি এবং প্রতিটি মেশিন প্রায় 100 টি ট্যাবলেট সংরক্ষণ করে। এই সেটআপটি একক টেবিলের ট্যাবলেটগুলি অনেক সার্ভারের মধ্যে ছড়িয়ে দেওয়ার অনুমতি দেয়। এটি সূক্ষ্ম দানযুক্ত লোড ভারসাম্যের জন্যও মঞ্জুরি দেয়। যদি একটি টেবিলটি অনেকগুলি প্রশ্ন পেয়ে থাকে তবে এটি অন্যান্য ট্যাবলেটগুলি ছড়িয়ে দিতে পারে বা ব্যস্ত টেবিলটিকে অন্য মেশিনে নিয়ে যেতে পারে যা এতটা ব্যস্ত নয়। এছাড়াও, যদি কোনও মেশিন নীচে যায়, তবে একটি ট্যাবলেট অন্যান্য অনেক সার্ভারে ছড়িয়ে যেতে পারে যাতে কোনও প্রদত্ত মেশিনের পারফরম্যান্সের প্রভাব ন্যূনতম হয়।
টেবিলগুলি অপরিবর্তনীয় এসএসটিবল এবং লগগুলির একটি লেজ হিসাবে সংরক্ষণ করা হয় (মেশিনে একটি লগ)। যখন কোনও মেশিন সিস্টেমের মেমোরির বাইরে চলে যায়, তখন এটি গুগল মালিকানাধীন সংক্ষেপণ কৌশল (বিএমডিফ এবং জিপ্পি) ব্যবহার করে কিছু ট্যাবলেট সংক্ষেপ করে। গৌণ সংযোগগুলিতে কেবলমাত্র কয়েকটি ট্যাবলেট জড়িত থাকে, তবে বড় সংযোগগুলি পুরো টেবিল সিস্টেমকে জড়িত করে এবং হার্ড-ডিস্কের স্থান পুনরুদ্ধার করে।
বিগবেট ট্যাবলেটগুলির অবস্থানগুলি সেলগুলিতে সঞ্চিত থাকে। যে কোনও নির্দিষ্ট ট্যাবলেটের চেহারাটি তিন-স্তরযুক্ত সিস্টেম দ্বারা পরিচালিত হয়। ক্লায়েন্টরা একটি মেটা0 টেবিলের জন্য একটি পয়েন্ট পায়, যার মধ্যে কেবল একটি রয়েছে। META0 টেবিলটি অনেকগুলি META1 ট্যাবলেটগুলিতে নজর রাখে যাতে ট্যাবলেটগুলির সন্ধান করা হচ্ছে contain META0 এবং META1 উভয়ই সিস্টেমে বাধাগুলি কমাতে প্রাক-আনয়ন এবং ক্যাচিংয়ের ভারী ব্যবহার করে।
বাস্তবায়ন
বিগ টেবিল গুগল ফাইল সিস্টেম (জিএফএস) এ নির্মিত, যা লগ এবং ডেটা ফাইলগুলির জন্য ব্যাকিং স্টোর হিসাবে ব্যবহৃত হয়। জিএফএস এসএসটিবলের জন্য নির্ভরযোগ্য সঞ্চয়স্থান সরবরাহ করে, টেবিলের ডেটা ধরে রাখার জন্য ব্যবহৃত একটি গুগল-মালিকানা ফাইল ফর্ম্যাট।
বিগটবেল আরও একটি পরিষেবা যে ভারী ব্যবহার করে তা হ'ল চবি , একটি অত্যন্ত উপলব্ধ, নির্ভরযোগ্য বিতরণ করা লক পরিষেবা। নিবিড় ক্লায়েন্টদের একটি লক নিতে দেয়, সম্ভবত এটি কিছু মেটাডেটার সাথে যুক্ত করে, যা এটি চব্বির কাছে জীবন্ত বার্তাগুলি প্রেরণ করে পুনর্নবীকরণ করতে পারে। লকগুলি ফাইল-সিস্টেমের মতো স্তরক্রমিক নামকরণ কাঠামোতে সংরক্ষণ করা হয়।
বিগ টেবিল সিস্টেমে তিনটি প্রাথমিক সার্ভারের আগ্রহ রয়েছে:
- মাস্টার সার্ভারগুলি: ট্যাবলেট সার্ভারগুলিতে ট্যাবলেটগুলি নিয়োগ করুন, ট্যাবলেটগুলি কোথায় রয়েছে তা নজর রাখে এবং প্রয়োজন অনুসারে কার্যগুলি পুনরায় বিতরণ করে।
- ট্যাবলেট সার্ভারগুলি: আকারগুলি সীমা ছাড়িয়ে গেলে সাধারণত ট্যাবলেটগুলি এবং স্প্লিট ট্যাবলেটগুলির জন্য / পড়ার অনুরোধগুলি হ্যান্ডেল করুন (সাধারণত 100MB - 200MB)। যদি কোনও ট্যাবলেট সার্ভার ব্যর্থ হয়, তবে প্রতিটি 100 টি ট্যাবলেট প্রতিটি পিকআপ 1 টি নতুন ট্যাবলেট সার্ভার করে এবং সিস্টেমটি পুনরুদ্ধার করে।
- লক সার্ভারগুলি: নিটোল বিতরিত লক পরিষেবার উদাহরণ। বিগ টেবিলের মধ্যে প্রচুর ক্রিয়াকলাপের জন্য লেখার জন্য ট্যাবলেট খোলার সাথে তালাগুলি অধিগ্রহণের প্রয়োজন হয় তা নিশ্চিত করে যে একসাথে একাধিক সক্রিয় মাস্টার নেই এবং অ্যাক্সেস কন্ট্রোল চেকিং রয়েছে।
গুগলের গবেষণা কাগজ থেকে উদাহরণ:
ওয়েব পৃষ্ঠাগুলি সঞ্চয় করে এমন উদাহরণ টেবিলের একটি টুকরো। সারি নামটি একটি
বিপরীত ইউআরএল । বিষয়বস্তু কলাম পরিবার পৃষ্ঠা পৃষ্ঠা অন্তর্ভুক্ত , এবং অ্যাঙ্কর কলাম পরিবার পৃষ্ঠার রেফারেন্স যে কোনও অ্যাঙ্কর এর টেক্সট রয়েছে
। সিএনএন এর হোম পৃষ্ঠা স্পোর্টস ইলাস্ট্রেটেড এবং এমওয়াই-লুক হোম পেজ উভয় দ্বারা রেফারেন্স করা হয়েছে, সুতরাং সারিটিতে নামযুক্ত কলামগুলি anchor:cnnsi.comএবং
রয়েছে
anchor:my.look.ca। প্রতিটি অ্যাঙ্কর সেল একটি সংস্করণ আছে ; বিষয়বস্তু কলাম রয়েছে তিনটি সংস্করণ টাইমস্ট্যাম্প এ
t3, t5এবং t6।
এপিআই
বিগ টেবিলের সাধারণ ক্রিয়াকলাপগুলি সারণী এবং কলাম পরিবারগুলি তৈরি এবং মুছে ফেলা, ডেটা লেখা এবং একটি সারিতে কলামগুলি মুছে ফেলা হয়। বিগ টেবিল অ্যাপ্লিকেশন বিকাশকারীদের একটি এপিআই-তে এই ফাংশন সরবরাহ করে। লেনদেনগুলি সারি স্তরে সমর্থিত, তবে বেশ কয়েকটি সারি কী জুড়ে নয়।
গবেষণা পত্রের পিডিএফটির লিঙ্কটি এখানে দেওয়া হল ।
এবং এখানে আপনি গুগলের জেফ ডিনকে ওয়াশিংটন বিশ্ববিদ্যালয়ের একটি বক্তৃতায় Google এর ব্যাকএন্ডে ব্যবহৃত বিগ টেবিল সামগ্রী সংরক্ষণের ব্যবস্থা নিয়ে আলোচনা করতে একটি ভিডিও পেতে পারেন ।
