গুগল বা ইয়াহু কীভাবে খুব বিপুল পরিমাণে ডেটার বিপরীতে কীওয়ার্ড অনুসন্ধান করে তা কী কেউ জানেন? তারা এর জন্য কোন ধরণের ডাটাবেস বা প্রযুক্তি ব্যবহার করে?
এটি কয়েক মিলিসেকেন্ডে লাগে, তবে এগুলিতে এক বিলিয়ন পৃষ্ঠারও বেশি তালিকাবদ্ধ রয়েছে।
উত্তর:
আমি নিশ্চিত যে এখানে জিনিসের সংমিশ্রণ রয়েছে:
এটির প্রচুর - অনেকগুলি নোড এবং বিভিন্ন ডেটা সেন্টারগুলিতে ডেটা বিতরণ ও প্রতিলিপি করা হয়
কবুতর ।
গুগলের অনুসন্ধান প্রযুক্তির প্রাণকেন্দ্র হলেন পিগনর্যাঙ্ক ™ , স্ট্যানফোর্ড বিশ্ববিদ্যালয়ের গুগল প্রতিষ্ঠাতা ল্যারি পেজ এবং সার্জি ব্রিন দ্বারা বিকাশিত ওয়েব পৃষ্ঠাগুলির র্যাঙ্কিংয়ের একটি সিস্টেম:
বিএফ স্কিনার, পেজ এবং ব্রিনের যুগান্তকারী কাজের উপর ভিত্তি করে যুক্তি দিয়েছিলেন যে কম দামের কবুতর ক্লাস্টারগুলি (পিসি) মানব সম্পাদকদের বা মেশিন-ভিত্তিক অ্যালগরিদমের চেয়ে দ্রুত ওয়েব পৃষ্ঠাগুলির তুলনামূলক মান গণনা করতে ব্যবহার করা যেতে পারে। এবং গুগলের প্রতিদিন আমাদের পরিষেবাগুলির প্রতিটি দিক উন্নত করার লক্ষ্যে কয়েক ডজন ইঞ্জিনিয়ার কাজ করার সময়, পিগনর্যাঙ্ক আমাদের সমস্ত ওয়েব অনুসন্ধান সরঞ্জামের জন্য ভিত্তি সরবরাহ করে চলেছে।
গুগলের পেটেন্টড পিজনর্যাঙ্ক Why কেন এত ভাল কাজ করে
কবুতর্যাঙ্কের সাফল্য মূলত গার্হস্থ্য কবুতরের (কলম্বা লিভিয়া) উচ্চতর প্রশিক্ষণের উপর নির্ভর করে এবং স্থানিক দিকনির্দেশনা নির্বিশেষে বস্তুগুলি সনাক্ত করার জন্য এর অনন্য ক্ষমতা । সাধারণ ধূসর কবুতরটি কেবলমাত্র সর্বনিম্নতম পার্থক্য প্রদর্শনকারী আইটেমগুলির মধ্যে সহজেই পার্থক্য করতে পারে, এমন একটি দক্ষতা যা হাজার হাজার অনুরূপ পৃষ্ঠাগুলির মধ্যে থেকে প্রাসঙ্গিক ওয়েবসাইটগুলি নির্বাচন করতে সক্ষম করে।
ঘন ক্লাস্টারে কবুতরের ঝাঁক সংগ্রহ করে, গুগল traditionalতিহ্যবাহী সার্চ ইঞ্জিনগুলির চেয়ে উচ্চতর গতিতে অনুসন্ধান অনুসন্ধানগুলি প্রক্রিয়া করতে সক্ষম হয়েছে, যা সাধারণত শিকারের পাখির উপর নির্ভর করে, ব্রুডিং মুরগি বা ধীরে চলমান জলছোঁয়া তাদের প্রাসঙ্গিকতা র্যাঙ্কিং করতে।
যখন অনুসন্ধানের কোয়েরি গুগলে জমা দেওয়া হয়, তখন এটি এমন একটি ডেটা কুপে স্থানান্তরিত হয় যেখানে জ্বলন গতিতে ফলাফলের পৃষ্ঠাগুলি ফ্ল্যাশ করে । গোষ্ঠীর কবুতরগুলির মধ্যে একটি দ্বারা কোনও প্রাসঙ্গিক ফলাফল পর্যবেক্ষণ করা হলে, এটি তার চঞ্চু দিয়ে একটি রাবার-প্রলিপ্ত ইস্পাত বারে আঘাত করে, যা পৃষ্ঠাটির একটিতে একটি কবুতর্যাঙ্ক মান নির্ধারণ করে। প্রতিটি পেকের জন্য, পায়রাঙ্কটি বৃদ্ধি পায় । যে পৃষ্ঠাগুলি সর্বাধিক বিদ্রূপ প্রাপ্ত রয়েছে, ব্যবহারকারীর ফলাফলের পৃষ্ঠার শীর্ষে ফিরে আসে অন্য ফলাফলগুলির সাথে তীক্ষ্ণ ক্রমে প্রদর্শিত হয়।
গুগল সম্পর্কে কয়েকটি বিষয় মনে রাখা গুরুত্বপূর্ণ:
তাদের ডিবি মালিকানা হয় Bigtable - এটা কাস্টম পরিকল্পিত ছিল GOOGLE এর বাই ঠিক তাদের চাহিদা মাপসই
তাদের মালিকানাধীন ডিবি তাদের মালিকানাধীন ফাইল সিস্টেমের উপরে নির্মিত হয়েছে - গুগল ফাইল সিস্টেম - এটি সাধারণ পণ্য হার্ডওয়্যার ব্যবহার করে সহজেই প্রসারণযোগ্য হতে গুগল দ্বারা আবার ডিজাইন করা হয়েছিল । হারুন তার উত্তরে যেমন উল্লেখ করেছেন, তাদের কাছে খুব শক্তিশালী সার্ভারের সংখ্যার পরিবর্তে গড়ে প্রচুর গড় সার্ভার রয়েছে।
তারা একাধিক মেশিনে দ্রুত অ্যাক্সেস তৈরির উপায় হিসাবে পৃথক টেবিলগুলি সংরক্ষণ করে - তাদের সফ্টওয়্যার জানে যে কোন ডেটাটি কোন মেশিনে রয়েছে এবং এটি সনাক্ত করার জন্য কোনও ডিস্কের মাধ্যমে আঘাতের পরিবর্তে সরাসরি সম্পর্কিত সার্ভারে সার্ভারে যেতে পারে।
গুগল traditionalতিহ্যগত সম্পর্কযুক্ত ডাটাবেস প্রযুক্তি ব্যবহার করে না। এটি নিজস্ব প্রযুক্তি, বড় টেবিল এবং মানচিত্র হ্রাস বিকাশ করেছে। মূল গবেষণা কাগজপত্র এখানে: বড় সারণী এবং মানচিত্র / হ্রাস । আগ্রহের বিষয়টি হ'ল এসএসটিবল, বাছাই করা স্ট্রিং টেবিল ।
অনুরূপ প্রযুক্তিটি এখন হ্যাডোপ এবং নোএসকিউএল ডাটাবেসগুলিতে ব্যবহৃত হয় ।
স্টিভেন লেভির " দ্য প্ল্লেক্সে: গুগল কীভাবে চিন্তাভাবনা করে, কাজ করে এবং আমাদের জীবনকে রূপ দেয় " পড়ুন। গুগল সমস্ত বিষয় সম্পর্কে এই বইটি পড়ার মনোমুগ্ধকর এবং অনুসন্ধানের পিছনে প্রযুক্তি এবং প্রকৌশল সম্পর্কিত কিছু উচ্চ স্তরে আলোচনা করে। হারুন তার উত্তরে সত্যিই এটি সংক্ষেপে লিখেছেন এবং লেবির বইটি তারা এটি কীভাবে করে সে সম্পর্কে আপনাকে আরও বিশদ দেবে।