ইউটিউব যেমন আমরা জানি, বিশাল is এর সহস্রাধিক সহকারী ব্যবহারকারী ভিডিওতে কমপক্ষে 2 মেগাবাইট স্ট্রিমিং করে। স্পষ্টতই, এটি অনেক ট্র্যাফিক হতে পারে ... যে কোনও একটি সার্ভারের জন্য অনেক বেশি।
কোন নেটওয়ার্কিং প্রযুক্তিগুলি দিনে 4 বিলিয়ন ভিডিও পুশ করার অনুমতি দেয় ?
উত্তর:
খুব সাধারণ সেটআপে, একটি ডিএনএস এন্ট্রি একটি আইপিতে যায় যা একটি সার্ভারের অন্তর্ভুক্ত। বিশ্বজুড়ে সবাই সেই একক মেশিনে যায়। পর্যাপ্ত ট্র্যাফিকের সাথে, আপনি ইউটিউবের আকার হতে পারে তার অনেক আগেই এটি পরিচালনা করতে পারে। একটি সাধারণ দৃশ্যে, আমরা একটি লোড ব্যালেন্সার যুক্ত করি। লোড ব্যালান্সারের কাজ হ'ল এক সার্ভার হিসাবে উপস্থিত হওয়ার সাথে সাথে ট্রাফিককে বিভিন্ন ব্যাক-এন্ড সার্ভারে পুনর্নির্দেশ করা।
ইউটিউবের যতটা ডেটা রয়েছে তাই সমস্ত সার্ভার সমস্ত ভিডিও পরিবেশন করতে সক্ষম হবে এমনটি আশা করা খুব বেশি, সুতরাং আমাদের যোগ করার জন্য আরও একটি স্তর রয়েছে: শারডিং । স্বীকৃত উদাহরণে, একটি সার্ভার "এ" দিয়ে শুরু হওয়া, অন্য "বি" এর মালিক, এবং আরও কিছুর জন্য দায়বদ্ধ।
যদিও শেষ পর্যন্ত, ব্যান্ডউইথটি কেবল তীব্র হয়ে ওঠে এবং আপনি প্রচুর ডেটা এক ঘরে নিয়ে চলেছেন। সুতরাং, এখন আমরা সুপার জনপ্রিয়, আমরা এটিকে সেই ঘর থেকে সরিয়ে নিই। এখানে যে দুটি প্রযুক্তি গুরুত্বপূর্ণ তা হ'ল সামগ্রী বিতরণ নেটওয়ার্ক এবং যেকোনকাস্টিং ।
যেখানে আমি এই বড় স্ট্যাটিক ফাইলগুলিকে সারা বিশ্ব জুড়ে অনুরোধ করছি, আমি আমার হোস্টিং সার্ভারগুলির সাথে সরাসরি লিঙ্কগুলি দেখানো বন্ধ করি। পরিবর্তে আমি যা করি তা আমার সিডিএন সার্ভারের একটি লিঙ্ক স্থাপন করা হয়। কেউ যখন কোনও ভিডিও দেখতে বলে, তারা আমার সিডিএন সার্ভারটি এটির জন্য জিজ্ঞাসা করে। সিডিএন ইতিমধ্যে ভিডিওটি থাকার জন্য, হোস্টিং সার্ভারের একটি অনুলিপি চেয়েছে বা আমাকে পুনর্নির্দেশের জন্য দায়বদ্ধ। এটি নেটওয়ার্কের আর্কিটেকচারের ভিত্তিতে পরিবর্তিত হবে।
সিডিএন কীভাবে সহায়ক? ঠিক আছে, একটি আইপি আসলে অনেকগুলি সার্ভারের সাথে সম্পর্কিত হতে পারে যা সারা পৃথিবীতে অনেক জায়গায় রয়েছে। যখন আপনার অনুরোধটি আপনার কম্পিউটারটি ছেড়ে আপনার আইএসপিতে যায়, তখন তাদের রাউটার সেই আইপিতে সবচেয়ে ভাল পাথ (সংক্ষিপ্ততম, দ্রুততম, সর্বনিম্ন ব্যয় ... যাই হোক না কেন মেট্রিক) মানচিত্র দেয়। প্রায়শই কোনও সিডিএন এর জন্য, এটি আপনার নিকটতম টিয়ার 1 নেটওয়ার্কের পাশে বা তার পাশে থাকবে ।
সুতরাং, আমি ইউটিউব থেকে একটি ভিডিও অনুরোধ করেছি। এটিতে প্রকৃত মেশিনটি সঞ্চিত ছিল কমপক্ষে iad09s12.v12.lscache8.c.youtube.comএবং tc.v19.cache5.c.youtube.com। যারা আমার ওয়েবপৃষ্ঠার উত্সে দেখছেন আমি যা দেখছি এবং তা ইনডেক্সিং সার্ভারের কোনও ফর্ম দ্বারা সরবরাহ করা হয়েছিল। এখন, মেইন থেকে আমি খুঁজে পেয়েছি যে tc19 সার্ভারটি ফ্লোরিডার মায়ামায় থাকবে। ওয়াশিংটন থেকে, আমি টিসি 19 সার্ভারটি সান জোসে, ক্যালিফোর্নিয়ায় পেয়েছি।
বেশ কয়েকটি কৌশল বড় সাইটের জন্য ব্যবহৃত হয়।
www.youtube.com -> যে কোনও সংখ্যক আইপি ঠিকানাআসুন ডিএনএস-এ দেখুন:
www.youtube.com is an alias for youtube-ui.l.google.com.
youtube-ui.l.google.com has address 74.125.226.14
youtube-ui.l.google.com has address 74.125.226.0
youtube-ui.l.google.com has address 74.125.226.1
youtube-ui.l.google.com has address 74.125.226.2
youtube-ui.l.google.com has address 74.125.226.3
youtube-ui.l.google.com has address 74.125.226.4
youtube-ui.l.google.com has address 74.125.226.5
youtube-ui.l.google.com has address 74.125.226.6
youtube-ui.l.google.com has address 74.125.226.7
youtube-ui.l.google.com has address 74.125.226.8
youtube-ui.l.google.com has address 74.125.226.9
youtube-ui.l.google.com has IPv6 address 2001:4860:800f::88
সুতরাং www.youtube.com আসলে বেশ কয়েকটি আইপি ঠিকানায় যেতে পারে।
একক আইপি একসাথে যে কোনও সংখ্যক স্বায়ত্তশাসিত সিস্টেম (ইন্টারনেটের একটি নেটওয়ার্ক) দ্বারা পরিচালিত হতে পারে। উদাহরণস্বরূপ, অনেকগুলি রুট ডিএনএস সার্ভারের পাশাপাশি গুগলের 8.8.8.8ডিএনএস সার্ভার বিশ্বজুড়ে অনেকগুলি পয়েন্টে যেকোন স্থানে আবদ্ধ। ধারণাটি হ'ল আপনি যদি মার্কিন যুক্তরাষ্ট্রে থাকেন তবে আপনি মার্কিন নেটওয়ার্কটিকে আঘাত করবেন এবং আপনি যদি ইউকেতে থাকেন তবে আপনি ইউকে নেটওয়ার্কে আঘাত করবেন।
কেবল আপনি চালু www.youtube.comথাকায়, এর অর্থ এই নয় যে সমস্ত সামগ্রী একই সার্ভার থেকে আসতে হবে। এই সাইটে সরাসরি, স্থিতিশীল সংস্থানগুলি sstatic.netপরিবর্তে দেওয়া হয় serverfault.com।
উদাহরণস্বরূপ, আমরা যদি ক্যালি কুকোর স্লেভ লিয়া পিএসএ দেখি তবে আমরা দেখতে পেলাম যে মিডিয়াগুলি পরিবেশন করেছে v10.lscache5.c.youtube.com।
আমি আপনাকে আশ্বাস দিই, ইউটিউবের একাধিক ইন্টারনেট সংযোগ রয়েছে। অন্যান্য সমস্ত কৌশল সত্ত্বেও, ইউটিউব সত্যই কোনও একক সাইট এবং একক সার্ভার হলেও, এটি তাত্ত্বিকভাবে অন্য যে কোনও নেটওয়ার্কে এটি ভিডিও সরবরাহ করছিল তার সাথে সংযোগ থাকতে পারে। বাস্তব বিশ্বে এটি অবশ্যই সম্ভব নয়, তবে ধারণাটি বিবেচনা করুন।
এই বিষয়বস্তুর যে কোনও বা সমস্ত (এবং আরও বেশি!) কোনও সামগ্রী বিতরণ নেটওয়ার্ক সমর্থন করতে ব্যবহার করা যেতে পারে । আপনি আরও জানতে চাইলে সেই নিবন্ধটি পড়ুন।
আপনার ধারণাটি ভুল যে ইউটিউব (ওরফে গুগল) এর একটি মাত্র সার্ভার রয়েছে; এই ইনফোগ্রাফিকটি সেই সিস্টেমটির স্কেলগুলিকে চিত্রিত করতে সহায়তা করতে পারে যা সেই পরিষেবাটিকে ব্যাক করে।
এমনকি যদি আপনার কাছে কেবলমাত্র একটি পয়েন্ট উপস্থিত থাকে তবে লোড ব্যালান্সার এবং সমস্ত কিছুর সরঞ্জাম ব্যবহার করে আপনার একক নামের একাধিক সার্ভার এবং এমনকি আইপি থাকতে পারে।
গুগলের কাছে যদিও উপস্থিতিগুলির এক অজস্র পয়েন্ট রয়েছে এবং ইন্টারনেটে একাধিক জায়গায় একই আইপি প্রকাশ করার কৌশল - যেকোনকাস্টের মতো সরঞ্জাম ব্যবহার করা হয়েছে এবং অবকাঠামোগত ব্যাক করতে লোকেরা নিকটবর্তী সার্ভার পুলে যেতে সক্ষম হয়েছে।
আমি নেটওয়ার্কগুলির কিছুটা অংশ স্পর্শ করব: বিশ্বজুড়ে unique৩ টি অনন্য ডেটাসেন্টারে গুগলের একটি পয়েন্ট অফ প্রেজেন্স (পিওপি) রয়েছে (তাদের নিজস্ব নয়)। তারা 69 অনন্য ইন্টারনেট এক্সচেঞ্জের সদস্য । পেয়ারিংডবিতে তালিকাভুক্ত অন্যান্য নেটওয়ার্কের তুলনায় গুগল আরও বেশি ডেটাসেন্টার এবং ইন্টারনেট এক্সচেঞ্জ পয়েন্টে রয়েছে।
গুগলের মোট ইন্টারনেট এক্সচেঞ্জের ক্ষমতা> 1.5.টিবিপিএস এবং সেই 1.5 টিবিপিএস গুগলের সাথে> 100 এমবিপিএস ট্র্যাফিক সহ নেটওয়ার্কগুলির জন্য সংরক্ষিত, তবে আমি প্রায় ২-৩ জিবিপিএস অনুমান করি না এর চেয়ে কম। আপনার 'পর্যাপ্ত পরিমাণে' থাকার পরে , আপনি ব্যক্তিগত পিয়ারিং (পিএনআই) এ চলে যান।
ইন্টারনেট এক্সচেঞ্জের পিয়ারিং এবং প্রাইভেট পিয়ারিংয়ের পাশাপাশি (AS15169 সহ) ইউটিউবও একটি ট্রানজিট নেটওয়ার্ক পরিচালনা করে: AS43515, এবং অন্য একটি নেটওয়ার্ক যা আমি ধরে নিয়েছি পেইয়ারিং / ওভারফ্লো, AS36040 এর জন্য। আইএসপিগুলি তাদের নেটওয়ার্কের মধ্যে আরও স্থানীয়ভাবে মোতায়েনের জন্য গুগল গুগল গ্লোবাল ক্যাশে সার্ভারগুলিও পরিচালনা করে । (পিয়ারিংডবি থেকে তথ্য, বিজিপি.হ.নেট)
আমার অভিজ্ঞতার ভিত্তিতে, আমি বিশ্বাস করি যে ইউটিউব কেবলমাত্র আইপি ভূ-অবস্থান বা যেকোনকাস্টের থেকে ভিডিও উপস্থাপনের জন্য কোনও অবস্থান বেছে নিতে অনেক বেশি ব্যবহার করে।
গুগল একটি বিশাল গ্লোবাল ব্যাকবোন নেটওয়ার্ক চালায়, তাদের গা dark় আঁশ রয়েছে , তারা সাবমেরিন কেবলগুলি অর্থায়ন করেছে । ইউটিউব উত্পন্ন ট্র্যাফিকের পরিমাণটি বিশাল! আমি অনুমান করতে পারি যে ইউটিউব>> 12 টিবিপিএসের একটি শীর্ষ ট্রাফিক ভলিউম রয়েছে। গুগল সমস্ত আন্তঃ-ডোমেন ইন্টারনেট ট্র্যাফিকের কমপক্ষে 7% (এবং সম্ভবত> 10%) প্রতিনিধিত্ব করে।
সুতরাং আপনার প্রশ্নের উত্তর দেওয়ার জন্য, নেটওয়ার্কের দৃষ্টিকোণ থেকে, ইউটিউবের মতো স্কেল করার জন্য আপনাকে আপনার নেটওয়ার্কে প্রচুর বিনিয়োগ করতে হবে - গ্রাউন্ডের ফাইবার থেকে শুরু করে ডাব্লুডিএম গিয়ার এবং রাউটারগুলিতে। আপনার ব্যবহারকারীদের যতটা সম্ভব কন্টেন্ট এবং নেটওয়ার্কটি পেতে হবে। এর অর্থ সাধারণত পিয়ারিং, আইএক্স এবং কিছুটা ট্রানজিট। যতটা সম্ভব ট্র্যাফিককে সমানভাবে বিতরণ করা এবং সস্তা রাখতে ব্যবহারকারীদের বুদ্ধিমানের সাথে বলতে হবে যেগুলি থেকে কন্টেন্টটি পাবেন। এবং অবশ্যই, আপনার কাছে দিনে 4 বিলিয়ন ভিউ সংরক্ষণ, প্রক্রিয়াকরণ, রূপান্তর এবং সরবরাহের জন্য বিশাল সার্ভার অবকাঠামো থাকতে হবে!
আপনি যদি সার্ভারের দিকটি সম্পর্কে আগ্রহী হন তবে আমি একটি ব্লগ পোস্ট লিখেছিলাম যা সম্প্রতি প্রকাশিত কিছু ডেটাসেন্টার চিত্রগুলি ভেঙে দেয়।
আপনি যদি বড় আকারের সিস্টেমগুলি এবং এই সংস্থাগুলি যে প্রযুক্তিগুলি ব্যবহার করে সেগুলি সম্পর্কে আরও জানতে চান তবে এখন সেরা উত্স হ'ল http://highscalability.com
গুগল বা আকামাইয়ের মতো বৃহত্তম সংস্থাগুলি, তাদের সর্বদা উপাদান থাকে যা তারা নিজেরাই লিখেছিল / তৈরি করেছিল। (উদাহরণস্বরূপ আকামাই তাদের পরিষেবার জন্য একটি ওয়েবসভারটি বিকাশ করেছেন)