ফেসবুকের বা উইকিপিডিয়ায় আইপি ঠিকানায় শ্রবণ করা হার্ডওয়ারের অংশটি কী?


32

আমি আমার বৌদ্ধিক কৌতূহলের জন্য ফেসবুক বা উইকিপিডিয়ার মতো বিশাল সাইটগুলি কীভাবে কাজ করে তা বোঝার চেষ্টা করছি। আমি স্কেবলযোগ্য সাইটগুলি তৈরির জন্য বিভিন্ন কৌশল সম্পর্কে পড়েছি, তবে আমি এখনও একটি নির্দিষ্ট বিশদ নিয়ে অবাক হয়েছি।

যে অংশটি আমাকে বিভ্রান্ত করে তা হ'ল শেষ পর্যন্ত, ডিএনএস সম্পূর্ণ ডোমেনটিকে একটি একক আইপি ঠিকানায়, বা রাউন্ড-রবিন ডিএনএসের ক্ষেত্রে কয়েকটি মুখ্য আইপি ঠিকানায় মানচিত্র তৈরি করবে।

উদাহরণস্বরূপ, উইকিপিডিয়া.org.র কেবল একটি টাইপ-এ ডিএনএস রেকর্ড রয়েছে। সুতরাং, বিশ্বজুড়ে উইকিপিডিয়া পরিদর্শন করা লোকেরা ডিএনএসে নির্দিষ্ট একটি আইপি ঠিকানায় একটি অনুরোধ প্রেরণ করতে হবে।

একটি বিশাল সাইটের আইপি ঠিকানায় শোনার হার্ডওয়্যারটি কী, এবং কীভাবে এটি সম্ভবত বিশ্বের সমস্ত ব্যবহারকারীদের জন্য অনুরোধ থেকে আসা সমস্ত বোঝা পরিচালনা করতে পারে?

সম্পাদনা 1: সমস্ত প্রতিক্রিয়া জন্য ধন্যবাদ! যেকোনকাস্ট একটি বাস্তব উত্তর বলে মনে হচ্ছে ... কোনও নির্দিষ্ট আইপি ঠিকানাটি কোনও কাস্টকাস্ট-রাউড কিনা তা পরীক্ষা করার কোনও উপায় কি কেউ জানে, যাতে আমি এটি যাচাই করতে পারি যে এটি সত্যই বড় সাইটগুলির ব্যবহারে ব্যবহৃত কৌশল?

সম্পাদনা 2: বিষয়টিতে আরও পড়ার পরে, এটি প্রদর্শিত হয় যে কোনও কাস্টকাস্ট সাধারণত গতিশীল ওয়েব সামগ্রীর জন্য ব্যবহৃত হয় না। যেকোনকাস্ট সাধারণত ইউডিপি (উদাহরণস্বরূপ, ডিএনএস লুকআপ), বা কখনও কখনও স্থির সামগ্রীর জন্য ব্যবহৃত হয় stat

একটি আকর্ষণীয় বিষয় লক্ষণীয় যে স্টাইল শীট এবং জাভাস্ক্রিপ্ট লাইব্রেরির মতো স্থির সামগ্রী হোস্ট করতে ফেসবুক প্রোফাইল.ak.fbcdn.net ব্যবহার করে। প্রতিবার আমি এই নামটি পিং করার সময়, আমি একটি পৃথক আইপি ঠিকানা থেকে প্রতিক্রিয়া পাই। যাইহোক, আমি এটি বলতে পারি না এটি কার্যকরীভাবে কোনও কাস্টকাস্ট, বা সম্পূর্ণ আলাদা কৌশল।

আমার মূল প্রশ্নে ফিরে আসুন: আমি যতদূর বলতে পারি, এমনকি একটি বড় সাইটের একক ব্যয়বহুল টুকরো লোড-ব্যালেন্সিং হার্ডওয়্যার এর মুষ্টিমেয় পাবলিক আইপি ঠিকানাগুলিতে শুনবে।


দুর্দান্ত প্রশ্ন, খুব খারাপ লোকেরা এটি বুঝতে পারে না। আমি আশা করি কারও কিছু উত্তর সহ উত্তর হবে। হয়তো প্রায় 50 মিলিয়ন ডলার সিসকো কোয়ান্টাম কম্পিউটিং চালিত লোড ব্যালেন্সার।
অলিভারস

উত্তর:


9

এটি অগত্যা কোনও হার্ডওয়ার এটি করছে না এটি একটি সম্পূর্ণ সিস্টেম যা স্কেল করার জন্য ডিজাইন করা হয়েছে। এটি কেবল হার্ডওয়্যারকেই অন্তর্ভুক্ত করে না তবে আরও গুরুত্বপূর্ণভাবে অ্যাপ্লিকেশন ডিজাইন, ডাটাবেস ডিজাইন (সম্পর্কিত বা অন্যথায়), নেটওয়ার্কিং, স্টোরেজ এবং সেগুলি কীভাবে একসাথে ফিট হয়।

কয়েকটি বৃহত সাইটের স্কেল কীভাবে উচ্চ স্কেলাবিলিটি হয় তা খুঁজে পাওয়ার জন্য আপনার কৌতূহলের জন্য একটি ভাল সূচনা পয়েন্ট - উদাহরণ হিসাবে উইকিমিডিয়া আর্কিটেকচার , ফেসবুক এবং টুইটারে এখানে শুরু করুন এবং উচ্চ স্কেলিবিলিটি

ডিএনএস এবং একক আইপি ঠিকানা এবং রাউন্ড-রবিন সম্পর্কে আপনার প্রশ্ন সম্পর্কে এই ধরণের সাইটগুলি প্রায়শই একক আইপি ঠিকানা উপস্থাপনের পদ্ধতি হিসাবে লোড ব্যালেন্সিং ব্যবহার করবে use এটি হয় বিশেষায়িত হার্ডওয়্যার লোড ব্যালান্সার বা সাধারণ উদ্দেশ্যে সার্ভারে চলমান সফ্টওয়্যারগুলির মাধ্যমে করা যেতে পারে। লোড ব্যালেন্সার দ্বারা পরিচালিত আইপি-তে আগত অনুরোধগুলি পরে শেষ ব্যবহারকারীকে স্বচ্ছভাবে একাধিক সার্ভারে বিতরণ করা হয়।

হার্ডওয়্যার এবং সফ্টওয়্যার লোড ব্যালেন্সার / প্রক্সিগুলির তুলনা এবং কীভাবে তারা ডিএনএস রাউন্ড রবিনের সাথে তুলনা করে, এই বিষয়ে একটি ভাল ব্যাখ্যার জন্য লোড ব্যালেন্সিং ওয়েব অ্যাপ্লিকেশনগুলি পড়ুন


ধন্যবাদ, সিম আমি আমার প্রশ্ন জিজ্ঞাসার আগে এই নিবন্ধগুলির বেশিরভাগটি পড়েছি, তবে আমি এর কোনও ठोस উত্তর পাইনি। সুতরাং, আসলেই কোনও একক হার্ডওয়্যার লোড ব্যালেন্সার (বা কোনও একক মেশিন লোড-ব্যালেন্সিং সফটওয়্যার চালাচ্ছে) যা প্রতিবার কেউ উইকিপিডিয়া পৃষ্ঠা দেখে হিট হয়? বা, বাধাটি এড়ানোর জন্য কোথাও অন্য কৌশল আছে?
ইগোর ওস্ট্রভস্কি

উইকিপিডিয়া এখন কী করছে তা আমি নিশ্চিত নই তবে ২০০৮ সালের এই নিবন্ধটি তাদের সম্পর্কে স্কুইড বিপরীত প্রক্সি সার্ভারগুলি ব্লগস.সুন.ওয়েবস্কেল
সিম

2
এমন কোনও কাস্টক অ্যাড্রেস রয়েছে যেখানে আপনি একটি আইপি-ঠিকানা পিন করেন তবে সেগুলি "এলোমেলোভাবে \ নির্বিচারে \ ইচ্ছাকৃতভাবে" বিতরণ করা হয় "রিয়েল" এন্ডপয়েন্টগুলির সীমার মধ্যে একটিতে। আমি উইকিপিডিয়া \ গুগল এটি ব্যবহার করে কিনা তা সম্পর্কে আমি নিশ্চিত নই তবে আমি নিশ্চিত যে ডিএনএস সার্ভারের কয়েকটি রুটগুলি ব্যবহার করে। উইকিপিডিয়ায় আমার পিংগুলি আপনার সাথে মেলে (এবং আমি আয়ারল্যান্ডে আছি) সুতরাং আমার সন্দেহ হয় তারা সম্ভবত এটি ব্যবহার করছে।
হেলভিক

1
আপনার কাছের আইপি ঠিকানাটি পেতে ডিএনএস ক্যোয়ারিতে যেকোনকাস্ট ব্যবহার করা হয় - তারপরে কোনও লোড ব্যালান্সার সেই আইপি ঠিকানায় শুনে এবং ব্যাকিং সার্ভারগুলিতে অনুরোধগুলি বিতরণ করে।
অ্যান্ডি শেলাম

2
উইকিপিডিয়া তাদের লোড ব্যালেন্সিংয়ের বেশিরভাগ ক্ষেত্রে পিডিএনএস জিওআইপি ব্যাকএন্ড ব্যবহার করতে পারে। এখানে আরও তথ্য: উইকিটেক.উইকিমিডিয়া.আর / ভিউ
পাওয়ারওয়ার্স

3

যেকোনকাস্ট টিসিপি সংযোগগুলির জন্যও ব্যবহার করা যেতে পারে, ধরে নেওয়া সংযোগগুলি স্বল্পস্থায়ী তাই সংযোগকালীন সময়ে রুটগুলি পরিবর্তন হয় না। এটি HTTP সংযোগগুলির সাথে একটি ভাল ধারণা (বিশেষত যদি সংযোগ: কিপ-অ্যালাইভ একটি স্বল্প সময়সীমা বা অক্ষম থাকে)।

অনেকগুলি সিডিএন (ক্যাশেফ্লাই, ম্যাক্সিসিডিএন এবং সম্ভবত আরও অনেকে) টিসিপি সংযোগগুলির জন্য (কোনও HTTP) প্রকৃতপক্ষে কোনও কাস্টকাস্ট ব্যবহার করে, কেবল ডিএনএস নয়। আপনি যখন ক্যাশেফ্লাইতে কোনও হোস্টনামটি সমাধান করেন, আপনি বিশ্বজুড়ে একই আইপি ঠিকানাটি পান, এটি কেবল "নিকটতম" ক্যাশেফ্লাই ক্লাস্টারে চলে আসে। এখানে "ক্লোজস্ট" বিজিপি পাথের দৈর্ঘ্য এবং মেট্রিক্সের ক্ষেত্রে হবে যা সাধারণত ভৌগলিক দূরত্বের চেয়ে নেটওয়ার্ক ল্যাটেন্সি পরিমাপ করার একটি ভাল উপায়।

উইকিপিডিয়াটির ক্ষেত্রে বিশেষত: http://www.datacenterknowledge.com/archives/2008/06/24/a-look-inside-wikipedias-inf بُ/ারক /


3

কোনও আইপি অ্যাড্রেস আনইকাস্ট ব্যবহার করছে কিনা তা যাচাই করার সহজতম উপায় হ'ল বিভিন্ন অবস্থান থেকে ট্রেস্রোয়েট করা। আপনি নিম্নলিখিতগুলি ব্যবহার করে দেখতে পারেন: ট্রেসরোউট.আরগে যান, একটি অবস্থান বাছুন এবং আইপি ঠিকানায় 8.8.8.8 (গুগল পাবলিক ডিএনএস যা কোনও কাস্টকাস্ট ব্যবহার করে) এর জন্য ট্রেস্রোয়েট করার চেষ্টা করুন। আপনি অস্ট্রেলিয়ায় সার্ভার থেকে অস্ট্রেলিয়ায় ৮.৮.৮.৮ থাকার ট্র্যাকরোটটি দেখতে সক্ষম হবেন।

পিংয়ের পরিবর্তে হোস্টনাম লুক করার চেষ্টা করুন: উদাহরণস্বরূপ:

আপনি এই নামের পিছনে আইপি ঠিকানার তালিকা দেখতে পাবেন। আপনি সার্ভারটি পিং করার সময় এই আইপি ঠিকানাগুলি একটি রাউন্ড-রবিন ফ্যাশনে ব্যবহৃত হবে।



2

ইগোর, আপনার প্রশ্ন দুর্দান্ত, এবং অনেক নিষ্পাপ প্রশ্নের মতো, অনেকগুলি, অনেক উত্তর রয়েছে, সমস্ত বিবরণের বিভিন্ন স্তরে।

হার্ডওয়্যার অংশটি একটি ওয়েব সার্ভার। স্পষ্টত ;-)

হার্ডওয়্যার টুকরাটি আসলে লোড ব্যালেন্সারগুলির একটি গোষ্ঠী, এগুলির সমস্ত ভাগ করে নেওয়া স্টোরেজ থেকে টানতে কনফিগার করা হয়েছে যাতে তারা সবাই অভিন্ন উপাদান দিয়ে অভিন্নভাবে কনফিগার করা থাকে।

হার্ডওয়্যার টুকরাটি আসলে লোড ব্যালান্সারের বেশ কয়েকটি ক্লাস্টারের মধ্যে একটি, ভৌগোলিকভাবে ছড়িয়ে পড়ে এবং আপনাকে ডিএনএস সার্ভারের দ্বারা নেওয়া একটি সিদ্ধান্তের নিকটতম দিকে পরিচালিত হয়েছিল।


1

গুগল গত বছর তাদের হোমগ্রাউন হার্ডওয়্যার আর্কিটেকচারে কিছুটা প্রকাশ করেছে এবং এটি একটি ভাল পঠনের জন্য তৈরি করে


এটি একটি আকর্ষণীয় পড়া, তবে এটি আমার নির্দিষ্ট প্রশ্নের উত্তর দেয় না। আমি বিশেষভাবে আগ্রহী যে চারটি গুগলের পাবলিক আইপি অ্যাড্রেসগুলি শুনে এবং হাজার হাজার সার্ভারের মধ্যে লোড বিতরণ করে এমন হার্ডওয়ারের টুকরাটি কী?
ইগর ওস্ট্রভস্কি

1

একটি একক আইপি ঠিকানাটি অবশ্যই একটি একক সার্ভারকে বোঝায় না: http://en.wikedia.org/wiki/Anycast


1
আপনার যদি কিছু কেন্দ্রীয় সিঙ্ক্রোনাইজেশন থাকে (ফেসবুকের মতো) তবে যেকোনকাস্ট বজায় রাখা একটি কঠিন সেটআপ। এটি উদাহরণস্বরূপ ডিএনএস সার্ভারগুলির জন্য সত্যই কার্যকরভাবে কাজ করে, যেখানে উদাহরণগুলির জন্য খুব বেশি যোগাযোগের প্রয়োজন হয় না বা স্থির সামগ্রী সহ ওয়েব সার্ভারগুলির প্রয়োজন হয়।

1
আপনি ঠিক বলেছেন যে একক আইপি একক সার্ভারকে বোঝায় না, তবে ডিএনএস ক্যোয়ারিতে কোনও কাস্টকাস্ট ব্যবহার করা হয় যখন আপনি বিরক্ত হন না যতক্ষণ না আপনি উত্তর পেয়েছেন, এবং তাই এটি কেবল ইউডিপি প্রোটোকলের সাথেই কার্যকর ডিএনএস ব্যবহার করে। টিসিপি (HTTP- র ব্যবহৃত) সহ আপনার অবশ্যই নিশ্চিত হওয়া উচিত যে যে সার্ভারটি সাড়া ফেলেছে সেটাই আপনি বিশেষভাবে জিজ্ঞাসা করেছেন।
অ্যান্ডি শেলাম

@AndyShellam, নিবন্ধ en.wikipedia.org/wiki/Anycast#Details nanog.org/meetings/nanog37/presentations/matt.levine.pdf আপনার সাথে একমত নই বলে মনে হয় ...
Pacerier

1

বড় সাইটগুলি একসাথে বিভিন্ন কৌশল ব্যবহার করে। আপনি যে ওয়েবসাইটগুলি উল্লেখ করেছেন সেগুলির প্রায় প্রতিটি দেশে বেশ কয়েকটি সার্ভার রয়েছে। ওয়েবসাইট দর্শকের আইপি ঠিকানার ভিত্তিতে ডিএনএস সার্ভার ক্লাস্টারের একটি আইপি ঠিকানা ফিরিয়ে দিচ্ছে যা দর্শকের নিকটতম। আকামাই এ জাতীয় পরিষেবা সরবরাহ করছে (আরও তথ্যের জন্য এই ওয়েবসাইটে ছবিটিতে ক্লিক করুন))

এই ডেটাসেন্টারের সেই "ক্লাস্টারগুলি" এখন বিভিন্ন বিভিন্ন মেশিনের (ডিবি সার্ভার, ওয়েব সার্ভার, লোড ব্যালেন্সার ইত্যাদি) নিয়ে গঠিত, আপনি আপনার ওয়েবসাইটটি কী সরবরাহ করছেন তার উপর নির্ভর করে আপনার স্ট্যাটিক সামগ্রীর জন্য কিছু সার্ভার থাকতে পারে ইত্যাদি etc.


1

ফেসবুক বা উইকিপিডিয়া এর মতো বিস্ময়কর সাইটগুলি স্কেলাবিলিটি অর্জনের জন্য বিভিন্ন প্রযুক্তির উপর নির্ভর করে।

সেই প্রযুক্তিগুলির মধ্যে একটি হ'ল ডিএনএস। রাউন্ড রবিনের সাথে ভারসাম্য লোড করতে ডিএনএস কনফিগার করা হয়েছে। আপনার অনুরোধটি কোথা থেকে এসেছে তা সনাক্ত করার জন্য এবং আপনার নিকটবর্তী সাইটের ঠিকানাটি ফিরিয়ে দিতে ডিএনএস কনফিগারেশনটি যথেষ্ট স্মার্ট। সুতরাং আপনি যদি খনন করেন তবে আপনি একাধিক রেকর্ড দেখতে পাবেন, তবে আপনি যদি পিং করেন তবে সর্বদা একই ঠিকানাটি ফিরে পাবেন।

সাইটে, আপনি যে হার্ডওয়ারটি প্রথম আঘাত করেছেন সেটি হ'ল একটি বিপরীত প্রক্সি বা লোড ব্যালেন্সার পুল। পুলগুলি সেটআপ করা হয় যাতে সমস্ত মেশিন একই আইপি উত্তর দেয় তবে সেশন শিরোনামে একটি নতুন আইপি ফিরে আসে। পরবর্তী সমস্ত অনুরোধগুলি একই নোডের মধ্য দিয়ে যাবে।

বড় সাইটের জন্য নিযুক্ত লোড ব্যালান্সারগুলি বড় ব্যয়বহুল সরঞ্জাম নয়, এগুলি LVS চালিত পণ্য সার্ভার। http://www.linuxvirtualserver.org/


0

গুগলের মতো বিশাল সাইটগুলি অবশ্যই তাদের নিজস্ব হার্ডওয়্যার ডিজাইন করে। বৃহত্তর সাইটগুলি সম্ভবত একাধিক প্রকৃত সার্ভারে ভারসাম্য সংযোগগুলি লোড করতে একটি বহু-স্তর স্যুইচ ব্যবহার করবে। http://en.wikipedia.org/wiki/Multilayer_switch

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.