আগত ফাইলগুলির জন্য একটি রাউন্ডরোবিন


8

অনন্য ফাইলের নাম সহ নতুন একগুচ্ছ ফাইল একটি সার্ভারে নিয়মিত "উপস্থিত হয়" 1 । (প্রতিদিন কয়েকশো জিবি নতুন ডেটা-র মতো, দ্রবণটি টেরাবাইটে স্কেলযোগ্য হওয়া উচিত Each প্রতিটি ফাইল বেশ কয়েকটি মেগাবাইট বড়, কয়েক দশক মেগাবাইট পর্যন্ত up)

বেশ কয়েকটি মেশিন রয়েছে যা এই ফাইলগুলি প্রক্রিয়া করে। (দশকগুলি, সমাধানগুলি কয়েকশকে স্কেলেযোগ্যযোগ্য হওয়া উচিত)) সহজেই নতুন মেশিনগুলি যুক্ত করা এবং মুছে ফেলা সম্ভব উচিত ।

এখানে ব্যাকআপ ফাইল স্টোরেজ সার্ভার রয়েছে যার উপর প্রতিটি আগত ফাইল অবশ্যই সংরক্ষণাগার সঞ্চয় করার জন্য অনুলিপি করা উচিত । ডেটাটি হারাতে হবে না, সমস্ত আগত ফাইল অবশ্যই ব্যাকআপ স্টোরেজ সার্ভারে সরবরাহ করা উচিত।

প্রতিটি ইনকামিং ফাইল myst প্রক্রিয়াকরণের জন্য একটি একক মেশিন সরবরাহ করা, এবং ব্যাকআপ স্টোরেজ সার্ভারে কপি দিতে হবে।

রিসিভার সার্ভার ফাইলগুলি সেগুলি তাদের পাঠানোর পরে সংরক্ষণ করার প্রয়োজন নেই।

উপরে বর্ণিত পদ্ধতিতে ফাইলগুলি বিতরণ করার জন্য দয়া করে একটি শক্তিশালী সমাধানের পরামর্শ দিন। সমাধান জাভা ভিত্তিক করা উচিত নয় । ইউনিক্স-ওয়ে সমাধানগুলি পছন্দনীয়।

সার্ভারগুলি উবুন্টু-ভিত্তিক, একই ডেটা-সেন্টারে অবস্থিত। অন্যান্য সমস্ত বিষয় সমাধানের প্রয়োজনীয়তার জন্য মানিয়ে নেওয়া যেতে পারে।


1 দ্রষ্টব্য যে ফাইলগুলি সিস্টেমে ফাইলগুলি যেভাবে স্থানান্তরিত করা হয় সে সম্পর্কে আমি ইচ্ছাকৃতভাবে তথ্য বাদ দিচ্ছি। কারণটি হ'ল ফাইলগুলি তৃতীয় পক্ষগুলি দ্বারা আজকাল বেশ কয়েকটি ভিন্ন উত্তরাধিকারের দ্বারা প্রেরণ করা হচ্ছে (আশ্চর্যজনকভাবে যথেষ্ট, স্ক্রিপ এবং এমকিউ এর মাধ্যমে)। ফাইলসিস্টেম স্তরে ক্রস-ক্লাস্টার ইন্টারফেসটি কাটা সহজ বলে মনে হয় তবে এক বা অন্য সমাধানের জন্য যদি কিছু নির্দিষ্ট পরিবহণের প্রয়োজন হয় - লিগ্যাসি ট্রান্সপোর্টগুলি সেই একটিতে উন্নীত করা যেতে পারে।


5
আমি এই প্রশ্ন পছন্দ করি। আমার প্রাক-নির্বাচনী ইশতেহারে এসএফ-তে ফিরে আসতে উত্সাহ দেওয়ার বিষয়ে আমি এ জাতীয় কথা বলেছি।
টম ও'কনোর

যারা এই প্রশ্নটি বন্ধ করার পক্ষে ভোট দিয়েছিলেন, তাদের মন্তব্যে তাদের অনুপ্রেরণার বিষয়ে বিস্তারিত বর্ণনা দিলে আমি খুব প্রশংসা করব। বিশেষত অফ-টপিক ভোট। ধন্যবাদ.
আলেকজান্ডার গ্ল্যাডিশ

@ আলেকজান্ডারগ্ল্যাডিশ Histতিহাসিকভাবে, আমরা "আমাকে একটি সিস্টেম ডিজাইন করুন" শৈলীর প্রশ্নে খুব আগ্রহী হইনি। এটি এরকম হয় যে এখানে সমস্যাটি আসলে একটি সংকীর্ণ পর্যাপ্ত পরিমাণে সমাধানযোগ্য, যার কারণেই আমি এর জবাব দিয়েছি। সবাই আমার এবং টমের সাথে একমত নয়।
sysadmin1138

হুম। ঠিক আছে, ভাল, এই প্রশ্ন জিজ্ঞাসা করার জন্য আরও ভাল জায়গা আছে?
আলেকজান্ডার গ্ল্যাডিশ

@ আলেকজান্ডারগ্ল্যাডিশ সার্ভারফল্ট চ্যাটটি এই শেষের মতো প্রশ্ন ওপেন-এন্ড প্রশ্নের মত মনে হচ্ছে।
sysadmin1138

উত্তর:


5

আপনি যা খুঁজছেন তার একটি সমাধান এখানে। কোনও জাভা এই সিস্টেমটি তৈরিতে জড়িত নয়, কেবল সহজেই উপলভ্য ওপেন সোর্স বিট। এখানে উপস্থাপিত মডেল উদাহরণ হিসাবে আমি ব্যবহার করছি তার চেয়ে অন্যান্য প্রযুক্তিগুলির সাথে কাজ করতে পারে।

স্কেলেবল আপলোড

  1. ফাইলগুলি একটি নির্দিষ্ট রাউন্ড-রবিন ডিএনএস ঠিকানায় HTTP পোস্ট করা হয়।
  2. সিস্টেমগুলি ফাইলগুলি পোস্ট করার পরে প্রসেসিংয়ের কাজটি প্রবাহ শুরু করার জন্য, অন্য জোড়া লোড-ব্যালেন্সারের মাধ্যমে একটি এএমকিপি সিস্টেমে (খরগোশ এমকিউ এখানে) কাজ ফেলে দেয়।
  3. HTTP পোষ্ট প্রাপ্ত লোড ব্যালান্সাররা প্রতিটি ওপেনস্ট্যাক সুইফট অবজেক্ট স্টোর সার্ভারের একটি গ্রুপের সামনে।
    • লোড-ব্যালেন্সারগুলির প্রত্যেকের পিছনে দুটি বা ততোধিক ওপেনস্ট্যাক সুইফট অবজেক্ট-স্টোর সার্ভার রয়েছে।
    • 'রাউন্ড রবিন এইচএ নয়' লক্ষ্যগুলি যদি এইচএ হয় তবে তা হতে পারে। YMMV।
    • অতিরিক্ত স্থায়িত্বের জন্য, আরআরডিএনএসের আইপিগুলি স্বতন্ত্র হট স্ট্যান্ডবাই এলবি ক্লাস্টার হতে পারে।
  4. অবজেক্ট স্টোর সার্ভার যা প্রকৃতপক্ষে পোষ্ট পায় ফাইলটি একটি গ্লাস্টার ভিত্তিক ফাইল-সিস্টেমে সরবরাহ করে।
    • গ্লাস্টার সিস্টেমটি বিতরণ (ওরফে শারড) এবং প্রতিলিপি উভয়ই হওয়া উচিত। এটি মূর্খ ঘনত্বগুলিতে স্কেল করতে দেয়।
  5. এএমকিউ সিস্টেম প্রথম প্রসেসিং নোডে প্রথম কাজ প্রেরণ করে ব্যাকআপ তৈরি করে।
  6. প্রসেসিং নোড ফাইলটি মূল স্টোরেজ থেকে ব্যাকআপ স্টোরেজে অনুলিপি করে এবং সাফল্য / ব্যর্থতা হিসাবে প্রয়োজনীয়তার রিপোর্ট করে।
    • ব্যর্থতা মোড প্রসেসিং এখানে ডায়াগ্রামযুক্ত হয় না। মূলত, এটি কাজ না করা পর্যন্ত চেষ্টা চালিয়ে যান। এবং যদি এটি কখনই কার্যকর না হয় তবে একটি ব্যতিক্রম প্রক্রিয়াটি চালান।
  7. ব্যাকআপটি সম্পূর্ণ এএমকিউপি হয়ে গেলে প্রসেসিংয়ের কাজটি উপলভ্য প্রসেসিং নোডে প্রেরণ করে।
  8. প্রক্রিয়াজাত নোড হয় হয় ফাইলটিকে তার স্থানীয় ফাইল-সিস্টেমে টান দেয় বা এটি সরাসরি গ্লাস্টার থেকে প্রক্রিয়া করে।
  9. প্রসেসিং নোড প্রসেসিং পণ্য যেখানেই যায় জমা করে এবং এএমকিউপিকে সাফল্যের রিপোর্ট দেয়।

এই সেটআপটি পর্যাপ্ত সার্ভারের প্রদত্ত গতির চূড়ান্ত হারে ফাইলগুলি সঞ্চার করতে সক্ষম হওয়া উচিত। আপনি যদি এটি পর্যাপ্ত পরিমাণে আপস করেন তবে 10GbE সামগ্রিক ইনজেশন গতি অর্জন করাই উচিত। অবশ্যই, প্রক্রিয়াকরণের যে কত ডেটা আছে যা দ্রুত আপনার প্রসেসিং মেশিন-ক্লাসে আরও বেশি সার্ভার প্রয়োজন হবে। এই সেটআপটি এক হাজার নোড পর্যন্ত স্কেল করা উচিত এবং সম্ভবত এর বাইরেও (যদিও আপনি এতগুলি কী করছেন তার উপর কতটা নির্ভর করে)।

গভীর প্রকৌশল চ্যালেঞ্জগুলি এএমকিউ প্রক্রিয়াটির অভ্যন্তরে লুকানো কর্মপ্রবাহ পরিচালনা প্রক্রিয়াতে থাকবে be এগুলি সমস্ত সফ্টওয়্যার, এবং সম্ভবত আপনার সিস্টেমের চাহিদা অনুসারে কাস্টম। তবে এটি ডেটা দিয়ে ভাল খাওয়ানো উচিত!


3

আপনি স্পষ্ট করেছেন যে ফাইলগুলি স্কিপ মাধ্যমে আসবে, আমি ফ্রন্ট-এন্ড সার্ভারের অস্তিত্বের কোনও কারণ দেখতে পাচ্ছি না, কারণ পরিবহন ব্যবস্থা এমন একটি জিনিস যা স্তর 3 এ পুনঃনির্দেশিত করা যায়।

আমি পিছনে একটি প্রসেসিং সার্ভার পুল এবং একটি রাউন্ড-রবিন পুনর্নির্দেশ নীতি সহ একটি এলভিএস পরিচালক (জুটি) সামনে রাখি। এটি পুলটিতে / থেকে সার্ভারগুলি যুক্ত করা এবং বিয়োগ করা খুব সহজ করে তোলে, এটি নির্ভরযোগ্যতা বৃদ্ধি করে কারণ কোনও ফ্রন্ট-এন্ড সার্ভারের ওপরে পড়ার দরকার নেই, এবং এর অর্থ আমাদের ফাইলগুলি থেকে প্রাপ্ত সম্পর্কে টান / ধাক্কা দেওয়ার প্রশ্নের সমাধান করতে হবে না means প্রসেসিং সার্ভারের সম্মুখ প্রান্তটি কারণ কোনও ফ্রন্ট-এন্ড নেই।

ফাইল পাওয়ার সময় প্রতিটি পুল সার্ভারের দুটি জিনিস করা উচিত - প্রথমত, এটি সংরক্ষণাগার স্টোরেজটিতে অনুলিপি করুন, তারপরে ফাইলটি প্রক্রিয়া করুন এবং তার পথে প্রেরণ করুন।


2
আপনি যা জিজ্ঞাসা করেছেন তাতে প্রদত্ত অভাব বোধ করেন ? যদি এটি শুধুমাত্র প্রশ্নের বিবরণে প্রদত্ত বিবরণ সম্বোধন করতে ব্যর্থ হয়, তবে প্রশ্নটি যদি প্রশ্ন না হয় তবে এটি কেবল উত্তর নয়, অবশ্যই? এবং আপনি এটি খুব স্পষ্ট করে দিয়েছেন যে আপনি মনে করেন যে প্রশ্নটি যেমন দাঁড়িয়েছে তেমন একটি ভাল।
ম্যাডহ্যাটার

1
আমি কেবল প্রশ্নটির বিষয়ে প্রশ্ন হিসাবে প্রশ্ন জিজ্ঞাসা করি, তবে আমরা সেখানে যাই।
টম ও'কনোর

আমি বরং আপনার সাথে একমত; তবে আপনি যেহেতু প্রশ্নটি ছাঁটাই করেছেন, তাই আমি অনুভব করছি যে আপনি কমপক্ষে কোনও উত্তর সম্পূর্ণরূপে এর উপর নির্ভর করেছেন ;-)
ম্যাডহ্যাটার

2
এটি একটি বিশ্বজনীন বিষয় হবে।
টম ও'কনোর

আপনাকে ধন্যবাদ, ম্যাডহ্যাটার, আপনার ইনপুটটির জন্য। আমি প্রশ্নের সাথে কিছু তথ্য যুক্ত করেছি।
আলেকজান্ডার গ্ল্যাডিশ
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.