ভৌগলিকভাবে পছন্দের লোকেশন সহ ফাইল সিস্টেম বিতরণ


11

আমি একটি অ্যাপ্লিকেশন তৈরি করছি যা একটি ডাব্লুএইচএন এর উপর কয়েকটি সাইট জুড়ে একটি স্ট্যান্ডার্ড ফাইল সার্ভার বিতরণ করা দরকার। মূলত, প্রতিটি সাইটকে বিভিন্ন আকারের বিভিন্ন ফাইল (100 টি এমবি রেঞ্জের কিছু অংশ, তবে বেশিরভাগ ছোট) লেখা দরকার, এবং অ্যাপ্লিকেশনটি এমন লেখা হয় যাতে সংঘর্ষ কোনও সমস্যা নয়। আমি একটি সিস্টেম সেট আপ করতে চাই যা নিম্নলিখিত যোগ্যতার সাথে মেলে:

  1. প্রতিটি সাইট একটি ভাগ করা "নেমস্পেস" এ ফাইল সঞ্চয় করতে পারে। অর্থাৎ, সমস্ত ফাইল একই ফাইল সিস্টেমে প্রদর্শিত হবে show
  2. প্রতিটি সাইট WAN এর উপরে ডেটা প্রেরণ করবে না যদি না প্রয়োজন হয়। অর্থাৎ, ডাব্লুএইএন এর প্রতিটি পাশেই স্থানীয় স্টোরেজ থাকবে যা একই লজিক্যাল ফাইল সিস্টেমে "একীভূত" হবে।
  3. লিনাক্স এবং ফ্রি ($$$) একটি প্লাস

মূলত, কেন্দ্রীয় এনএফএস শেয়ারের মতো কিছু বেশিরভাগ প্রয়োজনীয়তা পূরণ করতে পারে, তবে এটি স্থানীয়ভাবে লিখিত ডেটা স্থানীয় থাকতে দেয় না। WAN এর প্রত্যন্ত দিক থেকে সমস্ত ডেটা সর্বদা স্থানীয়ভাবে অনুলিপি করা হবে।

আমি লাস্টারের দিকে নজর রেখেছি এবং এটি দিয়ে কিছু সফল পরীক্ষা চালিয়েছি, তবে এটি বিতরণকৃত স্টোরেজ জুড়ে মোটামুটি সমানভাবে ফাইল বিতরণ করে বলে মনে হয়। আমি ডকুমেন্টেশনটি খনন করেছি এবং এমন কোনও কিছুই পাইনি যা দূরবর্তী স্টোরেজের চেয়ে স্থানীয় সংগ্রহস্থলে স্বয়ংক্রিয়ভাবে "পছন্দ" করবে। এমনকি সর্বনিম্ন বিলম্বিত স্টোরেজ সহ যা কিছু ঠিক আছে be এটি বেশিরভাগ সময় কাজ করবে, যা এই অ্যাপ্লিকেশনটির প্রয়োজনীয়তা পূরণ করে।


নীচে জিজ্ঞাসিত কিছু প্রশ্নের কিছু উত্তর:

  • সার্ভার নোড: শুরু করতে 2 বা 3। প্রতিটি সার্ভারে একসাথে কয়েক ডজন পঠন / লেখার ক্লায়েন্ট সংযোগ থাকবে।
  • WAN টপোলজি সম্পূর্ণ জাল এবং নির্ভরযোগ্য। (বৃহত্তর কর্পোরেশন, ব্যয়টি লাল টেপের মতো সীমাবদ্ধ নয়)
  • ক্লায়েন্ট ফেইলওভার: ক্লায়েন্টদের ব্যর্থতা সম্পর্কে আমি আসলে ভাবিনি (বেশিরভাগ কারণ আমাদের বর্তমান অ্যাপ্লিকেশনটি কেবল একটি সাইটে এটি করে না)। আমি অনুমিত ব্যবহারের উত্তর হ'ল প্রতিটি ভৌগলিকভাবে বিতরণকৃত সাইটে সার্ভারগুলি যে ক্লায়েন্টদের তারা পরিবেশন করছে তাদের একক ব্যর্থতা বলে প্রত্যাশা করা হচ্ছে। যদিও, আপনি যদি এখানে নির্দিষ্ট কিছু সম্পর্কে চিন্তাভাবনা করেন তবে আমার মনে হয় এটি আলোচনার পক্ষে বেশ জার্মান হবে।
  • রোল-আমার নিজস্ব: আমি আরএসসিএনসি / একত্রীকরণের কথা ভেবেছি, তবে এই কাজের "গতিশীল" অংশটি নির্বিঘ্নে তৈরি করতে আমার বেশ কিছুটা অভিনব যুক্তি প্রয়োজন। অর্থাত্, ফাইলটি স্থানীয় বলে মনে হচ্ছে তবে এটি কেবলমাত্র চাহিদা অনুসারে পুনরুদ্ধার করা হয়েছে।
  • এমএস-ডিএফএস: এটি অবশ্যই আমার এমন কিছু হওয়া উচিত যা দেখে নেওয়া উচিত। আমার মূল সমস্যাটি সম্ভবত উইন্ডোজে এনএফএস সার্ভারের কনফিগারেশন / নির্ভরযোগ্যতা / কার্য সম্পাদন সম্পর্কে অনিশ্চিত হয়ে থাকবে কারণ সংযোগকারী অনেক ক্লায়েন্টই এনএফএস ক্লায়েন্ট।

লিনাক্সের হার্ড রেকর্ড এবং একটি প্লাসে ফ্রি করা হয়েছে।
dpb

উত্তর:


5

লিনাক্স প্রয়োজনীয়তা সম্পর্কে লজ্জা। উইন্ডোজ ডিএফএস ঠিক এটি করে। 2003 আর 2 সাল থেকে এটি এটি ব্লক-স্তরের ভিত্তিতেও করে।


ক্রিস, উত্তরের জন্য ধন্যবাদ। আমি মনে করি ডিএফএস উইন্ডোজ সত্ত্বেও আমি যা খুজছি তা অনেক বেশি। অবশ্যই দেখার জন্য আমার জন্য কিছু।
dpb

ডিএফএস ব্লক স্তরের ভিত্তিতে কাজ করে না। প্রতিলিপি পরিষেবাটি ফাইলের ভিত্তিতে অ-লেনদেনের।
উপস্থাপিত

4

কিছু প্রশ্ন:

  • এই জিনিসটিতে অংশ নেওয়ার বিষয়ে আপনি কতগুলি "সার্ভার" নোডের কথা ভাবছেন?

  • WAN কানেক্টিভিটি টপোলজি যেমন - হাব এবং স্পোক, সম্পূর্ণ জাল? এটি কতটা নির্ভরযোগ্য?

  • স্থানীয় সার্ভার ব্যর্থ হলে ইভেন্টটি কী ক্লায়েন্টরা কোনও ভৌগলিকভাবে অ-লোকাল সার্ভারে ব্যর্থ হবে?

কিছু সম্ভাব্য মোটা লাইসেন্স ব্যয় হলেও উইন্ডোজ ডিএফএস-আর অবশ্যই যা খুঁজছেন তা চাইবে।

আপনি বলছেন যে সংঘর্ষগুলি কোনও সমস্যা নয় এবং আপনার কোনও বিতরিত লক ম্যানেজারের দরকার নেই, সুতরাং আপনি এটি করতে পারেন আরএসআইএনসি বা ইউনিসন এর মতো ইউজারল্যান্ড সরঞ্জামগুলি দিয়ে এবং কেবল স্থানীয় ক্লায়েন্টদের কাছে এনএফএসের ফলে প্রাপ্ত ফাইলের কার্পাস রফতানি করতে। এটি কুৎসিত, এবং একটি প্রতিলিপি টোপোলজি উত্পন্ন করার জন্য এবং প্রকৃতপক্ষে ইউজারল্যান্ড সরঞ্জামগুলি পরিচালনা করার জন্য আপনাকে এক ধরণের সিস্টেমের সাথে একসাথে নকআল পরিচালনা করতে হবে, তবে লাইসেন্সিং ব্যয়টি ততই সস্তা হবে।


ইভান উত্তরের জন্য ধন্যবাদ, আপনি যে ডেটা চেয়েছিলেন তা দিয়ে আমি আমার প্রশ্ন আপডেট করেছি। আমি আপনার একত্রীকরণ / আরএসসিএনসি ধারণাতে আগ্রহী, তবে গতিশীল দিকটি কীভাবে পরিচালনা করা হবে তা পুরোপুরি দেখবেন না। (ইউনিসনের সাথে আমার খুব বেশি অভিজ্ঞতা নেই, কেবল আরএসএনসি)।
dpb

@ ডিপিবি: আপনার মূল সম্পাদনায় আমি সেই প্রয়োজনীয়তার অনুভূতিটি পাইনি। মাইক্রোসফ্ট ডিএফএস-আর তা করবে না। অন-ডিমান্ড পুনরুদ্ধার আচরণের জন্য ফাইল স্টাবগুলির জন্য তাদের স্থানীয় ডেটা ক্যাশে না থাকা, ডেটা পেতে, এবং পড়াটি পূরণের জন্য পঠন অনুরোধগুলি বিরত রাখতে কিছু কিছু "সক্রিয়" প্রয়োজন হবে। আমি সেই আচরণের সাথে কোনও ভৌগোলিকভাবে বিতরণ করা ফাইলসাইস্টেম সম্পর্কে সচেতন নই - এটি আরও এইচএসএমের মতো।
ইভান অ্যান্ডারসন

আমার মতো নিখুঁতদের জন্য : এন.ইউইউইকিপিডিয়া.আর / উইকি / হাইয়ার্কিকাল_ স্টোরেজ_ম্যানেজমেন্ট । ধন্যবাদ আবার ইভান। প্রাথমিকভাবে গতিশীল উপায়ে বেছে নেওয়ার মতো অন্তর্নিহিত স্টোরেজ অবস্থানটিকে গতিশীল উপায়ে পুনরায় সাজানোর ক্ষেত্রে আমি প্রায় আগ্রহী নই। আমার মনে হয় এইচএসএম খুব দুর্দান্ত লাগছে তবে এর দুর্দান্ত অংশটি আমি যা করছি তার জন্য বেশ ওভারকিল।
ডিপিবি

3

আপনি এএফএস বিবেচনা করেছেন ?

অ্যান্ড্রু ফাইল সিস্টেম (এএফএস) একটি বিতরণযোগ্য নেটওয়ার্ক ফাইল ফাইল সিস্টেম যা সমস্ত ক্লায়েন্ট ওয়ার্কস্টেশনে একজাতীয়, অবস্থান-স্বচ্ছ ফাইল নাম স্থান উপস্থাপন করতে বিশ্বস্ত সার্ভারের একটি সেট ব্যবহার করে।

আমি এটি বুঝতে পেরেছি, সাম্প্রতিক বেশিরভাগ বিকাশ ওপেনএএফএস প্রকল্পের পিছনে রয়েছে ।

"পছন্দের লোকেশন" বৈশিষ্ট্যটি পাওয়া যায় কিনা তা জানতে আমি প্রকল্পের সাথে যথেষ্ট পরিচিত হওয়ার ভান করতে পারি না, তবে অন্যথায় এটি বেশ উপযুক্ত বলে মনে হচ্ছে।


1
পরীক্ষা করে দেখুন এছাড়াও CodaFS: en.wikipedia.org/wiki/Coda_%28file_system%29
blank3

1

আপনি কি দীপ্তারের ওএসটি পুলগুলিতে নজর রেখেছেন?

এটি স্বয়ংক্রিয় হবে না তবে ওএসটি পুলের সাহায্যে আপনি নির্দিষ্ট ওএসটি / ওএসএসকে ডিরেক্টরি / ফাইল বরাদ্দ করতে পারেন - মূলত নীতি ভিত্তিক স্টোরেজ বরাদ্দ, ওএসটি জুড়ে ডিফল্ট রাউন্ড-রবিন / স্ট্রাইপিংয়ের চেয়ে।

সুতরাং আপনি প্রতি সাইটের জন্য একটি ডিরেক্টরি সেটআপ করতে পারেন এবং সেই ডিরেক্টরিটি সেই সাইটটির জন্য স্থানীয় ওএসটিগুলিকে অর্পণ করতে পারেন, যা সমস্ত I / O কে স্থানীয় ওএসটিগুলিতে পরিচালিত করবে। এটি এখনও একটি বিশ্বব্যাপী নেমস্পেস হবে।

ডাব্লুএএন সংযোগগুলির ওপরে লাস্টারের উন্নতি করতে অনেক কাজ চলছে (স্থানীয় ক্যাশে সার্ভার এবং সেগুলির মতো জিনিস) তবে এগুলি এখনও ভারী বিকাশের আওতায় রয়েছে AF


ধন্যবাদ @ জেমস, আমি ঠিক যা খুঁজছি ঠিক এটি। আমি শীর্ষ স্তরের মুগ্ধ করা নেমস্পেসের বিষয়ে আগ্রহী নই (কোনও ওএসটি পুলকে নির্দিষ্ট ডিরেক্টরি নির্ধারণ করুন) তবে সম্ভবত এটি ঠিক আছে। লাস্টারে ব্যবহারের ক্ষেত্রে এবং সীমাবদ্ধতাটি কী তা জেনে রাখা ভাল। আবার ধন্যবাদ!
ডিপিবি

1

সম্ভবত এনএফএস তবে অ্যাপ্লিকেশন সার্ভারে ক্যাশেফ সহ আপনার লক্ষ্যটির আপনার অংশটি সম্পন্ন করবে। যেহেতু আমি এটি বুঝতে পারি লিখিত সমস্ত কিছু এখনও কেন্দ্রীয় সার্ভারে যাবে তবে কমপক্ষে পাঠগুলি স্থানীয়ভাবে ক্যাশে যেতে পারে। এটি আপনার ব্যবহারের ধরণগুলির উপর নির্ভর করে পঠন বন্ধ করতে সম্ভাব্যভাবে অনেক বিলম্ব নিতে পারে।

এছাড়াও মাবে ইউনিয়নএফএস সন্ধান করার মতো। এটি দিয়ে আমি মনে করি প্রতিটি অবস্থান একটি এনএফএস রফতানি হবে এবং তারপরে আপনি প্রতিটি স্থানে ইউনিয়নএফএস ব্যবহার করতে পারবেন এবং অবস্থান থেকে অন্যান্য সমস্ত এনএফএস মাউন্টগুলি একটি ফাইল সিস্টেম হিসাবে উপস্থিত হবে। যদিও এর সাথে আমার অভিজ্ঞতা নেই।


ধন্যবাদ @ কাইল, আমি ইউনিয়নএফএস সম্পর্কে জানতাম না, আক্রমণাত্মক ক্যাচিংয়ের পাশাপাশি এনএফএস এর পক্ষে একটি ভাল সমাধান হতে পারে। আমি ভাবছি যে স্থানগুলির সংখ্যা বাড়ার সাথে সাথে এটি বজায় রাখতে আরও সমস্যা হতে পারে তবে আমি সিদ্ধান্ত নেওয়ার আগে আমি এটি খতিয়ে দেখব।
ডিপিবি

0

ডিস্কগুলি প্রতিলিপি করতে আপনি ডিআরবিডি দেখতে পারেন। http://www.drbd.org/ । এটি একটি লিনাক্স উচ্চ উপলভ্যতা সমাধান যা এখনই এটি কার্নেলে পরিণত করেছে।

তবে এর কিছু সীমাবদ্ধতা রয়েছে:

  1. মাত্র দুটি নোড সেট আপ করা যায়
  2. ডিআরবিডি শক্তিশালী রাখতে WAN খুব বিশ্বাসযোগ্য নয়।

আকর্ষণীয় ধারণা, তবে আমি মনে করি না যে এটি অন্যান্য বিতরণকৃত ফাইল সিস্টেমে আমার অ্যাপ্লিকেশনটিকে কিছু দেবে। (দীপ্তি, গ্লাস্টারফস, ইত্যাদি)। পোস্ট করার জন্য ধন্যবাদ ...
dpb

0

আপনি যদি এটি সহজ রাখতে চান তবে একটি আরএসসিএন দেখুন, প্রচুর সমস্যা সমাধান করে এবং স্ক্রিপ্ট করা যায়।


0

চিরোনস পরীক্ষা করুন ।

ফাইল সিস্টেমের ভিত্তিতে এটি আপনি যা চান তা করতে পারে।


0

Btsync হ'ল আরেকটি সমাধান যা আমার ভাল অভিজ্ঞতা পেয়েছিল। এটি ফাইলগুলি স্থানান্তর করতে বিটোরেন্ট প্রোটোকল ব্যবহার করে, সুতরাং আপনার যত বেশি সার্ভার তত দ্রুততর হয় এটি নতুন ফাইলগুলি সিঙ্ক্রোনাইজ করার মতো।

আরএসসিএনসি-ভিত্তিক সমাধানের বিপরীতে, আপনি ফাইলগুলি / ফোল্ডারগুলির নাম পরিবর্তন করার সময় এটি সনাক্ত করে এবং মুছে ফেলা / অনুলিপি পরিবর্তে সমস্ত নোডে তাদের নাম পরিবর্তন করে।

Yout btsync ক্লায়েন্টরা এর পরে স্থানীয় নেটওয়ার্কে ফোল্ডারগুলি ভাগ করতে পারে।

আমি খুঁজে পেয়েছি শুধুমাত্র খারাপ দিক (এমএস ডিএফএসের তুলনায়) এটি কোনও স্থানীয় ফাইল অনুলিপি সনাক্ত করতে পারে না। পরিবর্তে এটি এটিকে নতুন নতুন ফাইল হিসাবে সমস্ত পিয়ারদের কাছে আপলোড করা হিসাবে ব্যাখ্যা করবে।

এখনও পর্যন্ত বিটিসিঙ্কটি সেরা সিঙ্ক্রোনাইজেশন সমাধান হিসাবে মনে হচ্ছে এবং এটি উইন্ডোজ, লিনাক্স, অ্যান্ড্রয়েড এবং এআরএম ডিভাইসগুলিতে ইনস্টল করা যেতে পারে (যেমন এনএএস)

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.