বিতরণযোগ্য স্টোরেজ ফাইল সিস্টেম - কোনটি / পণ্য ব্যবহারের জন্য প্রস্তুত?

Question

ব্লগগুলিতে এবং সম্পর্কিত খবরে হডোপ এবং কাউচডিবি সহ একটি বিতরণ-ফল্ট-সহনশীল স্টোরেজ (ইঞ্জিন) যা আসলে কাজ করে।

• কাউচডিবিতে আসলে অন্তর্নির্মিত কোনও বিতরণ বৈশিষ্ট্য নেই, আমার জ্ঞান অনুযায়ী স্বয়ংক্রিয়ভাবে এন্ট্রি বা এমনকি পুরো ডেটাবেস বিতরণ করার আঠালো কেবল অনুপস্থিত।
• হ্যাডোপটি খুব ব্যাপকভাবে ব্যবহৃত হয়েছে বলে মনে হচ্ছে - কমপক্ষে এটি ভাল চাপ পেয়েছে তবে তার ব্যর্থতার একক পয়েন্ট রয়েছে: নামনোড। এছাড়াও, এটি কেবল ফুস হয়ে মাউন্টযোগ্য, আমি বুঝতে পেরেছি এইচডিএফএস আসলে হ্যাডোপের মূল লক্ষ্য নয়
• গ্লাস্টারএফএসের একটি ভাগ করার মতো কিছু ধারণা নেই তবে ইদানীং আমি বেশ কয়েকটি পোস্ট পড়েছি যা আমাকে মতামত নিয়ে যায় যা এটি যথেষ্ট স্থিতিশীল নয়
• এটি একটি ডেডিকেটেড মেটাডেটা সার্ভার ব্যবহার করায় লাস্টারের ব্যর্থতারও একক বিন্দু রয়েছে
• সিফটিকে পছন্দের খেলোয়াড় বলে মনে হচ্ছে তবে হোমপেজটি জানিয়েছে যে এটি এখনও আলফা পর্যায়ে রয়েছে।

সুতরাং প্রশ্নটি হ'ল বিতরণকৃত ফাইলসিস্টেমটিতে নিম্নলিখিত বৈশিষ্ট্য সেট রয়েছে (কোনও নির্দিষ্ট ক্রম নেই):

• POSIX সামঞ্জস্যপূর্ণ
• সহজ সংযোজন / নোড অপসারণ
• ভাগ-কিছুই ধারণা
• সস্তা হার্ডওয়্যারে চালিত হয় (এএমডি জিওড বা ভিআইএ ইডেন ক্লাস প্রসেসর)
• প্রমাণীকরণ / অনুমোদন অন্তর্নির্মিত
• একটি নেটওয়ার্ক ফাইল সিস্টেম (আমি এটি একই সাথে বিভিন্ন হোস্টে মাউন্ট করতে সক্ষম হতে চাই)

আছে চমৎকার:

• স্থানীয়ভাবে অ্যাক্সেসযোগ্য ফাইল: আমি একটি স্ট্যান্ডার্ড লোকাল ফাইল সিস্টেমের সাথে পার্টিশন মাউন্ট করতে একটি নোড নিতে পারি (ext3 / xfs / যাই হোক না কেন ...) এবং এখনও ফাইলগুলি অ্যাক্সেস করতে পারি

আমি হোস্টেড অ্যাপ্লিকেশনগুলি খুঁজছি না , বরং এমন কিছু যা আমাকে আমাদের প্রতিটি হার্ডওয়্যার বাক্সের 10 গিগা বলার অনুমতি দেয় এবং সেই স্টোরেজটি আমাদের নেটওয়ার্কে উপলব্ধ থাকে, হোস্টের ভিড়ে সহজেই মাউন্টযোগ্য।

Comments

তো, আপনি কি শেষ করেছেন? আপনার বর্তমান সেটআপ সম্পর্কে শুনে আকর্ষণীয় হবে।

— ম্যাটবিয়ানকো

আপনি এটি লেখার পর থেকে দীপ্তি সক্রিয় / প্যাসিভ এমডিএস যুক্ত করেছে বলে মনে হয়, সুতরাং অন্য চেহারা প্রয়োজন হতে পারে।

— pjz

আমার অভিজ্ঞতায়, গ্লাস্টারএফএস স্থিতিশীল ছিল তবে কার্য সম্পাদন খুব খারাপ। আরও ভাল পারফরম্যান্সের জন্য আপনার গুরুতরভাবে উচ্চ-এন্ড হার্ডওয়্যার প্রয়োজন - মূলত আরডিএমএ। গুরুত্বপূর্ণ বিষয় হ'ল সমস্ত সার্ভার এবং গ্লাস্টারএফএস ক্লায়েন্ট মেশিনের মধ্যে বিলম্ব cy

— মিক্কো রেন্টালাইনেন

Answer 1

আমি মনে করি আপনাকে পসিক্স প্রয়োজনীয়তা ত্যাগ করতে হবে, খুব কম সিস্টেমই এটি বাস্তবায়ন করে - বাস্তবে এমনকি এনএফএসও সত্যিকার অর্থে (লকস ইত্যাদি ভাবেন না) এবং এর কোনও অপ্রয়োজনীয়তা নেই।

সিঙ্ক্রোনাস প্রতিলিপি ব্যবহার করে এমন কোনও সিস্টেম হিমশীতল হতে চলেছে; অ্যাসিনক্রোনাস প্রতিলিপি (বা "শেষ ধারাবাহিকতা") রয়েছে এমন কোনও সিস্টেম পসিক্স বিধি লঙ্ঘন করতে চলেছে এবং "প্রচলিত" ফাইল সিস্টেমের মতো আচরণ করবে না।

Comments

আপনি কি এমন কোনও ফাইল সিস্টেম সম্পর্কে জানেন যা উভয় ক্ষেত্রেই ধারাবাহিকতা এবং কঠোর ধারাবাহিকতা সমর্থন করে, সম্ভবত এটি উভয়ের জন্যই সুর করা যেতে পারে এবং 2 টি মাউন্ট তৈরি করতে পারে?

— সিএমসিডিগ্রাগনকাই

Answer 2

আমি বাকিদের সাথে কথা বলতে পারি না তবে আপনি একটি 'বিতরণ স্টোরেজ ইঞ্জিন' এবং একটি 'বিতরণ ফাইল সিস্টেম' এর মধ্যে বিভ্রান্ত বলে মনে করছেন। তারা একই জিনিস নয়, তাদের একই জিনিসটির জন্য ভুল করা উচিত নয় এবং তারা কখনও একই জিনিস হবে না। একটি ফাইল সিস্টেম একটি হার্ড ড্রাইভে জিনিসগুলি কোথায় অবস্থিত তা ট্র্যাক করার একটি উপায়। হাদুপের মতো স্টোরেজ ইঞ্জিন একটি কী দ্বারা চিহ্নিত ডেটাগুলির একটি অংশের উপর নজর রাখার একটি উপায়। ধারণাগতভাবে, খুব বেশি পার্থক্য নেই। সমস্যাটি হ'ল ফাইল সিস্টেমটি স্টোরেজ ইঞ্জিনের নির্ভরতা ... সর্বোপরি, এটি একটি ব্লক ডিভাইসে লেখার জন্য একটি উপায় প্রয়োজন, তাই না?

এগুলি বাদ দিয়ে, আমি উত্পাদন পরিবেশে বিতরণকারী ফাইল সিস্টেম হিসাবে ocfs2 এর ব্যবহারের সাথে কথা বলতে পারি । যদি আপনি কৌতূহল বিবরণ না চান তবে এই লাইনের পরে পড়া বন্ধ করুন: এটি দুর্দান্ত, তবে এটি আপনার ভাবার চেয়ে বেশি ডাউনটাইমের অর্থ হতে পারে।

আমরা গত কয়েক বছর ধরে একটি উত্পাদন পরিবেশে ocfs2 চালিয়ে যাচ্ছি। এটি ঠিক আছে, তবে এটি প্রচুর অ্যাপ্লিকেশনগুলির জন্য দুর্দান্ত নয়। আপনার সত্যিই আপনার প্রয়োজনীয়তাগুলি লক্ষ্য করা উচিত এবং সেগুলি কী তা নির্ধারণ করা উচিত - আপনি মনে করতে পারেন যে আপনি যা করেছেন ভেবেছিলেন তার চেয়ে আপনার আরও অনেক অক্ষাংশ রয়েছে।

উদাহরণস্বরূপ, ক্লাস্টারে প্রতিটি মেশিনের জন্য ocfs2 এর একটি জার্নাল রয়েছে যা পার্টিশনটি মাউন্ট করতে চলেছে। সুতরাং আসুন আমরা আপনার চারটি ওয়েব মেশিন পেয়েছি এবং আপনি যখন mkfs.ocfs2 ব্যবহার করে সেই বিভাজনটি তৈরি করেন, আপনি উল্লেখ করেন যে নিজেকে বাড়ানোর জন্য আরও কিছু জায়গা দেওয়ার জন্য মোট ছয়টি মেশিন থাকবে। এই জার্নালের প্রত্যেকটিতে স্থান নেওয়া হয়, যা আপনি ডিস্কগুলিতে সংরক্ষণ করতে পারেন এমন পরিমাণের পরিমাণ হ্রাস করে। এখন, ধরুন আপনাকে সাতটি মেশিন স্কেল করতে হবে। এই পরিস্থিতিতে, আপনাকে পুরোটা নামিয়ে নেওয়া দরকারক্লাস্টার (অর্থাত্ ocfs2 পার্টিশনগুলির সমস্ত আনমাউন্ট করুন) এবং অতিরিক্ত জার্নাল তৈরি করতে tunefs.ocfs2 ইউটিলিটিটি ব্যবহার করুন, যদি স্থান উপলব্ধ থাকে। তারপরে এবং তারপরেই আপনি ক্লাস্টারে সপ্তম মেশিন যুক্ত করতে পারেন (যার জন্য আপনাকে ক্লাস্টারের বাকী কোনও টেক্সট ফাইল বিতরণ করা দরকার যতক্ষণ না আপনি কোনও ইউটিলিটি ব্যবহার করছেন), সমস্ত কিছু ফিরিয়ে আনতে হবে এবং তারপরে সাতটি পার্টিশনটি মাউন্ট করতে পারবেন মেশিন।

আমি কি বলতে চাইছি? এটি উচ্চ প্রাপ্যতা বলে মনে করা হচ্ছে, যার অর্থ 'সর্বদা অনলাইন' হওয়া উচিত, তবে ঠিক সেখানেই আপনি একগুচ্ছ ডাউনটাইম পেয়েছেন ... এবং godশ্বর আপনাকে ডিস্কের জায়গার জন্য ভিড় করে না। আপনি ocfs2 ভিড় করলে কি হয় তা দেখতে চাইবেন না।

মনে রাখবেন যে evs, যা ocfs2 ক্লাস্টার পরিচালনা করার জন্য 'পছন্দসই' উপায় ছিল, ক্লোভএমডি এবং lvm2 এর পক্ষে ডোডো পাখির পথে চলেছে। (এবং ভাল ছদ্মবেশে ভাল ছদ্মবেশ।) এছাড়াও, হার্টবিট দ্রুত ওপেনইস / পেসমেকার স্ট্যাকের পক্ষে একটি জম্বি প্রকল্পে রূপান্তরিত হতে চলেছে। (পাশে: ocfs2 এর জন্য প্রাথমিক ক্লাস্টার কনফিগারেশন করার সময়, আপনি হৃদপিণ্ডের বিপরীতে ক্লাস্টার ইঞ্জিন হিসাবে 'পিএমসি কে' নির্দিষ্ট করতে পারেন No না, এটি নথিভুক্ত নয়))

এটির মূল্যের জন্য, আমরা পেসমেকার দ্বারা পরিচালিত এনএফএসে ফিরে গিয়েছি, কারণ পেস মেকার অন্য কোনও মেশিনে এনএফএসের ভাগ মাইগ্রেশন করার কারণে কয়েক সেকেন্ড ডাউনটাইম বা কয়েকটা ড্রপ টিসিপি প্যাকেটগুলি বেসিকের জন্য ডাউনটাইমের পরিমাণের তুলনায় তুচ্ছ is ocfs2 ব্যবহার করার সময় মেশিন যুক্ত করার মতো ভাগ করা স্টোরেজ ক্রিয়াকলাপ।

Comments

কেবল মন্তব্য করতে চেয়েছিলাম যে ওসিএফএস 2 / পেসমেকার বনাম এনএফএসের সাথে এটিও আমার অভিজ্ঞতা। ওসিএফএস 2 কে কিছু সময়ের জন্য ক্লাস্টার্ড ডেটা স্টোর হিসাবে চেষ্টা করার পরে আমি দেখতে পেলাম যে এটির খুব অভাব রয়েছে। ইতিমধ্যে আমাদের এইচএ এনএফএস সিস্টেম একটি কবজির মতো চলছে।

— কামিল কিসিয়েল

ওসিএফএস 2 অবশ্যই আমি যা দেখছি তা নয়। বিতরণ করে আমি স্টোরেজের কেন্দ্রীয় উদাহরণ সহ কিছু বোঝাতে চাই না বরং এমন কিছু যেখানে আমি খুব সহজেই

— স্ট্রোক সরবরাহ

যেহেতু আমি এখনও এই উত্তরের উপর নজর রেখেছি, আমার যুক্ত করা উচিত যে আমরা এখন Nfs এর প্রতিস্থাপন হিসাবে উত্পাদনে গ্লাস্টারএফএস ব্যবহার করছি। তবে, আমরা ভিএম ডিস্ক চিত্র, ডাটাবেস স্টোরেজ ফাইল (স্ক্লাইট বা মাইসাম বা যাই হোক না কেন), বা অন্যান্য ফাইলগুলি যা গ্লাস্টারফগুলিতে ঘন ঘন পরিবর্তিত হওয়ার ঝুঁকির কারণ এটি প্রতিস্থাপনের ল্যাশ ঘটায় store আমরা স্থানীয়ভাবে ভিভি হোস্টগুলিতে এলভিএম-এ সঞ্চয় করি এবং ফেলওভার সাইটগুলিতে বিতরণ করতে বা বিল্ট-ইন প্রতিলিপি ব্যবহার করি DR

— কার্ল কাটস্কে

Answer 3

আমি আপনার প্রয়োজনীয়তাগুলি ভুল বোঝাবুঝি করছি, তবে আপনি কি http://en.wikedia.org/wiki/List_of_file_s সিস্টেমে# ডিস্ট্রিবিউটেড_ফাইলে_ সিস্টেমগুলি দেখেছেন

Comments

এটি সেই জায়গা যেখানে আমি শুরু করেছি, আমার আশা ছিল এমন লোকদের কাছ থেকে কয়েকটি ইঙ্গিত পাওয়া যাবে যারা ইতিমধ্যে বিতরণ করা স্টোরেজ অবকাঠামো মোতায়েন করেছেন

— সার্ভারহরর

Answer 4

এখানে আমার 0.02 ডলার নিক্ষেপ করতে: ওপেনএএফএস আপনি যা চান তা করতে পারে না?

Answer 5

চিপ http://www.cse.nd.edu/~ccl/software/chirp/ এবং তোতা http://www.cse.nd.edu/~ccl/software/parrot/ এ একবার দেখুন

Comments

আমি এগুলি চেষ্টা করব, মোড়কের পদ্ধতিটি কার্যক্ষম বলে মনে হচ্ছে তবে এটি বেশ অনুকূল নয়। ঠিক আছে, আমি দেখতে পাচ্ছি কীভাবে তা সক্রিয় হয়

— সার্ভারহরর

Answer 6

এক্সটিরিফস সম্পর্কে কীভাবে ? সংস্করণ 1.4 (নভেম্বর 2012) উত্পাদন গুণমান হিসাবে বিবেচিত হয়।

এটি পসিক্স সামঞ্জস্যপূর্ণ এবং এতে স্বয়ংক্রিয়ভাবে দোষ সহনীয়তা রয়েছে।

Answer 7

লাস্টার রিডানডেন্সির জন্য সক্রিয় / প্যাসিভ কনফিগারেশনে একাধিক মেটাডেটা-স্টোরের অনুমতি দেয়, তাই ব্যর্থতার কোনও একক বিন্দু নেই।

ওসিএফএস 2ও দেখার মতো হতে পারে।

নোট করুন যে একযোগে একাধিক একাধিক নেটওয়ার্ক অ্যাক্সেসের প্রয়োজনীয়তা কাটাতে আইএসসিএসআই বা এমনকি সিআইএফ বা এনএফএস-এর মতো কিছুতে স্যুইচ করা সম্ভব করে। ক্ষতিটি হ'ল প্রতিটি সার্ভারের জন্য কামড়ের জন্য আপনার উবারআর্রে টুকরো টুকরো টুকরো টুকরো করে তৈরি করতে হবে।

Answer 8

যদি না এটি একাডেমিক / বিকাশের উদ্দেশ্যে হয় তবে এই ধরণের জিনিসটি প্রকল্পের সামগ্রিক প্রয়োজনীয়তাগুলি দিয়ে শুরু করা উচিত। বেশিরভাগ বিতরণকৃত ফাইল সিস্টেমগুলি গুরুতর মোতায়েনের জন্য যথেষ্ট পরিপক্ক হয় না - উদাহরণস্বরূপ, পুরো জিনিসটি যদি সরে যায় তবে আপনি কী করবেন। যদি এটি একাডেমিক / বিকাশের উদ্দেশ্যে হয়, তবে এটি আসলে একটি ভাল জিনিস কারণ আপনি অনেক কিছু শিখতে পারেন এবং প্রচুর বাগগুলি ঠিক করতে পারেন।

আপনার সত্যিই পসিক্স শব্দার্থক প্রয়োজন কিনা তা প্রশ্ন করে মন্তব্যটি একটি ভাল শুরু। নন-পসিক্স "ফাইল সিস্টেম" শব্দার্থবিজ্ঞানগুলি অনেক বেশি নমনীয় হতে পারে, যার ফলে অনেক বেশি নির্ভরযোগ্য সিস্টেম দেখা যায়।

যদি এটি কোনও উত্তরাধিকারের অ্যাপ্লিকেশন হয় তবে আমি সত্যিই আশ্চর্য হয়েছি কেন একটি আধুনিক বিতরণকৃত ফাইল সিস্টেমটি সেরা সমাধান হিসাবে বিবেচিত হতে পারে।

আমাকে ভুল করবেন না - এগুলি আশ্চর্যজনকভাবে মজাদার খেলনা। আমি কেবল একটি জটিল আন্তঃনির্ভর সমাধানের জন্য দায়বদ্ধ হতে চাই না যা সাধারণত ব্যবহৃত হয় না এবং এটি যখন খুব কম হয় তখন এটি সমাধান করা খুব কঠিন।

Answer 9

আপনি কি সত্যিই পসিক্স শব্দার্থবিজ্ঞানের পুরোপুরি ইতিবাচক প্রয়োজন? আপনি যদি কাস্টম ডেটাস্টোর ব্যবহার করতে পারেন তবে জীবন অনেক সহজ হয়ে যায়। আমাদের কাছে একটি অভ্যন্তরীণভাবে লিখিত ডেটাস্টোর রয়েছে যা কার্যকরভাবে একটি খুব বড় বিতরণের কী-মান স্টোর। আপনি এটিতে একটি ফাইল সঞ্চয় করেন এবং আপনি একটি টোকেন ফিরে পাবেন। আপনি যদি ফাইলটি ফিরে চান তবে আপনি আগে দেওয়া টোকেনটি দিন। এটি বিতরণ করা হয়, ভাগ করা হয় না, ডেটা তিনবার প্রতিলিপি করা হয়, নোডগুলি ইচ্ছামত যোগ এবং সরানো যেতে পারে, উভয় স্টোরেজ সার্ভার এবং নিয়ন্ত্রণকারী সার্ভারগুলি।

Comments

দুর্ভাগ্যক্রমে আমার সত্যিই পসিক্স শব্দার্থবিদ্যা প্রয়োজন। আমাদের কাছে প্রচুর "উত্তরাধিকার অ্যাপ্লিকেশন" রয়েছে যা স্থানীয় ফাইল সিস্টেমে স্টাফ রাখে। এর

— সবগুলিই আবার লিখন

আমার সন্দেহ হয় আপনাকে আপনার অন্যান্য প্রয়োজনীয়তাগুলির কিছু ত্যাগ করতে হবে। আমি গ্লাস্টারএফএস, লাস্টার, ওসিএফএস 2, জিএফএসের দিকে তাকিয়ে থাকব, তবে আমার সন্দেহ যে আপনি ভাগ করে নেওয়ার মতো একটি পেয়ে যাবেন।

— ডেভিড পাশলে

en.wikedia.org/wiki/… বিতরণ করা ফাইল সিস্টেমগুলি তালিকাভুক্ত করে তবে এর মধ্যে খুব কমই পসিক্স।

— ডেভিড পাশলে

ইওনস আগে, আমি এএফএস (যা এখন ওপেনএফএস) এর একটি বৈকল্পিক ব্যবহার করতাম। এটি কাজ করে তবে জটিল ছিল এবং এটির নিজস্ব ক্রিকস সেট ছিল।

— জাউদার হো

Answer 10

এটি একটি ডেডিকেটেড মেটাডেটা সার্ভার ব্যবহার করায় লাস্টারের ব্যর্থতারও একক বিন্দু রয়েছে

লাস্টারটি ব্যর্থতাকে সমর্থন করার জন্য ডিজাইন করা হয়েছে এবং একটি এমডিএস / এমডিটি / ওএসএসে এমন অনেকগুলি ঠিকানা থাকতে পারে যেখানে এটির সাথে যোগাযোগ করা যেতে পারে, হার্টবিটটি পরিষেবাটি চারপাশে স্থানান্তর করতে ব্যবহার করা যেতে পারে।

সচেতন থাকুন যে কয়েকটি সাম্প্রতিক সংস্করণগুলিতে এমন সমস্যা রয়েছে যেখানে আনমাউন্টটি কাজ করে বলে মনে হচ্ছে তবে ডিস্কের ফ্লাইটে এখনও ডেটা রয়েছে, তবে দ্বিগুণ মাউন্ট সুরক্ষাটি সহায়তা করা উচিত ছিল (আকর্ষণীয় সমস্যাগুলি বাদ দিয়েছিল) ....

Answer 11

আমি আপনাকে মজএফএস ব্যবহার করার পরামর্শ দিচ্ছি (ফল্ট-সহনশীল, স্কেলিং আউট, নেটওয়ার্ক বিতরণ করা ফাইল সিস্টেম)। এটি পসিক্স অনুগত এবং ১. release প্রকাশের পর থেকে মুজফেস একটি সাধারণ, এনএফএস-জাতীয়, প্রমাণীকরণ / অনুমোদনের প্রস্তাব দেয়। আরও দেখুন হার্ডওয়্যার প্রয়োজনীয়তা ।