ক্লাউড কম্পিউটিংয়ের ব্যাকএন্ড হিসাবে কোন বিতরণকারী ফাইল সিস্টেম?

Question

আমার উবুন্টু সার্ভারে (9.04) এবং ইউক্যালিপটাসে একটি মৌলিক মেঘ চলছে। ওয়ালরাস (ইউক্যালিপটাসের 'এপিআই কমপিটেবল এস 3 বাস্তবায়ন) ক্লাউড নিয়ামক দ্বারা ফাইলগুলি সঞ্চয় করে। তবে অন্য 4 টি সার্ভারের প্রতিটিতে 1 টিবি স্টোরেজ রয়েছে যা মূলত অব্যবহৃত। সমস্ত উপলব্ধ সংস্থান ব্যবহার করার জন্য আমি সমস্ত স্টোরেজ একসাথে পুল করার একটি উপায় খুঁজছি। আমি পিভিএফএস, লাস্টার, এইচডিএফএস (হ্যাডোপ) সহ বিভিন্ন বিকল্পের প্রতি ঝুঁকছি।

আমার একমাত্র প্রয়োজনীয়তা এটি হ'ল এটি পরিমাপযোগ্য হয় এবং এটি উবুন্টুতে ভাল চলে। আমি এই জাতীয় প্রযুক্তিগুলির সাথে অভিজ্ঞতা আছে এমন কারও কাছ থেকে শ্রবণের প্রশংসা করব এবং আমি আপনার পরামর্শগুলি শোনার জন্য অপেক্ষা করি।

Comments

উবুন্টু হওয়ার দরকার না থাকলে আমি জেডএফএস বলব।

— ব্র্যাড গিলবার্ট

জেডএফএস ব্যতীত একটি ক্লাস্টার্ড ফাইল সিস্টেম নয়।

— মার্কআর

Answer 1

যদিও আমি ব্যক্তিগতভাবে এটি আমাদের সিস্টেমে কোথাও প্রয়োগ করি নি, আমি গ্লাস্টারের দিকে বেশ বিস্তৃতভাবে দেখেছি । আমি কয়েকটি বড় সাইটের কয়েকটি লোককে জানি যা এটি ব্যবহার করে এবং এটি দৃশ্যত সত্যই ভাল কাজ করে। তারা কিছু ভারী শুল্ক এইচপিসি অ্যাপ্লিকেশনগুলির জন্য এটি উত্পাদনে ব্যবহার করে।

Answer 2

গ্লাস্টারএফস আমার কাছে আদর্শ সমাধান বলে মনে হবে। যে লোকটি দাবি করে যে গ্লাস্টার সেট আপ করতে প্রচুর প্রচেষ্টা নিয়েছে আমি বলতে পারি যে সে সম্ভবত কখনও চেষ্টা করেনি। গ্লাস্টার ৩.২ অনুসারে কনফিগারেশন ইউটিলিটিগুলি দুর্দান্ত দুর্দান্ত এবং নেটওয়ার্কে একটি গ্লাস্টার ভলিউম আপ এবং ভাগ করে নিতে 2 বা 3 কম্যান্ড লাগে takes মাউন্ট গ্লাস্টার ভলিউম সমান সহজ।

প্লাস সাইডে এটি আপনাকে এনএফএসের তুলনায় অনেক বেশি নমনীয়তা দেয়। এটি স্ট্রাইপিং, রিলিকেশন, জিওরপ্লিকেশন করে, অবশ্যই পসিক্স কমপ্লায়েন্ট এবং আরও অনেক কিছু। হেকাএফএস নামে একটি এক্সটেনশন রয়েছে, এটি এসএসএল এবং আরও উন্নত প্রমাণীকরণ প্রক্রিয়া যুক্ত করে, যা সম্ভবত ক্লাউড কম্পিউটিংয়ের জন্য আকর্ষণীয়। এছাড়াও এটি স্কেল! এটি এফ / ওএসএস এবং এটি রেডহ্যাট তৈরি করেছেন যারা সম্প্রতি গ্লাস্টার কিনেছেন।

Answer 3

আপনি কি কখনও মোগিলএফএসের দিকে নজর রেখেছেন? http://danga.com/mogilefs/

এটি প্রচলিত অর্থে কোনও ফাইল সিস্টেম নয়, তবে এটি একটি ক্লাস্টার জুড়ে ফাইল ডেটা বিতরণের জন্য ভাল (প্রতিলিপি এবং রিডানডেন্সি অ্যাকাউন্টে নেওয়া)।

আপনি যদি ওয়েব অ্যাপ্লিকেশনটির জন্য ফাইলগুলি পরিবেশন করেন তবে আপনাকে ফাইলগুলি সরবরাহ করার জন্য কিছু দরকার হবে। আমি এমন একটি পিএইচপি স্ক্রিপ্টের পরামর্শ দেব যা আপনি মোগিল এফএসে চাইলে ফাইলটি অনুসন্ধানের জন্য এইচটিটিপি অনুরোধটিকে অনুসন্ধান কী হিসাবে ব্যবহার করে। তারপরে আপনি ফাইলের বিষয়বস্তুগুলি একটি বাফারে পড়তে পারেন এবং এটি প্রতিধ্বনি / মুদ্রণ করতে পারেন।

মোগিলএফএস ইতিমধ্যে বেশ দ্রুত, তবে আপনি সর্বাধিক ব্যবহৃত ফাইলগুলিতে অ্যাক্সেস গতি বাড়ানোর জন্য মোগলেএফসকে মেমক্যাশের সাথে সংযুক্ত করতে পারেন।

Comments

আমি মনে করি মনে হয় মেটাডেটা নোডের ক্ষেত্রে মোগিলএফএসের ব্যর্থতার একক পয়েন্ট ছিল। এইচডিএফএস একই সমস্যা আছে।

— ডেভিড পাশলে

মোগিলএফএস বেশ আকর্ষণীয় বলে মনে হচ্ছে এবং এটির অনুলিপি এবং রিডানডেনসিটি আদর্শ তবে এটি সাধারণ ব্যবহারের জন্য অসমর্থিত বলে মনে হবে কারণ অ্যাপ্লিকেশনগুলি সচেতন হওয়া দরকার যে তারা এটি চালাচ্ছে। আরও একটি traditionalতিহ্যবাহী ফাইল সিস্টেম যার মাধ্যমে অ্যাপ্লিকেশনগুলি এফএস অজ্ঞোস্টিক হতে পারে এটি আরও উপযুক্ত।

— জন্টি

মোগিলএফএসের বেশ কয়েকটি ট্র্যাকার চলতে পারে এবং আপনার ব্যাকএন্ডে ফেলওভার মাইএসকিএল থাকতে পারে। এইভাবে আপনি ব্যর্থতার সমস্ত একক পয়েন্টগুলি মুছে ফেলতে পারেন।

— ডেভিডশেল্ডন

Answer 4

লাস্টারের সাহায্যে আপনার সার্ভারগুলিতে একটি বিশেষ কার্নেল থাকতে হবে, এবং আমার কাছে কেবল সার্ভারগুলি সার্ভার থাকবে এবং অন্য কিছুই নয়।

আশ্চর্যজনকভাবে সবচেয়ে বুদ্ধিমান উত্তরটি অনেক ভাল এনএফএস হতে হবে। আমরা অ্যামাজনের ক্লাউডে এনএফএস ব্যবহার করেছি। এটি কিছু ফাইল সিস্টেমের পাশাপাশি স্কেল নাও করতে পারে তবে সরলতাটি আমাকে অবহেলা করা উচিত নয়। একটি একক নামের স্থান সম্ভবত এটি কার্যকর করার জন্য কার্যকর হবে না।

Answer 5

আপনি কি এখনও এইচডিএফএসের দিকে তাকাচ্ছেন? ক্লৌডের এক ছেলে এই বছর ভেলোসিটি কনফে একটি বক্তব্য দিয়েছিলেন হ্যাডোপ এবং এইচডিএফএস সম্পর্কে বড় ডেটা ক্লাস্টার পরিচালনার উপর দৃষ্টি নিবদ্ধ রেখে, তাই তিনি এইচডিএফএস সম্পর্কে বেশ কিছুটা কথা বলেছেন। স্লাইডগুলি বেশ তথ্যপূর্ণ। আমি ব্যক্তিগতভাবে এইচডিএফএসের সাথে কাজ করি নি, তবে আমি ভেলোসিটির কিছু এলোমেলো লোকদের সাথে কথা বলেছি যা বিভিন্ন ডেটা বিশ্লেষণ করতে উবুন্টুতে এটি ব্যবহার করছে।

• স্লাইড
• টক তথ্য

Answer 6

ভার্চুয়ালাইজেশন পরিবেশের পিছনে কিছু ভাগ করে নেওয়া ফাইল সিস্টেম স্থাপন করা খুব সাধারণ। আপনি কী অর্জন করছেন তার উপর নির্ভর করে আপনার অনেক পছন্দ আছে have

সবচেয়ে সহজ সমাধানটি সম্ভবত এনএফএস, কারণ আপনি যা যা বিতরণ চালিয়ে যাচ্ছেন এটি দ্বারা এটি স্থানীয়ভাবে সমর্থনযোগ্য। এনএফএস ভার্চুয়ালাইজেশন ব্যাকএন্ড ফাইল সিস্টেমের পাশাপাশি যুক্তিসঙ্গতভাবে পারফরম্যান্স করতে পারে, যদিও এটি সেখানে দ্রুততম জিনিস হতে চলেছে না।

আপনি যদি একটি রেডহ্যাট (বা ডেরিভেটিভ) ক্লাস্টার চালাচ্ছেন তবে জিএফএস 2, রেডহ্যাটের ক্লাস্টার ফাইল সিস্টেমের জন্য আপনার বাইরে আউট-অফ-বক্স সমর্থন থাকবে। এটি কয়েকশো নোড পর্যন্ত স্কেল করে না তবে ছোট ক্লাস্টারের পক্ষে এটি ঠিক।

এর বাইরে, আপনি লাস্টার, গ্লাস্টারফস, জিপিএফএস এবং এর মতো আরও কিছু জিনিসের সীমাতে প্রবেশ করতে শুরু করছেন। এগুলি সমস্ত উচ্চ-পারফরম্যান্স সমান্তরাল ফাইল সিস্টেমগুলি তবে এগুলি এখানে অন্যান্য বিকল্পগুলির তুলনায় যথেষ্ট পরিমাণে কাজ করার প্রয়োজন রয়েছে। আপনার যদি বিশাল পরিবেশ থাকে তবে এগুলি দেখার মতো হতে পারে।

Answer 7

আমি @ আলার্সকের সাথে একমত হই যে এনএফএস সেরা বিকল্প; সম্পন্ন কিছু আইএসসিএসআই লক্ষ্যমাত্রা নির্ধারণ করুন, এনএফএস এটি প্রায় 5-10 নোডে স্কেল হবে; আই / ও, নেটওয়ার্ক ক্ষমতা ইত্যাদির উপর ভিত্তি করে ওয়াইএমএমভি (বিকল্পভাবে, মাল্টিপ্যাথ আই / ও সমর্থন সহ আইএসসিএসআই সেট আপ করুন)।

আপনার যদি প্রায় 20+ নোডের কিছু দরকার হয় তবে আপনি কেফটি তদন্ত করতে চাইতে পারেন । দীপ্তি প্রতিশ্রুতিবদ্ধ এবং স্থিতিশীল, তবে এটি একটি (এফ / ওএসএস) ওরাকল পণ্য এবং ওরাকেলের বিরুদ্ধে আমার ব্যক্তিগত অপছন্দ রয়েছে। :)

সিফও বেশ সক্রিয়; সর্বাধিক সাম্প্রতিক প্রকাশটি ছিল 5 দিন আগে।

Comments

দীপ্তি আর আর তার ছাতার অধীনে নেই। দেখুন whamcloud.com

— utopiabound

Answer 8

XtreemFS আপনার জন্য সমাধান হতে পারে। এটি ইনস্টল এবং কনফিগার করা মোটামুটি সহজ, উবুন্টুর জন্য প্যাকেজ রয়েছে।

Answer 9

মুজএফএস (বিতরণকারী ফাইল সিস্টেম) আপনার প্রয়োজনীয়তার সাথে খাপ খায় । এটি স্কেলযোগ্য এবং উবুন্টুতে ভাল কাজ করে। উবুন্টুতে আনুষ্ঠানিকভাবে সমর্থিত সংগ্রহস্থল থেকে মোজএফএস ইনস্টল / আপডেট করা যায় তা দেখতে আপনার পক্ষে কার্যকর হতে পারে ।

Answer 10

আপনি কী করছেন তা নিশ্চিত নন, তবে এটি কাউচডিবিয়ের জন্য একটি সম্ভাব্য আকর্ষণীয় অ্যাপ্লিকেশন বলে মনে হচ্ছে ।

Answer 11

আপনি পিভিএফএস 2 চেষ্টা করতে পারেন । লাস্টারের চেয়ে সেটআপ করা অনেক সহজ এবং গ্লাস্টারের চেয়ে সাধারণত দ্রুত।

Comments

গ্লাস্টারের চেয়ে দ্রুত? পারফরম্যান্সের আশেপাশে কোনও ডেটা শেয়ার করতে পারবেন?

— জন-জেডএফএস

আমার হাতে সাম্প্রতিক কোনও মানদণ্ড নেই। ২০০৮ সালে, গ্লাস্টার লাস্টারের তুলনায় অনেক ধীর ছিল, যখন পিভিএফএস 2 কেবল সামান্য ধীর ছিল। এটি আজকাল অন্যরকম হতে পারে, সম্ভবত আমি এটিকে বেনমার্ক করব।

— wazoox

ধন্যবাদ, যদি আপনি বেঞ্চমার্ক করেন তবে দয়া করে আমাকে জানান। [e-mail] বা আপনি সার্ভেরফল্টে প্রত্যেকের উপকারের জন্য একটি পোস্ট করতে পারেন

— জন-জেডএফএস