ডেটাসেন্টারগুলির মধ্যে ভাগ করুন / হোম


15

আমার দুটি সার্ভার রয়েছে, হল্যান্ড এবং ফ্রান্সে ডেটাসেন্টার স্থাপন করা হয়েছে। দুজনেই চলছে দেবিয়ান হুইজি। ভাল পারফরম্যান্স সহ আমার তাদের / তাদের মাঝে ভাগ করে নেওয়া উচিত। সার্ভারগুলিতে 300-ব্যবহারকারীর ব্যবহারকারী রয়েছে, তাদের মধ্যে প্রায় 30 টি নির্দিষ্ট সময়ে একটি নির্দিষ্ট সার্ভারে সক্রিয় প্রক্রিয়া করতে সক্ষম হওয়া উচিত, যার প্রত্যেকটিতে 50 কেবিট পড়ে এবং 20 কেবিট লিখে / সেকেন্ডে, প্রায় 2000 কেবিট / এর পড়া। স্থানীয় স্টোরেজে আইওটপ সহ ব্যবস্থা নেওয়া। আমার কাছে মোট ছোট ছোট 500,000 ফাইল রয়েছে এবং যতটা সম্ভব কম বিলম্ব হওয়া দরকার। সার্ভারের মধ্যে পিং 17 এমএস হয় এবং স্কিপ এবং উইজেট ব্যবহার করার সময় সংযোগটি প্রায় 20-30 এমবি / সেকেন্ডে পৌঁছতে সক্ষম হয়। মনে হচ্ছে এটি খুব কাজের জন্য প্রচুর পরিমাণে ব্যান্ডউইথ পাওয়া উচিত, তবে ...

আমি এ পর্যন্ত যা ট্রু করেছি: এসএসএফএস: এনএফএস এর চেয়ে ভাল পারফরম্যান্স ছিল বলে মনে হয়েছিল তবে এটি অ্যাপ্লিকেশন ক্র্যাশ করে, ফাইলগুলির অনুমতিগুলি এলোমেলোভাবে পরিবর্তিত করেছিল।

এনএফএস: ধীরে ধীরে চলার উপায়, ন্যাটিটাইমকে অন্যান্য বিকল্পগুলির একগুচ্ছ চেষ্টা করে, তবে এটি কেবল অল্প কিছু প্রক্রিয়া সক্রিয় থাকা সত্ত্বেও এটি অলস অভিনয় করে।

drbd: 5 ঘন্টা ডেড-এন্ড কাজ, যখন আমি বুঝতে পারি যে আমি আসলে উভয় সিস্টেমে ফাইল সিস্টেমটি মাউন্ট করতে পারি না :-(

গ্লাস্টারফস: সমস্ত ডেটার স্থানীয় কপিটি সত্যই আশাব্যঞ্জক মনে হলেও এলোমেলো ফাইল অ্যাক্সেসটি খুব ধীর এবং কিছুক্ষণ চলার পরে এটি অবিশ্বাস্য ধীর হয়ে যায় এবং প্রায় স্তব্ধ হয়ে যায়। noatime সাহায্য করে না।

এনএফএস আবার: এখনও আলস্য।

কীবোর্ডে কাঁদছেন: মোটেই কোনও উন্নতি হচ্ছে না।

এরপরে কী চেষ্টা করব? প্রতিটি ব্যর্থ পরীক্ষাগুলি গত সপ্তাহে একটি সন্ধ্যা বা আরও বেশি সময় নিয়েছে এবং আমি পরবর্তী পদ্ধতিতে কাজ করতে চাই। এবং হ্যাঁ, উভয় সার্ভারের মধ্যেই ফাইল সিস্টেমগুলি ভাগ করে নেওয়া অত্যন্ত গুরুত্বপূর্ণ।

এই সমস্যা সম্পর্কে নতুন ধারণা জন্য ধন্যবাদ।


6
"কীবোর্ডে কাঁদছে: কোনও উন্নতি হচ্ছে না" " ঠিক আছে, এটি আমার কাছ থেকে একটি +1 পায়।
ceejayoz

আপনি সম্ভবত glusterfs, বা ceph চাইবেন। একটি বিতরণ ফাইল সিস্টেম। এছাড়াও, আপনি একাধিকবার ড্রবডি মাউন্ট করতে পারেন তবে কেবল একটি পঠন-লিখন এবং এটি কোনওভাবেই একটি ভীতিজনক খারাপ ধারণা।
সিরেক্স

আমি গ্লাস্টারফ চেষ্টা করেছি এবং এটি বড় ফাইলগুলির সাথে দুর্দান্ত কাজ করার সময়, ছোট ফাইলগুলি পড়তে বা লেখার সময় এটি খুব ধীর হয়ে যায়। এটি গ্লাস্টারফগুলির সাথে একটি সাধারণ সমস্যা বলে মনে হচ্ছে এবং আমি এটির জন্য ঠিক করতে সক্ষম হইনি। আমি Ceph দেখুন। আপনি নিজে চেষ্টা করে দেখেছেন?
ব্যবহারকারী 3850506

3
একই ব্লক ডিভাইস এবং ফাইল সিস্টেমকে মাউন্ট করা, এমনকি অন্য সিস্টেমের আরও খারাপ জুজু হয় যদি না ফাইলসাইটি ড্রাইভারটি ব্যাকিং ব্লক ডিভাইসটি যে কোনও সময় নির্বিচারে পরিবর্তন করতে না পারে। ব্লক ডিভাইসটি ইনোড ক্যাশে পরিবর্তন ও সম্পূর্ণরূপে অকার্যকর করতে পারে এবং ভিএফএস খুশি হয়ে এমন ডেটা পড়বে যা আপনি ভাবেননি। জিএফএস 2 এবং ভেরিটাসের মতো ভাগ করা ডিস্ক সচেতন ফাইল সিস্টেমগুলি ডিআরবিডি বা কোনও এসএএন-জাতীয় ডিস্কে এটি করতে পারে। আপনার ছোট ফাইলের পারফরম্যান্স যদিও গ্রহণযোগ্য হবে তা আমি নিশ্চিতভাবে বলতে পারি না।
অ্যান্ড্রু ডোমাসেক

1
মার্স সম্পর্কে কীভাবে: schoebel.github.io/mars youtube.com/watch?v=WWXOQJ6XiVI
অ্যান্ড্রু

উত্তর:


2

এর জন্য কয়েকটি সম্ভাব্য সমাধান রয়েছে:

  1. আপনি ডিআরবিডি (অথবা উপরে বর্ণিত মার্স) এর মতো প্রতিলিপিযুক্ত ব্লক স্টোরেজটিতে যেতে পারেন, তবে আপনাকে ব্লক স্টোরেজের শীর্ষে একটি ক্লাস্টার ফাইল সিস্টেম সেটআপ করতে হবে। এই জাতীয় ফাইল সিস্টেমগুলি জিএফএস 2 বা ওসিএফএস 2 হতে পারে যা উভয়ই ডেবিয়ান কার্নেল আফাইক হিসাবে উপলব্ধ। ডিআরবিডি প্রাথমিক / প্রাথমিক পরিচালনা করতে পারে এবং আপনি এটি একই সাথে উভয় সার্ভারে মাউন্ট করতে পারেন। আপনি যদি কোনও স্ট্যান্ডার্ড ফাইল সিস্টেমের সাহায্যে এটি করেন তবে একটি সার্ভার অন্যটির সম্পর্কে জানে না এবং আপনি কয়েক সেকেন্ডের মধ্যে আপনার ফাইল সিস্টেমটি ধ্বংস করে দেবেন। উপরে একটি ক্লাস্টার ফাইল সিস্টেম যোগাযোগ এবং লকিং পরিচালনা করবে যাতে উভয় নোড একই ব্লকে লিখতে পারে।

  2. / বাড়ির জন্য একটি বিতরণ ফাইল সিস্টেম ব্যবহার করুন। আপনি এই জাতীয় ফাইল সিস্টেমের একটি তালিকা http://en.wikedia.org/wiki/Compistance_of_distributes_file_s সিস্টেমে পাবেন । তবে সাবধান থাকুন এবং বুদ্ধিমানের সাথে নির্বাচন করুন choose তারা সকলেই যাদু করতে পারে না এবং সবার ত্রুটি রয়েছে। গ্লাস্টার এমন একটি ফাইল সিস্টেম। কিছু সিস্টেমের জন্য আপনার কেবল দুটি নোডের বেশি থাকতে পারে।

  3. যদি এটি রিয়েল টাইমে প্রতিলিপি করতে হয় না এবং প্রায় রিয়েলটাইম ফাইল সিঙ্ক যথেষ্ট হয়, তবে বিটটোরেন্ট সিঙ্ক ( http://www.getsync.com/ ), ড্রপবক্স বা বিকল্পগুলি দেখুন। প্রতিটি সার্ভারের নিজস্ব / হোম রয়েছে তবে ফাইলের ভিত্তিতে অন্যান্য সার্ভারে পরিবর্তনগুলি প্রতিলিপি করা হয়।


1
rsync ftw 123456
dmourati
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.