2 টি লিনাক্স সার্ভারের মধ্যে মাল্টি থ্রেডেড ফাইল সিঙ্ক

9

এই মুহুর্তে আমি মোট 250 গিগাবাইটের ২.২ মিলিয়ন ফাইলের জন্য আরএসআইএনসি চালাচ্ছি এবং এটি 6 বয়সের মধ্যে বয়স্কদের 700 কে ফাইল নেয়।

কেউ কি আরএসসিএনসি-এর মতো সরঞ্জাম জানেন যা একাধিক থ্রেডের সাহায্যে এটি করতে পারে যাতে এটি আরও দ্রুত যায়?

linux rsync

— টম ভ্যান ওমেন
সূত্র

3

এটি কোনও উপায়ে সিপিইউ-আবদ্ধ বলে মনে করার কোনও কারণ আছে কি?

— চপার 3

আপনি কী আরএসএনসি বিকল্প ব্যবহার করছেন?

— কাইল স্মিথ

আপনি কি পরিবহন হিসাবে ssh ব্যবহার করছেন?

— জিমবি

rsync -avSPp এবং কোনও সিপিইউ বা ডিস্ক সমস্যা নেই।

— টম ভ্যান ওমেন

এবং কোনও এসএসএইচ পরিবহন ওয়েবে কিছু দেখেনি যে এটি দ্রুততর কিনা তা জানতে পারে না। এটি ইতিমধ্যে সমস্ত ফাইল সূচী করতে যুগে সময় নেয়।

— টম ভ্যান ওমেন

7

আমি সন্দেহ করি সিপিইউ এখানে সীমাবদ্ধ ফ্যাক্টর। আপনি সম্ভবত স্থানান্তরটির জন্য উভয় নেটওয়ার্ক ব্যান্ডউইদথ এবং ডিস্ক আইও দ্বারা সীমাবদ্ধ; বিশেষত সমস্ত স্ট্যাট কলের জন্য বিলম্ব।

সমান্তরালভাবে প্রক্রিয়া করার জন্য আপনি কি ফাইল সিস্টেমের স্তরক্রমকে ছোট অংশগুলিতে ভেঙে ফেলতে পারেন?

উত্স ফাইলগুলি কী এবং সেগুলি কী লিখছে বা তাদের সংশোধন করছে? অ্যাপ্লিকেশন স্তরে যেমন ঘটেছিল তেমন পরিবর্তনগুলি পাঠানো কি সম্ভব হবে?

— JimB
সূত্র

জারাফা সংযুক্তি ফাইলগুলি সিঙ্ক করা হচ্ছে, সমস্ত ডিফল্টরূপে জিজেপ করা হয়েছে। আমি একাধিক উদাহরণ চালাতে পারি তবে 10 থ্রেডের চেয়ে কম দক্ষ efficient এবং নেটওয়ার্কটি 1 গিগাবাইট থেকে 1 গিগাবাইটের মধ্যে আলাদা আলাদা ডেটাসেন্টার তবে এটি কোনও সমস্যা হওয়া উচিত নয়। সোর্স সাইডে 24 এসএএস ডিস্ক এবং গন্তব্যটিতে এসএসডি সহ বুদ্ধিমান স্টোরেজ পেয়েছে।

— টম ভ্যান ওমেন

1

@ টম ভ্যান ওমেন - আপনি কী ভাবেন যে আপনি সিপিইউ সীমাবদ্ধ? আপনি যদি সত্যিই সিপিইউতে সীমাবদ্ধ থাকেন তবে থ্রেডগুলির চেয়ে একাধিক প্রক্রিয়া কীভাবে কম দক্ষ?

— জিমবি

1

@ টম ভ্যান ওমেন, 10 টি প্রসেসের 10 টি থ্রেডের চেয়ে বেশি ওভারহেড রয়েছে; যাইহোক, থ্রেডগুলির মধ্যে ডেটা স্ট্রাকচার লক করা একটি কোডিং দুঃস্বপ্ন। এটি প্রায়শই অনেক বেশি দক্ষ (কোডারের সময়ের জন্য) কেবল একাধিক প্রক্রিয়া চালিত করে এবং এটি দিয়ে সম্পন্ন করা হয়

— মাইক পেনিংটন

1

@ গুয়াকামোলে - একাধিক থ্রেড কিছু পরিস্থিতিতে সহায়তা করতে পারে তবে তার লিঙ্কটি যদি স্যাচুরেটেড হয় তবে তার যতটা থ্রেড থাকুক না কেন সে আর কোনও চাপ দেবে না। Rsync একত্রিত হয়ে থ্রেড ব্যবহার করে এবং অভ্যন্তরীণভাবে আইওতে ব্লক করে না।

— জিমবি

1

@ গুয়াকামোল - আমি কেবল উল্লেখ করছি যে সে যদি এসএসএসকে পরিবহণ হিসাবে ব্যবহার করে তবে তার থ্রুটপুটটি এসএসএসের মাধ্যমেই সীমাবদ্ধ থাকবে (বিশেষত স্ট্যাটিক প্রাপ্ত উইন্ডো, যদি না তিনি এইচপিএন এসএস প্যাচ ব্যবহার করেন)।

— জিমবি

1

যদি গ্রহনকারী সার্ভারের ডিস্ক সাবসিস্টেমটি একাধিক ডিস্ক সহ একটি অ্যারে হয়, একাধিক আরএসসিএনসি প্রক্রিয়া চালানো কার্যকারিতা উন্নত করতে পারে। আমি কোনও গিগাবিট ইথারনেটকে পূরণ করার জন্য একটি এনএফএস সার্ভারে (রেইড 6 প্রতি ডিস্কে 6 টি ডিস্ক সহ) ফাইলগুলি অনুলিপি করতে 3 আরএসসিএনসি প্রক্রিয়া চালিয়ে যাচ্ছি।

এই লোকটি একটি বেসিক পাইথন জোতা সম্পর্কে প্রতিবেদন করে যা একাধিক আরএসএনসি প্রক্রিয়া তৈরি করে http://www.reliam.com/company/featured_geek

— sinysee
সূত্র

দুর্ভাগ্যক্রমে, লিঙ্কটি মারা গেছে। আপনি এটি আবার খুঁজে পেতে পারেন?

— P.Péter

1

আমি এর অনুরূপ অনেক প্রশ্ন পড়েছি। আমি মনে করি একমাত্র আসল উত্তর হ'ল অনুলিপিটি ম্যানুয়ালি বিচ্ছিন্ন করা। আইওএসগুলি এখানে সমস্যা হবে be যদি এটি আপনাকে আরও ভাল বোধ করে, আমি 100TB ডিস্কের চেয়ে বেশি পরিমাণ গ্রাসকারী 200 ডলার মিলিয়ন ফাইলগুলি সরাতে চলেছি।

— ওয়েন
সূত্র

0

আপনি লিনাক্সের জন্য মাল্টিথ্রেডেড সিপি ক্লোন পরীক্ষা করার বিষয়ে বিবেচনা করতে পারেন (মুক্ত উত্স): http://static.usenix.org/event/lisa10/tech/slides/kolano.pdf

— বচন
সূত্র

যতক্ষণ এই তাত্ত্বিক প্রশ্নের উত্তর হতে পারে, এটা বাঞ্ছনীয় হবে উত্তর অপরিহার্য অংশের এখানে অন্তর্ভুক্ত করা, এবং রেফারেন্স এর জন্য লিঙ্ক প্রদান।

— স্কট প্যাক