আরএসএনসি-র কার্য সম্পাদন এবং থ্রুপুট - সরাসরি সংযুক্ত গিগাবিট সার্ভার


27

আমার দুটি ডেল আর 515 সার্ভার সেন্টোস 6.5 চালাচ্ছে, প্রতিটি ব্রডকম এনআইসি-র সাথে অন্যের সাথে সরাসরি সংযুক্ত রয়েছে। আমি এসএসএসের মাধ্যমে আরএসইএনসি ব্যবহার করে প্রতি রাতে জোড়ায় মূল সার্ভার থেকে মাধ্যমিক পর্যন্ত ব্যাকআপগুলি ধাকানোর জন্য সরাসরি লিঙ্কটি ব্যবহার করি। ট্র্যাফিক পর্যবেক্ষণ করে, আমি M 2 এমবিপিএসের থ্রুপুট দেখতে পাচ্ছি, যা গিগাবিট বন্দর থেকে প্রত্যাশার চেয়ে অনেক কম। আমি উভয় পক্ষেই এমটিইউ 9000 সেট করে রেখেছি, তবে তাতে কোনও পরিবর্তন হবে বলে মনে হয় না।

সেটিংস এবং অপ্টিমাইজেশনের একটি প্রস্তাবিত সেট রয়েছে যা আমাকে সর্বোচ্চ উপলব্ধ থ্রুপুটটিতে নিয়ে যাবে? অধিকন্তু, যেহেতু আমি কয়েক মিলিয়ন ফাইল (files 6Tb ছোট ফাইল - একটি বিশাল জিমব্রা মেলস্টোর) অনুলিপি করতে ssh (বা সম্ভাব্য মাত্র NFS) এর উপর আরএসসিএনসি ব্যবহার করছি, তাই আমি যে অপটিমাইজেশন খুঁজছি তা আমার বিশেষ ব্যবহারের ক্ষেত্রে আরও নির্দিষ্ট হওয়া দরকার ।

আমি উভয় পক্ষের ext4 ব্যবহার করছি, যদি এটি গুরুত্বপূর্ণ হয়

ধন্যবাদ

সম্পাদনা: আমি rsyncবেশিরভাগ অনুরূপ ফলাফল সহ নিম্নলিখিত বিকল্পগুলি ব্যবহার করেছি :

rsync -rtvu --delete source_folder/ destination_folder/

rsync -avHK --delete --backup --backup-dir=$BACKUPDIR source_folder/ destination_folder/

বর্তমানে, cpকোনও এনএফএস রফতানি করার সময়, একই সরাসরি কেবল লিংকের উপর দিয়ে একই স্তরের খারাপ পারফরম্যান্সের দিকে লক্ষ্য করছি ।

EDIT2: সিঙ্কটি শেষ করার পরে, আমি চালাতে পেরেছিলাম iperfএবং পারফরম্যান্সটি প্রায় 990 মেগাবাইট / সেকেন্ডের মতো ছিল, আস্তে ব্যবহারের প্রকৃত ডেটাসেটের কারণে ছিল।


1
আপনার ট্যাগগুলিতে আপনার আরএসইএনসি যুক্ত করা উচিত। আপনি কি RSSync এর তালিকা অংশের জন্য সময় পরীক্ষা করেছেন? কম থ্রুপুট ছোট ফাইলগুলির কারণে হতে পারে। বিকল্পগুলি পরীক্ষা করতে আপনি কি আপনার rsync কমান্ড পোস্ট করতে পারেন?
ক্রান্টেগ

@ ক্রেন্টেগ দয়া করে সম্পাদনা দেখুন
dyasny

2
এর সাথে সংযোগটি যাচাই করুন iperf
ew white

হ্যাঁ, আইপিএফ 991 এমবিট / এস দেখায়, আমি অনুমান করি যে এটি এতটা ধীর ছিল যে ডেটাসেট
ডায়াসনি

আপনার কাছে আরএসআইএনসি সহ ভাল থ্রোপপুট এবং ছোট ফাইলগুলির সাথে একটি ডেটাসেট থাকতে পারে না। আপনার অবশ্যই টার চেষ্টা করা উচিত
ক্রান্তেগ

উত্তর:


24

ফাইল গণনা এবং এসএসএইচ এনক্রিপশন ওভারহেড সম্ভবত সবচেয়ে বড় বাধা। আপনি এই জাতীয় স্থানান্তরটিতে তারের গতি দেখতে যাচ্ছেন না।

উন্নতির বিকল্পগুলির মধ্যে রয়েছে:

  • কম ব্যয়বহুল এনক্রিপশন অ্যালগরিদম (উদাহরণস্বরূপ -e "ssh -c arcfour") সহ rsync + SSH ব্যবহার করা
  • এইচপিএন-এসএসএইচের মতো কিছু সহ এসএসএইচ ট্রান্সপোর্টের পুরোপুরি এনক্রিপশন দূর করা ।
  • ব্লক-ভিত্তিক স্থানান্তর। স্ন্যাপশট, dd, ZFS স্ন্যাপশট পাঠান / গ্রহণ , ইত্যাদি
  • এটি যদি এককালীন বা বিরল স্থানান্তর হয় , নেটকাটtar ( nc), এমফুফার বা কিছু সংমিশ্রণ ব্যবহার করে।
  • আপনার CentOS tuned-admসেটিংস পরীক্ষা করুন ।
  • আপনার ফাইল সিস্টেমটি মাউন্টগুলি থেকে এটাইম সরিয়ে ফেলা হচ্ছে। অন্যান্য ফাইল-সিস্টেম মাউন্ট বিকল্পগুলি পরীক্ষা করা।
  • এনআইসি বাফারগুলি প্রেরণ / গ্রহণ করে।
  • আপনার rsyncকমান্ড টিউন করা । -Wপুরো ফাইল বিকল্পটি কি এখানে বোঝা যাবে? সংক্ষেপণ সক্ষম?
  • স্থানান্তর প্রকারের জন্য আপনার স্টোরেজ সাবসিস্টেমটি অনুকূলিত করুন (এসএসডি, স্পিন্ডাল-কাউন্টি, RAID নিয়ামক ক্যাশে))

আমি এনএফএসের জন্য এসএসএইচ ফেলেছি, প্রায় একই ফলাফল দেখে। ব্লক ভিত্তিক স্থানান্তর হ'ল আমি যা পরিকল্পনা করছি, এলভিএম স্ন্যাপশট ভিত্তিক ব্যাকআপগুলিতে স্যুইচ করুন এবং দ্বিতীয় সার্ভারে ব্যাকআপগুলি ডিডি করুন, যেখানে আমি ছাড়ের জন্য জেডএফএস চালিয়ে যাব। এটাইম উভয় পক্ষেই অক্ষম। কোনও সংকোচনের ব্যবহার হয় না। এই ধরণের স্থানান্তরের জন্য আমি কীভাবে স্টোরেজ সাবসিটিকে অনুকূল করব? উত্সটিতে 12x 10 কে এসএএস ড্রাইভের ওপরে দুটি RAID10 রয়েছে, একটি লোকাল ড্রাইভে, অন্যটি MD1220। ব্যাকআপ সার্ভারে একই ডিস্কের গণনা রয়েছে তবে বৃহত্তর SATA ড্রাইভ রয়েছে এবং RAID5 ব্যবহার করে। উভয় পক্ষের সম্পূর্ণ ক্যাশে H800 এবং H700 নিয়ন্ত্রক। 2 এমবিপিএস (আইফটপ থেকে) ~
ডায়াসনি

me আমাকে ভাবতে বাধ্য করে যে যাইহোক নেটওয়ার্কিং এখানে বাধা।
dyasny

@dyasny iperfনিশ্চিত হওয়ার জন্য আপনার নেটওয়ার্কটি পরীক্ষা করুন ।
ew white


1
নিশ্চিত করুন গন্তব্য ডিরেক্টরি কাঠামোটি দ্বারা তৈরি হয়েছিল rsyncএবং দ্বারা তৈরি করা হয়নি cp। আমি দেখেছি rsyncনিতে অনেক আর মূলত দ্বারা নির্মিত একটি দূরবর্তী ডিরেক্টরি ট্রি আপডেট করার জন্য cp: 88GB পরিবর্তে 1h26m 3H মধ্যে checksumming সঙ্গে আপডেট! আপনি কীভাবে প্রাথমিক ডিস্ক লেআউটটি তৈরি করেন তা ভাল আপডেটের পারফরম্যান্স পাওয়ার জন্য গুরুত্বপূর্ণ। সিপিইউ সময় একই; আসল সময় দ্বিগুণ করতে পারে (চেকউমিং ছাড়াই একই আপডেটটি এসএসডি থেকে 200 গিগাবাইট সীগেটে 13 মিনিটে চলে)
ইয়ান ডি অ্যালেন

3

আপনি সম্ভবত জানেন যে অনেক ছোট ফাইল অনুলিপি করা (যেমন মেলডির ফর্ম্যাট বা অনুরূপ মেইলবক্সগুলি) উচ্চ ব্যান্ডউইথ ইন্টারফেসের সুবিধা গ্রহণ করার পক্ষে সেরা বিকল্প নয়। এসএসএইচ সম্ভবত এটির জন্য সেরা ট্রান্সপোর্ট প্রোটোকল নয়। আমি মাধ্যমিক হোস্টকে আপনাকে প্রেরণের আগে উত্স হোস্টে টার্বল তৈরির জন্য টার ব্যবহার করার চেষ্টা করব।

tar c /var/mail | ssh root@secondary-host 'tar x -C /var/backups'

আপনার যদি বর্ধিত ব্যাকআপের প্রয়োজন হয় তবে আপনি টারের -gবিকল্পগুলি চেষ্টা করতে চাইতে পারেন । আপনার যদি এখনও থ্রুটপুট সর্বাধিক করতে হয় তবে ssh এর পরিবর্তে নেটক্যাট ব্যবহার করার চেষ্টা করুন।


এনক্রিপশন ওভারহেড অপসারণ করতে, আমি কোনও
এসএসএইচের পরিবর্তে এনএফএসে চলে এসেছি

আপনি কি টার ব্যবহার করার চেষ্টা করেছেন? প্রথম সার্ভার হিসাবে প্রাথমিক সার্ভারে একটি স্থানীয় টারবাল তৈরি করার চেষ্টা করা যেতে পারে এবং তারপরে এটি স্থানান্তরিত হতে পারে। (বা আপনার নেটওয়ার্কটি @Wewite স্যুগজেটেডের মতো আইপিপিআর দিয়ে পরীক্ষা করুন)
alxgomz

আমি, যদি আমার কাছে স্থানীয় জায়গার অবকাশ থাকে। এটি পুরোপুরি জনবহুল DAS বাক্স সহ
ডায়াসনি


আমি পরে উপর ভিত্তি করে ব্যাকআপ ব্লক স্যুইচ করা হবে, এবং আমি নল মনস্থ ddমাধ্যমে ncতারপর। তবে এখনই, আমি দুটি বিশাল ব্যাকআপ নিয়ে আটকে আছি তারপর মূল হোস্ট থেকে সরিয়ে নেওয়া দরকার, তাই আমি সেখানে একটি
এলভিএম

1

অবদানকারী কারণগুলি ছড়িয়ে দেওয়ার চেষ্টা করুন:

  • সিপিইউ (যেমন লুপব্যাকের মাধ্যমে ডিভ / ডি / শূন্য পাইপযুক্ত)
  • ডিস্ক ইনপুট / আউটপুট (ক এর উদাঃ DD বৃহৎ ফাইল বিড়াল জন্য বাঁশি বাজালাম>, / dev / নাল [শর্ট-সার্কিট প্রতিরোধ পাইপ])
  • শারীরিক নেটওয়ার্ক I / O (যেমন ডিডি অন্য মেশিনে পাইপ করা হয়েছে)
  • প্রভৃতি

এবং স্বাধীনভাবে তাদের পরীক্ষা।

ব্রডকম ড্রাইভারদের সাথে আমার কিছু খারাপ অভিজ্ঞতা হয়েছে, তাই আমার প্রথম পরামর্শটি ব্যবহারযোগ্য নেটওয়ার্ক ব্যান্ডউইথথটি দিয়ে পরীক্ষা করা: dd if=/dev/zero bs=1m count=10k | rsh backup_host cat \> /dev/null


অথবা iperf ...
ewwhite
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.