আমার আরএসসিএনসি এত মন্থর কেন?

Question

আমার ল্যাপটপ এবং আমার ওয়ার্কস্টেশন দুটিই একটি গিগাবিট সুইচ-এর সাথে সংযুক্ত। দুজনেই লিনাক্স চালাচ্ছেন। তবে আমি যখন ফাইলগুলি অনুলিপি করি তখন rsyncএটি খারাপভাবে সম্পাদন করে।

আমি প্রায় 22 এমবি / গুলি পাই। আমার কি তাত্ত্বিকভাবে প্রায় 125 এমবি / গুলি পাওয়া উচিত নয়? এখানে সীমিতকরণের কারণ কী?

সম্পাদনা: আমি কিছু পরীক্ষা নিরীক্ষা করেছি।

ল্যাপটপে পারফরম্যান্স লিখুন

ল্যাপটপে পুরো ডিস্ক এনক্রিপশন সহ একটি xfs ফাইল সিস্টেম রয়েছে। এটি aes-cbc-essiv:sha256256 বিট কী দৈর্ঘ্যের সহ সিফার মোড ব্যবহার করে । ডিস্ক রাইটিং পারফরম্যান্স 58.8 এমবি / সে ।

iblue@nerdpol:~$ LANG=C dd if=/dev/zero of=test.img bs=1M count=1024
1073741824 Bytes (1.1 GB) copied, 18.2735 s, 58.8 MB/s

ওয়ার্কস্টেশনে পারফরম্যান্স পড়ুন

আমার অনুলিপি করা ফাইলগুলি একটি সফ্টওয়্যার RAID-5 ওভার 5 টি এইচডি রয়েছে। অভিযানের উপরে একটি এলভিএম থাকে। ভলিউম নিজেই একই সাইফার দ্বারা এনক্রিপ্ট করা হয়। ওয়ার্কস্টেশনটিতে একটি FX-8150 সিপিইউ রয়েছে যা একটি দেশীয় এইএস-এনআই নির্দেশিকা সেট রয়েছে যা এনক্রিপশনের গতি বাড়ায়। ডিস্ক পড়ার পারফরম্যান্সটি 256 এমবি / সেকেন্ড (ক্যাশে ঠান্ডা ছিল)।

iblue@raven:/mnt/bytemachine/imgs$ dd if=backup-1333796266.tar.bz2 of=/dev/null bs=1M
10213172008 bytes (10 GB) copied, 39.8882 s, 256 MB/s

নেটওয়ার্ক কর্মক্ষমতা

আমি দুই ক্লায়েন্টের মধ্যে ইপিআরপি চালিয়েছি। নেটওয়ার্কের পারফরম্যান্সটি 939 এমবিট / সে

iblue@raven $ iperf -c 94.135.XXX
------------------------------------------------------------
Client connecting to 94.135.XXX, TCP port 5001
TCP window size: 23.2 KByte (default)
------------------------------------------------------------
[  3] local 94.135.XXX port 59385 connected with 94.135.YYY port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  1.09 GBytes   939 Mbits/sec

Comments

RSSync: // প্রোটোকল বা এসএসএইচ দিয়ে টানেলিং? সেখানে আধুনিক খুব নির্দিষ্ট কর্মক্ষমতা সীমাবদ্ধতার এর ¹ ।

— প্রশংসাপত্র

Answer 1

উচ্চ সিপিইউ ব্যবহার প্রশমিত করার জন্য কিন্তু আরএসসিএন এর কার্যকারিতাটি বজায় রাখার আর একটি উপায়, আরএসসিএনএস / এসএসএইচ থেকে আরএসআইএনসি / এনএফএসে স্থানান্তরিত করা। আপনি এনএফএসের মাধ্যমে অনুলিপি করতে চান এমন পাথগুলি রফতানি করতে পারেন এবং তারপরে স্থানীয়ভাবে এনএফএস মাউন্ট থেকে আপনার গন্তব্যস্থলে rsync ব্যবহার করতে পারেন।

ডাব্লুডি মাইবুক লাইভ নেটওয়ার্ক ডিস্কের একটি পরীক্ষায়, 2 গিগাবাইট ইউএসবি ডিস্কের জন্য একটি গিগাবিট নেটওয়ার্কে এনএএস থেকে এক বা একাধিক আরএসএনসিএস রফতানির পরে 10MB / সেকেন্ডের বেশি (সিপিইউ: 80% usr, 20% sys) অনুলিপি করে না এনএফএস এবং স্থানীয়ভাবে এনএসএফ থেকে দুটি ডিস্কে এনএসএফ শেয়ার করে আমি মোট ৪৫ এমবি / সেকেন্ড (উভয় ইউএসবি 2 ডিস্কই বাড়িয়ে তুলি) এবং সামান্য সিপিইউ ব্যবহার করেছি। আরএসসিএনএস / এসএসএইচ ব্যবহার করার সময় ডিস্কের ব্যবহার প্রায় 6% ছিল এবং আরএসসিএন / এনএফএস ব্যবহার করা 24% এর কাছাকাছি ছিল, যখন উভয় ইউএসবি 2 ডিস্ক যেখানে 100% এর কাছাকাছি ছিল।

সুতরাং আমরা কার্যকরভাবে NAS সিপিইউ থেকে উভয় ইউএসবি 2 ডিস্কে বাধাটি সরিয়ে নিয়েছি।

Comments

সতর্ক হোন, যদিও, এনএফএস কোনও সুরক্ষা দেয় না (যেমন: এনক্রিপশন)।

— নটহাগো

এটি দুর্দান্ত কাজ করেছে! আমি যখন প্রায় কেবল ~ 100 এমবি / সেকেন্ড পাচ্ছিলাম তখন এখন প্রায় সম্পূর্ণ গিগাবিট গতি পাচ্ছি।

— পিএলএইচএলকে

আপনি কীভাবে আরএসআইএনসি / এনএফএস ব্যবহার করবেন তা উল্লেখ করতে পারেন? আমি 2 টি মাইক্লাউড ড্রাইভের মধ্যে 8 টিবি স্থানান্তর করার চেষ্টা করছি এবং এটি এসএসআই (4 এমবি / সেকেন্ড) এর সাথে আরএসসিএন দিয়ে চিরকালের জন্য নেয়

— FMaz008

Answer 2

কারণগুলির মধ্যে অন্তর্ভুক্ত থাকতে পারে: সংক্ষেপণ, এনক্রিপশন, অনুলিপি করা ফাইলগুলির সংখ্যা এবং আকার, আপনার উত্স এবং গন্তব্য সিস্টেমের ডিস্ক আই / ও ক্ষমতা, টিসিপি ওভারহেড ... এই সমস্ত কারণ যা আপনার সঞ্চালনের স্থানটি প্রভাবিত করতে পারে।

আপনি যে আরএসএনসি কমান্ডটি ব্যবহার করছেন তা পোস্ট করুন এবং উভয় কম্পিউটারের স্পেসিফিকেশন সম্পর্কে বিশদ সরবরাহ করুন।

---

সম্পাদনা করুন: এনক্রিপশন প্রায়শই আরএসআইএনসি গতির একটি সীমাবদ্ধ ফ্যাক্টর। আপনি ssh এবং হালকা ওজন এনক্রিপশন সাইফার মত চালাতে পারেনarcfour

কিছুটা এইরকম: rsync -e "ssh -c arcfour"

অথবা আপনি এমন একটি সংশোধিত rsync / ssh ব্যবহার করতে পারেন যা এনক্রিপশন অক্ষম করতে পারে। এইচপিএন-এসএসএস দেখুন: http://psc.edu/ নেটওয়ার্কিং / প্রকল্পগুলি / hpn-ssh

তবে আবারও, আপনার ওয়ার্কস্টেশনের তুলনায় আপনার ল্যাপটপের একটি ধীর গতি রয়েছে। লেখাগুলি অবরুদ্ধ থাকতে পারে এবং আপনার ল্যাপটপে আই / ও যাওয়ার জন্য অপেক্ষা করছে। আপনার বাস্তব পারফরম্যান্স প্রত্যাশা কি?

Comments

ল্যাপটপগুলিতে প্রায়শই ধীর (7200 আরপিএম - 5400 আরপিএম) ডিস্ক থাকে কারণ তারা কম শক্তি ব্যবহার করে। আরএসসিএনসি ঠিক কী করছে তার উপর নির্ভর করে এটি সহজেই আপনার সীমিত ফ্যাক্টর হতে পারে।

— লাদাদাদাদা

ধন্যবাদ। জন্য rsyncningএকটি থেকে dm-crypt একটি করার জন্য একটি পরমাণু processer সংযুক্ত এনক্রিপ্ট ডিস্ক ecryptfs / s এআরএম জন্য NAS বক্স, এই 4MiB থেকে আমার স্থানান্তর গতি পরিবর্তিত / 6MiB করার s। rsync --protocol=29 -auh --progress /mnt/esata/pics/ -e "ssh -c arcfour" diskstation:/volume1/picsকিছুই না চেয়ে ভাল।

— সেবাস্তিয়ান

এই উত্তর। আরএসএনসি-এজেপি থেকে আরএসআইএনসি -aPe "ssh -c আরকফোর" এ গিয়ে দুটি মাইক্লাউড মিরর ড্রাইভের মধ্যে স্থানান্তর গতি 4MB / সেক থেকে 25 এমবি / সেকে উন্নীত করে। প্রাপ্তি ইউনিট সিপিইউ এখন সর্বোচ্চ আউট হয়। (মনে করি

— এটির

Answer 3

আরও কিছু পরীক্ষার পরে অবশেষে উত্তরটি নিজেই খুঁজে পেলাম। rsyncডিফল্টরূপে ssh ওভার টানেলিং ব্যবহার করে। ক্রিপ্টো এটি ধীর করে তোলে। সুতরাং আমি যে ক্রিপ্টো স্টাফ কাছাকাছি পেতে প্রয়োজন।

সমাধান 1: একটি RSSync সার্ভার সেট আপ করা হচ্ছে

rsyncপ্রোটোকলের মাধ্যমে এটি ব্যবহার করতে , আপনাকে একটি RSSyncd সার্ভার সেট আপ করতে হবে। /etc/init.d/rsyncআমার ল্যাপটপে একটি স্ক্রিপ্ট ছিল , তাই আমি অনুমান করেছি, আরএসসিএনসিডি চলছে। আমি ভৃল ছিলাম. /etc/init.d/rsync startনিঃশব্দে উপস্থিত থাকে, যখন আরএসসিএন সক্ষম হয় না /etc/default/rsync। তারপরে আপনাকে এটিকে কনফিগার করতে হবে /etc/rsyncd.confযা একটি ব্যথা।

আপনি যদি এই সমস্ত কাজটি করেন তবে আপনাকে ব্যবহার করতে হবে rsync file.foo user@machine::directory। দয়া করে মনে রাখবেন যে দুটি কলোন রয়েছে ।

সমাধান 2: ওল্ড-স্কুল র‌্যাশ-সার্ভার

তবে কনফিগারেশনটি আমার পক্ষে বেশ জটিল ছিল। সুতরাং আমি সবেমাত্র ইনস্টল করেছি এবং rsh-serverআমার ল্যাপটপে। এর সাথে ওয়ার্কস্টেশনে -e rexecআরএসসিএন চালনা করা এসএসএসের পরিবর্তে আরশ ব্যবহার করে। যা তখন প্রায় পারফরম্যান্সটিকে দ্বিগুণ করে ৪৪..6 এমবি / সেকেন্ড করে , যা এখনও ধীর। গতিটি 58 এমবি / সে এবং 33 এমবি / সেগুলির মধ্যে বাউন্স করে, যা নির্দেশ করে যে এখানে কিছু বাফার বা ভিড় নিয়ন্ত্রণ সমস্যা রয়েছে। তবে এটি এই প্রশ্নের আওতার বাইরে।

Comments

আমরা এখানে বৃহত্তরভাবে আরএসসিএনসি ব্যবহার করি এবং লক্ষ লক্ষ 4K ফাইল ট্র্যাভার না করে সাধারণত পূর্ণ ইন্টারফেসের গতি পাই। আমি মনে করি না যদি আপনি কিছু মারাত্মক ক্ষয়কৃত হার্ডওয়্যার ব্যবহার না করেন তবে ক্রিপ্টোটি সমস্যা।

— ম্যাগেলান

থিঙ্কপ্যাড আর 61১ এ একটি ইন্টেল কোর 2 ডুও টি 8100 গুরুতরভাবে ক্ষয়কারী হার্ডওয়্যার হিসাবে গণনা করে? যদি তা না হয় তবে আরএসএসের চেয়ে আরএসএসের চেয়ে এসএসএসের চেয়ে ধীরে ধীরে আরএসসিএন কেন হবে?

— ইবলু

এনক্রিপশন প্রায়শই ফাইলের সংখ্যার পাশাপাশি আরএসসিএনসি গতির একটি সীমাবদ্ধ ফ্যাক্টর। এটিকে উন্নত করার জন্য স্ট্যান্ডার্ড পদ্ধতিগুলি হল লাইটার এনক্রিপশন সাইফারের মতো আরএসসিএন চালানো rsync -e "ssh -c arcfour"বা কোনও সংশোধিত আরএসএনসি / এসএসএস চেষ্টা করা যা এনক্রিপশন অক্ষম করতে পারে। দেখুন hpn-ssh: psc.edu/networking/projects/hpn-ssh

— ewwhite

Answer 4

এগুলি একটি অতি পুরানো প্রশ্ন এবং উত্তর, তবে একটি গুরুত্বপূর্ণ বিষয় অনুপস্থিত: আপনি যদি ইতিমধ্যে সংক্ষেপিত বা এনক্রিপ্ট করা ডেটা অনুলিপি করেন তবে সংক্ষেপণ বন্ধ করুন।

যদি আপনার ডেটা সঙ্কুচিত বা এনক্রিপ্ট না হয় তবে আপনি কেবল একবারই এটি সংক্ষেপ করতে চান! Rsync কমপ্রেস -z এর সাথে, ssh সংক্ষেপে-সি (ডিফল্টরূপে হতে পারে)। আমার ডেটা সংকুচিত হওয়ার পরে আমি কোনটি পরীক্ষা করিনি।

আমি যখন এটি করছি, আপনি এক্স ফরওয়ার্ডিং এবং টিটিওয়াই বরাদ্দ বন্ধ করতে পারেন, ফলস্বরূপ:

rsync -avh -e "ssh -x -T -c arcfour -o Compression=no" $src $dst

শেষ অবধি, নিশ্চিত হয়ে নিন (উদাহরণস্বরূপ ব্যবহার করে iptraf) আপনি যে নেটওয়ার্ক ইন্টারফেসটি ব্যবহার করছেন বলে আপনি মনে করেন যে আপনি ব্যবহার করছেন। আমি আমার বিস্ময়ের বিষয়টি লক্ষ্য করেছি যে আমার ওএসএক্সে আউটগোয়িং এসএস আইফিকে আবশ্যক নয় ডিফল্ট আউটগোয়িং ইন্টারফেসের পরিবর্তে আইপি-র পরিবর্তে ইন্টারফেসে প্যাকেটগুলি বের হয়ে যাওয়ার কথা ছিল। ওয়াইফাই দ্বারা সংযুক্ত দুটি ল্যাপটপের মধ্যে আমার সরাসরি জিবি ক্রস-কানেক্ট ব্যবহার হচ্ছে না। তদন্তের পরে, এটি 169.254 / 16 ব্যবহারের কারণে হয়েছিল, যা ম্যাক সমস্ত ইন্টারফেসে রাখে এবং অনুরোধটি অন্য কোনও ইন্টারফেসে এসেছিল যদিও গন্তব্য কম্পিউটার এআরপি অনুরোধগুলিতে জবাব দেয়।

Comments

বৈধ বিকল্পগুলি, তবে আমি দেখতে পাচ্ছি যে -x-T এবং -o সংক্ষেপণ = কোনওই স্থানান্তর গতিতে খুব কম প্রভাব ফেলেনি।

— FMaz008

এটিও উল্লেখযোগ্য যে ওপেনএসএসএইচ 6.7 আরকফোরটি অক্ষম করে।

— বিপারপার্কার

@Pparker এর মতো করুণা! আমরা কি জানি যে উপলব্ধ অন্যান্য সিফারগুলি সিপিইউতে সবচেয়ে হালকা হয়?

— Law29