স্থানীয় ডিয়ারে এনএফএস-শেয়ার থেকে ফাইলগুলি অনুলিপি করার জন্য সিপির তুলনায় আরএসআইএনসি খুব ধীর (ফ্যাক্টর 8 থেকে 10)

Question

আমার একটি নতুন ইনস্টল করা উবুন্টু-সার্ভার রয়েছে যা আমাদের ভিএম-স্টোরেজের জন্য নতুন ব্যাকআপ-সার্ভার হওয়া উচিত। সার্ভারটির 4 টি নিক রয়েছে, এর মধ্যে 2 টি 10 ​​জিবিট (বাস্তবে নতুন চালকের সাথে উপলব্ধ একটি ইন্টেল x540-T2) রয়েছে যা স্যানের সাথে সংযোগ করতে ব্যবহৃত হয়। আমার কাছে এনএফএস-শেয়ারটি স্থানীয়ভাবে মাউন্ট করা হয়েছে এবং গতি-পার্থক্যের তুলনায় directory 30 টি ফাইল, প্রায় 15 ভিএম-চিত্র এবং সংশ্লিষ্ট লগ ফাইলের সাথে একটি ডিরেক্টরি অনুলিপি করার সময় তুলনা করেছি। চিত্রগুলি 8 গিগাবাইট থেকে 600 গিগাবাইট আকারের হয়।

ব্যবহার:

cp -rf /mnt/nfs-share /backup-storage/

বোমন ফলস্বরূপ প্রায় 600 এমআইবি / গুলি প্রদর্শন করে।

ব্যবহার

rsync -av /mnt/nfs-share /backup-storage/

বোমন প্রথম সেকেন্ডে কিছু প্যাকেট দেখায়, প্রায় 30 সেকেন্ডের জন্য থামায় এবং প্রায় 60-75 এমআইবি / সেকেন্ড পর্যন্ত নির্মিত হয়। সিপিইউ প্রায় 60%।

rsyncএকই পারফরম্যান্সের সাথে আমি কী ব্যবহার করতে / পরিবর্তন করতে পারি cp?

Answer 1

আমি মনে করি এই পার্থক্যগুলি cpএবং এর মধ্যে মোটামুটি সুপ্রতিষ্ঠিত rsync। : একটি রেফারেন্স হিসেবে এই নিবন্ধটি শীর্ষক দেখুন rsync কর্মক্ষমতা এ চেহারা ।

উদ্ধৃতাংশ:

The four commands tested were:

    rsync $SRC $DEST
    echo $SRC | cpio -p $DEST
    cp  $SRC $DEST
    cat $SRC > $DEST/$SRC

The results for rsync, cpio, cp, and cat were:

user    sys     elapsed hog MiB/s   test
5.24    77.92   101.86  81% 100.53  cpio
0.85    53.77   101.12  54% 101.27  cp
1.73    59.47   100.84  60% 101.55  cat
139.69  93.50   280.40  83% 36.52   rsync

আমি rsyncপ্রতিদিনের ভিত্তিতে ব্যবহার করি । পরিস্থিতি উন্নত করতে আপনি করতে পারেন এমন কিছু জিনিস রয়েছে।

উদাহরণস্বরূপ আপনি -Wসুইচটি ব্যবহার করে দেখতে পারেন:

-W, --whole-file            copy files whole (w/o delta-xfer algorithm)

এছাড়াও আপনার কাছে 3.x সংস্করণ রয়েছে কিনা তা নিশ্চিত করার পরামর্শ দেব rsync। যখন আমরা নতুন সংস্করণে চলে এসেছি তখন সেখানে লক্ষণীয় উন্নতি হয়েছিল।

Answer 2

আর সি সি এন সি বানানোর পদ্ধতিতে সিপি এর মতো পারফরম্যান্স রয়েছে এটি "সিপি" বানান।

নেট কমান্ড একই হতে পারে যদিও দুটি কমান্ডের মধ্যে পার্থক্য উল্লেখযোগ্য। বিশেষত, আরএসসিএনসি একটি ফাইলের কিছু ফাইল বা কোনও অংশ অনুলিপি করা উচিত কিনা তা দেখার জন্য একগুচ্ছ পঠন করে।

আপনি আরএসসিএন ব্যবহার করতে চান এমন কোনও কারণ আছে? সিপি অনুলিপি "অন্ধভাবে" আপনি উচ্চ কাঁচা কর্মক্ষমতা দেখতে পাবেন। যদি, ট্রিগার শর্তগুলির একটি সেটের জন্য, আরএসসিএনসি-র "ডেল্টা-ট্রান্সফার" প্রক্রিয়া ব্যবহার করা হয়, আপনি যেভাবে প্রতিবেদন করেছেন সেভাবে আপনি ট্রান্সফার রেটগুলি হ্রাস এবং সিপিইউ ব্যবহার দেখতে বেশ বেড়ে যাবেন see

Comments

আমি আচরণ সম্পর্কে সচেতন, কিন্তু এরূপ প্রভাব আশা করিনি। আমি ভেবেছিলাম যে, সিপিইউ-পাওয়ার এবং আইওপিএস আরএসসিএনসি কমপক্ষে 300 মাইবি / এস করা উচিত, বিশেষত অনুলিপি করার জন্য যদি ফাইলটি অনুলিপি করে না থাকে। আমি এখনও পরীক্ষা শেষ করিনি। আরএসআইএনসি সহ ব্যাকআপটি আরও দৃin় হবে তবে আমি সিপি, ডিডি বা যা কিছু মনে আসে তা ব্যবহার করে একটি স্ক্রিপ্টও লিখতে পারি। কোনটি স্যুটে সবচেয়ে ভাল তা মূল্যায়নের জন্য এখন আমি বিভিন্ন ফাইল সিস্টেমে বিভিন্ন সম্ভাবনার পরীক্ষা করতে চাই।

— সোলপথ

আপনি আমাকে একজন এম্পেরিসিস্ট বলতে পারেন, তবে যখন আপনার প্রত্যাশা এবং বাস্তবতা দ্বিমত পোষণ করে, তখন এটি সাধারণত বাস্তবতা নয় যা ভুল হয়। আপনি এই জরিমানা বহন করতে পারে এমন এক ডজন কারণ রয়েছে; এমনকি একটি এসএন-তে ইন্টারলিভিং পড়তে এবং লিখতেও সফটওয়্যারটির সূক্ষ্ম বিবরণের উপর নির্ভর করে নাটকীয় পারফরম্যান্স হিট হতে পারে।

— এমএসডব্লিউ

আমি বাস্তবতা সম্পর্কে শুধু সন্দেহ করি না, কেবল রিসিএনসি সম্পর্কে- তবে এই পার্থক্যের কারণে আমি সিপি এবং কিছু চেকসাম ব্যবহার করে একটি স্ক্রিপ্ট লিখতে যাব। আপনার উপদেশের জন্য ধন্যবাদ!

— সোলপথ

না, কেবল নেটওয়ার্কওয়ালা ফাইল সিস্টেমে আরএসসিএনসি ব্যবহার করবেন না। আপনার কম্পিউটারকে পুরো ফাইলটি ডাউনলোড করতে হবে, সুতরাং আপনি আরএসইএনসি-র সমস্ত সুবিধা হারাবেন।

— গিয়াকোমো ক্যাটেনাজি

দুঃখের বিষয় এই উত্তরটি বিশদভাবে ভুল। "স্থানীয়" ফাইল সিস্টেমের মধ্যে অনুলিপি করার সময় (এবং হ্যাঁ, একটি এনএফএস মাউন্ট এই প্রসঙ্গে স্থানীয় ফাইল সিস্টেম), অনুলিপি করার সময় rsync লক্ষ্য ফাইলটি পড়বে না যদি আপনি স্পষ্টভাবে এই পাল্টা উত্পাদক অপারেশনটি সক্ষম না করেন --whole-file। এই পরিস্থিতিতে এটি খুব ধীরের মতো cp।

— রোয়াইমা