স্পার্স ফাইলটি অনুলিপি করার দ্রুততম উপায় কী? ক্ষুদ্রতম ফাইলের মধ্যে কোন পদ্ধতির ফলাফল হয়?

Question

ব্যাকগ্রাউন্ড : আমি একটি স্পার্স কিউকো 2 ভিএম চিত্র অনুলিপি করছি যা 200 গিগাবাইট আকারের, তবে বরাদ্দকৃত ব্লকগুলির 16 গিগাবাইট রয়েছে। এই স্পার ফাইলটি একই সার্ভারের মধ্যে অনুলিপি করার জন্য আমি বিভিন্ন পদ্ধতির চেষ্টা করেছি এবং কিছু প্রাথমিক ফলাফল পেয়েছি। পরিবেশটি RHEL 6.6 বা CentOS 6.6 x64।

ls -lhs srcFile 
16G -rw-r--r-- 1 qemu qemu 201G Feb  4 11:50 srcFile

সিপি মাধ্যমে - সেরা গতি

cp --sparse=always srcFile dstFile
Performance Notes:
    Copied 200GB max/16GB actual VM as 200GB max/26GB actual, bloat: 10GB
    Copy time: 1:02 (mm:ss) 

ডিডি মাধ্যমে - সেরা সামগ্রিক অভিনয়

dd if=srcFile of=dstFile iflag=direct oflag=direct bs=4M conv=sparse
Performance Notes:
    Copied 200GB max/16GB actual VM as 200GB max/21GB actual, bloat: 5GB
    Copy time: 2:02 (mm:ss)

সিপিও মাধ্যমে

mkdir tmp$$
echo srcFile | cpio -p --sparse tmp$$; mv tmp$$/srcFile dstFile
rmdir tmp$$
Performance Notes:
    Copied 200GB max/16GB actual VM as 200GB max/26GB actual, bloat: 10GB
    Copy time: 9:26 (mm:ss)

আরএসএনসি এর মাধ্যমে

rsync --ignore-existing -aS srcFile dstFile
Performance Notes:
    Copied 200GB max/16GB actual VM as 200GB max/26GB actual, bloat: 10GB
    Copy time: 24:49 (mm:ss)

পুণ্য-স্পার্সিফাইয়ের মাধ্যমে - সেরা আকার

virt-sparsify srcFile dstFile
    Copied 200GB max/16GB actual VM as 200GB max/16GB actual, bloat: 0
    Copy time: 17:37 (mm:ss)

পরিবর্তনশীল ব্লকসাইজ

আমি ডিডি অনুলিপি করার সময় 'ফোলা' সম্পর্কে উদ্বিগ্ন ছিলাম (মূল থেকে ফাইলের আকার বৃদ্ধি), তাই আমি ব্লকসাইজে বৈচিত্র্য রেখেছি। আমি মোট সময় এবং সিপিইউ% পেতে 'সময়' ব্যবহার করেছি। এই ক্ষেত্রে আসল ফাইলটি একটি 7.3 গিগাবাইট বিচ্ছিন্ন 200 গিগাবাইট ফাইল:

4K:   5:54.64, 56%, 7.3GB
8K:   3:43.25, 58%, 7.3GB
16K:  2:23.20, 59%, 7.3GB
32K:  1:49.25, 62%, 7.3GB
64K:  1:33.62, 64%, 7.3GB
128K: 1:40.83, 55%, 7.4GB
256K: 1:22.73, 64%, 7.5GB
512K: 1:44.84, 74%, 7.6GB
1M:   1:16.59, 70%, 7.9GB
2M:   1:21.58, 66%, 8.4GB
4M:   1:17.52, 69%, 9.5GB
8M:   1:10.92, 76%, 12GB
16M:  1:17.09, 78%, 16GB
32M:  2:54.10, 90%, 22GB

প্রশ্ন : আপনি সামগ্রিক পারফরম্যান্স পাওয়ার জন্য স্পার ফাইলটি অনুলিপি করার জন্য সেরা পদ্ধতিগুলি সনাক্ত করতে পেরে আপনি যাচাই করতে পারেন? আমি যে পদ্ধতিগুলি ব্যবহার করছি তা নিয়ে আপনার যে উদ্বেগ রয়েছে তা হ'ল এটি আরও কীভাবে করা যায় সে সম্পর্কে কোনও পরামর্শই স্বাগত।

Comments

আপনার প্রশংসনীয় প্রচেষ্টা বিবেচনা করে কেবলমাত্র আমিই চেষ্টা করব, তা হল - স্পার বিকল্পটি দিয়ে সিএসএনসি। এটিও সম্ভব যে ডিডিতে বিভিন্ন ব্লকের আকার তার গতি বা ফোলা উন্নত করতে পারে।

— এমপিজে 0

টার চেষ্টা করার জন্যও খুব ভাল

— অলিভিয়ার ডুলাক

অলিভিয়ারডুলাক আমি টার চেষ্টা করেছিলাম, তবে এটি এতটা দুর্বল অভিনয় ছিল যে আমি এটি অন্তর্ভুক্তও করি নি। আমার থাকা উচিত. উপরের স্থানীয় কপি। আমি একই সাবনেটে অনুলিপি করে 10 জিবিপিএস নেটওয়ার্কের জন্য নেটওয়ার্ক অনুলিপি কর্মক্ষমতা ডেটা যুক্ত করব। আমার কাছে একবার তা হয়ে গেলে, আমি মনে করি যে একটি কার্যকরী উপসংহার আঁকার জন্য আমার কাছে পর্যাপ্ত ডেটা থাকবে যার জন্য সেরা সামগ্রিক অভিনয়শিল্পী।

— স্টিভ আমেরেজ

আরএসসিএনসি এই স্টাইলের অনুলিপি করার জন্য - স্পার সমর্থন করে। আপনি এটি চেষ্টা করতে পারেন। স্থানীয় এবং ওভার-দ্য নেটওয়ার্ক অনুলিপি উভয়ই পরিমাপযোগ্য হওয়ার অতিরিক্ত সুবিধা রয়েছে।

— ট্র্যাভিস ক্যাম্পবেল

@ ট্র্যাভিস ক্যাম্পবেল আমি আরএসআইএনসি-র জন্য ডেটা যুক্ত করেছি। আমি যে সমস্ত পরীক্ষাগুলি চালিয়েছি এটি ছিল সবচেয়ে খারাপ অভিনয়।

— স্টিভ আমেরিজ

Answer 1

উপরের বেঞ্চমার্কিং থেকে দেখে মনে হচ্ছে আমাদের hardware৪ কে ব্লকসাইজের সাথে আমাদের টার্গেট হার্ডওয়্যারে ডিডি ব্যবহার করা আমাদের অনুলিপিটির সময় ও ব্লাট বিবেচনায় সেরা সামগ্রিক ফলাফল দেয়:

dd if=srcFile of=dstFile iflag=direct oflag=direct bs=64K conv=sparse

Comments

হাই স্টিভ, দয়া করে প্রশ্নের উত্তর ভাগ করুন, স্ট্যাকেক্সচেঞ্জের সাইটগুলি কীভাবে এটি কাজ করে।

— বম্মি