কমপ্রেসনের সাথে স্ক্র্যাপটি কেন বাইরে না ধীর?


11

আমি একটি 20 গিগাবাইট হস্তান্তর করা প্রয়োজন সাহায্যে KVM এক ল্যাব সার্ভার থেকে অন্য vdisk ফাইল, একটি সেন্টওএস 6.5 VM- র রুট ফাইল সিস্টেম সংরক্ষণকারী। বড় আকারের ফাইলের আকার এবং এই সত্য যে আমি একবারে কয়েকশ মেগা-বাইটে এই জাতীয় ভিডিস্ক ফাইলটি সংকুচিত করেছিলাম তা আমাকে সহজাতভাবে সংকোচনের সাথে সক্ষম করে তুলেছিল scpতবে আমি পরিবর্তনের চেয়ে কম স্থানান্তর গতিটি দেখে অবাক হয়েছি। তারপর আমি চেষ্টা bzip2সঙ্গে একযোগে sshএবং catও চমকে উঠলো। এখানে পদ্ধতির সংক্ষিপ্তসার এবং গড় থ্রুপুট।

  • scp -C vm1-root.img root@192.168.161.62:/mnt/vdisks/, 11 এমবি / এস।
  • bzip2 -c vm1-root.img | ssh -l root 192.168.161.62 "bzip2 -d -c > /mnt/vdisks/vm1-root.img", 5 এমবি / এস। এটি এমনকি নীচের ফলাফলটি নেট অনুসন্ধানের অনুরোধ জানায়।
  • scp -c arcfour -C vm1-root.img root@192.168.161.62:/mnt/vdisks/, 13 এমবি / এস। সার্ভারফল্টের একটি উত্তরে এরূপ -c arcfourহিসাবে এর ব্যবহারের পরামর্শ দেওয়া হয়েছিল । এটি খুব কমই সাহায্য করেছিল। অবশেষে, আমি সংক্ষেপণ অক্ষম করেছি
  • scp vm1-root.img root@192.168.161.62:/mnt/vdisks/, 23 এমবি / এস।

সংক্ষেপণ দ্রুত করা উচিত নয়?

সম্পাদনা: কেন জানি প্রশ্নটি নিম্নোক্ত হয়েছে। আমি ভেবেছিলাম এখানে কিছু শেখার আছে।

ssh(1)@ স্পেন থেকে ম্যান পেজ টিপ পাওয়ার পরে , আমি ফাইল ট্রান্সফারের কয়েকটি বিকল্প পদ্ধতিতে চেষ্টা করেছি যাতে সংকোচনের সাথে জড়িত না, উভয়ই ভাল ফলাফল রয়েছে।

  • cat vm1-root.img | ssh -l root 192.168.161.62 "cat > /mnt/vdisks/vm1-root.img", 26 এমবি / এস।

  • nc -l 5678 > /mnt/vdisks/vm1-root.imgরিসিভার এবং nc 192.168.161.62 5678 < vm1-root.imgট্রান্সমিটারে, 40 এমবি / এস। বন্দরটি 5678একটি স্বেচ্ছাসেবী যা উপলব্ধ ছিল।

ncদ্রুততম অনুলিপি পদ্ধতি ব্যবহার করে দেখা গেল!

অতীতে, scp -Cযখনই আমি ভাবতাম এটি খুব ভাল কাজ করেছে। উদাহরণস্বরূপ, /var/log/messages*কয়েকটি জিবি আকারের সিসলোগগুলি ( ) স্থানান্তর করার সময় । কয়েকশ কেবি / সির একটি সঙ্কীচিত স্থানান্তর হার 1-2 এমবি / সেকেন্ডে বাড়বে। এই পৃষ্ঠাটি ধীর সংযোগের ক্ষেত্রে পড়বে যেমন ম্যান পৃষ্ঠাতে উল্লেখ করা হয়েছে।

আমার একটি কেস রয়েছে যেখানে 20 গিগাবাইট পার্টিশনের জন্য একটি নতুন তৈরি vdisk চিত্রের সংকোচিত আকার মাত্র 200 এমবি রয়েছে। প্রায় 25 এমবি / সেকেন্ডারের ট্রান্সফার রেট সহ আমরা 13 মিনিটের পরিবর্তে মাত্র 8 সেকেন্ডের মধ্যে অনুলিপিটি করতে পারি! স্পষ্টতই, scpসংক্ষেপণ ছাড়াই এই ক্ষেত্রে অদক্ষ এবং scp -Cএটি আরও খারাপ।

আমার ধারণা, এখানে এখানে শিখানো মূল পাঠটি হ'ল scp -Cকেবল একটি সুবিধা হিসাবে বিবেচনা করা উচিত। যদি কোনও ফাইল উল্লেখযোগ্যভাবে সংকুচিত হতে পারে, তবে প্রথমে উত্সে এটি সংকোচন করা, সংকুচিত ফর্মটি স্থানান্তর করা এবং শেষ পর্যন্ত গন্তব্যস্থলে ডিসকप्रेस করা ভাল। সরঞ্জামগুলি যেগুলি দ্রুত সংক্ষেপণ এবং ডিকম্প্রেশন করে (উদাঃ pbzip2 ) আরও বেশি সহায়ক হবে।

উত্তর:


9

উদ্ধৃতি man ssh(যা ব্যবহার করে বেস scp):

মডেম লাইন এবং অন্যান্য ধীর সংযোগে সংকোচনের আকাঙ্ক্ষিত তবে এটি কেবল দ্রুত নেটওয়ার্কগুলিতে জিনিসকে ধীর করে দেয়।

সমস্যাটি হ'ল ডেটা সংকুচিত করতে আরও সময় লাগে তবে কেবল এটি নেটওয়ার্কের মাধ্যমে প্রেরণ।


তিনি কেন বিশেষভাবে স্থানান্তর হার কম বলে জিজ্ঞাসা করছিলেন, তবে আমার সন্দেহ হয় যে পুরো অপারেশনটি যে সময় নেয় তাতে ডেটা আকার বিভাজিত করে এবং এটি যে অংশটি ডেটা সংকুচিত করে এবং যে অংশটি এটির উপরে ডেটা অনুলিপি করে সেখানে ভাগ না করেই এসএসএস আসলে এটি গণনা করে suspect অন্তর্জাল.
আর্নি

@ আর্নি: আপনি যদি 20 এমবি / সেকেন্ডের গতিতে ডেটা প্রেরণ করতে পারেন, এবং সংক্ষেপণটি খুব ধীর হয়ে যাওয়ার কারণে সিস্টেমটি কেবল 15 এমবি / সেকেন্ডের সাহায্যে বিতরণ করতে পারে তবে এটি কেবল 15 এমবি / সেকেন্ড দিয়ে প্রেরণ করা হবে। এখানেই শেষ এটা পেতে ওখানে যাও.
সোভেন

@ আর্নি: মুদ্রিত স্থানান্তর হারের scpমধ্যে সংকোচন / ডিকম্প্রেসিংয়ে ব্যয় করা সময় অন্তর্ভুক্ত রয়েছে। রিপোর্ট করা মানগুলি যদি অবাক না হয় তবে অবাক হবে appear
পিডিপি

0

এছাড়াও, সংক্ষেপণের শীর্ষে, এনসি সেরা হারটি পায় কারণ এটি এনক্রিপ্ট করে না। এবং অ-ক্ষতিকারক সংকোচনের ফলে ডেটাগুলির অপ্রয়োজনীয় বিভাগগুলি সন্ধান করার উপর নির্ভর করে, যা নেটওয়ার্ক পর্যায়ে করা হলে আপনি প্রথমে সর্বাধিক [বাফার-সাইজ] বাইট দেখতে পারেন যেখানে পুরো ফাইলটি তৈরি করার পরে, এটি [ফাইল-আকার] বাইটস যার মধ্যে ডুপ্লিকেট বাইট বাক্য অনুসন্ধান এবং ক্রাঞ্চ করা।

এছাড়াও ডিস্ক চিত্রগুলি সরানোর জন্য আপনার এনটিএফএসক্লোন / পার্টক্লোন জাতীয় ফাইলসিসম্মত সচেতন সরঞ্জাম ব্যবহার করা উচিত কারণ এমনকি সংক্ষেপণ কেবল অবিকৃত ব্লকগুলি এড়িয়ে যেতে পারে না - যদি আপনার কোনও ডেটা স্থানান্তর করতে না হয় তবে আপনার স্থানান্তর হার অসীম। উইন্ডো পার্টিশনে অদলবদল এবং হাইবারনেশন ফাইলগুলি ধ্বংস করতে ভুলবেন না বা আপনি জাঙ্কটি অনুলিপি করছেন এটি কেবল ফেলে দেবে এবং যাইহোক পুনরায় তৈরি করবে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.