আরএসসিএনসি গতি ব্যাকআপ সহ সংকোচন বিকল্প -z করে


37

ইন rsync, -zস্থানান্তরকালে ফাইলের ডেটা সংকুচিত করবে।

যদি আমি সঠিকভাবে বুঝতে পারি -zতবে স্থানান্তর করার আগে ফাইলগুলি সঙ্কুচিত করুন এবং তারপরে স্থানান্তরের পরে সেগুলি সঙ্কুচিত করুন। সংক্ষেপণের কারণে স্থানান্তর চলাকালীন সময়টি কি কমিয়ে দেয় সংকোচনের সময় এবং সময়কে কমিয়ে দেয়?

যদি আমি ইউএসবি (2.0 বা 3.0) এর মাধ্যমে কোনও বাহ্যিক এইচডিডি বা ইন্টারনেটের মাধ্যমে এসএসএস দ্বারা কোনও সার্ভারে ব্যাকআপ রাখি তবে কি প্রশ্নের উত্তর নির্ভর করে?


এছাড়াও মনে রাখবেন যে যদি সংকোচিত ফাইলটি মূল ফাইলের চেয়ে আকারে আলাদা না হয় তবে এটি একটি বিশাল ওভারহেড হতে পারে।
হিমেইল

1
হিমাইল কী বলে তার বিশদটি জানাতে, যদি সামগ্রীটি ইতিমধ্যে সংকুচিত বিন্যাসে (jpeg, mpeg, distro প্যাকেজ, ইত্যাদি) সংকোচনের পরিমাণে খুব কম কার্যকর হয়। আমি লক্ষ্য করেছি man rsyncযে প্রকৃতপক্ষে ফাইল প্রত্যয়ের একটি তালিকা রয়েছে যা এমনকি (দেখুন ) দিয়ে সংকুচিত হবে না-z--skip-compress
সোনারলোকস

উত্তর:


46

এটি একটি সাধারণ প্রশ্ন। শেষ পয়েন্টগুলিতে সংক্ষেপণ এবং সংক্ষেপন কোনও লিঙ্কের কার্যকর ব্যান্ডউইদথকে উন্নত করে?

শেষ পয়েন্টে সংক্ষেপণ এবং সংক্ষেপণ করার জন্য একটি লিঙ্কের কার্যকর (অনুভূত) ব্যান্ডউইটের একটি কাজ:

  1. আপনি কত দ্রুত সংকুচিত করতে পারেন (আপনার সিপিইউ গতি)
  2. আপনার নেটওয়ার্কের আসল ব্যান্ডউইথ

এই 3 ডি গ্রাফটির সাথে ফাংশনটি বর্ণিত হয়েছে, যা আপনি আপনার বিশেষ পরিস্থিতির জন্য পরামর্শ নিতে চাইতে পারেন:

এখানে চিত্র বর্ণনা লিখুন

গ্রাফটি http: //www.linuxj पत्रकार.com/ দ্বারা সংক্ষেপিত 2005 এর তুলনায় নিবন্ধের সাথে সূচিত হয়েছিল ।


1
আপনার ধরণের ডেটাও একটি প্রধান ফ্যাক্টর (তালিকা থেকে ফ্যাক্টর # 3 অনুপস্থিত)। লিঙ্কযুক্ত নিবন্ধটি একটি সাধারণ মিশ্রণ ডেটা ব্যবহার করে। আপনার আদর্শ হতে পারে না। আপনি যদি 100% জিপ ফাইল (বা কোনও প্রাক-সংক্ষেপিত ডেটা) সিঙ্ক করছেন তবে আপনি সম্ভবত সংক্ষেপণ চান না। আপনি যদি 100% পাঠ্য ফাইল সিঙ্ক করছেন তবে আপনার নেটওয়ার্কটি দ্রুত এবং আপনার সিপিইউ ধীর গতির হলেও সংক্ষেপে দ্রুততর হতে পারে। সমস্ত 3 কারণের ওজন।
রিচার্ড ব্রাইটওয়েল

13

আপনার যদি খুব ধীর সংযোগ থাকে (জিপিআরএস ভাবেন) আপনি অবশ্যই যথাসম্ভব আপনার ডেটা সংকুচিত করতে চান, অন্যথায় আপনার সংযোগ জিনিসগুলি ধীরে ধীরে কমিয়ে দেবে।

আপনার যদি খুব ধীর সিপিইউ এবং একটি দ্রুত সংযোগ (এম্বেডেড নেটওয়ার্ক ডিভাইসের মতো) থাকে তবে আপনি সাধারণত আপনার ডেটা সংকোচ করতে চান না, অন্যথায় আপনার সিপিইউ জিনিসগুলি ধীর করে দেবে।


3

আপনার ডেটা এবং আপনার উত্স এবং গন্তব্যটির প্রক্রিয়াকরণ শক্তি কতটা সংকোচনীয় তা নির্ভর করে। আমার অভিজ্ঞতার একটি সম্পূর্ণ ডিস্ক ব্যাকআপ তার মূল আকারের প্রায় 30-50% কে সংকুচিত করবে, সুতরাং এটির জন্য একটি শট দেওয়া ভাল। অন্যথায়, সংকোচনের সাথে বিরক্ত করবেন না। আপনার সংকোচনের হারটি pigz -c <your file> | wc -cআপনার মূল আকারের সাথে ফেরত আকারের সাথে তুলনা করা এবং তুলনা করা উপযুক্ত।


2

হ্যাঁ, সংযোগের গতি নির্ধারণ করে যে জিনিসগুলি গতি বাড়ায় কিনা। এটি কেবল ইউএসবি ব্যাকআপের জন্য ওভারহেড হবে, কারণ ডিস্কগুলি ডেটাগুলিকে স্ফীত করে না তবে প্রক্রিয়া যা ডেটা লেখে। সুতরাং একই মেশিন যা এটি পড়ে এবং ডিফল্ট করে, এটি খুব শিথিল করে লিখতে হয়। রাইকিঙ্ক এখনও দুটি প্রক্রিয়া যা আমি মনে করি তবে আপনার প্রক্রিয়াটি একটি প্রক্রিয়া থেকে অন্য প্রক্রিয়ায় ডেটা হস্তান্তর করার জন্য আপনার মেমোরিটি যথেষ্ট দ্রুত এবং সিপিইউ এটি সংকোচনের জন্য আরও বেশি সময় প্রয়োজন (এটি একই স্মৃতিতে পড়ার পরে যা পরে তা হস্তান্তর করে :)।

কম্প্রেশন কেবল তখনই সহায়তা করে যখন আপনার প্রেরক এবং রিসিভার আরএসসিএনসি এবং কিছুটা ধীর নেটওয়ার্ক রয়েছে between 1 জিবিট আপনার কাছে ইতিমধ্যে কোনও স্থানীয় এনএএস থাকা অবস্থায় ইতিমধ্যে যথেষ্ট দ্রুত হতে পারে, 10 জিবিট ইতিমধ্যে কাঁচা এসটিএ স্পিড। সুতরাং কম্প্রেশন কেবল তখনই প্রয়োজন যখন আপনার 100Mbit বা তার থেকে কম সংযোগ রয়েছে এবং এটি তখনই বোধগম্য হয় যখন ডেটা সংকুচিত হয় সংকোচনীয়।

আমি মনে করি আরএসসিএনসি লক্ষ্য করতে পারে যে এটি দুটি মেশিনে চালিত হয় না তবে একটি এবং সংক্ষেপণ এড়িয়ে যায় তবে নিশ্চিত নয়।


1

tl; dr ওভার স্লো ট্রান্সফার লিংকগুলি সংক্ষেপ করুন , অন্যথায় করবেন না। নীচে একটি সংক্ষেপণের গতি পরীক্ষা, একটি ব্যান্ডউইথ রূপান্তর সরঞ্জামের লিঙ্ক এবং কিছু তথ্য info

rsyncমধ্যবর্তী লিঙ্কটি যদি "পর্যাপ্ত ধীর গতিযুক্ত" হয় তবে এর সাথে সংকোচনের সাহায্যে জিনিসগুলির গতি বাড়বে, অর্থাত্ যদি এক প্রান্তে মেশিনটি যোগাযোগ লিঙ্কটি পরিপূর্ণ করার জন্য দ্রুত একটি সংকোচিত ডেটা স্ট্রিম তৈরি করতে সক্ষম হয়।

সুতরাং, আমার কাছে ধীরে ধীরে লিঙ্কটি কী যাতে কোনও কিছু পাওয়ার জন্য সংক্ষেপণ ব্যবহার করা উচিত?

নিম্নলিখিতটি একটি খুব অবৈজ্ঞানিক পরীক্ষা, যা দেখায় যে কীভাবে gzipডেটা তৈরি করা যায় এবং আপনার নেটওয়ার্কের বাল্ক স্থানান্তরকে সাধারণভাবে সংকুচিত করা উচিত কিনা এর অর্থ কী।

ইনপুট ডেটা পরীক্ষার ফলাফলকে ব্যাপক পরিবর্তন করবে । আমি আমার কম্পিউটারে একটি সঙ্কুচিত (!) নিয়মিত ফাইল ব্যবহার করছি যা আমি সাধারণত নেটওয়ার্কগুলির মাধ্যমে স্থানান্তরিত ডেটার প্রতিনিধিত্ব করতে পারি। /dev/zeroশূন্যের স্রোতকে সংকুচিত করা খুব সহজ হিসাবে ব্যবহার করা (সীমাহীন শূন্য উত্পাদন করা) বিভ্রান্তিমূলক হবে এবং /dev/randomবিপরীত কারণে বিভ্রান্তিকর হবে using সুতরাং পরিবর্তে আমি আমার $HOME/localডিরেক্টরিতে একটি টার ফাইল ব্যবহার করি , এতে আমার ইনস্টল করা সফ্টওয়্যার রয়েছে $HOME। ফাইলটি নিজেই সঙ্কুচিত, তবে এতে বাইনারি ফাইল, ছোট সংক্ষেপিত ফাইল এবং উত্স / পাঠ্য ফাইলের মিশ্রণ রয়েছে এবং আমি এটি ডিফল্ট সেটিং দিয়ে সংকুচিত করতে পারি কারণ gzipএটি 64 এমআইবি থেকে 22 মাইবি থেকে 67% হ্রাস পাবে।

$ gzip -c local.tar | dd of=/dev/null
43092+4 records in
43093+1 records out
22063854 bytes transferred in 2.819 secs (7825741 bytes/sec)

গড়টি কী হতে পারে তার অনুভূতি পেতে আমি কয়েকবার এটি করি এবং এটি প্রায় 7800000 বাইট / সেকেন্ড আসে।

তারপরে এটি কী রূপান্তরিত হয় তা দেখতে আমি একটি নেটওয়ার্ক ব্যান্ডউইথ ক্যালকুলেটর ব্যবহার করি । এই বিশেষ ক্ষেত্রে এটি "100Mb ইথারনেট" ওয়্যার্ড লিঙ্কের সামর্থ্যের অধীনে কেবল "ভিডিএসএল ডাউনলোড" ইন্টারনেট আপলিংকের তুলনায় দ্রুত, "802.11 [a / g]" ওয়্যারলেস লিঙ্কের চেয়ে সামান্য দ্রুত এবং অন্য কোথাও ঘটে "ব্লুটুথ v3.0" (ধীর) এবং "USB 2.0" (দ্রুত) এর মধ্যে রয়েছে in

এর অর্থ হ'ল আমি যদি এর চেয়ে দ্রুত কোনও বিষয়ে সংক্ষেপণ ব্যবহার করি তবে সংক্ষেপণ ফাইলের স্থানান্তরকে কমিয়ে দেবে।

rsyncকম্প্রেশন করার মতো সঠিক একই লাইব্রেরি ব্যবহার নাও করতে পারে তবে উপরেরটিgzip আপনাকে কমপক্ষে একটি ইঙ্গিত দেবে।

rsyncযদিও আপনি জানেন, কম্প্রেশন ছাড়াও আরও বেশি কিছু করেন এবং আসল গতি বৃদ্ধি কেবলমাত্র [বিটস] ফাইলগুলি বদলানো থেকে আসে।

আমার নিজের অভিজ্ঞতায়, rsyncগত 10 বছর বা তার বেশি সময় ধরে সংকোচনের ব্যবহার কম-বেশি উপকারী হয়ে উঠেছে, যেহেতু নেটওয়ার্কগুলির ব্যান্ডউইথ বৃদ্ধি পেয়েছে (যেখানে আমি আছি)।

ইনক্রিমেন্টাল ব্যাকআপগুলি করার জন্য, আমি অবশ্যই --link-destবিকল্পটি অনুসন্ধানের সুপারিশ করব (কেবল স্থান কীভাবে লক্ষ্যবস্তুতে সংরক্ষণ করা হয় তা দিয়ে এর স্থানান্তরিতকরণের সাথে কিছুই করার নেই)। এছাড়াও, আপনি যদি এটি এসএসএইচ দিয়ে করছেন তবে আপনার এসএসএইচ সংযোগটি ইতিমধ্যে সংকুচিত থাকলে সংক্ষেপণ ব্যবহার করবেন না এবং উপরের মত একই কারণে স্লো লিঙ্কগুলির চেয়ে বেশি এসএসএইচ সংযোগগুলি (টানেল ইত্যাদি) সংক্ষেপ করুন।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.