scp এবং একই সময়ে সংকোচনের, কোনও মধ্যবর্তী সংরক্ষণ নেই


63

ক্যানোনিকাল উপায় কি:

  • scp দূরবর্তী অবস্থানের একটি ফাইল
  • ট্রানজিটে ফাইলটি সংকুচিত করুন ( tarবা না, একক ফাইল বা পুরো ফোল্ডার, 7zaবা আরও কার্যকর কিছু)
  • মধ্যবর্তী ফাইলগুলি সংরক্ষণ না করে উপরের কাজটি করুন

আমি এই জাতীয় শেল পাইপ সঙ্গে পরিচিত:

tar cf - MyBackups | 7za a -si -mx=9 -ms=on MyBackups.tar.7z

মূলত:

  • একটি সম্পূর্ণ ফোল্ডার একটি একক মধ্যে ঘূর্ণায়মান tar
  • মাধ্যমে তথ্য প্রেরণ stdoutকরতে stdinসংকুচিতকারী প্রোগ্রামের
  • আক্রমণাত্মক সংকোচনের প্রয়োগ

sshদূরবর্তী ফাইল সিস্টেমে ফাইলের ল্যান্ডিং সহ কোনও লিঙ্কের মাধ্যমে এটি করার সর্বোত্তম উপায় কী ?


আমি sshfsমাউন্ট না পছন্দ ।


এটা কাজ করে না:

scp <(tar cvf - MyBackups | 7za a -si -mx=9 -so) localhost:/tmp/tmp.tar.7z

কারণ:

/dev/fd/63: not a regular file

উত্তর:


102

আপনি যা চান তা করার অনেকগুলি উপায় রয়েছে। পেপ ব্যবহার করা সবচেয়ে সহজ:

tar zcvf -  MyBackups | ssh user@server "cat > /path/to/backup/foo.tgz"

এখানে, সংক্ষেপণগুলি পরিচালনা করছে tarযা কল gzip( zপতাকা) দ্বারা by আপনি compress( Z) এবং bzip( j) ব্যবহার করতে পারেন । কারণ 7z, এটি করুন:

tar cf - MyBackups | 7za a -si -mx=9 -ms=on MyBackups.tar.7z | 
   ssh user@server "cat > /path/to/backup/foo.7z"

সবচেয়ে ভাল উপায়, সম্ভবত, সম্ভবত rsync

   Rsync is a fast and extraordinarily versatile  file  copying  tool.   It  can  copy
   locally, to/from another host over any remote shell, or to/from a remote rsync dae‐
   mon.  It offers a large number of options that control every aspect of its behavior
   and  permit  very  flexible  specification of the set of files to be copied.  It is
   famous for its delta-transfer algorithm, which reduces the amount of data sent over
   the network by sending only the differences between the source files and the exist‐
   ing files in the destination.  Rsync is widely used for backups and  mirroring  and
   as an improved copy command for everyday use.

rsyncহয়েছে পথ অনেকগুলি অপশন। এটি সত্যই তাদের মাধ্যমে পড়া মূল্যবান তবে তারা প্রথম দর্শনেই ভীতিজনক। আপনি এই প্রসঙ্গে যেগুলির বিষয়ে যত্নশীল তা হলেন:

    -z, --compress              compress file data during the transfer
        --compress-level=NUM    explicitly set compression level

   -z, --compress
          With this option, rsync compresses the file data as it is sent to the desti‐
          nation machine, which reduces the amount of data being transmitted --  
          something that is useful over a slow connection.

          Note  that this option typically achieves better compression ratios than can
          be achieved by using a compressing remote shell or a  compressing  transport
          because  it takes advantage of the implicit information in the matching data
          blocks that are not explicitly sent over the connection.

সুতরাং, আপনার ক্ষেত্রে, আপনি এই জাতীয় কিছু চাইবেন:

rsync -z MyBackups user@server:/path/to/backup/

ফাইলগুলি ট্রানজিট করার সময় সংকুচিত হবে এবং গন্তব্যে সংক্ষেপিত হবে।


আরও কিছু পছন্দ:

  • scp নিজেই তথ্য সংকোচন করতে পারে

     -C      Compression enable.  Passes the -C flag to ssh(1) to
             enable compression.
    
    $ scp -C source user@server:/path/to/backup
    
  • পেতে rsyncএবং 7zaসুন্দর খেলতে পারে এমন কোনও উপায় থাকতে পারে তবে তা করার কোনও মানে নেই। এর সুবিধাটি rsyncহ'ল এটি কেবল স্থানীয় এবং দূরবর্তী ফাইলগুলির মধ্যে পরিবর্তিত বিটগুলি অনুলিপি করবে। যাইহোক, একটি ছোট স্থানীয় পরিবর্তনের ফলে একটি খুব আলাদা সংকোচিত ফাইল তৈরি হতে পারে সুতরাং এটির rsyncজন্য ব্যবহার করার কোনও মানে নেই । এটি কেবল কোনও লাভ ছাড়াই বিষয়গুলিকে জটিল করে তোলে। sshউপরে প্রদর্শিত হিসাবে সরাসরি ব্যবহার করুন । আপনি যদি সত্যিই এটি করতে চান তবে আপনি যুক্তি হিসাবে সাবসেল দিয়ে চেষ্টা করতে পারেন rsync। আমার সিস্টেমে, আমি 7zaএটি দিয়ে কাজ করতে পারিনি কারণ এটি আপনাকে একটি টার্মিনালে সংক্ষেপিত ডেটা লিখতে দেয় না। সম্ভবত আপনার বাস্তবায়ন আলাদা। এর মতো কিছু চেষ্টা করুন ( এটি আমার পক্ষে কার্যকর হয় না ):

    rsync $(tar cf - MyBackups | 7za a -an -txz -si -so) \
      user@server:/path/to/backup
    
  • আর একটি বিষয় 7z লিনাক্সের ব্যাকআপের জন্য ব্যবহার করা উচিত নয়7zম্যান পেজে যেমন বলা হয়েছে :

    লিনাক্স / ইউনিক্সে ব্যাকআপ উদ্দেশ্যে 7-জিপ ফর্ম্যাটটি ব্যবহার করবেন না কারণ:
    - 7-জিপ ফাইলের মালিক / গোষ্ঠী সংরক্ষণ করে না।


3
যুক্ত করার জন্য একটি ভাল দ্রষ্টব্য হ'ল আপনি যদি কোনও ধীর গতির নেটওয়ার্কের মাধ্যমে স্থানান্তর না করেন তবে ইন্টারনেট বলুন, সংকোচন করা এড়ানো ভাল কারণ এটি কেবল স্থানান্তর হারকে কমিয়ে দেয়। একটি ল্যানে, -zকমপক্ষে দ্বিগুণ ধীর। এসএসএস-এর চেয়ে বেশি গতি অর্জনের জন্য, -Wপতাকা ব্যবহার করে একটি আরএসসিএন ডেমন সেট করুন এবং আরএসসিএনসি করুন (ফাইলগুলি সম্পূর্ণ (ডাব্লু / ও ডেল্টা-এক্সফার অ্যালগরিদম)
অনুলিপি করুন

2
ধন্যবাদ! আমি এই দুর্দান্ত উত্তরটি গ্রহণ করতে যাচ্ছি তবে দয়া করে একটি সম্পূর্ণ, একা একা কমান্ড লাইন যুক্ত করুন যা উভয় ব্যবহার করে rsync এবং 7za দূরবর্তী ফাইল সিস্টেমে চূড়ান্ত আউটপুট সহ। আমি পছন্দ করেছি -zকিন্তু আমি সংকোচনের ধাপটি ডিক্লোল করতে চাই তাই .. rsyncদয়া করে কীভাবে আমি এই ক্ষেত্রে ব্যবহার করব ?
রোবোটিনোসিনো

2
@ রোবোটিনোসিনো আপডেট হওয়া উত্তর দেখুন। এর rsyncসাথে ব্যবহার করার কোনও মানে নেই 7z। এটি আরএসসিএনসি এবং একটি সাবসেল দিয়ে দেখানো হিসাবে কাজ করা উচিত তবে আমি কীভাবে তা বুঝতে পারি না।
টেরডন

4
জন্য +1 scp -C। রিমোট ডিস্কে সংকুচিত ফাইলটি ধরে রাখার মতো পর্যাপ্ত জায়গা নেই তাই আমি স্থানান্তর করার আগে সংকোচ করতে পারিনি। একটি সামান্য কমান্ড লাইন বিকল্প আমার সমস্যা দূরে সরিয়ে দেয়।
ব্যবহারকারী 37931

1
@ কুনটোল প্রথমে প্রথমে ফাইলটি জিপ করুন, তারপরে এটি আরএসসিএন করুন। আপনার আরও বিশদ প্রয়োজন হলে দয়া করে একটি নতুন প্রশ্ন জিজ্ঞাসা করুন।
টেরডন

13

আমি মনে করি এই কমান্ডটি কৌশলটি করবে

ssh user@host "cd /path/to/data/;tar zc directory_name" | tar zx 

সম্পাদনা: আগের সংস্করণটি দুটি ভুল "চ" বিকল্পের সাথে ছিল।

এখন, প্রথমে আপনাকে লক্ষ্য হোস্ট থেকে এই কমান্ডটি কার্যকর করতে হবে। এবং বিশদটি ব্যাখ্যা করতে হবে:

  1. ssh ব্যবহারকারী @ হোস্ট হোস্ট মেশিনের সাথে সংযোগ খুলবে, সেখান থেকে ডেটা স্থানান্তরিত হবে।
  2. সিডি / পাথ / টু / ডেটা ডিরেক্টরিতে নিয়ে যাবে যেখানে প্রয়োজনীয় ডেটা সঞ্চয় করা হয়
  3. tar zc * সংক্ষেপণ শুরু করবে এবং এটি STDOUT এ রাখবে
  4. এখন পাইপ (|) উত্সটির STDOUT গন্তব্যটির STDIN- এ পাইপলাইন করবে যেখানে "টার zx" চলছে এবং উত্স থেকে ক্রমাগত ডিকম্প্রেশন ডেটা স্ট্রিম আসছে।

আপনি দেখতে পাচ্ছেন যে এই কমান্ডটি অন-ফ্লায়াকে সংকুচিত করে এবং ব্যান্ডউইথটি সংরক্ষণ করে। আপনি আরও ভাল ফলাফলের জন্য অন্যান্য সংক্ষেপণগুলিও ব্যবহার করতে পারেন তবে মনে রাখবেন, সংক্ষেপণ এবং ডিকম্প্রেশনকে সিপিইউ চক্রের প্রয়োজন।

উল্লেখ


tar: পুরানো বিকল্প 'f' এর একটি আর্গুমেন্ট দরকার requires
দিমিত্রি কোপ্রিভা

7

দখভাদেশিয়ার উত্তরের জন্য সামান্য উন্নতি : আপনাকে করতে হবে না cd dir, কেবল tarপরিবর্তে ওয়ার্কিং ডিরেক্টরিটি নির্দিষ্ট করুন:

ssh user@host "tar -C /path/to/data/ -zc directory_name" | tar zx 

আপনি ডিরেক্টরি একইভাবে আপলোড করতে পারেন:

tar zc directory_name/ | ssh user@host "tar zx -C /new/path/to/data/"
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.