বড় ফাইলগুলির জন্য প্রথমে সংক্ষেপে তারপরে ট্রান্সফার বা আরএসএনসি -z? কোনটি দ্রুত হবে?


14

আমার কাছে এক টন রিলেটিভিটি ছোট ডেটা ফাইল রয়েছে তবে তারা প্রায় 50 গিগাবাইট নেয় এবং আমার সেগুলি অন্য কোনও মেশিনে স্থানান্তর করা দরকার। আমি এটি করার সবচেয়ে দক্ষ উপায়টি মনে করার চেষ্টা করছিলাম।

আমার যে ধারণাগুলি ছিল সেগুলি পুরো জিনিসটি জিজিপ করার পরে এটি আরএসএনসি করে এটি সংক্ষেপিত করতে হবে, সংক্ষেপণের জন্য আরএসইএনসি-জেড-এর উপর নির্ভর করবে, জিজেপ তারপর আরএসএনসি -z ব্যবহার করবে। কোনটি সবচেয়ে কার্যকর হবে তা আমি নিশ্চিত নই যেহেতু ঠিক কীভাবে rsync -z বাস্তবায়িত হয় তা সম্পর্কে আমি নিশ্চিত নই। কোন বিকল্প কোন বিকল্প দ্রুত হবে?

উত্তর:


11

আপনি "পুরো জিনিসটি জিজিপ" করতে পারবেন না কারণ গিজিপ কেবল একটি ফাইল সংকোচন করতে পারে, আপনি একটি টার ফাইল তৈরি করতে এবং এটি "পুরো জিনিসটি জিজিপ" করতে gzip করতে পারেন তবে আপনি কেবল পরিবর্তিত ফাইলের অনুলিপি করার জন্য RSSync সক্ষমতা হ্রাস করবেন।

সুতরাং প্রশ্নটি হ'ল: জিএসপিএন বা জিএসসিএনসি-র বিকল্পটি নির্ভর করতে আমাকে জিএসপিড করা বা ফাইল নির্ভর করা উচিত file
উত্তর সম্ভবত আপনি নিজের সার্ভারে ফাইল আনজিপ করা চান না? আমি হ্যাঁ অনুমান করি, তাই আরএসসিএনকি করার আগে আপনি কীভাবে জিপিপ ফাইল পরিচালনা করতে পারবেন তা আমি দেখতে পাচ্ছি না।

কেবলমাত্র পরিবর্তিত ফাইল অনুলিপি করার জন্য আপনার কি আরএসএনসি সক্ষমতার প্রয়োজন হবে না? এই ক্ষেত্রে আপনার স্টাফ থাকা একটি টার.gz ফাইলের স্কিপ করার পরিবর্তে আরএসসিএনকি ব্যবহার করছেন কেন?

যাইহোক প্রশ্নের উত্তর দেওয়ার জন্য, জিএসআইপি জিজেপ জিজিপ সহ ফাইল জিজিপিংয়ের তুলনায় কিছুটা কম দক্ষ হবে। কেন? যেহেতু আরএসসিএনসি চিট দ্বারা ডেটা টুকরোটি জিপ করবে, সুতরাং একটি ছোট্ট ডেটা টেবিলটি তৈরি করতে ব্যবহৃত হবে যেটি জিপিআইপি সংক্ষেপণের জন্য ব্যবহার করে, একটি বৃহত ডেটা (জিজিপ পুরো ফাইলটি একবারে ব্যবহার করবে) একটি আরও ভাল সংক্ষেপণ টেবিল দেয়। তবে বেশিরভাগ ক্ষেত্রে পার্থক্যটি খুব সামান্য হবে তবে খুব বিরল ক্ষেত্রে পার্থক্যটি আরও গুরুত্বপূর্ণ হতে পারে (যদি আপনার খুব দীর্ঘ পার্থক্যযুক্ত একটি খুব বড় ফাইল থাকে তবে ফাইলটিতে অনেক সময় পুনরাবৃত্তি করা হয় তবে একে অপরের থেকে অনেক দূরে থাকে) (এটি হ'ল একটি খুব সরল উদাহরণ)


1
আমি কীভাবে তাঁর প্রশ্নটি পড়েছি সে থেকে সে তারের ওপরে উঠার জন্য সংকোচ করবে এবং তারপরে অন্যদিকে সংক্রামিত করবে। আমি জিএসপি-র উপরে আরএসসিএনসি নেটিভ সংকোচনের সাথে যাব, কেবল কারণ 50 জিবি সংক্ষেপণ এবং ডিকম্প্রেসিং একটি উল্লেখযোগ্য পরিমাণ সময় নিতে পারে। তারপরে আবার, ফাইলগুলি বেশিরভাগই পাঠ্য থাকলে তারা খুব সুন্দরভাবে সংকোচিত হবে। তৃতীয় বিকল্প: ফাইলগুলি একটি ইউএসবি ড্রাইভে অনুলিপি করুন।

3
@ র্যান্ডলফ পটার: হ্যাঁ স্থানীয়ভাবে স্থানীয়ভাবে ৫০ জিবি সংক্ষেপে সময় নষ্ট হয়ে গেছে তবে আরএসসিএন -z ব্যবহারের চেয়ে আরএসইএনসি বেশি হবে, যাইহোক, যদি সে নিজেই আরএসএনসি-র সুবিধা নিতে চায় (কেবলমাত্র পরিবর্তিত ফাইলের অনুলিপি করতে পারে) এর আগে সংকোচন করা যায় না
রেডিয়াস

খুব ভাল পয়েন্ট। আপনার জন্য +1 :-)

আরও মনে রাখবেন যে জিজিপ একটি স্ট্রিম সংকোচকারী।
ফ্যালকন মোমোট

6

আপনি যদি কেবল একবার ডেটা অনুলিপি করেন তবে আরএসসিএন নিজেই এবং এটি একটি বড় জয় হতে পারে না। আপনি যদি জিজিপ, (বা টার + জিজিপ পছন্দ করেন যেহেতু আপনার অনেকগুলি ফাইল রয়েছে) তবে আপনি এর মতো কিছু চেষ্টা করতে পারেন:

tar -cz /home/me/source/directory | ssh target tar -xz --directory /home/you/target/directory

এতে আপনি যে সংকোচনের সন্ধান করছেন তা পেয়ে যাবে এবং আরএসসিএনকে যুক্ত না করে সরাসরি অনুলিপি করবে।


আমি সম্ভবত জিজিপির পরিবর্তে এর জন্য --lzop ব্যবহার করব ... অনেক দ্রুত এবং নিম্ন সিপিইউ ওভারহেড এবং এখনও পাঠ্যের জন্য ভাল সংকোচন অনুপাত রয়েছে
আন্ডারআরন হয়েছে

5

@ অ্যাডিয়াস, কীভাবে gzipকাজ করে তা চয়ন করার জন্য একটি ছোট্ট নীট - gzipএটি একটি ব্লক-ভিত্তিক সংক্ষেপণ অ্যালগরিদম এবং এতে মোটামুটি সহজ one সম্পূর্ণ ফাইলটি সংক্ষেপণ টেবিলের জন্য বিবেচনা করা হয় না - কেবলমাত্র প্রতিটি ব্লক। অন্যান্য অ্যালগরিদমগুলি ফাইলের সম্পূর্ণ সামগ্রী ব্যবহার করতে পারে এবং কয়েকটি এমন রয়েছে যা একাধিক ব্লক বা এমনকি ভেরিয়েবল-আকারের ব্লকগুলির সামগ্রী ব্যবহার করে use একটি আকর্ষণীয় উদাহরণ হ'লlrzip , একই লেখক হিসাবে rsync!

gzipএর অ্যালগোরিদমের উপর চর্মসার

সুতরাং, সংক্ষেপে, rsync -zসম্ভবত ব্যবহারের ফলে প্রথম ইঙ্গিত হিসাবে একই সংকোচনের ফলন হবে gzip- এবং আপনি যদি কোনও ডিফারেনশিয়াল ট্রান্সফার করছেন তবে rsyncএর ডিফিং অ্যালগরিদমের কারণে আরও ভাল ।

এটি বলেছিল, আমি মনে করি যে কোনও একটি অ-ডিফারেনশিয়াল স্থানান্তরের জন্য নিয়মিতভাবে scpহস্তমৈথুনে প্রহার rsyncকরতে পারে - কারণ এটির rsyncঅ্যালগরিদমের তুলনায় অনেক কম ওভারহেড থাকবে (যা scpযাইহোক হুডির নীচে ব্যবহার করবে !)

যদি আপনার নেটওয়ার্কটি কোনও বাধা হয়ে দাঁড়ায়, তবে আপনি তারে সংক্ষেপণটি ব্যবহার করতে চান।

যদি আপনার ডিস্কগুলি যদি বাধা হয় তবে একটি সংকুচিত ফাইলটিতে স্ট্রিমিং করা ভাল। (উদাহরণস্বরূপ, netcatএকটি যন্ত্র থেকে অন্য মেশিনে প্রবাহিত gzip -c)

সাধারণত, যদি গতি কী হয় তবে একটি বিদ্যমান ফাইলকে হাতের আগে সংকোচন করা ব্যর্থ।

টিমটোড্ডি, ওয়াইএমএমভি, আইএনএল, ইত্যাদি


2

এই লোকটির মতে এটি ব্যবহার করা কেবল দ্রুত হতে পারেrsync -z , যদিও আমি অনুমান করি যে স্থানান্তর করার আগে এটি প্রতিটি ফাইলকে প্রথমে সংকুচিত করার মতো দক্ষতার কাছাকাছি হবে। এটি অন্যদের পরামর্শ অনুসারে টার স্ট্রিম সংক্ষেপণের চেয়ে দ্রুত হওয়া উচিত।

ম্যান পৃষ্ঠা থেকে:

          Note  that  this  option  typically  achieves better compression
          ratios than can be achieved by using a compressing remote  shell
          or  a  compressing  transport  because it takes advantage of the
          implicit information in the matching data blocks  that  are  not
          explicitly sent over the connection.

1
আমি যদি আপনার একটি দ্রুত নেটওয়ার্ক থাকে তবে rsync -z এর সাথে --compress-level = 1 ব্যবহার করার পরামর্শ দেব। মোট ট্রান্সফারের সময়টি হ্রাস করার জন্য আপনি সিপিইউ বা ডিস্ক আইও নয়, নেটওয়ার্কটি আপনার বাধা হয়ে উঠতে চান। নেটওয়ার্কটি যদি ধীর গতিতে থাকে তবে ডিফল্ট -z (যা gzip -6 এর সমতুল্য) আমি এখনও মনে করি প্রক্রিয়া নেটওয়ার্ককে আবদ্ধ করতে পারি।
rmalayter

1

যেহেতু উভয় স্ক্র্যাপযুক্ত সংযুক্ত ফাইল এবং আরএসসিএনসি একই স্থানান্তর সময় গ্রহণ করবে, তাই "এই কাজটি করার সবচেয়ে কার্যকর উপায় "টি কমপ্রেস, ট্রান্সফারের পরিবর্তে অন-ফ্লাই সংক্ষেপণ হতে পারে।

"দৃness়তা" ছাড়াও অন্যান্য বিবেচনার মধ্যে রয়েছে:

সমস্ত ফাইল স্থানান্তরিত না হলে RSSync সহজেই পুনরায় চালু করা যায়।

rsync রিমোট মেশিনে ফাইলগুলি বজায় রাখতে ব্যবহার করা যেতে পারে।

স্থানীয় টার বা gzip স্থানীয় স্থান প্রয়োজন।

টার্গেট মেশিন এবং ফায়ারওয়াল উভয়ের জন্য পোর্ট ব্যবহার বিবেচনা: 1) স্কিপ 22 পোর্ট ব্যবহার করে (ডিফল্টরূপে) যা গ্রহণযোগ্য নাও হতে পারে। 2) আরএসসিএনসি ব্যবহারকারীদের পোর্ট 873 (ডিফল্টরূপে)

আমি নিশ্চিত নই কেন কেন ব্যাসার্ধের প্রত্যাশা মূল পোস্টারটি আনজিপড ফাইলগুলি সঞ্চয় করা চায় না।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.