একটি সমান্তরাল ফাইল archiver আছে (ট্যারের মত)?

Question

ফাইলের সমান্তরাল সংরক্ষণাগার জন্য এখানে কিছু আছে?

টার দুর্দান্ত, তবে আমি টেপ সংরক্ষণাগারগুলি ব্যবহার করি না এবং আমার এসএমপি হওয়ার কারণে আর্কাইভটি দ্রুত ঘটে (বিজিপ 2 এর মতো সংকোচনের সাথে) হওয়া আমার পক্ষে আরও গুরুত্বপূর্ণ।

Comments

টার কেবল টেপগুলির চেয়ে বেশি জন্য। নামটি মূলত টেপ থেকে এসেছে, তবে আজকাল আমি দেখতে পাচ্ছি যে আপনি যখন thingsচ্ছিক সংকোচনের সাথে ডিরেক্টরি কাঠামোর তথ্য বজায় রেখে পুনরায় বিতরণের জন্য কোনও একক ফাইলে জিনিস রাখতে চান তখন এটি বেশিরভাগ ক্ষেত্রেই ব্যবহৃত হচ্ছে।

— কেভিন এম

বেশ কয়েকটি সমান্তরাল সংক্ষেপণের সরঞ্জাম এখানে বেঞ্চমার্কে রয়েছে vbtechsupport.com/1614 তবে তারের একটি সমান্তরাল সংস্করণ এখনও খুঁজে পাওয়া যায় নি

— p4guru

যে উত্তর দেওয়া হয়েছে তার কোনওটিই (স্বীকৃত এক সহ) হ্যান্ডেল ডিরেক্টরিগুলি , যতক্ষণ না আমি বলতে পারি - তারা ফাইলগুলি পরিচালনা করে । আমি কেবল zipডিরেক্টরি পরিচালনা করতে সক্ষম হিসাবে দেখছি : |

— ওয়ারেন 17

আসলে, কি আমরা সাধারণত কি প্যাকেজ হয় ডিরেক্টরি মধ্যে tarআর্কাইভ, এবং তারপর একটি ফাইল সংকোচকারী ব্যবহার প্যাকেজ (মত কম্প্রেস gzip, pigz, ইত্যাদি)। আপনি এটি দুটি ধাপে করতে পারেন, তবে একটি একক পদক্ষেপেও , যেহেতু তারা স্ট্যান্ডার্ড ইনপুট / আউটপুট থেকে ডেটা স্ট্রিমে কাজ করতে পারে। ফলাফলগুলি খুব অনুরূপ zip, তবে আরও বহুমুখী।

— জের্লোস

Answer 1

আমি মনে করি আপনি পিবিজিপ 2 খুঁজছেন:

PBZIP2 bzip2 ব্লক-বাছাই করা ফাইল সংক্ষিপ্তকারীর একটি সমান্তরাল বাস্তবায়ন যা pthreads ব্যবহার করে এবং এসএমপি মেশিনে লিনিয়ার স্পিডআপের কাছাকাছি অর্জন করে।

কটাক্ষপাত আছে প্রকল্পের হোমপেজে বা আপনার প্রিয় প্যাকেজ সংগ্রহস্থলের চেক করুন।

Comments

এছাড়াও আপনি চেষ্টা করে দেখতে পারেন pigzএবং pxzসমান্তরাল বাস্তবায়নের জন্য gzipএবং xz। আপনি একটি কমান্ড ব্যবহার করে সংকোচন করতে পারেন tar c dir | pigz -c > dir.tar.gzএবং ব্যবহার করে ডিকম্প্রেস করতে পারেন pigz -cd dir.tar.gz | tar xf -।

— জের্লোস

কমান্ড আজ হবে tar -cf dir.tar.gz -I pigz dirএবং tar -xf dir.tar.gz -I pigz। এছাড়াও xzথ্রেডযুক্ত: ব্যবহার XZ_OPT=-T0 tar -cJf dir.tar.gz dirএবং XZ_OPT=-T0 tar -xJf dir.tar.gz।

— ধনী

Answer 2

-mmtপতাকাটি দেওয়া হলে 7zip একাধিক থ্রেডে চলতে পারে তবে কেবল 7z-সংরক্ষণাগারগুলিতে সংকুচিত হলে, যা দুর্দান্ত সংকোচনের প্রস্তাব দেয় তবে আর্কাইভগুলি তৈরি করার জন্য জিপের চেয়ে সাধারণত ধীর হয়। এরকম কিছু করুন:

7z a -mmt foo.7z /opt/myhugefile.dat

Comments

সংক্ষিপ্তসার অনুপাত এবং কমপ / ডিকোপ সময়, র্যান্ডম অ্যাক্সেস বনাম আরও ভাল সংক্ষেপণ, এবং এর মতো স্টাফের মধ্যে ট্রেড অফগুলি নিয়ন্ত্রণের জন্য ভাল সমর্থন সহ 7 জেড একটি দুর্দান্ত তীরচিহ্ন। তবে এটি প্রায় টাকার মতো মেটাডেটা সঞ্চয় করে না, আপনি মালিক / অনুমতি হারাবেন।

— পিটার কর্ডেস

দেখে মনে হচ্ছে ডিফল্টরূপে এই বিকল্পগুলি চালু রয়েছে - কমপক্ষে আমি এর সাথে কোনও কার্যকারিতা বৃদ্ধি পাইনি এবং 7 জনের আউটপুটে উভয় ক্ষেত্রেই আমার সিপিইউর পরিমাণের পরিমাণ রয়েছে।

— আন্দ্রে স্টারডুবটসেভ

Answer 3

ওপি সমান্তরাল আর্কাইভ সম্পর্কে জিজ্ঞাসা করেছিল, সমান্তরাল সংকোচনের নয়।

যদি উত্স উপাদানটি এমন কোনও ফাইল সিস্টেম থেকে আসে যেখানে বিভিন্ন ডিরেক্টরি / ফাইলগুলি বিভিন্ন ডিস্কে থাকতে পারে, বা এমন একক দ্রুত ডিস্ক যা সংক্ষিপ্তকরণের সরঞ্জামগুলির গুলি ইনপুট গতি ছাড়িয়ে যায় তবে প্রকৃতপক্ষে একাধিক স্ট্র্যাপ ইনপুট থাকা সুবিধাজনক হতে পারে সংকোচনের স্তর যেতে।

অর্থবহ প্রশ্নটি হয়ে ওঠে, সমান্তরাল সংরক্ষণাগার থেকে আউটপুটটি কেমন দেখাচ্ছে? এটি এখন কেবল একটি একক ফাইল বর্ণনাকারী / নয় stdout, প্রতি থ্রেডের জন্য একটি ফাইল বর্ণনাকারী।

এখনও অবধি এর একটি উদাহরণ পোস্টগ্র্যাস্কিলের সমান্তরাল ডাম্প মোড pg_dump, এটি কোনও ডিরেক্টরিতে ডাম্প করে, টেবিলগুলির সেট আপ করার জন্য থ্রেডগুলি সহ ব্যাক আপ করার জন্য (ওয়ার্ক সারি ডাব্লু / একাধিক থ্রেড সারিটি গ্রহণ করে)।

আমি মূল ধারার যে কোনও প্রকৃত সমান্তরাল সংরক্ষণাগার সম্পর্কে নিশ্চিত নই। জেডএফএস-তে ব্যবহারের জন্য সোলারিস টারের জন্য একটি হ্যাক ছিল: http://www.maier-komor.de/mtwrite.html

কিছু উত্সর্গীকৃত ব্যাকআপ সরঞ্জাম রয়েছে যা সফলভাবে একাধিক থ্রেড চালায়, তবে আরও অনেকগুলি যা কেবলমাত্র একটি উচ্চ স্তরে ডিরেক্টরি দ্বারা ওয়ার্ক লোডকে বিভক্ত করে।

Answer 4

tar --use-compress-program=pigz  ....

pigzআপনার প্রিয় সমান্তরাল সংক্ষেপণ প্রোগ্রামের সাথে প্রতিস্থাপন করুন । ব্যবহারের tarকারণ হ'ল এটি মালিক, গোষ্ঠী, অনুমতিগুলি সঞ্চয় করতে পারে। এই মেটাডেটা প্রায়শই দরকারী (উদাহরণস্বরূপ, একটি জটিল সিস্টেমে একটি ডির গাছ পুনরুদ্ধার)।

Comments

tar -c --use-compress-program = pigz -f myDirectory.tar.gz myDirectory /

— মার্কাসএন

টারের জন্য সমস্ত বিকল্প, এএআইএআইকি, -Iবিকল্প হিসাবে সাধারণভাবে ব্যবহার করা যেতে পারে , যা একই --use-compress-program। সুতরাং, যেমন হিসাবে tar cvzf /some/dir/yournewarchive.tar.gz /directory/tobecompressed --exclude="/directo...."মাল্টি-থ্রেড অপশন প্রয়োগ করা যেতে পারে । এটি সেরা, সবচেয়ে উপযুক্ত উত্তর, আইএমএইচও। ধন্যবাদ @ ইউডুড! :)pigztar -I pigz -cvf /some/dir/yournewarchive.tar.gz /directory/tobecompressed --exclude="/directo..."

— ILMostro_7

Answer 5

পিগজ হ'ল জিজিপের সমান্তরাল বাস্তবায়ন, তবে সংক্ষেপণের জন্য কেবল সংক্ষেপণের জন্য একাধিক প্রসেসর ব্যবহার করতে পারে।

Comments

কিছু পরীক্ষা-নিরীক্ষা করেছেন, এবং pigzআসলে একাধিক থ্রেড ব্যবহার করতে পারবেন বলে মনে হয় এছাড়াও যখন decompressing। time tar xf dir.tar.gzএবং এর আউটপুট তুলনা করে দেখুন time pigz -cd dir.tar.gz | tar xf -(আমার 4-কোর সিপিইউতে এটি অর্ধেক সময়ের চেয়ে কিছুটা কম সময় নেয়)।

— জের্লোস

@ জের্লোস timeপাইপলাইনে ব্যবহার করা প্রথম কমান্ডের সময় কেবলই আসবে। pigzডকুমেন্টেশন থেকে : "ডিকম্প্রেশন সমান্তরাল হতে পারে না, কমপক্ষে সেই উদ্দেশ্যে বিশেষভাবে প্রস্তুত ডিফল্ট স্ট্রিমগুলি ছাড়া না। ফলস্বরূপ, পিগজ সংক্ষেপণের জন্য একটি একক থ্রেড (মূল থ্রেড) ব্যবহার করে, তবে পড়ার জন্য আরও তিনটি থ্রেড তৈরি করবে, লেখার জন্য এবং গণনা পরীক্ষা করে দেখুন, যা কিছু পরিস্থিতিতে ডিকম্প্রেশনকে গতিময় করতে পারে। "

— augurar

এর রয়েছে pixz ।

— ২২77 3

Answer 6

tarকেবল একটি সংরক্ষণাগার বিন্যাস যা ফাইলগুলি অনুলিপি করা এবং ডিরেক্টরি ট্রি এবং মূল ফাইলের বৈশিষ্ট্যগুলি সংরক্ষণ করতে খুব ভাল। ব্যাকআপগুলি তৈরি করার জন্য টিএআর খুব ভাল, কারণ সমস্ত কিছু সংরক্ষিত। আমি pbzip2খুব ভাল ফলাফলের সাথে সিস্টেম ব্যাকআপের জন্য আমি যে ট্যুর সংরক্ষণাগারটি ব্যবহার করি তা সংক্ষেপ করতে ব্যবহার করি।

এই কমান্ডটি কৌশলটি করা উচিত।

tar -cpS "infile" | pbzip2 > "outfile"

pbzip2 একটি পৃথক সংক্ষেপণ ইউটিলিটি দিয়ে প্রতিস্থাপন করা যেতে পারে, তবে সতর্কতা অবলম্বন করা উচিত, বড় ফাইলগুলি সংকুচিত / সঙ্কোচিত করার সময় এলজেডএমএ সংক্ষেপণ (pxz এর মতো) একটি টন র‌্যাম ব্যবহার করে (আমি 8 গিগাবাইট র‌্যামের সাহায্যে 8 টি থ্রেড চালানোর চেষ্টা করেছি, এবং pxz ডিস্কে সরে যেতে শুরু করেছি)।

Answer 7

অন্য প্রতিযোগী হলেন lbzip2। এটি pbzip2 এর সাথে বেশ মিল

Answer 8

যতদূর সংক্ষেপণ হিসাবে বিবেচনা করা হয়, xzযেহেতু সংস্করণ 5.2 -Tবিকল্পের মাধ্যমে সমান্তরাল সংক্ষেপণ সমর্থন করে ।