আমার কাছে গুচ্ছ জিপ ফাইল রয়েছে যা আমাকে এখন থেকে bzip2 তে রূপান্তর করতে হবে। বর্তমানে, আমি একটি শেল স্ক্রিপ্ট ব্যবহার করছি যা কেবল 'প্রতিটি ফাইলের গানজিপ এবং তারপরে' bzip2 এর। যদিও এটি কাজ করে, এটি সম্পূর্ণ করতে অনেক সময় লাগে ।
এই প্রক্রিয়া আরও কার্যকর করা সম্ভব? আমি ডুব নেওয়ার জন্য এবং প্রয়োজনে বন্দুক এবং বিজিপ 2 এর উত্স কোডগুলি সন্ধান করতে প্রস্তুত, তবে আমি কেবল পরিশোধের বিষয়ে নিশ্চিত হতে চাই। প্রক্রিয়াটির দক্ষতা বাড়ানোর কোনও আশা আছে কি?
উত্তর:
এই প্রশ্নটি অনেক আগে জিজ্ঞাসা করা হয়েছিল যখন pbzip2 হয় উপলব্ধ ছিল না বা স্টিডিন থেকে সংক্ষেপণ করতে সক্ষম ছিল না, তবে আপনি এখন সমান্তরাল এবং pbzip2 ( বিজিপ 2 এর পরিবর্তে ) ব্যবহার করে সংক্ষেপিত এবং সংক্ষেপণ উভয় পদক্ষেপকে সমান্তরাল করতে পারেন :
ls *.gz | parallel "gunzip -c {} | pbzip2 -c > {.}.bz2"
যা bzip2 ব্যবহার করার চেয়ে উল্লেখযোগ্যভাবে দ্রুত ।
এক ধাপে গানজিপ এবং অন্যটিতে bzip2 পরিবর্তে পাইপগুলি ব্যবহার করার ক্ষেত্রে এটি আরও দক্ষ হবে কিনা তা অবাক করি। কিছুটা এইরকমgunzip --to-stdout foo.gz | bzip2 > foo.bz2
আমি দুটি বা আরও বেশি সিপিইউ নিয়ে ভাবছি, এটি অবশ্যই দ্রুততর হবে। তবে সম্ভবত শুধুমাত্র একটি একক কোর দিয়ে। যদিও লজ্জাজনকভাবে আমি এটি চেষ্টা করেও স্বীকার করি নি।
bzip2এবং gzipঅভ্যন্তরীণভাবে সমান্তরাল কাজ করে না, একটি নল ব্যবহার করে আপনি সমান্তরাল তাদের কাজ, কারণ একটি নল পরোক্ষভাবে দুই প্রক্রিয়ার, যা শুরু হয় থাকতে পারে হবে সমান্তরালভাবে চালানো। সুতরাং কমপক্ষে ডিকম্প্রেশন এবং সংক্ষেপণ সমান্তরালে চলবে।
bzip2সিপিইউ ব্যবহারটি gunzipএকটিকে বামন করে তোলে, তাই অনুশীলনে আপনি এখানে যে সমান্তরালতা পান তা ন্যূনতম। ডিস্ক আইও না করা এখনও দুর্দান্ত!
আপনার একাধিক কোর (বা এমনকি একাধিক মেশিন) থাকলে GNU সমান্তরাল ( http://www.gnu.org/software/parallel ) একটি বিকল্প হতে পারে:
ls *.gz | parallel "gunzip -c {} | bzip2 > {.}.bz2"
বিশদ এবং বিকল্পগুলির জন্য টিউটোরিয়াল / ম্যান পৃষ্ঠা পড়ুন।
আপনি বর্তমানে যা করছেন তা হ'ল আপনার সেরা বাজি। কোনও রূপান্তর সরঞ্জাম উপলব্ধ নেই, এবং ইতিমধ্যে gzipped ফাইলটি bzip2 করার চেষ্টা করা আসলেই কোনও বিকল্প নয়, কারণ এটির ঘন ঘন অনাকাঙ্ক্ষিত প্রভাব রয়েছে। যেহেতু অ্যালগরিদম আলাদা, রূপান্তরকরণে নির্বিশেষে মূল ডেটা পুনরুদ্ধার করা জড়িত। অবশ্যই জিজিপিং bzip2 প্রক্রিয়াটির একটি পদক্ষেপ ছিল, এটি দুর্ভাগ্যক্রমে নয়।
gzipলিম্পেল-জিভ 77 bzip2ব্যবহার করে , যখন বুরোস-হুইলারের ব্যবহার করে। বিভিন্ন অ্যালগরিদম, আমি ভয় করি।
মাঝে মাঝে লগ ফাইলগুলির সাথে আমারও একই কাজ করা দরকার। আমি প্রথমে ক্ষুদ্রতম * .gz ফাইলগুলি ( ls -rS), গানজিপ এবং তারপরে শুরু করি এবং সেগুলি পৃথকভাবে bzip2 করি। আমি জানি না যে সরাসরি বিজিপ 2 ইনপুটটিতে গানজিপ আউটপুট পরিচালনা করা সম্ভব কিনা। Bzip2 কমান্ডটি কমপ্রেস করার চেয়ে গঞ্জজিপের চেয়ে কম গতিতে কম হয় যে এটি হোস্টের মেমরি এবং অদলবদল গ্রাস করতে পারে।
উন্নতি বা পরামর্শ স্বাগত। এখানে আমার এক লাইনার:
for i in $(ls -rS *.gz | sed 's/\.gz//'); do gunzip ${i}.gz; bzip2 -9 ${i}; done
আপনার যদি কয়েকটিরও বেশি থাকে, একটি দুর্দান্ত শেল স্ক্রিপ্ট সহ এলজে নিবন্ধটি দেখুন।
http://linuxgazette.net/123/bechtel.html
7 জিপ আরও ভাল কম্প্রেশন পায়, এবং এটি মাল্টি থ্রেডেড।
কয়েক মিনিট আগে এটি করতে হয়েছিল:
find . -name "*.gz" | perl -pi -e 's/\.gz$//g;' | xargs -n1 ./rezip
কোথায় rezipসংজ্ঞায়িত করা হবে:
#!/bin/bash
gunzip -v $1.gz && bzip2 -9v $1
Allyচ্ছিকভাবে, আপনি এটির -Pসাথে একটি বিকল্প ব্যবহার করে এটি বহু-থ্রেডও করতে পারেন xargs, তবে সেই সাথে সতর্ক হন careful (কম শুরু করুন!)
pbzip2উল্লেখ করার জন্য ধন্যবাদ । লিঙ্কটি অন্য কারও জন্য লোড না হলে প্রজেক্ট পৃষ্ঠা এবং ম্যান পৃষ্ঠাটি এখানে রয়েছে ।