প্রশ্ন ট্যাগ «gnu-parallel»

আমি প্রচুর বিশাল জিজেড্র ফাইলটি এন-লাইন সংক্ষেপিত জিজেপড অংশগুলিতে বিভক্ত করার চেষ্টা করছি। প্রদর্শন করতে, আসুন নিম্নলিখিতগুলি বিবেচনা করুন: seq 100 | gzip > big_file0.gz আমি নিম্নলিখিত হিসাবে এটি একাধিক 10-লাইন সংক্ষেপিত ফাইলগুলিতে বিভক্ত করতে পারি: zcat big_file0.gz | split -l 10 --filter='gzip > $FILE.gz' - big_file0. আসুন জেনে নিই …

3 shell  gnu-parallel 

আমার বেশ কয়েকটি ডিরেক্টরি রয়েছে যার মধ্যে হাজার হাজার জিপিপ ফাইল রয়েছে (সামগ্রিকভাবে আমরা 1 এম ফাইলের কথা বলছি)। এর মধ্যে কয়েকটি ফাইল দূষিত এবং তাদের বেশিরভাগই আকারে সত্যিই ছোট (কয়েকটি কেবি)। এগুলির প্রায় সমস্ত বিষয়বস্তুতে অত্যন্ত মিল, অতএব তাদের সকলকে একসাথে সংকুচিত করে বর্তমান পরিস্থিতির সাথে সংকোচনের অনুপাতকে আরও …

3 linux  bash  compression  gnu-parallel 

আমার কাছে প্রতি 300MB এর প্রায় 3,000 ফাইল রয়েছে এবং আমি আমার 16 টি কোর সার্ভারের সাথে যত তাড়াতাড়ি সম্ভব সিরিজ ধারাবাহিক অনুসন্ধান করতে চাই। এটি আমি চেষ্টা করেছিলাম কিন্তু এটি ফাইলগুলির সন্ধানের সমান্তরাল বলে মনে হয় না। sudo find /mnt2/preprocessed/preprocessed/mo* | sudo xargs awk '/substring/ {c++} END {print c}' …

1 bash  awk  gnu-parallel