সুতরাং আমার কাছে এরকম বিশাল ফাইল রয়েছে ...
1/20/2016,somerandomdata
1/20/2016,somerandomdata
1/20/2016,somerandomdata
1/20/2016,somerandomdata
1/21/2016,somerandomdata
1/21/2016,somerandomdata
1/21/2016,somerandomdata
1/21/2016,somerandomdata
1/22/2016,somerandomdata
1/22/2016,somerandomdata
1/22/2016,somerandomdata
1/22/2016,somerandomdata
এবং আমি এটিকে প্রথম কলামের উপর ভিত্তি করে ছোট ছোট ফাইলগুলির গুচ্ছগুলিতে ভাগ করতে চাই। সহজ: এই জাতীয় উপায়ে ব্যবহার করুন:
awk -F '[,/]' '{print > filename$1$2$3".dat"}'
এখানে ধরা আছে: আমি আউটপুট ফাইলগুলি সংকুচিত করতে চাই। সুতরাং, আমি এগিয়ে যেতে এবং সত্য পরে এই কাজ করতে পারে ...
find . -name "filename*.dat" | xargs -l xz
তার সাথে সমস্যাটি হ'ল আমি চাই xxটি ডেটা বিভক্ত হওয়ার পরিবর্তে পাইপলাইনে থাকা উচিত। এটার মতো কিছু:
curl "url" | grep "blah" | xz -c > filename.dat.xz
অবশ্যই, এটি আসলে ফাইলটি বিভক্ত করে না।
পাইপলাইনে এটির কারণটি হ'ল কারণ আমি ডেটা ডাউনলোড করছি এবং একই সাথে সংযুক্তি চালাতে চাইছি পরিবর্তে ডাউনলোডের পরে ing (আমি দৃ sure়ভাবে নিশ্চিত যে এটি জিনিসগুলিকে দ্রুততর করে তুলবে, তবে আমি যদি ভুল হয় তবে আমাকে সংশোধন করুন)
তো, আমার লক্ষ্যটি এমন কিছু ...
curl "url" | grep "blah" | awk -F '[,/]' '{print > filename$1$2$3".dat"}' | xz -c > filename.dat.xz
কিন্তু না, কারণ এটি স্পষ্টতই কাজ করবে না
আপনার যদি আমার সমস্যার আরও ভাল সমাধান থাকে বা আপনি যদি মনে করেন আমি সম্পূর্ণ বোকা কিছু করছি তবে আমি নমনীয়।