বিট পাইপ - একটি বিশাল ফাইল সঙ্গে বিড়াল এবং grep

Question

আমি বড় 40 গিগাবাইট ফাইল বিড়াল এবং grep চেষ্টা করছি। কিছু আউটপুট পরে, আমার প্রক্রিয়া মারা যায়।

কোন ধারণা কি সমস্যা হতে পারে? ওএসএক্স ব্যবহার করে

[1]    37392 broken pipe  cat output.txt |
       37393 killed       grep --color=auto -C 20 201804090004054066628236

আমি তার কারণ নিশ্চিত করতে পারেন grep মেমরি ব্যবহার. তার মেমরি ব্যবহার প্রায় জিবি এর পর্যন্ত অঙ্কুর

Answer 1

দেখতে cat কারণ ভাঙা পাইপ রিপোর্ট grep মারা যান. প্রসেসগুলি খুব বেশি মেমরি এবং OOM (মেমরির বাইরে) হত্যাকারীকে গ্রাস করলে এটি সাধারণত ঘটবে। আপনি ছাড়া চেষ্টা করতে পারে বেহুদা cat:

grep --color=auto -C 20 201804090004054066628236 output.txt

Comments

grep মেমরিতে খুব বেশি তথ্য সংরক্ষণ করে না তাই ওওএম কিছুটা অসম্ভব বলে মনে হয় -C 20 প্রতিটি গিগাবাইট ক্রম যা লাইন সংগ্রহ করে।

— tripleee

হ্যাঁ, কিন্তু আমি আরেকটা কারণ দেখতে পাচ্ছি না কেন grep ব্যবহারকারী ছাড়া অন্য কিছু দ্বারা হত্যা করা হবে।

— l0b0