আমার একটি বড় ওয়ার্ডলিস্ট নকল করা দরকার। আমি বেশ কয়েকটি কমান্ড চেষ্টা করেছিলাম এবং এখানে এবং এখানে কিছু গবেষণা করেছি যেখানে তারা ব্যাখ্যা করে যে কোনও ওয়ার্ডলিস্টকে নকল করার দ্রুততম উপায়টি অ্যাজে-কে ব্যবহার করছে বলে মনে হচ্ছে।
awk -> ও (এন)? সাজান -> ও (এন লগ এন)?
তবে আমি দেখতে পেয়েছি যে এটি সত্য বলে মনে হচ্ছে না। এখানে আমার পরীক্ষার ফলাফল রয়েছে:
sort -u input.txt -o output.txt আসল 0m12.446s
ব্যবহারকারীর 0m11.347s 0
ম 0.906 এস
awk '!x[$0]++' input.txt > output.txtআসল 0m47.221s
ব্যবহারকারী 0m45.419 গুলি 0
মি 1.260 সেকেন্ড
সুতরাং বাছাই -u ব্যবহার করা 3.7 গুণ দ্রুত হয়। কেন? ডুপ্লিকেশন করতে আরও দ্রুত পদ্ধতি কি আছে?
*********** হালনাগাদ ********
যেহেতু কেউ মন্তব্যগুলিতে উল্লেখ করেছেন, এটি হতে পারে যে আমার ওয়ার্ডলিস্টটি ইতিমধ্যে কিছুটা বাছাই করা হয়েছিল। এই সম্ভাবনাটি বাদ দিতে আমি পাইথন স্ক্রিপ্টটি ব্যবহার করে দুটি ওয়ার্ডলিস্ট তৈরি করেছি ।
তালিকা 1 = 7 এমবি তালিকা 2 = 690 এমবি
ফলাফল awk:
তালিকা 1
বাস্তব 0m1.643s
ব্যবহারকারী 0m1.565s
sys 0m0.062s
তালিকা 2
রিয়েল 2 এম 6.918 এর
ব্যবহারকারী 2 এম
4.499এস 0মি1.345এস
ফলাফল সাজান:
তালিকা 1
বাস্তব 0m0.724s
ব্যবহারকারী 0m0.666s
sys 0m0.048s
তালিকা 2
আসল 1 এম 27.254 গুলি
ব্যবহারকারী 1 এম
25.013এসএস 0এম1.251 এস