$ cat data.txt
aaaaaa
aaaaaa
cccccc
aaaaaa
aaaaaa
bbbbbb
$ cat data.txt | uniq
aaaaaa
cccccc
aaaaaa
bbbbbb
$ cat data.txt | sort | uniq
aaaaaa
bbbbbb
cccccc
$
আমার যে ফলাফলটি প্রয়োজন তা হ'ল ফাইলে বিবৃতিগুলির মূল ক্রম বজায় রেখে সমস্ত ডুপ্লিকেটগুলি সরিয়ে ফেলা মূল ফাইল থেকে সমস্ত লাইন প্রদর্শন করা (কেবল একের পর এক নয়) ।
এখানে, এই উদাহরণে, যে ফলাফলটি আমি আসলে খুঁজছিলাম
aaaaaa
cccccc
bbbbbb
আমি সাধারণভাবে এই সাধারণ uniqক্রিয়াকলাপটি কীভাবে সম্পাদন করতে পারি ?
উত্তর:
perl -ne 'print unless $seen{$_}++' data.txt
বা, যদি আপনার অবশ্যই এটির অকেজো ব্যবহার থাকেcat :
cat data.txt | perl -ne 'print unless $seen{$_}++'
awkপার্লের অভাব রয়েছে এমন সিস্টেমগুলির জন্য এখানে একটি অনুবাদ রয়েছে:
awk '!seen[$0]++' data.txt
cat data.txt | awk '!seen[$0]++'
if, print: প্রথম বন্ধনী, এবং ধনুর্বন্ধনীawk '!seen[$0]++'
'!LarryWall[$0]++'সমস্ত অজানা যত্নের জন্য এটিতে পরিবর্তন করতে পারেন , তবে "দেখা" লোকজনকে প্রোগ্রামটি আরও ভালভাবে বুঝতে সহায়তা করে।
জন এর একটি সরঞ্জাম রয়েছে যার নাম রয়েছে unique:
usr@srv % cat data.txt | unique out
usr@srv % cat out
aaaaaa
cccccc
bbbbbb
একটি একক কমান্ডলাইনে অতিরিক্ত সরঞ্জাম ছাড়াই এটি অর্জন করা কিছুটা জটিল:
usr@srv % cat data.txt | nl | sort -k 2 | uniq -f 1 | sort -n | sed 's/\s*[0-9]\+\s\+//'
aaaaaa
cccccc
bbbbbb
nlলাইনের সামনে লাইন নম্বর প্রিন্ট করে, সুতরাং আমরা sort/ uniqতাদের পিছনে থাকলে আমরা লাইনের মূল ক্রমটি পুনরুদ্ধার করতে পারি। sedকেবলমাত্র পরে লাইন নম্বরগুলি মুছবে;)
nl -ba -nrz data.txt | sort -k2 -u | sort | cut -f2
আমি এটি ব্যবহার করতে পছন্দ করি:
cat -n data.txt | sort --key=2.1 -b -u | sort -n | cut -c8-
cat -n লাইন সংখ্যা যুক্ত করে,
sort --key=2.1 -b -u দ্বিতীয় ক্ষেত্রের ধরণ (যুক্ত লাইন সংখ্যার পরে), নেতৃস্থানীয় ফাঁকা উপেক্ষা করে অনন্য লাইন রেখে
sort -n কঠোর সংখ্যায়িক ক্রমে বাছাই
cut -c8- 8 টি কলাম থেকে EOL পর্যন্ত সমস্ত অক্ষর রাখুন (যেমন, আমরা অন্তর্ভুক্ত রেখা সংখ্যা বাদ দাও)
পার্লের একটি মডিউল রয়েছে যা আপনি ব্যবহার করতে পারেন যা একটি ফাংশন বলে uniq। সুতরাং আপনি যদি পার্লের একটি অ্যারেতে লোড হওয়া আপনার ডেটাটি এভেন করেন তবে আপনি এটিকে অনন্য করে তুলতে কেবল ফাংশনটি কল করুন, তবুও মূল ক্রম বজায় রাখতে পারেন।
use List::MoreUtils qw(uniq)
@output = uniq(@output);
আপনি এই মডিউল সম্পর্কে এখানে আরও পড়তে পারেন: তালিকা :: মোর ইউটিলেট
{ if (!seen[$0]++) print }