ব্যাশে কলামে অনন্য মানের গণনা পাওয়া

Question 1

আমার বেশ কয়েকটি কলাম সহ ট্যাব সীমিত ফাইল রয়েছে। আমি একটি ফোল্ডারে সমস্ত ফাইলের জন্য একটি কলামে বিভিন্ন মানগুলির সংঘটনগুলির গণনা গণনা করতে চাই এবং তাদের গণনার ক্রমক্রমে ক্রম অনুসারে বাছাই করতে চাই (সর্বোচ্চ গণনা আগে)। আমি লিনাক্স কমান্ড লাইনের পরিবেশে এটি কীভাবে সম্পাদন করব?

এটি যে কোনও সাধারণ কমান্ড লাইন ভাষা যেমন awk, পার্ল, পাইথন ইত্যাদি ব্যবহার করতে পারে

Question 2

দুটি কলামের জন্য ফ্রিকোয়েন্সি গণনা দেখতে (উদাহরণস্বরূপ):

awk -F '\t' '{print $2}' * | sort | uniq -c | sort -nr

fileA.txt

z    z    a
a    b    c
w    d    e

fileB.txt

t    r    e
z    d    a
a    g    c

fileC.txt

z    r    a
v    d    c
a    m    c

ফলাফল:

Question 3

শেলটিতে এটি করার একটি উপায় এখানে রয়েছে:

FIELD=2
cut -f $FIELD * | sort| uniq -c |sort -nr

এই ধরণের জিনিসটি বাশ এ দুর্দান্ত।

Question 4

গনুহ সাইটে এই সুন্দর awk স্ক্রিপ্ট, যা উভয় শব্দ এবং তাদের ফ্রিকোয়েন্সি ছাপে দাড়ায়।

সম্ভাব্য পরিবর্তনগুলি:

উতরান ক্রমের ফলাফল দেখতে আপনি sort -nr(এবং বিপরীত wordএবং freq[word]) মাধ্যমে পাইপ করতে পারেন।
আপনি যদি একটি নির্দিষ্ট কলাম চান, আপনি লুপের জন্য বাদ দিতে পারেন এবং কেবল লিখতে পারেন freq[3]++- কলাম নম্বর দিয়ে 3 প্রতিস্থাপন করুন।

এখানে যায়:

 # wordfreq.awk --- print list of word frequencies

 {
     $0 = tolower($0)    # remove case distinctions
     # remove punctuation
     gsub(/[^[:alnum:]_[:blank:]]/, "", $0)
     for (i = 1; i <= NF; i++)
         freq[$i]++
 }

 END {
     for (word in freq)
         printf "%s\t%d\n", word, freq[word]
 }

Question 5

পার্ল

এই কোডটি সমস্ত কলামের উপস্থিতি গণনা করে এবং তাদের প্রত্যেকের জন্য একটি সাজানো প্রতিবেদন মুদ্রণ করে:

# columnvalues.pl
while (<>) {
    @Fields = split /\s+/;
    for $i ( 0 .. $#Fields ) {
        $result[$i]{$Fields[$i]}++
    };
}
for $j ( 0 .. $#result ) {
    print "column $j:\n";
    @values = keys %{$result[$j]};
    @sorted = sort { $result[$j]{$b} <=> $result[$j]{$a}  ||  $a cmp $b } @values;
    for $k ( @sorted ) {
        print " $k $result[$j]{$k}\n"
    }
}

পাঠ্যটি কলামওয়ালু হিসাবে সংরক্ষণ করুন.পিএল
এটি হিসাবে চালান: perl columnvalues.pl files*

ব্যাখ্যা

লুপের সময় শীর্ষ স্তরে:
* সম্মিলিত ইনপুট ফাইলগুলির প্রতিটি লাইন ধরে লুপ করুন
* লাইনটি @ ফিল্ডস অ্যারেতে বিভক্ত করুন
* প্রতিটি কলামের জন্য ফলাফল অ্যারে অফ-হ্যাশ ডেটা কাঠামো বৃদ্ধি করুন

লুপের জন্য শীর্ষ স্তরে:
* ফলাফলের অ্যারের উপরে লুপ
করুন * কলাম নম্বরটি মুদ্রণ করুন * সেই কলামে
ব্যবহৃত মানগুলি অর্জন করুন * সংখ্যার সংখ্যা
অনুসারে মানগুলি বাছাই করুন * মানের
ভিত্তিতে গৌণ সাজান (উদাহরণস্বরূপ বি বনাম জি বনাম) মি বনাম z)
* বাছাই করা তালিকা ব্যবহার করে ফলাফলের হ্যাশটির মাধ্যমে আইট্রেট
করুন * প্রতিটি সংখ্যার মান এবং সংখ্যা মুদ্রণ করুন

@ ডেনিস দ্বারা সরবরাহিত নমুনা ইনপুট ফাইলের ভিত্তিতে ফলাফল

column 0:
 a 3
 z 3
 t 1
 v 1
 w 1
column 1:
 d 3
 r 2
 b 1
 g 1
 m 1
 z 1
column 2:
 c 4
 a 3
 e 2

.csv ইনপুট

যদি আপনার ইনপুট ফাইলগুলি .csv হয় তবে এতে পরিবর্তন /\s+/করুন/,/

অবরুদ্ধকরণ

কুরুচিপূর্ণ প্রতিযোগিতায় পার্ল বিশেষভাবে সজ্জিত।
এই ওয়ান-লাইনার একই কাজ করে:

perl -lane 'for $i (0..$#F){$g[$i]{$F[$i]}++};END{for $j (0..$#g){print "$j:";for $k (sort{$g[$j]{$b}<=>$g[$j]{$a}||$a cmp $b} keys %{$g[$j]}){print " $k $g[$j]{$k}"}}}' files*

Question 6

রুবি (১.৯+)

#!/usr/bin/env ruby
Dir["*"].each do |file|
    h=Hash.new(0)
    open(file).each do |row|
        row.chomp.split("\t").each do |w|
            h[ w ] += 1
        end
    end
    h.sort{|a,b| b[1]<=>a[1] }.each{|x,y| print "#{x}:#{y}\n" }
end