আমি আজ এই ব্যবহারের মুখোমুখি হয়েছি। এটা প্রথম নজরে সহজ মনে হলেও নিয়ে তুচ্ছ sort, uniq, sedএবং awkজানা যায় যে এটা nontrivial আছে।
আমি কীভাবে সমস্ত জোড়া নকল লাইন মুছতে পারি ? অন্য কথায়, যদি কোনও প্রদত্ত লাইনের ডুপ্লিকেটগুলির একটিও সংখ্যা থাকে তবে সেগুলি সমস্ত মুছুন; যদি সদৃশ লাইনগুলির একটি বিজোড় সংখ্যা থাকে তবে একটি ব্যতীত সমস্ত মুছুন। (সাজানো ইনপুট ধরে নেওয়া যেতে পারে))
একটি পরিষ্কার মার্জিত সমাধান পছন্দনীয়।
উদাহরণ ইনপুট:
a
a
a
b
b
c
c
c
c
d
d
d
d
d
e
উদাহরণ আউটপুট:
a
d
e
উত্তর:
আমি sedএই প্রশ্নটি পোস্ট করার দীর্ঘ পরে উত্তরটি নিয়ে কাজ করেছি; অন্য কেউ এখনও sedঅবধি ব্যবহার করেন নি এটি এখানে:
sed '$!N;/^\(.*\)\n\1$/d;P;D'
আরও সাধারণ সমস্যা নিয়ে একটু খেলা (তিনটির সেটে লাইন মুছে ফেলার কী? বা চার, বা পাঁচ?) নিম্নলিখিত এক্সটেনসিবল সমাধান সরবরাহ করেছে:
sed -e ':top' -e '$!{/\n/!{N;b top' -e '};};/^\(.*\)\n\1$/d;P;D' temp
তিনটি রেখার অপসারণ প্রসারিত:
sed -e ':top' -e '$!{/\n.*\n/!{N;b top' -e '};};/^\(.*\)\n\1\n\1$/d;P;D' temp
অথবা লাইনগুলির কোয়াড অপসারণ করতে:
sed -e ':top' -e '$!{/\n.*\n.*\n/!{N;b top' -e '};};/^\(.*\)\n\1\n\1\n\1$/d;P;D' temp
sed সর্বাধিক অন্যান্য বিকল্পগুলির তুলনায় অতিরিক্ত সুবিধা রয়েছে, যা প্রকৃতপক্ষে কোনও স্ট্রিমে পরিচালনা করার ক্ষমতা এবং ডুপ্লিকেটগুলি পরীক্ষা করার জন্য প্রকৃত সংখ্যার লাইনের চেয়ে বেশি মেমরি স্টোরেজ নেই।
কুওনলম মন্তব্যে যেমন উল্লেখ করেছেন , মাল্টি-বাইট অক্ষরযুক্ত লাইনগুলি যথাযথভাবে অপসারণ করতে ব্যর্থতা এড়াতে সিতে লোকাল সেট করা প্রয়োজনীয়। সুতরাং উপরের কমান্ডগুলি হয়ে যায়:
LC_ALL=C sed '$!N;/^\(.*\)\n\1$/d;P;D' temp
LC_ALL=C sed -e ':top' -e '$!{/\n/!{N;b top' -e '};};/^\(.*\)\n\1$/d;P;D' temp
LC_ALL=C sed -e ':top' -e '$!{/\n.*\n/!{N;b top' -e '};};/^\(.*\)\n\1\n\1$/d;P;D' temp
# Etc.
এটি খুব মার্জিত নয়, তবে এটি যতটা সহজ আমি সামনে আসতে পারি:
uniq -c input | awk '{if ($1 % 2 == 1) { print substr($0, 9) }}'
সাবস্ট্রাস্ট () কেবল uniqআউটপুট থেকে ছাঁটাই করে । আপনার কোনও রেখার 9,999,999 টির বেশি নকল না হওয়া পর্যন্ত এটি কাজ করবে (এক্ষেত্রে ইউনিকের আউটপুটটি 9 টিরও বেশি অক্ষর ছড়িয়ে দিতে পারে)।
uniq -c input | awk '{if ($1 %2 == 1) { print $2 } }'এবং মনে হয়েছে এটি সমানভাবে ভাল কাজ করবে। substrসংস্করণ আরও ভাল কোন কারণ ?
$2জন্য $NFআরো জোরালো হবে?
foo bar,।
uniq(কমপক্ষে জিএনইউ কোর্টিলগুলিতে) পাঠ্যের আগেই নির্ভরযোগ্যভাবে 9 টি অক্ষর ব্যবহার করা হয়েছে বলে মনে হয়; যদিও এই নথিটি আমি কোথাও খুঁজে পাচ্ছি না, এবং এটি পসিক্স চশমাগুলিতে নেই ।
awkনীচে এই স্ক্রিপ্ট চেষ্টা করে দেখুন:
#!/usr/bin/awk -f
{
if ((NR!=1) && (previous!=$0) && (count%2==1)) {
print previous;
count=0;
}
previous=$0;
count++;
}
END {
if (count%2==1) {
print previous;
}
}
ধারণা করা হয় যে lines.txtফাইলটি বাছাই করা হয়েছে।
পরীক্ষা:
$ chmod +x script.awk
$ ./script.awk lines.txt
a
d
e
pcregrepএকটি প্রদত্ত নমুনা জন্য সহ :
pcregrep -Mv '(.)\n\1$' file
বা আরও সাধারণ উপায়ে:
pcregrep -Mv '(^.*)\n\1$' file
যদি ইনপুটটি বাছাই করা হয়:
perl -0pe 'while(s/^(.*)\n\1\n//m){}'
pineapple\napple\ncoconutএবং আউটপুটটি pinecoconut।
\nপরিবর্তে ব্যবহার করছেন , তবে আমি বুঝতে পেরেছিলাম যে ব্যবহারগুলি মুছে ফেলা লাইনের পরিবর্তে একটি ফাঁকা রেখা ছেড়ে দেবে। দেখতে এখন ভাল লাগছে; আমি ভুল সংস্করণটি সরিয়েছি যেহেতু এটি কেবল শব্দ যোগ করেছে। :)$/m$
আমি যে প্রশ্নটি বুঝতে পেরেছিলাম, আমি প্রতিটি রেকর্ডের একটি হ্যাশ ব্যবহার করে জোর করে বেছে নিয়েছি, এই ক্ষেত্রে আমি ধরে নিচ্ছি যে আরএস = \ n, তবে অন্য যে কোনও ব্যবস্থা বিবেচনা করার জন্য এটি পরিবর্তন করা যেতে পারে, এটি বিবেচনা করার ব্যবস্থা করা যেতে পারে এমনকি প্যারামিটার বা একটি ছোট সংলাপের সাথে বিজোড়ের পরিবর্তে কয়েকটি সংখ্যক reps। প্রতিটি লাইন হ্যাশ হিসাবে ব্যবহৃত হয় এবং এর গণনা বৃদ্ধি করা হয়, ফাইলের শেষে অ্যারেটি স্ক্যান করা হয় এবং রেকর্ডের প্রতিটি গণনা প্রিন্ট করে। আমি চেক করার জন্য গণনাটি অন্তর্ভুক্ত করছি তবে, এই সমস্যাটি সমাধান করার জন্য একটি [x] অপসারণই যথেষ্ট।
আছে HTH
কাউন্টলাইন কোড
#!/usr/bin/nawk -f
{a[$0]++}
END{for (x in a) if (a[x]%2!=0) print x,a[x] }
নমুনা তথ্য:
a
One Sunny Day
a
a
b
my best friend
my best friend
b
c
c
c
One Sunny Day
c
d
my best friend
my best friend
d
d
d
One Sunny Day
d
e
x
k
j
my best friend
my best friend
নমুনা রান:
countlines feed.txt
j 1
k 1
x 1
a 3
One Sunny Day 3
d 5
e 1
awkকোডের একটি দুর্দান্ত অংশ , তবে দুর্ভাগ্যক্রমে awkসংঘবদ্ধ অ্যারেগুলিকে মোটেই অর্ডার দেওয়া হয় না বা তারা অর্ডার-সংরক্ষণও করে না।
sort।
!=0কীভাবে awkসংখ্যাকে সত্য / মিথ্যা মানগুলিতে রূপান্তর করে এর দ্বারা বোঝানো হয়awk '{a[$0]++}END{for(x in a)if(a[x]%2)print x}'
শেল কনস্ট্রাক্টস ব্যবহার করে,
uniq -c file | while read a b; do if (( $a & 1 == 1 )); then echo $b; fi done
$b)।
মজাদার ধাঁধা!
পার্লে:
#! /usr/bin/env perl
use strict;
use warnings;
my $prev;
while (<>) {
$prev = $_, next unless defined $prev; # prime the pump
if ($prev ne $_) {
print $prev;
$prev = $_; # first half of a new pair
}
else {
undef $prev; # discard and unprime the pump
}
}
print $prev if defined $prev; # possible trailing odd line
হাস্কেলের মধ্যে ভার্জুয়েলি:
main :: IO ()
main = interact removePairs
where removePairs = unlines . go . lines
go [] = []
go [a] = [a]
go (a:b:rest)
| a == b = go rest
| otherwise = a : go (b:rest)
হাস্কেল মধ্যে নিখরচায়:
import Data.List (group)
main = interact $ unlines . map head . filter (odd . length) . group . lines
একটি সংস্করণ: আমি অভ্যন্তরীণ লুপটি সরল করতে "ডিলিমিটারগুলি" ব্যবহার করি (এটি অনুমান করে যে প্রথম লাইনটি নয় __unlikely_beginning__এবং এটি ধরেছে যে পাঠ্যটি লাইনের সাথে __unlikely_ending__শেষ হচ্ছে না:, এবং ইনপুটড লাইনের শেষে সেই বিশেষ সীমানা লাইন যুক্ত করুন Thus সুতরাং অ্যালগরিদম উভয় ধরে নিতে পারে:)
{ cat INPUTFILE_or_just_- ; echo "__unlikely_ending__" ; } | awk '
BEGIN {mem="__unlikely_beginning__"; occured=0; }
($0 == mem) { occured++ ; next }
( occured%2 ) { print mem ;}
{ mem=$0; occured=1; }
'
সুতরাং:
C, অন্যথায় মাল্টি-বাইট লোকালে, সেই লোকালে অবৈধ অক্ষর কমান্ড ব্যর্থ হওয়ার কারণ হতে পারে।