ডুপ্লিকেট ফাইলগুলি কীভাবে সন্ধান করবেন (এবং মুছবেন)


125

আমার একটি লার্জিশ সংগীত সংগ্রহ আছে এবং সেখানে কিছু নকল রয়েছে। সদৃশ ফাইলগুলি খুঁজে পাওয়ার কোনও উপায় আছে কি? সর্বনিম্ন একটি হ্যাশ করে এবং দুটি ফাইলের একই হ্যাশ রয়েছে কিনা তা দেখে।

এক্সটেনশন বাদে একই নামের ফাইলগুলি সন্ধানের জন্য বোনাস পয়েন্টস - আমার মনে হয় এমপি 3 এবং ওজি ফর্ম্যাট সংস্করণ সহ আমার কিছু গান আছে।

কমান্ড লাইনটি যদি সবচেয়ে সহজ উপায় হয় তবে আমি খুশি।

উত্তর:


138

আমি fdupesএই জন্য ব্যবহার । এটি একটি কমান্ডলাইন প্রোগ্রাম যা দিয়ে সংগ্রহস্থলগুলি থেকে ইনস্টল করা যেতে পারে sudo apt install fdupes। আপনি এটিকে কল করতে পারেন fdupes -r /dir/ect/oryএবং এটি ডুপের একটি তালিকা মুদ্রণ করবে। fdupes একটি সাধারণ হোমপেজ এবং একটি উইকিপিডিয়া নিবন্ধ আছে , যা আরও কিছু প্রোগ্রাম তালিকাভুক্ত করে।


7
এটিতে একটি "-d" বিকল্প রয়েছে যা আপনাকে কোন অনুলিপিটি রাখতে চান তা চয়ন করতে এবং অন্যগুলি মুছে ফেলতে দেয় (বা আপনি চাইলে এগুলি সমস্ত রাখতে পারেন)।
ম্যাথু ক্রামলে


Fdupes এর জন্য নকল ফাইলের পরিবর্তে নকল ফোল্ডারগুলি তালিকাভুক্ত করা সম্ভব?
অ্যান্ডারসন গ্রিন

2
আপনি কীভাবে পুনরাবৃত্ত ডিরেক্টরি ট্রিতে সমস্ত ডুপ্লিকেটগুলি (কেবলমাত্র প্রতিটি ফাইলের একক অনুলিপি রেখে) মুছবেন তা আরও বিশদে ব্যাখ্যা করতে পারেন? আমি এটি স্বয়ংক্রিয়ভাবে করতে চাই, এটি হ'ল প্রতিবার কোন ফাইলটি রাখা উচিত তা নির্দিষ্ট করে না দিয়ে। এটি কেবল নকলগুলির মধ্যে একটি নির্বাচন করা উচিত।
বেকো

5
fdupes -r . -d -Nপ্রথম উদাহরণটি সংরক্ষণ করা উচিত এবং ডুপগুলি মুছে ফেলা উচিত। আমি fdupes . -d -N
সাইমন বি

61

এফএস্লিন্টের একটি জিইউআই এবং অন্যান্য কিছু বৈশিষ্ট্য রয়েছে। তাদের এফএকিউ থেকে সদৃশ চেক অ্যালগরিদমের ব্যাখ্যা:

1. exclude files with unique lengths
2. handle files that are hardlinked to each other
3. exclude files with unique md5(first_4k(file))
4. exclude files with unique md5(whole file)
5. exclude files with unique sha1(whole file) (in case of md5 collisions).

fslint Fslint ইনস্টল করুন


12
ধন্যবাদ। নোট করুন যে কমান্ডের নাম "fslint-gui", এবং কমান্ড লাইন সরঞ্জামগুলি ডিফল্টরূপে AT PATH- এ নেই - সেগুলি / usr / share / fslint / fslint এ রয়েছে। স্রেফ fslint চালিয়ে (/ usr / lib / কমান্ড-না-পাওয়া) এর মাধ্যমে কোন প্যাকেজটিতে ছিল তা যখন আমি পাইনি তখন আমি বিভ্রান্ত হয়ে পড়েছিলাম।
নীলামকবি

ঠিক কী প্রয়োজন
তেব

1
@ নিউম্যাকবি যদি ব্যবহার করে থাকে sudo apt-get install fslintতবে বর্তমানে ইনস্টলেশনটি পথটি ফেলেছে fslint-guiএবং তাই আমি কেবল টাইপ করে এটি যে কোনও জায়গা থেকে চালাতে পারি fslint-gui। আপনি fslint-guiটাইপ করে কোথায় থাকেন which fslint-guiতা খুঁজে পেতে পারেন (এটি পাইথন স্ক্রিপ্টের মতো দেখায়)।
ব্যবহারকারী29020

55

এর তালিকা programs/scripts/bash-solutions, যা সদৃশগুলি খুঁজে পেতে এবং এর অধীনে চালাতে পারে nix:

  1. ডুপডিট : চেকসামিং ছাড়াই একবারে অনেকগুলি ফাইলের তুলনা করা হয়। যখন একাধিক পাথ একই ফাইলের দিকে ইঙ্গিত করে তখন তাদের বিরুদ্ধে ফাইলগুলি তুলনা করা এড়িয়ে যায়।
  2. ডুপ্র্যামার : বিভিন্ন প্ল্যাটফর্মগুলিতে চালিত হয় ( সাইগউইন , * নিক্স, লিনাক্স ইত্যাদি সহ উইন 32/64 )
  3. ডুপসেক : অ্যালগরিদমের সাথে পার্ল রিডস হ্রাস করতে অনুকূলিত।
  4. fdf : পার্ল / সি ভিত্তিক এবং বেশিরভাগ প্ল্যাটফর্ম জুড়ে চলে (উইন 32 , * নিক্স এবং সম্ভবত অন্যান্য)। MD5, SHA1 এবং অন্যান্য চেকসাম অ্যালগোরিদম ব্যবহার করে
  5. ফ্রিডআপস : শেল স্ক্রিপ্ট, এটি আপনার নির্দিষ্ট ডিরেক্টরিগুলির মধ্যে অনুসন্ধান করে। এটি যখন দুটি অভিন্ন ফাইল সন্ধান করে, তখন এগুলি তাদের শক্তভাবে লিঙ্ক করে। এখন দুটি বা আরও বেশি ফাইল এখনও তাদের নিজ নিজ ডিরেক্টরিতে বিদ্যমান, তবে কেবলমাত্র একটি অনুলিপি ডিস্কে সঞ্চিত রয়েছে; উভয় ডিরেক্টরি এন্ট্রি একই ডেটা ব্লকগুলিকে নির্দেশ করে।
  6. fslint : এর কমান্ড লাইন ইন্টারফেস এবং জিইউআই রয়েছে।
  7. লিডেন : এমডি 5 চেকসাম এবং একটি উপন্যাস বাইট তুলনা অ্যালগরিদম ব্যবহার করে খাঁটি পাইথন ডিপ্লিকেশন কমান্ড লাইন সরঞ্জাম এবং লাইব্রেরি। (লিনাক্স, ম্যাক ওএস এক্স, * নিক্স, উইন্ডোজ)
  8. liten2 : মূল লিটেনের একটি পুনর্লিখন, এখনও একটি কমান্ড লাইন সরঞ্জাম তবে SHA-1 চেকসাম ব্যবহার করে দ্রুত ইন্টারেক্টিভ মোডের সাথে (লিনাক্স, ম্যাক ওএস এক্স, * নিক্স)
  9. আরডিফাইন্ড : "মূল / সুপরিচিত" উত্সগুলিতে (যদি একাধিক ডিরেক্টরি দেওয়া থাকে) মুছতে না পারার জন্য ইনপুট প্যারামিটারের (স্ক্যান করার জন্য ডিরেক্টরিগুলি) আদেশের ভিত্তিতে র‌্যাঙ্ক ডুপ্লিকেটগুলির মধ্যে কয়েকটি One MD5 বা SHA1 ব্যবহার করে।
  10. rmlint : কমান্ড লাইন ইন্টারফেস সহ দ্রুত অনুসন্ধানকারী এবং অন্যান্য লিঙ্কটিও খুঁজে পেতে অনেকগুলি বিকল্প (এমডি 5 ব্যবহার করে)
  11. ua : ইউনিক্স / লিনাক্স কমান্ড লাইন সরঞ্জাম, সন্ধানের (এবং এর মতো) সাথে কাজ করার জন্য ডিজাইন করা।
  12. ফাইন্ড্রিপ : নকল ফাইলগুলির দক্ষ অনুসন্ধানের জন্য ডিজাইন করা বিনামূল্যে জাভা-ভিত্তিক কমান্ড-লাইন সরঞ্জাম, এটি জিপ এবং জারের মধ্যে অনুসন্ধান করতে পারে G (জিএনইউ / লিনাক্স, ম্যাক ওএস এক্স, * নিক্স, উইন্ডোজ)
  13. fdupe : পার্লে লেখা একটি ছোট স্ক্রিপ্ট। এর কাজটি দ্রুত এবং দক্ষতার সাথে করা। 1
  14. এসএসডিপি : কনটেক্সট ট্রিিগার্ড পিসওয়াস হ্যাশিং ব্যবহার করে প্রায় অভিন্ন ফাইলগুলি সনাক্ত করুন

4
এই প্রোগ্রামগুলির মধ্যে কোনওটি কী নকল ফোল্ডারগুলি সন্ধান করতে সক্ষম হয়েছে (কেবলমাত্র ফাইলগুলি নকল করবেন না?)
অ্যান্ডারসন গ্রিন

3
@ অ্যান্ডারসগ্রিন rmlintডুপ্লিকেট ডায়ার সন্ধান করতে পারে। rmlint -T dd
অলিগোফ্রেন

উবুন্টুর জন্য, অন্য উপায় হ'ল ফাইলগুলি খোলা, প্রদত্ত এক্সটেনশনের জন্য অনুসন্ধান (নিয়ন্ত্রণ-এফ) অনুসন্ধান (যেমন। এমপি 3), এবং তারপরে ফাইলের নাম অনুসারে বাছাই করা; এটি হাত দ্বারা সদৃশগুলি মুছতে দেয় এবং একই সাথে সদৃশগুলির অবস্থানগুলি প্রদর্শন করে।
axed

6

আপনার ডিডুপ্লিকেশান টাস্ক সঙ্গীত এর সাথে সম্পর্কিত হয়, তাহলে প্রথমবার চালনার Picard আবেদন সঠিকভাবে শনাক্ত ও আপনার সঙ্গীত ট্যাগ (যাতে আপনি ডুপ্লিকেট .mp3 এটি / .ogg ফাইল এমনকি যদি তাদের নাম ভুল) এর। নোট করুন যে পিকার্ড উবুন্টু প্যাকেজ হিসাবেও উপলব্ধ।

এটি হয়ে গেছে, musicip_puidট্যাগের উপর ভিত্তি করে আপনি সহজেই আপনার সমস্ত সদৃশ গান খুঁজে পেতে পারেন।


4

আর একটি স্ক্রিপ্ট যা এই কাজটি করে তা হ'ল আরএমডিপে । লেখকের পৃষ্ঠা থেকে:

ফাইলের নাম বা এক্সটেনশন নির্বিশেষে ডুপ্লিকেট ফাইলগুলির জন্য নির্দিষ্ট ফোল্ডারগুলির মধ্যে অনুসন্ধান করতে rmdupe স্ট্যান্ডার্ড লিনাক্স কমান্ড ব্যবহার করে। সদৃশ প্রার্থীদের অপসারণের আগে তাদের বাই-বাই-বাইট তুলনা করা হয়। আরএমডুপ এক বা একাধিক রেফারেন্স ফোল্ডারের বিপরীতে ডুপ্লিকেটগুলিও পরীক্ষা করতে পারে, ফাইলগুলি অপসারণের পরিবর্তে ট্র্যাশ করতে পারে, কাস্টম অপসারণ কমান্ডের অনুমতি দেয় এবং নির্দিষ্ট অনুসন্ধানের ফাইলগুলিতে এর অনুসন্ধান সীমাবদ্ধ করতে পারে। আরএমডুপে একটি সিমুলেশন মোড অন্তর্ভুক্ত রয়েছে যা কোনও ফাইল সরিয়ে না দিয়ে প্রদত্ত কমান্ডের জন্য কী করা হবে তা রিপোর্ট করে।


3

আপনি চেষ্টা করেছেন?

finddup

অথবা

finddup -l

আমার ধারণা এটি ঠিকঠাক কাজ করে।


2

সংগীত সম্পর্কিত সদৃশ সনাক্তকরণ এবং মুছে ফেলার জন্য http://musicbrainz.org/ দ্বারা পিকার্ড এবং জাইকোজ সেরা সমাধান সমাধান। জয়কোজ আমার বিশ্বাস গানের ফাইলের ডেটার ভিত্তিতে আপনার সংগীতটিকে স্বয়ংক্রিয়ভাবে ট্যাগ করে। গানটি সনাক্ত করতে এবং এটিতে সমস্ত মেটা ডেটা বরাদ্দ করতে আপনার গানের নামও প্রয়োজন নেই। যদিও নিখরচায় সংস্করণটি এক রানে কেবলমাত্র সীমিত সংখ্যক গান ট্যাগ করতে পারে তবে আপনি এটি যতবার চালাতে পারেন ততবার চালাতে পারেন।


আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.