ফাইলগুলি নকল করার উপায়


10

আমি বেশ কয়েকটি মেশিনে কেবল ফাইলগুলি ব্যাকআপ করে সংরক্ষণাগারভুক্ত করতে চাই। দুর্ভাগ্যক্রমে, ফাইলগুলিতে কিছু বড় ফাইল রয়েছে যা একই ফাইল তবে বিভিন্ন মেশিনে আলাদাভাবে সঞ্চিত। উদাহরণস্বরূপ, কয়েক শতাধিক ফটো অ্যাড-হক ব্যাকআপ হিসাবে এক কম্পিউটার থেকে অন্য কম্পিউটারে অনুলিপি করা হয়েছিল। এখন যেহেতু আমি ফাইলগুলির একটি সাধারণ ভান্ডার তৈরি করতে চাই, আমি একই ছবিটির কয়েকটি অনুলিপি চাই না।

আমি যদি এই সমস্ত ফাইল একটি একক ডিরেক্টরিতে অনুলিপি করি, তবে এমন কোনও সরঞ্জাম আছে যা ডুপ্লিকেট ফাইলগুলি সনাক্ত করে এবং আমাকে একটি তালিকা দিতে বা ডুপ্লিকেটগুলির একটি মুছতে পারে?


উত্তর:


3

প্রতিটি ফাইলের একটি এমডি 5সাম তৈরি করুন, এমডি 5sums সদৃশ ফাইলগুলি সদৃশ করে (তবে গ্যারান্টি দেয় না) নকল ফাইলগুলি।


1
তবে তারা দৃ strongly়ভাবে "পরামর্শ" দেয় :) :) এবং যদি ফাইলগুলি একই আকারের হয় তবে পরামর্শটি সঠিক হওয়ার সম্ভাবনা খুব বেশি
ওয়ারেন

2

অভিন্ন ফাইলগুলিকে হার্ডলিঙ্কে রূপান্তর করতে আপনি ডুপ্ল্যামার ব্যবহার করতে পারেন । এটা একটা নেব খুব দীর্ঘ সময়ের একটি বড় ফাইল সেট যদিও উপর। ফাইলগুলির SHA (বা MD5) হ্যাশগুলি প্রায় দ্রুতই কাজ করবে তবে ডুপ্লিকেটগুলি সন্ধান করতে আপনাকে আরও লেগওয়ার্ক করতে হবে। দুর্ঘটনাক্রমে সংঘর্ষের সম্ভাবনা এতটাই কম যে বাস্তবে আপনি এটিকে উপেক্ষা করতে পারেন। (আসলে, অনেক হস্তান্তর পণ্য ইতিমধ্যে এটি করে))

ফটো এবং সঙ্গীত নিয়ে কাজ করার জন্য আপনার সেরা বাজি হ'ল বিশেষত সেই আইটেমগুলির সদৃশ সন্ধানের জন্য সরঞ্জামগুলি তৈরি করা। বিশেষত যেহেতু আপনি ট্যাগিং বা ক্রপিং বা এনকোডিং পার্থক্যগুলির মতো বিষয়গুলি কার্যকর হওয়ার পরে বাইনারি স্তরে অভিন্ন ফাইলগুলি নাও থাকতে পারে। আপনি এমন সরঞ্জামগুলি চাইবেন যা ফটোগুলিগুলিতে ছোটখাটো সামঞ্জস্যতা করা সত্ত্বেও এমন "মিউজিক" ফটোগুলির সন্ধান করতে পারে এমন সংগীত এবং সংগীত যা "শোনাচ্ছে" একইরকম find


1
hardlinkখুব দ্রুত (1.2M ফাইলের জন্য 200 সেকেন্ড সময় নিয়েছে, 320 গিগাবাইট)
মার্সেল ওয়াল্ডভোগেল

1

ঠিক আছে, আপনার যদি দক্ষতা থাকে তবে আপনি একটি নকল ফাইল সিস্টেম সেটআপ করতে পারেন এবং এতে আপনার ব্যাকআপ রাখতে পারেন। এটি কেবল পুরো ফাইলগুলিকেই নকল করবে না, একইভাবে একই ফাইলের টুকরাও। উদাহরণস্বরূপ, আপনার বেশ কয়েকটি জায়গায় একই জেপিইজি থাকলেও প্রতিটি সংস্করণে আলাদা আলাদা এক্সআইএফ ট্যাগ সহ, একটি অনুলিপি ফাইল সিস্টেম কেবল একবারে চিত্রের ডেটা সংরক্ষণ করে।

ডুপ্লিকেটিকৃত ফাইল সিস্টেমগুলিতে কমফেস, জেডএফএস এবং এসডিএফএস অন্তর্ভুক্ত রয়েছে।


1
আমি এসডিএফস বা কমফেসে ডুপ্লিকেশন সম্পর্কে বলতে পারি না, তবে জেডএফএসে ডেডুপ এইভাবে কাজ করে না। এটি ব্লক স্তরটি পরীক্ষা করে, সুতরাং অভিন্ন ফাইলগুলি সম্ভবত অবদানের জন্য পতাকাঙ্কিত করা হবে, তবে যে ফাইলগুলিতে আলাদা শিরোনাম রয়েছে সম্ভবত তা তা করবে না। অতিরিক্তভাবে, আপনার জেডএফএস রেকর্ডাইজ (ডিফল্ট 128KB) এর চেয়ে ছোট ফাইলগুলি একটি একক ব্লকে একসাথে প্যাক করা যেতে পারে, তাই সেগুলি আর ছাড়ের ফলে উপকৃত হতে পারে না।
০৪:৯৯

অনুরূপ ফাইল সিস্টেম (zfs বা btrfs) ব্যাকআপ হোস্টে কেবল স্থান সংরক্ষণ করে। এটি স্থানান্তরিত ডেটার পরিমাণ সংরক্ষণ করে না। ফাইলগুলির জন্য কিছু হ্যাশ গণনা করা এবং এটি ব্যাকআপ হোস্টে প্রেরণ করা কিছু ধারণা। যখন এটি "আমার কাছে আছে" বললে সেই ফাইলটির জন্য ব্যাকআপ হয়ে যায়। এটি অত্যন্ত ব্যয়বহুল (অর্থ) ব্যাকআপ সফ্টওয়্যারটিতে প্রয়োগ করা হয়। আমি ওপেন সোর্স এ সম্পর্কে কখনও শুনিনি। তবে এটি এখনই বাস্তবায়িত হয়েছে, কে জানে :)
Znik

rsync --link-destআপনি যদি পড়া / স্থানান্তরের পাশাপাশি সংরক্ষণ করতে চান তবে @Znik আপনার বন্ধু। একটি সাধারণ পরিচিতি এখানে রয়েছে: নেটফিউশন.টিসি
মার্সেল ওয়াল্ডভোগেল

এটি কোনও ফাইলকে বরাদ্দ করা আইওডগুলি পরীক্ষা করে কাজ করছে। কিন্তু যখন ডুপ্লিকেশনটি লুকানো থাকে, উদাহরণস্বরূপ স্কোয়াশফেস ফাইল সিস্টেমে, তখন আরএসআইএনসি এটি পরীক্ষা করতে পারে না এবং একই ডেটা বহুবার স্থানান্তর করবে।
Znik

0

আমি যখন এই ধরণের কাজটি করছিলাম তখন শিখেছি যে কয়েক সপ্তাহের মধ্যে আপনার ফ্রি সময়ে নিজেকে কেবল ফাইলগুলি দিয়ে যাওয়া অনেক বেশি আকর্ষণীয় / সময়-দক্ষ। আপনার কম্পিউটারের চেয়ে জিনিসগুলির মধ্যে পার্থক্যটি আরও ভালভাবে বলতে পারেন।

আপনি যদি সম্মত না হন তবে আমি EasyD সদরবিন্ড ফাইন্ডার প্রস্তাব দিই । আমি উপরে উল্লিখিত হিসাবে, যদিও, এটি একটি দীর্ঘ সময় লাগবে, বলুন, 5GB ফাইলের জন্য প্রায় এক দিন।

এবং অন্য একটি নোটে, ক্র্যাশপ্ল্যান আপনি যা আগে করছিলেন তা করে তবে অনেক বেশি সংগঠিত, অ-সংস্করণ-সমস্যা উপায়ে।


0

আরেকটি সম্ভাবনা, আপনি যে মেশিনগুলিকে সমর্থন করছেন তা অনুমান করা এটি সমর্থন করবে, এরকম কিছু ব্যবহার করা rsync

যদি আপনি rsyncএ থেকে বি, তারপরে সি থেকে বি, তারপরে ডি থেকে বি ইত্যাদিতে সঠিক ডুপ্লিকেটগুলি (অর্থাত্ ফাইল নাম দ্বারা) মুছে ফেলা হবে (এবং আপনি যে মেশিনগুলির ব্যাক আপ করছেন তার মধ্যে সংলগ্ন)।

আপনি যদি না চান তবে সেগুলি একে অপরের সাথে সিঙ্ক্রোনাইজ করা আছে, তবে এটি যাওয়ার সর্বোত্তম উপায় নয়।


0

চিত্র ফাইলগুলির জন্য, ফাইন্ডিম্যাডআপগুলি ব্যবহার করুন । এটি ডিবিয়ানও প্যাকেজড ।


ফাইন্ডিম্যাডআপগুলি ফটো বা গ্রাফিক্সের জন্য, সম্ভবত এক ফর্ম্যাট থেকে অন্য রূপায়ণে রূপান্তরিত। ফটোগুলি (আমি বাড়িতে) কেবল প্রশ্নে উদাহরণ। এটি অন্য কোনও বড় ফাইল হতে পারে।
Znik

0

হার্ড লিঙ্কগুলি কেবলমাত্র অনুলিপি সম্পাদন করে যদি পুরো ফাইলটি অভিন্ন হয়। শিরোনামগুলি (EXIF, ID3,…) বা মেটাডেটা (মালিক) পৃথক হলে সেগুলি লিঙ্কযুক্ত হবে না।

যখন আপনার কাছে ব্লক ছাড়পত্র সমর্থন (জেডএফএস, বিটিআরএফ,…) সহ কোনও ফাইল সিস্টেম ব্যবহার করার সুযোগ রয়েছে তখন পরিবর্তে এটি ব্যবহার করুন। আমি বিটিআরএফএসের অফলাইন (ওরফে ব্যাচ ) ছাড়পত্র সমর্থন সম্পর্কে খুব পছন্দ করি , যা সীমিত স্তরের প্রতিলিপি সমর্থন করে এবং ক্রমাগত বিপুল পরিমাণে মেমরি গ্রহণ করে না (জেডএফএস অনলাইন ডিপআপ হিসাবে)।

অনুলিপি করার সুবিধাটিও রয়েছে যে ব্যবহারকারীরা অন্য অনুলিপি লক্ষ্য না করেই ফাইলগুলি সংশোধন করতে পারে (যা আপনার ক্ষেত্রে প্রযোজ্য নাও হতে পারে তবে অন্যদের ক্ষেত্রেও)।

একটি দুর্দান্ত আলোচনার জন্য https://btrfs.wiki.kernel.org/index.php/ অনুচ্ছেদে দেখুন ।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.