একই বিষয়বস্তুযুক্ত ফাইলগুলি কিন্তু বিভিন্ন এমডি 5সামের সাথে ফাইলগুলি যখন জিজিপ করবে?

Question

আমি জানি না কেন এটি হচ্ছে, তবে আমি Amazon S3প্রেরিত ফাইলগুলি md5sumউভয়ই আমাজনে এবং স্থানীয়ভাবে পরীক্ষা করে মুছতে কিছু ফাইল আপলোড করি । তবে সম্প্রতি আমি খুঁজে পেয়েছি যে একই বিষয়বস্তু সম্পর্কে এই সমস্যাটি দুটি পৃথক করেmd5sum

[valter.silva@alog ~]$ ls
renew.log  s3

[valter.silva@alog ~]$ ls s3/
renew.log

[valter.silva@alog ~]$ md5sum renew.log 
d41d8cd98f00b204e9800998ecf8427e  renew.log

[valter.silva@alog ~]$ md5sum s3/renew.log 
d41d8cd98f00b204e9800998ecf8427e  s3/renew.log

[valter.silva@alog ~]$ gzip renew.log 
[valter.silva@alog ~]$ gzip s3/renew.log 

[valter.silva@alog ~]$ md5sum renew.log.gz 
aa1f0ae9a61aac5bcd32b917fbd9324b  renew.log.gz

[valter.silva@alog ~]$ md5sum s3/renew.log.gz 
6ae0e48edb68e9ed938fdfc3894f6c94  s3/renew.log.gz

কেউ কি জানে কেন এমন হচ্ছে? বা আমার ফাইলগুলি সুসংগত, নির্ভরযোগ্য কিনা তা আমার কীভাবে পরীক্ষা করা উচিত?

টিয়াগো ক্রুজ উত্তর উত্তর আপডেট করুন :

[valter.silva@alog ~]$ sha1sum renew.log 
da39a3ee5e6b4b0d3255bfef95601890afd80709  renew.log

[valter.silva@alog ~]$ sha1sum s3/renew.log 
da39a3ee5e6b4b0d3255bfef95601890afd80709  s3/renew.log

[valter.silva@alog ~]$ gzip renew.log 
[valter.silva@alog ~]$ gzip s3/renew.log 

[valter.silva@alog ~]$ sha1sum renew.log.gz 
2d9111d9db71da9fe4de57fbc19c89eb0bd46470  renew.log.gz

[valter.silva@alog ~]$ sha1sum s3/renew.log.gz 
05014ca24d133f1761f9134e8dab52e6e2111010  s3/renew.log.gz

এটি একই সমস্যা টিয়াগো দেয়।

Answer 1

মতে বোঝায় যা RFC 1952 , gzipফাইল হেডার অন্তর্ভুক্ত পরিবর্তনের সময় মূল ফাইল (ক্ষেত্রের MTIME)। আপনি সরল পাঠ্য ¹ এ শিরোনামটি প্রদর্শন করতে পারেন ^{) এর} সাথে gzip -lv renew.log.gz:

method  crc     date  time           compressed        uncompressed  ratio uncompressed_name
defla 64263ac7 Jun 21 17:59                 314                 597  52.1% renew.log

সুতরাং, যদি আপনি সত্যিই gzip'd ফাইলের তুলনা করতে চান তবে মূল ফাইলের নাম এবং সময় স্ট্যাম্প সংরক্ষণ না-n করার জন্য বিকল্পটি দিয়ে তাদের সংকুচিত করুন ,

gzip -n renew.log s3/renew.log 

এবং তাদের এমডি 5সামটি অভিন্ন হওয়া উচিত।

অন্যথায় আপনি ব্যবহার করতে পারে

md5sum <(zcat renew.log.gz) <(zcat s3/renew.log.gz)

ডিকম্প্রেসড ফাইলগুলির md5sum গণনা করতে।

---

¹⁾ তবে প্রদর্শিত সময় এবং তারিখ শিরোনাম থেকে নেওয়া হয় না, তবে বর্তমান মানগুলি উপস্থাপন করে; এটি ফাইলের নামের ক্ষেত্রেও:

$ gzip renew.log 
$ mv renew.log.gz foo.gz
$ gzip -lv foo.gz -------- uncompressed name is taken from current name ---v
method  crc     date  time           compressed        uncompressed  ratio uncompressed_name
defla 6c721644 Jul 11 22:34                 580                1586  65.7% foo
$ hexdump -C foo.gz | head -n 2
00000000  1f 8b 08 08 f0 16 df 51  00 03 72 65 6e 65 77 2e  |.......Q..renew.|
00000010  6c 6f 67 00 8d 93 dd 6e  9b 30 18 86 8f 89 94 7b  |log....n.0.....{|
                                                             ^^^-------^^^^^
                                                  original filename is stored in the header

Answer 2

আপনি কেন একই ফাইলের সংকোচিত সংস্করণটি একই হওয়ার আশা করছেন? সংক্ষেপণ প্রোগ্রাম (gzip) শিরোনামটিতে কিছু টাইমস্ট্যাম্প অন্তর্ভুক্ত করতে পারে বা কিছু এলোমেলোম অ্যালগরিদম ব্যবহার করতে পারে।

এবং ঠিক! গিজিপ শিরোনামে টাইমস্ট্যাম্প রয়েছে । আপনি যদি চান যে আপনার সংক্ষেপিত ফাইলগুলি একই রকম হয় তবে আপনার ফাইলের একই টাইমস্ট্যাম্প থাকতে হবে!

সুতরাং, আপনি যখন কোনও ফাইল অনুলিপি করেন, সর্বদা এটি হিসাবে করুন cp -p file1 file1, কেবল নয় cp file1 file2- এটি আসলে একটি খারাপ অভ্যাস!

Answer 3

'-N' পতাকা সহ কেবল গিজিপ ব্যবহার করুন:

tiagocruz@stark:~$ gzip -n Yippie-Ki-Yay.mp3 bla/Yippie-Ki-Yay.mp3 

tiagocruz@stark:~$ sha1sum Yippie-Ki-Yay.mp3.gz bla/Yippie-Ki-Yay.mp3.gz 
b44b21c5f414935f1ced1187bfafd989704474a5  Yippie-Ki-Yay.mp3.gz
b44b21c5f414935f1ced1187bfafd989704474a5  bla/Yippie-Ki-Yay.mp3.gz

সূত্র: /unix/31008/why-does-the-gzip-version-of-files-produce-a-differences-md5-checksum

Comments

আমি আমার উত্তর টিয়াগো আপডেট করি, সাধারণভাবে সমস্যাটি একই।

— ভালটার সিলভা

'-N' পতাকা ব্যবহার করুন

— টিয়াগো ক্রুজ

-1, এই উত্তরটি একটি মন্তব্য (বা তিন) হওয়া উচিত

— যে ব্রাজিলিয়ান গায়

@ ruda.almeida এটি একটি বৈধ যথেষ্ট উত্তর কারণ এটি কীভাবে পরীক্ষা করতে হয় তা দেখানোর চেষ্টা করে এবং সমস্যার সমাধান করে fix

— জেমস মের্টজ

ঠিক আছে, "-n" উইন্ডো জিজিপ ব্যবহার করার আগে সমস্ত কিছুতেই মন্তব্যটি করা উচিত কারণ এটি প্রশ্নটি ঠিক কীসের জন্য করা হয়েছে তা পরিষ্কার করার চেষ্টা করছে। এবং তারপরে, দ্বিতীয় অংশটি প্রযুক্তিগতভাবে সঠিক, তবে এটি একটি নিম্ন মানের উত্তর কারণ এটি সমস্যার কারণ নয় বা প্রস্তাবিত প্রস্তাবনা কেন এটি সমাধান করে তা ব্যাখ্যা করে না।

— ব্রাজিলিয়ান গায়