কোনও এমডি 5 হ্যাশ গণনা করা কি এসএএএ পরিবারের ফাংশনগুলির চেয়ে কম সিপিইউ নিবিড়?

Question

"স্ট্যান্ডার্ড" ল্যাপটপ এক্স 86 হার্ডওয়্যারে কি এমডি 5 হ্যাশ কম এসএইচএ -1 বা এসএইচএ -2 এর চেয়ে কম সিপিইউ নিখুঁতভাবে গণনা করছে? আমি সাধারণ তথ্যতে আগ্রহী, নির্দিষ্ট চিপের সাথে নির্দিষ্ট নয়।

আপডেট: আমার ক্ষেত্রে, আমি একটি ফাইলের হ্যাশ গণনা করতে আগ্রহী। যদি ফাইল-আকারের বিষয়টি বিবেচনা করে তবে আসুন এটির 300K নেওয়া যাক।

Comments

এটি আপনার প্রশ্নের কোনও উত্তর নয়, তবে স্কেইনের সমর্থকরা এর গতিটি এগিয়ে দিয়েছে এবং এটি অবশ্যই জীবনের শেষের এমডি 5 এর চেয়ে কোনও দুর্বল নয়। আপনার যে বার্তাগুলিতে হ্যাশ করতে হবে তা খুব সংক্ষিপ্ত, একটি ক্রিপ্টোগ্রাফিক হ্যাশ ফাংশনটির জন্য গতি একটি অসুবিধা হতে পারে যদিও (বিশেষত, অন্য কেউ এটিকে কতটা দ্রুত বাস্তবায়িত করতে পারে, এটি আপনার ল্যাপটপে কত দ্রুত চলে তা নয়)। schneier.com/skein1.2.pdf

— পাস্কেল কুয়াক

@ প্যাসাল: বিশেষত 32-বিট প্ল্যাটফর্মগুলিতে স্কেইন এসএইচএ -3 প্রার্থীদের মধ্যে দ্রুততম নয়। একটি 64-বিট x86 এ, স্কেইন প্রায় 300 এমবি / সেকেন্ড অর্জন করে (স্কেইন -512 স্কেইন -২ 256 এর তুলনায় কিছুটা দ্রুত) যা এসএএএ -1 এর সাথে তুলনীয়, তবে 32-বিট মোডে, পারফরম্যান্স 60 এমবি / এরও কম চলে যায় s, SHA-256 এর চেয়ে দ্বিগুণ ধীর। অন্যদিকে, শ্যাবল, অন্য SHA-3 প্রার্থী 32-বিট এবং 64-বিট উভয় প্ল্যাটফর্মে SHA-1 এর মতো পারফরম্যান্স সরবরাহ করে।

— থমাস পর্নিন

Answer 1

হ্যাঁ, এমডি 5 সিপিইউ-নিবিড় কিছুটা কম। আমার ইনটেল x86 এ (কোর 2 কোয়াড কিউ 6600, 2.4 গিগাহার্জ, একটি কোর ব্যবহার করে), আমি এটি 32-বিট মোডে পেয়েছি:

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

এবং এটি -৪-বিট মোডে:

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

"দীর্ঘ" বার্তার জন্য চিত্রগুলি প্রতি সেকেন্ডে মেগাবাইটে থাকে (এটি আপনি 8 কেবি এর চেয়ে বেশি বার্তাগুলির জন্য পান)। এটি সি (এবং জাভা) এ হ্যাশ ফাংশন বাস্তবায়নের একটি লাইব্রেরি স্পহ্লিবের সাথে রয়েছে । সমস্ত বাস্তবায়ন একই লেখকের (আমার) পক্ষ থেকে এবং অপ্টিমাইজেশনে তুলনামূলক প্রচেষ্টা দিয়ে করা হয়েছিল; সুতরাং গতির পার্থক্য কার্যকারিতা সত্যই অভ্যন্তরীণ হিসাবে বিবেচনা করা যেতে পারে।

তুলনার বিন্দু হিসাবে, বিবেচনা করুন যে সাম্প্রতিক একটি হার্ড ডিস্কটি প্রায় 100 এমবি / সেকেন্ড চলবে এবং ইউএসবিতে যে কোনও কিছু 60 এমবি / সেকেন্ডের নীচে চলে যাবে। যদিও SHA-256 এখানে "ধীর" হিসাবে প্রদর্শিত হচ্ছে, বেশিরভাগ কারণে এটি যথেষ্ট দ্রুত।

দ্রষ্টব্য যে ওপেনএসএসএল -এ SHA-512 এর 32-বিট বাস্তবায়ন রয়েছে যা আমার কোডের তুলনায় বেশ দ্রুত (তবে -৪-বিট SHA-512 এর চেয়ে দ্রুত নয়), কারণ ওপেনএসএসএল বাস্তবায়ন সমাবেশে রয়েছে এবং এসএসই 2 রেজিস্টার ব্যবহার করে যা এমন কিছু না যা প্লেইন সিতে করা হবে SHA-512 এই চারটির মধ্যে একমাত্র ফাংশন যা কোনও এসএসই 2 বাস্তবায়ন থেকে উপকৃত হয়।

সম্পাদনা: উপর এই পৃষ্ঠার ( সংরক্ষণাগার ( "Telechargez maintenant" লিঙ্কটি ক্লিক করুন)), একটি অনেক হ্যাশ ফাংশন গতির উপর একটি রিপোর্ট খুঁজে পেতে পারেন। প্রতিবেদনটি ফরাসি ভাষায়, তবে এটি বেশিরভাগ সারণী এবং সংখ্যায় পূর্ণ এবং সংখ্যাগুলি আন্তর্জাতিক। বাস্তবায়িত হ্যাশ ফাংশনগুলিতে SHA-3 প্রার্থীদের অন্তর্ভুক্ত নয় (SHABAL ব্যতীত) তবে আমি এতে কাজ করছি।

Comments

আমি মনে করি না যে আপনার মানদণ্ডগুলি কার্যকর। সমতুল্য কিন্তু অসম্পূর্ণ অপ্টিমাইজেশনের উপর ভিত্তি করে দুটি অ্যালগরিদমের গতির তুলনা অপ্রাসঙ্গিক। বাস্তব বিশ্বে, আপনি নিজের প্রয়োগটি রোল করবেন না, পরিবর্তে সম্পূর্ণরূপে অনুকূলিত প্রয়োগগুলি ব্যবহার করুন। এর থেকে প্রাপ্ত ফলাফলগুলি কি তুলনা করা উচিত।

— এডওয়ার্ড ব্রে

@ অ্যাডওয়ার্ড্রে আসলে এগুলি পুরোপুরি অনুকূলিত হওয়ার খুব কাছাকাছি। আসলে তার এমডি 5 বাস্তবায়ন ওপেনএসএসএল অফারগুলির চেয়ে অনেক দ্রুত কাজ করে, সুতরাং প্রতিটি বাস্তবায়ন আপনার বাস্তবের হিসাবে "রিয়েল ওয়ার্ল্ড" এ অনুকূলিত হবে না। এছাড়াও, যদিও এগুলি নিখুঁত নয় (আপনি ঠিক সে সম্পর্কে সঠিক) তবে তারা এই নির্দিষ্ট প্রশ্নের সঠিক উত্তর হিসাবে কাজ করে serve

— গ্যাসপা79

Answer 2

আমার 2012 ম্যাকবুক এয়ারে (ইনটেল কোর আই 5-3427U, 2x 1.8 গিগাহার্টজ, 2.8 গিগাহার্টজ টার্বো), এসএএএ -1 এমডি 5 এর চেয়ে সামান্য দ্রুত ((৪-বিট মোডে ওপেনএসএসএল ব্যবহার করে):

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

আপডেট: 10 মাস পরে ওএস এক্স 10.9 এর সাথে, SHA-1 একই মেশিনে ধীর হয়ে উঠেছে:

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

দ্বিতীয় আপডেট: ওএস এক্স 10.10 এ, এসএএএ -1 গতি 10.8 স্তরে ফিরে এসেছে:

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k

তৃতীয় আপডেট: লিব্রেএসএসএল সহ ওএস এক্স 10.14 অনেক দ্রুত (এখনও একই মেশিনে)। SHA-1 এখনও শীর্ষে আসে:

$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              43128.00k   131797.91k   304661.16k   453120.00k   526789.29k
sha1             55598.35k   157916.03k   343214.08k   489092.34k   570668.37k

Comments

অদ্ভুত, আমার বায়ু আপনার মতো এবং আমি বিপরীতমুখী ফলাফল পেয়েছি। 8192 বাইট সহ: এমডি 5305549.52 কে; sha1 204668.57k

— কার্লোস ফন্টেস

হুম, আমি একই মেশিনেও গত বছরের চেয়ে আলাদা ফলাফল পেয়েছি: এমডি 5 381756.70 কে, শ 1 313881.86 কে। সম্ভবত 10.9 (ওপেনএসএসএল 0.9.8y) এ আপগ্রেড হওয়ার কারণে।

— nwellnhof

এটি একটি দুর্দান্ত উত্তর। এটি আপনার যত্ন দেখায়। ভাগ করে নেওয়ার জন্য লোককে ধন্যবাদ

— এম

Answer 3

আসল উত্তরটি: এটি নির্ভর করে

কয়েকটি বিষয় বিবেচনা করতে হবে, সর্বাধিক সুস্পষ্ট: আপনি যে সিপিইউ এই অ্যালগরিদমগুলি চালাচ্ছেন এবং অ্যালগরিদমগুলি প্রয়োগ করছেন।

উদাহরণস্বরূপ, আমি এবং আমার বন্ধু উভয়ই একই একই ওপেনসেল সংস্করণটি চালনা করি এবং বিভিন্ন ইন্টেল কোর আই 7 সিপাসের সাথে কিছুটা আলাদা ফলাফল পাই।

একটি ইন্টেল (আর) কোর (টিএম) আই 7-2600 সিপিইউ @ 3.40GHz এর সাথে কাজ করার জন্য আমার পরীক্ষা

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

এবং তার সাথে একটি ইন্টেল (আর) কোর (টিএম) আই 7 সিপিইউ 920 @ 2.67GHz

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

আমরা দু'জনেই আরচলিনাক্স অফিসিয়াল প্যাকেজ থেকে ওপেনএসএসএল 1.0.1j 15 অক্টোবর 2014 এর ঠিক একই বাইনারিগুলি পরিচালনা করছি।

এ সম্পর্কে আমার মতামতটি এইচ 1 এর অতিরিক্ত সুরক্ষার সাথে, সিপিইউ ডিজাইনাররা শ 1 এর গতি উন্নত করতে পারে এবং এমডি 5সামের চেয়ে আরও প্রোগ্রামার অ্যালগরিদমের অপ্টিমাইজেশনে কাজ করবে।

আমি অনুমান করি যে এমডি 5 আর কোনও দিন ব্যবহার করা হবে না বলে মনে হয় এর sha1 এর চেয়ে কোনও লাভ নেই। আমি বাস্তব ফাইলগুলিতেও কিছু কেস পরীক্ষা করেছি এবং ফলাফল উভয় ক্ষেত্রে সর্বদা একই ছিল (সম্ভবত ডিস্ক I / O দ্বারা সীমাবদ্ধ)।

একটি বড় 4.6 গিগাবাইট ফাইলের এমডি 5সাম একই ফাইলের শ 1 সামের চেয়ে ঠিক একই সময় নিয়েছিল, অনেকগুলি ছোট ফাইল (একই ডিরেক্টরিতে 488) এর সাথে একই হয়। আমি কয়েক ডজন পরীক্ষা চালিয়েছি এবং তারা দৃit়রূপে একই ফলাফল পাচ্ছে।

-

এটি আরও তদন্ত করা খুব আকর্ষণীয় হবে। আমার ধারণা, আশেপাশে এমন কিছু বিশেষজ্ঞ রয়েছেন যে নতুন প্রসেসরগুলিতে sha1 এমডি 5 এর চেয়ে দ্রুত কেন বাড়ছে তার একটি শক্ত উত্তর দিতে পারে।

Comments

আপনাকে মারাত্মকভাবে একটি এসএসডি কিনতে হবে (এবং / অথবা ম্যাকাফি মুছে ফেলুন) :)

— মার্টেন বোদেউয়েস

@ ওলস্টেড অভিশাপ আমি যখন চেষ্টা করেছিলাম তখন আমি মি লিনাক্স বাক্সগুলির "স্লো মোড" বন্ধ করতে ভুলে গিয়েছিলাম।

— জনরাইড

@ জনরাইড, কোনও ফাইল থেকে বেঞ্চমার্ক করবেন না। এটিকে মেমরিতে ডেটা থেকে চালান বা আরও সহজ সরলভাবে একই মানটি পুনঃস্থাপন করুন।

— রবিনো 31'17

@ রবিনো এটিই openssl speedকরে যা প্রথম এবং সবচেয়ে অর্থবহ মানদণ্ড।

— জন্রিড

Answer 4

এমডি 5 এসএসই 2 ব্যবহার থেকেও উপকৃত হয়, বারসডাব্লুএফএফ পরীক্ষা করে দেখুন এবং তারপরে আমাকে জানান যে এটি হয় না। এটি যা লাগে তা হ'ল সামান্য একত্রিতকারী জ্ঞান এবং আপনি নিজের এমডি 5 এসএসই 2 রুটিন তৈরি করতে পারেন। তবে প্রচুর পরিমাণে থ্রুপুটের জন্য, ইনশপটি ডেটা পুনরায় সাজানোর সময় ব্যবহৃত সিমড নির্দেশাবলীর সাথে সামঞ্জস্য রাখতে ব্যয় করার বিপরীতে হ্যাশিংয়ের সময় গতির একটি বাণিজ্য রয়েছে।

Comments

এক নজরে এটি স্পষ্ট নয় যে এসএসই 2 একটি এমডি 5 থ্রেড গতিতে ব্যবহার করতে বা কয়েকটি সমান্তরাল MD5 থ্রেড যুক্ত করতে ব্যবহৃত হয়; দ্বিতীয়টি অবশ্যই বেশিরভাগ অ্যালগরিদমের পক্ষে সহজ, তবে এটি এসএসই 2 থেকে উপকারী হিসাবে গণ্য হয় না কারণ সাধারণত যা প্রয়োজন তা ডেটাগুলির একক স্ট্রিম।

— লাপো

Answer 5

sha1sum md5sum এর চেয়ে পাওয়ার 9 এ বেশ কিছুটা দ্রুত is

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s