ফাইলগুলির জন্য সর্বাধিক সংকোচনের (ওয়েব স্থানান্তরের জন্য)?


14

আমি আশেপাশে কিছু উচ্চ সঙ্কুচিত ফাইলগুলি দেখেছি যেমন M০০ এমবি ডেটা প্রায় ৩০-৫০ এমবিতে সংকুচিত হয়।

কিন্তু আপনি এই ধরনের সংকুচিত ফাইলগুলি কীভাবে পাবেন? আমি উইনআরআর এবং 7 জিপ এর মতো সফ্টওয়্যার ব্যবহার করার চেষ্টা করেছি তবে এত উচ্চতর সংক্ষেপণ কখনও অর্জন করতে পারেনি।

এমন কী কী কৌশল / সফ্টওয়্যার যা আপনাকে ফাইলগুলি এত ভালভাবে সংকুচিত করতে দেয়?

(পিএস আমি উইন্ডোজ এক্সপি ব্যবহার করছি)


দুর্দান্ত ধারণা ... তবে আপনি যেভাবেই এই জাতীয় ফাইলগুলি পাবেন?
রবিনিক্স

3
আমি 7zip কমপ্রেস সার্ভার লগ ফাইলগুলি (মূলত পাঠ্য) তাদের মূল আকারের প্রায় 1% অবধি দেখেছি।
উম্বার ফেরুল 13

2
নোটপ্যাড খুলুন। 1 বিলিয়ন বার "এ" টাইপ করুন। সংরক্ষণ করুন, তারপরে সংক্ষিপ্ত করুন। কি দারুন! একটি অ্যাপ্লিকেশন তৈরি করুন যা কোনও ফাইলে 1 বিলিয়ন (সত্য) এলোমেলো সংখ্যা লিখে থাকে। সংকোচ। ওহো?
igrimpe

igrimpe: অনেকগুলি সংক্ষেপণ অ্যালগরিদম সূচক নিদর্শন। একটি বিলিয়ন এ এর ​​একটি এক বিলিয়ন বার। আপনি এটি [A] {1, 1000000000} কে সংকোচন করতে পারেন} আপনার যদি বিলিয়ন এলোমেলো সংখ্যা থাকে তবে প্রদত্ত সাবসেটের প্রতিটি টানা সংখ্যার সাথে ম্যাচিং সাবসেটের সম্ভাব্যতা হ্রাস পায় বলে প্যাটার্ন ম্যাচিং করা কঠিন হয়ে পড়ে।
অ্যারোনএফ

উত্তর:


11

যদি ডেটা সঙ্কুচিত করতে সময় নেওয়া কোনও সমস্যা না হয়, তবে আপনি একসাথে বেশ কয়েকটি বিভিন্ন সরঞ্জাম ব্যবহার করে সংক্ষিপ্ত আকারটিকে অনুকূল করতে পারেন।

7zip, winrar (জিপ জন্য) এবং bjwflate মত বিভিন্ন সরঞ্জাম ব্যবহার করে বেশ কয়েকবার ডেটা সংকুচিত করুন।

(দ্রষ্টব্য যে এর অর্থ জিপ ফাইলটি বার বার সংকোচনের নয়, বরং বিভিন্ন সরঞ্জাম ব্যবহার করে বেশ কয়েকটি বিকল্প জিপ ফাইল তৈরি করুন)

এরপরে, প্রতিটি সংরক্ষণাগারটিকে আরও কিছুটা কমাতে প্রতিটি সংরক্ষণাগারে ডিফল্ট চালান ।

শেষ পর্যন্ত সংরক্ষণাগার সংগ্রহের জন্য জিপমিক্স চালান । যেহেতু বিভিন্ন জিপ সরঞ্জামগুলি বিভিন্ন ফাইলে আরও ভাল, তাই জিপমিক্স প্রতিটি সংরক্ষণাগার থেকে প্রতিটি ফাইলের সেরা সংকোচিত সংস্করণটি বেছে নেয় এবং একটি আউটপুট তৈরি করে যা কোনও জিপ সরঞ্জাম পৃথকভাবে উত্পাদন করতে পারে তার চেয়ে ছোট is

আপনার অবশ্যই লক্ষ্য করা উচিত যে এটি আপনার ফাইলে কোনও ধরণের যাদু কাজ করার গ্যারান্টিযুক্ত নয়। কিছু ধরণের ডেটা জেপিইজি এবং এমপি 3 এর মতো খুব ভালভাবে সংকোচন করে না। এই ফাইলগুলি ইতিমধ্যে অভ্যন্তরীণভাবে সংকুচিত হয়েছে।


4
জেপিইজি এবং এমপি 3 জিপ করা হয় না। তারা সংকুচিত কিন্তু জিপ করা হয় না।
কোভবাল

এটি অবিশ্বাস্যভাবে দুর্বল পরামর্শ, একাধিক সংক্ষেপণ অ্যালগরিদমকে ধারাবাহিকভাবে ব্যবহার করার চেষ্টা করা খুব খারাপ ধারণা। প্রতিটি অ্যালগরিদম একটি সংকুচিত ফাইল + ওভারহেড তৈরি করে, সুতরাং একাধিকটি ব্যবহার করে আপনি যে সংকোচনের চেষ্টা করছেন সেই ডেটাতে আপনি আসলে ডেটা যুক্ত করছেন - এটি বালির মধ্যে একটি গর্ত খনন করার চেষ্টা করার মতো, আপনি যত বেশি গভীর বালি oursুকে যান আপনি. আপনি সর্বাধিক সংক্ষেপণ সেটিংসে একক ভাল অ্যালগরিদম ব্যবহার করা থেকে অনেক ভাল।
ট্যাক্রয়

আমার মনে হয় আপনি ভুল বুঝেছেন .. একই তথ্য বারবার সংক্ষেপিত হচ্ছে না। বরং আপনি কেবল আর্কাইভের পরিবর্তে প্রতি ফাইলের ভিত্তিতে সেরা একক অ্যালগরিদম চয়ন করছেন।
izb 5:55 এ 612

6
বেশ কয়েকবার ডেটা সংকুচিত করা বেশ বিভ্রান্তিকর।
ta.speot.is

12

এটি সম্পূর্ণরূপে সংকুচিত হওয়া ডেটার উপর নির্ভর করে।

পাঠ্যটি খুব ভালভাবে সংকুচিত হয়, বাইনারি ফর্ম্যাটগুলি এত ভাল না এবং সংকুচিত ডেটা (এমপি 3, জেপিজি, এমপিগ) মোটেও নয়।

এখানে উইকিপিডিয়া থেকে একটি ভাল কম্প্রেশন তুলনা সারণী


আমি সচেতন যে সংকোচনতা ডেটা ধরণের উপর নির্ভর করে, তবে এমন কোনও নির্দিষ্ট কৌশল রয়েছে যা আপনাকে ফাইলগুলি আরও সঙ্কুচিত করতে সহায়তা করে?
rzlines

3
একবার আপনি কোনও কিছু সংকুচিত করে ফেললে এটি পরিমাপযোগ্যভাবে ছোট হওয়া সাধারণত অসম্ভব। আপনাকে কেবল আপনার ডেটার জন্য উপযুক্ত সংকোচন পদ্ধতি নির্বাচন করতে হবে।
নিফলে

পাঠ্যটি সহজেই 90% পর্যন্ত সংকুচিত করা যায়।
জর্জি স্কলি

@ জর্জিস্কলি: এটি দুর্দান্ত। যেহেতু আমি কোনও তথ্যকে পাঠ্যে রূপান্তর করতে পারি, উদাহরণস্বরূপ প্রতিটি বাইনারি বাইটকে পাঠ্যে প্রদর্শিত দুটি হেক্সাডেসিমাল অঙ্কগুলিতে রূপান্তর করুন। এটি আমার আকার দ্বিগুণ করবে তবে তার দ্বিগুণ আকারের 90% সাশ্রয় করলে সামগ্রিকভাবে 80% সাশ্রয় হয়। (বা, আমি বাইনারি থেকে পাঠ্য রূপান্তরকে কিছুটা আরও দক্ষতার জন্য বেস 64 ব্যবহার করতে পারি)) এটি আশ্চর্যজনকভাবে দুর্দান্ত খবর! :)
তোগাম

8

পূর্ববর্তী উত্তরগুলি একটি মাত্রার অর্ডার দিয়ে ভুল!

আমার সাথে সর্বোত্তম সংকোচনের অ্যালগরিদম যার সাথে আমার ব্যক্তিগত অভিজ্ঞতা রয়েছে তা হ'ল পাক 810 টি ( জেডপ্যাক পৃষ্ঠা এবং পিডিএফ দেখুন )।

ইঙ্গিত: ফাইল_অর_ফোল্ডারগুলি সংকুচিত করার জন্য কমান্ডটি হ'ল:

paq8o10t -5 archive files_or_folders

আর্কাইভ আকার বনাম সময় ডেল অক্ষাংশ E6510 ল্যাপটপে (কোর আই 7 এম 620, 2 + 2 হাইপারথ্রিডস, 2.66 গিগাহার্টজ, 4 জিবি, উবুন্টু লিনাক্স) এ ডিফল্ট এবং সর্বাধিক সেটিংসে একটি বাহ্যিক ইউএসবি হার্ড ড্রাইভে 10 গিগাবাইট (, 1,৩৩১ ফাইল) সঙ্কুচিত করতে এবং নিষ্কাশনের সময় , ওয়াইন 1.6)।  10 জিবি বেঞ্চমার্কের ডেটা (সিস্টেম 4)।

উত্স: বর্ধিত জার্নালিং ব্যাকআপ ইউটিলিটি এবং আর্চিভার

আপনি গিটহাবে সোর্স কোডের একটি আয়না পেতে পারেন ।


সামান্য উন্নত সংক্ষেপণ অ্যালগরিদম, এবং হটার পুরস্কার বিজয়ী , decomp8 (পুরষ্কার পৃষ্ঠায় লিঙ্ক দেখুন)। তবে, এমন কোনও সংক্ষেপক প্রোগ্রাম নেই যা আপনি বাস্তবে ব্যবহার করতে পারেন।


জন্য সত্যিই বড় ফাইল lrzip কম্প্রেশন অনুপাত যে কেবল আছে অর্জন করতে পারেন হাস্যরসাত্মক

README.benchmark এর একটি উদাহরণ:


চলুন, টারবল হিসাবে লিনাক্স-২.6.৩১ থেকে লিনাক্স-২. ..66 হিসাবে ছয়টি কার্নেল গাছের এক সংস্করণ আলাদা করা যাক। এগুলি প্রচুর অপ্রয়োজনীয় তথ্য দেখাবে, তবে কয়েকশ মেগাবাইট বাদে কোন lrzip সংকোচনের ক্ষেত্রে খুব ভাল হবে। সরলতার জন্য, কেবলমাত্র 7z এর সাথে তুলনা করা হবে যেহেতু এই মুহুর্তে এটি এখন পর্যন্ত সেরা সাধারণ উদ্দেশ্য সংক্ষেপক:

এগুলি lrzip v0.5.1 ব্যবহার করে 4 জিবি র‌্যামের সাথে 2.53 গিগাহার্টজ দ্বৈত কোর ইন্টেল কোর 2 এ সঞ্চালিত বেঞ্চমার্ক। নোট করুন যে এটি 32 বিট ব্যবহারকারী স্পেস দিয়ে চলছে তাই কেবল 2 জিবি অ্যাড্রেসিং উপযুক্ত ছিল। তবে বেনমার্কটি -U বিকল্পের সাহায্যে চালিত হয়েছিল যাতে পুরো ফাইলটিকে একটি বৃহত সংক্ষেপণ উইন্ডো হিসাবে বিবেচনা করা যেতে পারে।

টানা 6 টি কার্নেল গাছের তারবাল।

Compression    Size                 Percentage      Compress    Decompress
None           2373713920           100             [n/a]       [n/a]
7z             344088002            14.5            17m26s      1m22s
lrzip          104874109            4.4             11m37s      56s
lrzip -l       223130711            9.4             05m21s      1m01s
lrzip -U       73356070             3.1             08m53s      43s
lrzip -Ul      158851141            6.7             04m31s      35s
lrzip -Uz      62614573             2.6             24m42s      25m30s

এটি সর্বোচ্চ সংকোচনের অনুপাত সরবরাহ করতে অনুকূলিত, তবে নিকট-প্রতিযোগীদের তুলনায় অত্যন্ত ধীর slow
এরিক জে।

2
@ এরিক জে। হ্যাঁ, তবে প্রশ্নটি সংক্ষেপণ / ডিকম্প্রেশনের গতি নির্দিষ্ট করে নি;)
আলেকজান্ডার রিক্সিও

3

স্কুইজার্ট ডট কম বিভিন্ন কম্প্রেশন হারের তুলনা করে। যদিও, নিফলের উত্তর অনুসারে বলা হয়েছে - বাইনারি ফর্ম্যাটগুলির জন্য আপনি এত বেশি সংকোচনের হার পাওয়ার সম্ভাবনা কম।


2

বেশিরভাগ সংক্ষেপণ সরঞ্জামগুলির মধ্যে আপনাকে ধীর সংক্ষেপণ / ডিকম্প্রেশন সময় এবং আরও বেশি র‍্যাম ব্যবহারের সমঝোতায় উচ্চতর সংকোচনের হার অর্জনের মঞ্জুরি দেওয়ার জন্য সেটিংস থাকে।

7-জিপের জন্য, আরও বিশদে বিশদ অন্তর্নিহিত সহায়তায় "সংরক্ষণাগার ডায়ালগ বাক্সে যুক্ত করুন" অনুসন্ধান করুন।


2

আপনি নিম্নলিখিত আলট্রা সেটিংস সহ 7zip চেষ্টা করতে পারেন:

7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on big_file.mysql.7z big_file.mysql

2

কেবলমাত্র একাধিক ফাইল সংকোচনের বেঞ্চমার্ক পরীক্ষার সংক্ষিপ্তসারটি পরীক্ষা করে দেখুন যার মধ্যে সর্বোত্তম সংকোচনের তালিকা রয়েছে যাতে সম্পূর্ণ সংকোচনের বেঞ্চমার্ক থাকে।

শীর্ষ 30

এখানে চিত্র বর্ণনা লিখুন

এই পরীক্ষায় শীর্ষস্থানীয় পারফর্মাররা (সংক্ষেপণের উপর ভিত্তি করে) হলেন PAQ8 এবং WinRK (PWCM)। তারা 300+ এমবি টেস্টসেটটি 62 এমবি (আকারে 80% হ্রাস) এর চেয়ে কমতে সংক্ষিপ্ত করতে সক্ষম তবে পরীক্ষাটি শেষ করতে সর্বনিম্ন 8,5 ঘন্টা সময় নেয়। এক নম্বর প্রোগ্রাম (PAQ8P) পরীক্ষাটি শেষ করতে প্রায় 12 ঘন্টা এবং চার নম্বর (PAQAR) এমনকি 17 ঘন্টা সময় নেয়। উইনআরকে, ২ য় সেরা সংকোচনের সাথে প্রোগ্রামটি (.7৯.%%) প্রায় 8,5 ঘন্টা সময় নেয়। আশ্চর্যের বিষয় নয় যে সমস্ত উল্লিখিত প্রোগ্রামগুলি সংক্ষেপণের জন্য একটি PAQ (-Like) ইঞ্জিন ব্যবহার করে। আপনার যদি এমবেড করা চিত্র সহ ফাইল রয়েছে (যেমন ওয়ার্ড ডক ফাইলগুলি) পিএকিউ 8 ব্যবহার করে তবে তা তাদের সনাক্ত করবে এবং আলাদাভাবে সংকোচিত হবে, সংক্ষেপণ উল্লেখযোগ্যভাবে বাড়িয়ে তুলবে। উল্লিখিত সমস্ত প্রোগ্রাম (উইনআরকে ব্যতীত) নিখরচায়।


1

এখানে আপনার সেরা বাজি পরীক্ষা এবং ত্রুটি বলে মনে হচ্ছে। প্রতিটি ফাইলে আপনার উপলব্ধ সমস্ত সংকোচনের কৌশল ব্যবহার করে দেখুন এবং আপনার ওয়েবসাইটে সেরা উপস্থাপন করুন। ভাগ্যক্রমে কম্পিউটারগুলি খুব দ্রুত এই ধরণের কাজ করে এবং বিরক্ত হয় না। প্রক্রিয়াটি স্বয়ংক্রিয় করতে আপনি একটি সাধারণ স্ক্রিপ্ট লিখতে পারেন তাই এটি "তুলনামূলকভাবে ব্যথাহীন" হয়ে উঠবে।

কেবল অলৌকিক ঘটনাগুলি আশা করবেন না - 700 এমবি ডাউন 30 এমবি কেবল এটি প্রায়শই ঘটে না। উপরে উল্লিখিত হিসাবে ফাইল লগ - হ্যাঁ। "আপনার গড় ফাইল" - কোনও উপায় নেই।


0

ন্যানোজিপকে ফ্রিআরসি-র সাথে একসাথে সর্বাধিক সংক্ষেপণ বলে মনে হচ্ছে। তবে এটি এখনও চূড়ান্ত সংস্করণে নেই। নেই কিভাবে ভাল কম্প্রেশন Nanozip অর্জন করা । এটিতে খুব বেশি সংকোচনের রয়েছে এবং এটি খুব বেশি সময় নেয় না, একাধিক ফাইল সংক্ষেপণের বেঞ্চমার্ক পরীক্ষার সংক্ষিপ্তসারটি পরীক্ষা করে দেখুন , তবে ফ্রিআরসিএকটি দ্রুত।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.