প্রাথমিক সংখ্যা ব্যবহার করে ডেটা সংক্ষেপণ

Question

আমি সম্প্রতি নিম্নলিখিত আকর্ষণীয় নিবন্ধটিতে হোঁচট খেয়েছি , যা তথ্যের ধরণ এবং বিন্যাস নির্বিশেষে সর্বদা 50% এর বেশি দ্বারা র্যান্ডম ডেটা সেটগুলিকে দক্ষতার সাথে সংকুচিত করার দাবি করে।

মূলত এটি 4-বাইট ডেটা অংশগুলির উপস্থাপনা অনন্যভাবে তৈরি করতে প্রধান সংখ্যাগুলি ব্যবহার করে যা প্রতিটি সংখ্যা প্রাইমের এক অনন্য পণ্য given এই ক্রমগুলি প্রাইমগুলির সাথে সংযুক্ত করার জন্য এটি একটি অভিধান ব্যবহার করে।

আমার প্রশ্নটি হ'ল:

• লেখকরা যেভাবে পরামর্শ দিয়েছেন এটি কি সত্যিই সম্ভব? কাগজ অনুসারে, তাদের ফলাফলগুলি খুব কার্যকরী এবং সর্বদা একটি ছোট আকারের ডেটা সংকুচিত করে। অভিধানের আকারটি কি বিশাল হবে না?
• এটি একই অ্যালগরিদম ব্যবহার করে সংক্ষেপিত ডেটা পুনরায় সংক্ষেপে ব্যবহার করা যায় না? এটি সুস্পষ্ট, এবং প্রদর্শিত হয়েছে যে এই জাতীয় কৌশলগুলি (যেখানে সংকুচিত ডেটা যতবার সম্ভব পুনরায় সংকুচিত করা হয়, নাটকীয়ভাবে ফাইলের আকার হ্রাস করা) অসম্ভব; প্রকৃতপক্ষে, সমস্ত এলোমেলো ডেটার সেট এবং সংক্ষেপিত ডেটার মধ্যে কোনও দ্বিধা থাকবে না। তাহলে কেন এটি অনুভব করা সম্ভব হবে?
• প্রযুক্তিটি এখনও হিসাবে নিখুঁত না হলেও এটি স্পষ্টতই অনুকূলিত এবং দৃ strongly়রূপে উন্নত হতে পারে। কেন এটি বেশি বিস্তৃত / অধ্যয়ন হয় না? যদি সত্যিই এই দাবিগুলি এবং পরীক্ষামূলক ফলাফলগুলি সত্য হয় তবে এটি কি কম্পিউটিংকে বিপ্লব করতে পারে না?

Comments

যেমন আপনি পর্যবেক্ষণ করেছেন, কাগজটি সত্যই শক্তিশালী দাবি করছে। এই জাতীয় দাবী সম্পর্কে সর্বদা খুব সন্দেহজনক থাকুন, বিশেষত যদি কাগজটি কোনও বিজোড় স্থানে প্রকাশিত হয় (আশ্চর্যজনক কাগজগুলি "বিপ্লবী কম্পিউটিং" সম্মানিত সুপরিচিত স্থানগুলিতে উপস্থিত হওয়া উচিত, তাই না?)।

— জুহো

কোলমোগোরভ জটিলতা তত্ত্বের ভিত্তিতে যেমন "সর্বদা এলোমেলো তথ্য সংক্ষেপণ" অসম্ভব । এবং আপনি কীভাবে স্কেচ তৈরি করেছেন তা মতবিরোধের মতো। নিশ্চিত নয় যে এটি কাগজের বা মূল কাগজে ভুল ব্যাখ্যা আছে। সেই বিশেষ দাবিটি যেখানে আসে সেখানে কেন আপনি হাইলাইট করবেন না?

— vzn

"একই অ্যালগরিদম ব্যবহার করে সংক্ষেপিত ডেটাটি পুনরায় সংক্ষেপে ব্যবহার করতে পারি না?" - হ্যাঁ যে কোনও অ্যালগরিদম যা দাবি করে যে সমস্ত স্বেচ্ছাচারিত তথ্য সংকুচিত করতে সক্ষম হয় তার নিজস্ব আউটপুটে পুনরাবৃত্তভাবে প্রয়োগ করা যেতে পারে যে কোনও ডেটা 0 বিটগুলিতে সংকুচিত হয়। সুতরাং, এই দাবি অসম্ভব।

— জার্গ ডব্লু মিট্টাগ

@ জার্গডব্লিউমিত্যাগ আমার একটি অ্যালগরিদম রয়েছে যা আপনাকে একটি ফাইলকে বারবার সংক্ষিপ্ত সংখ্যক বিটগুলিতে সঙ্কুচিত করতে দেয়, তবে এটি অত্যন্ত অবৈধ। কেবলমাত্র 1 বিট দিয়ে শুরু হওয়া ফাইলগুলির সাথে কাজ করে: পুরো ফাইলটিকে একটি বড় বাইনারি সংখ্যা হিসাবে বিবেচনা করুন, এটি হ্রাস করুন, তারপরে শীর্ষস্থানীয় 0 টি বাতিল করুন। সংক্ষেপণ করতে, এটি বৃদ্ধি করুন, প্রয়োজনে একটি শীর্ষস্থানীয় 1 যুক্ত করুন।

— ব্যবহারকারী 253751

নিজের কাছে নোট করুন: যে কোনও এলসিভিয়ার জার্নালে - কোনও দিন কোনও কাগজপত্র জমা দেওয়ার ঝামেলা করবেন না।

— 500 -

Answer 1

সর্বদা 50% এরও বেশি দ্বারা এলোমেলো ডেটা সেটগুলি সংকুচিত করুন

সেটা অসম্ভব. আপনি এলোমেলো তথ্য সংকুচিত করতে পারবেন না , আপনার সুবিধা নিতে কিছু কাঠামো দরকার need কম্প্রেশন, উলটাকর হতে হবে যাতে আপনি সম্ভবত কম্প্রেস করতে পারেন না সবকিছু 50% দৈর্ঘ্য অনেক কম স্ট্রিং আছে কারণ সেখানে দৈর্ঘ্যের তুলনায় এন ।$n/2$$n$

কাগজটি নিয়ে কিছু বড় সমস্যা রয়েছে:

• তারা তাদের সামগ্রীর কোনও ইঙ্গিত ছাড়াই 10 টি পরীক্ষা ফাইল ব্যবহার করে। ডেটা কি আসলেই এলোমেলো? এগুলি কীভাবে উত্পন্ন হয়েছিল?

• তারা কমপক্ষে 50% এর সংকোচন অনুপাত অর্জনের দাবি করে , যখন তাদের পরীক্ষার ডেটা দেখায় যে তারা সর্বোচ্চ 50% অর্জন করেছে ।

এই অ্যালগরিদম একটি ক্ষতিহীন কৌশল সংজ্ঞা দেয় যা দশমিক সংখ্যা সিস্টেমে উপস্থিত মৌলিক সংখ্যাগুলি ব্যবহার করে

• কি? মৌলিক সংখ্যাগুলি বেস নির্বিশেষে মৌলিক সংখ্যা।

• ডিকম্প্রেশন সহ # 1 ইস্যু করুন: প্রাইম ফ্যাক্টরাইজেশন একটি কঠিন সমস্যা, তারা কীভাবে দক্ষতার সাথে এটি করবেন?

• $2\cdot 5 = 10 = 5\cdot 2$

আমি মনে করি না এই কাগজটি খুব ভাল।

Comments

আমি যা বুঝতে পেরেছি সেগুলি থেকে ডিকশনারে একই সংখ্যাটির সাথে স্ট্রিংয়ের ক্রম সংরক্ষণ করে। তবে এলোমেলো ডেটা সেটগুলিতে, বহুগুণ 1 (বা সমান গুণ) এর সাথে অনেকগুলি 4 বাইট স্ট্রিং রয়েছে কিনা তা দিয়ে কি এটি একটি বিশাল অভিধান তৈরি করা উচিত নয়?

— ক্লানজেন

@ পিকল তাদের উদাহরণে, "@THE" স্ট্রিংটির বহুগুণ রয়েছে। আমি দেখতে পাচ্ছি না যে তারা " পুনর্গঠন " করতে পারে যেখানে দুটি জায়গায় "" "শব্দটি যেতে হবে।

— টম ভ্যান ডার জ্যান্ডেন

আহ আমি দেখি. ভাল পর্যবেক্ষণ। আসলে, এটি একটি বড় সমস্যা। এই পত্রিকাটি জার্নালে উপস্থিত হওয়ার জন্য কীভাবে গৃহীত হয়েছিল? আরও কঠোর পিয়ার পর্যালোচনা থাকা উচিত নয়?

— ক্লানজেন

@ পিকল হ্যাঁ, আরও কঠোর পর্যালোচনা করা উচিত। যদিও এটি সর্বদা ক্ষেত্রে হয় না, কখনও কখনও অনভিজ্ঞ / অলস / অক্ষম সম্মেলনের আয়োজকরা সময়মতো পিয়ার রিভিউয়ার সন্ধান করতে পরিচালনা করেন না। এলোমেলোভাবে উত্পন্ন জিব্বারিশ সম্বলিত কাগজপত্রের একাধিক ঘটনা গ্রহণযোগ্যতা পেয়েছে এবং একটি জার্নাল এমনকি "আমাকে আপনার চোদার মেইলিং তালিকা থেকে ছাড়িয়ে দিন " শিরোনামে একটি পেপার প্রকাশ করেছে ।

— টম ভ্যান ডার জ্যান্ডেন

হাহাহা আশ্চর্যজনক। তবে একই সাথে দু: খিত।

— ক্লানজেন

Answer 2

আমি টম ভ্যান ডার জ্যানডেনের কাছে পিছনে যাচ্ছি যিনি মনে হয় কাগজটি পড়েছেন এবং পদ্ধতিটিতে একটি দুর্বলতা আবিষ্কার করেছেন। আমি বিস্তৃতভাবে কাগজটি পড়িনি, বিমূর্ত এবং ফলাফলের টেবিল থেকে গিয়ে, এটি একটি বিস্তৃত বিশ্বাসযোগ্য দাবি বলে মনে হচ্ছে।

তারা যা দাবি করে তা হ'ল পাঠ্য ফাইলগুলিতে ("সমস্ত ফাইল নয়") এর একটি সামঞ্জস্যপূর্ণ 50% সংক্ষেপণ অনুপাত , যা তারা লক্ষ করে যে প্রায় LZW এর সমান এবং হফম্যান কোডিংয়ের চেয়ে প্রায় 10% খারাপ। 50% দ্বারা টেক্সট ফাইলগুলি সংকুচিত করা যুক্তিসঙ্গত সহজ পদ্ধতি ব্যবহার করে অর্জন করা কঠিন নয়; এটি অনেক কম্পিউটার সায়েন্স কোর্সে একটি স্নাতক অ্যাসাইনমেন্ট।

আমি সম্মত নই যে প্রকাশিত গবেষণা হিসাবে কাগজটি খুব ভাল নয়, এবং আমি মনে করি না যে এটি পর্যালোচকদের পক্ষে ভাল বলেছে যে এটি গৃহীত হয়েছিল। ফলাফলগুলি পুনরুত্পাদনকে অসম্ভব করে তোলে (যেমন টেক্সট ফাইলগুলি কী ছিল) এবং এটিকে সংকোচনের ক্ষেত্রের সাথে বেঁধে রাখার কোনও প্রচেষ্টা ছাড়াও স্পষ্ট অনুপস্থিত বিবরণগুলি ছাড়াও, তাদের অ্যালগরিদম কী করছে তা সত্যই তারা বুঝতে পারে যে কোনও ধারণা নেই।

সম্মেলনের ওয়েব সাইটটিতে 1: 4 স্বীকৃতি অনুপাত দাবি করা হয়েছে, যা তারা কী প্রত্যাখ্যান করেছে তা অবাক করে দেয়।

Answer 3

আপনি জিজ্ঞাসা:

• লেখকরা যেভাবে পরামর্শ দিয়েছেন এটি কি সত্যিই সম্ভব? কাগজ অনুসারে, তাদের ফলাফলগুলি খুব কার্যকরী এবং সর্বদা একটি ছোট আকারের ডেটা সংকুচিত করে। অভিধানের আকারটি কি বিশাল হবে না?

হ্যা অবশ্যই. এমনকি তাদের হাতে-তোলা উদাহরণের জন্য ("অলস কুকুরের উপরে দ্রুত সিলভার জম্পস"), তারা সংক্ষেপণ অর্জন করতে পারে না, কারণ অভিধানটিতে পাঠ্যের প্রতিটি 4-বাইট সাবস্ট্রিং থাকে (এক বারের পুনরাবৃত্তির জন্য বিয়োগ 4 বাইট) " "" ... এবং পাঠ্যের "সংকুচিত" সংস্করণে পুরো অভিধানটি প্লাস হিসাবে এই সমস্ত মৌলিক সংখ্যার ক্র্যাপকে অন্তর্ভুক্ত করতে হবে।

• এটি একই অ্যালগরিদম ব্যবহার করে সংক্ষেপিত ডেটা পুনরায় সংক্ষেপে ব্যবহার করা যায় না? এটি সুস্পষ্ট, এবং প্রদর্শিত হয়েছে যে এই জাতীয় কৌশলগুলি (যেখানে সংকুচিত ডেটা যতবার সম্ভব পুনরায় সংকুচিত করা হয়, নাটকীয়ভাবে ফাইলের আকার হ্রাস করা) অসম্ভব; প্রকৃতপক্ষে, সমস্ত এলোমেলো ডেটার সেট এবং সংক্ষেপিত ডেটার মধ্যে কোনও দ্বিধা থাকবে না। তাহলে কেন এটি অনুভব করা সম্ভব হবে?

আবার আপনার কাছে পরিস্থিতিটি ভালভাবে অনুধাবন করা সম্ভব বলে মনে হচ্ছে। আপনি স্বজ্ঞাতভাবে বুঝতে পেরেছেন যে কোনও সংক্ষেপণ স্কীম কখনই সমস্ত ইনপুটগুলিতে কার্যকর হতে পারে না , কারণ এটি যদি হয় তবে আমরা কেবলমাত্র কোনও ইনপুটকে একটোট করে সংকোচনের জন্য এটিকে বারবার প্রয়োগ করতে পারি - এবং তারপরেও কিছুই হ্রাস পায় না!

এটি অন্য উপায়ে রাখার জন্য: একবার আপনি আপনার সমস্ত .wav ফাইলগুলি। এমপি 3 তে সংক্ষেপ করে ফেললে, আপনি সেগুলি জিপ করে ফাইলের আকারে কোনও উন্নতি করতে যাবেন না। যদি আপনার এমপি 3 সংক্ষেপক এটি কাজ করে থাকে তবে জিপ সংক্ষেপককে ব্যবহার করার জন্য কোনও নিদর্শন অবশিষ্ট থাকবে না।

(এটি একইরকম এনক্রিপশনের ক্ষেত্রেও প্রযোজ্য: যদি আমি আমার ফাইলের শূন্য অ্যালগরিদম শূন্যগুলির একটি ফাইল গ্রহণ করি এবং এটিকে এনক্রিপ্ট করি তবে ফলস্বরূপ ফাইলটি কমপ্রেসযোগ্য না হলে ভাল হত , নাহলে আমার এনক্রিপশন অ্যালগরিদম তার আউটপুটে "প্যাটার্ন" ফাঁস করছে!)

• প্রযুক্তিটি এখনও হিসাবে নিখুঁত না হলেও এটি স্পষ্টতই অনুকূলিত এবং দৃ strongly়রূপে উন্নত হতে পারে। কেন এটি বেশি বিস্তৃত / অধ্যয়ন হয় না? যদি সত্যিই এই দাবিগুলি এবং পরীক্ষামূলক ফলাফলগুলি সত্য হয় তবে এটি কি কম্পিউটিংকে বিপ্লব করতে পারে না?

এই দাবির ও পরীক্ষামূলক ফলাফল নেই না সত্য।

টম ভ্যান Zanden ডের ইতিমধ্যে যেমন লক্ষ করেছি, চক্রবর্তী, কর, এবং Guchait এর "কম্প্রেশন অ্যালগরিদম" যে ত্রুটিপূর্ণ না শুধুমাত্র এটি কোনো কম্প্রেশন অনুপাত অর্জন করতে পারে না, এটা এছাড়াও অপরিবর্তনীয় (mathspeak মধ্যে, "bijective না"): আছে একাধিক পাঠ্য যা একই চিত্রকে "সংকুচিত" করে, কারণ তাদের অ্যালগোরিদম মূলত গুণ এবং গুণকটি পরিবর্তিত হয়।

আপনার ভাল লাগা উচিত যে এই ধারণাগুলি সম্পর্কে আপনার স্বজ্ঞাত বুদ্ধি আপনাকে তাত্ক্ষণিকভাবে সঠিক সিদ্ধান্তে নিয়ে গেছে। এবং, যদি আপনি এই সময়টি অল্প ব্যয় করতে পারেন তবে আপনার সেই কাগজের লেখকদের প্রতি করুণা বোধ করা উচিত যারা স্পষ্টতই কিছু না বুঝে এই বিষয়টি নিয়ে স্পষ্টভাবে অনেক সময় ব্যয় করেছিলেন।

আপনার পোস্ট করা URL টির উপরে একটি স্তর ফাইল ডিরেক্টরিতে এই একই মানের ১৩৯ টি "কাগজপত্র" রয়েছে, সমস্তই "কম্পিউটারিং, তথ্য, যোগাযোগ এবং অ্যাপ্লিকেশনগুলির উদীয়মান গবেষণার আন্তর্জাতিক সম্মেলনের কার্যক্রম" হিসাবে দৃশ্যত স্বীকৃত। এটি স্বাভাবিক ধরণের একটি লজ্জাজনক সম্মেলন বলে মনে হচ্ছে। এই জাতীয় সম্মেলনের উদ্দেশ্য হ'ল জালিয়াতি শিক্ষাবিদদের "একটি জার্নালে প্রকাশনা" দাবি করার অনুমতি দেওয়া, পাশাপাশি অসাধু সংগঠকদেরও এক টন অর্থ উপার্জনের অনুমতি দেওয়া। (জাল সম্মেলন সম্পর্কে আরও তথ্যের জন্য, এই reddit থ্রেড বা বিষয় সম্পর্কিত বিভিন্ন স্ট্যাকএক্সচেঞ্জ পোস্ট দেখুন )) প্রতিটি ক্ষেত্রে শাম কনফারেন্স বিদ্যমান exist কেবল আপনার প্রবৃত্তির উপর বিশ্বাস রাখতে শিখুন এবং আপনি একটি "সম্মেলনের অগ্রগতিতে" যা পড়েছেন তার সব কিছু বিশ্বাস করবেন না এবং আপনি ভাল করবেন।

Comments

কেন এই কাগজটি সরল বাজে বলে স্পষ্টভাবে উল্লেখ করার জন্য ধন্যবাদ, এবং এটি কীভাবে এটিও সম্ভব যে এটি প্রথম স্থানে লেখা হয়েছিল এবং এটি যে কোনও ধরণের পর্যালোচনার মধ্য দিয়ে যেতে সক্ষম হয়েছিল তা জানান Thanks

— vaab

আপনার সংক্ষিপ্ত উত্তরের জন্য ধন্যবাদ। এটি সত্যিই দুঃখজনক হয় যখন আপনি জার্নাল এন্ট্রিগুলিকেও অন্তত কোনও প্রকারের পিয়ার দ্বারা পর্যালোচনা করার জন্য বিশ্বাস করতে পারেন না । এটি সত্যই "সত্যিকারের" বৈজ্ঞানিক জার্নাল প্রকাশনা পড়ার সময় অবশ্যই সতর্ক থাকতে হবে এই সত্যের উপর অনেক আলোকপাত করে। কেউ মনে করবেন যে এই জাতীয় নিবন্ধগুলি কেবল পিয়ার "পর্যালোচনা" সাপেক্ষে নয়, ন্যূনতম পিয়ার "বিশ্লেষণ" এর অধীনে যেমন এই ক্ষেত্রগুলিতে প্রচলিত থাকবে। আমি আশা করি এটি বেশিরভাগ লোকের জন্য চক্ষুশুদ্ধ হয়ে উঠবে।

— ক্লানজেন

আমি আজ শিখেছি যে অনুরূপ "অসীম সংক্ষেপণ অ্যালগরিদমগুলিতে" কমপক্ষে দুটি মার্কিন পেটেন্ট রয়েছে। দেখুন gailly.net/05533051.html

— Quuxplusone

Answer 4

এন্ট্রপি কার্যকরভাবে সবচেয়ে শক্তিশালী ক্ষতিহীন সংক্ষেপণের পারফরম্যান্সকে সীমাবদ্ধ করে। সুতরাং এমন কোনও অ্যালগরিদম নেই যা এলোমেলো ডেটা সেটকে সর্বদা 50% এর বেশি সংকুচিত করতে পারে।

Comments

এমনকি এমন একটি অ্যালগরিদমও নেই যা সর্বদা 0.0000001% এর বেশি দ্বারা র্যান্ডম ডেটাসেটগুলি সংকুচিত করতে পারে।

— ডেভিড রিচার্বি 21'15

Answer 5

সংকোচনের পদ্ধতিগুলি, যা প্রশান্তিযোগ্য, সাধারণভাবে একটি প্যাটার্ন সন্ধান করে এবং সরল পদ্ধতিতে এটি পুনরায় প্রকাশ করে। কিছু খুব চতুর, কিছু খুব সহজ। এক পর্যায়ে কোনও প্যাটার্ন নেই। প্রক্রিয়াটি (গুলি) একে একে অনন্য নিদর্শন হিসাবে সেট করা ডেটা 'সেদ্ধ' করেছে। সেই বিন্দু থেকে সংকোচনের যে কোনও প্রচেষ্টা ফরোয়ার্ডের ফলে আরও বড় ডেটা সেট হয়ে যায়, বা স্বতন্ত্রতাটি কমিয়ে দেয়। ম্যাজিক সংখ্যা সংকোচনের স্কিমগুলিতে সর্বদা একটি ত্রুটি, বা কিছুটা হাত, বা ক্ষতি থাকে। সর্বশেষ উইনজিপ বা আরএআর করার দাবি করে এমন কোনও প্রক্রিয়া সম্পর্কে সতর্ক থাকুন।

Comments

$s$$s$$s$

@ ডেভিডরিচার্বি, তারপরে আপনার খালি স্ট্রিংয়ের সংক্ষেপণ বৃহত্তর ডেটা সেট তৈরি করে, যেমন স্কিপবার্ন দাবি করেছেন। তবুও, আমি মনে করি তার উত্তরটি পরিষ্কার হওয়া উচিত যে তিনি একই অ্যালগরিদম ব্যবহার করে পূর্ববর্তী আউটপুটটি পুনরায় সংক্ষেপণের বিষয়ে উল্লেখ করছেন ।

— অ্যাঞ্জেল

@ অ্যাঞ্জেল স্কিপবার্নের দাবী হ'ল এমন কিছু স্ট্রিং রয়েছে যা কোনও অ্যালগরিদম দ্বারা সংক্ষিপ্ত করা যায় না (" আমার জোরের দিক থেকে " সংক্ষেপে কোনও প্রচেষ্টা ", আমার জোর)। এটি আমি দেওয়ার কারণে ভুল: প্রতিটি স্ট্রিংয়ের জন্য একটি অ্যালগরিদম রয়েছে যা সেই স্ট্রিংকে সংকুচিত করে।

— ডেভিড রিচার্বি

আমি যেভাবে এটি ব্যাখ্যা করি স্কিপবার্ন দাবি করছে যে প্রতিটি সংক্ষেপণ অ্যালগরিদমের জন্য একটি স্ট্রিং রয়েছে যা উপলব্ধি করা যায় না। কোনটা সত্য. অবশ্যই সেই অবিরাম চাপের স্ট্রিং অবশ্যই বিভিন্ন অ্যালগরিদমের জন্য আলাদা হবে।

— জোসে আন্তোনিও মনিকা পুনরায়

@ ডেভিডরিচার্বি আপনি কোয়ান্টিফায়ারগুলিকে ভুলভাবে স্থাপন করছেন - এটি যুক্তিসঙ্গতভাবে স্পষ্ট যে স্কিপবার্ন লিখেছেন যে (যে কোনও সংকোচন পদ্ধতির জন্য একটি পয়েন্ট রয়েছে যার পরে কোনও সংক্ষেপণ নেই), তা নয় (এমন কোনও বিন্দু রয়েছে যার পরে কোনও সংকোচন পদ্ধতির জন্য রয়েছে) কোনও সংকোচনের নয়)। এই উত্তরটি সত্যই সঠিক, তবে পুরানো, ভাল-লিখিত উত্তরগুলিতে কিছুই যুক্ত করে না।

— গিলস