কোলমোগোরভ জটিলতার দক্ষতার সাথে গণনাযোগ্য বৈকল্পিক

Question

Kolmogorov উপসর্গ জটিলতা (অর্থাত সংক্ষিপ্ত আত্ম-delimiting কর্মসূচির আকার যে আউটপুট ) বিভিন্ন চমৎকার বৈশিষ্ট্য আছে:$K(x)$$x$

1. এটি প্যাটারগুলির সাথে স্ট্রিং দেওয়ার বা অন্তর্নিহিতের সাথে স্ট্রিংয়ের চেয়ে কম জটিলতার সাথে সম্পর্কিত।
2. এটি আমাদের শর্তযুক্ত জটিলতা বা কিছু ওরাকল জন্য আরও ভাল সংজ্ঞায়িত করতে দেয় ।$K(x|y)$$K(x|O)$$O$
3. এটি সাব-অ্যাডেটিভ ।$K(x,y) \leq K(x) + K(y)$

তবে এটি একটি ভয়াবহ downside হয় আছে: ফিরে প্রদত্ত undecidable হয়।$K(x)$$x$

আমি ভাবলাম যে কোলমোগোরভ জটিলতা এর কোনও রূপান্তর রয়েছে মডেল গণনার (যদি টিএমএসের চেয়ে দুর্বল ভাষা ব্যবহার করে, বা পুনরায় সীমাবদ্ধ টিএম ব্যবহার করে) বৈশিষ্ট্যগুলি সংরক্ষণ করে (1) এবং (2) (বৈশিষ্ট্য ( 3) একটি বোনাস, কিন্তু একটি আবশ্যক নয়) দক্ষতার সাথে গুনে থাকার সময়?$K'(x)$

এই প্রশ্নের প্রেরণা বিবর্তনের বিভিন্ন খেলনা-মডেলের সিমুলেশন স্টাডিতে ব্যবহারের জন্য। সুতরাং একটি উত্তর যা আগে সংখ্যাসূচক কাজে কোলমোগোরভ জটিলতার জন্য 'মোটামুটি অনুমান' হিসাবে ব্যবহার করা হয়েছে তাকে পছন্দ করা যায়। যাইহোক, লক্ষ্য সম্পূর্ণভাবে পরীক্ষামূলক যেতে হয় না, তাই একটি অপেক্ষাকৃত সহজ / পরিষ্কার বর্ণনা ভাষা / মডেল অফ গণনার জন্য পছন্দ করা হয়, তাই যে কিভাবে এটি আয়তন বহুলাংশে সম্পর্কে কিছু যুক্তিসঙ্গত উপপাদ্য প্রমাণ করার সম্ভব হতে পারে থেকে পৃথক এবং কী ধরনের স্ট্রিংগুলিতে।$K'$$K'$$K$

প্রশ্ন সম্পর্কিত

দুর্বল বর্ণন ভাষার সাথে কোলমোগোরভ জটিলতা

অনিবার্য সমস্যার জন্য কি একটি আনুমানিক অ্যালগরিদমের বুদ্ধিমান ধারণা আছে?

Answer 1

Gzip। সিলিব্রাসি এবং ভিটানির একটি খুব সুন্দর নিবন্ধ আছে যেখানে তারা ক্লাস্টারিংয়ের জন্য কোলমোগোরভ জটিলতার সান্নিধ্য হিসাবে জিজেপ ব্যবহার করে। সংক্ষেপে ক্লাস্টারিং

Comments

তারা কীভাবে শর্তযুক্ত জটিলতার সংজ্ঞা দেয়?

— আর্টেম কাজনাটচিভ

A এবং B দুটি দস্তাবেজ হোক এবং AB দুটি স্বাক্ষরিত হোক। তারা SIZE (gzip (A) + gzip (B)) থেকে SIZE (gzip (AB)) অনুপাতের দিকে নজর দেয়।

— চাদ ব্রিউবেকার

আমাদের সচেতন হওয়া উচিত যে আনুমানিক কলমোগোরভ জটিলতার জন্য জিজিপ (এবং অনুরূপ) ব্যবহার করার জন্য ডাউনসাইড রয়েছে: bactra.org/notebooks/cep-gzip.html । এটি এটি বাস্তব জীবনের ডেটা সেটগুলি ক্লাস্টারিংয়ের জন্য কার্যকর নয় বলে বলে না, তবে এটি বলে যে রিয়েল-লাইফ ডেটা সেটগুলির জন্য এর ইউটিলিটিটি সেই ডেটা সেটগুলি কীভাবে পৃথক করে, সে সম্পর্কে কিছু বলবে, বলুন, সিউডোরডম সংখ্যা জেনারেটরের আউটপুট how ...

— জোশুয়া গ্রাচো

Answer 2

আমি আমার প্রশ্নটি সম্পর্কে আরও ভেবেছি, এবং সম্ভাব্য সমাধানে পৌঁছেছি। এটির দুটি সীমাবদ্ধতা রয়েছে, এটি কেবল দৈর্ঘ্যের স্ট্রিংগুলিতে (যদিও আমি এটি নিয়ে আরও আলোচনা করব) এবং এটি সর্বজনীন টুরিং মেশিনের বিষয়ে কথা বলবে না, পরিবর্তে পূর্ববর্তী প্রশ্ন অনুসরণ করে এবং গণনার বিকল্প মডেল ব্যবহার করবে।$n = 2^m$

---

মূলত, আমরা সাথে একটি স্ট্রিং ব্যাখ্যা করতে পারি একটি ফাংশন হিসাবে । তারপরে আমাদের জটিলতা পরিমাপ হল উপস্থাপন করে অনন্য হ্রাসযুক্ত আদেশযুক্ত বাইনারি সিদ্ধান্ত চিত্রের (আরওবিডিডি; স্ট্যান্ডার্ড অর্ডারিং স্থির করে) আকার (প্রান্তগুলির সংখ্যা) । এটি শর্ত [1] সন্তুষ্ট করে। এছাড়াও, যেহেতু আরওবিডিডিগুলি সময়ের বহুবর্ষে গণনা করা যায় , তাই আমাদের একটি দক্ষ পরিমাপ রয়েছে।$x$$|x| = 2^m$$f_x: \{0,1\}^m \rightarrow \{0,1\}$$K'(x)$$f_x$$2^m$

শর্ত পূরণ করতে [২], নোডে একটি বিশেষ ধরণের অনুমতি দিয়ে আমাদের মানক বিডিডি সংশোধন করতে হবে। সাধারণত নোডগুলি ইনডেক্স অনুসারে লেবেলযুক্ত থাকে , আমরা একটি বিশেষ ওরাকল নোড অন্তর্ভুক্ত করব। জন্য যেখানে আমরা বিডিডিগুলিতে নিম্নলিখিত বিশেষ নোডগুলিকে অনুমতি দেব:$i \in \{1,...,m\}$$K(x|y)$$|y| = 2^m$

যদি আমরা ইনপুটটিতে ( ) বিডিডি চালাচ্ছি তবে দ্বারা লেবেলযুক্ত একটি নোডটি কেবল লেবেল প্রান্তে প্রেরণ করুন । একটি ওরাকল নোড পরিবর্তে আমাদের লেবেলযুক্ত একটি প্রান্তটি নামিয়ে দেবে । সুতরাং, এবং উচ্চ সম্ভাবনার সাথে এক জন্য এলোমেলোভাবে একসাথে বেছে নেওয়া।$a$$|a| = m$$i$$a_i$$f_y(a)$$K'(x|x) = 2$$K'(x|y) \approx K(x)$$y$

[দ্রষ্টব্য: শর্তাধীন জটিলতা এখনও দক্ষতার সাথে গণনা করা যায় কিনা তা পরিষ্কার নয় :(]

সুবিধামতভাবে, জন্য একটি ওবিডিডি তৈরির জন্য আমাদেরও সাব-অ্যাডিসিটিভিটি রয়েছে কারণ প্রথম বিটের জন্য আমাদের কাছে একটি প্রশ্ন থাকতে পারে এবং জন্য জন্য আরওবিডিডি এবং জন্য আরআরবিডিডি যেতে হবে । সুতরাং, আমাদের ।$x.y$$0$$x$$1$$y$$K'(x.y) \leq K'(x) + K'(y)$

---

সাব-অ্যাডিসিটিভের সম্ভাব্য ব্যয়ে আমরা কেবলমাত্র দুটি পাওয়ার অংশ নিয়ে এবং তাদের জটিলতাগুলি একসাথে যুক্ত করে যে কোনও দৈর্ঘ্যের জন্য সংজ্ঞায়িত করতে পারি । উদাহরণস্বরূপ এবং সাথে আমরা সংজ্ঞায়িত করতে পারি ।$K'(x)$$x$$|x| = 2^m$$|y| = 2^l$$m > l$$K'(x.y) = K'(x) + K'(y)$

দুর্ভাগ্যক্রমে আমার পদ্ধতির সীমাবদ্ধতাও রয়েছে। আমরা ওবিডিডি থেকে অনেক বেশি যেতে পারি না, যদি আমরা ন্যূনতম সিদ্ধান্তের গাছ বা কেবল বিডিডি বিবেচনা করি তবে আমরা এই উত্তরে বর্ণিত অক্ষমতার বিষয়গুলিতে ঝাঁপিয়ে পড়ব । এমনকি ওবিডিডি-র পরিবর্তনশীল ক্রমের জন্যও মনে হয় অক্ষমতার ফলাফল রয়েছে । সুতরাং দেখে মনে হচ্ছে যে ওবিডিডিগুলি হ'ল স্ট্যান্ডার্ড-কোলমোগোরভ-জটিলতার পদ্ধতির সীমাবদ্ধ নয়।

Answer 3

আমি কোনও বিশেষজ্ঞ নই, তবে স্ট্রিংগুলির জন্য যদি আপনার ব্যবহারিক জটিলতা পরিমাপের প্রয়োজন হয় তবে আপনি টিচেনার টি-জটিলতার পরিমাপটি একবার দেখে নিতে পারেন ।

দ্রুত পরিচয়ের জন্য টিচেনারের ওয়েবসাইট দেখুন ; তার কাগজপত্র পিডিএফ ফর্ম্যাটে ডাউনলোড করা যায় ।

বিমূর্ততা - সুনির্দিষ্ট স্ট্রিংগুলির জন্য স্ট্রিং জটিলতার একটি নতুন পরিমাপ একটি নির্দিষ্ট পুনরাবৃত্ত হায়ারার্কিকাল স্ট্রিং উত্পাদন প্রক্রিয়ার উপর ভিত্তি করে উপস্থাপন করা হয় । সর্বাধিক সীমা থেকে আমরা জটিলতা এবং মোট তথ্য সামগ্রীর মধ্যে একটি সম্পর্ক হ্রাস করি। .. সম্পূর্ণ নিবন্ধ ...

আমি ব্যবহারিক বাস্তবায়নের উপরও কিছু কাগজপত্র পেয়েছি (উদাহরণস্বরূপ " একটি ফাস্ট টি-পচন অ্যালগরিদম " দেখুন)

Answer 4

মূলত, প্রায় কোনও মেশিন লার্নিং বা সংক্ষেপণ পদ্ধতি হ'ল কোলমোগোরভ জটিলতার একটি অনুমান:

• আপনার যদি কোনও গণনীয় সম্ভাব্যতা বিতরণ থাকে যা আপনার ডেটা সম্ভাব্যতা নির্ধারণ করে তবে ক্রাফ্ট অসমতা দ্বারা, আপনার কাছে একটি সংকোচকারী রয়েছে যা আপনার ডেটা বিটগুলিতে সংকুচিত করে।- লগ পি ( এক্স $p(x)$$- \log p(x)$
• যদি আপনার কাছে এমন কোনও কম্পিউটিংযোগ্য সংক্ষেপক সি থাকে যা আপনার ডেটা বিটগুলিতে সংকুচিত করে, তবে আপনার , যেখানে আপনার উপর নির্ভর করে, তবে উপর নয় (এটি মূলত আপনার বিটগুলির সংখ্যা বর্ণনা করতে হবে) আপনার সর্বজনীন টুরিং মেশিনে সি)।কে ( এক্স ) ≤ n + এস সি এস সি$n$$K(x) \leq n + s_C$$s_C$$x$

সুতরাং, আপনি যে কোনও সংক্ষেপক বা সম্ভাব্যতা বন্টন সহ কেবলমাত্র নিদর্শনগুলি সন্ধান করতে পারেন এবং তারা আপনার ডেটা আরও ভালভাবে সংকোচিত করেন, কে (এক্স) এর জন্য আপনার উপরের সীমাটি তত ভাল। অনুমানটি পেতে সংক্ষেপিত ডেটার আকারে কেবল কমপ্রেসারের আকার যুক্ত করার বিষয়টি নিশ্চিত করুন।

আরও ভাল, একটি স্ব-অন্তর্ভুক্ত প্রোগ্রাম লিখুন যা আপনার ডেটাকে ছাড়িয়ে যায়। আপনি যে প্রোগ্রামটি যত ছোট করতে পারবেন, ততই হবে।$K(x)$

অবশ্যই উপরের দিক থেকে আবদ্ধ হওয়া যথেষ্ট নাও হতে পারে। যদি আপনার অনুমানটি বেশ বড় হয় তবে আসলে খুব ছোট হওয়ার সম্ভাবনা কী ? এর জন্য আপনাকে আপনার ডেটাতে কিছু অনুমান করা দরকার: সম্ভাব্যতা বিতরণের একটি শ্রেণি ঠিক করা (যেমন প্রব্যাবিলিস্টিক অটোমেটা) এবং আপনার ডেটা সংকোচনের জন্য সেই বিতরণগুলির উপর একটি বেসিয়িয়ান মিশ্রণ ব্যবহার করুন। যদি আপনার ডেটা প্রকৃতপক্ষে কোনও প্রোব্যাবিলিস্টিক অটোমেটনের দ্বারা উত্পাদিত হয় তবে আপনার অনুমানের তুলনায় যথেষ্ট কম তা সম্ভবত তাত্পর্যপূর্ণভাবে অদৃশ্য হয়ে যায়।$K(x)$$K$

আপনি আপনার মডেল শ্রেণি সংজ্ঞায়িত করার জন্য আবদ্ধ সময়ও ব্যবহার করতে পারেন যা আপনাকে সুরেশের উত্তরের দিকে নিয়ে যায়। মূলত, যদি আপনি ধরে নেন যে আপনার ডেটাসোর্সে বহু-কালীন জটিলতা রয়েছে এবং আপনি সমস্ত বহুবর্ষীয় টিউরিং মেশিনগুলি সংকোচনের জন্য চেষ্টা করেন, আপনি নিশ্চিতভাবে নিশ্চিত হতে পারেন যে আপনি কোলমোগোরভ জটিলতাটি সঠিকভাবে অনুমান করেছেন। এটি এখনও এটি ব্যবহারিক নাও হতে পারে তবে কম সময়ের সীমাবদ্ধতার জন্য আপনি এটিতে খুব ভাল পরিমাণের বেইসিয়ান মিশ্রণটি গণনা করতে সক্ষম হতে পারেন।

প্রযুক্তিগত তথ্যের জন্য এই কাগজটি দেখুন । দাবি অস্বীকার: আমি অন্যতম লেখক।

শেষ অবধি, আপনার লক্ষ করা উচিত যে কেবলমাত্র একটি অ্যাসিম্পোটোটিক অর্থে অর্থবোধক। যে কোনও একটি ডেটাসেটের জন্য এর মান একটি ধ্রুবক দ্বারা একটি কম্পিউটার থেকে অন্য কম্পিউটারে পরিবর্তিত হতে পারে এবং যে ধ্রুবকটি আপনার পছন্দ মতো তত বড় হতে পারে। সুতরাং লবণের এক দানা দিয়ে এই ধরণের প্রায় অনুমান নিন।কে ( এক্স $K(x)$$K(x)$

Answer 5

আপনি রিসোর্স সীমাবদ্ধ কোলমোগোরভ জটিলতার সন্ধান করছেন। আপনি এই কাগজ দিয়ে শুরু করতে এবং শাখা আউট করতে পারেন।

Comments

কাগজের লিঙ্কটির জন্য ধন্যবাদ, আমি প্রশ্নে সংস্থানীয় সীমিত জটিলতার কথা উল্লেখ করেছি, তবে দক্ষতার সাথে গণনাযোগ্য এমন ব্যবস্থাগুলিতে সত্যিই আগ্রহ রয়েছে। মনে হচ্ছে কাগজটি দেখায় যে এই মডেলগুলির জন্য 'এলোমেলো স্ট্রিংগুলি' উচ্চ জটিলতার সেটগুলির সাথে মিলে যায়। এটি সুপারিশ করে যে এই মডেলগুলির মধ্যে একটি স্ট্রিংয়ের জটিলতা সিদ্ধান্ত নেওয়া দক্ষতার সাথে গনযোগ্য নয়, না?

— আর্টেম কাজনাটচিভ