গণনামূলক জটিলতা এবং তথ্যের মধ্যে সম্পর্ক

Question

আমি একটি কম্পিউটেশনাল নিউরোসায়েন্স ল্যাবটিতে কাজ করি যা নিউরনের জোড় বা গোষ্ঠীর মধ্যে পারস্পরিক তথ্যকে পরিমাণযুক্ত করে। সম্প্রতি, "স্নায়বিক গতিশীলতার জটিলতা" পরিমাপের দিকে বস তার স্থানান্তরিত ফোকাস। গবেষণার সেই লাইনটি অনুসরণ করতে গিয়ে, আমার গোষ্ঠীর কিছু লোক "জটিল" এর সাথে "একটি উচ্চ এনট্রপি আছে" সমান বলে মনে হয়।

কম্পিউটেশনাল জটিলতা (সিএস অর্থে) এবং তথ্য তত্ত্ব অর্থে এনট্রপির মধ্যে কী সম্পর্ক তা সম্পর্কে কেউ আমাকে গাইড করতে পারেন?

আরও কিছুটা ব্যাখ্যা করার জন্য, লেম্পেল-জিভ জটিলতার মতো পদক্ষেপগুলি আমার কাছে জটিলতার বৈধ ব্যবস্থা হিসাবে মনে হচ্ছে না কারণ তারা প্রচুর পরিমাণে বিট বহনকারী তথ্যবহুল (ব্যবহারকারীকে) সাথে সংশ্লেষ করে। অন্যান্য ব্যবস্থা, যেমন [Causal State Splitting Reconstruction][1]অনেক কম জানা থাকে তবে আবেদনকারী সম্পত্তি রয়েছে যে এলোমেলো প্রসেসগুলির শূন্য জটিলতা রয়েছে, কারণ স্থির র্যান্ডম প্রক্রিয়া উপস্থাপনের জন্য শূন্য লুকানো রাজ্যগুলির প্রয়োজন।

Comments

আপনি দয়া করে আপনার ক্ষেত্রে "জটিল" অর্থ কী তা ব্যাখ্যা করতে পারেন? এর অর্থ কী, নিউরনগুলি অর্থপূর্ণভাবে গুলি চালাচ্ছে বা তাদের বেশিরভাগ অংশ নিচ্ছেন?

— বনাম

@vs: "জটিল" এর জন্য অনেকগুলি প্রতিযোগিতামূলক সংজ্ঞা রয়েছে। কেউ কেউ বলেন যে সবচেয়ে জটিল প্রক্রিয়াটি হ'ল সর্বোচ্চ এনট্রপি। তবে এটি সূচিত করবে যে এলোমেলো প্রক্রিয়াগুলি জটিল, যা জৈবিকভাবে বাস্তববাদী বলে মনে হয় না। তবুও, "অর্থপূর্ণভাবে গুলি চালানো" "আরও বেশি ... অংশগ্রহণকারী" এর চেয়ে কাছাকাছি হলেও সম্ভবত "আরও বেশি অংশীদার হওয়া" অর্থাত্ আরও কাছাকাছি।

— mac389

আমরা বুঝতে পারি জটিলটি আমাদের ক্ষেত্র থেকে বৃহত্তর এনট্রপি বোঝায়। জটিল থেকে আপনার ক্ষেত্রটি কী বোঝায় তা বুঝতে আমি এই প্রশ্নটি জিজ্ঞাসা করেছি। সুতরাং "" আরও অংশীদারি অর্থসূচকভাবে "কাছাকাছি। ঠিক আছে। এটি আমার ধারণা সাধারণত তথ্য তত্ত্ব উচ্চতর এনট্রপি বা তথ্য সঙ্গে সংশ্লিষ্ট।

— বনাম

@vs: এনকোডিং স্কিমটি জানা না গেলে এবং সম্ভবত স্যুইচিংয়ের সময় কীভাবে দুটি পরিমাণ এনট্রোপি হবে তা একটি প্রশ্ন রয়েছে, যেমন মস্তিষ্কের ক্ষেত্রে মনে হয়। লোকে বলেছে যে একজন নিউরন এবং একটি উদ্দীপকটির মধ্যে পারস্পরিক তথ্য ব্যবহার করেছেন তা নির্ণয়ের জন্য যে নিউরনটি সেই উদ্দীপনার জন্য কতটা নির্বাচনী। অনেক নিউরনের আরও বাস্তবের ক্ষেত্রে বিবেচনা করার সময় বিষয়টি আরও জটিল হয়ে পড়ে।

— mac389

@ mac389 বলতে আমরা কোনও বস্তুর জটিলতা হিসাবে অনেকগুলি জিনিস বোঝাতে পারি। কয়েকটি উদাহরণ হ'ল কলমোগোরভ জটিলতা (যার উত্তর আপনি পেয়েছেন) এবং সময়-সীমাবদ্ধ কলমোগোরভ জটিলতার বিভিন্ন ধারণা; যখন আপনার বিভিন্ন আকারের অবজেক্টের পরিবার থাকে, আমরা লক্ষ্য করি যে কোনও বস্তু শ্রেণীর অন্তর্ভুক্ত তা স্বীকৃতি দিতে কত সময় / স্থান (বস্তুর আকারের ফাংশন হিসাবে) একটি অ্যালগরিদম লাগে। আপনার মনে হয় এখানে মোটামুটি তুচ্ছ মডেলিংয়ের সমস্যা রয়েছে।

— সাশো নিকোলভ

Answer 1

স্নাতক কোর্সের যোগ্যতার জন্য তথ্য তত্ত্ব এবং গণ্য জটিলতার মধ্যে পর্যাপ্ত সংযোগ রয়েছে, যেমন এটি: http://www.cs.princeton.edu/courses/archive/fall11/cos597D/

Comments

আপনাকে ধন্যবাদ, আরও জ্ঞানী ব্যক্তিদের সাথে আলোচনার পাশাপাশি এটি আমি যা খুঁজছিলাম।

— mac389

Answer 2

অনেকে কলমোগোরভ জটিলতা বা এর উত্স-সীমাবদ্ধ বৈকল্পিকগুলির উল্লেখ করেছেন, তবে আমি মনে করি আপনি যা খুঁজছেন তার কাছাকাছি কিছু হ'ল (যৌক্তিক) গভীরতার ধারণা । গভীরতার বিভিন্ন রূপ রয়েছে, তবে তারা সকলেই আপনি যে বিষয়ে কথা বলছেন তার মতো কিছু পাওয়ার চেষ্টা করে। বিশেষত, নিখুঁতভাবে এলোমেলো স্ট্রিং বা খুব উচ্চ অর্ডারযুক্ত / পুনরাবৃত্ত স্ট্রিংগুলি গভীর নয়।

গভীরতার একটি ধারণা স্বজ্ঞাতভাবে: একটি স্ট্রিং এর সংক্ষিপ্ত বিবরণ থাকলে গভীর হয়, তবে সেই সংক্ষিপ্ত বিবরণ থেকে স্ট্রিংটিকে পুনর্গঠনের একমাত্র উপায়টি সময়ের একটি অমিত পরিমাণে সময় নেয়। এটি গভীরতার ধারণা এবং আরও অনেকগুলি [1]-তে প্রবর্তিত ও বিকাশিত। অন্যান্য স্ট্যান্ডার্ড রেফারেন্স হল [2]। আমি সেগুলি দেখতে চাই, তারপরে একটি সামনের রেফারেন্স অনুসন্ধান করব।

[1] এল। অ্যান্টুনস, এল। ফোর্টনউ, ডি ভ্যান মেলকিবিক, এনভি বিনোদচন্দ্রন। গণনা গভীরতা: ধারণা এবং অ্যাপ্লিকেশন । Theoret। বন্দীরা। সী। 354 (3): 391--404। লেখকের ওয়েবপৃষ্ঠা থেকে নিখরচায় উপলব্ধ ।

[2] সিএইচ বেনেট যৌক্তিক গভীরতা এবং শারীরিক জটিলতা। আর। হার্কেন (এডি।) -তে, ইউনিভার্সাল ট্যুরিং মেশিন: একটি অর্ধ-শতাব্দী জরিপ, অক্সফোর্ড ইউনিভার্সিটি প্রেস, অক্সফোর্ড (1988), 227–-257।

Comments

এই উত্তরের জন্য আপনাকে অনেক ধন্যবাদ। যৌক্তিক গভীরতা আমার জটিলতার দ্বারা বোঝাতে চেয়েছিল বলে মনে হচ্ছে খুব কাছে।

— mac389

Answer 3

আপনার মনোমুগ্ধকর কিছু মনে হতে পারে এমন প্রথম জিনিসটি হ'ল কোলমোগোরভ জটিলতা; আমি অবশ্যই এটি আকর্ষণীয় বলে মনে করি এবং যেহেতু আপনি এটি উল্লেখ করেননি, তাই আমি ভেবেছিলাম এটি উল্লেখ করার মতো হতে পারে।

বলা হচ্ছে, এই প্রশ্নের উত্তর দেওয়ার জন্য আরও সাধারণ পদ্ধতির ভাষা এবং অটোমেটা তত্ত্বের ভিত্তিতে হতে পারে। নির্ধারিত সসীম অটোমাতা হ'ল হে (এন) স্ট্রিং প্রসেসর। অর্থাৎ দৈর্ঘ্য n এর একটি স্ট্রিং প্রদত্ত তারা স্ট্রিংটি যথাযথভাবে n পদক্ষেপগুলিতে প্রক্রিয়াকরণ করে (এটি অনেকগুলি নির্ভর করে আপনি কীভাবে ডিটারমিনিস্টিক সসীম অটোমেটা সংজ্ঞায়িত করেন তার উপর নির্ভর করে; তবে, ডিএফএ অবশ্যই আরও পদক্ষেপের প্রয়োজন হয় না)। ননডেটারিস্ট্যান্সিক সসীম অটোমাতা একই ভাষাগুলি (স্ট্রিংগুলির সেটগুলি) ডিএফএ হিসাবে স্বীকৃতি দেয় এবং ডিএফএগুলিতে রূপান্তরিত হতে পারে তবে অনুক্রমিক, ডিটারমিনিস্টিক মেশিনে একটি এনএফএ অনুকরণ করতে আপনাকে অবশ্যই একটি গাছের মতো "অনুসন্ধানের স্থান" অন্বেষণ করতে হবে যা বৃদ্ধি করতে পারে নাটকীয়ভাবে জটিলতা। নিয়মিত ভাষাগুলি একটি গণনার দিক থেকে খুব "জটিল" হয় না,

আপনি একইভাবে ভাষাগুলির চৌমস্কি শ্রেণিবিন্যাসের অন্যান্য স্তরের দিকে নজর রাখতে পারেন - নির্বিচারবাদী প্রসঙ্গবিহীন, প্রসঙ্গমুক্ত (ননডেটেরিস্টিনিস্টিক প্রাসঙ্গিক মুক্ত ভাষা সহ, যেগুলি ডিটারমিনিস্টিক পুশডাউন অটোমেটা দ্বারা অগত্যা স্বীকৃত হতে পারে না), প্রসঙ্গ-সংবেদনশীল ভাষা, পুনরাবৃত্তি এবং পুনরাবৃত্তভাবে অগণিত ভাষা এবং অনস্বীকার্য ভাষা।

মূলত তাদের বাহ্যিক স্টোরেজে আলাদা আলাদা অটোমেটা আলাদা হয়; অর্থাত্, অটোম্যাটার জন্য নির্দিষ্ট ধরণের ভাষার সঠিকভাবে প্রক্রিয়া করার জন্য কোন বাহ্যিক স্টোরেজ প্রয়োজনীয়। সীমাবদ্ধ অটোমেটার কোনও বাহ্যিক স্টোরেজ নেই; পিডিএগুলিতে স্ট্যাক থাকে এবং টুরিং মেশিনগুলির একটি টেপ থাকে। আপনি কোনও নির্দিষ্ট প্রোগ্রামিং সমস্যার জটিলতা ব্যাখ্যা করতে পারেন (যা কোনও ভাষার সাথে মিলে যায়) এটি সনাক্ত করতে প্রয়োজনীয় স্টোরেজ বা পরিমাণের সাথে সম্পর্কিত হতে। কোনও ভাষায় সমস্ত স্ট্রিং সনাক্ত করতে আপনার যদি কোনও বা একটি নির্দিষ্ট, সীমাবদ্ধ পরিমাণের স্টোরেজ প্রয়োজন হয় তবে এটি নিয়মিত ভাষা। আপনার যা দরকার তা যদি একটি স্ট্যাক হয় তবে আপনার কাছে প্রসঙ্গমুক্ত ভাষা রয়েছে। প্রভৃতি

সাধারণভাবে, যদি চমস্কি হায়ারার্কিতে উচ্চতর ভাষা (সুতরাং উচ্চতর জটিলতার সাথে) তথ্য-তাত্ত্বিক বিবেচনায় উচ্চতর এনট্রপি থাকে তবে আমি অবাক হব না। বলা হচ্ছে, আপনি সম্ভবত এই ধারণাটির প্রচুর প্রতিবিম্বিত উদাহরণ খুঁজে পেতে পারেন এবং এর কোনও যোগ্যতা আদৌ আছে কিনা তা আমার কোনও ধারণা নেই।

এছাড়াও, এটি আরও সম্ভবত "তাত্ত্বিক সিএস" (স্স্টিওরি) স্ট্যাকএক্সচেঞ্জে জিজ্ঞাসা করা যেতে পারে।

Comments

আমি এটি স্থানান্তর করেছি এবং আপনার পরামর্শের জন্য ধন্যবাদ।

— mac389

Answer 4

গণনামূলক জটিলতা প্রয়োজনীয় সংস্থানগুলিকে সম্বোধন করে: একটি নির্দিষ্ট ধরণের সমস্যা দেওয়া, কিছু নির্দিষ্ট আকারের, এটি সমাধানের জন্য প্রয়োজনীয় সংস্থানগুলি কী (সাধারণত সময়, স্থান বা উভয়; এবং একটি নির্দিষ্ট ধরণের কম্পিউটিং ডিভাইস)। সমস্যাগুলি তখন জটিলতা "ক্লাস" এ একত্রে গ্রুপ করা হয়।

এর মধ্যে কয়েকটি সাধারণ এবং বিমূর্ত: সমস্যাটি কি আদৌ সমাধানযোগ্য, এমনকি নীতিগতভাবেও? এটির জন্য কি এই ধরণের একটি মেশিনের প্রয়োজন হয় বা এটি? এই ধারণাগুলির পরিচিতি এখনও একটি স্নাতক স্তরের কম্পিউটার বিজ্ঞানের বিষয়, এবং পরিচিতি উপাদানগুলি সাধারণত চমস্কি শ্রেণিবিন্যাসের উল্লেখ করে, যা খুব সুন্দরভাবে (এবং সুন্দরভাবে!) কয়েক ধরণের বিমূর্ত মেশিন এবং কয়েকটি ধরণের বিমূর্ততা একত্রিত করে, গাণিতিক ভাষা নির্দিষ্টকরণ।

এর মধ্যে কয়েকটি নিম্ন স্তরে প্রতিদিন ব্যবহারের ক্ষেত্রে আরও ব্যবহারিক: সমস্যাটি আকারের স্কোয়ার, বা কিউব, বা অন্য কোনও ফাংশন হিসাবে এই সমস্যাটি স্কেল করে? মজার বিষয় হচ্ছে, আমি জানি যে একটি প্রদত্ত সমস্যার এনট্রপির পক্ষে যুক্তিগুলি কয়েকটি গণ্য সমস্যাগুলির নিম্নতর সীমা নির্ধারণে কার্যকর প্রমাণ পেয়েছে। যেটি মনে মনে স্থির থাকে (যদিও আমি সম্ভবত এটি কোনও পাঠ্যপুস্তক পরীক্ষা না করে পুনরাবৃত্তি করতে পারি না) হ'ল একটি সাজানোর সময় ন্যূনতম প্রয়োজনীয় সংখ্যার তুলনা করার জন্য একটি এনট্রপি ভিত্তিক যুক্তি। এনট্রপির সংযোগ তথ্য তত্ত্বের মাধ্যমে।

তাই ধারণাটির কিছু যোগ্যতা আছে বলে আমি মনে করি।