কোন অ্যালগরিদমের জন্য তাত্ত্বিক বিশ্লেষণ এবং বাস্তবতার মধ্যে একটি বিশাল ব্যবধান রয়েছে?


52

অ্যালগরিদমের দক্ষতা বিশ্লেষণের দুটি উপায়

  1. এটির রানটাইমের উপরে একটি অ্যাসিম্পটোটিক উপরের আবদ্ধ রাখার জন্য এবং
  2. এটি চালাতে এবং পরীক্ষামূলক ডেটা সংগ্রহ করতে।

আমি অবাক হয়েছি যদি এমন কোনও ঘটনা ঘটে থাকে যেখানে (1) এবং (2) এর মধ্যে উল্লেখযোগ্য ফাঁক রয়েছে। এর অর্থ এই যে, উভয়ই (ক) পরীক্ষামূলক তথ্যগুলি একটি শক্ত অ্যাসিমেটোটিকের প্রস্তাব দেয় বা (খ) সেখানে এল এবং অ্যালগরিদম এক্স এবং ওয়াই রয়েছে যে তাত্ত্বিক বিশ্লেষণে বোঝা যায় যে এক্স এর চেয়েও ভাল এবং এক্স পরীক্ষামূলক তথ্য থেকে বোঝা যাচ্ছে যে ওয়াইয়ের চেয়ে অনেক ভাল এক্স.

যেহেতু পরীক্ষাগুলি সাধারণত গড়-কেস আচরণ প্রকাশ করে, তাই আমি বেশিরভাগ আকর্ষণীয় উত্তর আশা করি গড়-উচ্চ স্তরের ক্ষেত্রে উল্লেখ করা s তবে আমি সম্ভবত আকর্ষণীয় উত্তরগুলি বাতিল করতে চাই না যা বিভিন্ন সীমানা সম্পর্কে কথা বলে, যেমন সিম্প্লেক্স সম্পর্কে নোমের উত্তর।

ডেটা স্ট্রাকচার অন্তর্ভুক্ত করুন। দয়া করে প্রতি উত্তরে একটি অ্যালগো / ডিএস দিন।


আপনি কোন ধরণের উপরের সীমানা সম্পর্কে কথা বলছেন তা যদি তা স্পষ্ট হয় তবে এটি সহায়তা করবে। আপনি কি কেবল এমন সমস্যার কথা বলছেন যার জন্য সবচেয়ে খারাপ ক্ষেত্রে সময় জটিলতার জন্য সবচেয়ে ভাল ওপরের এবং নিম্ন সীমার মধ্যে একটি গুরুত্বপূর্ণ ব্যবধান রয়েছে? অথবা আপনি কী এমন সমস্যাগুলিও অন্তর্ভুক্ত করছেন যার জন্য সবচেয়ে খারাপ সময়ের জটিলতার সীমাবদ্ধতা জানা যায়, তবে চলমান সময়গুলি উল্লেখযোগ্যভাবে দ্রুত হয়? সবচেয়ে খারাপ ক্ষেত্রে জটিলতার চেয়ে স্মুথড জটিলতা বিবেচনা করা আরও আকর্ষণীয় হতে পারে। 'সাধারণ' ইনপুট বা এলোমেলো ইনপুটগুলির পরীক্ষামূলক ফলাফলগুলি প্যাথোলজিকাল ইনপুটগুলির অস্তিত্বকে অস্বীকার করতে খুব কম করে।
জেমস কিং

সেক্ষেত্রে আমি মনে করি যে দুটি প্রশ্ন পৃথকভাবে জিজ্ঞাসা করা উচিত: একটি সবচেয়ে খারাপ-জটিল জটিলতা এবং গড়-কেস / স্মুথড জটিলতার মধ্যে ব্যবধান সম্পর্কে এবং তাত্ত্বিক গড়-কেস / স্মুটেড জটিলতা এবং ব্যবহারিক পরীক্ষামূলক ফলাফলের মধ্যে ব্যবধান সম্পর্কে। সম্পাদনা করুন: আমি আমার মন্তব্যটি লেখার সময় আপনি এটিকে সম্বোধন করে একটি সম্পাদনা করেছেন :)
জেমস কিং

উত্তর:


37

সর্বাধিক সুস্পষ্ট উদাহরণ হ'ল সিম্প্লেক্স পদ্ধতি যা অনুশীলনে দ্রুত চালিত হয়, বহু-সময়কে বোঝায়, তবে তাত্ত্বিক ক্ষেত্রে তাত্পর্যপূর্ণ সময় নেয়। এই রহস্যটি ব্যাখ্যা করার জন্য ড্যান স্পিলম্যান সবেমাত্র বিশাল পরিমাণে নেভলিন্নি পুরষ্কার পেয়েছিলেন।

আরও সাধারণভাবে, স্ট্যান্ডার্ড আইপি-সলভারগুলির সাহায্যে ইন্টিজার-প্রোগ্রামিংয়ের অনেকগুলি উদাহরণ বেশ ভাল সমাধান করা যায়, উদাহরণস্বরূপ উল্লেখযোগ্য আকারের ইনপুটগুলিতে চেষ্টা করা বেশিরভাগ বিতরণের জন্য সম্মিলিত নিলাম সমাধান করা যেতে পারে - http://www.cis.upenn.edu/~mkearns /teaching/cgt/combinatorial-auctions-survey.pdf


3
লিনিয়ার প্রোগ্রামগুলির একটি সুস্পষ্ট পরিবার পাওয়া গেছে যার জন্য সিমপ্লেক্সটি তাত্পর্যপূর্ণ সময় নেয়?
অপ্ট করুন

1
যতদূর আমি বুঝতে পেরেছি, অনেকগুলি সুস্পষ্ট পরিবারগুলির জন্য তাত্পর্যপূর্ণ সময় প্রয়োজন (উদাহরণস্বরূপ, ক্লি এবং মিন্টির দেওয়া প্রথম মৌমাছি: "সিমপ্লেক্স অ্যালগরিদম কতটা ভাল?", 1972)। যাইহোক, পিভট নিয়মের পছন্দ এই ফলাফলগুলির জন্য প্রাসঙ্গিক। আমি অনুমান করি এই ফলাফলগুলির সর্বাধিক উল্লেখগুলি স্পিলম্যান এবং টেং-এর কাগজে ( arxiv.org/abs/cs/0111050 ) পাওয়া যাবে।
এমআরএ

2
@ সিড: হ্যাঁ ক্লি-


26

Groebner ঘাঁটি । সবচেয়ে খারাপ চলমান সময়টি দ্বিগুণ-তাত্পর্যপূর্ণ (ভেরিয়েবলের সংখ্যায়)। অনুশীলনে তবে, বিশেষত সু-কাঠামোগত সমস্যার জন্য, এফ 4 এবং এফ 5 অ্যালগরিদমগুলি কার্যকর (অর্থাত্ বেশ দ্রুত শেষ করা)। গড় অনুমান বা প্রত্যাশিত চলমান সময় সম্পর্কে সঠিক অনুমানটি কী হওয়া উচিত তা নির্ধারণের জন্য এটি এখনও গবেষণার একটি সক্রিয় ক্ষেত্র। এটি অনুমান করা হয় যে এটি কোনওভাবে অন্তর্নিহিত আদর্শের নিউটন পলিটোপের আয়তনের সাথে সম্পর্কিত।


গড় / কি বিতরণ অধীনে প্রত্যাশিত? আমি ভেবেছিলাম বীজগণিত সমস্যাগুলির জন্য প্রত্যাশিত চলমান সময় নির্ধারণ করাও কঠিন ...
জোশুয়া গ্রাচো

1
আমি এফ 4 এবং এফ 5 পদ্ধতিগুলির দ্বারা দ্রুত সমাধান হওয়া মামলাগুলির জন্য জানি না, তবে অনেকগুলি ভেরিয়েবল এবং লো ডিগ্রি সহ বহুবচনগুলির একটি সিস্টেম তৈরি করা বেশ সহজ যা একটি স্যাট উদাহরণটি এনকোড করে। এ ক্ষেত্রে আমার কাছে অ্যালগরিদম আউটপোরফর্ম ডিপিএল / ডিপিএলএল + জানা নেই। আমি এই বিষয়গুলির উপর পরীক্ষামূলক ফলাফল সম্পর্কে আরও জানতে চাই!
ম্যাসিমোলাউরিয়া

@ জোশুয়া: এই মুহুর্তে, যে কোনও বিতরণ ফলাফলের অনুমতি দেয় ... @ মাসিমো: এনকোডিং সমস্যাটি এক্স এর ওয়াই হিসাবে উদাহরণস্বরূপ X এর জন্য বিশেষায়িত অ্যালগরিদমকে প্রায় আঘাত করে না! তবে জিবি এবং ডিপিএলএল মূলত সমতুল্য, তাই কার্যকর একটি পার্থক্য দেখে আমি অতিরিক্ত অবাক হব।
জ্যাক ক্যারেট

1
@ মাসিমো: হ্যাঁ, জিবি গণনাটি এনপি-হার্ড। গঠনের উপর নির্ভর করে। আসলে, বেশিরভাগ প্রশ্ন (সমাপ্তি, আদর্শ সদস্যপদ, বীজগণিতভাবে বন্ধ ক্ষেত্র বনাম বুলিয়ান) হ'ল পিএসপিএসি সম্পূর্ণ বা খারাপ (এক্সপাস্যাক সম্পূর্ণ)। কোনটি বলার অপেক্ষা রাখে না যে এনবি-সম্পূর্ণ সমস্যাগুলির তুলনায় জিবি কম্পিউটেশনগুলি আরও শক্ত হয়ে উঠবে বলে আশা করা হচ্ছে (এবং এমনকি গড় হিসাবে, তাদের জন্য এফ 5 এর মতো কোনও অ্যালগোরিদম সম্ভবত ডিপিএলকে ছাড়িয়ে যাবে না)।
মিচ

22

এই ঘটনার একটি দুর্দান্ত এবং স্বল্প স্বীকৃত উদাহরণ হ'ল গ্রাফ আইসোমরফিজম । সর্বাধিক পরিচিত অ্যালগরিদম time মতো কিছু সময় নেয় তবে গ্রাফ আইসোমর্ফিিজম অনুশীলনে বেশ দ্রুত সমাধানযোগ্য হতে পারে। হে(2((এনএন)))

সমস্যাটির গড় / স্মুথড জটিলতায় আনুষ্ঠানিক ফলাফল আছে কিনা তা আমি জানি না, তবে আমি মনে করি যে এটির একটি অস্তিত্ব ছিল - সম্ভবত অন্য কেউ একটি আনুষ্ঠানিক ফলাফলের দিকে ইঙ্গিত করে চিম করতে পারেন। অবশ্যই, পরীক্ষামূলক প্রমাণ এবং প্রচুর দ্রুত সমাধানকারীদের একটি ভাল চুক্তি রয়েছে। আমি এই বিষয়টি জিআই-সম্পূর্ণ পরিবারের অন্যান্য সদস্যদের পর্যন্ত প্রসারিত হলে আমিও কৌতূহলী।


1
আমি জিআই-এর জন্য কোনও ধীরগতির বিশ্লেষণ জানি না - বা এমনকি এটি দেখতে ঠিক কী দেখাবে - তবে সেখানে সর্বাধিক পরিচিত ব্যবহারিক বাস্তবায়ন (নাটি) বিশ্লেষণ রয়েছে যা দেখায় যে এটি সবচেয়ে খারাপ ক্ষেত্রে তাত্পর্যপূর্ণ সময়ে চলে। অবশ্যই, নাউটি অ্যালগরিদম বাস্তবায়ন করছে না । রেফারেন্সের জন্য cstheory.stackexchange.com/questions/3128/… দেখুন । হে(2এনলগ ইন করুনএন)
জোশুয়া গ্রাচো

2
উহু! হতে পারে আপনি বাবাই-কুসেরার কথা ভাবছেন, যা জিআইয়ের
জোশুয়া গ্রাচো

হ্যাঁ, বাবাই-কুসেরা একটাই! রেফারেন্সের জন্য ধন্যবাদ।
আনন্দ কুলকারনী

20

ডেভিড জনসন থেকে, তাত্ত্বিক বনাম পরীক্ষামূলক আনুমানিক অনুপাতের একটি তফাত: ট্র্যাভেলিং সেলসম্যান প্রবলেম: স্থানীয় অপ্টিমাইজেশনের একটি কেস স্টাডি, ডিএস জনসন এবং এলএ ম্যাকজিচ । এই গবেষণাপত্রে তারা অ্যাসিপটিক্সের পরীক্ষামূলক প্রমাণ দেয় (যেহেতু পরীক্ষাগুলি তাত্ত্বিক অ্যাসিপটিক্সকে অস্বীকার করে আকারে এন = 10,000,000 পর্যন্ত চালিত হয়!) জন বেন্টলির "লোভী" বা "মাল্টি-ফ্রেগমেন্ট" অ্যালগরিদম (সবচেয়ে খারাপ ক্ষেত্রে আনুমানিক অনুপাত কমপক্ষে লগএন / লগলগএন) নিকটতম সন্নিবেশ এবং ডাবল এমএসটিকে পরাজিত করে, যার দু'জনেরই নিকৃষ্টতম সংখ্যার অনুপাত 2।


20

আরেকটি উদাহরণ যা খুব শীঘ্রই ভালভাবে বোঝা যায় নি তা হ'ল লয়েডের কে-মানে অ্যালগরিদম চলমান সময় , যা (ব্যবহারিক দিক থেকে) 50 বছরেরও বেশি সময় ধরে পছন্দের ক্লাস্টারিং অ্যালগরিদম। কেবলমাত্র ২০০৯ সালে, এটি প্রমাণিত হয়েছে ( ভাত্তানির দ্বারা ) যে সবচেয়ে খারাপ ক্ষেত্রে লয়েডের অ্যালগরিদমের জন্য অনেকগুলি পুনরাবৃত্তি প্রয়োজন যা ইনপুট পয়েন্টগুলির সংখ্যায় তাত্পর্যপূর্ণ। অন্যদিকে, একই সময়ে, একটি স্মুথড বিশ্লেষণ ( আর্থার, মন্তে এবং রেগলিনের দ্বারা ) প্রমাণিত হয়েছিল যে স্মৃতিযুক্ত পুনরাবৃত্তির সংখ্যাটি কেবল বহুত্ববাদী , যা অভিজ্ঞতা অভিজ্ঞতা সম্পর্কে ব্যাখ্যা করে explained


10

স্প্লে গাছের জন্য গতিশীল অনুকূল অনুমানের ট্র্যাভারসাল, ডিউক এবং বিভক্ত করোলারিগুলি এই জাতীয় ব্যবধানগুলির উদাহরণ। পরীক্ষাগুলি লিনিয়ার সময়ের জন্য দাবিটি ব্যাক আপ করে, তবে এর কোনও প্রমাণ নেই।


3
শেঠ পেটি প্রমাণ করলেন যে এন ডিউক ক্রিয়াকলাপগুলি ও (এন আলফা * (এন)) সময়ের চেয়ে বেশি সময় নেয় না, যেখানে "আলফা *" পুনরাবৃত্ত বিপরীত আকরম্যান ফাংশন, যা একটি খুব ছোট ব্যবধান।
jbapple

9

প্রশ্নটি নিয়ে একটি সামান্য সমস্যা আছে। আসলে অ্যালগরিদম বিশ্লেষণের দুটিরও বেশি উপায় রয়েছে এবং একটি তাত্ত্বিক উপায় যা অবহেলা করা হয়েছে তা সবচেয়ে খারাপ ক্ষেত্রে রান টাইমের পরিবর্তে রান টাইম প্রত্যাশিত। এটি সত্যই এই গড় কেস আচরণ যা পরীক্ষাগুলি করার ক্ষেত্রে প্রাসঙ্গিক। এখানে একটি খুব সাধারণ উদাহরণ: কল্পনা করুন যে আপনি আকার এন এর ইনপুট জন্য একটি অ্যালগরিদম আছে, যা প্রতিটি দৈর্ঘ্যের একটি নির্দিষ্ট ইনপুট ব্যতীত সময় 2 takes n গ্রহণ ব্যতীত আকার n এর প্রতিটি সম্ভাব্য ইনপুট জন্য সময় নেয়। শুনুন সবচেয়ে খারাপ ক্ষেত্রে রান সময়টি তাত্পর্যপূর্ণ, তবে গড় কেসটি [(2 ^ n -1) n + (2 ^ n) 1] / (2 ^ n) = n - (n-1) / 2 ^ n যা সীমা n। স্পষ্টতই দুই ধরণের বিশ্লেষণ খুব আলাদা উত্তর দেয় তবে আমরা আশা করি যে আমরা বিভিন্ন পরিমাণের গণনা করছি।

পরীক্ষার একগুচ্ছ চালিয়ে, এমনকি যদি আমরা নমুনার জন্য দীর্ঘতম সময় নিই, আমরা এখনও কেবলমাত্র সম্ভাব্য ইনপুটগুলির জায়গার একটি ছোট অংশের নমুনা দিচ্ছি, এবং তাই যদি শক্ত উদাহরণগুলি বিরল হয় তবে আমরা সম্ভবত সেগুলি মিস করতে পারি likely ।

এ জাতীয় সমস্যাটি তৈরি করা তুলনামূলকভাবে সহজ: শেষ এন / 2 বিটের সাথে এনকোড করা 3 এসএটি ইনস্ট্যান্সটি সমাধান করার চেয়ে প্রথম এন / 2 বিটগুলি সমস্ত শূন্য হলে। অন্যথায় প্রত্যাখ্যান। এন বড় হওয়ার সাথে সাথে সমস্যাটি 3SAT এর সবচেয়ে কার্যকর অ্যালগরিদম হিসাবে প্রায় খারাপ সময়ে প্রায় একই রান সময় হয়, যেখানে গড় রান সময়টি খুব কম হওয়ার গ্যারান্টিযুক্ত হয়।


আমি ইতিমধ্যে উপরে জেমস কিংকে জবাব দিয়েছি যে আমি আশা করছি সবচেয়ে আকর্ষণীয় উত্তরগুলি প্রত্যাশিত রানটাইম সম্পর্কে হবে। এটিকে আরও দৃশ্যমান করার জন্য আমি প্রশ্নটি সম্পাদনা করব।
রাদু গ্রিগোর

9

দামাস-মিলনার ধরণের অনুমানটি তাত্পর্যপূর্ণ সময়ের জন্য সম্পূর্ণ প্রমাণিত হয় এবং ফলাফলের আকারে ঘনিষ্ঠভাবে ব্লোআপের সাথে সহজেই নির্মিত হয় cases তবুও, বেশিরভাগ বাস্তব-বিশ্বের ইনপুটগুলিতে এটি কার্যকরভাবে রৈখিক ফ্যাশনে আচরণ করে।


আপনি এই ফলাফলের জন্য প্রস্তাবিত কোন রেফারেন্স আছে? আমি এটি সম্পর্কে আরও পড়তে চাই
রাদু গ্রেগোর

1
আমি নিজে এটি পড়ি নি, তবে সর্বাধিক প্রায়শই উদ্ধৃত হওয়া কাগজ হ্যারি জি মায়ারসন, "এমএল টাইপিংয়ের ডিসিডেবিলিটি হ'ল ডিস্ট্রিমেন্টিক এক্সপোনেনশিয়াল টাইমের জন্য সম্পূর্ণ," প্রোগ্রামিং ল্যাঙ্গুয়েজসের নীতিমালার (১৯৯০) ১ 17 তম সিম্পোজিয়াম।
sclv

9

প্ল্যানার গ্রাফগুলিতে স্টেইনার গাছের জন্য পিটিএএস এর অ্যাপসিলনের উপর একটি হাস্যকর নির্ভরতা রয়েছে। তবে এমন একটি বাস্তবায়ন রয়েছে যা অনুশীলনে আশ্চর্যজনকভাবে ভাল পারফরম্যান্স দেখায়।


8

[1] থেকে জুড়ি তৈরির স্তূপগুলি - তারা স্তূপগুলি বাস্তবায়ন করে, যেখানে সন্নিবেশ এবং সংযুক্তিতে ও (লগ এন) মোড়কিত জটিলতা রয়েছে তবে ও (1) বলে অনুমান করা হয়। অনুশীলনে, তারা অত্যন্ত দক্ষ, বিশেষত মার্জ ব্যবহারকারীদের জন্য।

সেকেন্ড পড়ার সময় আমি কেবল এগুলি আবিষ্কার করেছি। ওকাসাকির বই "খাঁটি ফাংশনাল ডেটা স্ট্রাকচার" এর 5.5 সি, তাই আমি ভেবেছিলাম তাদের সম্পর্কে আমার তথ্য ভাগ করে নেওয়া উচিত।

[1] ফ্রেডম্যান, এমএল, সেডজউইক, আর।, স্লেটার, ডিডি এবং টারজান, আরই 1986 pair জুটি হিপ: স্ব-সামঞ্জস্যকরণের গাদা একটি নতুন রূপ। অ্যালগরিদমিকা 1, 1 (জানুয়ারী 1986), 111-129। ডিওআই = http://dx.doi.org/10.1007/BF01840439


ওকাসাকির পর থেকে কিছু অগ্রগতি হয়েছে এবং ও (0) মেল্ড, ও (1) সন্নিবেশ করুন এবং ফাইন্ডমিন, ও (এলজি এনজি) কমিয়ে এবং ও (এলজি এন) ডিলিটমিন: আরক্সিভের সাথে এখন (আবশ্যক) জুটি বাঁধার .গল রয়েছে । org / ABS / 0903.4130 । এই হিপ ফ্রেডম্যান এট আল-এর মূল জুড়ি হ্যাপগুলির চেয়ে পৃথক জুটিবদ্ধ প্রক্রিয়া ব্যবহার করে।
jbapple

7

শাখা এবং আবদ্ধ সম্পর্কে ইলিয়ারাজের মন্তব্যের সাথে সম্পর্কিত, পাতাকি এট আল। শাখা এবং আবদ্ধ প্লাস জালিয়াতির ভিত্তিক হ্রাস পলটাইমের ক্ষেত্রে প্রায় সমস্ত র্যান্ডম আইপি এর সমাধান করতে পারে তা দেখান।


6

টিএসপি-র জন্য লিন-কর্নিগান হিউরিস্টিক ("ট্র্যাভেল সেলসম্যান সমস্যার জন্য কার্যকর হিউরিস্টিক", অপারেশনস রিসার্চ 21: 489–516, 1973) অনুশীলনে খুব সফল, তবে তার কার্যকারিতা ব্যাখ্যা করার জন্য এখনও গড় গড় বা ধীর বিশ্লেষণের অভাব রয়েছে । এর বিপরীতে, ম্যাথিয়াস এনগার্ল্ট, হাইকো রাগলিন এবং বার্থোল্ড ভ্যাকিং (আলগোরিদমিকা হাজির হওয়ার জন্য) টিএসপির জন্য 2-অপ্ট হিউরিস্টিকের একটি ধীরে ধীরে বিশ্লেষণ রয়েছে।


5

অনুশীলন শাখায় অনেকগুলি দ্রুত এবং দক্ষ এবং বিভিন্ন এনপি-হার্ড সমস্যার জন্য আবদ্ধ অ্যালগরিদম রয়েছে যা আমরা কঠোরভাবে বিশ্লেষণ করতে পারি না: টিএসপি, স্টেইনার ট্রি, বিন প্যাকিং ইত্যাদি।

Ω(এনমি)


আপনার অর্থ ও (এমএন), নাকি আমি বিভ্রান্ত?
রাদু গ্রেগোর

হে(এনমি(এন2/মি))
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.