অপরিচ্ছন্নতার ক্ষেত্রে কেন নন-কনভেক্সটিটি সমস্যা হতে হবে?

Question

আমি যখন অবাক না হয়ে সাধারণভাবে উত্তেজিত অপ্টিমাইজেশন সম্পর্কে কিছু পড়তে শুরু করি তখন আমি খুব অবাক হয়েছিলাম এবং আমি এরকম বিবৃতি দেখতে পেলাম:

গুরুত্বের অনেক ব্যবহারিক সমস্যা হ'ল উত্তল-উত্তল এবং বেশিরভাগ নন-উত্তল সমস্যাগুলি যথাযথ সময়ে সঠিকভাবে সমাধান করা শক্ত (যদি অসম্ভব না হয়) are ( উত্স )

অথবা

সাধারণভাবে স্থানীয় ন্যূনতম সন্ধান করা এনপি-হার্ড এবং অনেক অ্যালগরিদম একটি স্যাডল পয়েন্টে আটকে যেতে পারে। ( উত্স )

আমি প্রতিদিন একরকম নন-উত্তল অপটিমাইজেশন করছি - নামক আণবিক জ্যামিতির শিথিলকরণ। আমি কখনই এটিকে জটিল, ধীর এবং আটকে থাকার জন্য দায়বদ্ধ বলে মনে করি নি। এই প্রসঙ্গে, আমাদের স্পষ্টত বহু-মাত্রিক অ-উত্তল পৃষ্ঠগুলি (> স্বাধীনতার 1000 ডিগ্রি) রয়েছে। আমরা বেশিরভাগই যেমন প্রথম অর্ডার কৌশল steepest বংশদ্ভুত এবং গতিশীলতার quenching থেকে প্রাপ্ত ব্যবহার ফায়ার (DOFs সংখ্যার চেয়ে কম) যা একটি স্থানীয় সর্বনিম্ন কয়েকশ পদক্ষেপে মিলিত হয়। আমি আশা করি স্টোকাস্টিক আওয়াজ যোগ করার সাথে এটি অবশ্যই নরক হিসাবে মজবুত হতে হবে। (গ্লোবাল অপ্টিমাইজেশন একটি ভিন্ন গল্প)

এই অপ্টিমাইজেশন পদ্ধতিগুলিকে আটকে বা ধীরে ধীরে অভিজাত করার জন্য, সম্ভাব্য শক্তির পৃষ্ঠটি কেমন হওয়া উচিত তা আমি কোনওভাবে কল্পনা করতে পারি না । যেমন খুব প্যাথলজিকাল পিইএস (তবে সংঘাতের কারণে নয়) এই সর্পিল , তবুও এটি এত বড় সমস্যা নয়। প্যাথলজিকাল নন-উত্তল PES এর উদাহরণস্বরূপ উদাহরণ দিতে পারেন?

সুতরাং আমি উপরের উদ্ধৃতিগুলির সাথে তর্ক করতে চাই না। বরং আমি অনুভব করছি যে আমি এখানে কিছু মিস করছি। সম্ভবত প্রসঙ্গ।

Comments

এখানে মূল শব্দটি হ'ল "সাধারণভাবে" - আপনি নির্বিচারে দুষ্টু ক্রিয়াকলাপগুলি তৈরি করতে পারেন, বিশেষত খুব উচ্চ মাত্রায় যা মূলত "সমস্ত স্যাডল পয়েন্ট"। অন্যদিকে, নির্দিষ্ট ক্লাসের ননকনভেক্স ফাংশনগুলি খুব সুন্দরভাবে আচরণ করা যেতে পারে, বিশেষত যদি আপনি সঠিক বিশ্বায়নের কৌশল ব্যবহার করেন।

— ক্রিশ্চান ক্ল্যাসন

আমি মনে করি অনুকূল নিয়ন্ত্রণ তত্ত্ব এবং ইঞ্জিনিয়ারিং / অপারেশন গবেষণা অ্যাপ্লিকেশনগুলি নির্ভুলতা / দৃust়তার উপর কিছুটা জোর দেয়, যেখানে আপনি মনে করেন যে কোথাও "যথেষ্ট ভাল" পাওয়া যথেষ্ট যথেষ্ট। পারফরম্যান্স সীমাবদ্ধতা থাকতে পারে (কনভার্জারটি গ্যারান্টিযুক্ত হতে হবে, যাতে একটি রোবটের ট্র্যাকজেক্টরি সময়মতো গণনা করা হয়), বা নির্ভুলতার সীমা (যদি আপনি সমস্যার পরামিতিগুলি খানিকটা পরিবর্তন করেন তবে অপ্রত্যাশিতভাবে সম্পূর্ণ ভিন্ন ফলাফল পাবেন না)। সুতরাং এটি কিছু অনুকূল পয়েন্ট পেতে যথেষ্ট নয়, তাদের জন্য কিছু নির্ধারিত বৈশিষ্ট্য থাকাও প্রয়োজনীয়।

— কিরিল

Answer 1

ভুল বোঝাবুঝি একটি অপ্টিমাইজেশান সমস্যাটিকে "সমাধান" করার ক্ষেত্রে অন্তর্ভুক্ত রয়েছে, যেমন । গণিতবিদদের কাছে আমাদের কেবল একবার সমস্যাটি "সমাধান" হিসাবে বিবেচনা করা হবে:$\arg\min f(x)$

1. প্রার্থীর সমাধান: সিদ্ধান্তের পরিবর্তনশীল এবং এর সাথে সম্পর্কিত উদ্দেশ্য মান এর একটি নির্দিষ্ট পছন্দ , এবং f ( x ⋆$x^\star$$f(x^\star)$
2. অনুকূলতার প্রমাণ: একটি গাণিতিক প্রমাণ যে এক্স- পছন্দটি বিশ্বব্যাপী অনুকূল, অর্থাত্ প্রতিটি পছন্দকে ধরে রাখে । f ( x ) ≥ f ( x ⋆ ) $x^\star$$f(x) \ge f(x^\star)$$x$

যখন উত্তল হয়, উভয় উপাদান সহজেই পাওয়া যায়। গ্রেডিয়েন্ট বংশদ্ভুত একটি প্রার্থী সমাধান সনাক্ত করে যা গ্রেডিয়েন্টটি নিখোঁজ করে । অনুকূলতার প্রমাণটি MATH101 এ শেখানো একটি সরল সত্য থেকে অনুসরণ করে যে, যদি উত্তল হয়, এবং এর গ্রেডিয়েন্ট তারাতে অদৃশ্য হয়ে যায় , তবে একটি বিশ্বব্যাপী সমাধান।x ⋆ ∇ f ( x ⋆ ) = 0 f ∇ f x ⋆ x $f$$x^\star$$\nabla f(x^\star)=0$$f$$\nabla f$$x^\star$$x^\star$

যখন ননকনভেক্স হয়, তখনও কোনও পরীক্ষার্থীর সমাধান সন্ধান করা সহজ হতে পারে তবে অনুকূলতার প্রমাণটি অত্যন্ত কঠিন হয়ে যায়। উদাহরণস্বরূপ, আমরা গ্রেডিয়েন্ট বংশদ্ভুত চালাতে পারি এবং একটি বিন্দু । তবে যখন ননকনভেক্স হয়, শর্তটি ab প্রয়োজনীয় তবে বৈশ্বিক অনুকূলতার জন্য আর পর্যাপ্ত থাকে না। প্রকৃতপক্ষে, এটি স্থানীয় অনুকূলতার পক্ষেও পর্যাপ্ত নয় , যেমন আমরা এমনকি গ্যারান্ট করতে পারি না যে কেবল তার গ্রেডিয়েন্ট তথ্যের উপর ভিত্তি করে স্থানীয় নূন্যতম। একটি পন্থাটি হ'ল সমস্ত পয়েন্টগুলি সন্তুষ্ট করে , এবং এটি কেবল এক বা দুটি মাত্রার উপরেও একটি দুর্দান্ত কাজ হতে পারে।∇ f ( x ⋆ ) = 0 f ∇ f ( x ) = 0 x ⋆ ∇ f ( x ) = $f$$\nabla f(x^\star)=0$$f$$\nabla f(x)=0$$x^\star$$\nabla f(x)=0$

গণিতবিদরা যখন বলে থাকেন যে বেশিরভাগ সমস্যার সমাধান করা অসম্ভব, তখন তারা সত্যই বলে যাচ্ছেন যে (এমনকি স্থানীয়) সর্বোত্তমতার প্রমাণটি নির্মাণ করা অসম্ভব । তবে বাস্তব বিশ্বে আমরা প্রায়শই কেবল "যথেষ্ট পরিমাণে" সমাধান গণনা করতে আগ্রহী এবং এটি সীমাহীন অসংখ্য উপায়ে পাওয়া যায়। অনেক চূড়ান্ত ননকোনভেক্স সমস্যার জন্য, আমাদের অন্তর্নিহিততা আমাদের জানায় যে "ভাল-পর্যাপ্ত" সমাধানগুলি আসলে বিশ্বব্যাপী অনুকূল, এমনকি যদি আমরা এটি প্রমাণ করতে পুরোপুরি অক্ষম হইও!

Comments

গ্লোবাল বনাম স্থানীয় অনুকূলতা সম্পূর্ণ ভিন্ন ইস্যু। তবে বাকীগুলি বোঝা যায়। "X তার গ্যারিয়েন্ট তথ্যের উপর ভিত্তি করে স্থানীয় একটি সর্বনিম্ন যে গ্যারান্টি দিতে পারে না" সম্পর্কে আরও বলতে পারেন বা এটি আরও ভালভাবে চিত্রিত করতে পারেন?

— প্রকপ হাপাল

ধরুন আমাদের কাছে কালো বাক্স হিসাবে এবং ফাংশন রয়েছে (যেমন আমরা কেবল মূল্যায়ন করতে পারি, তবে আমরা তাদের ফর্মটি দেখতে পাই না)। বিন্দু উভয় গ্রেডিয়েন্টকে অদৃশ্য করে তোলে, যেমন এবং , তবে বিন্দুটি জন্য স্থানীয় ন্যূনতম । প্রকৃতপক্ষে, তাদের দ্বিতীয় ডেরিভেটিভগুলিও এই সময়ে শূন্য, সুতরাং দুটি পরিস্থিতি একা প্রথম দুটি ডেরিভেটিভ থেকে একরকম! g ( x ) = x 4 x = 0 f ′ ( x ) = 0 g ′ ( x ) = 0 $f(x)=x^3$$g(x)=x^4$$x=0$$f'(x)=0$$g'(x)=0$$g$

— রিচার্ড জ্যাং

আহা, ঠিক আছে, আমি সবসময় স্বয়ংক্রিয়ভাবে অনুমান নিষ্ক্রিয়তা => যে অ্যালগরিদম বিন্দু বিন্দুতে মিলিত ঝোঁক না মধ্যে এ সব। তবে অবশ্যই, আমরা কেবলমাত্র এক বিন্দুতে গ্রেডিয়েন্ট নয়, পূর্ববর্তী পদক্ষেপগুলি থেকে অতিরিক্ত তথ্য (জড়তা) ব্যবহার করি। গ্রাম ( এক্স ) = এক্স $x=0$$g(x)=x^3$

— প্রকপ হাপাল

আমি আপনার বক্তব্য বুঝতে পারি। এবং সম্ভবত সেই কারণেই কঠোর গাণিতিক বিবেচনায় নন-উত্তল অপটিমাইজেশনকে কঠোর বিবেচনা করা হয়। তবে, এখনও আমি ব্যবহারিক প্রয়োগে আরও আগ্রহী, যেখানে হিউরিস্টিক্স (যা আমি অ্যালগোরিদমের প্রাকৃতিক অংশ হিসাবে ধরে নিয়েছি) খারাপভাবে ব্যর্থ হবে would

— প্রকপ হাপাল

কোয়াসিকোনভেস্টিটি সম্পর্কে কী? এই যুক্তি দ্বারা (( যথেষ্ট)), কোয়াসিকনভেক্স সমস্যাগুলি উত্তল সমস্যার মতো অনুকূলিতকরণের মতো সহজ হবে না ?. আমার বোধগম্যতা হ'ল পরেরটি সত্য নয় (উত্তল সমস্যাগুলি এখনও সহজ)$\nabla f(x)=0$

— অ্যামিলিও ওয়াজকেজ-রেইনা

Answer 2

একটি জটিল নিম্ন মাত্রিক সমস্যার উদাহরণ হতে পারে:

আপনি একটি স্থানীয় মিনিমাতে আঘাত পেয়েছেন, আপনি কীভাবে নিশ্চিত হতে পারেন যে এটি বিশ্ব মিনিমার মতো ভাল কিছুই? আপনার ফলাফলটি যদি বিশ্বব্যাপী অনুকূল হয়, তবে আপনার ফলাফলটি একটি অনন্য অনুকূল সমাধান কিনা তা আপনি কীভাবে জানবেন? সমস্ত পাহাড় এবং উপত্যকাগুলি যাতে কোথাও আটকে না যায় আপনি কীভাবে একটি অ্যালগরিদম জোর তৈরি করতে পারেন?

এর মতো উদাহরণ যেখানে জিনিসগুলি কঠিন হতে পারে। স্পষ্টতই, সমস্ত সমস্যা এই জাতীয় নয়, তবে কিছু রয়েছে। সবচেয়ে খারাপটি হ'ল, শিল্পের একটি সেটিংয়ে, ব্যয় ফাংশনটি গণনা করতে সময় সাপেক্ষ হতে পারে এবং উপরের মতো সমস্যাযুক্ত পৃষ্ঠ থাকতে পারে।

বাস্তব সমস্যার উদাহরণ

আমি কাজটিতে মোকাবিলা করতে পারে এমন একটি উদাহরণ একটি ক্ষেপণাস্ত্র নির্দেশিকা অ্যালগরিদমের জন্য একটি অপ্টিমাইজেশন করছে যা প্রচুর লঞ্চ অবস্থায় শক্তিশালী হতে পারে। আমাদের ক্লাস্টার ব্যবহার করে, আমি একক শর্তে প্রায় 10 মিনিটের মধ্যে আমার প্রয়োজনীয় পারফরম্যান্স পরিমাপ পেতে পারি। এখন পর্যাপ্ত দৃ rob়তার বিচার করার জন্য, আমরা কমপক্ষে শর্তগুলির একটি নমুনা চাই যার বিরুদ্ধে বিচার করতে পারি। সুতরাং আসুন আমরা এই ব্যয়টির কার্যকারিতাটির মূল্যায়ন করতে এক ঘন্টা সময় নিয়ে 6 টি শর্ত চালাচ্ছি run

অ-লাইন ক্ষেপণাস্ত্রের গতিবিদ্যা, বায়ুমণ্ডলীয় গতিবিদ্যা, পৃথক সময়ের প্রক্রিয়া ইত্যাদির ফলে দিকনির্দেশনা অ্যালগরিদমের পরিবর্তনের জন্য একটি অপ্রত্যাশিত প্রতিক্রিয়ার ফলস্বরূপ, অপ্টিমাইজেশন সমাধান করা শক্ত করে তোলে। এই ব্যয়টির ক্রিয়াটি অ-উত্তল হবে এটি একটি বড় ইস্যুটি মূল্যায়নের জন্য সময় সাপেক্ষ সত্য। এর মতো উদাহরণ হ'ল আমাদের দেওয়া সময়টিতে আমরা যথাসাধ্য চেষ্টা করার চেষ্টা করব।

Comments

ঠিক আছে, এটি আমার মনে হয় ভিন্ন সমস্যা ... বৈশ্বিক অপ্টিমাইজেশনের প্রবাদ, যা বেশিরভাগ পরিস্থিতিতে স্পষ্টতই শক্ত এবং অবিশ্বাস্য। লোকেরা নন-উত্তল অপ্টিমাইজেশনের ক্ষেত্রে এটি উল্লেখ করে না, যেখানে তারা বলেছে যে স্থানীয় ন্যূনতম এবং অনেক অ্যালগরিদম খুঁজে পাওয়া এনপি-হার্ড একটি স্যাডল পয়েন্টে আটকে যেতে পারে।

— প্রকপ হাপালা

@ প্রোকপহাপালা আমার মন্তব্যগুলি উদ্ধৃতিটির প্রতি আরও উল্লেখ করেছেন , গুরুত্বের অনেক ব্যবহারিক সমস্যা হ'ল উত্তল, এবং বেশিরভাগ নন-উত্তল সমস্যাগুলি একটি যুক্তিসঙ্গত সময়ে ঠিকভাবে সমাধান করা কঠিন (যদি অসম্ভব না হয়) , বিশেষত যেহেতু ওপি কতটা সহজ কথা বলছিলেন গবেষণায় নন-উত্তল সমস্যাগুলি মোকাবেলা করা তাদের পক্ষে হয়েছে। আমার কাছে ঠিক সমাধান করা বিশ্বব্যাপী অনুকূল সমাধানের (বা কাছের কোনও কিছু) জন্য চেষ্টা করছে for তাই আমি এই মন্তব্যগুলির সাথে সম্পর্কিত বাস্তব-বিশ্ব চ্যালেঞ্জগুলির একটি ছবি আঁকতে চেয়েছিলাম।

— spektr

আমি বুঝেছি. কড়া কথায় বলতে গেলে আপনি সঠিক, তবে তবুও আমি মনে করি এটির অর্থটি আমি বোঝাতে চাইছি না ... সম্ভবত আমার এটি আরও ভালভাবে প্রণয়ন করা উচিত ছিল।

— প্রকপ হাপাল

Answer 3

সমস্যাটি হ'ল স্যাডল পয়েন্টগুলির সাথে, পোস্টে আলোচনা করা হয়েছে যা আপনি লিঙ্ক করেছেন। সংযুক্ত নিবন্ধগুলির একটি বিমূর্ত থেকে :

তবে সাধারণভাবে গ্যারান্টি দেওয়া শক্ত যে, উচ্চ মাত্রায় জটিল স্যাডল পয়েন্ট কাঠামোর অস্তিত্বের কারণে এই জাতীয় অ্যালগরিদমগুলি এমনকি স্থানীয় সর্বনিম্নে রূপান্তরিত করে। অনেক কার্যক্রমে স্যাডল পয়েন্টগুলি হ্রাস পায় যেমন প্রথম এবং দ্বিতীয় ক্রমের ডেরাইভেটিভগুলি তাদের স্থানীয় অপটিমা দিয়ে আলাদা করতে পারে না । এই কাগজে আমরা এই জিন পয়েন্টগুলি এড়াতে উচ্চতর অর্ডার ডেরাইভেটিভগুলি ব্যবহার করি: আমরা তৃতীয় ক্রম স্থানীয় সর্বোত্তম (যখন বিদ্যমান কৌশলগুলি সর্বাধিক দ্বিতীয় ক্রমে রয়েছে) রূপান্তর করার গ্যারান্টিযুক্ত প্রথম দক্ষ অ্যালগরিদম ডিজাইন করি। আমরা আরও দেখাই যে চতুর্থ ক্রম স্থানীয় অপটিমা খুঁজে পেতে এটি আরও প্রসারিত করা এনপি-হার্ড।

মূলত আপনি ফাংশন রাখতে পারেন যেখানে আপনার স্যাডল পয়েন্ট রয়েছে যা স্থানীয় মিনিমা থেকে পৃথক হতে পারে যখন 1 ম, 2 য় এবং 3 য় ডেরিভেটিভগুলি দেখছেন। আপনি এটি একটি উচ্চতর অর্ডার অপ্টিমাইজারে গিয়ে সমাধান করতে পারেন, তবে তারা দেখায় যে চতুর্থ অর্ডার স্থানীয় নূন্যতম এনপি হার্ড N

আমি নিবন্ধটি পড়ার পরামর্শ দিচ্ছি, কারণ তারা এই জাতীয় ফাংশনের কয়েকটি উদাহরণও দেখায়। উদাহরণস্বরূপ ফাংশনটির এমন বিন্দু (0,0) রয়েছে।$x^2y+y^2$

আপনি এই জাতীয় পয়েন্টগুলি এড়ানোর জন্য প্রচুর হিউরিস্টিক্স ব্যবহার করতে পারেন, যা অনেকের (সবচেয়ে?) বাস্তব বিশ্বের উদাহরণগুলির জন্য কাজ করতে পারে তবে সর্বদা কাজ করে প্রমাণিত হতে পারে না ।
ইন ব্লগ পোস্টে আপনি তারাও অবস্থার যার অধীনে আপনি বহুপদী সময় এ ধরনের জিন পয়েন্ট বাঁচা যায় আলোচনা লিঙ্ক।

Comments

হ্যাঁ, এটি স্পষ্ট যে মান এবং গ্রেডিয়েন্ট থেকে এক বিন্দুতে আপনি এটি আলাদা করতে পারবেন না। তবে আমি একরকম দেখতে পাচ্ছি না কেন সাধারণ হিরিস্টিক্স (যেমন স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত বা আগুন) এরকম পরিস্থিতিতে ব্যর্থ হয়। আমি sure জন্য ঠিক কাজ করবে তার থেকে আমি নিশ্চিত । সুতরাং আমি কিছু প্যাটোলজিকাল ফাংশন কল্পনা করার চেষ্টা করছি যদি এটি কাজ না করে। $x^2y+y^2$

— প্রোকপ হাপালা

আপনি এটি অন্যভাবে তাকান আছে। এটি এমন নয় যে আমরা জানি যে স্টোকাস্টিক গ্রেডিয়েন্ট বংশবৃদ্ধি ব্যর্থ হবে, এটি আমরা জানি না যে এটি সফল হবে। খেলনা সমস্যার জন্য, বাস্তবে এটি হওয়ার সম্ভাবনা কম তবে এটি উচ্চতর মাত্রিক সমস্যার জন্যও হতে পারে। আমার বাজি হ'ল আপনার কেমিস্ট্রি সমস্যার জন্য, এটি কখনই ঘটবে না, তবে এটি প্রমাণ করার জন্য আমার উপর চাপ দেওয়া হবে।

— এলক্লেইন