গ্রাফিকভাবে সংক্ষেপে কে কে টি

Question

উদ্দেশ্য

কেকেটির বোঝাপড়াটি সঠিক কিনা তা নিশ্চিত করুন। KKT- এ আরও ব্যাখ্যা এবং নিশ্চিতকরণ সন্ধান করুন।

পটভূমি

কেকেটি শর্তগুলি বোঝার চেষ্টা করছে, বিশেষত পরিপূরক, যা সর্বদা এসভিএম নিবন্ধগুলিতে নীল থেকে পপ আপ হয়। আমার বিমূর্ত সূত্রের তালিকার দরকার নেই তবে আমার একটি কংক্রিট, স্বজ্ঞাত এবং গ্রাফিকাল ব্যাখ্যা দরকার।

প্রশ্ন

P, যা ব্যয় ফাংশনকে f (এক্স) হ্রাস করে, সীমাবদ্ধতার (g (P)> = 0) এর মধ্যে থাকলে, এটি সমাধান। দেখে মনে হচ্ছে কে কেটি এই ক্ষেত্রে প্রাসঙ্গিক নয়।

দেখে মনে হচ্ছে কে কেটি বলেছে যদি পি সীমাবদ্ধতার মধ্যে না থাকে তবে সমাধান এক্সটি ছবিতে নীচে সন্তুষ্ট করা উচিত। এটি কি কেটিটি সবই সম্পর্কে বা আমি অন্যান্য গুরুত্বপূর্ণ দিকগুলি মিস করি?

অন্যান্য ব্যাখ্যা

1. কে (কে) কে কেটি প্রয়োগ করার জন্য উত্তল হওয়া উচিত?
2. কে (এক্স) কে কেটি প্রয়োগ করার জন্য লিনিয়ার হওয়া উচিত?
3. Λ * জি (এক্স) = 0 এ necessary প্রয়োজনীয় হওয়া উচিত? G (X) = 0 বা g (Xi) = 0 কেন পর্যাপ্ত নয়?

তথ্যসূত্র

• লাগরেঞ্জ মাল্টিপ্লার কেকেটি শর্ত
• এসভিএমের প্রতিটি গটার পয়েন্টের ইতিবাচক গুণক থাকে?
• http://fnorio.com/0136Lagrange_method_of_undetermined_multipliers/Lagrange_method_of_undetermined_multipliers.html

---

আপডেট 1

উত্তরের জন্য ধন্যবাদ তবে এখনও বুঝতে চেষ্টা করুন। শুধুমাত্র এখানে প্রয়োজনীয়তার উপর ফোকাস করুন:

অনুকূল-বিন্দু (সবুজ বৃত্তে) এবং কেকেটি সম্পর্কে ম্যাথিউ গানের উত্তরের শর্তটি কি (2) সেখানে সন্তুষ্ট হবে না? এবং মার্ক এল স্টোন এর উত্তরের মতো হেসিয়ানকে দেখে বিষয়টিটি চিহ্নিত করা যাবে?

আমি মনে করি যে অন্য পরিস্থিতিটি স্যাডল পয়েন্টগুলি রয়েছে তবে একইটি কি প্রযোজ্য?

user23658

Comments

এই প্রশ্নটি গণিতের সাইটে আরও মনোযোগ জাগাতে পারে; কেকেটি শর্তগুলি অগত্যা "পরিসংখ্যান" নয়। পরিসংখ্যানবিদরা আকর্ষণীয় পরিসংখ্যানগত সমস্যা সমাধানের জন্য সংখ্যা বিশ্লেষণ থেকে এগুলি এবং অন্যান্য ফলাফল ধার নিয়েছেন তবে এটি গণিতের প্রশ্নই বেশি।

— ব্যবহারকারী 23658

(1) সীমাবদ্ধতা যদি বাঁধাই না করে তবে সীমাবদ্ধতাগুলির সাথে অপ্টিমাইজেশান সমস্যাটি সীমাবদ্ধতা ছাড়াই অপ্টিমাইজেশান সমস্যার মতো সমাধান করে। (2) আমরাও উত্তল প্রয়োজন হবে না রৈখিক প্রয়োজন হবে Kkt অবস্থার একটি অনুকূল সময়ে প্রয়োজন হতে পারে। (3) আপনার বিশেষ অবস্থার (যেমন: স্লটার শর্তটি রয়েছে যেখানে উত্তল সমস্যা) দরকার নেই কেকেটি শর্তগুলির জন্য সর্বোত্তম শর্ত থাকতে। $f$$g$

— ম্যাথু গুন

পরিপূরক স্লথনেস কন্ডিশনের মূল ধারণা (যেমন যেখানে একটি প্রতিবন্ধকতা) যদি সীমাবদ্ধতা স্লথ হয় (যেমন ) এ অনুকূল , তারপর শাস্তি বাধ্যতা কষাকষি জন্য 0. আর একটি ইতিবাচক শাস্তি যদি বাধ্যতা কষাকষি জন্য, তারপর বাধ্যতা বাঁধাই করা আবশ্যক (অর্থাত )। ট্র্যাফিক যদি মসৃণভাবে প্রবাহিত হয় তবে অন্য গাড়ির জন্য ব্রিজের টোল শূন্য। এবং যদি ব্রিজটি টোল তবে সেতুটি অবশ্যই সক্ষমতা সীমাতে থাকতে হবে।g ( x ) ≤ 0 g ( x ) < 0 x λ λ g ( x ) = 0 λ λ > $\lambda g(\mathbf{x}) = 0$$g(\mathbf{x}) \leq 0$$g(\mathbf{x}) < 0$$\mathbf{x}$$\lambda$$\lambda$$g(\mathbf{x}) = 0$$\lambda$$\lambda > 0$

— ম্যাথু গুন

মৌলিক Kkt উপপাদ্য বলছেন যে Kkt অবস্থার একটি বিন্দুতে সন্তুষ্ট না হন , তারপর বিন্দু না অনুকূল নয়। কেকেটি শর্তাদি সর্বোত্তমের জন্য প্রয়োজনীয় তবে পর্যাপ্ত নয় । (উদাহরণস্বরূপ, যদি ফাংশনটিতে স্যাডল পয়েন্ট থাকে, স্থানীয় মিনিমা ইত্যাদি ... কেকেটি শর্তগুলি সন্তুষ্ট হতে পারে তবে পয়েন্টটি সর্বোত্তম নয়!) কিছু শ্রেণির সমস্যাগুলির জন্য (যেমন: স্লেটারের অবস্থার সাথে উত্তল সমস্যা রয়েছে), কেকেটি শর্তগুলি পর্যাপ্ত শর্তে পরিণত হয় । $\mathbf{x}$$\mathbf{x}$

— ম্যাথু গুন

Answer 1

$\mathbf{x}$$\boldsymbol{\delta}$$f$$\mathbf{x}$$\mathbf{x}$

আপনার অনুকূলিতকরণের সমস্যাটি কল্পনা করুন:

$$\begin{equation} \begin{array}{*2{>{\displaystyle}r}} \mbox{minimize (over $\mathbf{x}$)} & f(\mathbf{x}) \\ \mbox{subject to} & \forall_{j \in \{1\ldots k\}}\; g_j(\mathbf{x}) \leq 0 \end{array} \end{equation}$$

যেখানে এবং সেখানে বাধা রয়েছে।$\mathbf{x} \in \mathbb{R}^n$$k$

কেকেটি শর্ত এবং ফারকাস লেমমা

যাক এর গ্রেডিয়েন্ট বাচক একটি কলাম ভেক্টর হতে এ মূল্যায়ন ।$\nabla f(\mathbf{x})$$f$$\mathbf{x}$

ফলিত এই পরিস্থিতি থেকে, ফারকাস থিম যে কোনো স্থানে জন্য ঠিক এক নিম্নলিখিত বিবৃতি ঝুলিতে:$\mathbf{x} \in \mathbb{R}^n$

1. exists বিদ্যমান রয়েছে যা এবং$\boldsymbol{\lambda} \in \mathbb{R}^k$$\sum_{j=1}^k \lambda_j \nabla g_j(\mathbf{x}) = -\nabla f(\mathbf{x})$$\boldsymbol{\lambda} \geq \mathbf{0}$
2. বিদ্যমান যেমন যে এবং$\boldsymbol{\delta} \in \mathbb{R}^n$$\forall_j \boldsymbol{\delta}' g_j(\mathbf{x}) \leq 0$$\boldsymbol{\delta}'\nabla f(\mathbf{x}) < 0$

এটার মানে কি? এর অর্থ হ'ল যে কোনও সম্ভাব্য বিন্দুতে , হয়:$\mathbf{x}$

• শর্ত (1) হ'ল এবং কেকেটি শর্তাদি সন্তুষ্ট।
• কন্ডিশন (২) ধরে রাখে এবং সেখানে একটি সম্ভাব্য দিকনির্দেশ রয়েছে যা সীমাবদ্ধতা বৃদ্ধি না করেই উদ্দেশ্য ফাংশনটিকে উন্নত করে । (যেমন। আপনি থেকে গিয়ে উন্নতি করতে পারেন )$\boldsymbol{\delta}$$f$$g_j$$f$$\mathbf{x}$$\mathbf{x} + \epsilon \boldsymbol{\delta}$

অবস্থা (1) এর অস্তিত্ব আছে যে অ-নেগেটিভ multipliers যেমন যে Kkt অবস্থার সময়ে সন্তুষ্ট হয় । (জ্যামিতিকভাবে এটি বলে যে সীমাবদ্ধতার গ্রেডিয়েন্টস দ্বারা নির্ধারিত উত্তল শঙ্কুতে রয়েছে lies)$\boldsymbol{\lambda}$$\mathbf{x}$$- \nabla f$

কন্ডিশন (২) উল্লেখ করে যে বিন্দুতে (স্থানীয়ভাবে) সরে যাওয়ার জন্য একটি দিকনির্দেশ exists উপস্থিত রয়েছে :$\mathbf{x}$$\boldsymbol{\delta}$

• দিকনির্দেশ সরানো উদ্দেশ্যমূলক ক্রিয়াকে হ্রাস করে (কারণ এবং ডট পণ্য শূন্যের চেয়ে কম)।$\boldsymbol{\delta}$$\nabla f(\mathbf{x})$$\boldsymbol{\delta}$
• দিক মুভিং (সীমাবদ্ধতার মান বৃদ্ধি না কারণ এর বিন্দু পণ্যের এবং এর চেয়ে বড় বা কম সকলের জন্য শূন্য সমান সীমাবদ্ধতা )$\boldsymbol{\delta}$$\nabla g_j(\mathbf{x})$$\boldsymbol{\delta}$$j$

(জ্যামিতিকভাবে, সম্ভাব্য দিকনির্দেশ ভেক্টর এবং ভেক্টরগুলি দ্বারা নির্ধারিত উত্তল শঙ্কু সংজ্ঞায়িত করে )$\boldsymbol{\delta}$$-\nabla f(\mathbf{x})$$\nabla g_j(\mathbf{x})$

(দ্রষ্টব্য: এই ম্যাপ ফারকাস থিম , নির্ধারণ ম্যাট্রিক্স )$A = \begin{bmatrix} \nabla g_1, \nabla g_2, \ldots, \nabla g_k \end{bmatrix}$

এই যুক্তিটি আপনাকে সর্বোত্তম সময়ে কেকেটি শর্তগুলির প্রয়োজনীয়তা (তবে পর্যাপ্ততা নয়) দেয়। যদি কেকেটি শর্তাদি সন্তুষ্ট না হয় (এবং সীমাবদ্ধতার যোগ্যতা সন্তুষ্ট হয়) তবে সীমাবদ্ধতা লঙ্ঘন না করে উদ্দেশ্যটির উন্নতি করা সম্ভব।

বাধা যোগ্যতার ভূমিকা

কী ভুল হতে পারে? আপনি এমন পরিস্থিতি হ্রাস পেতে পারেন যেখানে সীমাবদ্ধতার গ্রেডিয়েন্টগুলি সরাতে সম্ভাব্য দিকনির্দেশকে সঠিকভাবে বর্ণনা করে না।

বিভিন্ন বাধা যোগ্যতার একটি ভিড় আছে যেগুলি থেকে বেছে নেওয়ার জন্য উপরের যুক্তিটি কাজ করার অনুমতি দেবে।

সর্বনিম্ন, সর্বাধিক ব্যাখ্যার (সবচেয়ে স্বজ্ঞাত)

লাগরঙ্গিয়ান গঠন করুন

$$\mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = f(\mathbf{x}) + \sum_{j=1}^k \lambda_jg_j(\mathbf{x})$$

পরিবর্তে কমানোর এর সীমাবদ্ধতার বিষয় কল্পনা করুন যে, আপনি কমান করার চেষ্টা করছেন যখন কিছু প্রতিপক্ষের এটা পূর্ণবিস্তার করার চেষ্টা করছে। সীমাবদ্ধতা লঙ্ঘনের জন্য আপনি গুণক শাস্তি হিসাবে (কিছু বিরোধী দ্বারা নির্বাচিত) হিসাবে ব্যাখ্যা করতে পারেন । $f$$g_j$$\mathcal{L}$$\lambda_i$

মূল অপ্টিমাইজেশান সমস্যার সমাধান এর সমতুল্য:

$$\min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$$

এটাই:

1. আপনি প্রথমে লাগরঙ্গিয়ান কে কমানোর জন্য pick বাছাই করেন , যা সচেতন ...$\mathbf{x}$$\mathcal{L}$
2. তারপরে আমি সর্বাধিক করে তোলার জন্য sy গাsy pick বেছে নেব (আপনার পিকটি পর্যবেক্ষণ করে )।$\boldsymbol{\lambda}$$\mathbf{x}$

উদাহরণস্বরূপ, যদি আপনি বাধ্যতা লঙ্ঘন , আমি আপনাকে সেটিং দ্বারা দণ্ডিত করতে অনন্ত করুন!$g_2$$\lambda_2$

দুর্বল দ্বৈততা

যে কোনও ফাংশনের জন্য পর্যবেক্ষণ করুন:$f(x, y)$

$$\forall_{\hat{x},\hat{y}} \quad \min_x f(x, \hat{y}) \leq f(\hat{x}, \hat{y}) \leq \max_y f(\hat{x}, y)$$

যেহেতু এটি যে কোনও এবং জন্য ধারণ করে এটিতে এটিও রয়েছে: $\hat{x}$$\hat{y}$

$$\max_y \min_x f(x, y) \leq \min_x \max_y f(x, y)$$

ল্যাংগ্রিয়ান সেটিং-এ এই ফলাফলটি দুর্বল দ্বৈত হিসাবে পরিচিত।$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) \leq \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

দ্বৈত সমস্যা সমাধানের জন্য আপনাকে নিম্নতর সীমাবদ্ধ করে$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

শক্ত দ্বৈততা

কিছু বিশেষ অবস্থার অধীনে (যেমন: স্লেটারের শর্তটি রয়েছে এমন উত্তল সমস্যা), আপনার দৃ strong় দ্বৈততা রয়েছে (অর্থাত স্যাডল পয়েন্টের সম্পত্তি)।

$$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$$

এই সুন্দর ফলাফলটি বোঝায় আপনি সমস্যার ক্রমটি বিপরীত করতে পারেন।

1. সর্বাধিক করে তোলার জন্য আমি প্রথমে জরিমানা pick বেছে নিয়েছি ।$\boldsymbol{\lambda}$

2. এর পরে আপনি বাছাই ল্যাগরান্গিয়ান কমান ।$\mathbf{x}$$\mathcal{L}$

এই প্রক্রিয়ায় সেট সীমাবদ্ধতা লঙ্ঘন জন্য মূল্য আছে, এবং দাম যেমন নির্ধারণ করা হয় যে আপনার সীমাবদ্ধতা লঙ্ঘন করবে না।$\lambda$

Comments

বোঝার ফাঁক পূরণ করার জন্য তথ্য এবং লিঙ্কগুলির প্রশংসা করুন। আমাকে নিশ্চিত করতে অনুমতি দিন। কন্ডিশন (1) এর অর্থ কে কেটি X পয়েন্ট X এর সমাধান হতে বলেছে, এর জন্য λ ​​* g (X) = 0, λ> = 0 সন্তুষ্ট করা দরকার এবং জি (এক্স) এর গ্রেডিয়েন্টের দৈর্ঘ্য λ গুণ যেটি (এক্স) এর, অন্যথায় আমরা f (X) পয়েন্টের দিকের গ্রেডিয়েন্টটি খুঁজে পাই যেখানে ছোট f (X ') পাওয়া যাবে?

— Mon

স্লেটার শর্তটি (স্রেফ) একটি সীমাবদ্ধ যোগ্যতা যা উত্তল অপটিমাইজেশন সমস্যার জন্য প্রয়োগ করা যেতে পারে, অর্থাত কেকেটি প্রয়োজনীয় করে তোলে। জড়তা কেকেটি যথেষ্ট করে তোলে। সুতরাং উত্তল অপ্টিমাইজেশান সমস্যার জন্য স্লটার শর্ত যাতে উদ্দেশ্যমূলক ক্রিয়া এবং সীমাবদ্ধতাগুলি উত্তল এবং ক্রমাগত পার্থক্যযোগ্য হয় কে কেটি প্রয়োজনীয় এবং বৈশ্বিক সর্বনিম্নের জন্য পর্যাপ্ত করে তোলে। স্লেটার শর্তটি হ'ল কমপক্ষে একটি সম্ভাব্য বিন্দু রয়েছে (অর্থাত্, সমস্ত প্রতিবন্ধকতাগুলি সন্তুষ্ট করা) যা সমস্ত অবৈধ সীমাবদ্ধতার কঠোর অভ্যন্তরে থাকে (যে কোনও কিছু লিনিয়ার সীমাবদ্ধতার সাথে চলে যতক্ষণ সম্ভব সম্ভব)।

— মার্ক এল স্টোন

Answer 2

চ (এক্স) এক্স কে স্থানীয় ন্যূনতম হতে পর্যাপ্ত হওয়ার জন্য কেকেটির জন্য উত্তল হওয়া আবশ্যক। যদি f (x) বা -g (x) উত্তল না হয়, এক্স সন্তুষ্ট কে কেটি হয় স্থানীয় সর্বনিম্ন, স্যাডলপয়েন্ট বা স্থানীয় সর্বাধিক হতে পারে।

g (x) রৈখিক হওয়া, একসাথে চ (এক্স) একটানা পার্থক্যযুক্ত হওয়া স্থানীয় কে সর্বনিম্নের জন্য কে কেটি শর্তগুলির জন্য প্রয়োজনীয়। g (x) লিনিয়ার হওয়ার অর্থ স্থানীয় কে সর্বনিম্নের জন্য নেসারি হওয়ার জন্য লিনিয়ারিটি সীমাবদ্ধতার যোগ্যতা সন্তুষ্ট। তবে, অন্যান্য কম সীমাবদ্ধ বাধা যোগ্যতা রয়েছে যা স্থানীয় ন্যূনতমের জন্য প্রয়োজনীয় কেকেটি শর্তের জন্য যথেষ্ট। Https://en.wikedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93 টাকার_কন্ডিশনগুলির নিয়মিত অবস্থা (বা সীমাবদ্ধতা যোগ্যতা) বিভাগ দেখুন ।

যদি কোনও স্থানীয় ন্যূনতম কোনও "সক্রিয়" সীমাবদ্ধতা না থাকে (সুতরাং কেবলমাত্র একটি অসমতার সীমাবদ্ধতার ক্ষেত্রে, সেই সীমাবদ্ধতা সমতাতে সন্তুষ্ট হয় না), এই জাতীয় প্রতিবন্ধকতাগুলির সাথে সম্পর্কিত ল্যাঞ্জরেঞ্জ গুণকগুলি অবশ্যই শূন্য হতে হবে, সেক্ষেত্রে কেকেটি শর্ত হ্রাস করে যে উদ্দেশ্যটির গ্রেডিয়েন্ট = ০। এই ক্ষেত্রে, সীমাবদ্ধকরণের এপসিলন শক্তির সর্বোত্তম উদ্দেশ্য মানের শূন্য "ব্যয়" রয়েছে।

আরও তথ্য :

উদ্দেশ্যমূলক ফাংশন এবং সীমাবদ্ধতাগুলি উত্তল এবং ক্রমাগত পৃথক পৃথকভাবে বোঝায় কে কেটি বিশ্ব সর্বনিম্ন জন্য যথেষ্ট।

যদি উদ্দেশ্যমূলক ক্রিয়াকলাপ এবং সীমাবদ্ধতা অবিচ্ছিন্নভাবে পৃথক হয় এবং সীমাবদ্ধতা একটি সীমাবদ্ধতা যোগ্যতার সন্তুষ্টি করে তবে স্থানীয় নূন্যতমের জন্য কেকেটি প্রয়োজনীয়।

যদি উদ্দেশ্যমূলক ক্রিয়াকলাপ এবং সীমাবদ্ধতা অবিচ্ছিন্নভাবে পৃথক, উত্তল এবং সীমাবদ্ধতাগুলি একটি সীমাবদ্ধ যোগ্যতার সন্তুষ্টি করে তবে কে কেটি প্রয়োজনীয় এবং বিশ্বব্যাপী সর্বনিম্ন জন্য যথেষ্ট।

উপরের আলোচনাটি কেবলমাত্র 1 ম অর্ডার কেকেটি শর্তের সাথে সম্পর্কিত। এছাড়াও ২ য় অর্ডার কেকেটি শর্ত রয়েছে, যা হিসাবে উল্লেখ করা যেতে পারে: এক পর্যায়ে সন্তুষ্ট 1 ম অর্ডার কেকেটি শর্ত এবং যার জন্য উদ্দেশ্য ক্রিয়াকলাপ এবং সীমাবদ্ধতা দ্বিগুণ ধারাবাহিকভাবে পার্থক্যযোগ্য যদি স্থানীয়ভাবে ন্যূনতম হয় তবে ল্যাঙ্গরজিয়ামের হেসিয়ান যদি প্রজেক্ট করা হয় তবে সক্রিয় সীমাবদ্ধতার জ্যাকবিয়ানদের শূন্যস্থান হ'ল ধনাত্মক অর্ধসীমা। (আমি আপনাকে পূর্ববর্তী বাক্যে ব্যবহৃত পরিভাষাটি সন্ধান করব।) সক্রিয় সীমাবদ্ধতার জ্যাকবীয়দের শূন্যস্থানটির জন্য একটি ভিত্তি হিসাবে চিহ্নিত করা, ২ য় ক্রম কেকেটি শর্ত হ'ল ইতিবাচক অর্ধ-নির্দিষ্ট, যেখানেজেড টি এইচ জেড এইচ $Z$$Z^T H Z$$H$হ্যাশিয়ান হ'ল লগ্র্যানজিয়ান। সক্রিয় সীমাবদ্ধতাগুলি সমস্ত সমতা বাধা এবং সমস্ত অসমতার সীমাবদ্ধতা নিয়ে গঠিত যা বিবেচনাধীন পয়েন্টে সাম্যতায় সন্তুষ্ট। বিবেচনাধীন 1 ম অর্ডার KKT পয়েন্টে কোনও সীমাবদ্ধতা সক্রিয় না হলে, পরিচয় ম্যাট্রিক্স একটি নালস্পেস ভিত্তিক , এবং সমস্ত ল্যাঞ্জারেঞ্জের গুণকগুলি শূন্য হতে হবে, সুতরাং, কোনও স্থানীয় ন্যূনতমের জন্য ২ য় ক্রমের প্রয়োজনীয় শর্তটি অসংরক্ষিত অপ্টিমাইজেশন থেকে পরিচিত অবস্থার হ্রাস করে উদ্দেশ্যমূলক ফাংশনের হেসিয়ানটি ইতিবাচক অর্ধ-নির্দিষ্ট। যদি সমস্ত প্রতিবন্ধকতা লিনিয়ার হয় তবে ল্যাঙ্গরজিয়ান এর হেসিয়ান = উদ্দেশ্যমূলক ফাংশনের হেসিয়ান কারণ লিনিয়ার ফাংশনের ২ য় ডেরিভেটিভ = 0।$Z$