প্রতিসম ধনাত্মক নির্দিষ্ট (এসপিডি) ম্যাট্রিক কেন এত গুরুত্বপূর্ণ?

Question

আমি প্রতিসম পজিটিভ সুনির্দিষ্ট (এসপিডি) ম্যাট্রিক্সের সংজ্ঞা জানি, তবে আরও বুঝতে চাই।

এগুলি এতটা গুরুত্বপূর্ণ, স্বজ্ঞাতভাবে কেন?

এখানে আমি জানি is আর কি?

• প্রদত্ত ডেটার জন্য, কো-ভেরিয়েন্স ম্যাট্রিক্সটি এসপিডি। কো-ভেরিয়েন্স ম্যাট্রিক্স একটি গুরুত্বপূর্ণ মেট্রিক, স্বজ্ঞাত ব্যাখ্যা করার জন্য এই দুর্দান্ত পোস্টটি দেখুন ।

• চতুর্ভুজ রূপ উত্তল, যদি এসপিডি হয়। উত্তেজক একটি ফাংশনটির জন্য একটি দুর্দান্ত সম্পত্তি যা এটি নিশ্চিত করতে পারে যে স্থানীয় সমাধানটি বিশ্বব্যাপী সমাধান। উত্তল সমস্যাগুলির জন্য, সমাধান করার জন্য অনেকগুলি ভাল অ্যালগরিদম রয়েছে তবে অ-কভেক্স সমস্যাগুলির জন্য নয়।$\frac 1 2 x^\top Ax-b^\top x +c$$A$

• যখন এসপিডি হয়, চতুষ্কোণ রূপের অনুকূলকরণ সমাধান এবং লিনিয়ার সিস্টেমের জন্য সমাধান A x = b একই the । সুতরাং আমরা দুটি ধ্রুপদী সমস্যার মধ্যে রূপান্তর চালাতে পারি। এটি গুরুত্বপূর্ণ কারণ এটি আমাদের অন্য একটি ডোমেনে আবিষ্কার করা কৌশল ব্যবহার করতে সক্ষম করে। উদাহরণস্বরূপ, আমরা একটি রৈখিক সিস্টেম সমাধান করতে কনজুগেট গ্রেডিয়েন্ট পদ্ধতিটি ব্যবহার করতে পারি।$A$

  $$\text{minimize}~~~ \frac 1 2 x^\top Ax-b^\top x +c$$ $$Ax=b$$

• অনেকগুলি ভাল অ্যালগরিদম রয়েছে (দ্রুত, সংখ্যার স্থিতিশীল) যা এসপিডি ম্যাট্রিক্সের জন্য আরও ভাল কাজ করে যেমন কোলেস্কি পচন।

সম্পাদনা: আমি এসপিডি ম্যাট্রিক্সের জন্য পরিচয় জিজ্ঞাসা করার চেষ্টা করছি না, তবে সম্পত্তিটির পিছনে অন্তর্দৃষ্টিটি গুরুত্ব দেখানোর জন্য। উদাহরণস্বরূপ, @ ম্যাথু ড্রুরি দ্বারা উল্লিখিত হিসাবে, যদি কোনও ম্যাট্রিক্স এসপিডি হয় তবে ইগেনভ্যালুগুলি সমস্ত ইতিবাচক আসল সংখ্যা, তবে কেন সমস্ত ইতিবাচক বিষয়। @ ম্যাথু ড্রুরির প্রবাহের দুর্দান্ত উত্তর ছিল এবং এটি আমি খুঁজছিলাম।

Comments

ইগেনভ্যালুগুলি সমস্ত ইতিবাচক আসল সংখ্যা। এই সত্য অন্যান্য অনেকের অন্তর্নিহিত।

— ম্যাথু ড্রুরি

@ ম্যাথিউর থেকে কিছুটা এগিয়ে যেতে: আপনি যদি একটি উপযুক্ত ভিত্তি চয়ন করেন তবে এই জাতীয় সমস্ত ম্যাট্রিকগুলি একই এবং পরিচয় ম্যাট্রিক্সের সমান। অন্য কথায়, প্রতিটি মাত্রায় (রিয়েল ভেক্টর স্পেসের জন্য) হুবহু এক ইতিবাচক-নির্দিষ্ট চতুষ্কোণ রূপ রয়েছে এবং এটি ইউক্লিডিয়ান দূরত্বের সমান।

— whuber

সত্যিকারের প্রতিসাম্য ম্যাট্রিক্সের ইগেনভ্যালুগুলি দেখানোর অনেক প্রাথমিক পদ্ধতিতে আপনি কিছুটা অন্তর্দৃষ্টি পাবেন: ম্যাথওভারফ্লো ডটকম / কোয়েশনস / ১১৮62626/২ বিশেষত, চতুর্ভুজীয় রূপ রেলেইগ ভাগফলে প্রাকৃতিকভাবে দেখা যায়, এবং প্রতিসম ম্যাট্রিকগুলি ম্যাট্রিকগুলির বৃহত পরিবারকে প্রদর্শন করার প্রাকৃতিক উপায়ে সরবরাহ করে যার ইগেনালুয়েসগুলি আসল। উদাহরণস্বরূপ কুরান্ট মিনিম্যাক্স্স উপপাদ্যটি দেখুন: en.wikedia.org/wiki/Courant_minimax_prصول$x^TAx$

— অ্যালেক্স আর।

এটি অত্যধিক বিস্তৃত বলে মনে হয়; এর যদি ইতিমধ্যে তিনটি উত্তর না থাকে তবে আমি সম্ভবত সেই ভিত্তিতে এটি বন্ধ করে দিয়েছি। দয়া করে আপনি বিশেষত যা জানতে চান সে সম্পর্কে আরও গাইডেন্স অফার করুন (অন্তর্দৃষ্টি জিজ্ঞাসা করা ব্যক্তিরা এরকম ক্ষেত্রে অনুমান করার জন্য খুব ব্যক্তিগত / স্বতন্ত্র)

— Glen_b -Rininstate মনিকা

আমার পরিসংখ্যানগুলিতে এমন পরিস্থিতি আসতে খুব কঠিন সময় হচ্ছে যা একটি ম্যাট্রিক্সের জন্ম দেবে যা পিএসডি নয় (যদি না আপনি যদি কোনও পারস্পরিক সম্পর্ক মেট্রিক্স গণনা করতে ব্যর্থ হন, উদাহরণস্বরূপ, অনুপস্থিত মানগুলির সাথে ডেটাতে জোড়যুক্ত পারস্পরিক সম্পর্ক পূরণ করে) । যে কোনও স্কোয়ারের প্রতিসম ম্যাট্রিক্সটি আমি ভাবতে পারি এটি হয় কোভারিয়েন্স, তথ্য বা প্রজেকশন ম্যাট্রিক্স। (ফলিত গণিতে অন্য কোথাও, নন-পিএসডি ম্যাট্রিকগুলি সাংস্কৃতিক আদর্শ হতে পারে, যেমন পিডিই-তে সীমাবদ্ধ উপাদান ম্যাট্রিকগুলি বলুন))

— স্টাসক

Answer 1

একটি (বাস্তব) প্রতিসাম্য ম্যাট্রিক্সে অর্থোগোনাল ইগেনভেেক্টরগুলির একটি সম্পূর্ণ সেট রয়েছে যার জন্য সংশ্লিষ্ট ইজেনভ্যালুগুলি সমস্ত আসল সংখ্যা। অ-প্রতিসম ম্যাট্রিকগুলির জন্য এটি ব্যর্থ হতে পারে। উদাহরণস্বরূপ, দ্বিমাত্রিক স্থানের একটি আবর্তনের আসল সংখ্যায় কোনও ইগেনভেક્ટર বা ইগেনভ্যালু নেই, তাদের খুঁজে বের করার জন্য আপনাকে জটিল সংখ্যার উপরে কোনও ভেক্টর স্পেসে যেতে হবে।

যদি ম্যাট্রিক্স অতিরিক্ত ধনাত্মক সুনির্দিষ্ট হয়, তবে এই আইজেনভ্যালুগুলি সমস্ত ইতিবাচক আসল সংখ্যা। এই সত্যটি প্রথমটির তুলনায় অনেক সহজ, কারণ যদি ইউনিটের দৈর্ঘ্য সহ একটি আইজেনভেક્ટર হয় এবং λ সংশ্লিষ্ট ইগন্যালুয়ু, তবে$v$$\lambda$

$$\lambda = \lambda v^t v = v^t A v > 0$$

যেখানে সর্বশেষ সাম্যতা ইতিবাচক সুনির্দিষ্টতার সংজ্ঞাটি ব্যবহার করে।

অন্তর্দৃষ্টি জন্য এখানে গুরুত্ব হ'ল একটি রৈখিক রূপান্তরের ইগেনভেেক্টর এবং ইগেনভ্যালুগুলি সমন্বয় ব্যবস্থা বর্ণনা করে যেখানে রূপান্তরটি খুব সহজেই বোঝা যায়। একটি রৈখিক রূপান্তরকে স্ট্যান্ডার্ড কোঅর্ডিনেট সিস্টেমের মতো "প্রাকৃতিক" ভিত্তিতে বোঝা খুব কঠিন হতে পারে তবে প্রত্যেকটিই আইভেনভেেক্টরগুলির একটি "পছন্দসই" ভিত্তিতে আসে যেখানে রূপান্তরটি সমস্ত দিকগুলিতে স্কেলিং হিসাবে কাজ করে। এটি রূপান্তরটির জ্যামিতিটি বোঝা আরও সহজ করে তোলে।

উদাহরণস্বরূপ, ফাংশন এর স্থানীয় চূড়ান্ততার জন্য দ্বিতীয় ডেরাইভেটিভ পরীক্ষাটি প্রায়শই দ্বিতীয় ডেরাইভেটিভ ম্যাট্রিক্স এবং কিছু নির্ধারকগুলিতে একটি এন্ট্রি জড়িত রহস্যজনক অবস্থার একটি সিরিজ হিসাবে দেওয়া হয়। আসলে, এই শর্তগুলি কেবল নিম্নলিখিত জ্যামিতিক পর্যবেক্ষণকে এনকোড করে:$R^2 \rightarrow R$

• দ্বিতীয় ডেরিভেটিভসের ম্যাট্রিক্স যদি ইতিবাচক সুনির্দিষ্ট হয় তবে আপনি স্থানীয় ন্যূনতম।
• দ্বিতীয় ডেরিভেটিভসের ম্যাট্রিক্স যদি negativeণাত্মক নির্দিষ্ট হয় তবে আপনি স্থানীয় সর্বাধিক।
• অন্যথায়, আপনি উভয়ই নেই, একটি স্যাডল পয়েন্ট।

উপরের জ্যামিতিক যুক্তি দিয়ে আপনি এটি একটি ইগেনবাসিতে বুঝতে পারবেন। একটি সমালোচনামূলক পয়েন্টে প্রথম ডেরাইভেটিভ অদৃশ্য হয়ে যায়, সুতরাং এখানে ফাংশন পরিবর্তনের হারগুলি দ্বিতীয় ডেরাইভেটিভ দ্বারা নিয়ন্ত্রিত হয়। এখন আমরা জ্যামিতিকভাবে যুক্তি বলতে পারি

• প্রথম ক্ষেত্রে দুটি ইগেন-দিক রয়েছে এবং আপনি যদি উভয়দিকেই যান তবে ফাংশনটি বৃদ্ধি পায়।
• দ্বিতীয়টিতে, দুটি আইগেন-দিক এবং আপনি যদি কোনও একটিতে যান তবে ফাংশন হ্রাস পায়।
• শেষের দিকে, দুটি আইগেন-দিক রয়েছে তবে তাদের একটিতে ফাংশন বৃদ্ধি পায় এবং অন্যটিতে এটি হ্রাস পায়।

যেহেতু ইগেনভেেক্টরগুলি পুরো স্থান জুড়ে থাকে, অন্য কোনও দিক হ'ল ইগেন-দিকগুলির একটি লিনিয়ার সংমিশ্রণ, সুতরাং সেই দিকগুলির পরিবর্তনের হারগুলি ইগেন দিকগুলির পরিবর্তনের হারের লিনিয়ার সংমিশ্রণ। সুতরাং প্রকৃতপক্ষে, এটি সমস্ত দিককে ধরে রেখেছে (এটি উচ্চতর মাত্রিক স্থানের উপর নির্ভরশীল কোনও ফাংশনকে ডিফারেনটেবল হওয়ার জন্য এটি কমবেশি কী বোঝায়)। এখন আপনি যদি আপনার মাথার মধ্যে একটি সামান্য ছবি আঁকেন তবে এটি এমন কোনও কিছু থেকে অনেক কিছু বোঝে যা শিক্ষানবিশ ক্যালকুলাস গ্রন্থগুলিতে বেশ রহস্যজনক।

এটি সরাসরি আপনার বুলেট পয়েন্টগুলির একটিতে প্রযোজ্য

চতুর্ভুজ রূপ উত্তল, যদিAএসপিডি হয়। উত্তল একটি দুর্দান্ত সম্পত্তি যা স্থানীয় সমাধানটি বিশ্বব্যাপী সমাধান কিনা তা নিশ্চিত করতে পারে$\frac 1 2 x^\top Ax-b^\top x +c$$A$

দ্বিতীয় ডেরিভেটিভসের ম্যাট্রিক্স সর্বত্র , যা প্রতিসম ধনাত্মক সুনির্দিষ্ট। জ্যামিতিকভাবে, এর অর্থ হ'ল আমরা যদি কোনও ইগেন-দিক (এবং সেইজন্য যে কোনও দিকনির্দেশ, কারণ অন্য কোনও ইগেন-দিকের একটি রৈখিক সংমিশ্রণে) সরে যায় তবে ফাংশনটি নিজেই এটির স্পর্শকাতর সমতলের উপরে বক্র হয়ে যাবে । এর অর্থ পুরো পৃষ্ঠটি উত্তল।$A$

Comments

যদি: দিকে তাকিয়ে একটি গ্রাফিকাল উপায় এসপিডি হয়, যুক্ত দ্বিঘাত ফর্ম এর contours ellipsoidal হয়। $\mathbf A$

— জেএম

@ জেএম দ্বারা চিহ্নিত বৈশিষ্ট্যটি খুব উপলব্ধিযোগ্য। উপবৃত্তাকার রূপগুলি সম্পর্কে বিশেষ কী হতে পারে তা যদি কেউ ভাবছেন তবে মনে রাখবেন যে তারা ছদ্মবেশে নিখুঁত ক্ষেত্র মাত্রা: পরিমাপের এককগুলি তাদের মূল অক্ষের সাথে পৃথক হতে পারে এবং উপবৃত্তাকারগুলি স্থানাঙ্কগুলির সাথে সম্মতিতে ঘোরানো যেতে পারে যেখানে ডেটা বর্ণিত হয়েছে , তবে দুর্দান্ত প্রচেষ্টার জন্য - বিশেষত ধারণামূলক - এই পার্থক্যগুলি অনর্থক on

— হোবার

এটি নিউটনের পদ্ধতি জ্যামিতিকভাবে বোঝার আমার পদ্ধতির সাথে সম্পর্কিত। উপবৃত্তাকার সহ বর্তমান স্তরের সেটটি সর্বাধিক আনুমানিকভাবে নির্ধারণ করুন এবং তারপরে একটি সমন্বিত ব্যবস্থা নিন যেখানে এলিপসয়েড একটি বৃত্ত, সেই স্থানাঙ্ক ব্যবস্থায় বৃত্তগুলিতে অরথোগোনাল সরান।

— ম্যাথু ড্রুরি

যদি (সক্রিয়) সীমাবদ্ধতা থাকে তবে আপনাকে ইগন্যালিউ এবং ইজেনডায়ারেশন স্পিলটি করার আগে সক্রিয় সীমাবদ্ধতার জ্যাকবীয়ায় প্রজেক্ট করতে হবে। যদি হেসিয়ান পিএসডি হয় তবে (যে কোনও) প্রজেকশনটি পিএসডি করা হবে তবে কনভার্সটি অগত্যা সত্য নয় এবং প্রায়শই হয় না। আমার উত্তর দেখুন।

— মার্ক এল। স্টোন

Answer 2

সত্যিকারের প্রতিসাম্য ম্যাট্রিক্সের ইগোনালুগুলি দেখানোর অনেক প্রাথমিক পদ্ধতিতে আপনি কিছুটা অন্তর্দৃষ্টি খুঁজে পাবেন যা সমস্ত বাস্তব: /mathpro/118626/real-symmetric-matrix-has-real-eigenvalues-elementary- প্রমাণ / 118640 # 118640

বিশেষ করে, দ্বিঘাত ফর্ম রয়ালে ভাগফল প্রাকৃতিকভাবে ঘটে, এবং প্রতিসম ম্যাট্রিক্স কি তর্কসাপেক্ষে ম্যাট্রিক্স যার eigenvalues আসল বৃহৎ পরিবার প্রদর্শক অধিকাংশ প্রাকৃতিক উপায় প্রদান। উদাহরণস্বরূপ কুরান্ট মিনিম্যাক্স্স উপপাদ্যটি দেখুন: https://en.wikedia.org/wiki/Courant_minimax_pr صول$x^TAx$

: এছাড়াও প্রতিসম, কঠোরভাবে ইতিবাচক নির্দিষ্ট ম্যাট্রিক্স শুধুমাত্র ম্যাট্রিক্স যা অ তুচ্ছ ভেতরের পণ্যের বর্ণনা করতে পারেন, একটি প্ররোচক আদর্শ সহ এর নির্ধারণ করা হয় । এটি হ'ল প্রকৃত ভেক্টর x , y d ( x , y ) = d ( y , x ) এর জন্য সমস্ত x , y এবং ‖ x ‖ 2$d(x,y)=\langle x,Ay\rangle=x^TAy$$x,y$ $d(x,y)=d(y,x)$$x,y$ জন্য এক্স ≠ 0 । এইভাবে, প্রতিসম পজিটিভ সুনির্দিষ্ট ম্যাট্রিকগুলিকে সমন্বিত রূপান্তরগুলির জন্য আদর্শ প্রার্থী হিসাবে দেখা যেতে পারে।$\|x\|^2=x^TAx>0$$x\neq 0$

এই আধুনিক সম্পত্তিটি সমর্থন ভেক্টর মেশিন, বিশেষত কার্নেল পদ্ধতি এবং কার্নেল ট্রিকের ক্ষেত্রে একেবারে মূল , যেখানে ডান অভ্যন্তরীণ পণ্যকে প্ররোচিত করার জন্য কার্নেলটি প্রতিসম ধনাত্মক হতে হবে। প্রকৃতপক্ষে মার্সারের উপপাদ্য কার্যতামূলক জায়গাগুলিতে প্রতিসম ম্যাট্রিকগুলির স্বজ্ঞাত বৈশিষ্ট্যকে সাধারণীকরণ করে।

Answer 3

অপ্টিমাইজেশনের ক্ষেত্রে (যেহেতু আপনি আপনার প্রশ্নটিকে অপ্টিমাইজেশন ট্যাগের সাথে ট্যাগ করেছেন), এসপিডি ম্যাট্রিকগুলি একটি সাধারণ কারণের জন্য অত্যন্ত গুরুত্বপূর্ণ - একটি এসপিডি হেসিয়ান গ্যারান্টি দেয় যে অনুসন্ধানের দিকটি একটি উত্সাহিত দিক। অনিয়ন্ত্রিত অপ্টিমাইজেশনের জন্য নিউটনের পদ্ধতির ব্যয় বিবেচনা করুন। প্রথমত, আমরা এর টেলর সম্প্রসারণ গঠন করি :$f(x + \Delta x)$

$$f(x + \Delta x)\approx f(x) + \Delta x^T \nabla f(x)+ \frac{1}{2} \Delta x^T \nabla^2 f(x) \Delta x$$

এর পরে, আমরা সম্মান সঙ্গে ব্যুৎপন্ন নেওয়া :$\Delta x$

$$f'(x + \Delta x)\approx \nabla f(x) + \nabla^2 f(x) \Delta x$$

অবশেষে, ডেরিভেটিভটি 0 এর সমান সেট করুন এবং জন্য সমাধান করুন :$\Delta x$

$$\Delta x = -\nabla^2 f(x)^{-1} \nabla f(x)$$

$\nabla^2 f(x)$$\Delta x$

$$\nabla f(x)^T \Delta x = -\nabla f(x)^T \nabla^2 f(x)^{-1} \nabla f(x) < 0$$

নিউটনের পদ্ধতিটি ব্যবহার করার সময়, নন-এসপিডি হেসিয়ান ম্যাট্রিকগুলি সাধারণত এসপিডি হওয়ার জন্য "নুড" হয়। মডিফাইড কোলেস্কি নামে একটি ঝরঝরে অ্যালগরিদম রয়েছে যা একটি নন-এসপিডি হেসিয়ানকে সনাক্ত করবে, এটিকে যথাযথভাবে সঠিক দিকে ঠেলে দেবে এবং ফলাফলকে ফ্যাক্টরাইজ করবে, সমস্তই (মূলত) কোলেস্কি ফ্যাক্টেরাইজেশন হিসাবে একই ব্যয়ের জন্য। আনুমানিক হেসিয়ানকে এসপিডি করতে বাধ্য করে কোয়াসি-নিউটন পদ্ধতিগুলি এ সমস্যাটি এড়াতে পারে।

একদিকে যেমন, প্রতিসম্মত অনির্দিষ্ট সিস্টেমগুলি আজকাল প্রচুর মনোযোগ পাচ্ছে। তারা সীমিত অপ্টিমাইজেশনের জন্য অভ্যন্তরীণ পয়েন্ট পদ্ধতির প্রসঙ্গে আসে।

Comments

দুর্দান্ত উত্তরের জন্য আপনাকে অনেক ধন্যবাদ। আমি বুঝলাম লাইন অনুসন্ধান পদ্ধতিতে শালীন দিকটি গুরুত্বপূর্ণ। বিশ্বাস অঞ্চল পদ্ধতিগুলিতে, শালীন দিকনির্দেশনাও গুরুত্বপূর্ণ?

— হাইটাও ডু

এটি আস্থা অঞ্চল পদ্ধতিগুলির জন্য এখনও গুরুত্বপূর্ণ। বিশ্বাসের অঞ্চল পদ্ধতিগুলি মূলত পদক্ষেপের আকার FIRST সীমাবদ্ধ করে এবং তারপরে পদক্ষেপের জন্য সমাধান করে কাজ করে। পদক্ষেপটি যদি উদ্দেশ্যমূলক ফাংশন মানটিতে কাঙ্ক্ষিত হ্রাস অর্জন করে না, আপনি পদক্ষেপের আকারের সীমাটি হ্রাস করুন এবং আবার শুরু করবেন। কল্পনা করুন যে পদক্ষেপের দিকটি উত্পন্ন করার জন্য আপনার অ্যালগরিদম গ্যারান্টি দেয় না যে পদক্ষেপের দিকটি একটি বংশদ্ভুত দিক is এমনকি বিশ্বাসের ক্ষেত্রের ব্যাসার্ধ 0 তে গিয়েও আপনি কখনই কোনও গ্রহণযোগ্য পদক্ষেপ তৈরি করতে পারবেন না (এমনকি একটি উপস্থিত থাকলেও) কারণ আপনার ধাপের দিকনির্দেশগুলির কোনওটিই বংশোদ্ভূত দিক নয়।

— বিল ওউসনার

লাইন অনুসন্ধান পদ্ধতিগুলি মূলত একই আচরণ প্রদর্শন করে। যদি আপনার অনুসন্ধানের দিকটি বংশদ্ভুত দিক না হয় তবে লাইন অনুসন্ধান অ্যালগরিদম কখনও গ্রহণযোগ্য পদক্ষেপের দৈর্ঘ্য খুঁজে নাও পারে - কারণ একটি নেই। :-)

— বিল ওউসনার

দুর্দান্ত উত্তর, টুকরো সংযোগ করতে আমাকে সাহায্য করার জন্য আপনাকে ধন্যবাদ।

— হাইটাও দু

Answer 4

জ্যামিতিকভাবে, একটি ধনাত্মক সুনির্দিষ্ট ম্যাট্রিক্স একটি মেট্রিককে উদাহরণস্বরূপ একটি রিমানিয়ান মেট্রিককে সংজ্ঞায়িত করে , তাই আমরা তাত্ক্ষণিক জ্যামিতিক ধারণাটি ব্যবহার করতে পারি।

$x$$y$$A$

$$d(x,y) = \sqrt{(x-y)^T A (x-y)}$$

$\mathbb{R}^n$

$$\langle x,y \rangle = x^T A y$$ $A$$\mathbb{R}^n$

Comments

$\mathbf A=\mathbf I$

Answer 5

ইতিমধ্যে বেশ কয়েকটি জবাব রয়েছে যা ব্যাখ্যা করে যে প্রতিসম ধনাত্মক সুনির্দিষ্ট ম্যাট্রিকগুলি কেন এত গুরুত্বপূর্ণ, তাই আমি কেন একটি উত্তর প্রদান করব যে কেন সেগুলি এত গুরুত্বপূর্ণ নয় কারণ সেই উত্তরগুলির লেখক সহ কিছু লোক কেন ভাবেন। সরলতার স্বার্থে, আমি প্রতিসম ম্যাট্রিকগুলিতে ফোকাস সীমাবদ্ধ করব এবং হেসিয়ান এবং অপ্টিমাইজেশনে মনোনিবেশ করব।

Godশ্বর যদি বিশ্বকে উত্তল করে দিতেন তবে উত্তল অপ্টিমাইজেশন না হত, কেবলমাত্র অনুকূলতা ছিল। একইভাবে, ইতিবাচক সুনির্দিষ্ট ম্যাট্রিকগুলি (প্রতিসামগ্রী) থাকবে না, কেবল (প্রতিসামগ্রী) ম্যাট্রিক হবে। তবে বিষয়টি তেমন নয়, তাই এটি মোকাবেলা করুন।

যদি একটি চতুর্ভুজ প্রোগ্রামিং সমস্যা উত্তল হয়, এটি "সহজেই" সমাধান করা যেতে পারে। যদি এটি নন-উত্তল হয়, তবে একটি শাখা এবং আবদ্ধ পদ্ধতি ব্যবহার করে একটি বৈশ্বিক অনুকূল সর্বোত্তম সন্ধান করা যেতে পারে (তবে এটি আরও বেশি এবং আরও স্মৃতি নিতে পারে)।

যদি কোনও নিউটনের পদ্ধতিটি অপ্টিমাইজেশনের জন্য ব্যবহৃত হয় এবং হেসিয়ান কোনও পুনরাবৃত্তিতে অনির্দিষ্ট হয়, তবে এটি ইতিবাচক নির্দিষ্টকরণের জন্য "ফিনগল" করা প্রয়োজন হয় না। যদি কোনও লাইন অনুসন্ধান ব্যবহার করা হয়, নেতিবাচক বক্ররেখার দিকনির্দেশগুলি পাওয়া যায় এবং লাইন অনুসন্ধানগুলি তাদের সাথে চালিত হয় এবং যদি কোনও বিশ্বস্ত অঞ্চল ব্যবহার করে থাকে তবে কিছুটা ছোট পর্যাপ্ত আস্থা অঞ্চল রয়েছে যেমন বিশ্বাস অঞ্চল সমস্যার সমাধান বংশদ্ভুত অর্জন করে।

কোয়াসি-নিউটন পদ্ধতির ক্ষেত্রে, বিএফজিএস (সমস্যা সীমাবদ্ধ থাকলে স্যাঁতসেঁতে) এবং ডিএফপি হেসিয়ান বা বিপরীত হেসিয়ান সান্নিধ্যের ইতিবাচক সুনির্দিষ্টতা বজায় রাখে। অন্যান্য কোয়াসি-নিউটন পদ্ধতি যেমন এসআর 1 (সিমমেট্রিক র‌্যাঙ্ক ওয়ান) অগত্যা ইতিবাচক সুনির্দিষ্টতা বজায় রাখে না। এর আগে আপনি সমস্ত বাঁকানোর আগে, এটি অনেক সমস্যার জন্য এসআর 1 বাছাই করার পক্ষে ভাল কারণ - যদি হেসিয়ান সত্যিকারের সর্বোত্তম পথে এগিয়ে যাওয়ার ক্ষেত্রে ইতিবাচক সুনির্দিষ্ট না হয়, তবে কোয়াশি-নিউটনের অনুমানকে ইতিবাচক সুনির্দিষ্ট হতে বাধ্য করা হচ্ছে উদ্দেশ্য ফাংশন একটি স্বল্প চতুষ্কোণ সমাপ্তির ফলাফল হতে পারে। বিপরীতে, এসআর 1 আপডেট করার পদ্ধতিটি "হংস হিসাবে আলগা" এবং বরাবর এগিয়ে যাওয়ার সাথে সাথে এটির দৃit়তার সাথে দৃ writ়তার সাথে আকার দিতে পারে।

অরৈখিকভাবে সীমাবদ্ধ অপ্টিমাইজেশান সমস্যার জন্য, যা সত্যিকার অর্থে গুরুত্বপূর্ণ তা উদ্দেশ্যমূলক ফাংশনের হেসিয়ান নয়, তবে ল্যাঙ্গরজিয়ামের হেসিয়ান। ল্যাঙ্গরজিনের হেসিয়ান একটি (সর্বোত্তম) এমনকি অনির্দিষ্টকালের জন্যও থাকতে পারে এবং সত্যই এটি সক্রিয় (লিনিয়ার এবং ননলাইনারি) সীমাবদ্ধতার জ্যাকবীয়দের শূন্যস্থানতে লাগরঙ্গিয়ান-এর হেসিয়ানদের প্রক্ষেপণ, যা ইতিবাচক আধা হতে হবে সর্বোত্তম সময়। আপনি যদি BFGS- এর মাধ্যমে ল্যাঙ্গরজিয়ামের হেসিয়ানকে মডেল করেন এবং এর মাধ্যমে এটি ইতিবাচক সুনির্দিষ্ট হতে বাধ্য করেন তবে এটি সর্বত্র ভয়ঙ্কর ফিট হতে পারে এবং ভালভাবে কাজ করবে না। বিপরীতে, এসআর 1 এর ইগনালভ্যুগুলি এটি আসলে "দেখায়" তার সাথে খাপ খাইয়ে নিতে পারে।

এগুলি সম্পর্কে আমি আরও অনেক কিছু বলতে পারি, তবে এটি আপনাকে স্বাদ দেওয়ার পক্ষে যথেষ্ট।

সম্পাদনা : আমি 2 টি অনুচ্ছেদে যা লিখেছি তা সঠিক। তবে আমি এটি উল্লেখ করতে ভুলে গেছি যে এটি রৈখিকভাবে সীমাবদ্ধ সমস্যার ক্ষেত্রেও প্রযোজ্য। রৈখিকভাবে সীমাবদ্ধ সমস্যার ক্ষেত্রে, ল্যাঙ্গরজিয়ামের হেসিয়ান কেবলমাত্র উদ্দেশ্যমূলক ফাংশনের হেসিয়ান (হ্রাস করে)। সুতরাং কোনও স্থানীয় ন্যূনতমের জন্য ২ য় আদেশের সর্বোত্তমতার শর্তটি হ'ল সক্রিয় সীমাবদ্ধতার জ্যাকবীয়ানের শূন্যস্থানটিতে উদ্দেশ্যমূলক ফাংশনের হেসিয়ানটির প্রক্ষেপণটি ইতিবাচক আধা-সুনির্দিষ্ট। সর্বাধিক উল্লেখযোগ্যভাবে, উদ্দেশ্যমূলক ফাংশনের হেসিয়ানকে সর্বোত্তমভাবে পিএসডি করা প্রয়োজন নয়, এবং প্রায়শই এমন নয়, এমনকি লিনিয়ার সীমাবদ্ধ সমস্যার ক্ষেত্রেও হয় না।

Comments

"নন-উত্তল ক্ষতি কার্যকারিতা সম্পর্কে কে ভীত?" ... @ মার্কএল.স্টোন নয়

— জিওম্যাটট22

@ জিওম্যাটট 22 আপনি বাজি ধরুন আপনার @ $$ আমি নই। অন্যদিকে, আপনি যদি কোনও ক্ষতির ফাংশন তৈরি করতে (চয়ন করতে) চলেছেন, শো-বোটিং ব্যতীত অন্য কোনও ভাল উদ্দেশ্য কাজ না করে তখন এটিকে উত্তরণহীন করার দরকার নেই। বিচক্ষণতা বীরত্বের ভাল অংশ।

— মার্ক এল। স্টোন

@ মার্ক এল স্টোন: এটি আকর্ষণীয়! আপনি কি এমন কিছু সাহিত্যের রেফারেন্স দিতে পারেন যেখানে আমি এই জাতীয় জিনিসগুলি সম্পর্কে পড়তে পারি?

— কেজেটিল বি হালওয়ারসেন

@ কেজেটিল বি হালওয়ারসেন। লাইন নেতিবাচক বক্রতা এর নির্দেশ দিয়ে অনুসন্ধান folk.uib.no/ssu029/Pdf_file/Curvilinear/More79.pdf । ট্রাস্ট অঞ্চলগুলি অনেকগুলি বই এবং কাগজগুলিতে আচ্ছাদিত। ট্রাস্ট অঞ্চলে ভাল ভূমিকার সাথে সুপরিচিত বই amazon.com/... , কিছুটা তারিখ সীমার বাইরে এখন .. মনস্টার বই epubs.siam.org/doi/book/10.1137/1.9780898719857 । অনুকূল অবস্থার বিষয়ে আমার শেষ অনুচ্ছেদ হিসাবে, দ্বিতীয় আদেশের কেকেটি শর্তাবলী পড়ুন

— মার্ক এল স্টোন

@ Kjetil b halvorsen আমি নন-উত্তেজক চতুষ্কোণ প্রোগ্রামের বিশ্বব্যাপী সর্বোত্তম সন্ধানের উদ্দেশ্যে সম্বোধন করি না। সিপ্লেএক্স হিসাবে বিস্তৃতভাবে উপলব্ধ সফ্টওয়্যার, এটি করতে পারে, আইবিএম / সাপোর্ট / জ্ঞানসেন্টার / এসএস 9 ইউকিউ_12.6.1/… দেখুন । অবশ্যই এটি সবসময় দ্রুত হয় না এবং এর জন্য কিছু স্মৃতি দরকার হতে পারে। কয়েক হাজার সংখ্যক ভেরিয়েবলের সাথে বিশ্বব্যাপী অনুকূলতার কিছু কিউপি ন্যূনতম সমস্যার সমাধান করেছি যার কয়েকশ সংখ্যার উচ্চতা নেতিবাচক ইগন্যালিউস ছিল।

— মার্ক এল স্টোন

Answer 6

এসপিডি গুরুত্বপূর্ণ কেন আপনি এখনও প্রশ্ন পোস্ট করেছেন তার একটি সংখ্যক কারণ আপনি ইতিমধ্যে উদ্ধৃত করেছেন। সুতরাং, আমার কাছে মনে হচ্ছে আপনার প্রথমে এই প্রশ্নের উত্তর দেওয়া দরকার: ইতিবাচক পরিমাণ কেন গুরুত্বপূর্ণ?

আমার উত্তর হ'ল আমাদের অভিজ্ঞতা বা মডেলগুলির সাথে পুনর্মিলন করার জন্য কিছু পরিমাণের ইতিবাচক হওয়া উচিত। উদাহরণস্বরূপ, মহাকাশের আইটেমগুলির মধ্যে দূরত্বগুলি ইতিবাচক হতে হবে। স্থানাঙ্কগুলি নেতিবাচক হতে পারে তবে দূরত্ব সর্বদা অ-নেতিবাচক থাকে। অতএব, যদি আপনার কাছে কোনও ডেটা সেট থাকে এবং এটির প্রক্রিয়াকরণের কিছু অ্যালগরিদম থাকে তবে আপনি এটির মধ্যে একটি নেতিবাচক দূরত্ব খাওয়ানোর সময় ভেঙে যেতে পারে with সুতরাং, আপনি বলছেন "আমার অ্যালগরিদমের জন্য সবসময় ধনাত্মক দূরত্ব ইনপুট দরকার", এবং এটি অযৌক্তিক চাহিদার মতো শোনাবে না।

পরিসংখ্যানের প্রসঙ্গে, আরও ভাল উপমাটি হবে বৈকল্পিকতা। সুতরাং, আমরা হিসাবে বৈকল্পিক গণনা

$$\sum_i (x_i-\mu)^2/n$$ এটি সংজ্ঞা থেকে স্পষ্ট যে আপনি যদি আসল সংখ্যায় ফিড দেন $x_i$সমীকরণে আউটপুট সর্বদা অ-নেতিবাচক থাকে। সুতরাং, আপনি অ্যালগরিদমগুলি তৈরি করতে পারেন যা অ-নেতিবাচক সংখ্যার সাথে কাজ করে এবং তারা এই বাধা ছাড়াই অ্যালগরিদমের চেয়ে আরও দক্ষ হতে পারে। এ কারণেই আমরা সেগুলি ব্যবহার করি।

সুতরাং, ভেরিয়েন্স-কোভারিয়েন্স ম্যাট্রিকগুলি ইতিবাচক অর্ধ-নির্দিষ্ট, অর্থাৎ এই উপমাতে "অ-নেতিবাচক"। এই অবস্থার প্রয়োজন হয় এমন একটি অ্যালগরিদমের উদাহরণ হ'ল কোলেস্কি পচন, এটি খুব সহজ। একে প্রায়শই "ম্যাট্রিক্সের বর্গমূল" বলা হয়। সুতরাং, বাস্তব-সংখ্যার বর্গমূলের মতো যা অ নেতিবাচকতার প্রয়োজন, কোলেস্কি অ-নেতিবাচক ম্যাট্রিক্স চান। কোভারিয়েন্স ম্যাট্রিক্সের সাথে কাজ করার সময় আমরা এই সীমাবদ্ধতা খুঁজে পাই না কারণ তারা সর্বদা থাকে।

সুতরাং, এটি আমার উপযোগী উত্তর। অ-নেতিবাচকতা বা এসপিডি এর মতো প্রতিবন্ধকতাগুলি আমাদের আরও দক্ষ গণনা অ্যালগরিদম বা সুবিধাজনক মডেলিং সরঞ্জামগুলি তৈরি করতে দেয় যা আপনার ইনপুটগুলি এই সীমাবদ্ধতাগুলি পূরণ করার সময় উপলব্ধ।

Answer 7

এখানে আরও দুটি কারণ রয়েছে যা ইতিবাচক-সেমাইডাইফিনেট ম্যাট্রিকগুলি গুরুত্বপূর্ণ বলে উল্লেখ করা হয়নি:

1. গ্রাফ ল্যাপ্লাসিয়ান ম্যাট্রিক্স তির্যকভাবে প্রভাবশালী এবং এইভাবে পিএসডি হয়।

2. ধনাত্মক semidefiniteness প্রতিসাম্য ম্যাট্রিক্স সেট উপর একটি আংশিক ক্রম সংজ্ঞায়িত (এটি semidefন্ত প্রোগ্রামিং এর ভিত্তি)।