ক্ষুদ্রতম সমবায় ম্যাট্রিক্স সন্ধানের জন্য যথাযথ ব্যবস্থা

Question

পাঠ্যপুস্তকে আমি পড়ছি তারা দুটি সমবায় ম্যাট্রিকের সাথে তুলনা করতে ইতিবাচক নির্দিষ্টতা (আধা-ধনাত্মক সুনির্দিষ্টতা) ব্যবহার করে। ধারণা করা হচ্ছে যে যদি তারপর PD হয় চেয়ে ছোট । কিন্তু আমি এই সম্পর্কের অন্তর্দৃষ্টি পেতে সংগ্রাম করছি?$A-B$$B$$A$

এখানে একটি অনুরূপ থ্রেড রয়েছে:

/math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices

ম্যাট্রিকের সাথে তুলনা করার জন্য সুনির্দিষ্টতা ব্যবহারের অন্তর্দৃষ্টি কী?

উত্তরগুলি দুর্দান্ত হলেও তারা প্রকৃতপক্ষে অন্তর্নিবেশকে সম্বোধন করে না।

আমি বিভ্রান্তিকর একটি উদাহরণ এখানে:

$$\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation}$$

এখন এখানে পার্থক্যের নির্ধারক -২৫ তাই সম্পর্কের পিডি বা এমনকি পিএসডি হয় না এবং তাই প্রথম ম্যাট্রিক্স প্রথমটির চেয়ে বড় হয় না?

আমি কেবল দুটি 3 * 3 কোভারিয়েন্স ম্যাট্রিক্সের সাথে তুলনা করতে চাই যা দেখতে সবচেয়ে ছোট? ইউক্লিডিয়ান আদর্শের মতো কিছু ব্যবহার করার জন্য এগুলি তুলনা করার জন্য আমার কাছে আরও স্বজ্ঞাত মনে হবে? তবে এর অর্থ হ'ল উপরের প্রথম ম্যাট্রিক্স দ্বিতীয় ম্যাটিক্সের চেয়ে বড়। তবুও আমি কেবল পিডি / পিএসডি মানদণ্ডটি কোভেরিয়েন্স ম্যাট্রিক্সের তুলনায় ব্যবহৃত দেখি।

কেউ কি ব্যাখ্যা করতে পারেন যে ইউক্লিডিয়ান আদর্শ হিসাবে অন্য কোনও ব্যবস্থা ব্যবহারের চেয়ে পিডি / পিএসডি কেন ভাল?

আমি এই প্রশ্নটিও গণিত ফোরামে পোস্ট করেছি (সেরাটি কী তা নিশ্চিত ছিল না) আশা করি এটি কোনও নিয়ম লঙ্ঘন করে না।

/math/628135/comparing-two-covariance-matrices

Comments

আপনি পড়তে চাইবেন এই যেখানে পিছনে ইতিবাচক (আধা) definiteness স্বজ্ঞা বিবেচনা করা হয়। যখন আপনি 2 ভেরিয়ানস তুলনা aএবং b, যদি a-bইতিবাচক হয় তাহলে আমরা বলতে হবে পরিবর্তনশীলতা সরানোর উপর যে bবাইরে aসেখানে রয়ে যায় কিছু "বাস্তব" পরিবর্তনশীলতা বাকি a। তেমনিভাবে বহুবিধ রূপগুলি (= কোভেরিয়েন্স ম্যাট্রিক্স) Aএবং এর ক্ষেত্রেও রয়েছে B। যদি A-Bইতিবাচক নির্দিষ্ট হয় তবে তার অর্থ এটি thatA-B ভেক্টর কনফিগারেশন "বাস্তব" ইউক্লিডিয় স্থান রয়েছে: অন্য কথায়, সরানোর উপর Bথেকে A, পরেরটির এখনও একটি টেকসই পরিবর্তনশীলতা হয়।

— ttnphns

আমাদের কি করতে আপনি দুই সহভেদাংক ম্যাট্রিক্সের "ক্ষুদ্রতম" দ্বারা অর্থ কি?

— whuber

হাই হুবহু, কোভেরিয়েন্স ম্যাট্রিকগুলি প্রতিযোগী অনুমানকারীদের সাথে সম্পর্কিত, আমি অনুমান করতে চাই যে এরতমতমতম বৈকল্পিক রয়েছে। (এটি কি বিষয়গুলি স্পষ্ট করে?)

— বাজ

বাজ: তাহলে অনুমানকারীদের বৈকল্পিকগুলি সরাসরি তুলনা করবেন না কেন?

— গ্লেন_বি -রিনস্টেট মনিকা

হাই সেখানে পদ্ধতিটি সেট করা আছে, তারা যেটির বৈকল্পিকাকে কল করে তার জন্য অভিব্যক্তি (যা সমবায়িকাগুলি অন্তর্ভুক্ত) দেওয়া হয়েছে। তবে আমি যদি কেবল বৈকল্পিকগুলির সাথে তুলনা করি তবে এটিতে ভেক্টর মানগুলির তুলনা করা জড়িত যা ম্যাট্রিক্স মানের সাথে তুলনা করার ক্ষেত্রে একই রকম সমস্যা করবে?

— বাজ

Answer 1

ম্যাট্রিকের ক্রমটি আপনি উল্লেখ করেন যা লোওয়নার ক্রম হিসাবে পরিচিত এবং এটি একটি আংশিক আদেশ যা ইতিবাচক সুনির্দিষ্ট ম্যাট্রিকগুলির অধ্যয়নের জন্য ব্যবহৃত হয়। ইতিবাচক-নির্দিষ্ট (মস্তক) ম্যাট্রিক্সের বহুগুণে জ্যামিতির একটি বইয়ের দৈর্ঘ্যের চিকিত্সা এখানে ।

আমি প্রথমে অন্তর্দৃষ্টি সম্পর্কে আপনার প্রশ্নটি সম্বোধনের চেষ্টা করব । A (প্রতিসামগ্রী) ম্যাট্রিক্স $A$ পোস্টডিফ হয় $c^T A c\ge 0$ সমস্ত $c \in \mathbb{R}^n$ । তাহলে $X$ একটি এলোপাতাড়ি ভেরিয়েবলের (আরভি) সহভেদাংক ম্যাট্রিক্স সাথে আছেন $A$ , তারপর $c^T X$ কিছু এক অস্পষ্ট subspace উপর (সমানুপাতিক) তার অভিক্ষেপ, এবং $\mathbb{Var}(c^T X) = c^T A c$ । এটি প্রয়োগ করা হচ্ছে$A-B$আপনার প্রশ্নে, প্রথম: এটি একটি সমবায় ম্যাট্রিক্স, দ্বিতীয়: কোভর ম্যাট্রিক্স $B$ প্রকল্পগুলির সাথে সমস্ত দিকের একটি র্যান্ডম ভেরিয়েবল সহভেদাংক ম্যাট্রিক্স সঙ্গে একটি আরভি চেয়ে ছোট ভ্যারিয়েন্স সঙ্গে $A$ । এটি স্বজ্ঞাতভাবে স্পষ্ট করে তোলে যে এই ক্রমটি কেবলমাত্র একটি আংশিক হতে পারে, অনেকগুলি আরভি রয়েছে যা বন্যপ্রাণে বিভিন্ন প্রকারের সাথে বিভিন্ন দিকে প্রজেক্ট করবে। আপনার কিছু ইউক্যালিডিয়ান আদর্শের প্রস্তাবটির এমন প্রাকৃতিক পরিসংখ্যানগত ব্যাখ্যা নেই।

আপনার "বিভ্রান্তকর উদাহরণ" বিভ্রান্তিকর কারণ উভয় ম্যাট্রিকের নির্ধারক শূন্য রয়েছে। সুতরাং প্রত্যেকটির জন্য একটি দিক রয়েছে (ইগেনভ্যালু শূন্য সহ ইগেনভেেক্টর) যেখানে তারা সর্বদা শূন্যে প্রজেক্ট করে । তবে এই দিক দুটি ম্যাট্রিকের ক্ষেত্রে আলাদা, তাই তাদের তুলনা করা যায় না।

Loewner অর্ডার সংজ্ঞায়িত করা হয় যেমন যে $A \preceq B$ , $B$ চেয়ে বেশি ইতিবাচক নির্দিষ্ট হয় $A$ , যদি $B-A$ posdef হয়। এটি একটি আংশিক অর্ডার, কিছু পোস্টেডেফ ম্যাট্রিকের জন্য $B-A$ বা $A-B$ নয় পোস্ট হয়। একটি উদাহরণ:

$$A=\begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}, \quad B= \begin{pmatrix} 0.5 & 0\\ 0 & 1.5 \end{pmatrix}$$ গ্রাফিকভাবে এটি দেখানোর একটি উপায় দুটি উপবৃত্ত সহ একটি প্লট অঙ্কন করা হয়েছে, তবে ম্যাট্রিক্সের সাথে একটি স্ট্যান্ডার্ড উপায়ে জড়িত উত্সকে কেন্দ্র করে (তারপরে প্রতিটি দিকের রেডিয়াল দূরত্বের বৈকল্পিকের সাথে আনুপাতিক) যে দিকে প্রজেক্টিং):

এই ক্ষেত্রে দুটি উপবৃত্ত একত্রিত হলেও ভিন্নভাবে আবর্তিত হয়েছে (আসলে কোণটি 45 ডিগ্রি)। এটি ম্যাট্রিকের $A$ এবং $B$ এর একই ইগ্যালভ্যালুগুলির সাথে মিলে যায় তবে ইগেনভেেক্টরগুলি ঘোরানো হয়।

যেহেতু এই উত্তরটি উপবৃত্তের বৈশিষ্ট্যের উপর অনেক নির্ভর করে, নিম্নলিখিত শর্তাধীন গসিয়ান বিতরণের পিছনে অন্তর্নিহিত কি? জ্যামিতিকভাবে উপবৃত্তগুলি ব্যাখ্যা করা সহায়ক হতে পারে।

এখন আমি ম্যাট্রিকগুলির সাথে সম্পর্কিত উপবৃত্তগুলি কীভাবে সংজ্ঞায়িত করা হবে তা ব্যাখ্যা করব। একটি পোস্টডিফ ম্যাট্রিক্স $A$ একটি চতুর্ভুজ রূপকে $Q_A(c) = c^T A c$ সংজ্ঞায়িত করে । এটি একটি ফাংশন হিসাবে প্লট করা যেতে পারে, গ্রাফটি চতুর্ভুজ হবে। যদি $A \preceq B$ তবে $Q_B$ এর গ্রাফ সর্বদা $Q_A$ গ্রাফের উপরে থাকবে । যদি আমরা উচ্চতা 1 এ অনুভূমিক সমতল দিয়ে গ্রাফগুলি কাটা করি, তবে কাটগুলি উপবৃত্তগুলি বর্ণনা করবে (এটি আসলে উপবৃত্তগুলি সংজ্ঞায়নের একটি উপায়)। এই কাটা উপবৃত্তগুলি Q A ( c ) = সমীকরণ দ্বারা প্রদত্ত

$$Q_A(c)=1, \quad Q_B(c)=1$$ এবং আমরা দেখতে পেলাম যে$A \preceq B$ সাথে সামঞ্জস্য করে (এখন অভ্যন্তরের সাথে) ক এর উপবৃত্তের মধ্যে রয়েছে যদি কোনও আদেশ না থাকে তবে কোনও জড়িত থাকবে না। আমরা লক্ষ্য করেছি যে অন্তর্ভুক্তি অর্ডারটি লওনার আংশিক আদেশের বিপরীতে, যদি আমরা পছন্দ করি না যে আমরা বিপরীতগুলির উপবৃত্তগুলি আঁকতে পারি। এটি কারণ$A \preceq B$বি - 1 ⪯ এ - 1 এর সমান$B^{-1} \preceq A^{-1}$ । তবে আমি এখানে বর্ণিত উপবৃত্তের সাথেই থাকব।

একটি উপবৃত্তটি সেমিয়াক্স এবং তাদের দৈর্ঘ্যের সাথে বর্ণনা করা যেতে পারে। আমরা কেবল এখানে $2\times 2$ বিষয়গুলি নিয়ে আলোচনা করব , যেহেতু সেগুলিই আমরা আঁকতে পারি ... সুতরাং আমাদের দুটি প্রধান অক্ষ এবং তাদের দৈর্ঘ্য প্রয়োজন। এটি পোস্টপিফ ম্যাট্রিক্সের ইজেনডিকম্পোজিশন হিসাবে এখানে ব্যাখ্যা করা হিসাবে পাওয়া যাবে । তারপর প্রধান অক্ষ eigenvectors দ্বারা দেওয়া হয়, এবং তাদের দৈর্ঘ্য $a,b$ গণনা করা যায় থেকে eigenvalues $\lambda_1, \lambda_2$ দ্বারা

$$a = \sqrt{1/\lambda_1}, \quad b=\sqrt{1/\lambda_2}.$$ $A$$\pi a b= \pi \sqrt{1/\lambda_1}\sqrt{1/\lambda_2} = \frac{\pi}{\sqrt{\det A}}$ ।

আমি একটি চূড়ান্ত উদাহরণ দেব যেখানে ম্যাট্রিকগুলি অর্ডার করা যেতে পারে:

এই ক্ষেত্রে দুটি ম্যাট্রিক :

$$A =\begin{pmatrix}2/3 & 1/5 \\ 1/5 & 3/4\end{pmatrix}, \quad B=\begin{pmatrix} 1& 1/7 \\ 1/7& 1 \end{pmatrix}$$

Answer 2

@ কেজেটিল বি হালওয়ারসন আংশিক ক্রম হিসাবে ইতিবাচক অর্ধ-নির্ধারণের পিছনে জ্যামিতিক অন্তর্দৃষ্টি সম্পর্কে একটি দুর্দান্ত আলোচনা দেয়। আমি সেই একই স্বজ্ঞাতকে আরও কৌতুকপূর্ণ হাতে দেব। আপনার ভেরিয়েন্স ম্যাট্রিক্সের সাথে আপনি কী ধরণের গণনা করতে পছন্দ করতে পারেন তা থেকে এগিয়ে যায়।

ধরুন আপনার কাছে দুটি এবং এলোমেলো ভেরিয়েবল এবং । যদি সেগুলি স্কেলার হয় তবে আমরা তাদের রূপগুলি স্কেলার হিসাবে গণনা করতে পারি এবং স্কেলারের আসল সংখ্যা এবং ব্যবহার করে সুস্পষ্ট উপায়ে তাদের তুলনা করতে পারি । সুতরাং যদি এবং , আমরা বলি যে এলোমেলো ভেরিয়েবল এর চেয়ে ছোট ভেরিয়েন্স থাকে$x$$y$$V(x)$$V(y)$$V(x)=5$$V(y)=15$$x$$y$ ।

অন্যদিকে, যদি এবং ভেক্টর-মূল্যবান র্যান্ডম ভেরিয়েবল হয় (আসুন তারা দ্বি-ভেক্টর হিসাবে ধরা যাক), আমরা কীভাবে তাদের বৈকল্পিকগুলি তুলনা করি তা এত স্পষ্ট নয়। তাদের রূপগুলি বলুন: আমরা কীভাবে এই দুটি এলোমেলো ভেক্টরের বৈকল্পিকের তুলনা করব? একটি জিনিস যা আমরা করতে পারি তা হ'ল কেবল তাদের নিজ নিজ উপাদানগুলির বৈচিত্রের তুলনা। সুতরাং, আমরা বলতে পারি যে কেবলমাত্র বাস্তব সংখ্যাগুলির সাথে তুলনা করে এর এর চেয়ে ছোট , যেমন: এবং$x$$y$

$$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.5 \\ 0.5 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 8 & 3 \\ 3 & 6 \end{array} \right] \end{align}$$ $x_1$$y_1$$V(x_1)=1<8=V(y_1)$$V(x_2)=1<6=V(y_2)$। সুতরাং, হয়তো আমরা বলতে পারে যে ভ্যারিয়েন্স হয় ভ্যারিয়েন্স যদি প্রতিটি উপাদান ভ্যারিয়েন্স হয় সংশ্লিষ্ট উপাদান ভ্যারিয়েন্স । এই বলে মত হবে যদি তির্যক উপাদানের প্রতিটি হয় সংশ্লিষ্ট তির্যক উপাদান ।$x$$\le$$y$$x$$\le$$y$$V(x) \le V(y)$$V(x)$$\le$$V(y)$

প্রথম সংখ্যায় এই সংজ্ঞাটি যুক্তিসঙ্গত বলে মনে হয়। তদুপরি, আমরা যতক্ষণ ভ্যারিয়েন্সি ম্যাট্রিক্স বিবেচনা করছি ততক্ষণ তির্যক (যেমন সমস্ত সমবায় 0 হয়) ততক্ষণ এটি অর্ধ-সুনির্দিষ্টতা ব্যবহার করার মতোই। এটি হ'ল, বৈকল্পগুলি যদি তারপরে বলছেন ইতিবাচক-আধা-নির্দিষ্ট (যেমন ) এবং । যতক্ষণ না আমরা সমবায়িকাগুলি প্রবর্তন করি ততক্ষণে সমস্ত কিছুই ভাল লাগে। এই উদাহরণ বিবেচনা করুন:

$$\begin{align} V(x) = \left[ \begin{array}{c c} V(x_1) & 0 \\ 0 & V(x_2) \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} V(y_1) & 0 \\ 0 & V(y_2) \end{array} \right] \end{align}$$ $V(y)-V(x)$$V(x) \le V(y)$$V(x_1) \le V(y_1)$$V(x_2) \le V(y_2)$ $$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.1 \\ 0.1 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 1 & 0 \\ 0 & 1 \end{array} \right] \end{align}$$ এখন, একটি তুলনা যা কেবল ত্রিভুজগুলি বিবেচনা করে, আমরা বলব , এবং, প্রকৃতপক্ষে, এটি এখনও সত্য যে উপাদান দ্বারা উপাদান । এটি সম্পর্কে আমাদের কী বিরক্ত করতে শুরু করতে পারে তা হ'ল যদি আমরা এবং মতো ভেক্টরগুলির উপাদানগুলির কয়েকটি ভারযুক্ত যোগফল গণনা করি তবে আমরা যদিও আমরা বলছি$V(x) \le V(y)$$V(x_k) \le V(y_k)$$3x_1 + 2x_2$$3y_1 + 2y_2$$V(3x_1 + 2x_2) \gt V(3y_1 + 2y_2)$$V(x) \le V(y)$ ।

এটা কি আজব, তাই না? যখন এবং স্কেলার হয়, তখন গ্যারান্টি দেয় যে কোনও স্থির, এলোমেলো ,$x$$y$$V(x) \le V(y)$$a$$V(ax) \le V(ay)$ ।

যদি যাই হোক না কেন, আমরা এ জাতীয় এলোমেলো ভেরিয়েবলের উপাদানগুলির লিনিয়ার সংমিশ্রণে আগ্রহী, তবে আমরা ভেরিয়েন্স ম্যাট্রিক্সের জন্য আমাদের সংজ্ঞা আরও জোরদার করতে চাই । আমরা বলতে চাই এবং কেবল যদি সত্য হয় তবে , যাই হোক না কেন আমরা নির্ধারিত সংখ্যা এবং করি না। লক্ষ্য করুন, এটি কেবলমাত্র সংজ্ঞাগুলির চেয়ে শক্তিশালী সংজ্ঞা, যেহেতু আমরা যদি এটি এবং যদি আমরা এটি বলে ।$\le$$V(x) \le V(y)$$V(a_1x_1 + a_2x_2) \le V(a_1y_1 + a_2y_2)$$a_1$$a_2$$a_1=1,a_2=0$$V(x_1) \le V(y_1)$$a_1=0,a_2=1$$V(x_2) \le V(y_2)$

এই দ্বিতীয় সংজ্ঞা, এক যা বলছেন যদি এবং কেবল যদি প্রতি সম্ভব ভেক্টর সংশোধন জন্য , ভ্যারিয়েন্স তুলনা স্বাভাবিক পদ্ধতি ইতিবাচক আধা-নির্দিষ্টতার উপর ভিত্তি করে ম্যাট্রিক্স: সর্বশেষ অভিব্যক্তিটি দেখুন এবং ইতিবাচক আধা-সুনির্দিষ্ট সংজ্ঞাটি দেখুন যে ভেরিয়েন্স ম্যাট্রিক্সের জন্য এর সংজ্ঞাটি সঠিকভাবে নিশ্চয়তার জন্য বেছে নেওয়া হয়েছে যদি এবং কেবল যদি কোন পছন্দ জন্য , অর্থাত্ যখন ইতিবাচক আধা হয় -definite।$V(x) \le V(y)$$V(a'x) \le V(a'y)$$a$

$$\begin{align} V(a'y) - V(a'x) = a'V(x)a - a'V(y)a = a'\left(V(x) - V(y) \right)a \end{align}$$ $\le$$V(x) \le V(y)$$V(a'x) \le V(a'y)$$a$$\left( V(y)-V(x) \right)$

সুতরাং, আপনার প্রশ্নের উত্তর যাতে লোকেরা এতে একটি ভ্যারিয়েন্স ম্যাট্রিক্স হয় একটি ভ্যারিয়েন্স ম্যাট্রিক্স চেয়ে ছোট যদি ইতিবাচক আধা নির্দিষ্ট হয় কারণ তারা অন্তর্নিহিত র্যান্ডম ভেক্টর উপাদানের রৈখিক সমন্বয় ভেরিয়ানস তুলনা আগ্রহী। আপনি যে সংজ্ঞাটি নির্বাচন করেন তা অনুসরণ করে আপনি গণনা করতে আগ্রহী এবং কীভাবে সেই সংজ্ঞা আপনাকে সেই গণনাগুলির সাথে সহায়তা করে।$V$$W$$W-V$