একটি সাধারণ সমীকরণ প্রমাণ সম্পর্কে প্রশ্ন

আপনি কীভাবে প্রমাণ করতে পারেন যে সাধারণ সমীকরণ: বা অবিশ্বাস্য ধারণা ব্যতীত এক বা একাধিক সমাধান রয়েছে? $(X^TX)\beta = X^TY$

আমার একমাত্র অনুমান যে এটির সাধারণীকরণ বিপরীতে কিছু করার আছে তবে আমি সম্পূর্ণ হারিয়ে ফেলেছি।

regression proof

— ryati
সূত্র

আপনি এমন প্রশ্ন জিজ্ঞাসা করে পয়েন্ট অর্জন করেছেন যা আশ্চর্যজনক উত্তরগুলিকে উস্কে দেয়।

— নিকানা রেকলাভিক্স

এক গ্লিব হতে প্রলোভিত হয় এবং এটি নির্দেশ করে যে কারণ চতুর্ভুজ রূপ

β \to (Y - X β)^{'} (Y - X β)

$\beta \to (Y - X\beta)'(Y - X\beta)$

হয় ইতিবাচক আধা নির্দিষ্ট, একটি বিদ্যমান যার জন্য ন্যূনতম আছে (সম্মান সঙ্গে গ্রেডিয়েন্ট সেটিং দ্বারা এবং যে ন্যূনতম পাওয়া যায় স্বাভাবিক সমীকরণ দিয়ে শুন্যতে) $\beta$ $\beta$

X^{'} X (Y - X β) = 0,

$X'X(Y - X\beta) = 0,$

যেহেতু এর নির্বিশেষে কমপক্ষে একটি সমাধান থাকতে হবে $X'X$ । যাইহোক, এই যুক্তি প্রশ্নের উদ্বেগের মধ্যে বলে মনে হয় না, যা খাঁটি বীজগণিত বিবৃতি বলে মনে হয়। এই জাতীয় সমীকরণের সমাধান থাকতে হবে এবং সঠিকভাবে কী পরিস্থিতিতে তা অবশ্যই বুঝতে আগ্রহী। সুতরাং আসুন শুরু করা যাক এবং ভান করি আমরা কমপক্ষে স্কোয়ারগুলির সাথে সংযোগটি জানি না।

এটা সব অর্থ আসে নিচে , এর TRANSPOSE । এটি একটি সাধারণ সংজ্ঞা, যথাযথ স্বরলিপি এবং একটি অপ্রাপ্তবয়স্ক স্বতঃস্ফূর্ত ফর্মের ধারণা হিসাবে পরিণত হবে । স্মরণ করুন যে হ'ল সারিগুলির "ডিজাইন ম্যাট্রিক্স" (প্রতিটি পর্যবেক্ষণের জন্য একটি) এবং কলাম (প্রতিটি ভেরিয়েবলের জন্য একটি, যদি ধ্রুবক থাকে তবে)। সুতরাং এটি ভেক্টর স্পেস থেকে রৈখিক রূপান্তর উপস্থাপন করে । $X'$ $X$ $X$ $n$ $p$ $\mathbb V = \mathbb{R}^p$ $\mathbb W = \mathbb{R}^n$

এর TRANSPOSE , চিন্তার হিসেবে রৈখিক রূপান্তর , একটি রৈখিক রূপান্তর হয় দ্বৈত স্পেস । অর্ডার মত একটি রচনা জানার জন্য , তারপর, এটা প্রয়োজনীয় চিহ্নিত হয় সঙ্গে । সাধারণত অভ্যন্তরীণ পণ্য (বর্গের যোগফল) তা করে। $X$ $X': \mathbb{W}^* \to \mathbb{V}^*$ $X'X$ $\mathbb{W}^*$ $\mathbb{W}$ $\mathbb{W}$

যথাক্রমে এবং সংজ্ঞায়িত দুটি অভ্যন্তরীণ পণ্য রয়েছে এবং । এগুলি হ'ল আসল-মূল্যবান বিলিনিয়ার প্রতিসম ফাংশন যা অ-হ্রাসপ্রাপ্ত । পরেরটির অর্থ $g_V$ $g_W$ $\mathbb V$ $\mathbb W$

g_{W} (u, v) = 0 \forall u \in W ⟹ v = 0,

$g_W(u, v) = 0\ \forall u\in \mathbb W \implies v = 0,$

জন্য অনুরূপ বিবৃতি সহ । জ্যামিতিকভাবে, এই অভ্যন্তরীণ পণ্যগুলি আমাদের দৈর্ঘ্য এবং কোণ পরিমাপ করতে সক্ষম করে। শর্ত কে "লম্ব" হিসাবে হিসাবে ভাবতে পারেন । অপ্রাপ্তবয়স্কতার অর্থ হ'ল কেবল শূন্য ভেক্টর পুরো ভেক্টরের জায়গার জন্য লম্ব। (এই সাধারণত্ব মানে যে এখানে প্রাপ্ত ফলাফল প্রয়োগ করা হবে সাধারণ লিস্ট স্কোয়ার সেটিং, যার জন্য অগত্যা উপাদান গুণফলের সমষ্টি হিসেবে দেওয়া স্বাভাবিক ভেতরের পণ্য নয়, কিন্তু কিছু নির্বিচারে nondegenerate ফর্ম। আমরা সঙ্গে প্রয়োগ করতে পারে $g_V$ $g(u,v)=0$ $u$ $v$ $g_W$ পুরাপুরি, সংজ্ঞা , কিন্তু আমি অনেক পাঠক অপরিচিত বা দ্বৈত ব্যবধান সহ অস্বস্তিকর হতে এবং তাই এই সূত্র এড়াতে চয়ন আশা)। $g_V$ $X':\mathbb W\to\mathbb V^*$

এই অভ্যন্তরীণ পণ্যগুলি হাতে নিয়ে, যে কোনও রৈখিক রূপান্তর দ্বারা মাধ্যমে সংজ্ঞায়িত করা হয়েছে $X: \mathbb V \to \mathbb W$ $X': \mathbb W \to \mathbb V$

g_{V} (X^{'} (w), v) = g_{W} (w, X (v))

$g_V(X'(w), v) = g_W(w, X(v))$

সব জন্য এবং । সেখানে আসলে একটি ভেক্টর বিদ্যমান এই সম্পত্তি জন্য ভিত্তির আউট জিনিস লিখে স্থাপন করা যেতে পারে সঙ্গে এবং ; এই ভেক্টরটি অভ্যন্তরীণ পণ্যগুলির অ-অবক্ষয় থেকে অনন্য অনুসরণ করে। কারণ যদি এবং দুটি ভেক্টর যার জন্য $w\in \mathbb W$ $v\in \mathbb V$ $X'(w) \in \mathbb V$ $\mathbb V$ $\mathbb W$ $v_1$ $v_2$ সমস্ত , তারপরে (প্রথম উপাদানটির লিনিয়ারিটি থেকে) জন্য সমস্ত বোঝাতে । $g_V(v_1,v)=g_V(v_2,v)$ $v\in\mathbb V$ $g_V(v_1-v_2,v)=0$ $v$ $v_1-v_2=0$

যখন লেখ প্রতিটি ভেক্টর ঋজু সব ভেক্টর সেট । এছাড়াও স্বরলিপি, লেখার একটি বিষয় হিসাবে ভাবমূর্তি জন্য , সেট হতে সংজ্ঞায়িত । একটি মৌলিক সম্পর্ক মধ্যে এবং তার TRANSPOSE হয় $\mathbb U \subset \mathbb W,$ $\mathbb{U}^\perp$ $\mathbb U$ $X(\mathbb V)$ $X$ $\{X(v) | v \in \mathbb V\} \subset \mathbb W$ $X$ $X'$

X^{'} (w) = 0 ⟺ w \in X (V)^{⊥} .

$X'(w) = 0 \iff w \in X(\mathbb V)^\perp.$

অর্থাৎ এর কার্নেল রয়েছে যদি এবং কেবল যদি প্রতিমূর্তির ঋজু হয় । $w$ $X'$ $w$ $X$ এই দাবী দুটি জিনিস বলে:

$X'(w) = 0$ $g_W(w, X(v)) = g_V(X'(w),v) = g_V(0,v)=0$ $v\in\mathbb V$ $w$ $X(V)$
$w$ $X(\mathbb V)$ $g_W(w, X(v)) = 0$ $v\in\mathbb V$ $g_V(X'(w), v) = 0$ $g_V$ $X'(w)=0$

$\mathbb W$ $\mathbb W = X(\mathbb V) \oplus X(\mathbb V)^\perp$ $y \in \mathbb W$ $y = y_0 + y^\perp$ $y_0\in X(\mathbb V)$ $y^\perp \in X(\mathbb V)^\perp$ $y_0$ $X(\beta)$ $\beta\in\mathbb V$

y - X β = (y_{0} + y^{⊥}) - y_{0} = y^{⊥} \in X (V)^{⊥}

$y - X\beta = (y_0 + y^\perp) - y_0 = y^\perp \in X(\mathbb V)^\perp$

$X'$

X^{'} (y - X β) = 0,

$X'(y - X\beta) = 0,$

$\beta$ $X'X\beta = X'y.$

$n$ $y\in\mathbb W$ $y_0$ $X$ $y^\perp$ $y_0$ $y_0$ $p$ $\beta\in\mathbb V$ $X(\mathbb V)$ $X$ $X$ $\mathbb V$ $\mathbb W$

$\mathbb V$ $\mathbb U = X(\mathbb V)\subset\mathbb W$ $X$ $\mathbb U$

এই বিমূর্ত বীজগণিত বিক্ষোভের একটি আকর্ষণীয় ফলাফল হ'ল আমরা নির্বিচারে ভেক্টর স্পেসগুলিতে সাধারণ সমীকরণগুলি সমাধান করতে পারি। ফলাফলটি জটিল স্থানগুলির জন্য, সীমাবদ্ধ ক্ষেত্রগুলির জন্য ফাঁকা জায়গাগুলির জন্য (যেখানে বর্গক্ষেত্রের পরিমাণকে হ্রাস করা কিছুটা অর্থবোধ করে না) ধরে রাখে, এবং এমনকি উপযুক্ত সিকিলিনিয়ার ফর্মগুলিকে সমর্থন করে এমন অসীম-মাত্রিক স্থানও ধরে রাখে।

— whuber
সূত্র

এই উত্তরটি আমার কাছে গ্রহণ করার মতো প্রতিনিধি আমার কাছে কখনও ছিল না। আমি এই পিছনে হোঁচট খেয়েছি এবং আবার আপনাকে ধন্যবাদ দিতে চাই!

— রায়তি

β \mapsto (Y - X β)^{'} (Y - X β)

$\beta \mapsto (Y - X\beta)'(Y - X\beta)$

β \to (Y - X β)^{'} (Y - X β),

$\beta \to (Y - X\beta)'(Y - X\beta),$

f : A \to B .

$f:A\to B. \qquad$

— মাইকেল হার্ডি

@ মিশেল আপনার মন্তব্যে একটি টাইপোগ্রাফিক ত্রুটি থাকতে হবে। আপনি কী বোঝাতে চেয়েছেন তা বোঝাতে আপত্তি করবেন?

— whuber

“ \mapsto''

$\text{“}\mapsto\text{''}$

“ \to''

$\text{“}\to\text{''}$

$\qquad$

— মাইকেল হার্ডি

@ মিশেল অনেকগুলি পড়া সত্ত্বেও, এই পার্থক্যটি না দেখার জন্য আমাকে ক্ষমা করুন। নির্বিশেষে, আমার কাছে প্রথম তীরটি ইনজেকশন ফাংশনকে বোঝায় যেখানে দ্বিতীয়টি কোনও ফাংশনকে বোঝায়, তবে আমি সন্দেহ করি এটি আপনার উদ্দেশ্য নয় not আপনার স্বরলিপিটি ব্যাখ্যা করতে আপনি কি আপত্তি করবেন?

— whuber

$n$ $X^T X$ $x$ $x_i=x$ $y$ $\overline{y}$

— Lucozade
সূত্র

X = [1 x_{1}; 1 x_{2}; \dots; 1 x_{n}]

$X=[1 ~x_1; 1 ~x_2; \ldots; 1 ~x_n]$

X = [1 x_{11} \dots x_{m 1}; \dots; 1 x_{1 n} \dots x_{m n}]

$X=[1 ~x_{11} \ldots x_{m1}; \ldots; 1 ~x_{1n} \ldots x_{mn}]$

X^{'} X

$X'X$

টিপিক্যাল রিগ্রেশনে এক্স চর্মসার এবং তাই অবশ্যই অবিচ্ছিন্ন নয় (যদিও এটি অবিচ্ছিন্ন ছেড়ে যেতে পারে।) এটি প্রমাণ করা সোজা (যদি আপনাকে সাহায্যের দরকার হয় তবে জিজ্ঞাসা করুন) যে যদি এক্স চর্মসার এবং অবিচ্ছিন্ন বাম হয় তবে এক্স ^ টি * এক্স বিভাজ্য। এই ক্ষেত্রে, তারপরে ঠিক একটি সমাধান হবে। এবং যদি এক্স এর পূর্ণ কলামের র‌্যাঙ্ক না থাকে তবে এক্স ^ টি * এক্স পূর্ণ পদমর্যাদার হবে না এবং তাই আপনার একটি নিম্ন নির্ধারিত সিস্টেম থাকবে।

— user542833
সূত্র

X^{'} X

$X'X$

X

$X$

0 β = 0

$0\beta=0$

β

$\beta$

হুঁশিয়ার: অবশ্যই তারা প্রশ্নটিকে সম্বোধন করে: এক্স পূর্ণ কলাম র‌্যাঙ্ক হলে একমাত্র দ্রাবক (যেমন আমি উল্লেখ করেছি), এবং যদি এটি একটি

— অনির্ধারিত

সিস্টেমটি "সুনির্দিষ্টভাবে নির্ধারিত" এই বিষয়টি বোঝায় না যে এর কোনও সমাধান রয়েছে। প্রশ্নটি সমাধানের অস্তিত্ব সম্পর্কে।

— শুক্রবার