আন্ডারডিটারিনাইমড সিস্টেমগুলির জন্য নুমপি কীভাবে ন্যূনতম স্কোয়ারগুলি সমাধান করে?

ধরা যাক যে আমাদের আকৃতির X (2, 5)
এবং আকারের y (2,) রয়েছে

এইটা কাজ করে: np.linalg.lstsq(X, y)

আমরা কেবলমাত্র এক্সটি আকৃতির (এন, 5) যেখানে এন> = 5 তবে কেন এবং কীভাবে এটি কাজ করবে তা আশা করব?

আমরা প্রত্যাশা অনুযায়ী 5 ওজন ফিরে পাই তবে এই সমস্যাটি কীভাবে সমাধান করা যায়?

আমাদের মতো 2 টি সমীকরণ এবং 5 টি অজানা রয়েছে তা কি নয়?
কীভাবে নাম্বার সমাধান করতে পারে?
আরও কৃত্রিম সমীকরণ তৈরি করার জন্য এটি অবশ্যই দ্রবীকরণের মতো কিছু করতে হবে? ..

least-squares linear-algebra numpy

— জর্জ প্লিগোরোপুল্লোস
সূত্র

কেন এটি কাজ করা উচিত নয়? একটি নির্ধারিত সিস্টেমে অনেকগুলি সমাধান রয়েছে।

— ম্যাথিউ গন

আপনার কি প্রাসঙ্গিক তত্ত্বের কোনও লিঙ্ক থাকতে পারে? ..

— জর্জ প্লিগোরোপল্লোস

সম্পর্কিত: stackoverflow.com/questions/46879411/...

— Pinocchio

আমার উপলব্ধিটি হল যে numpy.linalg.lstsq LAPACK রুটিন dgelsd এর উপর নির্ভর করে ।

সমস্যাটি হ'ল:

minimize (over x) ‖ A x - b ‖_{2}

$\text{minimize} (\text{over} \; \mathbf{x}) \quad \| A\mathbf{x} - \mathbf{b} \|_2$

অবশ্যই, এই একটি নেই অনন্য একটি ম্যাট্রিক্স একটি যার সমাধান র্যাঙ্ক ভেক্টরের দৈর্ঘ্য কম । একটি নির্ধারিত সিস্টেমের ক্ষেত্রে, একটি সমাধান সরবরাহ করে যেমন: $\mathbf{b}$ dgelsd $\mathbf{z}$

$A\mathbf{z} = \mathbf{b}$
$\| \mathbf{z} \|_2 \leq \|\mathbf{x} \|_2$ সবার জন্য যে সন্তুষ্ট । (যেমন নির্ধারিত সিস্টেমের সর্বনিম্ন আদর্শ সমাধান। $\mathbf{x}$ $A\mathbf{x} = \mathbf{b}$ $\mathbf{z}$

উদাহরণস্বরূপ, সিস্টেমটি যদি numpy.linalg.lstsq ফিরে আসবে । $x + y = 1$ $x = .5, y = .5$

ডিজেলসডি কীভাবে কাজ করে?

রুটিনটি dgelsdএ এর একক মানের পচন (এসভিডি) গণনা করে

আমি কেবল একটি রৈখিক সিস্টেম সমাধান করার জন্য একটি এসভিডি ব্যবহার করার পিছনে ধারণাটি স্কেচ করব। একবচন মান পচানি একটি গুণকনির্ণয় হয় যেখানে এবং লম্ব ম্যাট্রিক্স এবং একটি তির্যক ম্যাট্রিক্স যেখানে তির্যক এন্ট্রি একবচন মান হিসাবে পরিচিত হয়। $U \Sigma V' = A$ $U$ $V$ $\Sigma$

ম্যাট্রিক্স এর কার্যকর র‌্যাঙ্কটি এমন একক মানের সংখ্যা হবে যা কার্যকরভাবে শূন্য নয় (অর্থাত্ যন্ত্রের যথার্থতার সাথে শূন্যের তুলনায় যথেষ্ট আলাদা ...)। যাক নন-জিরো একবচন মূল্যবোধের তির্যক ম্যাট্রিক্স হও। এসভিডি এইভাবে: $A$ $S$

A = U [\begin{matrix} S & 0 \\ 0 & 0 \end{matrix}] V^{'}

$A = U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V'$

সিউডো-বিপরীত এর দেওয়া হয়: $A$

A^{†} = V [\begin{matrix} S^{- 1} & 0 \\ 0 & 0 \end{matrix}] U^{'}

$A^\dagger = V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U'$

বিবেচনা করুন সমাধান । তারপর: $\mathbf{x} = A^\dagger \mathbf{b}$

\begin{aligned} A x - b & = U [\begin{matrix} S & 0 \\ 0 & 0 \end{matrix}] V^{'} V [\begin{matrix} S^{- 1} & 0 \\ 0 & 0 \end{matrix}] U^{'} b - b \\ = U [\begin{matrix} I & 0 \\ 0 & 0 \end{matrix}] U^{'} b - b \end{aligned}

$\begin{align*} A\mathbf{x} - \mathbf{b} &= U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V' V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b} \\ &= U \begin{bmatrix} I & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b}\\ \end{align*}$

মূলত এখানে দুটি মামলা রয়েছে:

নন-জিরো একবচন মান রয়েছে তা গণনা (অর্থাত ম্যাট্রিক্স আকার ) দৈর্ঘ্য কম । এখানে সমাধান সঠিক হবে না; আমরা লিনিয়ার সিস্টেমটি ন্যূনতম স্কোয়ার অর্থে সমাধান করব। $I$ $\mathbf{b}$
$A\mathbf{x} - \mathbf{b} = \mathbf{0}$

এই শেষ অংশ একটু চতুর ... ম্যাট্রিক্স মাত্রা এবং ব্যবহার ট্র্যাক রাখতে যে প্রয়োজন একটি লম্ব ম্যাট্রিক্স হয়। $U$

সিউডো-ইনভার্সের সমতুল্যতা

যখন এর রৈখিক স্বতন্ত্র সারি থাকে, (উদাহরণস্বরূপ আমাদের ফ্যাট ম্যাট্রিক্স থাকে), তারপরে: $A$

A^{†} = A^{'} {(A A^{'})}^{- 1}

$A^\dagger = A'\left(AA' \right)^{-1}$

একটি নির্ধারিত সিস্টেমের জন্য, আপনি দেখিয়ে দিতে পারেন যে সিউডো-ইনভার্স আপনাকে ন্যূনতম আদর্শ সমাধান দেয়।

যখন এর রৈখিক স্বতন্ত্র কলামগুলি থাকে (যেমন: আমাদের একটি চর্মসার ম্যাট্রিক্স রয়েছে), তারপরে: $A$

A^{†} = {(A^{'} A)}^{- 1} A^{'}

$A^\dagger = \left(A'A \right)^{-1}A'$

— ম্যাথু গন
সূত্র

ডিজেলএসডি এসভিডি ব্যবহার করে তবে আর এলএম কিউআর ব্যবহার করে?

— হাইটাও ডু

@ hxd1011R এর lmডিফল্ট হিসাবে কিউআর ফ্যাক্টরিয়েশন ব্যবহার করে তবে আপনি বিকল্পগুলি নির্দিষ্ট করতে পারেন।

— সাইকোরাক্স মনিকাকে