বিপরীত গণনা না করে লিনিয়ার রিগ্রেশন সমস্যার জন্য মান ত্রুটিগুলি গণনা করা

ইনভার্ট করে রৈখিক প্রতিরোধের সমস্যার জন্য স্ট্যান্ডার্ড ত্রুটিগুলি গণনার কি আরও দ্রুত উপায় আছে ? এখানে আমি ধরে নিই যে আমাদের প্রতিরোধ রয়েছে: $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

যেখানে হয় ম্যাট্রিক্স এবং হল ভেক্টর। $X$ $n\times k$ $y$ $n\times 1$

লিস্ট স্কোয়ার খোঁজার সমস্যা সমাধান জন্য এটা দিয়ে কিছু করতে অকার্যকর হয় , আপনি ম্যাট্রিক্স উপর কিউ বা SVD decompositions ব্যবহার করতে পারেন সরাসরি। অথবা বিকল্পভাবে আপনি গ্রেডিয়েন্ট পদ্ধতি ব্যবহার করতে পারেন। কিন্তু স্ট্যান্ডার্ড ত্রুটিগুলি সম্পর্কে কী? আমরা সত্যিই শুধুমাত্র তির্যক প্রয়োজন (আদর্শ ত্রুটি হিসেব নিরূপণ করা এবং স্বাভাবিকভাবেই নির্মিত LS সমাধান )। স্ট্যান্ডার্ড ত্রুটি গণনার জন্য কোনও নির্দিষ্ট পদ্ধতি আছে? $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization

— mpiktas
সূত্র

ধরা যাক আপনি এর একক মানের মান পঁচন (এসভিডি) ব্যবহার করে আপনার সর্বনিম্ন স্কোয়ার সমস্যাটি সমাধান করেছেন $X$

X = U Σ V^{'},

$X = U\Sigma V',$

যেখানে এবং একক হয় এবং হয় তির্যক। $U$ $V$ $\Sigma$

তারপর

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

$(X'X)^{-1}$ $X$

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

(আমি ম্যাথ.এসই সম্পর্কিত একটি প্রশ্নের উত্তর দিয়েছি ।)

$\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

$X'X$ $X$

— জিওফ অক্সবেরি
সূত্র

+1, আমি সেই দুর্দান্ত এসভিডি সম্পত্তিটি ভুলে গিয়েছিলাম। অন্য কোনও উত্তর না

— এলে

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

Σ

$\Sigma$

শেষ মন্তব্যটি উপেক্ষা করুন, সেখানে একটি ত্রুটি রয়েছে। যদিও আমি সঠিক সূত্রটি পেয়েছি।

— এমপিটিকাস