লজিস্টিক রিগ্রেশন জন্য ম্যাট্রিক্স স্বরলিপি

লিনিয়ার রিগ্রেশন (স্কোয়ার লস) এ, ম্যাট্রিক্স ব্যবহার করে আমাদের উদ্দেশ্যটির জন্য খুব সংক্ষিপ্ত স্বরলিপি রয়েছে

minimize ‖ A x - b ‖^{2}

$\text{minimize}~~ \|Ax-b\|^2$

যেখানে $A$ হ'ল ডেটা ম্যাট্রিক্স, $x$ হ'ল সহগুণ, এবং $b$ এর প্রতিক্রিয়া।

লজিস্টিক রিগ্রেশন উদ্দেশ্য জন্য ম্যাট্রিক্স স্বরলিপি আছে কি? আমি যে সমস্ত নোটেশন দেখেছি সেগুলি সমস্ত ডেটা পয়েন্টের সমষ্টি থেকে মুক্তি পেতে পারে না (যেমন $\sum_{\text data} \text{L}_\text{logistic}(y,\beta^Tx)$ )।

সম্পাদনা: জোসরেটপস এবং অ্যাডামোর দুর্দান্ত উত্তরের জন্য ধন্যবাদ। তাদের উত্তর আমাকে বুঝতে সাহায্য করেছিল যে লিনিয়ার রিগ্রেশনটির আরও সংক্ষিপ্ত স্বরলিপি রয়েছে কারণ আদর্শের সংজ্ঞা, যা বর্গক্ষেত্রকে সমষ্টি করে এবং সমষ্টি বা । তবে যৌক্তিক ক্ষতির ক্ষেত্রে এরূপ সংজ্ঞা নেই, যা স্বরলিপিটি কিছুটা জটিল করে তোলে। $e^\top e$

— হাইতাও ডু
সূত্র

উত্তর:

লিনিয়ার রিগ্রেশন-এ অনুমানের জন্য ম্যাক্সিমাইজ সম্ভাবনা অনুমানের (এমএলই) সমাধানের নীচের বদ্ধ ফর্ম সমাধান রয়েছে (ধরে নেওয়া যায় যে ক পুরো কলাম র‌্যাঙ্কযুক্ত একটি ম্যাট্রিক্স): $x$

{\hat{x}}_{lin} = \underset{x}{argmin} ‖ A x - b ‖_{2}^{2} = (A^{T} A)^{- 1} A^{T} b

$\hat{x}_\text{lin}=\underset{x}{\text{argmin}} \|Ax-b\|_2^2 = (A^TA)^{-1}A^Tb$

এটি " যা উদ্দেশ্যমূলক কার্যটি ন্যূনতম করে, " হিসাবে পড়ে। লিনিয়ার রিগ্রেশন অবজেক্টিভ ফাংশনটিকে এভাবে উপস্থাপন করার জন্য দুর্দান্ত জিনিসটি হ'ল আমরা ম্যাট্রিক্স স্বরলিপিতে সবকিছু রাখতে পারি এবং হাতে । সমাধান করতে পারি। অ্যালেক্স আর যেমন উল্লেখ করেছেন, বাস্তবে আমরা প্রায়শই consider সরাসরি বিবেচনা করি না কারণ এটি গণনাগতভাবে অদক্ষ এবং প্রায়শই পুরো র‌্যাঙ্কের মানদণ্ড পূরণ করে না। পরিবর্তে, আমরা মুর-পেনরোজ সিউডোইনভার্সের দিকে ঘুরে দেখি । সিউডো-ইনভার্সের জন্য গণ্য সমাধানের বিবরণে কোলেস্কি পচন বা একক মানের পচন জড়িত থাকতে পারে। $x$ $\|Ax-b\|_2^2$ $\hat{x}_\text{lin}$ $(A^TA)^{-1}$ $A$

বিকল্পভাবে, লজিস্টিক রিগ্রেশন মধ্যে সহগের অনুমানের জন্য এমএলই সমাধানটি হ'ল:

{\hat{x}}_{log} = \underset{x}{argmin} \sum_{i = 1}^{N} y^{(i)} \log (1 + e^{- x^{T} a^{(i)}}) + (1 - y^{(i)}) \log (1 + e^{x^{T} a^{(i)}})

$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \sum_{i=1}^{N} y^{(i)}\log(1+e^{-x^Ta^{(i)}}) + (1-y^{(i)})\log(1+e^{x^T a^{(i)}})$

যেখানে (উপাত্তের প্রতিটি নমুনা সারি অনুসারে সংরক্ষণ করা হয়):

$x$ একটি ভেক্টর হ'ল রিগ্রেশন সহগকে উপস্থাপন করে

$a^{(i)}$ একটি ভেক্টর প্রতিনিধিত্ব করে নমুনা / ডাটা ম্যাট্রিক্স মধ্যে সারি $i^{th}$ $A$

$y^{(i)}$ হল , এবং নমুনার সাথে সম্পর্কিত লেবেলের একটি স্কেলার $\{0, 1\}$ $i^{th}$ $i^{th}$

$N$ হ'ল ডেটা ম্যাট্রিক্স তে ডেটা নমুনার সংখ্যা / সারিগুলির সংখ্যা । $A$

আবার, এটি " উদ্দেশ্য ফাংশনকে ন্যূনতম করে দেয় এমন সন্ধান করুন" হিসাবে পড়া হয় । $x$

আপনি যদি চান, আপনি এটি আরও একধাপ এগিয়ে নিয়ে যেতে পারেন এবং ম্যাট্রিক্স নোটেশনে represent উপস্থাপন করতে পারেন : $\hat{x}_\text{log}$

{\hat{x}}_{log} = \underset{x}{argmin} [\begin{matrix} 1 & (1 - y^{(1)}) \\ ⋮ & ⋮ \\ 1 & (1 - y^{(N)}) \end{matrix}] [\begin{matrix} \log (1 + e^{- x^{T} a^{(1)}}) & . . . & \log (1 + e^{- x^{T} a^{(N)}}) \\ \log (1 + e^{x^{T} a^{(1)}}) & . . . & \log (1 + e^{x^{T} a^{(N)}}) \end{matrix}]

$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \begin{bmatrix} 1 & (1-y^{(1)}) \\ \vdots & \vdots \\ 1 & (1-y^{(N)})\\\end{bmatrix} \begin{bmatrix} \log(1+e^{-x^Ta^{(1)}}) & ... & \log(1+e^{-x^Ta^{(N)}}) \\\log(1+e^{x^Ta^{(1)}}) & ... & \log(1+e^{x^Ta^{(N)}}) \end{bmatrix}$

তবে আপনি এটি করে কিছু লাভ করবেন না। লজিস্টিক রিগ্রেশনটির কোনও বন্ধ ফর্ম সমাধান নেই এবং ম্যাট্রিক্স স্বরলিপিতে এটির প্রতিনিধিত্ব করে লিনিয়ার রিগ্রেশনের মতো একই সুবিধা পাওয়া যায় না। জন্য অনুমানের কৌশলগুলি যেমন গ্রেডিয়েন্ট বংশদ্ভুত এবং নিউটন-রাফসন পদ্ধতি ব্যবহৃত হয়। এর মধ্যে কয়েকটি কৌশল (যেমন নিউটন-র‌্যাফসন) ব্যবহার করে আনুমানিক হয় এবং ম্যাট্রিক্স স্বরলিপিতে উপস্থাপিত হয় ( অ্যালেক্স আর এর সরবরাহিত লিঙ্কটি দেখুন )। $\hat{x}_\text{log}$ $\hat{x}_\text{log}$

— joceratops
সূত্র

গ্রেট। ধন্যবাদ। আমি মনে করি যে আমাদের কাছে কিছু নেই তার কারণ আমরা ম্যাট্রিক্স স্বরলিপি তৈরি করতে এবং যোগফলের প্রতীক এড়াতে সেই পদক্ষেপটি আরও গ্রহণ করি না।

A^{⊤} A x = A^{⊤} b

$A^\top A x=A^\top b$

— হাইতাও ডু

আমাদের আরও একধাপ এগিয়ে নিয়ে যাওয়ার কিছু সুবিধা আছে, এটিকে ম্যাট্রিক্সের গুণায় করা কোডটি সহজতর করে তুলবে এবং ম্যাটল্যাবের মতো অনেক প্ল্যাটফর্মে যেমন সমস্ত ডেটার সমষ্টি সহ লুপ থাকে, ম্যাট্রিক্স অপারেশনের চেয়ে অনেক ধীর হয়।

— হাইটাও ডু

@ hxd1011: কেবলমাত্র একটি ছোট্ট মন্তব্য: ম্যাট্রিক্স সমীকরণ হ্রাস করা সর্বদা বুদ্ধিমানের কাজ নয়। ক্ষেত্রে

, আপনি আসলে বিপরীত ম্যাট্রিক্স খুঁজছেন না চেষ্টা করা উচিত

A^{T} A x = A^{T} b

$A^TAx=A^Tb$

, বরং যা অনেক দ্রুত এবং আরো সংখ্যাসূচকভাবে স্থিতিশীল হবে একটি Cholesky পচানি মত কিছু করতে। লজিস্টিক রিগ্রেশনের জন্য, বিভিন্ন পুনরাবৃত্তি স্কিমগুলির একটি গুচ্ছ রয়েছে যা প্রকৃতপক্ষে ম্যাট্রিক্স গণনা ব্যবহার করে। একটি দুর্দান্ত পর্যালোচনার জন্য এখানে দেখুন:গবেষণা

A^{T} A

$A^TA$

— .

@AlexR। আপনাকে অনেক ধন্যবাদ. আমি শিখেছি যে সাধারণ সমীকরণ ব্যবহার করা ম্যাট্রিক্স শর্তসাপেক্ষ নম্বরটি বর্গাকার করে তুলবে। এবং কিউআর বা কোলেস্কি আরও ভাল হবে। আপনার লিঙ্কটি দুর্দান্ত, সংখ্যাগত পদ্ধতির সাথে এ জাতীয় পর্যালোচনা সর্বদা আমি যা চাই তা তাই।

— হাইটাও ডু

@ জোসেআরটোপস উত্তর অনুমানের সর্বাধিক সম্ভাবনার অনুকূলিতকরণ সমস্যার দিকে দৃষ্টি নিবদ্ধ করে। এটি প্রকৃতপক্ষে একটি নমনীয় পন্থা যা বিভিন্ন ধরণের সমস্যার জন্য উপযুক্ত men লিনিয়ার এবং লজিস্টিক রিগ্রেশন মডেল সহ বেশিরভাগ মডেল অনুমানের জন্য, আরও একটি সাধারণ পন্থা রয়েছে যা মুহুর্তের অনুমানের পদ্ধতির উপর ভিত্তি করে is

লিনিয়ার রিগ্রেশন অনুমানকারীকে অনুমানের সমীকরণের মূল হিসাবেও তৈরি করা যেতে পারে:

0 = X^{T} (Y - X β)

$0 = \mathbf{X}^T(Y - \mathbf{X}\beta)$

এই ক্ষেত্রে এমন মান হিসাবে দেখা যায় যা 0 এর গড় অবশিষ্টাংশ পুনরুদ্ধার করে this এটি ব্যাখ্যা করার জন্য এটি কোনও অন্তর্নিহিত সম্ভাবনার মডেলের উপর নির্ভর করতে হবে না। তবে, সাধারণ সম্ভাবনার জন্য স্কোর সমীকরণগুলি অর্জন করা আকর্ষণীয়, আপনি দেখতে পাবেন যে তারা উপরে প্রদর্শিত ফর্মটি ঠিক গ্রহণ করে। রৈখিক মডেল (যেমন লিনিয়ার বা লজিস্টিক রিগ্রেশন) এর জন্য নিয়মিত তাত্পর্যপূর্ণ পরিবারের সম্ভাবনা সর্বাধিক করা তাদের স্কোর সমীকরণের সমাধান পাওয়ার সমতুল্য। $\beta$

0 = \sum_{i = 1}^{n} S_{i} (α, β) = \frac{\partial}{\partial β} \log L (β, α, X, Y) = X^{T} (Y - g (X β))

$0 = \sum_{i=1}^n S_i(\alpha, \beta) = \frac{\partial}{\partial \beta} \log \mathcal{L}( \beta, \alpha, X, Y) = \mathbf{X}^T (Y - g(\mathbf{X}\beta))$

যেখানে প্রত্যাশিত মান । জিএলএম অনুমানে, একটি লিঙ্ক ফাংশনের বিপরীত বলে মনে হয়। স্বাভাবিক সম্ভাবনা সমীকরণ ইন, পরিচয় ফাংশন, এবং লজিস্টিক রিগ্রেশনে logit ফাংশন। আরও সাধারণ পদ্ধতির জন্য যা মডেলকে ভুল বানানের অনুমতি দেয়। $Y_i$ $g(\mathbf{X}_i \beta)$ $g$ $g^{-1}$ $g^{-1}$ $0 = \sum_{i=1}^n Y - g(\mathbf{X}_i\beta)$

অতিরিক্তভাবে, এটি লক্ষ্য করা আকর্ষণীয় যে নিয়মিত তাত্পর্যপূর্ণ পরিবারগুলির জন্য, যা একটি গড়-ভিন্নতা সম্পর্ক বলা হয়। প্রকৃতপক্ষে লজিস্টিক রিগ্রেশন জন্য, গড় ভ্যারিয়েন্স সম্পর্ক মানে যেমন হয়ভ্যারিয়েন্স দ্বারা সম্পর্কযুক্ত $\frac{\partial g(\mathbf{X}\beta)}{\partial \beta} = \mathbf{V}(g(\mathbf{X}\beta))$ $p = g(\mathbf{X}\beta)$ $\mbox{var}(Y_i) = p_i(1-p_i)$ । এটি একটি মডেলকে ভুল বানানযুক্ত জিএলএম এর ব্যাখ্যা হিসাবে পরামর্শ দেয় যা একটি 0 পিয়ারসনকে গড় দেয়। এটি আরও আনুপাতিক ক্রিয়ামূলক গড় ডেরিভেটিভস এবং গড়-বৈকল্পিক সম্পর্কের মঞ্জুরি দেওয়ার জন্য একটি সাধারণীকরণের পরামর্শ দেয়।

একটি সাধারণীকরণ অনুমান সমীকরণ পদ্ধতির নিম্নলিখিত পদ্ধতিতে রৈখিক মডেল নির্দিষ্ট করা হবে:

0 = \frac{\partial g (X β)}{\partial β} V^{- 1} (Y - g (X β))

$0 = \frac{\partial g(\mathbf{X}\beta)}{\partial \beta} \mathbf{V}^{-1}\left(Y - g(\mathbf{X}\beta)\right)$

দিয়ে প্রদত্ত লাগানো মান (গড়) এর উপর ভিত্তি করে বৈচিত্রের একটি ম্যাট্রিক্স । অনুমানের এই পদ্ধতির মাধ্যমে একজনকে একটি লিঙ্ক ফাংশন বাছাই করতে এবং জিএলএমগুলির সাথে বৈচিত্রের সম্পর্ক বোঝাতে দেয়। $\mathbf{V}$ $g(\mathbf{X}\beta)$

লজিস্টিক রিগ্রেশনে বিপরীত logit হবে এবং দ্বারা দেওয়া হবে । নিউটন-রাফসন দ্বারা প্রাপ্ত এই অনুমানের সমীকরণের সমাধানগুলি লজিস্টিক রিগ্রেশন থেকে প্রাপ্ত করবে । তবে মডেলগুলির কিছুটা বিস্তৃত শ্রেণি একই ধরণের কাঠামোর অধীনে অনুমানযোগ্য। উদাহরণস্বরূপ, লিঙ্ক ফাংশনটি লিনিয়ার প্রেডিক্টরের লগ হিসাবে নেওয়া যেতে পারে যাতে রিগ্রেশন কো-কোটিফিয়েন্টগুলি তুলনামূলক ঝুঁকিপূর্ণ এবং প্রতিকূল অনুপাত নয় $g$ $V_{ii}$ $g(\mathbf{X}_i \beta)(1-g(\mathbf{X}\beta))$ $\beta$ । কোনটি - ওআরএসকে আরআর হিসাবে ব্যাখ্যা করার ভাল নথিভুক্ত সমস্যাগুলি দেওয়া হয়েছে - কেন কেউ লজিস্টিক রিগ্রেশন মডেলগুলিতে মোটেও ফিট করে না তা জিজ্ঞাসা করতে আমার প্রশংসা করে।

— Adamo
সূত্র

+1 দুর্দান্ত উত্তর। এটিকে সূচনা হিসাবে ডেরাইভেটিভের উপর ভিত্তি করে আবিষ্কার করা আমার পক্ষে সত্যিই নতুন। এবং দ্বিতীয় সমীকরণটি আসলেই সংক্ষিপ্ত।

— হাইটাও ডু