রিগ্রেশন এবং লিনিয়ার বৈষম্যমূলক বিশ্লেষণের (এলডিএ) মধ্যে সম্পর্ক কী?

24

রিগ্রেশন এবং লিনিয়ার বৈষম্যমূলক বিশ্লেষণ (এলডিএ) এর মধ্যে কি সম্পর্ক রয়েছে? তাদের মিল এবং পার্থক্য কি? দুটি ক্লাস বা দুটি ক্লাসের বেশি হলে কী কোনও পার্থক্য রয়েছে?

— zca0
সূত্র

3

পাঠকের জন্য একটি নোট: প্রশ্নটি অস্পষ্ট, এটি লজিস্টিক রিগ্রেশন বা লিনিয়ার রিগ্রেশন সম্পর্কে জিজ্ঞাসা হিসাবে বোঝা যায় । ওপি উভয় দিক নিয়েই আগ্রহী বলে মনে হচ্ছে (মন্তব্য দেখুন)। গৃহীত উত্তরগুলি লিনিয়ার রিগ্রেশন সম্পর্কিত, তবে কিছু অন্যান্য উত্তর পরিবর্তে লজিস্টিক রিগ্রেশনকে কেন্দ্র করে।

— অ্যামিবা বলছেন মনিকাকে

20

আমি এটি গ্রহণ করি যে প্রশ্নটি এলডিএ এবং লিনিয়ার (লজিস্টিক নয়) রিগ্রেশন সম্পর্কিত।

লিনিয়ার রিগ্রেশন এবং লিনিয়ার বৈষম্যমূলক বিশ্লেষণের মধ্যে একটি যথেষ্ট এবং অর্থপূর্ণ সম্পর্ক রয়েছে । যদি নির্ভরশীল ভেরিয়েবল (ডিভি) মাত্র 2 টি গ্রুপ নিয়ে থাকে তবে দুটি বিশ্লেষণ আসলে অভিন্ন। তবুও গণনা পৃথক এবং ফলাফল - প্রতিরোধ এবং বৈষম্যমূলক সহগ - এক নয়, তারা একে অপরের সাথে সমানুপাতিক ।

এখন আরও দ্বি-গ্রুপ পরিস্থিতি। প্রথমে আমাদের উল্লেখ করুন যে এলডিএ (এর উত্সকরণ, শ্রেণিবিন্যাসের পর্যায়ে নয়) প্রচ্ছন্ন পারস্পরিক সম্পর্ক বিশ্লেষণের সমতুল্য (রৈখিকভাবে সম্পর্কিত ফলাফল) হয় যদি আপনি গ্রুপিং ডিভিটিকে ডামি ভেরিয়েবলের একটি সেট (তাদের মধ্যে একটি অপ্রয়োজনীয় বাদ দিয়ে) পরিণত করেন এবং ক্যানোনিকাল করেন "IVs" এবং "ডামি" সেট বিশ্লেষণ। Canonical "IVs" সেট পাশ variates আপনি প্রাপ্ত হয় কি Lda বিভাগ কল "discriminant ফাংশন" বা "discriminants"।

সুতরাং, তবে কীভাবে বিশ্লেষণটি লিনিয়ার রিগ্রেশন সম্পর্কিত? ক্যানোনিকাল বিশ্লেষণ মূলত একটি মানোভা (অর্থে "মাল্টিভারিয়েট মাল্টিপল লিনিয়ার রিগ্রেশন" বা "মাল্টিভারিয়েট জেনারেল লিনিয়ার মডেল") সুপ্ত কাঠামোর গভীরে পরিণত হয়েছেডিভিএস এবং আইভিগুলির মধ্যে সম্পর্কের কথা। এই দুটি প্রকরণটি তাদের আন্তঃসম্পর্ককে সুপ্ত "ক্যানোনিকাল ভেরিয়েটস" এর সাথে সংহত করে। আসুন আমরা সহজ উদাহরণটি গ্রহণ করি, ওয়াই বনাম এক্স 1 এক্স 2 এক্স 3। উভয় পক্ষের মধ্যে সম্পর্কের সর্বাধিকীকরণ হ'ল লিনিয়ার রিগ্রেশন (যদি আপনি এক্স এর মাধ্যমে ওয়াইয়ের পূর্বাভাস করেন) বা - যা একই জিনিস - মানোভা (যদি আপনি ওয়াই দ্বারা এক্স এর পূর্বাভাস করেন)। পারস্পরিক সম্পর্ক একতরফা (একমাত্রা আর ^ 2 = পিল্লাইয়ের ট্রেস সহ) কারণ কম সেট, ওয়াই, কেবল একটি পরিবর্তনশীল নিয়ে গঠিত। এখন এই দুটি সেট নেওয়া যাক: Y1 Y2 বনাম X1 x2 x3। এখানে সর্বাধিক সংযুক্ত হওয়া দ্বি-মাত্রিক কারণ কম সেটটিতে 2 ভেরিয়েবল রয়েছে। পারস্পরিক সম্পর্কের প্রথম এবং শক্তিশালী সুপ্ত মাত্রাটিকে 1 ম ক্যানোনিকাল পারস্পরিক সম্পর্ক বলা হয়, এবং অবশিষ্ট অংশটি এর সাথে অরথোগোনাল, 2 য় ক্যানোনিকাল পারস্পরিক সম্পর্ক। সুতরাং, মানোভা (বা লিনিয়ার রিগ্রেশন) সেটগুলির সম্পূর্ণ দ্বি-মাত্রিক পারস্পরিক সম্পর্কের মধ্যে ভেরিয়েবলের আংশিক ভূমিকা (সহগুণ) কী কী তা জিজ্ঞাসা করে; যখন আধ্যাত্মিক বিশ্লেষণ 1 ম পারস্পরিক সম্পর্কীয় মাত্রায় ভেরিয়েবলের আংশিক ভূমিকা কী তা জিজ্ঞাসা করতে কেবল নীচে যায় এবং দ্বিতীয়টিতে।

সুতরাং, ক্যানোনিকাল পারস্পরিক সম্পর্ক বিশ্লেষণটি মাল্টিভারিয়েট লিনিয়ার রিগ্রেশনকে ডিভি এবং আইভিগুলির মধ্যে সম্পর্কের সুপ্ত কাঠামোতে গভীরতর করে তোলে। বৈষম্যমূলক বিশ্লেষণ ক্যানোনিকাল পারস্পরিক সম্পর্ক বিশ্লেষণের একটি নির্দিষ্ট ক্ষেত্রে ( ঠিক কীভাবে দেখুন )। সুতরাং, এখানে দুটি-গ্রুপ-এর চেয়ে বেশি সাধারণ ক্ষেত্রে এলডিএর সাথে লিনিয়ার রিগ্রেশন সম্পর্কিত সম্পর্ক সম্পর্কে উত্তর ছিল।

মনে রাখবেন যে আমার উত্তরটি এলডিএকে শ্রেণিবদ্ধকরণ কৌশল হিসাবে দেখেনি see আমি এলডিএকে কেবল এক্সট্রাকশন-অফ-ল্যাটেন্টস কৌশল হিসাবে আলোচনা করছিলাম। শ্রেণিবদ্ধকরণটি এলডিএর দ্বিতীয় এবং একা একা পর্যায়ে (আমি এটি এখানে বর্ণনা করেছি )। @ মিশেল চেরনিক তার উত্তরে এটিতে মনোনিবেশ করছিলেন।

— ttnphns
সূত্র

আমার কেন "ক্যানোনিকাল পারস্পরিক সম্পর্ক বিশ্লেষণ" দরকার এবং এটি এখানে কী করে? ধন্যবাদ।

— zca0

1

+1 (অনেক দিন আগে) গ্রুপ এবং ডামি ওয়াইয়ের ম্যাট্রিক্সের মধ্যে মানোভা / সিসিএ / রিগ্রেশন এবং (এলডিএ) (দুটিরও বেশি গ্রুপের সাধারণ ক্ষেত্রে) এর মধ্যে মানোভা / সিসিএ / রিগ্রেশন এবং এই সংযোগের মধ্যে আলোচনার কোনও রেফারেন্স সম্পর্কে আপনি জানেন? আমি এখন এই বিষয়টি অধ্যয়ন করছি এবং আমি মনে করি এটি ইতিমধ্যে কমবেশি আবিষ্কার করেছি তবে আমি যখন regression formulation of LDAএটি অনুসন্ধান করি তখন এটি খুঁজে পাওয়া আশ্চর্যরকমভাবে কঠিন - 2000 এর পরে একাধিক গবেষণা পত্র প্রকাশিত হয়েছিল যে এই জাতীয় গঠনের অস্তিত্ব নেই বা বলে একটি পরামর্শ দেওয়ার চেষ্টা করছি। সম্ভবত একটি ভাল [পুরানো] রেফারেন্স আছে?

— অ্যামিবা বলেছেন মোনিকা

3

Mmm .. শুধু একটি দ্রুত মনে আসছে কাগজপত্র দম্পতি: Harry Clahn. Canonical Correlation and Its Relationship to Discriminant Analysis and Multiple Regression। W. Stuetzle. Connections between Canonical Correlation Analysis, Linear Discriminant Analysis, and Optimal Scaling। Olcay Kursun et al. Canonical correlation analysis using within-class coupling। আপনি যদি ইন্টারনেটে এগুলি না পান তবে আমি আপনাকে পাঠাতে পারি। যদি আপনি আরও এবং আরও ভাল উত্সগুলি খুঁজে পান - দয়া করে আমাদের জানান।

— ttnphns

1

আমার প্যাসেজটি মোটেই বোঝায় নি যে আপনি সিসিএ সহগগুলি কেবলমাত্র রিগ্রেশন (মানোভা) হাতে পাওয়ার ফলাফল পেতে পারেন। আমি বলছিলাম যে মানোভা "পৃষ্ঠ" এবং সিসিএ একই বিশ্লেষণামূলক উদ্যোগের আরও "গভীর" স্তর is আমি বলিনি যে সেগুলি প্রতিশব্দ বা এটি অন্যটির স্পষ্ট নির্দিষ্ট ক্ষেত্রে।

— ttnphns

1

আমি দেখি. আমি অন্য উত্তর পোস্ট করার সিদ্ধান্ত নিয়েছি, এলডিএ / রিগ্রেশন সমতুল্যের গাণিতিক বিশদ সরবরাহ করে।

— অ্যামিবা বলছেন মনিকাকে

11

এখানে ইফ্রনের একটি গবেষণাপত্রের একটি উল্লেখ রয়েছে: সাধারণ বৈষম্যমূলক বিশ্লেষণের তুলনায় লজিস্টিক রিগ্রেশন এর দক্ষতা , 1975।

আর একটি প্রাসঙ্গিক কাগজ হ'ল এনজি এবং জর্ডান, 2001, অন বৈষম্যমূলক বনাম জেনারেটরি ক্লাসিফায়ার্স: লজিস্টিক রিগ্রেশন এবং নিষ্পাপ বয়েসের তুলনা । এবং এখানে জিউ অ্যান্ড টিটারিংটন , ২০০৮- এর একটি মন্তব্যের একটি বিমূর্তি এখানে ও'নিলের তাঁর পিএইচডি গবেষণামূলক প্রবন্ধ সম্পর্কিত উল্লেখ করেছেন:

উত্পাদক এবং বৈষম্যমূলক শ্রেণিবদ্ধের তুলনা একটি চিরস্থায়ী বিষয়। এই বিষয়টিতে একটি গুরুত্বপূর্ণ অবদান হিসাবে, স্বেচ্ছাসেবক বায়েস শ্রেণিবদ্ধ এবং লিনিয়ার লজিস্টিক রিগ্রেশন এর মধ্যে তাদের তাত্ত্বিক এবং অভিজ্ঞতাবাদী তুলনার ভিত্তিতে এনজি এবং জর্ডান (এনআইপিএস ৮৪১ --- ৮৮৮, 2001) দাবি করেছে যে জেনারেটরের মধ্যে পারফরম্যান্সের দুটি স্বতন্ত্র ব্যবস্থা রয়েছে এবং প্রশিক্ষণ-সেট আকারের সাথে বৈষম্যমূলক শ্রেণিবদ্ধকারী এই গবেষণাপত্রে, আমাদের গবেষণামূলক এবং সিমুলেশন অধ্যয়নগুলি, তাদের কাজের পরিপূরক হিসাবে, যদিও সুপারিশ করে যে দুটি স্বতন্ত্র ব্যবস্থার অস্তিত্ব এতটা নির্ভরযোগ্য নাও হতে পারে। তদতিরিক্ত, বাস্তব বিশ্বের ডেটাসেটগুলির জন্য, এখন পর্যন্ত পর্যবেক্ষণের শ্রেণিবিন্যাসের বৈষম্যমূলক এবং জেনারেটর পদ্ধতির মধ্যে নির্বাচন করার জন্য কোনও তাত্ত্বিকভাবে সঠিক, সাধারণ মানদণ্ড নেই $x$ এক শ্রেণিতে $y$ ; পছন্দটি $p(y|x)$ বা স্পেসিফিকেশনের যথার্থতার সাথে আমাদের যে আপেক্ষিক আত্মবিশ্বাসের উপর নির্ভর করে তার উপর নির্ভর করে $p(x, y)$ তথ্য জন্য। এটি কিছুটা হলেও ইফ্রন (জে এম স্ট্যাট এসোসিয়েশন 70 (352): 892 --- 898, 1975) এবং ও'নিল (জে এম স্ট্যাট এসোসো 75 (369): 154 --- 160, 1980 এর বিক্ষোভ হতে পারে ) যখন কোনও মডেল ভুল-স্পেসিফিকেশন না ঘটে তবে সাধারণ-ভিত্তিক লিনিয়ার বৈষম্যমূলক বিশ্লেষণ (এলডিএ) পছন্দ করেন তবে অন্যান্য অভিজ্ঞতাবাদী গবেষণাগুলি পরিবর্তে লিনিয়ার লজিস্টিক রিগ্রেশনকে পছন্দ করতে পারে। তদ্ব্যতীত, আমরা প্রস্তাব করি যে একটি সাধারণ তির্যক কোভেরিয়েন্স ম্যাট্রিক্স (এলডিএ) বা ন্যাভি বেয়েস শ্রেণিবদ্ধ এবং লিনিয়ার লজিস্টিক রিগ্রেশন ধরে ধরে এলডিএর মধ্যে উভয়ই জুটি যুক্তি উপযুক্ত নাও হতে পারে, এবং তাই এটি কোনও দাবির জন্য নির্ভরযোগ্য হতে পারে না যা এলডিএর সাথে তুলনা থেকে প্রাপ্ত হয়েছিল for বা নির্বোধ বায়েস শ্রেণিবদ্ধ এবং লিনিয়ার লজিস্টিক রিগ্রেশন সকল জেনারেটরিভ এবং বৈষম্যমূলক শ্রেণিবদ্ধে সাধারণীকরণের জন্য।

এটিতে আরও অনেক উল্লেখ রয়েছে যা আপনি অনলাইনে খুঁজে পেতে পারেন।

— মাইকেল আর চেরনিক
সূত্র

লজিস্টিক রিগ্রেশন বনাম এলডিএ বিষয়ের (এখন ওপি দ্বারা স্পষ্ট করে) বিষয়ে অনেকগুলি ভাল রেফারেন্সের জন্য +1 করুন।

— ম্যাক্রো

1

এখানে কোয়ারায় ইয়ারোস্লাভ বুলাটোভের জেনারেটর এবং বৈষম্যমূলক শ্রেণিবদ্ধের আরেকটি তুলনা এখানে রয়েছে: কোওরা. com/…

— পার্ডিস

এছাড়াও সম্পর্কিত বিষয়, stats.stackexchange.com/q/95247/3277

— ttnphns

7

এই উত্তরটির উদ্দেশ্য হ'ল লিনিয়ার বৈষম্যমূলক বিশ্লেষণ (এলডিএ) এবং মাল্টিভারিয়েট লিনিয়ার রিগ্রেশন (এমএলআর) এর মধ্যে সঠিক গাণিতিক সম্পর্ককে ব্যাখ্যা করা। দেখা যাবে যে সঠিক কাঠামো হ্রাস র‌্যাঙ্ক রিগ্রেশন (আরআরআর) দ্বারা সরবরাহ করা হয়েছে।

আমরা দেখাব যে এলডিএ ডেটা ম্যাট্রিক্সে সাদা রঙের শ্রেণি সূচক ম্যাট্রিক্সের আরআরআরের সমতুল্য ।

স্বরলিপি

যাক হতে ডাটা পয়েন্টের ম্যাট্রিক্স সঙ্গে সারি এবং কলাম মধ্যে ভেরিয়েবল হবে। প্রতিটি বিন্দু ক্লাসের একটি বা গোষ্ঠীর অন্তর্ভুক্ত। পয়েন্ট শ্রেণি নম্বর অন্তর্গত । $\newcommand{\X}{\mathbf X}\X$ $n\times d$ $\newcommand{\x}{\mathbf x}\x_i$ $k$ $\x_i$ $g(i)$

যাক হতে সূচকটি ম্যাট্রিক্স এনকোডিং গোষ্ঠী সদস্যতা নিম্নরূপ: যদি বর্গ জন্যে , এবং অন্যথায়। আছে ক্লাসে ডাটা পয়েন্টের ; অবশ্যই । $\newcommand{\G}{\mathbf G}\G$ $n \times k$ $G_{ij}=1$ $\x_i$ $j$ $G_{ij}=0$ $n_j$ $j$ $\sum n_j = n$

আমরা ধরে নিই যে ডেটা কেন্দ্রিক এবং তাই বিশ্বব্যাপী শূন্যের সমান, । আসুন ক্লাসের । $\newcommand{\bmu}{\boldsymbol \mu}\bmu=0$ $\bmu_j$ $j$

Lda বিভাগ

মোট স্ক্যাটার ম্যাট্রিক্স নিম্নোক্তভাবে সংজ্ঞায়িত করে শ্রেণি এবং শ্রেণির মধ্যে স্ক্যাটার ম্যাট্রিকগুলির যোগফলকে বিভক্ত করা যায়: $\newcommand{\C}{\mathbf C}\C=\X^\top \X$ যে কেউযাচাই করতে পারে। এলডিএ বৈষম্যমূলক অক্ষগুলির সন্ধান করে যা প্রজেকশনটির মধ্যে গ্রুপ-বৈকল্পিক এবং ন্যূনতম-গ্রুপের মধ্যে ন্যূনতম মধ্যে থাকে। বিশেষ করে, প্রথম discriminant অক্ষ একক ভেক্টর হয়পূর্ণবিস্তার

\begin{aligned} C_{b} & = \sum_{j} n_{j} μ_{j} μ_{j}^{⊤} \\ C_{w} & = \sum (x_{i} - μ_{g (i)}) (x_{i} - μ_{g (i)})^{⊤} . \end{aligned}

$\begin{align} \C_b &= \sum_j n_j \bmu_j \bmu_j^\top \\ \C_w &= \sum(\x_i - \bmu_{g(i)})(\x_i - \bmu_{g(i)})^\top. \end{align}$

C = C_{b} + C_{w}

$\C = \C_b + \C_w$

w

$\newcommand{\w}{\mathbf w}\w$

, এবং প্রথম

discriminant অক্ষ একটি ম্যাট্রিক্স মধ্যে একসঙ্গে স্তুপীকৃত

ট্রেস পূর্ণবিস্তার উচিত

w^{⊤} C_{b} w / (w^{⊤} C_{w} w)

$\w^\top \C_b \w / (\w^\top \C_w \w)$

p

$p$

W

$\newcommand{\W}{\mathbf W}\W$

L_{L D A} = tr (W^{⊤} C_{b} W (W^{⊤} C_{w} W)^{- 1}) .

$\DeclareMathOperator{\tr}{tr} L_\mathrm{LDA}=\tr\left(\W^\top \C_b \W (\W^\top \C_w \W)^{-1}\right).$

Assuming যে পূর্ণ র্যাঙ্ক হয়, Lda সমাধান এর eigenvectors ম্যাট্রিক্স হয় (কমছে অনুক্রমে eigenvalues দ্বারা আদেশ)। $\C_w$ $\W_\mathrm{LDA}$ $\C_w^{-1} \C_b$

এটি ছিল স্বাভাবিক গল্প। এখন আসুন দুটি গুরুত্বপূর্ণ পর্যবেক্ষণ করি।

প্রথমত, শ্রেণীর স্ক্যাটার ম্যাট্রিক্সটি মোট স্ক্যাটার ম্যাট্রিক্স দ্বারা প্রতিস্থাপন করা যেতে পারে (শেষ পর্যন্ত কারণ সর্বাধিক ) এর সমান , এবং প্রকৃতপক্ষে এটি দেখতে সহজ যে রয়েছে একই eigenvectors। $b/w$ $b/(b+w)$ $\C^{-1} \C_b$

দ্বিতীয়ত, মধ্য শ্রেণির স্ক্যাটার ম্যাট্রিক্স উপরে বর্ণিত গ্রুপ সদস্যপদ ম্যাট্রিক্সের মাধ্যমে প্রকাশ করা যেতে পারে। প্রকৃতপক্ষে, গ্রুপের অঙ্কের ম্যাট্রিক্স। গোষ্ঠীর অর্থের ম্যাট্রিক্স পেতে, এটি একটি তির্যক ম্যাট্রিক্স দ্বারা উপর দিয়ে গুন করা উচিত ; এটি দিয়েছেন । অত: পর, গ্রুপ উপায়ে ম্যাট্রিক্স হয় ( sapienti ইচ্ছা নোটিশ যে এটি একটি রিগ্রেশন সূত্র)। পেতে আমাদের এর বিচ্ছুরিত ম্যাট্রিক্স গ্রহণ করতে হবে, একই তির্যক ম্যাট্রিক্স দ্বারা ভারিত, $\G^\top \X$ $n_j$ $\G^\top \G$ $(\G^\top \G)^{-1}\G^\top \X$ $\C_b$ যদি সমস্ত অভিন্ন এবং ("ভারসাম্যপূর্ণ ডেটাসেট")সমান হয়, তবে এই অভিব্যক্তিটি সরল হয়।

C_{b} = X^{⊤} G (G^{⊤} G)^{- 1} G^{⊤} X .

$\C_b = \X^\top \G (\G^\top \G)^{-1}\G^\top \X.$

n_{j}

$n_j$

m

$m$

X^{⊤} G G^{⊤} X / m

$\X^\top \G \G^\top \X / m$

আমরা সাধারণীকরণ সূচক ম্যাট্রিক্স having হিসাবে নির্ধারণ করতে পারি $\newcommand{\tG}{\widetilde {\mathbf G}}\tG$ যেখানেআছে। তারপরে, ভারসাম্যহীন এবং ভারসাম্যহীন ডেটাসেটের উভয়ের জন্যই এক্সপ্রেশনটি কেবল। লক্ষ্য করুন একটি ধ্রুবক ফ্যাক্টর, এর আপ, হয়সাদাসূচকটি ম্যাট্রিক্স:। $1/\sqrt{n_j}$ $\G$ $1$ $\C_b = \X^\top \tG \tG^\top \X$ $\tG$ $\tG = \G(\G^\top \G)^{-1/2}$

প্রত্যাগতি

সরলতার জন্য, আমরা একটি ভারসাম্যপূর্ণ ডেটাসেটের ক্ষেত্রে দিয়ে শুরু করব।

লিনিয়ার রিগ্রেশন বিবেচনা করুন । এটি ন্যূনতম । হ্রাস র‌্যাঙ্কের রিগ্রেশন একইভাবে সীমাবদ্ধতার মধ্যে রয়েছে যে প্রদত্ত র‌্যাঙ্কের । যদি তাই হয়, তারপর হিসেবে লেখা যেতে পারে উভয় সঙ্গে এবং থাকার কলাম। যে কেউ র‌্যাঙ্ক দুটি সমাধান প্রথম কলামটি রেখে অতিরিক্ত কলাম ইত্যাদি যুক্ত করে র‌্যাঙ্ক সমাধান থেকে প্রাপ্ত হতে পারে show $\G$ $\X$ $\newcommand{\B}{\mathbf B}\B$ $\| \G - \X \B\|^2$ $\B$ $p$ $\B$ $\newcommand{\D}{\mathbf D} \newcommand{\F}{\mathbf F} \B=\D\F^\top$ $\D$ $\F$ $p$

Lda বিভাগ এবং রৈখিক রিগ্রেশনের মধ্যে সংযোগ স্থাপন করতে আমরা প্রমাণ করবে সঙ্গে সমানুপাতিক । $\D$ $\W_\mathrm{LDA}$

$\D$ $\F$ $\F^\top = (\D^\top \X^\top \X \D)^{-1} \D^\top \X^\top \G$

‖ G - X D (D^{⊤} X^{⊤} X D)^{- 1} D^{⊤} X^{⊤} G ‖^{2},

$\| \G - \X \D (\D^\top \X^\top \X \D)^{-1} \D^\top \X^\top \G\|^2,$

‖ A ‖^{2} = t r (A A^{⊤})

$\|\mathbf A\|^2=\mathrm{tr}(\mathbf A \mathbf A^\top)$

tr (D^{⊤} X^{⊤} G G^{⊤} X D (D^{⊤} X^{⊤} X D)^{- 1}),

$\tr\left(\D^\top \X^\top \G \G^\top \X \D (\D^\top \X^\top \X \D)^{-1}\right),$

\dots = tr (D^{⊤} C_{b} D (D^{⊤} C D)^{- 1}) / m \sim L_{L D A} .

$\ldots = \tr\left(\D^\top \C_b \D (\D^\top \C \D)^{-1}\right)/m \sim L_\mathrm{LDA}.$

$\G$ $\tG$

কেউ একইভাবে দেখাতে পারে যে হ্রাস র‌্যাঙ্কের রিগ্রেশনটিতে রিজ নিয়মিতকরণ যুক্ত করা নিয়মিত এলডিএর সমান।

এলডিএ, সিসিএ এবং আরআরআরের মধ্যে সম্পর্ক

$\X$ $\G$ $\newcommand{\Y}{\mathbf Y}\Y$ $\X$ $\Y$ $\X$

গ্রন্থ-পঁজী

উপরের উপস্থাপিত বিষয়গুলির কৃতিত্ব কে প্রাপ্য তা বলা শক্ত।

ক্যা এট আল -এর সাম্প্রতিক একটি সম্মেলন পত্র রয়েছে। (২০১৩) নিম্ন-র্যাঙ্ক অঞ্চলগুলির সমতুল্য এবং লিনিয়ার বৈষম্যমূলক বিশ্লেষণ ভিত্তিক রেজিস্ট্রেশনগুলি যা উপরের মতো ঠিক একই প্রমাণ উপস্থাপন করে তবে তারা এই দৃষ্টিভঙ্গিটি আবিষ্কার করেছিল এমন ধারণা তৈরি করে। এটি অবশ্যই ঘটনা নয়। টোর কীভাবে বেশিরভাগ সাধারণ রৈখিক মাল্টিভারিয়েট পদ্ধতিগুলিকে হ্রাস র‌্যাঙ্ক রিগ্রেশন হিসাবে দেখা যেতে পারে তার একটি বিশদ চিকিত্সা লিখেছিলেন , কম্পোনেন্ট বিশ্লেষণের জন্য একটি স্বল্প স্কোয়ার ফ্রেমওয়ার্ক , ২০০৯ এবং পরবর্তী বইয়ের অধ্যায়টি উপাদান বিশ্লেষণ পদ্ধতিগুলির সংহতকরণ , ২০১৩ দেখুন; তিনি একই যুক্তি উপস্থাপন করেন কিন্তু কোনও রেফারেন্সও দেন না। এই উপাদানটি আধুনিক মাল্টিভারিয়ট পরিসংখ্যান কৌশলগুলির পাঠ্যপুস্তকেও আচ্ছাদিত (২০০৮) ইজম্যানম্যান, যিনি 1975 সালে আরআরআর চালু করেছিলেন।

এলডিএ এবং সিসিএর মধ্যে সম্পর্ক স্পষ্টতই বার্টলেট, ১৯৩৮-এ ফিরে গেছে , একাধিক রিগ্রেশন তত্ত্বের আরও দিক - এটিই আমি প্রায়শই মুখোমুখি হই (তবে যাচাই করিনি)। সিসিএ এবং আরআরআরের মধ্যে সম্পর্কের বর্ণনা দেওয়া হয়েছে ইজেনম্যান, 1975 সালে, মাল্টিভারিয়েট লিনিয়ার মডেলের জন্য হ্রাস-র‌্যাঙ্কের রিগ্রেশন । এই সমস্ত ধারণা কিছু সময়ের জন্য প্রায় হয়েছে।

— অ্যামিবা বলছেন মনিকাকে রিইনস্টেট করুন
সূত্র

বিশদ বিবরণ এবং আমার উত্তর উল্লেখ করার জন্য এবং এখানে আরআরআর চালু করার জন্য আমার কাছ থেকে +1 (অগ্রিমভাবে অগ্রগতি করা কারণ আমি সেই সমস্ত দুর্দান্ত / ভয়াবহ বীজগণিতটি ছিঁড়ে যাওয়ার আগে কিছুটা অজানা সময় কেটে যাবে!)।

— ttnphns

0

লিনিয়ার রিগ্রেশন এবং লিনিয়ার বৈষম্যমূলক বিশ্লেষণ খুব আলাদা। লিনিয়ার রিগ্রেশন স্বতন্ত্র প্রেডিকটার ভেরিয়েবলগুলির একটি সেটের সাথে একটি নির্ভরশীল পরিবর্তনশীল সম্পর্কিত tes ধারণাটি হ'ল প্যারামিটারগুলিতে একটি ফাংশন লিনিয়ার সন্ধান করা যা ডেটা সেরা ফিট করে। এমনকি এটি কোভেরিয়েটগুলিতে রৈখিক হতে হবে না। অন্যদিকে লিনিয়ার বৈষম্যমূলক বিশ্লেষণ হ'ল বিষয়গুলিকে শ্রেণিতে শ্রেণিবদ্ধ করার একটি পদ্ধতি। দ্বি-শ্রেণীর সমস্যার জন্য এটি দলগুলিকে দুটি ক্যাটগরিতে বিভক্ত করার জন্য সেরা পৃথককারী হাইপারপ্লেনটি সন্ধান করার চেষ্টা করে। এখানে সর্বোত্তম অর্থ হ'ল এটি ক্ষতির ক্রিয়াকে হ্রাস করে যা ত্রুটি হারের একটি লিনিয়ার সংমিশ্রণ। তিন বা ততোধিক গোষ্ঠীর জন্য এটি হাইপারপ্লেনের সেরা সেট (কে বর্গের সমস্যার জন্য কে -1) সন্ধান করে। বৈষম্যমূলক বিশ্লেষণে হাইপোপ্লেনগুলি বৈশিষ্ট্য ভেরিয়েবলগুলিতে লিনিয়ার হয়।

উভয়ের মধ্যে প্রধান মিলটি শিরোনামগুলিতে শব্দ লিনিয়ার।

— মাইকেল আর চেরনিক
সূত্র

দুঃখিত, আমি ভুল লিখেছি। রিগ্রেশন এবং এলডিএ হওয়া উচিত। আমি রিগ্রেশন মাধ্যমে লিনিয়ার বৈষম্যমূলক সম্পর্কে কিছু নিবন্ধ দেখেছি, তবে এটি কীভাবে কাজ করে তা আমি জানি না। আমি মনে করি দুটি শ্রেণির জন্য এলডিএ এবং লজিস্টিক রিগ্রেশনগুলির কিছু সম্পর্ক রয়েছে তবে তারা কী তা খুব স্পষ্ট করে বলতে পারে না। এবং দুই শ্রেণির বেশি, কোনও সম্পর্ক আছে কিনা তা আমি জানি না।

— zca0

1

হ্যাঁ লজিস্টিক রিগ্রেশন এবং লিনিয়ার বৈষম্যমূলক বিশ্লেষণের মধ্যে একটি সম্পর্ক রয়েছে। ইফ্রন এবং তার ছাত্র টেরি ও নিল ১৯ 1970০ এর দশকের শেষের দিকে এটি সম্পর্কে লিখেছিলেন। আমি একটি রেফারেন্সের একটি লিঙ্ক খোঁজার চেষ্টা করব।

— মাইকেল আর চেরনিক

2

এখানে সিভিতে সম্পর্কিত প্রশ্ন এবং উত্তর রয়েছে। stats.stackexchange.com/questions/14697/…

— মাইকেল আর চেরনিক

-1 কারণ আসলে এলডিএ এবং রিগ্রেশন-এর মধ্যে গভীর সম্পর্ক রয়েছে, কারণ @ttnphns এবং আমি উভয়ই আমাদের উত্তরগুলিতে ব্যাখ্যা করি।

— অ্যামিবা বলেছেন মনিকাকে