লিনিয়ার বৈষম্যমূলক বিশ্লেষণের জন্য বায়সিয়ান এবং ফিশারের পদ্ধতির

আমি এলডিএ করার 2 টি পদ্ধতি, বায়সিয়ান পদ্ধতির এবং ফিশারের পদ্ধতির জানি ।

ধরা যাক আমাদের কাছে ডেটা , যেখানে হল মাত্রিক পূর্বাভাসকারী এবং হ'ল শ্রেণীর নির্ভরশীল পরিবর্তনশীল । $(x,y)$ $x$ $p$ $y$ $K$

বায়েশিয়ান পদ্ধতির দ্বারা আমরা পশ্চাদপদ , এবং হিসাবে বইগুলিতে বলেছে গাউসিয়ান, আমাদের এখন th হিসাবে ক্লাসের জন্য বৈষম্যমূলক কাজ রয়েছে , আমি দেখতে পাচ্ছি একটি লিনিয়ার ফাংশন , সুতরাং সমস্ত ক্লাসের জন্য আমাদের লিনিয়ার বৈষম্যমূলক কার্য রয়েছে।

p (y_{k} | x) = \frac{p (x | y_{k}) p (y_{k})}{p (x)} \propto p (x | y_{k}) p (y_{k})

$p(y_k|x)=\frac{p(x|y_k)p(y_k)}{p(x)}\propto p(x|y_k)p(y_k)$

p (x | y_{k})

$p(x|y_k)$

k

$k$

\begin{aligned} f_{k} (x) & = \ln p (x | y_{k}) + \ln p (y_{k}) \\ = \ln [\frac{1}{(2 π)^{p / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x - μ_{k})^{T} Σ^{- 1} (x - μ_{k}))] + \ln p (y_{k}) \\ = x^{T} Σ^{- 1} μ_{k} - \frac{1}{2} μ_{k}^{T} Σ^{- 1} μ_{k} + \ln p (y_{k}) \end{aligned}

$\begin{align*}f_k(x)&=\ln p(x|y_k)+\ln p(y_k)\\&=\ln\left[\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}\exp\left(-\frac{1}{2}(x-\mu_k)^T\Sigma^{-1}(x-\mu_k)\right)\right]+\ln p(y_k)\\&=x^T\Sigma^{-1}\mu_k-\frac{1}{2}\mu_k^T\Sigma^{-1}\mu_k+\ln p(y_k)\end{align*}$

f_{k} (x)

$f_k(x)$

x

$x$

K

$K$

K

$K$

যাইহোক, দ্বারা ফিশার এর পদক্ষেপ , আমরা প্রকল্প চেষ্টা $x$ থেকে $(K-1)$ মাত্রিক স্থান নতুন বৈশিষ্ট্য রয়েছে যা ছোট বের করে আনতে মধ্যে ক্লাসের ভ্যারিয়েন্স এবং সম্ভব মধ্যে ক্লাসের ভ্যারিয়েন্স যাক ধরুন অভিক্ষেপ ম্যাট্রিক্স হয় $W$ প্রতিটি কলামের একটি অভিক্ষেপ হচ্ছে অভিমুখ. এই পদ্ধতিটি আরও একটি মাত্রা হ্রাস কৌশল হিসাবে মত ।

আমার প্রশ্নগুলি হয়

(1) বায়েসিয়ান পদ্ধতির সাহায্যে আমরা কি মাত্রা হ্রাস করতে পারি? আমি বলতে চাচ্ছি, আমরা discriminant ফাংশন ফাইন্ডিং দ্বারা শ্রেণীবিন্যাস করতে Bayesian পদ্ধতির ব্যবহার করতে পারেন $f_k(x)$ নতুন জন্য বৃহত্তম মান দেয় $x^*$ , কিন্তু এই discriminant ফাংশন করতে $f_k(x)$ প্রকল্প করতে ব্যবহার করা যেতে $x$ মাত্রিক subspace কম ? ঠিক যেমন ফিশারের মতামত আছে।

(২) কীভাবে এবং কীভাবে দুটি পদ্ধতির একে অপরের সাথে সম্পর্কিত? আমি তাদের মধ্যে কোনও সম্পর্ক দেখতে পাচ্ছি না, কারণ একটিতে কেবল $f_k(x)$ মান দিয়ে করতে সক্ষম বলে মনে হচ্ছে , এবং অন্যটি মূলত মাত্রা হ্রাসকে লক্ষ্য করে।

হালনাগাদ

ইএসএল বই অনুসারে @ অ্যামিবার ধন্যবাদ, আমি এটি পেয়েছি: এখানে চিত্র বর্ণনা লিখুন

এবং এটি লৈখিক বৈষম্যমূলক ফাংশন, বয়েস উপপাদ্যটির মাধ্যমে উত্পন্ন এবং একই সাথে কোভেরিয়েন্স ম্যাট্রিক্স সহ সমস্ত শ্রেণি ধরে নেওয়া । এবং এই বৈষম্যমূলক ফাংশনটি হ'ল আমি উপরে এক হিসাবে একই । $\Sigma$ $f_k(x)$

মাত্রা হ্রাস করার জন্য, আমি প্রজেক্ট করতে হবে সেই দিক হিসাবে ব্যবহার করতে পারি? আমি এ সম্পর্কে নিশ্চিত নই, আফাইক থেকে যেহেতু মাত্রার হ্রাস, তার মধ্যে বৈকল্পিক বিশ্লেষণের মধ্য দিয়েই অর্জন করা যায় । $\Sigma^{-1}\mu_k$ $x$

আবার আপডেট করুন

বিভাগ ৪.৩.৩ থেকে এই অনুমানগুলি কীভাবে উত্পন্ন হয়েছিল:

এখানে চিত্র বর্ণনা লিখুন

, এবং অবশ্যই এটি শ্রেণীর মধ্যে একটি ভাগ করে দেওয়া সমবায়কে ধরে নিয়েছে, এটাই কি সাধারণ কোভেরিয়েন্স ম্যাট্রিক্স (শ্রেণির আধ্যাত্মিক সুবিধার জন্য) $W$ , তাই না? আমার সমস্যা কিভাবে আমি এই গনা না হয় তথ্য থেকে? যেহেতু আমি হবে বিভিন্ন মধ্যে ক্লাসের সহভেদাংক ম্যাট্রিক্স যদি আমি গনা চেষ্টা তথ্য থেকে। তাই আমি করতে হবে একত্রিত একটি সাধারণ এক প্রাপ্ত করার একসঙ্গে সব শ্রেণী 'সহভেদাংক? $W$ $K$ $W$

discriminant-analysis

— আভাকাডো
সূত্র

আপনি প্রশ্ন দুটি জিনিস মিশ্রিত। আমি মনে করি আপনি আমাদের পূর্ববর্তী প্রশ্নটি নিয়ে আমাদের কথোপকথন হজম করেন নি । আপনি প্রথমে যা বর্ণনা করেন তা হ'ল শ্রেণিবিন্যাসের দিকে বায়েশিয়ান পদ্ধতি ("এলডিএ-তে বায়েশিয়ান পদ্ধতি" নয়)। এই পদ্ধতির (1) শ্রেণিবদ্ধ হিসাবে মূল ভেরিয়েবলের সাথে বা (2) শ্রেণিবদ্ধ হিসাবে এলডিএতে প্রাপ্ত বৈষম্যমূলক ব্যবহার করা যেতে পারে। তাহলে ফিশারের অ্যাপ্রোচ কী?

— ttnphns 6:37

(ধারাবাহিকভাবে) ঠিক আছে, "ফিশারের এলডিএ" কেবলমাত্র কে = 2 সহ এলডিএ। এই জাতীয় এলডিএর মধ্যে শ্রেণিবদ্ধকরণ করার সময় ফিশার শ্রেণিবিন্যাস করার জন্য তাঁর নিজস্ব সূত্র আবিষ্কার করেছিলেন। এই সূত্রগুলি কে> 2 এর জন্যও কাজ করতে পারে। তাঁর শ্রেণিবিন্যাসের পদ্ধতি আজকাল খুব সম্ভবত ব্যবহার করা হয় কারণ বেইস পদ্ধতির ব্যবহার বেশি সাধারণ।

— ttnphns

@ এনটিএনফএনস, কেন আমি বিভ্রান্ত হওয়ার কারণ হ'ল প্রায় প্রতিটি বইই এলডিএ সম্পর্কে এই বেইশিয়ান পদ্ধতির ব্যবহার নিয়ে কথা বলেছি, এলডিএকে জেনারেটরি মডেল হিসাবে বক্তৃতা দিচ্ছে, তারা গ্রুপ-পার্থক্যের অনুপাত এবং গোষ্ঠী অবকাশের মধ্যে উল্লেখ করে না ।

— অ্যাভোকাডো

@ লগন্যাকলস: আপনি কি আমার উত্তর নীচে দেখেছেন? এটি সম্পর্কে আপনার কোন প্রশ্ন আছে? আমি কিছুটা বিভ্রান্ত, কারণ আমি ভেবেছিলাম যে আপনি এখন মন্তব্যে কী জিজ্ঞাসা করছেন তা আমি ব্যাখ্যা করেছি। "মধ্যবর্তী বৈকল্পিকের" পদ্ধতির সমতুল্য সমবায়ীয়দের অনুমানের সাথে গাণিতিকভাবে "বায়সিয়ান অ্যাপ্রোচ" সমান। আপনি এটি চাইলে অবাক করা গাণিতিক উপপাদ্য হিসাবে ভাবতে পারেন। প্রমাণটি হাস্টির বইয়ে দেওয়া হয়েছে যা নিখরচায়ভাবে অনলাইনে পাওয়া যায় এবং অন্য কোনও মেশিন লার্নিংয়ের পাঠ্যপুস্তকেও রয়েছে। সুতরাং আমি নিশ্চিত "এলডিএ করার একমাত্র খাঁটি উপায়" বলতে কী বোঝাতে পারে; এই দুটি অভিন্ন উপায়।

— অ্যামিবা

@ লগানেকলস: বিশ্বাস করুন, তারা সমতুল্য :) হ্যাঁ, আপনার অনুমানগুলি অর্জন করতে সক্ষম হওয়া উচিত, তবে আপনার সমান কোভেরিয়েন্স ম্যাট্রিক্সের অতিরিক্ত অনুমিতি প্রয়োজন (যেমন আমি আমার উত্তরে লিখেছি)। নীচে আমার মন্তব্য দেখুন।

— অ্যামিবা

আমি কেবল একটি সংক্ষিপ্ত অনানুষ্ঠানিক উত্তর সরবরাহ করব এবং বিবরণের জন্য আপনাকে পরিসংখ্যান শিক্ষার উপাদানগুলির 4.3 বিভাগে উল্লেখ করব ।

আপডেট: আপনার আপডেটে আপনি যা লিখেছেন সেগুলি সহ, আপনি এখানে যে প্রশ্নগুলি জিজ্ঞাসা করছেন ঠিক সেগুলি পুরোপুরি বিস্তৃত করতে "উপাদানগুলি" ঘটবে । সম্পর্কিত বিভাগটি 4.3, এবং বিশেষত 4.3.2-4.3.3।

(২) কীভাবে এবং কীভাবে দুটি পদ্ধতির একে অপরের সাথে সম্পর্কিত?

তারা অবশ্যই। আপনি যাকে "বায়সিয়ান" পদ্ধতির ডাকেন এটি আরও সাধারণ এবং এটি প্রতিটি শ্রেণীর জন্য গাউসীয় বিতরণকেই ধরে নেয়। আপনার সম্ভাবনা ফাংশনটি মূলত প্রতিটি শ্রেণীর কেন্দ্রে থেকে মহালানবিসের দূরত্ব । $x$

আপনি অবশ্যই ঠিক বলেছেন যে প্রতিটি শ্রেণীর জন্য এটি লিনিয়ার ফাংশন । যাইহোক, দয়া করে মনে রাখবেন দুটি ভিন্ন শ্রেণীর জন্য likelihoods অনুপাত (যে আপনি অনুক্রমে প্রকৃত শ্রেণীবিভাগ সম্পাদনার জন্য ব্যবহার করতে যাচ্ছি, অর্থাত্ শ্রেণীর মধ্যে চয়ন করুন) - এই অনুপাত না হতে যাচ্ছে রৈখিক মধ্যে যদি বিভিন্ন শ্রেণীর বিভিন্ন আছে কোভেরিয়েন্স ম্যাট্রিক্স। প্রকৃতপক্ষে, যদি কোনও শ্রেণীর মধ্যে সীমানা তৈরি করে তবে তারা চতুর্ভুজ হিসাবে পরিণত হয়, সুতরাং এটি চতুর্ভুজ বৈষম্যমূলক বিশ্লেষণ , কিউডিএও বলে। $x$ $x$

একটি গুরুত্বপূর্ণ অন্তর্দৃষ্টি হ'ল সমীকরণগুলি যথেষ্ট পরিমাণে সরল করে যদি কেউ ধরে নেয় যে সমস্ত শ্রেণীর অভিন্ন সমবায় রয়েছে [ আপডেট: আপনি যদি এগুলি ধরে নিয়ে থাকেন তবে এটি ভুল বোঝাবুঝির অংশ হতে পারে] । সেক্ষেত্রে সিদ্ধান্তের সীমানা লিনিয়ার হয়ে যায়, এবং এই কারণেই এই পদ্ধতিটিকে লিনিয়ার বৈষম্যমূলক বিশ্লেষণ বলা হয়, এলডিএ।

এটি বুঝতে কিছু বীজগণিত কৌশলগুলি লাগে যে এই ক্ষেত্রে ফর্মুলাগুলি ফিশার তার পদ্ধতির ব্যবহার করে যা কাজ করেছিল তার ঠিক সমান হয়ে যায়। এটিকে গণিতের উপপাদ্য হিসাবে ভাবেন। সমস্ত গণিতের জন্য হাস্টির পাঠ্যপুস্তকটি দেখুন।

(1) বায়েসিয়ান পদ্ধতির সাহায্যে আমরা কি মাত্রা হ্রাস করতে পারি?

যদি "বায়েসিয়ান অ্যাপ্রোচ" বলতে আপনার অর্থ প্রতিটি শ্রেণীর বিভিন্ন কোভেরিয়েন্স ম্যাট্রিক্সের সাথে ডিল করে, তবে না। কমপক্ষে এটি রৈখিক মাত্রিক হ্রাস হবে না (এলডিএর বিপরীতে), কারণ আমি উপরে লিখেছি।

তবে, আপনি যদি ভাগ করা কোভেরিয়েন্স ম্যাট্রিক্স ধরে নিতে খুশি হন, তবে হ্যাঁ, অবশ্যই, কারণ "বায়েসিয়ান অ্যাপ্রোচ" কেবল এলডিএর সমতুল্য। তবে, আপনি যদি হস্টি ৪.৩.৩ পরীক্ষা করে দেখেন যে আপনি লিখেছেন যে সঠিক অনুমানগুলি কে দ্বারা লেখা হয়নি (এটির অর্থ কী হওয়া উচিত তাও আমি বুঝতে পারি না: এই অনুমানগুলি নির্ভর করে , এবং সাধারণত প্রজেকশন বলতে যা বোঝায় তা হ'ল সমস্ত শ্রেণি থেকে একই নিম্ন-মাত্রিক বহুগুণে সমস্ত পয়েন্ট প্রজেক্ট করার একটি উপায়, তবে [ প্রথম [সাধারণীকৃত] ইগেনভেেক্টর দ্বারা , যেখানে class শ্রেণি এর একটি ম্যাট্রিক্স । $\Sigma^{-1} \mu_k$ $k$ $\boldsymbol \Sigma^{-1} \mathbf{M}$ $\mathbf{M}$ $\mu_k$

— জীবাণুবিশেষ
সূত্র

+1 টি। আমি কিউডিএ স্ট্যাটস.স্ট্যাকেক্সেঞ্জাও.এ / 7১1571১ / my7777 mentioning উল্লেখ করে আমার নিজের উত্তরটির সাথেও লিঙ্ক করতে পারি ।

— ttnphns

আমার প্রশ্নটি সম্বোধনের অংশের জন্য +1)। আমি জানি যে মধ্যবর্তী বৈকল্পিক বিশ্লেষণ করে, আমি মূল পরিবর্তনশীল প্রজেক্টের জন্য এবং সেই বৈষম্যগুলি পেতে সেরা দিকনির্দেশগুলি খুঁজে পেতে পারি। আমি এই মুহুর্তের সাথে যা संघर्ष করছি তা হ'ল আমি কি বাইসিয়ান ব্যবহার করে সেই প্রক্ষেপণের দিকনির্দেশগুলি খুঁজে পেতে পারি, এর মধ্যে-মধ্যে বৈকল্পিক অনুপাতের উল্লেখ না করেই ?

X

$X$

— অ্যাভোকাডো

@ লগন্যাকলস: যেমনটি আমি বলেছি, আপনাকে অতিরিক্তভাবে ধরে নেওয়া দরকার যে সমস্ত শ্রেণীর একই সমবায় ম্যাট্রিক্স রয়েছে! তারপরে আপনার বায়সিয়ান পদ্ধতির সাথে শুরু + এই অনুমানটি, আপনি স্ট্যান্ডার্ড এলডিএ অনুমানগুলি পেতে পারেন। ধারণাটি হ'ল তির্যক করা । এটি পরিসংখ্যান শিক্ষার উপাদানসমূহের ৪.৩ অংশে কিছুটা বিশদে লেখা হয়েছে।

Σ

$\boldsymbol \Sigma$

— অ্যামিবা

আমি পরে এই বিভাগটি পড়ব। যেমনটি আপনি বলেছিলেন, ধরে যে সমস্ত শ্রেণীর কোভেরিয়েন্স ম্যাট্রিক্স রয়েছে, আমি একটি ফাংশন পেতে পারি যা আমার পোস্টে আমার লেখা , তাই না? আর প্রকৃতপক্ষে একটি রৈখিক ফাংশন , এবং আপনার মন্তব্য অনুযায়ী, Lda বিভাগ অভিক্ষেপ ম্যাট্রিক্স হওয়া উচিত?

f_{k} (x)

$f_k(x)$

f_{k} (x)

$f_k(x)$

x

$x$

Σ^{- 1} μ_{k}

$\Sigma^{-1}\mu_k$

— অ্যাভোকাডো

আমি আমার পোস্টটি আপডেট করছি এবং বিভাগের ৪.৩ ক্লিপ যুক্ত করছি

— এভোকাডো