লিনিয়ার বৈষম্যমূলক বিশ্লেষণ এবং বেয়েস নিয়ম: শ্রেণিবিন্যাস

লিনিয়ার বৈষম্যমূলক বিশ্লেষণ এবং বেয়েসের নিয়মের মধ্যে কী সম্পর্ক? আমি বুঝতে পারি যে গ্রুপ বৈকল্পিকের মধ্যে এবং গ্রুপ বৈচিত্রের মধ্যে অনুপাত হ্রাস করার চেষ্টা করে এলডিএ শ্রেণিবদ্ধকরণে ব্যবহৃত হয়, তবে বেয়েস এতে কীভাবে বিধি ব্যবহার করে তা আমি জানি না।

classification discriminant-analysis bayes

— zca0
সূত্র

গোষ্ঠীগত প্রকরণের মধ্যে-গ্রুপের প্রকরণের অনুপাতের সর্বাধিকতর করার জন্য বৈষম্যমূলক ফাংশনগুলি বের করা হয়। শ্রেণিবিন্যাসের সাথে এর কোনও যোগসূত্র নেই, যা এলডিএর দ্বিতীয় এবং একা একা পর্যায়ে।

— ttnphns

এলডিএতে শ্রেণিবিন্যাস নীচে রয়েছে (বেয়েসের নিয়ম পদ্ধতির)। [বৈষম্যমূলক নিষ্কাশন সম্পর্কে এখানে কেউ দেখতে পাবে ]]

বায়েসের উপপাদ্য অনুসারে, চাওয়া-জন্য সম্ভাব্যতা যে আমরা ক্লাসে সাথে এসেছেন ডিলিং যখন বর্তমানে বিন্দু দেখে হয় , যেখানে $k$ $x$ $P(k|x) = P(k)*P(x|k) / P(x)$

- শর্তহীন (ব্যাকগ্রাউন্ড) ক্লাস সম্ভাবনা; - বিন্দু এর শর্তহীন (পটভূমি) সম্ভাবনা; - বিন্দু উপস্থিতির সম্ভাবনা ক্লাসে, বর্গ সঙ্গে dealed হচ্ছে যদি। $P(k)$ $k$ $P(x)$ $x$ $P(x|k)$ $x$ $k$ $k$

"বর্তমানে পয়েন্ট পর্যবেক্ষণ করা হচ্ছে বেস শর্ত, এবং তাই ডিনোমিনেটর বাদ দেওয়া যেতে পারে। সুতরাং, । $x$ $P(x)=1$ $P(k|x) = P(k)*P(x|k)$

$P(k)$ একটি পূর্বে (প্রাক বিশ্লেষণাত্মক) সম্ভাব্যতা যে জন্য নেটিভ বর্গ হয় ; ব্যবহারকারী দ্বারা নির্দিষ্ট করা হয়। সাধারণত ডিফল্টরূপে সমস্ত শ্রেণি সমান = 1 / সংখ্যা_মোচ_ক্লাস পেয়ে থাকে। কম্পিউট জন্য , অর্থাত্ অবর (পোস্ট-বিশ্লেষণাত্মক) সম্ভাব্যতা যে জন্য নেটিভ বর্গ হয় জেনে নেয়া দরকার । $x$ $k$ $P(k)$ $P(k)$ $P(k|x)$ $x$ $k$ $P(x|k)$

$P(x|k)$ - সম্ভাব্যতা প্রতি সে - খুঁজে পাওয়া যায় না, বৈষম্যমূলকদের জন্য, এলডিএর প্রধান ইস্যুটি ধারাবাহিক, বিচ্ছিন্ন, পরিবর্তনশীল নয়। এই ক্ষেত্রে প্রকাশের পরিমাণ এবং এর সাথে আনুপাতিক হ'ল সম্ভাবনার ঘনত্ব (পিডিএফ ফাংশন)। এতদ্বারা আমরা জন্য বিন্দু কম্পিউট পিডিএফ প্রয়োজন ক্লাসে , এ, -dimensional সাধারন বন্টনের মান দ্বারা গঠিত discriminants। [উইকিপিডিয়া মাল্টিভারিয়েট সাধারণ বিতরণ দেখুন] $P(x|k)$ $x$ $k$ $PDF(x|k)$ $p$ $p$

P D F (x | k) = \frac{e^{- d / 2}}{(2 π)^{p / 2} \sqrt{| S |})}

$PDF(x|k) = \frac {e^{-d/2}} {(2\pi)^{p/2}\sqrt{\bf |S|})}$

যেখানে - বর্গক্ষেত্র মহালানোবিস দূরত্ব [উইকিপিডিয়া মহালানোবিস দূরত্ব দেখুন] দশক থেকে শুরু করে একটি শ্রেণিবদ্ধ সেন্ট্রয়েডে বৈষম্যমূলক স্থানগুলিতে ; - এই শ্রেণীর মধ্যে পর্যবেক্ষণকারী বৈষম্যমূলকদের মধ্যে কোভেরিয়েন্স ম্যাট্রিক্স । $d$ $x$ $\bf S$

প্রতিটি ক্লাসের জন্য এইভাবে গণনা করুন । পয়েন্ট জন্য $PDF(x|k)$ $P(k)*PDF(x|k)$ $x$ এবং ক্লাস জন্য করেছে। কিন্তু উপরে রিজার্ভ থেকে PDF- সম্ভাব্যতা কোনটাই, শুধুমাত্র এটা সমানুপাতিক, আমরা স্বাভাবিক করা উচিত নয় সঙ্গে এর সমষ্টি দ্বারা বিভাজক, সমস্ত ক্লাস ওভার। উদাহরণস্বরূপ, যদি সেখানে সব, 3 ক্লাস আছে , , তারপর, $k$ $P(k)*P(x|k)$ $P(k)*PDF(x|k)$ $P(k)*PDF(x|k)$ $k$ $l$ $m$

পয়েন্ট এলডিএ দ্বারা শ্রেণীর জন্য নির্ধারিত হয়েছে যার জন্য সর্বোচ্চ। $x$ $P(k|x)$

বিঃদ্রঃ. এটি ছিল সাধারণ পন্থা। ডিফল্টরূপে অনেক এলডিএ প্রোগ্রাম উপরের পিডিএফের সূত্রে সমস্ত শ্রেণীর জন্য ম্যাট্রিক্স -এর মধ্যে পোল্ড ব্যবহার করে । যদি তাই হয়, সূত্র সরলীকৃত ব্যাপকভাবে কারণ Lda বিভাগ পরিচয় ম্যাট্রিক্স হয় (নিচে পাদটীকা দেখুন এখানে ), এবং অত: পর এবং স্কোয়ারড ইউক্লিডিয় দূরত্ব (অনুস্মারক মধ্যে সক্রিয়: মধ্যে ক্লাসের pooled আমরা যে এর সাথে কথা বলছি তা হ'ল বৈষম্যমূলকদের মধ্যে , - ইনপুট ভেরিয়েবলের মধ্যে নয়, যা ম্যাট্রিক্স সাধারণত হিসাবে মনোনীত হয় )। $\bf S$ $\bf S$ $\bf |S|=1$ $d$ $\bf S$ $\bf S_w$

সংযোজন । এলডিএর উপরে শ্রেণিবিন্যাসের উপরোক্ত বেয়েসের নিয়ম পদ্ধতির প্রবর্তনের আগে এলডিএর অগ্রণী ফিশার, তথাকথিত ফিশারের লিনিয়ার শ্রেণিবদ্ধকরণ কার্যগুলি এলডিএতে পয়েন্টগুলি শ্রেণিবদ্ধ করার জন্য গণনা করার প্রস্তাব করেছিলেন । বিন্দু এর জন্য ক্লাস এর সাথে সম্পর্কিত ফাংশন স্কোর হল লিনিয়ার সংমিশ্রণ , যেখানে বিশ্লেষণের পূর্বাভাসের পরিবর্তনশীল। $x$ $k$ $b_{kv1}V1_x+b_{kv2}V2_x+...+Const_k$ $V1, V2,...V_p$

সহগ , ক্লাস এবং সংখ্যা হচ্ছে pooled মধ্যে ক্লাসের ছিটান উপাদান হচ্ছে পরিবর্তনশীলগুলির ম্যাট্রিক্স । $b_{kv}=(n-g)\sum_w^p{s_{vw}\bar{V}_{kw}}$ $g$ $s_{vw}$ $p$ $V$

$Const_k=\log(P(k))-(\sum_v^p{b_{kv}\bar{V}_{kv}})/2$ ।

পয়েন্ট শ্রেণীর জন্য নির্ধারিত হয় যার জন্য এটির স্কোর সর্বোচ্চ। এই ফিশার এর পদ্ধতি (যা রোধ করা যাবে দ্বারা প্রাপ্ত শ্রেণীবিন্যাস ফলাফল নিষ্কাশন discriminants জটিল eigendecomposition নিযুক্ত) বায়েসের দ্বারা প্রাপ্ত সাথে অভিন্ন 'পদ্ধতি শুধুমাত্র যদি pooled মধ্যে ক্লাসের সহভেদাংক ম্যাট্রিক্স বায়েসের সঙ্গে ব্যবহার করা হয়' discriminants উপর ভিত্তি করে পদ্ধতি (দেখুন "নোট" উপরে) এবং সমস্ত বৈষম্যমূলক শ্রেণীবদ্ধকরণে ব্যবহৃত হচ্ছে। বেয়েস পদ্ধতিটি আরও সাধারণ কারণ এটি পৃথক -শ্রেণীর ম্যাট্রিকগুলিও পৃথকভাবে ব্যবহারের অনুমতি দেয় । $x$

— ttnphns
সূত্র

এই বায়েশিয়ান পদ্ধতির অধিকার? এর জন্য ফিশারের দৃষ্টিভঙ্গি কী?

— zca0

আপনার অনুরোধের উত্তরে যুক্ত হয়েছে

— ttnphns

বেয়েস এবং ফিশারের এলডিএর পদ্ধতির মধ্যে পার্থক্য করার জন্য +1। আমি এলডিএ-তে একজন নতুন আগত, এবং আমি যে বইগুলি পড়েছি সেগুলি আমাকে লায়েসের পদ্ধতির মধ্যে এলডিএ শিখিয়েছে, যা ক্লাসে সর্বোচ্চ দিয়ে শ্রেণিভুক্ত করে , তাই আমাকে সমস্ত গণনা করতে হবে প্রতিটি ক্লাসের , ঠিক আছে? ফিশারের পদ্ধতির দ্বারা, আমি কেবলমাত্র বৈষম্যমূলক এবং তাদের সাথে সম্পর্কিত কোফগুলি খুঁজে বের করতে পারি, এবং প্রতিটি শ্রেণির জন্য উত্তরোত্তর গণনা করার দরকার নেই, তাই না?

X

$X$

K

$K$

p (K | X)

$p(K|X)$

p (K | X)

$p(K|X)$

K

$K$

— অ্যাভোকাডো

এবং আমি মনে করি যে বেয়েসের দৃষ্টিভঙ্গি আরও বোধগম্য এবং কেন আমাদের ফিশারের দৃষ্টিভঙ্গি ব্যবহার করা দরকার?

— অ্যাভোকাডো

আমাদের দরকার নেই। শুধু historicalতিহাসিক বিষয়।

— ttnphns

$x$ $f_1(x)$ $f_2(x)$ $x$ $f_1(x) \geq f_2(x)$ $f_1$ $f_2$

— মাইকেল আর চেরনিক
সূত্র