ফিশার মানদণ্ডের ওজন কীভাবে গণনা করা যায়?

আমি প্যাটার্ন স্বীকৃতি এবং মেশিন লার্নিং অধ্যয়ন করছি এবং আমি নিম্নলিখিত প্রশ্নের মধ্যে চলে এসেছি।

সমান পূর্ববর্তী শ্রেণীর সম্ভাব্যতা সহ একটি দ্বি-শ্রেণীর শ্রেণিবদ্ধকরণ সমস্যাটি বিবেচনা করুন
$P (D_{1}) = P (D_{2}) = \frac{1}{2}$ $P(D_1)=P(D_2)= \frac{1}{2}$
এবং প্রদত্ত প্রতিটি ক্লাসে উদাহরণগুলির বিতরণ

$p (x | D_{1}) = N ([\begin{matrix} 0 \\ 0 \end{matrix}], [\begin{matrix} 2 & 0 \\ 0 & 1 \end{matrix}]),$ $p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$
$p (x | D_{2}) = N ([\begin{matrix} 4 \\ 4 \end{matrix}], [\begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix}]) .$ $p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$
ফিশার মানদণ্ডের ওজন কীভাবে গণনা করা যায়?

আপডেট 2: আমার বই দ্বারা উপলব্ধ হিসাব ওজন: । $W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$

আপডেট 3: @ এক্সিয়ান দ্বারা ইঙ্গিত হিসাবে, আমি বুঝতে পারি যে ফিশারের বৈষম্যমূলক আচরণের জন্য আমার অভিক্ষেপ রেখাটি নির্ধারণ করা উচিত।

আপডেট করুন 4: আসুন অভিক্ষেপ রেখার গতিপথে হও, discriminant পদ্ধতি খুঁজে বের করে যে শ্রেষ্ঠ রৈখিক তারপর ফিশার এক, যার জন্য নির্ণায়ক ফাংশন বড় হয়। বাকি চ্যালেঞ্জ হ'ল আমরা কীভাবে সংখ্যায় ভেক্টর পেতে পারি ? $W$ $W$ $W$

— হোছাং ড
সূত্র

আপনার প্রথম বিতরণ অপরিজ্ঞাত। বিশেষত জোড়ের দ্বিতীয় প্রকারটির 0 টি বৈকল্পিক সহ একটি অবক্ষয় বন্টন রয়েছে তবে এটি প্রথম বৈকল্পিকের সাথে একটি ইতিবাচক সমবায় রয়েছে, যা অসম্ভব।

— ওউন্সমার্টিন

@ ওভান্সমার্টিনের আপনার কি ধারণা আছে যে এই মানগুলি কীভাবে গণনা করা হবে?

— ডাঃ হোছাং

ফিশার মানদণ্ড ওজনের সংজ্ঞা কী?

— ভ্লাদিস্লাভস ডভগ্লেলেকস

মানে ফিশারের লিনিয়ার বৈষম্য ভেক্টর ডাব্লু দ্বারা দেওয়া হয়েছে যা সর্বোচ্চ হয় ... এটি প্রতিটি উপাদান যেমন লুথুলি.সি.ইউইউক.ইডু / ডিএফ / কোর্সেস / লিয়ারিং / কার্নেলপ্যাপারস / ......... তে উল্লিখিত হয় p ২. এটা কি ওকো @xeon?

— ডাঃ হোশাং

ইঙ্গিত: দুই শ্রেণির সীমানা কী হবে? রৈখিক, বহুপদী, অন্য কিছু?

— ভ্লাদিস্লাভস ডভগ্লেলেকস

উত্তর:

আপনি লিখিত কাগজটি অনুসরণ করে (মিকা এট আল।, 1999) , আমাদের খুঁজে পেতে হবে যা তথাকথিত জেনারেলাইজড রায়লেগ ভাগফলকে সর্বাধিক করে তোলে , $\mathbf{w}$

\frac{w^{⊤} S_{B} w}{w^{⊤} S_{W} w},

$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$

যেখানে এবং সহকর্মী , $\mathbf{m}_1, \mathbf{m}_2$ $\mathbf{C}_1, \mathbf{C}_2$

\begin{aligned} S_{B} & = (m_{1} - m_{2}) (m_{1} - m_{2})^{⊤}, & S_{W} & = C_{1} + C_{2} . \end{aligned}

$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$

ইগেনভ্যালু সমস্যা সমাধান করে সমাধানটি পাওয়া যাবে first প্রথম গণনা দ্বারা eigenvalues সমাধান করে এবং তারপর eigenvector জন্য সমাধানে । আপনার ক্ষেত্রে, নির্ধারক এই 2x2 ম্যাট্রিক্স হাতে নির্ণিত করা যেতে পারে।

\begin{aligned} S_{B} w = λ S_{W} w, \end{aligned}

$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$

λ

$\lambda$

\begin{aligned} det (S_{B} - λ S_{W}) = 0 \end{aligned}

$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$

w

$\mathbf{w}$

S_{B} - λ S_{W} = (\begin{matrix} 16 - 3 λ & 16 \\ 16 & 16 - 2 λ \end{matrix}) .

$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$

বৃহত্তম ইগেনভ্যালু সহ ইগেনভেেক্টর রেলেইগ ভাগফলকে সর্বাধিক করে তোলে। হাতে হাতে গণনা না করে আমি পাইথনের সমস্যাটি ব্যবহার করে সমাধান করেছি scipy.linalg.eigএবং যা আপনি আপনার বইয়ের পেয়েছেন তার আলাদা। নীচে আমি যে ওজন ভেক্টরকে পেয়েছি তার সর্বাধিক হাইপারপ্লেন (কালো) এবং আপনার বইতে পাওয়া লাল ওজনের ভেক্টরের হায়ারপ্লেন প্ল্যান্ট করেছি (লাল)।

w_{1} \approx 0.5547, w_{2} \approx 0.8321,

$w_1 \approx 0.5547, w_2 \approx 0.8321,$

$\hskip1in$ এখানে চিত্র বর্ণনা লিখুন

— লুকাস
সূত্র

এই উদাহরণটি খুব আকর্ষণীয়। উভয় লাইন দুটি শ্রেণিকে পৃথক করে তবে তন্মধ্যের একটি তত্ত্বের দিক থেকে শেখার থেকে একটি "ভাল"।

— ভ্লাদিস্লাভস ডভগ্লেলেকস

ফিশার নির্ণায়ক বিভাগে 5-2-3 এ বিস্তারিত হয় books.google.com/...

— Nini

@ লুকাস সম্ভবত প্রশ্নের ফলাফলটি জিওন মন্তব্যের কাছাকাছি, "হাইপারপ্লেনটি দিকনির্দেশ দ্বারা সংজ্ঞাযুক্ত হয়েছে, প্রস্থ নয়, সম্ভবত আমাদের ইউনিট ভেক্টর ডব্লিউকে রিপোর্ট করা উচিত।" তাই না?

— নিনি

উহু !!! চ্যালেঞ্জিং প্রশ্ন, আমি সকলকে dML.ir/wp-content/uploads/2012/04/SPR-S12-M-Sol.pdf

— ব্যবহারকারী 153695

@ লুকাস ধন্যবাদ সীমানাটি দেখার জন্য আপনি দয়া করে ডাব্লু = [- - 2/3 -2/3] এবং ডাব্লু = [- - 4/3 -2/3] এবং ডব্লু = [- 2 -3] এর জন্য আরও একটি ছবি যুক্ত করবেন? ধন্যবাদ। সুন্দর উত্তরের জন্য আমি আপনাকে অনুগ্রহ করেছিলাম।

— নিনি

$\mathbf{SOLUTION 1:}$

অনুসরণ করছেন দুদা এবং অন্যান্য। (প্যাটার্ন ক্ল্যাসিফিকেশন) যা @ লুকাশের বিকল্প সমাধান রয়েছে এবং এক্ষেত্রে হাতে হাতে সমাধান গণনা করা খুব সহজ। (আশা করি এই বিকল্প সমাধান সাহায্য করবে !!))

দুটি শ্রেণিতে এলডিএর উদ্দেশ্য:

$\frac{w^TS_Bw}{w^TS_Ww}$ যার ঠিক অর্থ শ্রেণীর বৈচিত্রের মধ্যে পার্থক্য বাড়ায় এবং শ্রেণীর বৈচিত্রের মধ্যে হ্রাস পায়।

যেখানে এবং , এখানে সহভেদাংক ম্যাট্রিক্স এবং হয় বর্গ 1 এবং 2 এর যথাক্রমে। $S_B = (m_1-m_2)(m_1-m_2)^T$ $S_W = S_1 + S_2$ $S_1,S_2$ $m_1,m_2$

এই জেনারালাইজড রেলিগ কোয়েন্টেন্টের সমাধান হ'ল জেনারাইজড ইগেন মান প্রোব।

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

উপরোক্ত সূত্রটির একটি বন্ধ ফর্ম সমাধান রয়েছে। হ'ল 1 ম্যাট্রিক্স ভিত্তিতে তাই যা উত্তর পাওয়ার জন্য নরমাল করা যেতে পারে। $S_B$ $m_1-m_2$ $w \propto {S_W}^{-1}(m1-m2)$

আমি শুধু হিসাব এবং বুঝেছি [0,5547; 0,8321]। $w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

রেফ: দুডা, হার্ট, স্টর্ক দ্বারা প্যাটার্ন শ্রেণিবিন্যাস

$\mathbf{SOLUTION 2:}$

বিকল্পভাবে, এটি সাধারণীকরণ আইগান মান সমস্যার ইগেন ভেক্টর সন্ধান করে সমাধান করা যেতে পারে। $S_Bw = \lambda S_Ww$

ল্যাম্বডায় একটি বহুপদী দ্বারা গঠিত হতে পারে এবং সেই বহুবর্ষের সমাধানগুলি ইগেন মান হবে । এখন ধরা যাক আপনি বহুবর্ষের শিকড় হিসাবে আপনি ইগেন মানগুলির একটি সেট পেয়েছেন । এখন এবং সমীকরণের রৈখিক সিস্টেমের সমাধান হিসাবে সংশ্লিষ্ট আইজেন ভেক্টর পান । প্রতিটি আমি এর জন্য এটি করে আপনি ভেক্টরগুলির একটি সেট পেতে পারেন এবং এটি সমাধান হিসাবে ইগেন ভেক্টরগুলির একটি সেট। $determinant(S_B - \lambda S_W)$ $S_Bw = \lambda S_Ww$ $\lambda_1,\lambda_2, ..., \lambda_n,$ $\lambda = \lambda_i, i \in \{1,2,..,n\}$ $S_Bw_i = \lambda_i S_Ww_i$ $\{w_i\}_{i=1}^{n}$

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$ , সুতরাং ইগন মানগুলি শিকড়গুলি বহুপদী । $6\lambda^2 - 80\lambda$

সুতরাং 0 এবং 40/3 হ'ল দুটি সমাধান। এলডিএর জন্য, ইগেন ভেক্টর সর্বাধিক ইগেন মানটির সাথে সম্পর্কিত এটি সমাধান। $\lambda=$

সমীকরণের সিস্টেমের সমাধান এবং $(S_B - \lambda_i S_W)w_i = 0$ $\lambda_i = 40/3$

যা $\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

উপরোক্ত সমীকরণের সিস্টেমটির সমাধান previous যা পূর্ববর্তী সমাধান হিসাবে একই। $\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

অন্যথা, আমরা বলতে পারি যে এর নাল স্থান মিথ্যা । $\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$ $\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$

দুটি শ্রেণির এলডিএর জন্য, ইগেন ভেক্টর সর্বাধিক ইগন মান সহ সমাধান। সাধারণভাবে, সি শ্রেণীর এলডিএর জন্য, প্রথম সি - 1 আইজেন ভেক্টর থেকে সর্বোচ্চ সি - 1 আইজেন মানগুলি সমাধান গঠন করে।

এই ভিডিওটিতে ব্যাখ্যা করা হয়েছে যে কীভাবে সহজ ইগেন মান সমস্যার জন্য ইগেন ভেক্টরগুলি গণনা করা যায়। ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors- and-eigenspaces-example )

নিম্নলিখিত একটি উদাহরণ। http://www.sosmath.com/matrix/eigen2/eigen2.html

মাল্টি-ক্লাস এলডিএ: http://en.wikiki.org/wiki/Linear_discriminant_analysis# মাল্টিক্লাস_এলডিএ

একটি ম্যাট্রিক্সের নাল স্পেস গণনা করা হচ্ছে: https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix

— dksahuji
সূত্র

ভাল উত্তর, আপনার মানে বইয়ের উত্তর ভুল !! ঠিক আছে?

— ডাঃ হোশাং

আমি বিশ্বাস করি যে এই উত্তরটি সঠিক এবং আপনার বই যদি এবং আলাদাভাবে সংজ্ঞা দেয় তবে সেই সংজ্ঞাগুলি দিয়ে আপনি কী পান তা দেখুন।

S_{W}

$S_W$

S_{B}

$S_B$

— dksahuji

-1.33 সমান -4/3 তবে দ্বিতীয় উপাদানটি পৃথক। বুক রিপোর্ট ইউনিট ভেক্টর ডাব্লু? ঠিক না? অনেক অনেক ধন্যবাদ

— ডাঃ হোশং

সম্পূর্ণ সমাধান 2 এটা খয়রাত করার ওয়াট এর মান পৌঁছানোর দয়া

— Nini

@ ডাঃ হোশং: আপনার বইয়ের সমাধানটি ভুল। কেন আমি জানি না।

— অ্যামিবা বলেছেন মনিকা