এলডিএর বীজগণিত। একটি পরিবর্তনশীল এবং লিনিয়ার বৈষম্য বিশ্লেষণের ফিশার বৈষম্য শক্তি

Question

দৃশ্যত,

ফিশার বিশ্লেষণের লক্ষ্য একইসাথে শ্রেণীর বিভাজনকে সর্বাধিক করে তোলা এবং শ্রেণীর অভ্যন্তরে বিভাজনকে হ্রাস করা। একটি পরিবর্তনশীল এর বৈষম্য ক্ষমতার একটি দরকারী পরিমাপ অত: পর তির্যক পরিমাণ দেওয়া হয়: ।$B_{ii}/W_{ii}$

http://root.cern.ch/root/htmldoc/TMVA__MethodFisher.html

আমি বুঝতে পারি যে p x pবিটুইন ( বি ) এবং ইনভার-ক্লাস ( ডাব্লু ) ম্যাট্রিকের আকার ( ) ইনপুট ভেরিয়েবলের সংখ্যা দ্বারা দেওয়া হয় p,। এটি প্রদত্ত, কীভাবে a একক চলকের "বৈষম্য শক্তির কার্যকর পরিমাপ" হতে পারে? বি ও ডাব্লু ম্যাট্রিক তৈরি করতে কমপক্ষে দুটি ভেরিয়েবল প্রয়োজন, সুতরাং সংশ্লিষ্ট ট্রেসগুলি একাধিক ভেরিয়েবলের প্রতিনিধিত্ব করবে।$B_{ii}/W_{ii}$

আপডেট করুন: চিন্তা আমি কি সঠিক? যে নয় একটি ট্রেস, যেখানে সমষ্টি উহ্য হয় উপর একটি ট্রেস কিন্তু ম্যাট্রিক্স উপাদান দ্বারা বিভক্ত ? বর্তমানে আমি ধারণার সাথে অভিব্যক্তির পুনরায় মিলনের একমাত্র উপায়। খ আমি আমি ওয়াট আমি $B_{ii}/W_{ii}$$B_{ii}$$W_{ii}$

Answer 1

প্রশ্নের উত্তর হিসাবে লিনিয়ার বৈষম্য বিশ্লেষণ (এলডিএ) সম্পর্কে একটি ছোট গল্প এখানে দেওয়া হয়েছে ।

এটির সাথে বৈষম্য করার জন্য যখন আমাদের একটি ভেরিয়েবল এবং গ্রুপ (ক্লাস) থাকে তখন এটি আনোভা। ভেরিয়েবলের বৈষম্য শক্তিটি , বা ।এস এস দলের মধ্যে / এস এস গ্রুপ মধ্যে বি /$k$$SS_\text{between groups} / SS_\text{within groups}$$B/W$

যখন আমাদের ভেরিয়েবল রয়েছে, এটি মানোভা। যদি ভেরিয়েবলগুলি সম্পূর্ণ নমুনায় বা গোষ্ঠীগুলির মধ্যে না হয় সম্পর্কিত হয়, তবে উপরের বৈষম্য শক্তি, , একইভাবে গণনা করা হয় এবং হিসাবে লেখা যেতে পারে , যেখানে pooled মধ্যে-গ্রুপ ছিটান ম্যাট্রিক্স (অর্থাত এর সমষ্টি SSCP ম্যাট্রিক্স ভেরিয়েবল, নিজ নিজ গ্রুপ 'centroid সম্পর্কে কেন্দ্রিক); গ্রুপ- ম্যাট্রিক্স , যেখানেবি / ডব্লিউ টি R একটি গ ঙ ( এস খ ) / T r একটি গ ঙ ( এস ডব্লিউ ) S W ট এস খ = এস টি - এস W এস $p$$B/W$$trace(\bf{S_b})$$/trace(\bf{S_w})$$\bf{S_w}$$k$ p x p $\bf{S_b}$$=\bf{S_t}-\bf{S_w}$$\bf{S_t}$ পুরো ডেটা-র জন্য স্ক্যাটার ম্যাট্রিক্স (গ্র্যান্ড সেন্ট্রয়েডকে কেন্দ্র করে চলকগুলির এসএসসিপি ম্যাট্রিক্স ((নমুনা_সাইজ -১ দ্বারা বিভক্ততা ছাড়াই একটি "স্ক্যাটার ম্যাট্রিক্স" কেবল একটি কোভারিয়েন্স ম্যাট্রিক্স))

যখন ভেরিয়েবলগুলির মধ্যে কিছু পারস্পরিক সম্পর্ক থাকে - এবং সাধারণত থাকে - উপরের দ্বারা প্রকাশিত হয় যা আর কোনও স্কেলার নয় তবে একটি ম্যাট্রিক্স। এটি কেবলমাত্র এই "সামগ্রিক" বৈষম্যের পিছনে বৈষম্যমূলক ভেরিয়েবলগুলি লুকিয়ে রয়েছে এবং এটি আংশিকভাবে ভাগ করে নেওয়ার কারণে রয়েছে।এস - 1 W এস খ$B/W$$\bf{S_w^{-1} S_b}$$p$

এখন, আমরা নিমগ্ন হতে এবং new কে নতুন এবং পারস্পরিক অর্থেগোনাল সুপ্ত ভেরিয়েবলগুলিতে বিভক্ত করতে চাই (তাদের সংখ্যা ) বলা হয় বৈষম্যমূলক ক্রিয়া বা বৈষম্যমূলক - 1 ম সবচেয়ে শক্তিশালী বৈষম্যমূলক হওয়া, ২ য় এর পিছনে থাকা ইত্যাদি Just ঠিক যেমনটি আমরা প্রিসিপাল উপাদান বিশ্লেষণে করি। আমরা বৈষম্যমূলক ক্ষমতার ক্ষতি ছাড়াই অসামঞ্জস্যিত বৈষম্যমূলকদের দ্বারা মূল সম্পর্কিত সম্পর্কিত ভেরিয়েবলগুলি প্রতিস্থাপন করি। প্রতিটি পরবর্তী বৈষম্যবাদী দুর্বল এবং দুর্বল হওয়ার কারণে আমরা বৈষম্যমূলক ক্ষমতার বড় ক্ষতি ছাড়াই প্রথম বৈষম্যবাদীদের একটি ক্ষুদ্র উপসেট গ্রহণ করতে পারি (আবার আমরা কীভাবে পিসিএ ব্যবহার করি তার অনুরূপ)। এটি মাত্রা হ্রাস হিসাবে এলডিএর প্রয়োজনীয়তা এমআমিএন(পি,কে-1)$\bf{S_w^{-1} S_b}$$min(p,k-1)$$m$ কৌশল (এলডিএও একটি বেয়েসের শ্রেণিবদ্ধকরণ কৌশল, তবে এটি সম্পূর্ণ পৃথক বিষয়)।

এলডিএ এইভাবে পিসিএর সাথে সাদৃশ্যপূর্ণ। পিসিএ "সংযুক্তি" পচে, এলডিএ "বিচ্ছিন্নতা" পচে। এলডিএ-তে, উপরোক্ত ম্যাট্রিক্সটি "বিচ্ছিন্নতা" প্রকাশ করে প্রতিসাম্য নয় বলে, একটি বাই-পাস বীজগণিত কৌশলটি এর আইজভ্যালুগুলি এবং আইজেনভেেক্টরগুলি খুঁজে পাওয়ার জন্য ব্যবহৃত হয় । প্রতিটি বৈষম্যমূলক কার্যের ইগেনাল্যু (একটি সুপ্ত পরিবর্তনশীল) হ'ল তার বৈষম্যমূলক শক্তি আমি প্রথম অনুচ্ছেদে বলছিলাম। এছাড়াও, এটি উল্লেখ করার মতো যে, বৈষম্যমূলক, যদিও নির্বিচ্ছিন্ন, মূল পরিবর্তনশীল জায়গাতে অঙ্কিত অক্ষ হিসাবে জ্যামিতিকভাবে অर्थোগোনিক নয় । বি /$^1$$B/W$

কিছু সম্ভাব্য সম্পর্কিত বিষয় যা আপনি পড়তে চাইতে পারেন:

Lda বিভাগ নেই MANOVA সুপ্ত গঠন বিশ্লেষণ বাক্সে "গভীর" এবং ক্যানোনিকাল পারস্পরিক সম্পর্ক বিশ্লেষণ একটি নির্দিষ্ট ক্ষেত্রে (যেমন তাদের মধ্যে সঠিক সমানতা হয় যেমন )। এলডিএ কীভাবে বস্তুগুলিকে শ্রেণিবদ্ধ করে এবং ফিশারের সহগ কী what (আমি বর্তমানে আমার নিজের উত্তরগুলির সাথে লিঙ্ক করছি, যেমন আমি তাদের স্মরণ করি তবে এই সাইটের অন্যান্য লোকদের কাছ থেকেও অনেক ভাল এবং ভাল উত্তর রয়েছে))

---

এল এস - 1 ডব্লিউ এস বি ( ইউ - 1 ) ′ এস বি ইউ - 1 ইউ এস ডব্লিউ ইউ ′ ইউ = এস ডব্লিউ এস - 1 ডব্লিউ এস বি ভি = ইউ - 1 ই ই ( ইউ - 1 ) ′ এস বি ইউ - 1$^1$ এলডিএ নিষ্কাশন পর্বের গণনা নিম্নরূপ। of এর ইগেনভ্যালু ( ) সমমিত ম্যাট্রিক্স , যেখানে হয় Cholesky রুট এর : একটি উপরের ত্রিদলীয় ম্যাট্রিক্স যেখানে । এর eigenvectors হিসাবে , তারা দ্বারা দেওয়া হয় , যেখানে উপরে ম্যাট্রিক্স eigenvectors হয়। (দ্রষ্টব্য: , ত্রিভুজাকার হয়ে, উল্টানো যায়$\bf L$$\bf{S_w^{-1} S_b}$$\bf{(U^{-1})' S_b U^{-1}}$$\bf U$$\bf{S_w}$$\bf{U'U=S_w}$$\bf{S_w^{-1} S_b}$$\bf{V=U^{-1} E}$$\bf E$$\bf{(U^{-1})' S_b U^{-1}}$$\bf U$- নিম্ন স্তরের ভাষা ব্যবহার করে - প্যাকেজগুলির একটি সাধারণ জেনেরিক "ইনভ" ফাংশন ব্যবহারের চেয়ে দ্রুত)

বর্ণিত workaround-eigendecomposition-of- পদ্ধতিটি কিছু প্রোগ্রামে উপলব্ধ করা হয়েছে (উদাহরণস্বরূপ, এসপিএসে), অন্য প্রোগ্রামগুলিতে একটি "আধা জেডকাএ-হোয়াইটেনিং" পদ্ধতিটি উপলব্ধি করা হয়েছে যা, কিছুটা ধীর হয়ে যাওয়া, একই ফলাফল দেয় এবং অন্য কোথাও বর্ণিত হয় । এখানে সংক্ষিপ্তসার হিসাবে: Z বিএফ জন্য জেডসিএ-হোয়াইটেনিং ম্যাট্রিক্স গ্রহণ করুন - প্রতিসম বর্গমূল (ইজেনডিকম্পোজিশনের মাধ্যমে কী করা হয়); তারপর eigendecomposition এর (যা একটি প্রতিসম ম্যাট্রিক্স হয়) উৎপাদ discriminant eigenvalues এবং eigenvectors , যেখানে discriminant eigenvectors$\bf{S_w^{-1} S_b}$$\bf{S_w}$$\bf S_w^{-1/2}$$\bf S_w^{-1/2} S_b S_w^{-1/2}$$\bf L$$\bf A$$\bf V= S_w^{-1/2} A$। "কোসিটি জেডকাএ-হোয়াইটেনিং" পদ্ধতিটি আবার লিখতে হবে wise এবং স্ক্যাটার ম্যাট্রিক্সের সাথে কাজ না করে কেসওয়াইজ ডেটাসেটের একক-মান-পচন দ্বারা ; এটি গণনা সংক্রান্ত নির্ভুলতা যোগ করে (নিকট-একাকীত্ব পরিস্থিতিতে গুরুত্বপূর্ণ কী) তবে ত্যাগের গতি।$\bf S_w$$\bf S_b$

ঠিক আছে, আসুন সাধারণত এলডিএতে গণনা করা পরিসংখ্যানগুলিতে ফিরে আসি। ক্যানোনিকাল সম্পর্কযুক্তরূপে eigenvalues সংশ্লিষ্ট হয় । যেখানে কোনও বৈষম্যমূলক লোকের এভালভ্যালু হল সেই বৈষম্যমূলক আনোয়ার , নীতিগত পারস্পরিক সম্পর্কের স্কোয়ারটি সেই আনোভা-র (টি = মোট যোগফলের সমষ্টি)।$\bf \Gamma = \sqrt{L/(L+1)}$$B/W$$B/T$

আপনি যদি ইগেনভেেক্টর কলামগুলি (এসএস = 1 তে) সাধারণ করেন তবে এই মানগুলিকে অক্ষ-বৈষম্যগুলিতে অক্ষ-বৈষম্যগুলিতে ঘোরার দিকের কোসাইন হিসাবে দেখা যেতে পারে; সুতরাং তাদের সহায়তায় কেউ মূল ভেরিয়েবল দ্বারা নির্ধারিত স্ক্যাটারপ্লোটে অক্ষ হিসাবে বৈষম্যমূলক প্লট করতে পারেন (ইগেনভেেক্টরগুলি, সেই ভেরিয়েবলের স্পেসের অক্ষ হিসাবে, অর্থেগোনাল নয়)।$\bf V$

অযৌক্তিক বৈষম্যমূলক সহগ বা ওজন হ'ল স্কেলড ইজেনভেেক্টর বিএফ স্ক্র্যাট t এনকে । এগুলি কেন্দ্রিক মূল ভেরিয়েবলগুলি দ্বারা বৈষম্যমূলক রৈখিক পূর্বাভাসের সহগ আছে। বৈষম্যমূলক ফাংশনগুলির মানগুলি (বৈষম্যমূলক স্কোর) হ'ল , যেখানে কেন্দ্রিক মূল ভেরিয়েবল (প্রতিটি কলাম কেন্দ্রিকের সাথে ইনপুট মাল্টিভারিয়েট ডেটা)। বৈষম্যহীনরা বেআইনী। এবং যখন উপরের সূত্রটি গণনা করা হয় তখন তাদের কাছে সম্পত্তিও থাকে যে তাদের শ্রেণিবদ্ধ কোভেরিয়েন্স ম্যাট্রিক্সের মধ্যে পোল করা হল পরিচয় ম্যাট্রিক্স।এক্সসি$\bf {C}= \it \sqrt{N-k} ~\bf V$$\bf XC$$\bf X$

Stচ্ছিক ধ্রুবক শর্তাবলী অযৌক্তিক সহগগুলির সাথে এবং ইনপুট ভেরিয়েবলের ননজারো অর্থ হ'ল C_0 _0 , যেখানে হল পি ভেরিয়েবলের অর্থগুলির তির্যক ম্যাট্রিক্স এবং হল ভেরিয়েবলগুলির জুড়ে যোগফল।diag( ˉ X ) ∑ $\bf {C_0} \it = -\sum^p diag(\bar{X}) \bf C$$diag(\bar{X})$$\sum^p$

ইন মান discriminant কোফিসিয়েন্টস , একটি discriminant মধ্যে ভেরিয়েবল অবদান যে ভেরিয়েবল বিভিন্ন ভেরিয়ানস আছে এবং বিভিন্ন ইউনিট পরিমাপ করা যেতে পারে সামঞ্জস্য করা হয়; (যেখানে diag (Sw)) সাথে তির্যক ম্যাট্রিক্স )। "মানীকৃত" হওয়া সত্ত্বেও, এই সহগগুলি মাঝেমধ্যে 1 এরও বেশি হতে পারে (সুতরাং বিভ্রান্ত হবেন না)। যদি ইনপুট ভেরিয়েবলগুলি প্রতিটি শ্রেণীর মধ্যে পৃথকভাবে z- মানিক করা হয় তবে মানকযুক্ত গুণাগুণ = অ-স্ট্যান্ডার্ডযুক্ত। গুণাগুণগুলি বৈষম্যমূলক ব্যাখ্যার জন্য ব্যবহৃত হতে পারে।S$\bf {K} \it = \sqrt{diag \bf (S_w)} \bf V$$\bf S_w$

ভেরিয়েবল এবং বৈষম্যমূলকদের মধ্যে গ্রুপ-পারস্পরিক সম্পর্কের ("স্ট্রাকচার ম্যাট্রিক্স", কখনও কখনও লোডিং নামে পরিচিত) সেট করা হয় । সম্পর্কের ক্ষেত্রে তাত্পর্যপূর্ণ সমস্যাগুলির প্রতি সংবেদনশীল এবং ভেরিয়েবলের অবদানের মূল্যায়ন এবং বৈষম্যমূলক ব্যাখ্যার ক্ষেত্রে একটি বিকল্প (সহগতির কাছে) দিকনির্দেশনা গঠন করে।$\bf R= \it diag \bf (S_w)^{-1} \bf S_w V$

---

আইরিস ডেটা বৈষম্যমূলক বিশ্লেষণের নিষ্কাশন পর্বের সম্পূর্ণ আউটপুট দেখুন এখানে ।

পরে এই সুন্দর উত্তরটি পড়ুন যা কিছুটা আরও আনুষ্ঠানিকভাবে ব্যাখ্যা করে এবং আমি এখানে যা করেছি সেগুলিই বিশদভাবে ব্যাখ্যা করে।

এই প্রশ্নটি এলডিএ করার আগে ডেটা মানককরণের বিষয়টি নিয়ে কাজ করে।

Comments

আপনার উত্তরে যেমন বলা হয়েছে, প্রাথমিকভাবে এলডিএটি মাত্রা হ্রাস করতে ব্যবহৃত হয়, তবে যদি উদ্দেশ্যটি কেবল শ্রেণিবিন্যাস হয় তবে আমরা কেবল বেইস পদ্ধতির ব্যবহার করতে পারি, তাই না? তবে যদি উদ্দেশ্যটি মাত্রা হ্রাস হয়, তবে আমরা সেই দিকগুলি খুঁজে পেতে ফিশারের পন্থা অবলম্বন করতে হবে যেখানে আমরা মূল ইনপুট প্রজেক্ট করব , তাই না? $X$

— অ্যাভোকাডো

হ্যাঁ. তবে "ফিশারের পদ্ধতির" শব্দটি অস্পষ্ট। এটি 2 টি জিনিস বোঝাতে পারে: 1) এলডিএ (2 শ্রেণির জন্য) নিজেই ; 2) এলডিএতে ফিশারের শ্রেণিবদ্ধকরণ ।

— ttnphns