মানোভা কীভাবে এলডিএর সাথে সম্পর্কিত?

Question

বেশ কয়েকটি জায়গায় আমি দাবি দেখেছি যে মানোভা আনোভা প্লাস লিনিয়ার বৈষম্যমূলক বিশ্লেষণ (এলডিএ) এর মতো, তবে এটি সর্বদা একটি হাত-দোলানো ধরণের হয়ে থাকে। আমি এটি ঠিক বোঝাতে চাইছি তা জানতে চাই ।

আমি মানোভা গণনার সমস্ত বিবরণ বর্ণনা করে বিভিন্ন পাঠ্যপুস্তকগুলি পেয়েছি, তবে স্ট্যাটিস্টিশিয়ান নয় এমন কারও কাছে অ্যাক্সেসযোগ্য ভাল সাধারণ আলোচনা (একা ছবিগুলি ) পাওয়া খুব কঠিন বলে মনে হচ্ছে ।

Comments

Lda বিভাগ আপেক্ষিক ANOVA এবং MANOVA আমার নিজের স্থানীয় অ্যাকাউন্টগুলির হয় এই , এই । হতে পারে তারা হ্যান্ড-ওয়েভিং করছে তবে তারা আপনার বিষয়টিকে কিছুটা হলেও সম্বোধন করবে। মূল বক্তব্যটি হ'ল "এলডিএ হ'ল মানোভা সুপ্ত কাঠামোয় নিমগ্ন"। মানোভা একটি খুব সমৃদ্ধ হাইপোথিসিস-টেস্টিং সুবিধা; অন্যান্য বিষয়ের মধ্যে এটি পার্থক্যগুলির সুপ্ত গঠন বিশ্লেষণ করতে পারে; এই বিশ্লেষণে এলডিএ অন্তর্ভুক্ত রয়েছে।

— ttnphns

@ এনটিএফএনএস, আমি ভয় করি যে আমার আগের মন্তব্যটি পৌঁছে দেওয়া হয়নি (আমি আপনার ব্যবহারকারীর নাম লিখতে ভুলে গিয়েছি), তাই আমাকে পুনরাবৃত্তি করতে দিন: বাহ, অনেক অনেক ধন্যবাদ, আপনার লিঙ্কিত উত্তরগুলি আমার প্রশ্নের সাথে খুব সম্পর্কিত বলে মনে হচ্ছে এবং আমি অবশ্যই সেগুলি মিস করেছি পোস্ট করার আগে আমার অনুসন্ধানে। সেগুলি হজম করতে আমার কিছুটা সময় লাগবে এবং এর পরে আমি আপনার কাছে ফিরে আসতে পারি তবে আপনি কি ইতিমধ্যে আমাকে এই বিষয়গুলি কভার কিছু কাগজপত্র / বইয়ের দিকে নির্দেশ করতে পারেন? আপনার লিঙ্কিত উত্তরগুলির স্টাইলে আমি এই জিনিসগুলির একটি বিশদ আলোচনা দেখতে চাই love

— অ্যামিবা বলেছেন মোনিকা

কেবলমাত্র একটি পুরাতন এবং ক্লাসিক অ্যাকাউন্ট ওয়েবিয়া.লিপ 6.fr/~amini/Cours/MASTER_M2_IAD/TADTI/HarryGlahn.pdf । বিটিডাব্লু আমি এখনও এটিকে পড়িনি। সম্পর্কিত আরও একটি নিবন্ধ dl.acm.org/citation.cfm?id=1890259 ।

— ttnphns

@ এনটিএনফএনস: আপনাকে ধন্যবাদ আমি নিজেই আমার প্রশ্নের উত্তর লিখেছিলাম, মূলত কিছু চিত্র এবং এলডিএ / মানোভাতে আপনার লিঙ্কযুক্ত উত্তরের একটি নির্দিষ্ট উদাহরণ সরবরাহ করি। আমি তারা সুন্দরভাবে একে অপরের পরিপূরক বলে মনে করি।

— অ্যামিবা বলেছেন মনিকা

Answer 1

সংক্ষেপে

উভয় একমুখী MANOVA এবং Lda বিভাগ মোট ছিটান ম্যাট্রিক্স decomposing দিয়ে শুরু মধ্যে ক্লাসের ছিটান ম্যাট্রিক্স মধ্যে ওয়াট মধ্যে ক্লাসের ছিটান ম্যাট্রিক্স বি , যেমন যে টি = ওয়াট + + বি । নোট যে এই সম্পূর্ণরূপে কিভাবে একমুখী ANOVA বিশ্লিষ্ট হয়েছে মোট যোগফল অফ স্কোয়ার অনুরূপ টি মধ্যে ক্লাসের মধ্যে ক্লাসের অঙ্কের-বর্গের মধ্যে: টি = বি + + ডব্লিউ । আনোভাতে একটি অনুপাত বি / ডাব্লু এর পরে গণনা করা হয় এবং পি-মানটি সন্ধান করতে ব্যবহৃত হয়: এই অনুপাতটি যত বড়, পি-মানটি তত কম। মানোভা এবং এলডিএ একটি বহুভুজ পরিমাণ ডাব্লু - $\mathbf T$$\mathbf W$$\mathbf B$$\mathbf T = \mathbf W + \mathbf B$$T$$T=B+W$$B/W$ ।$\mathbf W^{-1} \mathbf B$

এখান থেকে এগুলি আলাদা। মানোভার একমাত্র উদ্দেশ্য পরীক্ষা করা হ'ল যদি সমস্ত গোষ্ঠীর মাধ্যম একই হয়; এই নাল হাইপোথিসিসের অর্থ হ'ল ডাব্লু এর সাথে একই আকারের হওয়া উচিত । সুতরাং মানোভা ডাব্লু - 1 বি এর একটি ইজেনডিকম্পোজিশন সম্পাদন করে এবং এর ইজেনভ্যালুগুলি খুঁজে পায় λ i । তারা এখন নাল প্রত্যাখ্যান করার জন্য যথেষ্ট বড় কিনা তা পরীক্ষা করে দেখার জন্য। ইগেনভ্যালুগুলির পুরো সেটটির বাইরে একটি স্কেলার পরিসংখ্যান গঠনের চারটি সাধারণ উপায় রয়েছে λ i । একটি উপায় হ'ল সমস্ত ইগেনভ্যালুগুলির যোগফল নেওয়া। আরেকটি উপায় হ'ল সর্বাধিক ইগন্যালু নেওয়া। প্রতিটি ক্ষেত্রে, নির্বাচিত পরিসংখ্যান যদি যথেষ্ট বড় হয় তবে নাল অনুমানটি বাতিল হয়ে যায় is$\mathbf B$$\mathbf W$$\mathbf W^{-1} \mathbf B$$\lambda_i$$\lambda_i$

বিপরীতে, এলডিএ ইজেনডিকম্পোজেশন সম্পাদন করে এবং ইগেনভেেক্টরগুলিতে (ইগেনভ্যালু নয়) দেখায়। এই আইজেনভেেক্টরগুলি চলক স্থানের দিকনির্দেশকে সংজ্ঞায়িত করে এবং তাদেরকে বৈষম্যমূলক অক্ষ বলে । প্রথম বৈষম্যমূলক অক্ষের উপর ডেটা প্রকাশের ক্ষেত্রে সর্বোচ্চ শ্রেণি বিচ্ছেদ রয়েছে ( বি / ডাব্লু হিসাবে পরিমাপ করা হয় ); দ্বিতীয় একের উপর - দ্বিতীয় সর্বোচ্চ; ইত্যাদি যখন এলডিএটি মাত্রিকতা হ্রাসের জন্য ব্যবহৃত হয়, তখন ডেটা প্রজেক্ট করা যেতে পারে যেমন প্রথম দুটি অক্ষের উপর, এবং বাকীগুলি বাতিল করা হয়।$\mathbf W^{-1} \mathbf B$$B/W$

অন্য একই থ্রেডে অন্য একটি থ্রেডে @ttnphns দ্বারা একটি দুর্দান্ত উত্তরও দেখুন ।

উদাহরণ

আসুন আমরা নির্ভরশীল ভেরিয়েবল এবং কে = 3 টি পর্যবেক্ষণের গ্রুপগুলির (যেমন তিনটি স্তরের একটি ফ্যাক্টর) সাথে একমুখী কেস বিবেচনা করি । আমি সুপরিচিত ফিশারের আইরিস ডেটাসেট নেব এবং কেবল সেপালের দৈর্ঘ্য এবং সেপালের প্রস্থ (এটি দ্বি-মাত্রিক করতে) বিবেচনা করব। এখানে ছড়িয়ে পড়া প্লটটি রয়েছে:$M=2$$k=3$

আমরা পৃথকভাবে sepal দৈর্ঘ্য / প্রস্থ উভয় সঙ্গে ANOVA গণনা দিয়ে শুরু করতে পারেন। এক্স এবং ওয়াই অক্ষের উপর উলম্ব বা অনুভূমিকভাবে উপস্থাপিত ডেটা পয়েন্টগুলি কল্পনা করুন এবং তিনটি গ্রুপের একই উপায়ে রয়েছে কিনা তা পরীক্ষার জন্য 1-দিকের ANOVA সম্পাদিত হয়েছিল। আমরা সিপাল দৈর্ঘ্যের জন্য এবং পি = 10 - 31 এবং সিপাল প্রস্থের জন্য এফ 2 , 147 = 49 এবং পি = 10 - 17 পাই। ঠিক আছে, সুতরাং আমার উদাহরণটি বেশ খারাপ কারণ দুটি উপায়ে হাস্যকর পি-মানগুলির সাথে তিনটি গ্রুপ উল্লেখযোগ্যভাবে পৃথক, তবে আমি যাইহোক এটির সাথে আটকে থাকব।$F_{2,147}=119$$p=10^{-31}$$F_{2,147}=49$$p=10^{-17}$

এখন আমরা একটি অক্ষ খুঁজে পেতে এলডিএ সঞ্চালন করতে পারি যা সর্বাধিক তিনটি ক্লাস্টারকে পৃথক করে। উপরে বর্ণিত হিসাবে, আমরা পরিপূর্ণ স্ক্যাটার ম্যাট্রিক্স , শ্রেণিবদ্ধ স্ক্যাটার ম্যাট্রিক্স ডাব্লু এবং শ্রেণির স্ক্যাটার ম্যাট্রিক্স বি = টি - ডাব্লু এর মধ্যে গণনা করব এবং ডাব্লু - 1 বি এর ইগেনভেেক্টর খুঁজে পাই । আমি একই স্ক্যাটারপ্লোতে উভয় ইগেনভেেক্টর প্লট করতে পারি:$\mathbf{T}$$\mathbf{W}$$\mathbf{B}=\mathbf{T}-\mathbf{W}$$\mathbf{W}^{-1}\mathbf{B}$

ড্যাশযুক্ত লাইনগুলি বৈষম্যমূলক অক্ষ। আমি তাদের নির্বিচারে দৈর্ঘ্যের সাথে চক্রান্ত করেছি, তবে দীর্ঘ অক্ষগুলি ইগেনভেেক্টরকে বৃহত্তর ইগেনভ্যালু (4.1) এবং সংক্ষিপ্ততর --- একটি ছোট ইগেনুয়ালু (0.02) সহ একটি দেখায়। লক্ষ্য করুন যে এগুলি অরথোগোনাল নয়, তবে এলডিএর গণিত গ্যারান্টি দেয় যে এই অক্ষগুলির উপরের অনুমানগুলি শূন্যের সাথে সম্পর্কযুক্ত have

$F=305$$p=10^{-53}$$p=10^{-5}$

$\mathbf{W}^{-1}\mathbf{B}$$B/W$$F=B/W \cdot (N-k)/(k-1) = 4.1\cdot 147/2 = 305$$N=150$$k=3$

$\lambda_1=4.1$$\lambda_2=0.02$$p=10^{-55}$

$F$$(8,4)$

$p=10^{-55}$$p=0.26$$p=10^{-54}$$\sim 5$$p\approx0.05$$p$

মানোভা বনাম এলডিএ মেশিন লার্নিং বনাম পরিসংখ্যান হিসাবে

এটি এখন বিভিন্ন মেশিন লার্নিং সম্প্রদায় এবং পরিসংখ্যান সম্প্রদায় কীভাবে একই জিনিসটির কাছে পৌঁছায় তার অন্যতম অনুকরণীয় কেস আমার কাছে মনে হয়। মেশিন লার্নিংয়ের প্রতিটি পাঠ্যপুস্তকে এলডিএকে অন্তর্ভুক্ত করা হয়েছে, দুর্দান্ত ছবি ইত্যাদি দেখানো হয়েছে তবে এটি কখনও মানোভা (যেমন বিশপ , হাস্টি এবং মারফি ) এর উল্লেখ করবে না । সম্ভবত কারণ লোকেদের এলডিএ শ্রেণিবদ্ধকরণের নির্ভুলতায় বেশি আগ্রহী (যা প্রায়শই প্রভাবের আকারের সাথে মিলে যায়), এবং গ্রুপ পার্থক্যের পরিসংখ্যানিক তাত্পর্যটিতে কোনও আগ্রহ নেই । অন্যদিকে, মাল্টিভারিয়েট বিশ্লেষণের পাঠ্যপুস্তকগুলি মানোভা অ্যাড বমি বমি ভাব নিয়ে আলোচনা করবে, প্রচুর ট্যাবুলেটেড ডেটা সরবরাহ করবে (অ্যারেগ) তবে খুব কমই এলডিএ এবং এমনকি বিরল উল্লেখ করে কোনও প্লট দেখায় (উদাঃঅ্যান্ডারসন , বা হ্যারিস ; তবে রেনচার ও ক্রিস্টেনসেন এবং হুবার্টি ও ওলেজনিককে এমনকি "মানোভা এবং বৈষম্যমূলক বিশ্লেষণ" বলা হয়)।

কারখানা মানোভা AN

ফ্যাক্টরিয়াল মানোভা অনেক বেশি বিভ্রান্তিকর, তবে এটি বিবেচনা করা আকর্ষণীয় কারণ এটি এলডিএ থেকে পৃথক পৃথক পৃথকভাবে এমন একটি অর্থে যে "ফ্যাক্টরিয়াল এলডিএ" সত্যই বিদ্যমান নেই, এবং ঘটনাকারী মানোভা সরাসরি কোনও "সাধারণ এলডিএ" এর সাথে মিলে যায় না।

$3\cdot 2=6$

এই চিত্রটিতে সমস্ত ছয় "কোষ" (আমি তাদের "গ্রুপ" বা "শ্রেণি "ও বলব) ভালভাবে পৃথক করা হয়েছে, যা অবশ্যই বাস্তবে খুব কমই ঘটে। মনে রাখবেন যে এখানে উভয় কারণের গুরুত্বপূর্ণ মুখ্য প্রভাব রয়েছে এবং এটি উল্লেখযোগ্য ইন্টারঅ্যাকশন প্রভাবও রয়েছে (কারণ উপরের-ডান দলটি ডানদিকে স্থানান্তরিত হয়েছে; যদি আমি এটির "গ্রিড" পজিশনে স্থানান্তরিত করি, তবে সেখানে কিছুই থাকবে না) মিথস্ক্রিয়া প্রভাব)।

এই ক্ষেত্রে মানোভা কম্পিউটেশন কীভাবে কাজ করবে?

$\mathbf W$$\mathbf B_A$$\mathbf B_A$$\mathbf W^{-1} \mathbf B_A$

$\mathbf B_B$$\mathbf B_{AB}$

$$\mathbf T = \mathbf B_A + \mathbf B_B + \mathbf B_{AB} + \mathbf W.$$ $\mathbf B$তিনটি ফ্যাক্টর অবদানের যোগফলকে অনন্যভাবে পচন করা যায় না কারণ কারণগুলি আর অর্থেগোনাল নয়; এটি আনোভাতে টাইপ I / II / III এসএসের আলোচনার অনুরূপ]]

$\mathbf B_A$$\mathbf W_A=\mathbf T - \mathbf B_A$

$\mathbf W^{-1} \mathbf B_A$

Comments

+1, এটি এটির একটি দুর্দান্ত অ্যাকাউন্ট ছিল। আমি পরিবর্তন B^-1 Wকরতে W^-1 B। অক্ষ হিসাবে আপনার বৈষম্যমূলক চিত্রগুলি আমার নিজস্ব চক্রান্তের সাথে সমান ; আমি বিশ্বাস করি যে আপনি একইরকম "ননোরথোগোনাল ঘূর্ণনটি সাধারণীকরণীয় আইজেনভেেক্টরগুলি" অনুসারে ব্যবহার করেছেন।

— ttnphns

আমি খানিকটা হেসেছি MANOVA accounts for the fact that we fitted the discriminant axis to get the minimum possible value and corrects for possible false positive। মানোভা অবশ্যই আমাদের এলডিএ করার বিষয়ে জানে না। মানোভা সহজেই আনোভা-র চেয়ে বেশি ডিএফ গ্রাস করে, কারণ এটি দ্বি-মাত্রিক পরীক্ষা, তাই পি-মানটির পাওয়ার -54 এর পরিবর্তে -54 হয়ে যায়।

— ttnphns

আমি সন্দেহ করি যে পি-মানের ক্ষেত্রে কথা বলা উচিত। পরিবর্তে, মানোভা যে মূল পয়েন্টটি W^-1 Bএলডিএর মতো একই ম্যাট্রিক্সকে বিশ্লেষণ করে। এলডিএ এর মধ্যে সুপ্ত পরিবর্তনশীল (বৈষম্যমূলক) তৈরি করে। মানোভা দেয় না; যাইহোক, এটি উপরের ম্যাট্রিক্সকে আরও বিস্তৃতভাবে অনুসন্ধান করে, বিভিন্ন পরিসংখ্যান (যেমন পিল্লাইয়ের ট্রেস, হটলিংয়ের ট্রেস) এর উপর ভিত্তি করে পরীক্ষার জন্য তাদের গণনা করে।

— ttnphns

এলডিএর বিপরীতে যে প্লটটি মানোভার রূপক হবে (এবং আমি মনে করি আপনি এটি আপনার উত্তরে যুক্ত করতে চান) (আপনার দ্বিতীয় চিত্র) সেই প্লট হবে যার উপরে 3 সেন্ট্রয়েডগুলি ড্যাশযুক্ত লাইনের মাধ্যমে গ্র্যান্ড সেন্ট্রয়েডের সাথে সংযুক্ত করা হয়েছে ।

— ttnphns

পরিশেষে, আমি মনে করি না যে আপনি পরিসংখ্যান এবং মেশিন লার্নিংয়ের তফাতটি এত বেশি সঠিক করেছেন। আমি machine learningপ্রথমবার শব্দটি শোনার আগে আমি পরিসংখ্যানগত ডেটা বিশ্লেষণ শিখেছি । এবং আমি যে পাঠ্যগুলি পড়েছিলাম তা এলএনএ নিয়ে মনোভা সহ বেশ কিছুটা আলোচনা করেছিল।

— ttnphns