বৈষম্যমূলক বিশ্লেষণের তিনটি সংস্করণ: পার্থক্য এবং কীভাবে সেগুলি ব্যবহার করবেন


26

এই তিনটি বিশ্লেষণ কীভাবে ব্যবহার করতে হয় কেউ পার্থক্য ব্যাখ্যা করতে এবং নির্দিষ্ট উদাহরণ দিতে পারে?

  • এলডিএ - লিনিয়ার বৈষম্য বিশ্লেষণ
  • এফডিএ - ফিশারের বৈষম্যমূলক বিশ্লেষণ
  • কিউডিএ - চতুর্ভুজ বৈষম্য বিশ্লেষণ

আমি সর্বত্র অনুসন্ধান করেছি, তবে এই বিশ্লেষণগুলি কীভাবে ব্যবহৃত হয় এবং ডেটা গণনা করা হয় তা দেখতে প্রকৃত মানগুলির সাথে প্রকৃত উদাহরণগুলি খুঁজে পাইনি, কেবলমাত্র প্রচুর সূত্র যা কোনও বাস্তব উদাহরণ ছাড়াই বোঝা শক্ত। যেহেতু আমি বুঝতে চেষ্টা করেছি এটি আলাদা করা শক্ত ছিল যে কোন সমীকরণ / সূত্রগুলি এলডিএর সাথে সম্পর্কিত এবং কোনটি এফডিএর সাথে সম্পর্কিত।

উদাহরণস্বরূপ বলা যাক যে এই জাতীয় ডেটা রয়েছে:

x1 x2 class
1  2  a
1  3  a
2  3  a
3  3  a
1  0  b
2  1  b
2  2  b

এবং কিছু টেস্টিং ডেটা বলি:

x1 x2
2  4
3  5
3  6

তাহলে এই তিনটি পদ্ধতির সাথে কীভাবে এই জাতীয় ডেটা ব্যবহার করবেন? হাতের দ্বারা কীভাবে সমস্ত কিছু গণনা করা যায় তা দেখা ভাল, কিছু গণিত প্যাকেজ না ব্যবহার করা যা পর্দার আড়ালে থাকা সমস্ত কিছু গণনা করে।

পিএস আমি কেবল এই টিউটোরিয়ালটি পেয়েছি: http://people.revoledu.com/kardi/tutorial/LDA/LDA.html#LDA । এটি এলডিএ কীভাবে ব্যবহার করবেন তা দেখায়।

উত্তর:


23

"ফিশারের বৈষম্যমূলক বিশ্লেষণ" কেবল 2 ক্লাসের পরিস্থিতিতে এলডিএ । যখন হাতে মাত্র 2 টি শ্রেণি গণনা সম্ভব হয় এবং বিশ্লেষণ সরাসরি একাধিক রিগ্রেশন সম্পর্কিত হয়। এলডিএ হ'ল ফিশারের ধারণার যে কোনও শ্রেণীর সংখ্যার পরিস্থিতি সম্পর্কে সরাসরি সম্প্রসারণ এবং এটি গণনা করতে ম্যাট্রিক্স বীজগণিত ডিভাইস (যেমন আইজেন্ডেকম্পোজেশন) ব্যবহার করে। সুতরাং, "ফিশারের বৈষম্যমূলক বিশ্লেষণ" শব্দটি আজ অপ্রচলিত হিসাবে দেখা যেতে পারে। পরিবর্তে "লিনিয়ার বৈষম্য বিশ্লেষণ" ব্যবহার করা উচিত। এছাড়াও দেখুন । 2+ শ্রেণীর (বহু-বর্গ) সঙ্গে Discriminant বিশ্লেষণ ক্যানোনিকাল তার আলগোরিদিম দ্বারা (ক্যানোনিকাল variates যেমন নির্যাস dicriminants); বিরল শব্দ "বিবিধ বৈষম্য বিশ্লেষণ"

ফিশার বৈষম্যমূলক কার্যটি গণনার পরে বস্তুগুলিকে শ্রেণিবদ্ধ করার জন্য "ফিশার শ্রেণিবদ্ধকরণ ফাংশন" নামে ডাকা হত। আজকাল, এলডিএ পদ্ধতির মধ্যে অবজেক্টগুলিকে শ্রেণিবদ্ধ করার জন্য আরও সাধারণ বায়েসের পদ্ধতির ব্যবহার করা হয়।

: Lda বিভাগ এর ব্যাখ্যা জন্য আপনার অনুরোধ আমি এই আমার উত্তর আপনার পাঠাতে পারে Lda বিভাগ মধ্যে নিষ্কাশন , Lda বিভাগ মধ্যে শ্রেণীবিন্যাস , সংশ্লিষ্ট পদ্ধতি মধ্যে Lda বিভাগ । এছাড়াও এই , এই , এই প্রশ্ন এবং উত্তর।

আনোভা যেমন সমান বৈকল্পিকের অনুমানের প্রয়োজন, তেমনি এলডিএর জন্য সমান বৈচিত্র্য-কোভারিয়েন্স ম্যাট্রিকেস (ইনপুট ভেরিয়েবলের মধ্যে) শ্রেণীর অনুমান প্রয়োজন। এই ধারণাটি বিশ্লেষণের শ্রেণিবিন্যাসের পর্যায়ে গুরুত্বপূর্ণ। যদি ম্যাট্রিকগুলি যথেষ্ট পরিমাণে পৃথক হয় তবে পর্যবেক্ষণগুলি ক্লাসে নির্ধারিত হবে যেখানে পরিবর্তনশীলতা বেশি। সমস্যা কাটিয়ে উঠতে কিউডিএ আবিষ্কার হয়েছিল in কিউডিএ হ'ল এলডিএর একটি পরিবর্তন যা ক্লাসের 'কোভারিয়েন্স ম্যাট্রিক্সের উপরের বৈপরীত্যের জন্য অনুমতি দেয়।

আপনার যদি ভিন্ন ভিন্নতা রয়েছে (যেমন বক্সের এম টেস্ট দ্বারা সনাক্ত করা হয়েছে) এবং আপনার কাছে কিডিএ না রয়েছে, আপনি এখনও শ্রেণিবদ্ধকরণে বৈষম্যমূলক ব্যক্তিদের পৃথক কোভরিয়েন্স ম্যাট্রিক্সের (পোল্ড ম্যাট্রিক্সের পরিবর্তে) ব্যবহারের শাসনে এলডিএ ব্যবহার করতে পারেন । এটি আংশিকভাবে সমস্যাটি সমাধান করে, যদিও কিউডিএর তুলনায় কম কার্যকরভাবে, কারণ - যেমনটি ঠিক উল্লেখ করা হয়েছে - এগুলি বৈষম্যমূলকদের মধ্যে ম্যাট্রিক এবং মূল ভেরিয়েবলগুলির মধ্যে নয় (যা ম্যাট্রিকগুলি পৃথক হয়)।

আমাকে আপনার নিজের উদাহরণ ডেটা বিশ্লেষণ করতে ছেড়ে দিন।


উত্তর দিন @ zyxue এর উত্তর এবং মন্তব্য

এলডিএ হ'ল আপনি যা সংজ্ঞা দিয়েছেন তা এফডিএ আপনার উত্তরে রয়েছে। এলডিএ প্রথমে লিনিয়ার কন্সট্রাক্টসগুলি (বৈষম্যবাদী বলা হয়) উত্তোলন করে যা বিচ্ছিন্নকরণের মধ্যে মধ্যে সর্বাধিক করে তোলে এবং তারপরে (গাউসিয়ান) শ্রেণিবিন্যাস সম্পাদন করতে ব্যবহার করে। যদি (যেমন আপনি বলছেন) বৈষম্যমূলকদের উত্তোলনের জন্য এলডিএর সাথে বাঁধা না থাকলে এলডিএ কেবল গাউস শ্রেণিবদ্ধ হিসাবে উপস্থিত হবে, কোনও নামেই "এলডিএ" লাগবে না।

এটি সেই শ্রেণিবিন্যাসের পর্যায়ে যেখানে এলডিএ ক্লাসগুলির স্বাভাবিকতা এবং বৈচিত্র্য-কোভেরিয়েন্স উভয়ই গ্রহণ করে । নিষ্কাশন বা Lda বিভাগ এর "dimensionality কমানো" পর্যায় অনুমান রৈখিকতা এবং ভ্যারিয়েন্স-সহভেদাংক সমসত্ত্বতা , দুই অনুমানের একসঙ্গে "রৈখিক বিচ্ছেদযোগ্যতা" করে সম্ভবপর। (আমরা বৈষম্য তৈরি করতে সিঙ্গেল ম্যাট্রিক্স ব্যবহার করি যার ফলে কোভেরিয়েন্স ম্যাট্রিক্সের মধ্যে পরিচয় , যা আমাদেরকে সমস্ত শ্রেণিতে শ্রেণিবদ্ধ করার জন্য একই ধরণের বৈষম্যমূলক প্রয়োগের অধিকার দেয়। যদি সমস্ত একইরকম থাকে তবে শ্রেণি covariances সব একই, পরিচয়; তাদের ব্যবহার করার অধিকার নিখুঁত হয়ে যায়।)SwSw

গাউসিয়ান শ্রেণিবদ্ধকারী (এলডিএর দ্বিতীয় পর্যায়ে) বৈষম্যকারীদের দ্বারা শ্রেণিগুলিতে পর্যবেক্ষণ দেওয়ার জন্য বেয়েস বিধি ব্যবহার করে। একই ফলাফলটি তথাকথিত ফিশার লিনিয়ার শ্রেণিবদ্ধকরণ ফাংশনগুলির মাধ্যমে সম্পন্ন করা যায় যা মূল বৈশিষ্ট্যগুলি সরাসরি ব্যবহার করে। তবে বৈষম্যমূলক ভিত্তিক বায়েসের দৃষ্টিভঙ্গি কিছুটা সাধারণ যে এটি একটি পৃথক শ্রেণীর বৈষম্যমূলক সমবায় ম্যাট্রিকগুলিও ব্যবহার করতে দেয়, একটি পুল ব্যবহারযোগ্য ডিফল্ট পদ্ধতি ছাড়াও। এছাড়াও, এটি বৈষম্যকারীদের একটি উপসেটের ভিত্তিতে শ্রেণিবদ্ধকরণের অনুমতি দেবে।

যখন মাত্র দুটি শ্রেণি থাকে, তখন এলডিএর উভয় স্তরের একক পাসে একসাথে বর্ণনা করা যায় কারণ "ল্যাটেন্টস এক্সট্রাকশন" এবং "পর্যবেক্ষণের শ্রেণিবিন্যাস" একই কাজের ক্ষেত্রে হ্রাস করে।


আমি মনে করি আমার মেশিন লার্নিং কোর্সে শিখার কথা মনে আছে যে গাউসিয়ান 2-শ্রেণীর এলডিএ গাউসিয়ান ঘনত্ব গ্রহণ করে এবং বায়সিয়ান এমপিই নিয়ম ব্যবহার করে তবে ফিশারের এলডিএ গাউসীয় অনুমান করে না এবং অনুকূল মানদণ্ডকে এসএনআর সর্বাধিকতর করে তোলে changes এই উত্তরটি আপনার সাথে জড়িত?
অস্টিন

1
@ জ্যাকও এই সম্পর্কে আগ্রহী হলেন, এই উত্তরে: stats.stackexchange.com/questions/87975/… , বলা হয়েছে যে ফলাফলটি একই। মন্তব্য?
ডোল

আপনি কি নিশ্চিত "" ফিশারের বৈষম্যমূলক বিশ্লেষণ "কেবল 2 ক্লাসের পরিস্থিতিতে এলডিএ"?
zyxue

@zyxue, 95% নিশ্চিত, তবে যাইহোক আমি শব্দটি অপ্রচলিত মনে করি। দয়া করে আমার পাদটীকা দেখুন stats.stackexchange.com/q/190806/3277 এ
ttnphns

@ ttnphns, fyi, youtu.be/hGKt0yy9q_E?t=3010 অনুসারে , এফডিএ এবং এলডিএ প্রায়শই সাহিত্যে মিশে থাকে। উভয়কে আলাদা করার একটি উপায়, এফডিএ হ'ল বৈশিষ্ট্য নিষ্কাশন পদ্ধতি, যখন এলডিএ এবং কিউডিএ শ্রেণিবদ্ধকরণ কৌশল।
zyxue

1

@Ttnphns এর পরামর্শ অনুসারে দ্বি-শ্রেণীর জন্য এফডিএ হ'ল এলডিএ বলে সম্মত হওয়া আমার পক্ষে কঠিন।

আমি অধ্যাপক আলী ঘোড়সির এই বিষয়ে দুটি তথ্যমূলক এবং সুন্দর বক্তৃতার সুপারিশ করছি:

  1. এলডিএ এবং কিউডিএ । এছাড়াও স্ট্যাটিস্টিকাল লার্নিং ( পিডিএফ ) বইয়ের পৃষ্ঠা 108-এ এলডিএর বক্তৃতার সাথে সামঞ্জস্যপূর্ণ বর্ণনা রয়েছে।
  2. এফডিএ

আমার কাছে, এলডিএ এবং কিউডিএ উভয়ই গাউসীয় অনুমানের সাথে শ্রেণিবিন্যাস কৌশল হিসাবে একই ification উভয়ের মধ্যে একটি প্রধান পার্থক্য হ'ল এলডিএ বৈশিষ্ট্যটি উভয় শ্রেণির কোভেরিয়েন্স ম্যাট্রিক্সগুলি একই হিসাবে ধরে নিয়েছে, যার ফলস্বরূপ একটি লিনিয়ার সিদ্ধান্তের সীমানা তৈরি হয়। বিপরীতে, কিউডিএ কম কঠোর এবং বিভিন্ন শ্রেণীর জন্য বিভিন্ন বৈশিষ্ট্য সমবায় ম্যাট্রিককে অনুমতি দেয়, যা চতুর্ভুজ সংক্রান্ত সিদ্ধান্তের সীমানায় নিয়ে যায়। চতুর্ভুজ সংক্রান্ত সিদ্ধান্তের সীমানাটি কীভাবে দেখায় তা ধারণা পাওয়ার জন্য সাইকিট-শিখার থেকে নিম্নলিখিত চিত্রটি দেখুন ।

সাবপ্লটগুলিতে কিছু মন্তব্য :

  • শীর্ষ সারিতে: যখন কোভেরিয়েন্স ম্যাট্রিকগুলি ডেটাতে প্রকৃতপক্ষে একই থাকে, তখন এলডিএ এবং কিউডিএ একই সিদ্ধান্তের সীমানায় নিয়ে যায়।
  • নীচের সারি: যখন সমবায় ম্যাট্রিকগুলি আলাদা হয়, তখন অনুমানটি অবৈধ হয়ে যায় বলে এলডিএ খারাপ পারফরম্যান্সের দিকে পরিচালিত করে, যখন কিউডিএ আরও শ্রেণীবিন্যাস সম্পাদন করে।

অন্যদিকে, এফডিএ একটি খুব আলাদা প্রজাতি, গৌসান অনুমানের সাথে কিছুই করার নেই। এফডিএ যা করার চেষ্টা করে তা হ'ল শ্রেণীর ভিন্নতা হ্রাস করার সময় শ্রেণির মধ্যবর্তী দূরত্বকে সর্বাধিক করার জন্য একটি রৈখিক রূপান্তর খুঁজে পাওয়া । ২ য় বক্তৃতা এই ধারণাটি সুন্দরভাবে ব্যাখ্যা করেছে। এলডিএ / কিউডিএর বিপরীতে, এফডিএ শ্রেণিবদ্ধকরণ করে না, যদিও এফডিএর দ্বারা রূপান্তরিত হওয়ার পরে প্রাপ্ত বৈশিষ্ট্যগুলি শ্রেণিবিন্যাসের জন্য ব্যবহার করা যেতে পারে, যেমন এলডিএ / কিউডিএ, বা এসভিএম বা অন্য ব্যবহার করে।


2
আপনার উত্তর আমার উত্তর আমার উত্তর দেখুন। আপনার লিঙ্ক করা ভিডিও পাঠ আমি দেখিনি, তাই আমি এটির সাথে একমত হতে পারি কিনা তা বলতে পারি না। আপনি যে উত্তরটি দিচ্ছেন (এলডিএ বনাম এফডিএ) এর ব্যাখ্যা / সংজ্ঞার সাথে আমি সম্মত নই। তবে এটি - দুটি শর্তের সংজ্ঞা - আমার কাছে খুব গুরুত্বপূর্ণ বিষয় নয়। এটি কীভাবে কাজ করে তা বোঝা আরও গুরুত্বপূর্ণ।
ttnphns

2
যদি আপনার বুঝতে হয় FDA doesn't do classification, although the features obtained after transformation found by FDA could be used for classificationতবে আমি বলব এটিই আমি "এলডিএর নিষ্কাশন পর্ব" বলি। অবশ্যই, এই নিষ্কাশন করা বৈশিষ্ট্যগুলি (বৈষম্যমূলক কার্যাদি) - আপনি এগুলি নিজের পছন্দ মতো ব্যবহার করতে পারেন। স্ট্যান্ডার্ড এলডিএ শ্রেণিবিন্যাসে এগুলি গাউস শ্রেণিবদ্ধ হিসাবে ব্যবহৃত হয়।
ttnphns

আমি কৌতূহলী যে আপনি কোথায় পড়েছিলেন যে " এলডিএ প্রথমে লিনিয়ার কনস্ট্রাক্টসকে (বৈষম্যবাদী বলা হয়) আহরণ করে" ? আমি ভেবেছিলাম এটিকে লিনিয়ার বৈষম্যমূলক বলা হয় কারণ সিদ্ধান্তের সীমানা লিনিয়ার, যা ধরে নেওয়া যায় যে বৈশিষ্ট্যটি কোভারিয়েন্স ম্যাট্রিক্স বিভিন্ন শ্রেণীর জন্য একই। একইভাবে, কিউডিএর একটি চতুর্ভুজ সংক্রান্ত সিদ্ধান্তের সীমানা রয়েছে। এগুলি এম্বেড করা চিত্রগুলিতেও প্রদর্শিত হয়। উপরের ভিডিওগুলি পাশাপাশি আমি উল্লেখ করছি পরিসংখ্যান শেখার উপাদানসমূহ ( পিডিএফ । পৃষ্ঠা 108, এটি বৈশিষ্ট্য নিষ্কাশন কোনো উল্লেখ সঙ্গে Lda বিভাগ বর্ণনা শুরু হয়।
zyxue

সামগ্রিকভাবে, আমি মনে করি আমরা একই জিনিস সম্পর্কে কথা বলছি, তবে এটি জিনিসগুলির নামকরণের একটি উপায়। আপনি মনে করেন এলডিএ = বৈশিষ্ট্য_অবিধান + শ্রেণিবিন্যাস, তবে আমার রেফারেন্সের উপর ভিত্তি করে, এলডিএ কেবল শ্রেণিবিন্যাস সম্পর্কিত। এখানে বৈশিষ্ট্য_প্রযুক্তি অংশকে এফডিএ বলা হয়। গুরুত্বপূর্ণভাবে , এখানে জড়িত শ্রেণীর সংখ্যা নিয়ে এখানে কিছুই করার নেই। এলডিএ এবং এফডিএ উভয়ই দুটিরও বেশি শ্রেণির সাথে ডিল করতে পারে।
zyxue

আমরা যে সংজ্ঞাগুলি ব্যবহার করি তা আটকে থাকতে পারি। যাইহোক, একটি অবশ্যই খেয়াল করা উচিত যে "লিনিয়ার কনস্ট্রাক্টস" এবং "লিনিয়ার সিদ্ধান্ত সীমানা" সম্পর্কিত, ডিএ প্রসঙ্গে তারা একই জিনিস সম্পর্কে। আপনার সীমারেখাটি সিদ্ধান্তের সীমানার সাথে সোজা লাইন হিসাবে দেখুন। আপনি যখন খুব শ্রেণিবিন্যাসকে রূপান্তরিত করেন, বৈষম্যমূলক ক্রিয়াকলাপটি গোলাকৃতির হওয়ার উপবৃত্তগুলি সীমানায় অবিকল লম্ব হবে। আসলে, এখানে "প্রাথমিক" জিনিসটি বৈষম্যমূলক ফাংশন, একটি পরিবর্তনশীল, একটি মাত্রা, যখন সিদ্ধান্তের সীমানা এটির দিকের উপর নির্ভর করে স্থানের সীমানা। ডিসেম্বর সীমানা "গৌণ"।
ttnphns
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.