কেএনএন কি বৈষম্যমূলক শিক্ষার অ্যালগরিদম?

17

দেখে মনে হচ্ছে কেএনএন একটি বৈষম্যমূলক শিক্ষার অ্যালগরিদম তবে আমি এটির নিশ্চয়তা দেওয়ার মতো কোনও অনলাইন উত্স খুঁজে পাচ্ছি না।

machine-learning classification k-nearest-neighbour

— jpmuc
সূত্র

19

কেএনএন হ'ল একটি বৈষম্যমূলক অ্যালগরিদম যেহেতু এটি প্রদত্ত শ্রেণীর অন্তর্গত একটি নমুনার শর্তাধীন সম্ভাবনার মডেল । এটি দেখতে কেবল কেএনএন-এর সিদ্ধান্তের নিয়মে কীভাবে যায় তা বিবেচনা করুন।

একটি শ্রেণীর লেবেল পয়েন্টগুলির একটি সংখ্যার সাথে সামঞ্জস্য করে যা বৈশিষ্ট্য স্পেস কিছু অঞ্চলের অন্তর্গত $R$ । আপনি যদি প্রকৃত সম্ভাব্যতা বিতরণ, $p(x)$ স্বতন্ত্রভাবে নমুনা পয়েন্টগুলি আঁকেন , তবে সেই শ্রেণি থেকে নমুনা আঁকার সম্ভাবনা হ'ল,

P = \int_{R} p (x) d x

$P = \int_{R} p(x) dx$

আপনার যদি $N$ পয়েন্ট থাকে? সম্ভাব্যতা যে $K$ সেই পয়েন্ট $N$ পয়েন্ট অঞ্চলে পড়া $R$ দ্বিপদ বিন্যাস, অনুসরণ

P r o b (K) = (\binom{N}{K}) P^{K} (1 - P)^{N - K}

$Prob(K) = {{N} \choose {K}}P^{K}(1-P)^{N-K}$

যেহেতু এই বিতরণটি তীব্রভাবে শীর্ষে পৌঁছেছে, যাতে সম্ভাব্যতা তার গড় মান দ্বারা $N \to \infty$ । একটি অতিরিক্ত আনুমানিকতা হ'লউপর সম্ভাব্যতা বন্টনপ্রায় ধ্রুবক থেকে যায়, যাতে কেউদ্বারাঅনুমান করতে পারে যেখানেঅঞ্চলের মোট আয়তন volume এই অনুমানের অধীনে $\frac{K}{N}$ $R$

P = \int_{R} p (x) d x \approx p (x) V

$P = \int_{R} p(x) dx \approx p(x)V$

V

$V$

।

p (x) \approx \frac{K}{N V}

$p(x) \approx \frac{K}{NV}$

এখন, আমাদের বেশ কয়েকটি ক্লাস থাকলে আমরা প্রত্যেকটির জন্য একই বিশ্লেষণ পুনরাবৃত্তি করতে পারি, যা আমাদের দেয়, যেখানেশ্রেণীরথেকে পয়েন্টের পরিমাণযা এই অঞ্চলের মধ্যে পড়ে এবংহ'ল শ্রেণিএর সাথে সম্পর্কিত পয়েন্টগুলির সংখ্যা। নোটিশ।

পি (এক্স | {সি}_{ট}) = \frac{{কে}_{ট}}{{এন}_{ট} ভী}

$p(x|C_{k}) = \frac{K_{k}}{N_{k}V}$

K_{k}

$K_{k}$

k

$k$

N_{k}

$N_{k}$

C_{k}

$C_k$

\sum_{k} N_{k} = N

$\sum_{k}N_{k}=N$

দ্বি দ্বি বিতরণের সাথে বিশ্লেষণ পুনরাবৃত্তি করা, এটি সহজেই আমরা সহজেই অনুমান করতে পারি যে পূর্বের । $P(C_{k}) = \frac{N_{k}}{N}$

বেয়েস বিধি ব্যবহার করে, যা কেএনএন-এর জন্য নিয়ম।

P (C_{k} | x) = \frac{p (x | C_{k}) p (C_{k})}{p (x)} = \frac{K_{k}}{K}

$P(C_{k}|x) = \frac{p(x|C_{k})p(C_{k})}{p(x)} = \frac{K_{k}}{K}$

— jpmuc
সূত্র

2

রেফারেন্সটি কেএনএন সম্পর্কিত কোনও তথ্য অন্তর্ভুক্ত করে না। এটা কি ঠিক?

— বায়ারজ

1

আমি এর অর্থ হ'ল জেনারেটর বনাম একটি বৈষম্যমূলক অ্যালগরিদমের জন্য যা বোঝা যায় তা বাড়িয়ে দেওয়া।

— jpmuc

5

@Jpmuc- এর উত্তর সঠিক বলে মনে হচ্ছে না। জেনারেটাল মডেলগুলি অন্তর্নিহিত ডিস্ট্রিবিউশন পি (এক্স / সিআই) মডেল করে এবং পরবর্তীকালে পরবর্তী সম্ভাবনাগুলি খুঁজে পাওয়ার জন্য বায়েস উপপাদ্যটি ব্যবহার করে। ঠিক এই উত্তরটিতে প্রদর্শিত হয়েছে এবং ঠিক এর বিপরীতে সিদ্ধান্ত নিয়েছে। হে

কেএনএন জেনারেটরি মডেল হওয়ার জন্য, আমাদের সিন্থেটিক ডেটা তৈরি করতে সক্ষম হওয়া উচিত। দেখে মনে হচ্ছে একবার আমাদের কিছু প্রাথমিক প্রশিক্ষণের ডেটা থাকলে এটি সম্ভব is তবে কোনও প্রশিক্ষণের ডেটা থেকে শুরু করা এবং সিন্থেটিক ডেটা তৈরি করা সম্ভব নয়। সুতরাং কেএনএন জেনারেটিভ মডেলগুলির সাথে দুর্দান্তভাবে ফিট করে না।

কেউ তর্ক করতে পারে যে কেএনএন একটি বৈষম্যমূলক মডেল কারণ আমরা শ্রেণিবিন্যাসের জন্য বৈষম্যমূলক সীমারেখা আঁকতে পারি, বা আমরা উত্তর পি (সিআই / এক্স) গণনা করতে পারি। তবে জেনারেটরি মডেলগুলির ক্ষেত্রেও এগুলি সত্য। সত্যিকারের বৈষম্যমূলক মডেল অন্তর্নিহিত বিতরণ সম্পর্কে কিছুই বলে না। তবে কেএনএন-এর ক্ষেত্রে আমরা অন্তর্নিহিত বিতরণ সম্পর্কে অনেক কিছু জানি, প্রকৃতপক্ষে আমরা পুরো প্রশিক্ষণের সেটটি সংরক্ষণ করে চলেছি।

সুতরাং দেখে মনে হচ্ছে কেএনএন হ'ল উত্পাদক এবং বৈষম্যমূলক মডেলগুলির মাঝামাঝি। সম্ভবত সে কারণেই কেএনএন নামক নিবন্ধগুলিতে কোনও উত্পাদনশীল বা বৈষম্যমূলক মডেলের অধীনে শ্রেণিবদ্ধ করা হয়নি। আসুন তাদের কেবল পরামিতি মডেল বলি।

— বিনু জসিম
সূত্র

আমি একমত না. "জেনারেটরি ক্লাসিফায়ারগুলি ইনপুট এক্স এবং লেবেল y এর যৌথ সম্ভাবনার, পি (x, y) এর একটি মডেল শিখেছে এবং পি (ylx) গণনা করার জন্য বেয়েস বিধি ব্যবহার করে এবং তারপরে সম্ভবত সম্ভাব্য লেবেল বেছে নিয়ে তাদের ভবিষ্যদ্বাণী করে বৈষম্যমূলক শ্রেণিবদ্ধীরা সরাসরি পোস্ট পিয়ার (ylx) মডেল করেন বা ক্লাসের লেবেলগুলিতে ইনপুট এক্স থেকে সরাসরি মানচিত্র শিখুন "। "বৈষম্যমূলক বনাম বনাম জেনারেটরি ক্লাসিফায়ারগুলি দেখুন: লজিস্টিক রিগ্রেশন এবং

— নিষ্পাপ

3

আমি এমন একটি বইয়ের সামনে এসেছি যা বিপরীতে বলে ( যেমন একটি জেনারেটরি ননপ্যারামেট্রিক ক্লাসিফিকেশন মডেল)

এটি হ'ল অনলাইন লিঙ্ক: মুরফি দ্বারা মেশিন লার্নিং একটি সম্ভাব্য দৃষ্টিভঙ্গি , কেভিন পি। (২০১২)

এখানে বইয়ের উদ্ধৃতি:

— গুরোল ক্যানব্যাক
সূত্র

অবশ্যই একটি ভুল হতে হবে ..

1

আমি সম্মত হই যে কেএনএন বৈষম্যমূলক। কারণটি হ'ল এটি স্পষ্টভাবে কোনও (সম্ভাব্য) মডেলটি সংরক্ষণ বা সংরক্ষণ করার চেষ্টা করে না যা ডেটা ব্যাখ্যা করে (যেমন নাইভ বেয়েসের বিপরীতে) explains

জুমপা দ্বারা উত্তর আমাকে বিভ্রান্ত করে, আমার বোধগম্যভাবে, একটি উত্পাদনশীল শ্রেণিবদ্ধকারী হ'ল ডেটা কীভাবে উত্পন্ন হয় (উদাহরণস্বরূপ একটি মডেল ব্যবহার করে) তা বোঝানোর চেষ্টা করে, এবং সেই উত্তর বলে যে এটি এই কারণে বৈষম্যমূলক ...

— আমির
সূত্র

1

একটি জেনারেটরি মডেল পি (সিকে, এক্স) শেখে, যাতে আপনি এই যৌথ বিতরণটি ব্যবহার করে আরও ডেটা তৈরি করতে পারেন। বিপরীতে, একটি বৈষম্যমূলক মডেল পি (সিকে | এক্স) শিখতে পারে। @ জুমাপা এটিই কেএনএন দ্বারা নির্দেশ করছে।

— ঝুবার্ব

1

শ্রেণিবিন্যাসের সময়, ভবিষ্যদ্বাণী করতে শর্তাধীন সম্ভাবনাগুলি ব্যবহার করে জেনারেটর এবং বৈষম্যমূলক উভয়ই শেষ হয়। তবে, জেনারেটরি ক্লাসিফায়াররা যৌথ সম্ভাবনাটি শিখে এবং বেয়েস নিয়ম অনুসারে এটি শর্তসাপেক্ষকে গণনা করে, বৈষম্যমূলকভাবে কোনও শ্রেণিবদ্ধকারী হয় হয় সরাসরি শর্তসাপেক্ষে গণনা করে, বা এটি যতটা পেতে পারে তার জন্য একটি প্রাকদর্শন সরবরাহ করে।

— রপাইও