উত্পাদক বনাম বৈষম্যমূলক

153

আমি জানি যে জেনারেটরিভ অর্থ " ভিত্তিক " এবং বৈষম্যমূলক অর্থ " উপর ভিত্তি করে " তবে আমি কয়েকটি বিষয় নিয়ে বিভ্রান্ত হয়েছি: $P(x,y)$ $P(y|x)$

উইকিপিডিয়া (+ ওয়েবে অনেকগুলি হিট) এসভিএম এবং সিদ্ধান্ত গাছের মতো জিনিসকে বৈষম্যমূলক বলে শ্রেণীবদ্ধ করে। তবে এগুলির সম্ভাব্য ব্যাখ্যাও নেই। এখানে বৈষম্যমূলক অর্থ কী? বৈষম্যমূলকভাবে কি এমন কিছু বোঝানো হয়েছে যা উত্পাদক নয়?
নায়েভ বয়েস (এনবি) উত্পাদক কারণ এটি এবং ক্যাপচার করে এবং এর ফলে আপনার (পাশাপাশি ) থাকে। বলা উচিত, লজিস্টিক রিগ্রেশন (বৈষম্যমূলক মডেলগুলির পোস্টার বয়) "জেনারেটরি" হিসাবে কেবল একই ধরণের গণনা করে এনবি হিসাবে একই স্বাধীনতার অনুমান, যেমন , যেখানে এমএলই জন্য কেবল ফ্রিকোয়েন্সি? $P(x|y)$ $P(y)$ $P(x,y)$ $P(y|x)$ $P(x)$ $P(x) = P(x_0) P(x_1) ... P(x_d)$ $P(x_i)$
আমি জানি যে বৈষম্যমূলক মডেলগুলি প্রজন্মের উত্পাদনগুলিকে ছাড়িয়ে যায়। উত্পাদক মডেলগুলির সাথে কাজ করার ব্যবহারিক ব্যবহার কী? ডেটা উত্পন্ন / সিমুলেট করতে সক্ষম হওয়ায় উদ্ধৃত হয় তবে এটি কখন প্রকাশিত হয়? আমার ব্যক্তিগতভাবে কেবলমাত্র রিগ্রেশন, শ্রেণিবিন্যাস, কোলাব নিয়ে অভিজ্ঞতা রয়েছে। কাঠামোগত ডেটার উপর ফিল্টারিং, তাই ব্যবহারগুলি কি এখানে আমার কাছে অপ্রাসঙ্গিক? "অনুপস্থিত ডেটা" আর্গুমেন্ট ( $P(x_i|y)$ অনুপস্থিত $x_i$ ) কেবলমাত্র প্রশিক্ষণের ডেটা দিয়েই আপনাকে একটি প্রান্ত দিচ্ছে (যখন আপনি আসলে জানেন $y$ এবং $P(y)$ জন্য প্রান্তিককরণের প্রয়োজন হবে না তুলনামূলকভাবে বোবা $P(x_i)$ যা আপনি যেভাবেই সরাসরি অনুমান করতে পারতেন), এবং তারপরেও অনুচ্ছেদে অনেক বেশি নমনীয় হয় (কেবল উপর ভিত্তি করেই নয় $y$ তবে অন্যান্য উপর ভিত্তি করেও ভবিষ্যদ্বাণী করতে পারেন $x_i$ )।
উইকিপিডিয়া থেকে সম্পূর্ণ দ্বন্দ্বমূলক উদ্ধৃতি দিয়ে কি? "জেনারেটাল মডেলগুলি জটিল শেখার কাজে নির্ভরতা প্রকাশের ক্ষেত্রে বৈষম্যমূলক মডেলের তুলনায় সাধারণত আরও নমনীয়" বনাম "বৈষম্যমূলক মডেলগুলি সাধারণত পর্যবেক্ষণকৃত এবং লক্ষ্য পরিবর্তকের মধ্যে আরও জটিল সম্পর্ক প্রকাশ করতে পারে"

সম্পর্কিত প্রশ্ন যা আমাকে এই সম্পর্কে ভাবছে।

machine-learning generative-models

— ইয়াং
সূত্র

5

(+1) আমি মনে করি যে পরিভাষাটি বিভ্রান্তিকর, এবং আমি

একটি মডেলকে SVM এর বিপরীতে শর্তাধীন বিতরণের জন্য জেনেরেটরি হিসাবে মনে করি, বলি যে, কেবলমাত্র বৈষম্যমূলক এই শর্তাধীন বিতরণের দিকগুলির মডেলগুলি উদ্দেশ্য। আপনার দ্বিতীয় বুলেটপয়েন্টটি দেখায়,

একটি মডেল সম্পূর্ণ জেনারেটরি মডেল হওয়ার জন্য বাড়ানো যেতে পারে। পার্থক্যটি একটি শেখার দিক থেকে প্রাসঙ্গিক কারণ আমরা

এবং গণনা

মডেল করতে পারি বা আমরা মডেল করতে পারি

P (y | x)

$P(y|x)$

P (y | x)

$P(y|x)$

P (x, y)

$P(x,y)$

P (y | x)

$P(y|x)$

।

P (y | x)

$P(y|x)$

— এনআরএইচ

2

আমি মনে করি না যে এসভিএমগুলি সম্পর্কে আপনার বক্তব্যটি সত্য: "তবে এগুলির সম্ভাব্য ব্যাখ্যাও নেই" " কোনও ক্ষতির ফাংশন সহ যে কোনও কিছুই যথাযথ পিডিএফের এমএপি কনফিগারেশন সন্ধান করে সম্ভাব্য ধারণাটিতে স্পষ্টভাবে ব্যাখ্যা করা যেতে পারে।

— gmatt

135

মৌলিক পার্থক্য বৈষম্যমূলক মডেল এবং সৃজক মডেলের মধ্যে হল:

বৈষম্যমূলক মডেলগুলি ক্লাসগুলির মধ্যে (কঠোর বা নরম) সীমানা শিখবে
জেনারেটাল মডেলগুলি পৃথক ক্লাস বিতরণের মডেল

আপনার সরাসরি প্রশ্নের উত্তর দিতে:

এসভিএম এবং সিদ্ধান্তের গাছগুলি বৈষম্যমূলক কারণ তারা শ্রেণীর মধ্যে সুস্পষ্ট সীমানা শিখছে। এসভিএম একটি সর্বাধিক মার্জিন শ্রেণিবদ্ধকারী, যার অর্থ এটি একটি সিদ্ধান্তের সীমানা শিখে যা একটি কর্নেল দিয়ে দুটি শ্রেণির নমুনার মধ্যে দূরত্বকে সর্বাধিক করে তোলে। একটি নমুনা এবং শিখে নেওয়া সিদ্ধান্তের সীমার মধ্যে দূরত্বটি এসভিএমকে "নরম" শ্রেণিবদ্ধকারী হিসাবে ব্যবহার করতে পারে। তথ্যপ্রযুক্তি (বা অন্য কোনও মাপদণ্ড) সর্বাধিকরূপে স্থানটি পুনরায় বিভাজন করে সিদ্ধান্তের সীমানা শিখেন s
এই পদ্ধতিতে লজিস্টিক রিগ্রেশনটির একটি জেনারেটর ফর্ম তৈরি করা সম্ভব। মনে রাখবেন যে আপনি শ্রেণিবিন্যাসের সিদ্ধান্ত নিতে পুরো জেনারেটরি মডেলটি ব্যবহার করছেন না।
আবেদনের উপর নির্ভর করে জেনারেটরি মডেলগুলি দিতে পারে এমন অনেকগুলি সুবিধা রয়েছে। বলুন যে আপনি স্টেশনহীন বিতরণগুলি নিয়ে কাজ করছেন, যেখানে অনলাইন পরীক্ষার ডেটা প্রশিক্ষণের ডেটার চেয়ে বিভিন্ন অন্তর্নিহিত বিতরণগুলির দ্বারা উত্পন্ন হতে পারে। কোনও এসভিএমের সিদ্ধান্তের সীমানার জন্য এটি করার চেয়ে বিতরণ পরিবর্তনগুলি সনাক্ত করা এবং তদনুসারে জেনারেটরি মডেল আপডেট করা আরও সহজ straight বিশেষত যদি অনলাইন আপডেটগুলি আপলোড না করা দরকার। বৈষম্যমূলক মডেলগুলি সাধারণত আউটলেট সনাক্তকরণের জন্য কাজ করে না, যদিও জেনারেটরি মডেলগুলি সাধারণত এটি করে। একটি নির্দিষ্ট অ্যাপ্লিকেশনটির জন্য সবচেয়ে ভাল যা অবশ্যই প্রয়োগের ভিত্তিতে মূল্যায়ন করা উচিত।
(এই উদ্ধৃতিটি বিশৃঙ্খলাযুক্ত, তবে আমি এটি যা বলার চেষ্টা করি বলে মনে করি) জেনারেটাল মডেলগুলি সাধারণত সম্ভাব্য গ্রাফিকাল মডেল হিসাবে নির্দিষ্ট করা হয়, যা ডেটাসেটে স্বাধীনতার সম্পর্কের সমৃদ্ধ প্রতিনিধিত্ব করে। বৈষম্যমূলক মডেলগুলি ডেটাসেটে বৈশিষ্ট্য এবং ক্লাসগুলির মধ্যে সম্পর্কের এমন সুস্পষ্ট উপস্থাপনা সরবরাহ করে না। প্রতিটি ক্লাসকে পুরোপুরি মডেল করার জন্য সংস্থানগুলি ব্যবহার করার পরিবর্তে তারা শ্রেণীর মধ্যে সীমানা মডেলিংয়ের দিকে মনোনিবেশ করে। একই পরিমাণের ক্ষমতার (যেমন, কম্পিউটার প্রোগ্রামে মডেলগুলি নির্ধারণের ক্ষেত্রে বিট) দেওয়া, একটি বৈষম্যমূলক মডেল জেনারেটরি মডেলের চেয়ে এই সীমানার আরও জটিল উপস্থাপনা পেতে পারে।

— benhamner
সূত্র

(\binom{k}{2})

$\binom{k}{2}$

k

$k$

k

$k$

63

(হামনের উত্তর দুর্দান্ত, সুতরাং সম্পূর্ণতার জন্য মেটাওপটিমাইজ থেকে আমার উত্তর ক্রস পোস্ট করুন))

$P(X|Y)$ $P(Y)$ $P(X, Y)$

উদাহরণস্বরূপ, গাউসিয়ান মিশ্রণ মডেল এবং কে-গড় ক্লাস্টারিংয়ের সাথে তুলনা করুন। পূর্বের ক্ষেত্রে, পয়েন্টগুলি কীভাবে উত্পন্ন হয় তার জন্য আমাদের একটি দুর্দান্ত সম্ভাব্য মডেল রয়েছে (কিছুটা সম্ভাবনার সাথে একটি উপাদান বেছে নিন এবং তারপরে উপাদানটির গাউসীয় বিতরণ থেকে নমুনা বের করে একটি বিন্দু নির্গত করুন), তবে পরবর্তীটি সম্পর্কে আমরা সত্যিই বলতে পারি না।

$P(Y|X)$ $P(X|Y)$ $P(Y)$

1: বৈষম্যমূলক অ্যালগরিদমগুলি আপনাকে কীভাবে পয়েন্টগুলি উত্পন্ন হয় তার একটি মডেল সরবরাহ না করে পয়েন্টগুলি শ্রেণিবদ্ধ করার অনুমতি দেয়। সুতরাং এগুলি হয় হতে পারে:

$P(Y|X)$
বা অ-সম্ভাব্য অ্যালগরিদমগুলি যা ক্লাসের পয়েন্টগুলি থেকে সরাসরি ম্যাপিংগুলি শিখতে চেষ্টা করে (উদাহরণস্বরূপ, পেরসেপ্ট্রন এবং এসভিএমগুলি কেবল আপনাকে পৃথক পৃথক হাইপারপ্লেন দেয়, তবে নতুন পয়েন্ট উত্পন্ন করার কোনও মডেল নয়)।

হ্যাঁ, বৈষম্যমূলক শ্রেণিবদ্ধকারীরা এমন কোনও শ্রেণিবদ্ধকারী যা উত্পাদক হয় না।

এ সম্পর্কে চিন্তাভাবনার আরেকটি উপায় হ'ল জেনারেটরি অ্যালগরিদমগুলি আপনার মডেলটির জন্য কিছু ধরণের কাঠামো অনুমান করে তবে বৈষম্যমূলক অ্যালগরিদমগুলি কম অনুমান করে। উদাহরণস্বরূপ, নাইভ বায়েস আপনার বৈশিষ্ট্যগুলির শর্তাধীন স্বাধীনতা ধরেছে, তবে লজিস্টিক রিগ্রেশন (নায়েভ বেয়েসের বৈষম্যমূলক "প্রতিপক্ষ") তা গ্রহণ করে না।

$P(X|Y)$ $P(Y)$ $P(Y = English) = 0.7$ $P(Y = French) = 0.3$ ইংরেজি এবং ফরাসি শব্দ সম্ভাবনার পাশাপাশি আমরা এখন প্রথমে নথির ভাষা বেছে নিয়ে (সম্ভাব্য ০.7 সহ ইংরেজি, সম্ভাব্য ০.০ সহ ফরাসী) এবং তারপরে নির্বাচিত ভাষার শব্দ সম্ভাব্যতা অনুসারে শব্দ উত্পন্ন করে একটি নতুন নথি তৈরি করতে পারি।

$P(Y|X) \propto P(X|Y) P(Y)$ $P(X|Y)$ $P(Y)$ $P(Y|X)$

3: জেনারেটাল মডেলগুলি প্রায়শই ছোট ডেটাসেটগুলিতে বৈষম্যমূলক মডেলগুলিকে ছাড়িয়ে যায় কারণ তাদের জেনারেটাল অনুমানগুলি আপনার মডেলটিতে এমন কিছু কাঠামো স্থাপন করে যা অতিরিক্ত মানসিক চাপ প্রতিরোধ করে । উদাহরণস্বরূপ, আসুন নায়েভ বেয়েস বনাম লজিস্টিক রিগ্রেশন বিবেচনা করুন। নায়েভ বেয়েস অনুমানটি অবশ্যই খুব কমই সন্তুষ্ট, সুতরাং আপনার ডেটাসেটটি বাড়ার সাথে সাথে লজিস্টিক রিগ্রেশন নায়েভ বেয়েসকে ছাড়িয়ে যাবে (যেহেতু এটি নেভয়ে বেয়েস পারে না এমন নির্ভরতা ক্যাপচার করতে পারে)। তবে যখন আপনার কাছে কেবল একটি ছোট ডেটা সেট রয়েছে, লজিস্টিক রিগ্রেশন সম্ভবত এমন অদ্ভুত নিদর্শনগুলি গ্রহণ করতে পারে যা সত্যই বিদ্যমান নয়, তাই নেভে বয়েস আপনার মডেলটিতে একধরণের নিয়মিতরূপে কাজ করে যা অতিরিক্ত মানসিক চাপকে আটকা দেয়। এন্ড্রু এনজি এবং মাইকেল জর্ডানের একটি বৈষম্যমূলক বনাম জেনারেটরি ক্লাসিফায়ার সম্পর্কিত একটি কাগজ রয়েছে যা এই সম্পর্কে আরও আলোচনা করে।

4: আমি মনে করি এর অর্থ হ'ল জেনারেটরি মডেলগুলি যদি আপনার মডেলটি সঠিকভাবে নির্দিষ্ট করে থাকেন এবং মডেলটি প্রকৃতপক্ষে ধারণ করে তবে ডেটাগুলির অন্তর্নিহিত কাঠামোটি শিখতে পারে তবে বৈষম্যমূলক মডেলগুলি যদি আপনার জেনারেটিক অনুমানগুলি সন্তুষ্ট না হয় তবে (যেহেতু বৈষম্যমূলক অ্যালগরিদমগুলি হয় একটি নির্দিষ্ট কাঠামোর সাথে কম সংযুক্ত, এবং আসল বিশ্ব অগোছালো এবং অনুমানগুলি যাইহোক খুব কমই সন্তুষ্ট হয়)। (আমি সম্ভবত এই উদ্ধৃতিগুলি বিভ্রান্তিকর হলে এড়িয়ে যাব))

— raegtin
সূত্র