দয়া করে, আমি কেবল একটি শিক্ষানবিস তা মনে রেখে, জেনারেটরি এবং একটি বৈষম্যমূলক অ্যালগরিদমের মধ্যে পার্থক্য বুঝতে আমাকে সহায়তা করুন ।
দয়া করে, আমি কেবল একটি শিক্ষানবিস তা মনে রেখে, জেনারেটরি এবং একটি বৈষম্যমূলক অ্যালগরিদমের মধ্যে পার্থক্য বুঝতে আমাকে সহায়তা করুন ।
উত্তর:
ধরা যাক আপনার কাছে ইনপুট ডেটা রয়েছে x
এবং আপনি ডেটাগুলিকে লেবেলে শ্রেণিবদ্ধ করতে চান y
। একজন সৃজক মডেল শিখে যৌথ সম্ভাব্যতা বিতরণের p(x,y)
এবং পক্ষপাতমূলক মডেল শিখে শর্তাধীন সম্ভাব্যতা বিতরণের p(y|x)
- যা আপনি পড়া উচিত "এর সম্ভাব্যতা y
দেওয়া x
" ।
এখানে একটি সত্যিই সহজ উদাহরণ। ধরুন আপনার ফর্মটিতে নিম্নলিখিত তথ্য রয়েছে (x,y)
:
(1,0), (1,0), (2,0), (2, 1)
p(x,y)
হয়
y=0 y=1
-----------
x=1 | 1/2 0
x=2 | 1/4 1/4
p(y|x)
হয়
y=0 y=1
-----------
x=1 | 1 0
x=2 | 1/2 1/2
আপনি যদি এই দুটি ম্যাট্রিকগুলিতে তাকাতে কয়েক মিনিট সময় নেন তবে আপনি দুটি সম্ভাবনা বিতরণের মধ্যে পার্থক্য বুঝতে পারবেন।
বন্টন p(y|x)
একটি প্রদত্ত উদাহরণ classifying জন্য প্রাকৃতিক বন্টন হয় x
একটি বর্গ মধ্যে y
, যা কেন আলগোরিদিম যা মডেল এই সরাসরি বলা হয় পক্ষপাতমূলক আলগোরিদিম। জেনারেটরি অ্যালগরিদম মডেল p(x,y)
, যা p(y|x)
বেয়েস বিধি প্রয়োগ করে এবং পরে শ্রেণিবিন্যাসের জন্য ব্যবহার করে রূপান্তরিত হতে পারে used তবে বিতরণটি p(x,y)
অন্যান্য উদ্দেশ্যেও ব্যবহার করা যেতে পারে। উদাহরণস্বরূপ, যদি আপনি ব্যবহার করতে পারে p(x,y)
থেকে উৎপন্ন সম্ভবত (x,y)
জোড়া।
উপরের বর্ণনা থেকে আপনি ভাবতে পারেন যে জেনারেটাল মডেলগুলি আরও সাধারণভাবে কার্যকর এবং সেইজন্য আরও ভাল তবে এটি এতটা সহজ নয়। এই কাগজটি বৈষম্যমূলক বনাম জেনারেটরি ক্লাসিফায়ার সম্পর্কিত একটি খুব জনপ্রিয় রেফারেন্স, তবে এটি বেশ ভারী চলছে। সামগ্রিক সারাংশটি হ'ল বৈষম্যমূলক মডেলগুলি সাধারণত শ্রেণিবদ্ধকরণের ক্ষেত্রে জেনারেটরি মডেলগুলিকে ছাড়িয়ে যায়।
p(y|x)
সেই মডেলটিকে "বৈষম্যমূলক মডেল" বলা হয় সেই আলগোরিদিমকে কেন বোঝায়।
একটি জেনারেটর অ্যালগরিদম মডেল কীভাবে কোনও সংকেত শ্রেণিবদ্ধ করার জন্য ডেটা উত্পন্ন হয়েছিল। এটি প্রশ্নটি জিজ্ঞাসা করে: আমার প্রজন্মের অনুমানের উপর ভিত্তি করে, কোন বিভাগটি এই সংকেতটি তৈরি করার সম্ভাবনা সবচেয়ে বেশি?
একটি বৈষম্যমূলক অ্যালগরিদম কীভাবে ডেটা তৈরি হয়েছিল তা যত্ন করে না, এটি কেবল একটি প্রদত্ত সংকেতকে শ্রেণীবদ্ধ করে।
ভাবুন আপনার কাজটি কোনও ভাষায় একটি বক্তৃতাকে শ্রেণিবদ্ধ করা।
আপনি এটি দ্বারা এটি করতে পারেন:
অথবা
প্রথমটি হ'ল জেনারেটর অ্যাপ্রোচ এবং দ্বিতীয়টি হ'ল বৈষম্যমূলক পদ্ধতির।
আরও বিশদের জন্য এই রেফারেন্সটি দেখুন: http://www.cedar.buffalo.edu/~srihari/CSE574/Discriminative-Generative.pdf ।
অনুশীলনে, মডেলগুলি নিম্নলিখিত হিসাবে ব্যবহৃত হয়।
ইন বৈষম্যমূলক মডেল , লেবেল ভবিষ্যদ্বাণী করা y
প্রশিক্ষণ উদাহরণ থেকে x
, আপনি মূল্যায়ন করতে হবে:
যা কেবলমাত্র সবচেয়ে সম্ভবত শ্রেণীর y
বিবেচনা করে তা বেছে নেয় x
। আমরা ক্লাসগুলির মধ্যে সিদ্ধান্তের সীমানা মডেল করার চেষ্টা করেছিলাম এমনটাই । নিউরাল নেটওয়ার্কগুলিতে এই আচরণটি অত্যন্ত স্পষ্ট, যেখানে গণিত ওজনকে একটি জটিল আকারের বক্ররেখার মতো স্থানের কোনও শ্রেণীর উপাদানগুলিকে পৃথক করে দেখা যায়।
এখন, বয়েসের নিয়ম ব্যবহার করে সমীকরণটি এর দ্বারা প্রতিস্থাপন করুন । যেহেতু আপনি কেবল আর্গ সর্বাধিক আগ্রহী তাই আপনি ডিনোমিনেটরকে মুছতে পারেন, এটি প্রত্যেকের জন্য সমান হবে y
। সুতরাং, আপনি বাকি আছে
আপনি উত্পাদক মডেলগুলিতে ব্যবহার করেন এমন সমীকরণ ।
প্রথম ক্ষেত্রে আপনি ছিল শর্তাধীন সম্ভাব্যতা বিতরণের p(y|x)
, যা শ্রেণীর মধ্যে সীমা অনুকরণে, দ্বিতীয় আপনি ছিল যৌথ সম্ভাব্যতা বিতরণের p(x, y)
, যেহেতু p(x | y) p(y) = p(x, y)
, যা স্পষ্টভাবে মডেলের প্রতিটি বর্গ প্রকৃত বন্টন ।
যৌথ সম্ভাব্যতা বিতরণ ফাংশন সহ, একটি দেওয়া হল y
, আপনি এর সম্পর্কিত ("উত্পন্ন") গণনা করতে পারেন x
। এই কারণে তাদের "জেনারেটরি" মডেল বলা হয়।
বিষয়টি সম্পর্কিত CS299 (অ্যান্ড্রু এনজি দ্বারা) এর বক্তৃতা নোটগুলির সর্বাধিক গুরুত্বপূর্ণ অংশটি , যা আমাকে সত্যই বৈষম্যমূলক এবং জেনারেটিক লার্নিং অ্যালগরিদমের মধ্যে পার্থক্য বুঝতে সহায়তা করে ।
ধরুন আমাদের কাছে দুটি শ্রেণির প্রাণী, হাতি ( y = 1
) এবং কুকুর ( y = 0
) রয়েছে। এবং এক্স হ'ল প্রাণীগুলির বৈশিষ্ট্য ভেক্টর।
একটি প্রশিক্ষণ সেট দেওয়া হয়েছে, লজিস্টিক রিগ্রেশন বা পারসেপ্ট্রন অ্যালগরিদম (মূলত) এর মতো একটি অ্যালগরিদম একটি সরল রেখা - অর্থাৎ, সিদ্ধান্তের সীমানা - যা হাতি এবং কুকুরকে পৃথক করে তা সন্ধান করার চেষ্টা করে। তারপরে, একটি নতুন প্রাণীটিকে একটি হস্তী বা কুকুর হিসাবে শ্রেণিবদ্ধ করার জন্য, সিদ্ধান্তের সীমানার কোন দিকে পড়ে তা পরীক্ষা করে এবং সে অনুযায়ী তার পূর্বাভাস দেয়। আমরা এই বৈষম্যমূলক শিক্ষার অ্যালগরিদম বলি ।
এখানে একটি ভিন্ন পদ্ধতির। প্রথমে, হাতির দিকে তাকিয়ে আমরা হাতির দেখতে কেমন এমন একটি মডেল তৈরি করতে পারি। তারপরে, কুকুরের দিকে তাকিয়ে আমরা কুকুর দেখতে কেমন তার একটি পৃথক মডেল তৈরি করতে পারি। পরিশেষে, একটি নতুন প্রাণীর শ্রেণিবদ্ধকরণ করার জন্য, আমরা হাতির মডেলের সাথে নতুন প্রাণীটির সাথে মেলাতে পারি এবং এটি কুকুরের মডেলের সাথে মেলে দেখতে পারি, নতুন প্রাণীটি হাতির মতো দেখায় বা কুকুরের মতো আমরা প্রশিক্ষণের সেটে দেখেছি কি না । আমরা এই জেনারেটর লার্নিং অ্যালগরিদম কল ।
সাধারণত, মেশিন লার্নিং কমিউনিটিতে এমন একটি অভ্যাস রয়েছে যা আপনি চান না এমন কিছু শিখবেন না। উদাহরণস্বরূপ, একটি শ্রেণিবদ্ধকরণ সমস্যাটি বিবেচনা করুন যেখানে একটির লক্ষ্য দেওয়া হয় যে প্রদত্ত এক্স ইনপুটটিতে y লেবেল নির্ধারণ করা। আমরা যদি জেনারেটরি মডেল ব্যবহার করি
p(x,y)=p(y|x).p(x)
আমাদের p (x) মডেল করতে হবে যা হাতে কাজটির জন্য অপ্রাসঙ্গিক। ডেটা স্বল্পতার মতো ব্যবহারিক সীমাবদ্ধতা আমাদের p(x)
কিছু দুর্বল স্বাধীনতা অনুমানের সাথে মডেল করতে বাধ্য করবে । সুতরাং, আমরা শ্রেণিবিন্যাসের জন্য স্বজ্ঞাতভাবে বৈষম্যমূলক মডেলগুলি ব্যবহার করি।
একটি অতিরিক্ত তথ্যমূলক পয়েন্ট যা উপরের স্টম্পচিকেনের উত্তরের সাথে ভাল।
মৌলিক পার্থক্য মধ্যে পার্থক্যসূচক মডেল এবং সৃজক মডেল হল:
বৈষম্যমূলক মডেলগুলি ক্লাসগুলির মধ্যে (কঠোর বা নরম) সীমানা শিখবে
জেনারেটাল মডেলগুলি পৃথক ক্লাস বিতরণের মডেল
সম্পাদনা:
জেনারেটরি মডেল হ'ল ডেটা তৈরি করতে পারে । এটি বৈশিষ্ট্য এবং শ্রেণি উভয়ই মডেল করে (অর্থাত্ সম্পূর্ণ ডেটা)।
আমরা যদি মডেল করি P(x,y)
: ডেটা পয়েন্ট উত্পন্ন করতে আমি এই সম্ভাব্যতা বন্টনটি ব্যবহার করতে পারি - এবং তাই সমস্ত অ্যালগরিদম মডেলিং P(x,y)
জেনারেটরি।
যেমন। উত্পাদক মডেল
নাইভ বেয়েস মডেল P(c)
এবং P(d|c)
- c
ক্লাসটি কোথায় এবং d
বৈশিষ্ট্য ভেক্টর।
এছাড়াও, P(c,d) = P(c) * P(d|c)
অতএব, কিছু ফর্ম মডেলগুলিতে নাইভ বয়েস, P(c,d)
বেয়েস নেট
মার্কভ নেট
একটি বৈষম্যমূলক মডেল এমনটি যা কেবলমাত্র ডেটা পয়েন্টগুলিকে বৈষম্য / শ্রেণিবদ্ধ করতে ব্যবহার করা যেতে পারে । আপনার কেবল এই P(y|x)
জাতীয় ক্ষেত্রে মডেল করতে হবে (যেমন বৈশিষ্ট্য ভেক্টর প্রদত্ত শ্রেণীর সম্ভাবনা)।
যেমন। বৈষম্যমূলক মডেলগুলির:
পণ্য সরবরাহ সংশ্লেষণ
নিউরাল নেটওয়ার্ক
শর্তাধীন র্যান্ডম ক্ষেত্র
সাধারণভাবে, জেনারেটাল মডেলগুলিকে বৈষম্যমূলক মডেলগুলির চেয়ে অনেক বেশি মডেল করা প্রয়োজন এবং তাই এটি কখনও কখনও কার্যকর হিসাবে কার্যকর হয় না। প্রকৃতপক্ষে, বেশিরভাগ (সমস্ত নিশ্চিত নয়) ক্লাস্টারিং ইত্যাদির মতো নিরীক্ষণযোগ্য শেখার অ্যালগরিদমগুলিকে জেনারেটরি বলা যেতে পারে, যেহেতু তারা মডেল করে P(d)
(এবং কোনও শ্রেণি নেই: পি)
পিএস: উত্তরের অংশটি উত্স থেকে নেওয়া হয়েছে
এখানে অনেক উত্তর ব্যাপকভাবে ব্যবহৃত গাণিতিক সংজ্ঞা [1] এর উপর নির্ভর করে:
- বৈষম্যমূলক মডেলগুলি সরাসরি শর্তাধীন ভবিষ্যদ্বাণীমূলক বিতরণ শিখবে
p(y|x)
।- উত্পাদক মডেলগুলি যৌথ বিতরণ
p(x,y)
(বা বরং,p(x|y)
এবংp(y)
) শিখেন ।
- ভবিষ্যদ্বাণীমূলক বিতরণ
p(y|x)
বায়েসের বিধি দ্বারা প্রাপ্ত করা যেতে পারে।
যদিও খুব দরকারী, এই সংকীর্ণ সংজ্ঞাটি তদারকি করা সেটিংটি ধরে নিয়েছে এবং নিরীক্ষণযোগ্য বা অর্ধ-তত্ত্বাবধানের পদ্ধতিগুলি পরীক্ষা করার সময় কম কার্যকর হয়। এছাড়া গভীর সৃজক মডেলিং জন্য অনেক সমসাময়িক পন্থা প্রযোজ্য নয় । উদাহরণস্বরূপ, এখন আমাদের অন্তর্ভুক্ত জেনারেটরি মডেল রয়েছে, যেমন জেনারেটাল অ্যাডভারসিয়াল নেটওয়ার্কস (জিএনএস), যা নমুনা-ভিত্তিক এবং সম্ভবত স্পষ্টভাবে সম্ভাব্যতা ঘনত্বকেও মডেল করে না p(x)
(পরিবর্তে বৈষম্যমূলক নেটওয়ার্কের মাধ্যমে একটি বিভাজন পরিমাপ শিখছে)। তবে আমরা তাদের "জেনারেটরি মডেল" বলি কারণ সেগুলি (উচ্চ-মাত্রিক [10]) নমুনা তৈরি করতে ব্যবহৃত হয়।
একটি বিস্তৃত এবং আরও মৌলিক সংজ্ঞা [2] এই সাধারণ প্রশ্নের পক্ষে সমানভাবে উপযুক্ত বলে মনে হচ্ছে:
- বৈষম্যমূলক মডেলগুলি ক্লাসগুলির মধ্যে সীমানা শিখে ফেলে।
- তাই তারা করতে পারেন বৈষম্য তথ্য দৃষ্টান্ত বিভিন্ন ধরণের মধ্যে।
- জেনারেটাল মডেলগুলি ডেটা বিতরণ শিখেন।
- সুতরাং তারা নতুন ডেটা উদাহরণ তৈরি করতে পারে ।
তা সত্ত্বেও, এই প্রশ্নটি কিছুটা মিথ্যা দ্বিবিজ্ঞান বোঝায় [3]। উত্পাদক-বৈষম্যমূলক "ডিকোটোমি" আসলে একটি বর্ণালী যা আপনি এমনকি সহজেই [4] এর মধ্যে বিভক্ত করতে পারেন।
ফলস্বরূপ, এই পার্থক্যটি নির্বিচারে এবং বিভ্রান্ত হয়ে যায়, বিশেষত যখন অনেক জনপ্রিয় মডেল ঝরঝরে করে একটি বা অন্যের মধ্যে পড়ে না [5,6], বা বাস্তবে সংকর মডেলগুলি (শ্রেণিবদ্ধ "বৈষম্যমূলক" এবং "জেনারেটরি" মডেলগুলির সংমিশ্রণ) when ।
তবুও এটি এখনও তৈরি করা অত্যন্ত কার্যকর এবং সাধারণ পার্থক্য। আমরা জেনারেটরিয়াল এবং বৈষম্যমূলক মডেলগুলির কিছু স্পষ্ট-কাট উদাহরণগুলি তালিকাভুক্ত করতে পারি, প্রচলিত এবং সাম্প্রতিক উভয় ক্ষেত্রে:
জেনারেটরি-ভেস্টিভেটিভ ডিভাইড [7] এবং বর্ণালী [৪,৮] এবং এমনকি বৈষম্যমূলক মডেলগুলিকে জেনারেটরি মডেলগুলিতে রূপান্তর করার জন্য আরও আকর্ষণীয় কাজ রয়েছে [9]।
শেষ পর্যন্ত, সংজ্ঞাগুলি ক্রমাগতভাবে বিকশিত হচ্ছে, বিশেষত এই দ্রুত বর্ধমান ক্ষেত্রগুলিতে :) এগুলিকে এক চিমটি লবণের সাথে নেওয়া ভাল এবং এমনকি নিজের এবং অন্যদের জন্য এগুলি পুনরায় সংজ্ঞায়িত করা ভাল।
পূর্ববর্তী সমস্ত উত্তর দুর্দান্ত, এবং আমি আরও একটি পয়েন্ট প্লাগ করতে চাই।
জেনারেটরি অ্যালগরিদম মডেলগুলি থেকে, আমরা কোনও বিতরণ পেতে পারি; যদিও আমরা বৈষম্যমূলক অ্যালগরিদম মডেলগুলি (বা আমরা বলতে পারি যে তারা কেবল Y এর লেবেলকে বৈষম্যমূলক করার জন্য দরকারী) থেকে শর্তাধীন বিতরণ পি (ওয়াই | এক্স) পেতে পারি, এবং এ কারণেই এটিকে বৈষম্যমূলক মডেল বলা হয়। বৈষম্যমূলক মডেল ধরে নেয় না যে X এর ওয়াই ($ X_i \ পের্প এক্স _ {- i} | ওয়াই $) প্রদত্ত স্বাধীন এবং সুতরাং শর্তসাপেক্ষে বিতরণ গণনার জন্য সাধারণত আরও শক্তিশালী।
আমার দুটি সেন্ট: বৈষম্যমূলক দৃষ্টিভঙ্গি পার্থক্যগুলিকে হাইলাইট করে জেনেরেটিক পদ্ধতিগুলি পার্থক্যের দিকে মনোযোগ দেয় না; তারা এমন একটি মডেল তৈরি করার চেষ্টা করে যা শ্রেণীর প্রতিনিধি। দুজনের মধ্যে ওভারল্যাপ রয়েছে। আদর্শভাবে উভয় পন্থা ব্যবহার করা উচিত: একটির মিল খুঁজে পেতে দরকারী এবং অন্যটি ডিস-মিলগুলি খুঁজে পেতে দরকারী।
একটি জেনারেটর অ্যালগরিদম মডেল প্রশিক্ষণের ডেটা থেকে সম্পূর্ণ শিখবে এবং প্রতিক্রিয়ার পূর্বাভাস দেবে।
একটি বৈষম্যমূলক অ্যালগরিদম কাজ কেবলমাত্র 2 টি ফলাফলের মধ্যে শ্রেণিবদ্ধ করা বা আলাদা করা ate
এই নিবন্ধটি ধারণাটি বুঝতে আমাকে অনেক সাহায্য করেছে।
সংক্ষেপে,
কিছু ভাল পড়ার উপাদান: শর্তাধীন সম্ভাবনা , জয়েন্ট পিডিএফ