নাইভ বেয়েস কীভাবে লিনিয়ার ক্লাসিফায়ার?

আমি এখানে অন্য থ্রেড দেখেছি তবে আমি মনে করি না উত্তরটি প্রকৃত প্রশ্নের সন্তুষ্ট। আমি যা নিয়মিত পড়েছি তা হ'ল নাইভ বেয়েস লিনিয়ার প্রতিক্রিয়া প্রদর্শনের সাহায্যে লিনিয়ার শ্রেণিবদ্ধ (যেমন: এখানে ) (যেমন এটি লিনিয়ার সিদ্ধান্তের সীমানা আঁকায়)।

যাইহোক, আমি দুটি গাউসিয়ান মেঘ সিমুলেটেড করে একটি সিদ্ধান্তের সীমানা লাগিয়েছি এবং ফল পেয়েছি (আরে লাইব্রেরি ই 1071, নাইভবেইস () ব্যবহার করে) 1- সবুজ, 0 - লাল

আমরা দেখতে পাচ্ছি, সিদ্ধান্তের সীমানা অ-রৈখিক। ক্লাসিফায়ার নিজেই ডেটা রৈখিকভাবে পৃথক করে না বলে প্যারামিটারগুলি (শর্তসাপেক্ষ সম্ভাবনাগুলি) লগ স্পেসে রৈখিক সংমিশ্রণ তা বলার চেষ্টা করছে?

classification naive-bayes

— কেভিন পেই
সূত্র

আপনি কীভাবে সিদ্ধান্তের সীমানা তৈরি করলেন? আমি শ্রেণিবদ্ধের সত্যিকারের সিদ্ধান্তের সীমানার চেয়ে আপনার ফিটনেস রুটিনের সাথে এটি করার সন্দেহ করি। আপনার চতুষ্কোণের প্রতিটি একক সময়ে সিদ্ধান্ত গণনা করে একজন সাধারণত সিদ্ধান্তের সীমা তৈরি করতে পারে।

— seanv507

এটিই আমি করলাম, আমি এক্স = [মিন (এক্স), সর্বাধিক (এক্স)] এবং ওয়াই = [মিন (ওয়াই), সর্বাধিক (ওয়াই)] এর দুটি রেঞ্জকে 0.1 এর ব্যবধানের সাথে নিয়েছি। আমি তখন সেই সমস্ত ডেটা পয়েন্ট প্রশিক্ষিত শ্রেণিবদ্ধের সাথে লাগিয়েছি এবং পয়েন্টগুলি খুঁজে পেয়েছি যে লগের বিরোধগুলি -0.05 এবং 0.05 এর মধ্যে ছিল

— কেভিন পেই

উত্তর:

সাধারণভাবে নিষ্পাপ বায়েস শ্রেণিবদ্ধকারী লিনিয়ার নয়, তবে সম্ভাবনা কারণগুলি পরিবারগুলির থেকে থাকলে , নিষ্পাপ বয়েস শ্রেণিবদ্ধ একটি নির্দিষ্ট বৈশিষ্ট্যের জায়গাতে লিনিয়ার শ্রেণিবদ্ধের সাথে মিল রাখে correspond এটি দেখতে কিভাবে এখানে। $p(x_i \mid c)$

আপনি যে কোনও নিরীহ বায়েস শ্রেণিবদ্ধকে লিখতে পারেন *

p (c = 1 ∣ x) = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right),$

যেখানে হ'ল লজিস্টিক ফাংশন । যদি কোনও তাত্পর্যপূর্ণ পরিবার থেকে থাকে তবে আমরা এটি লিখতে পারি $\sigma$ $p(x_i \mid c)$

p (x_{i} ∣ c) = h_{i} (x_{i}) \exp (u_{i c}^{⊤} ϕ_{i} (x_{i}) - A_{i} (u_{i c})),

$p(x_i \mid c) = h_i(x_i)\exp\left(\mathbf{u}_{ic}^\top \phi_i(x_i) - A_i(\mathbf{u}_{ic})\right),$

এবং অতঃপর

পি (গ = 1 | এক্স) = σ (\underset{আমি}{Σ} W_{আমি}^{⊤} φ_{আমি} ({এক্স}_{আমি}) + + খ),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \mathbf{w}_i^\top \phi_i(x_i) + b \right),$

কোথায়

\begin{aligned} W_{আমি} & = {তোমার দর্শন লগ করা}_{আমি 1} - {তোমার দর্শন লগ করা}_{আমি 0}, \\ খ & = লগ \frac{পি (গ = 1)}{পি (গ = 0)} - \underset{আমি}{Σ} ({একজন}_{আমি} ({তোমার দর্শন লগ করা}_{আমি 1}) - {একজন}_{আমি} ({তোমার দর্শন লগ করা}_{আমি 0})) । \end{aligned}

$\begin{align} \mathbf{w}_i &= \mathbf{u}_{i1} - \mathbf{u}_{i0}, \\ b &= \log \frac{p(c = 1)}{p(c = 0)} - \sum_i \left( A_i(\mathbf{u}_{i1}) - A_i(\mathbf{u}_{i0}) \right). \end{align}$

নোট করুন যে এটি লজিস্টিক রিগ্রেশন-এর অনুরূপ - লিনিয়ার ক্লাসিফায়ার - space দ্বারা নির্ধারিত বৈশিষ্ট্য । দুই শ্রেণীর বেশিের জন্য আমরা একত্রে বহু-জাতীয় লজিস্টিক (বা সফটম্যাক্স) রিগ্রেশন পাই । $\phi_i$

যদি গাউসিয়ান হয়, তবে এবং আমাদের $p(x_i \mid c)$ $\phi_i(x_i) = (x_i, x_i^2)$

\begin{aligned} w_{i 1} & = σ_{1}^{- 2} μ_{1} - σ_{0}^{- 2} μ_{0}, \\ w_{i 2} & = 2 σ_{0}^{- 2} - 2 σ_{1}^{- 2}, \\ b_{i} & = \log σ_{0} - \log σ_{1}, \end{aligned}

$\begin{align} w_{i1} &= \sigma_1^{-2}\mu_1 - \sigma_0^{-2}\mu_0, \\ w_{i2} &= 2\sigma_0^{-2} - 2\sigma_1^{-2}, \\ b_i &= \log \sigma_0 - \log \sigma_1, \end{align}$

অভিমানী । $p(c = 1) = p(c = 0) = \frac{1}{2}$

* এই ফলাফলটি কীভাবে অর্জন করা যায় তা এখানে:

\begin{aligned} পি (গ = 1 | এক্স) & = \frac{পি (এক্স | গ = 1) পি (গ = 1)}{পি (এক্স | গ = 1) পি (গ = 1) + + পি (এক্স | গ = 0) পি (গ = 0)} \\ = \frac{1}{1 + + \frac{পি (এক্স | গ = 0) পি (গ = 0)}{পি (এক্স | গ = 1) পি (গ = 1)}} \\ = \frac{1}{1 + + মেপুঃ (- লগ \frac{পি (এক্স | গ = 1) পি (গ = 1)}{পি (এক্স | গ = 0) পি (গ = 0)})} \\ = σ (\underset{আমি}{Σ} লগ \frac{পি ({এক্স}_{আমি} | গ = 1)}{পি ({এক্স}_{আমি} | গ = 0)} + + লগ \frac{পি (গ = 1)}{পি (গ = 0)}) \end{aligned}

$\begin{align} p(c = 1 \mid \mathbf{x}) &= \frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 1) p(c = 1) + p(\mathbf{x} \mid c = 0) p(c = 0)} \\ &= \frac{1}{1 + \frac{p(\mathbf{x} \mid c = 0) p(c = 0)}{p(\mathbf{x} \mid c = 1) p(c = 1)}} \\ &= \frac{1}{1 + \exp\left( -\log\frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 0) p(c = 0)} \right)} \\ &= \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right) \end{align}$

— লুকাস
সূত্র

আমি এখন যে অনুভূতিটি বুঝতে পেরেছি তার জন্য আপনাকে ধন্যবাদ, আপনি কি 2 এবং নীচের সমীকরণে স্বরলিপিগুলি ব্যাখ্যা করতে পারেন? (ইউ, এইচ (এক্স_আই), ফাই (এক্স_আই), ইত্যাদি) পি (x_i | সি) কেবল কোনও পিডিএফ থেকে মান গ্রহণ করা কোনও ক্ষতিকারক পরিবারের অধীনে?

— কেভিন পেই

আপনি এক এবং একই বিতরণকে প্রকাশ করতে পারেন বিভিন্ন উপায় ways দ্বিতীয় সমীকরণটি ক্যানোনিকাল আকারে একটি সূচকীয় পরিবার বিতরণ। অনেকগুলি বিতরণ সূচকীয় পরিবার (গৌসিয়ান, ল্যাপ্লেস, ডিরিচলেট, বার্নৌলি, দ্বিপদী, কেবলমাত্র কয়েকটি নাম রাখার জন্য), তবে তাদের ঘনত্ব / ভর ফাংশন সাধারণত প্রচলিত আকারে দেওয়া হয় না। সুতরাং আপনাকে প্রথমে বিতরণটিকে পুনরায় তৈরি করতে হবে। এই টেবিলটি আপনাকে বিভিন্ন বিতরণের জন্য কীভাবে (প্রাকৃতিক প্যারামিটার) এবং (পর্যাপ্ত পরিসংখ্যান) গণনা করতে হবে তা জানায় : en.wikedia.org/wiki/Exononal_family# টেবিল_অফ_বিষয়ক

u

$\mathbf{u}$

ϕ

$\phi$

— লুকাস

গুরুত্বপূর্ণ পয়েন্টটি লক্ষ্য করুন যে । এর অর্থ কী যে লিনিয়ার শ্রেণিবদ্ধীরা একটি লিনিয়ার সংমিশ্রণ এবং বৈশিষ্ট্যগুলির সম্ভাব্য অ-রৈখিক ফাংশনগুলি! সুতরাং, মূল পোস্টারের বিন্দুতে, ডেটাপয়েন্টগুলির একটি প্লট এটি কোনও লাইনের দ্বারা পৃথকযোগ্য নয় তা দেখায়।

ϕ (x) = (x, x^{2})

$\phi(x) = (x, x^2)$

w

$\mathbf{w}$

— আরএমমারফি

আমি এই উত্তরটিকে বিভ্রান্তিকর বলে মনে করি: ঠিক প্রায় মন্তব্যে যেমন উল্লেখ করা হয়েছে এবং ঠিক ঠিক নীচে উত্তর দেওয়া হয়েছে যে গাউসিয়ান নিখাদ বায়েস মূল বৈশিষ্ট্যের জায়গাতে লিনিয়ার নয়, তবে এগুলির একটি অ-লিনিয়ার রূপান্তরিত। সুতরাং এটি প্রচলিত লিনিয়ার শ্রেণিবদ্ধ নয়।

— গ্যাল ভেরাকোয়াক্স

কেন গসিয়ান, তারপর ? আমি মনে করি গাউসীয় বিতরণের জন্য পর্যাপ্ত পরিসংখ্যান হওয়া উচিত ।

p (x_{i} | c)

$p(x_i|c)$

ϕ_{i} (x_{i}) = (x_{i}, x_{i}^{2})

$\phi_i(x_i)=(x_i,x_i^2)$

T (x)

$T(x)$

x / σ

$x/\sigma$

— নাওমি

এটি শুধুমাত্র লিনিয়ার যদি শ্রেণি শর্তসাপেক্ষে ভেরিয়েন্স ম্যাট্রিকগুলি উভয় শ্রেণির জন্য একই থাকে। এটি দেখতে লগ পোস্টারিয়রগুলির রেশন লিখুন এবং যদি সম্পর্কিত বৈকল্পগুলি একই হয় তবে আপনি কেবল এটির থেকে একটি লিনিয়ার ফাংশন পাবেন। অন্যথায় এটি চতুর্ভুজ।

— axk
সূত্র

আমি একটি অতিরিক্ত পয়েন্ট যোগ করতে চাই: কিছু "বিভ্রান্তির কারণ" নায়েভ বেয়েস শ্রেণিবিন্যাস "করার অর্থ কী তা নিয়েই স্থির রয়েছে।

"গাউসীয় বৈষম্যমূলক বিশ্লেষণ (জিডিএ)" এর বিস্তৃত বিষয়ের অধীনে বেশ কয়েকটি কৌশল রয়েছে: কিউডিএ, এলডিএ, জিএনবি, এবং ডিএলডিএ (চতুর্ভুজ ডিএ, লিনিয়ার ডিএ, গাউসিয়ান বোদ্ধাগুলি, তির্যক এলডিএ)। [আপডেট হওয়া] প্রদত্ত ভবিষ্যদ্বাণীকারীদের জায়গায় এলডিএ এবং ডিএলডিএ লিনিয়ার হওয়া উচিত। (দেখুন, উদাহরণস্বরূপ, মার্ফি , 4.2, পৃষ্ঠা। 101 এর জন্য ডিএ এবং পৃষ্ঠা 82 এর জন্য এনবি। দ্রষ্টব্য: জিএনবি অগত্যা রৈখিক নয় Disc বিচ্ছিন্ন এনবি (যা হুডের অধীনে বহু-জাতীয় বিতরণ ব্যবহার করে) লিনিয়ার। আপনি ডুডাও পরীক্ষা করে দেখতে পারেন , হার্ট অ্যান্ড স্টার্ক বিভাগ 2.6)। কিউডিএ চতুর্ভুজযুক্ত যেমন অন্যান্য উত্তরগুলি নির্দেশ করেছে (এবং যা আমি মনে করি যা আপনার গ্রাফিকের মধ্যে ঘটছে - নীচে দেখুন)।

$\Sigma_c$

$\Sigma_c$
$\Sigma_c = \Sigma$
$\Sigma_c = {diag}_c$ $\rightarrow$
$\Sigma_c = diag$

যদিও ই 1071 এর নথিগুলি দাবি করেছে যে এটি শ্রেণিবদ্ধ শর্তাধীন স্বাধীনতা ধরে নিচ্ছে (যেমন, জিএনবি), আমি সন্দেহ করছি যে এটি আসলে কিউডিএ করছে। কিছু লোক "সরল বায়েশিয়ান শ্রেণিবিন্যাসের বিধি" দিয়ে "নিষ্পাপ বয়েস" (স্বাধীন ধারণা অনুধাবন) করে। জিডিএর সমস্ত পদ্ধতি পরবর্তী থেকে প্রাপ্ত; তবে কেবলমাত্র জিএনবি এবং ডিএলডিএই প্রাক্তন ব্যবহার করে।

একটি বড় সতর্কতা, আমি এটি করছে কি তা নিশ্চিত করার জন্য e1071 উত্স কোডটি পড়িনি।

— MrDrFenner
সূত্র