নাইভ বেয়েস মডেলে স্মুথিং

একজন নেভ বেইস ভবিষ্যদ্বাণী এই সূত্রটি ব্যবহার করে তার পূর্বাভাস দেয়:

P (Y = y | X = x) = α P (Y = y) \prod_{i} P (X_{i} = x_{i} | Y = y)

$P(Y=y|X=x) = \alpha P(Y=y)\prod_i P(X_i=x_i|Y=y)$

যেখানে একটি স্বাভাবিককরণের কারণ izing এর জন্য ডেটা থেকে পরামিতিগুলি অনুমান করা দরকার । আমরা যদি স্মোথিং দিয়ে এটি করি তবে আমরা অনুমানটি পাই get $\alpha$ $P(X_i=x_i|Y=y)$ $k$

\hat{P} (X_{i} = x_{i} | Y = y) = \frac{# {X_{i} = x_{i}, Y = y} + k}{# {Y = y} + n_{i} k}

$\hat{P}(X_i=x_i|Y=y) = \frac{\#\{X_i=x_i,Y=y\} + k}{\#\{Y=y\}+n_ik}$

যেখানে আছে সম্ভাব্য মান । আমি এই ভাল আছে। তবে, পূর্বের জন্য, আমাদের আছে $n_i$ $X_i$

\hat{P} (Y = y) = \frac{# {Y = y}}{N}

$\hat{P}(Y=y) = \frac{\#\{Y=y\}}{N}$

যেখানে ডেটা সেটে উদাহরণ রয়েছে। আমরা কেন পূর্বের মসৃণ না? বা বরং, আমরা কি পূর্বের মসৃণ? যদি তা হয় তবে আমরা কোন স্মুথিং প্যারামিটারটি বেছে নেব? এটি বেছে নেওয়ার জন্য কিছুটা নির্বোধ বলে মনে হচ্ছে , যেহেতু আমরা আলাদা গণনা করছি। Aক্যমত্য আছে কি? নাকি খুব বেশি কিছু যায় আসে না? $N$ $k$

machine-learning probability-theory statistics

— ক্রিস টেলর
সূত্র

প্রথম স্থানে ধূমপানের জন্য সাধারণ কারণ হ'ল কেসগুলি পরিচালনা করা যেখানে । যদি এটি না করা হয়, আমরা সর্বদা পেতাম যখনই এটি হত। $\#\{X_i = x_i | Y = y\} = 0$ $P(Y=y|X=x) = 0$

এটি ঘটে যখন উদাহরণস্বরূপ, পাঠ্য নথির শ্রেণিবদ্ধকরণ আপনি এমন একটি শব্দের মুখোমুখি হন যা আপনার প্রশিক্ষণ ডেটাতে ছিল না বা সুনির্দিষ্ট কোনও শ্রেণিতে উপস্থিত হয়নি।

অন্যদিকে, শ্রেণীর পূর্বের সম্ভাবনা, এই পরিস্থিতিটি দেখা উচিত নয়। এর যদি এটির অর্থ হয় তবে আপনি ক্লাসগুলিতে অবজেক্টগুলি অর্পণ করার চেষ্টা করছেন যা এমনকি প্রশিক্ষণের ডেটাতে উপস্থিত হয়নি। $P(Y = y)$

এছাড়াও, আমি স্মোথিং শব্দটির মুখোমুখি হইনি। ল্যাপ্লেস বা অ্যাডিটিভ স্মুথিং আরও সাধারণ। $k$

— সরু
সূত্র

সাধারণভাবে স্মুথ করার কারণ হ'ল ডেটা অত্যধিক ফিট করা এড়ানো। যে ক্ষেত্রে কয়েকটি শ্রেণির গণনা শূন্য, কেবলমাত্র ওভারফিটের একটি বিশেষ কেস (এটি বিশেষত খারাপ হতে পারে)। আপনি এখনও প্রতিটি শ্রেণি পর্যবেক্ষণ করা হলে সম্ভাব্যতাগুলি মসৃণ করতে চাইতে পারেন। আমি মনে করি আমি আপাত অসম্পূর্ণতায় বিরক্ত - ল্যাপ্লেস স্মুথিং আপনার ডেটা সেটে অতিরিক্ত পর্যবেক্ষণ আছে তা ধরে নিয়েই মিলছে। পূর্বের ফিট করার সময় আপনি কেন এই পর্যবেক্ষণগুলিকে উপেক্ষা করবেন?

— ক্রিস টেলর 21

আমার পক্ষে যুক্তি হতে পারে যে ক্লাসটি মসৃণ করার আগে এর কম ধারণা করা সম্ভব নয়, যেহেতু এমএলইয়ের জন্য এর অনুমানের তুলনায় অনেক ভাল হতে পারে । আমার ক্লাসের অনুমানটি পক্ষপাতদুষ্ট বলে বিশ্বাস করার কারণ যদি আমি পাই তবে আমি একটি বৈধতা সেট রেখে দেব এবং ক্লাস প্রিয়ারগুলিকে নিজেই টুইট করব। আমার অভিজ্ঞতা হিসাবে, অত্যধিক মানসিক চাপ নিখুঁত বায়েসের সাথে সমস্যা হিসাবে কম (তার বৈষম্যমূলক অংশ, লজিস্টিক রিগ্রেশনের বিপরীতে) থাকে। আপনি সম্ভবত বায়েশিয়ান চিকিত্সা পছন্দ করতে চান ?

P (Y = y)

$P(Y = y)$

P (X_{i} = x_{i} | Y = y)

$P(X_i = x_i | Y = y)$

— অল্টো

"এই পরিস্থিতিটি হওয়া উচিত নয়। এটির অর্থ যদি এটি হয় তবে আপনি ক্লাসে অবজেক্টগুলি অর্পণ করার চেষ্টা করছেন যা এমনকি প্রশিক্ষণের ডেটাতে উপস্থিত হয়নি"। আহ ... কোনও শ্রেণিবদ্ধকারী কীভাবে এমন কোনও শ্রেণীর উদ্দেশ্যে এমন কোনও বিষয় বরাদ্দ করবে যা এটি আগে কখনও দেখা হয়নি (যেমন, প্রশিক্ষণের ডেটাতে নেই)?

— জেমেনকে

, সমস্যা স্বাভাবিকভাবে জিরো-শট শেখার হিসাবে উল্লেখ করা হয় @Jemenake উদাহরণস্বরূপ দেখুন শব্দার্থিক আউটপুট কোড সঙ্গে জিরো-শট শিক্ষণ

— Alto

আমরা যখন প্রশিক্ষণ ডেটা সেট ব্যবহার করে মডেলটিকে প্রশিক্ষণ দিই, আমরা প্রশিক্ষণের ডেটা সেটটিতে শব্দগুলি ব্যবহার করে একটি ভোকাব তৈরি করতে পারি, সুতরাং পরীক্ষার সেটটিতে পূর্বাভাস দেওয়ার সময় কেন কেবল ভোকাব নয় এমন নতুন শব্দগুলি সরিয়ে দেওয়া হবে না?

— অ্যাভোকাডো