কেন লজিস্টিক রিগ্রেশন ভাল ক্যালিব্রেটেড মডেল উত্পাদন করে?

আমি বুঝতে পেরেছি যে ওয়েবে ক্লিক-থ্রো-রেটের পূর্বাভাস দেওয়ার জন্য লজিস্টিক রিগ্রেশন ঘন ঘন ব্যবহৃত হয় এটি হ'ল এটি ভাল-ক্যালিব্রেটেড মডেল তৈরি করে। এর জন্য কি গাণিতিক ব্যাখ্যা আছে?

regression logistic

— lsankar4033
সূত্র

সম্ভাব্যতাগুলি পূর্বাভাস দেওয়ার জন্য লজিস্টিক রিগ্রেশন করা হয়েছে -> যা ওভারফিটেড না হলে ক্যালিবিটেড পূর্বাভাস দেয়। যদিও বেশিরভাগ মেশিন লার্নিং মডেলগুলি প্রব্যাবিলাইটগুলি না, বরং একটি ক্লাসের পূর্বাভাস দেয় - এবং এই পূর্বাভাসগুলি থেকে সিউডো-প্রব্যাবিলাইটগুলি প্রাপ্ত করার কিছু বিপর্যয় রয়েছে -> সুতরাং ভালভাবে ক্রমাঙ্কিত করা উচিত

— চার্লস

আমার প্রশ্নটিতে স্পষ্ট করা উচিত ছিল, তবে এলআর সম্ভাব্যতার পূর্বাভাস দেওয়ার জন্য এতটা কার্যকর কেন এটি এমন ঘটনা কেন তা সম্পর্কে আমার প্রশ্নটি আরও ছিল।

— lsankar4033

এটি লক্ষণীয় যে আপনি কেবল ক্যালিব্রেটেড মডেলটি পাওয়ার জন্য দুর্বল-ক্যালিব্রেটেড শ্রেণিবদ্ধের আউটপুটে কেবল লজিস্টিক রিগ্রেশনটি ফিট করতে পারেন। একে বলা হয় প্ল্যাট স্কেলিং en.wikedia.org/wiki/Platt_scaling

— জেনেরিক_উজার

উত্তর:

হ্যাঁ.

লজিস্টিক রিগ্রেশন থেকে পূর্বাভাস সম্ভাব্য ভেক্টর ম্যাট্রিক্স সমীকরণকে সন্তুষ্ট করে $p$

X^{t} (p - y) = 0

$X^t(p - y) = 0$

যেখানে হ'ল নকশা ম্যাট্রিক্স এবং হ'ল প্রতিক্রিয়া ভেক্টর। এটি লিনিয়ার সমীকরণগুলির সংগ্রহ হিসাবে দেখা যেতে পারে, ডিজাইনের ম্যাট্রিক্স প্রতিটি কলাম থেকে উত্পন্ন একটি । $X$ $y$ $X$

ইন্টারসেপ্ট কলামে বিশেষজ্ঞ (যা ট্রান্সপোজড ম্যাট্রিক্সের একটি সারি), সম্পর্কিত লিনিয়ার সমীকরণ

\sum_{i} (p_{i} - y_{i}) = 0

$\sum_i( p_i - y_i) = 0$

সুতরাং সামগ্রিক গড় পূর্বাভাস সম্ভাব্যতা প্রতিক্রিয়ার গড়ের সমান।

আরও সাধারণভাবে, বাইনারি বৈশিষ্ট্য কলামের জন্য , সম্পর্কিত লিনিয়ার সমীকরণ $x_{ij}$

\underset{আমি}{Σ} {এক্স}_{আমি ঞ} ({পি}_{আমি} - Y_{আমি}) = \underset{আমি | {এক্স}_{আমি ঞ} = 1}{Σ} ({পি}_{আমি} - Y_{আমি}) = 0

$\sum_i x_{ij}(p_i - y_i) = \sum_{i \mid x_{ij} = 1}(p_i - y_i) = 0$

সুতরাং জন্য records রেকর্ডগুলিতে বিশেষীকরণের পরেও পূর্বাভাসযুক্ত সম্ভাবনার সমষ্টি (এবং সুতরাং গড়) প্রতিক্রিয়ার যোগফলের সমান । $x_{ij} = 1$

— ম্যাথু ড্রুরি
সূত্র

@ ম্যাথিউড্রুরি আমি আপনার প্রথম সমীকরণটি কীভাবে ব্যাখ্যা করতে পারি? হয় আকারে ? তা সত্ত্বেও এই রৈখিক সম্পর্ক ঝুলিতে? ধন্যবাদ!

p

$p$

1 / (1 + \exp (- x))

$1/(1+\exp(-x))$

— রিক

হ্যাঁ, পি সেই ফর্মের। প্রথম সমীকরণটি ক্ষতির ফাংশনের ডেরিভেটিভকে শূন্যে সেট করে আসে।

— ম্যাথু ড্রুরি

এটি কেবলমাত্র বৃহত আকারে ক্রমাঙ্কনকে সম্বোধন করে যা আমরা যা চাই না তা নয়: ক্ষুদ্রতর আকারে ক্যালিব্রেশন।

— ফ্র্যাঙ্ক হ্যারেল

@ ফ্র্যাঙ্কহারেল বিস্তৃত করার জন্য যত্ন? আমি এই শর্তগুলি আগে শুনিনি।

— ম্যাথু ড্রুরি

মার্কিন আবহাওয়া পরিষেবা 1950 দ্বারা সংযুক্ত সম্ভাবনার পূর্বাভাস সাহিত্যের একটি দীর্ঘ ইতিহাস রয়েছে - সেখানেই প্রথম বারেরির স্কোর ব্যবহার হয়েছিল। ছোট আকারে ক্যালিব্রেশন এর অর্থ হ'ল 0.01, 0.02, ..., 0.99 এর পূর্বাভাসযুক্ত ঝুঁকিগুলি যদি পর্যালোচনা করা হয় তবে এগুলির প্রত্যেকটি যথাযথ, অর্থাত্ যখন প্রতিবেদনের ঝুঁকি 0.4 ছিল তার ফলাফলগুলি 0.4 প্রায় ঘটেছিল সময়. আমি পরের পদক্ষেপটিকে "ক্যালিব্রেশন-ইন-দ্য-ক্ষুদ্র" বলি: যে পুরুষদের মধ্যে পূর্বাভাস 0.4 ছিল সে সময়ের ফলাফল ছিল 0.4, তারপর মহিলাদের জন্য।

— ফ্র্যাঙ্ক হ্যারেল

আমি মনে করি যে আমি আপনাকে নীচের মতো একটি সহজ-সরল বোঝার ব্যাখ্যা সরবরাহ করতে পারি:

আমরা জানি যে এর ক্ষতি ফাংশনটি নিম্নলিখিত ফাংশন হিসাবে প্রকাশ করা যেতে পারে:

জে (θ) = - \frac{1}{মি} Σ_{আমি = 1}^{মি} [Y^{(আমি)} লগ (জ_{θ} ({এক্স}^{(আমি)})) + + (1 - Y^{(আমি)}) লগ (1 - জ_{θ} ({এক্স}^{(আমি)}))]

$J(\theta) = -\frac{1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right]$
কোথায়mসংখ্যার প্রতিনিধিত্ব করে সমস্ত প্রশিক্ষণের নমুনা,

y^{(i)}

$y^{(i)}$ আইথ নমুনার লেবেল,

h_{θ} (x^{(i)})

$h_{\theta}(x^{(i)})$ ith নমুনার পূর্বাভাস সম্ভাবনা:

\frac{1}{1 + \exp [- α - \sum_{j} θ_{j} x_{j}^{(i)}]}

$\frac{1}{1+\exp[-\alpha -\sum_j \theta_j x^{(i)}_j]}$ । (পক্ষপাত লক্ষ্য করুন

α

$\alpha$ এখানে)

যেহেতু প্রশিক্ষণের লক্ষ্য ক্ষতি ফাংশন কমান হয়, আমাদের প্রতিটি পরামিতি সম্মান সঙ্গে তার আংশিক ডেরিভেটিভ মূল্যায়ন দিন $\theta_j$ (বিস্তারিত শিক্ষাদীক্ষা খুঁজে পাওয়া যেতে পারে এখানে ):

\frac{\partial জে (θ)}{\partial θ_{ঞ}} = \frac{1}{মি} Σ_{আমি = 1}^{মি} [জ_{θ} ({এক্স}^{(আমি)}) - Y^{(আমি)}] {এক্স}_{ঞ}^{(আমি)}

$\frac{\partial J(\theta)}{\partial \theta_j}=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$

Σ_{আমি = 1}^{মি} জ_{θ} ({এক্স}^{(আমি)}) {এক্স}_{ঞ}^{(আমি)} = Σ_{আমি = 1}^{মি} Y^{(আমি)} {এক্স}_{ঞ}^{(আমি)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_j^{(i)}=\sum_{i=1}^m y^{(i)}\,x_j^{(i)}$

এর অর্থ হ'ল যদি মডেলটি পুরোপুরি প্রশিক্ষিত হয় তবে প্রশিক্ষণ সংস্থার জন্য আমরা যে পূর্বাভাস প্রাপ্ত সম্ভাব্যতাগুলি তা ছড়িয়ে দিয়েছি যাতে প্রতিটি বৈশিষ্ট্যের জন্য সেই বৈশিষ্ট্যের মানযুক্ত (সমস্ত) মানগুলির যোগফল সেই বৈশিষ্ট্যের মানগুলির সমান হয় is ইতিবাচক নমুনা।

$\alpha$ $x_0$ $\alpha$ $\theta_0$

Σ_{আমি = 1}^{মি} জ_{θ} ({এক্স}^{(আমি)}) {এক্স}_{0}^{(আমি)} = Σ_{আমি = 1}^{মি} Y^{(আমি)} {এক্স}_{0}^{(আমি)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_0^{(i)}=\sum_{i=1}^m y^{(i)}\,x_0^{(i)}$

Σ_{আমি = 1}^{মি} জ_{θ} ({এক্স}^{(আমি)}) = Σ_{আমি = 1}^{মি} Y^{(আমি)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)=\sum_{i=1}^m y^{(i)}$

h_{θ} (x^{(i)})

$h_\theta\left(x^{(i)}\right)$

Σ_{আমি = 1}^{মি} {পি}^{(আমি)} = Σ_{আমি = 1}^{মি} Y^{(আমি)}

$\sum_{i=1}^m p^{(i)} =\sum_{i=1}^m y^{(i)}$

আমরা স্পষ্টতই দেখতে পাচ্ছি যে লজিস্টিক রিগ্রেশনটি ভালভাবে ক্যালিব্রেটেড।

তথ্যসূত্র: লগ-লিনিয়ার মডেলস এবং চার্লস এলকানের কন্ডিশনাল এলোমেলো ক্ষেত্র

— লারনার ঝাং
সূত্র