লজিস্টিক রিগ্রেশন এবং সম্ভাবনা বোঝা

লজিস্টিক রিগ্রেশনটির প্যারামিটারের অনুমান / প্রশিক্ষণটি কীভাবে কাজ করে? আমি এ পর্যন্ত যা পেয়েছি তা রাখার চেষ্টা করব।

আউটপুট হ'ল x: উপর নির্ভর করে সম্ভাবনার আকারে লজিস্টিক ফাংশনের আউটপুট $P (y = 1 | x) = \frac{1}{1 + e^{- ω^{T} x}} \equiv σ (ω^{T} x)$ $P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx)$ $P (y = 0 | x) = 1 - P (y = 1 | x) = 1 - \frac{1}{1 + e^{- ω^{T} x}}$ $P(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}}$
একটি মাত্রার জন্য তথাকথিত ওডসগুলি নিম্নরূপে সংজ্ঞায়িত করা হয়েছে: $\frac{p (y = 1 | x)}{1 - p (y = 1 | x)} = \frac{p (y = 1 | x)}{p (y = 0 | x)} = e^{ω_{0} + ω_{1} x}$ ${{p(y=1|x)}\over{1-p(y=1|x)}}={{p(y=1|x)}\over{p(y=0|x)}}=e^{\omega_0+\omega_1x}$
logলিনিয়ার আকারে এখন ডাব্লু_0 এবং ডাব্লু_1 পেতে ফাংশনটি যুক্ত করুন : $L o g i t (y) = l o g (\frac{p (y = 1 | x)}{1 - p (y = 1 | x)}) = ω_{0} + ω_{1} x$ $Logit(y)=log({{p(y=1|x)}\over{1-p(y=1|x)}})=\omega_0+\omega_1x$
এখন সমস্যাটির অংশটি সম্ভাবনাটি ব্যবহার করে (বড় এক্স হ'ল) কেউ কি বলতে পারে যে আমরা y = 1 এর সম্ভাবনা কেন দু'বার বিবেচনা করছি? যেহেতু: $এল (এক্স | পি) = Π_{আমি = 1, Y_{আমি} = 1}^{এন} পি ({এক্স}_{আমি}) Π_{আমি = 1, Y_{আমি} = 0}^{এন} (1 - পি ({এক্স}_{আমি}))$ $L(X|P)=\prod^N_{i=1,y_i=1}P(x_i)\prod^N_{i=1,y_i=0}(1-P(x_i))$ $পি (Y = 0 | এক্স) = 1 - পি (Y = 1 | এক্স)$ $P(y=0|x)=1-P(y=1|x)$

এবং এটি থেকে কীভাবে the এর মান পাওয়া যায়?

regression logistic likelihood

সাধারণভাবে ধরে নিন যে আপনি ফর্মের একটি মডেল নেওয়ার সিদ্ধান্ত নিয়েছেন

পি (Y = 1 | এক্স = এক্স) = জ (এক্স; Θ)

$P(y=1|X=x) = h(x;\Theta)$

কিছু প্যারামিটারের জন্য । তারপরে আপনি কেবল এর সম্ভাবনাটি লিখে রাখুন, অর্থাত্‍ $\Theta$

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} P (y = 0 | x = x; Θ)

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} P(y=0|x=x;\Theta)$

যা হিসাবে একই

এল (Θ) = \underset{আমি \in {1, । । ।, এন}, Y_{আমি} = 1}{Π} পি (Y = 1 | এক্স = এক্স; Θ) \cdot \underset{আমি \in {1, । । ।, এন}, Y_{আমি} = 0}{Π} (1 - পি (Y = 1 | এক্স = এক্স; Θ))

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} (1-P(y=1|x=x;\Theta))$

এখন আপনি 'অনুমান' (মডেল) করার সিদ্ধান্ত নিয়েছেন

পি (Y = 1 | এক্স = এক্স) = σ (Θ_{0} + + Θ_{1} এক্স)

$P(y=1|X=x) = \sigma(\Theta_0 + \Theta_1 x)$

যেখানে

σ (z- র) = 1 / (1 + + ই^{- z- র})

$\sigma(z) = 1/(1+e^{-z})$

সুতরাং আপনি কেবলমাত্র সম্ভাবনার সূত্রটি গণনা করুন এবং , উদাহরণস্বরূপ, নিউটোনস পদ্ধতি বা অন্য কোনও গ্রেডিয়েন্ট ভিত্তিক পদ্ধতিটি সন্ধান করার জন্য অপ্টিমাইজেশন অ্যালগরিদমটি করুন । $\text{argmax}_\Theta L(\Theta)$

কখনও কখনও লক্ষ্য করুন যে, লোকেরা বলে যে তারা যখন লজিস্টিক রিগ্রেশন করছে তখন তারা সম্ভাবনা সর্বাধিক করে না (যেমন আমরা / আপনি উপরে করেছেন) বরং তারা ক্ষতির ফাংশনটি হ্রাস করে

ঠ (Θ) = - Σ_{আমি = 1}^{এন} Y_{আমি} লগ (পি ({ওয়াই}_{আমি} = 1 | এক্স = এক্স; Θ)) + + (1 - Y_{আমি}) লগ (পি ({ওয়াই}_{আমি} = 0 | এক্স = এক্স; Θ))

$l(\Theta) = -\sum_{i=1}^N{y_i\log(P(Y_i=1|X=x;\Theta)) + (1-y_i)\log(P(Y_i=0|X=x;\Theta))}$

তবে লক্ষ্য করুন । $-\log(L(\Theta)) = l(\Theta)$

এটি মেশিন লার্নিংয়ের একটি সাধারণ প্যাটার্ন: ব্যবহারিক দিক (হিউরিস্টিক মডেলটি কীভাবে 'ভুল' তা মাপার ক্ষতির ফাংশনগুলি হ্রাস করা) আসলে 'তাত্ত্বিক দিকের' সমান ( সিম্বোলের সাথে স্পষ্টভাবে মডেলিং করা , যেমন পরিসংখ্যানের পরিমাণকে সর্বাধিক করে তোলা সম্ভাবনাগুলি) এবং প্রকৃতপক্ষে, অনেকগুলি মডেল যা সম্ভাব্যতাগুলির মতো দেখতে লাগে না (উদাহরণস্বরূপ এসভিএমগুলি) একটি সম্ভাব্য প্রেক্ষাপটে পুনরায় বিবেচনা করা যেতে পারে এবং প্রকৃতপক্ষে সম্ভাবনার সর্বাধিককরণ হয়। $P$

— ফ্যাবিয়ান ওয়ার্নার
সূত্র

@ উত্তরটি উত্তরের জন্য ধন্যবাদ তবে আমার এখনও কিছুটা ব্যাখ্যা দরকার st প্রথমত আপনি কি পৃথিবীতে 2 on সংজ্ঞায় থাকতে পারেন তা আমি ব্যাখ্যা করতে পারি যেহেতু আমি বুঝতে পেরেছি আমি এর ক্ষেত্রেই আন্তঃআযোগিত করছি । এবং কিভাবে মান পেতে পারেন এবং আপনার সাহায্যের দোর অনেক ধন্যবাদ!

\prod

$\prod$

L (θ)

$L(\theta)$

y_{i} = 1

$y_i =1$

ω_{1}

$\omega_1$

ω_{0}

$\omega_0$

— ইঞ্জিন

@Engine: বড় 'পাই' একটি পণ্য ... মত একটি বড় সিগমা

একটি সমষ্টি ... আপনি বুঝতে বা ভাল হিসাবে আপনি আরো যে শোধন প্রয়োজন করব? দ্বিতীয় প্রশ্নে: আসুন আমরা বলি যে আমরা একটি ফাংশন কমিয়ে আনতে চাই

এবং আমরা শুরু করব তবে আমাদের ধরে নেওয়া যাক আমরা জানি না / প্রকাশ করতে পারি না / চাক্ষুষ করতে পারি না কারণ এটি জটিল । এখন ব্যুৎপন্ন হয় । মজার বিষয়টি যদি আমরা ন্যূনতম থেকে ডান হয় তবে এটি ডান দিকে নির্দেশ করে এবং যদি আমরা এর বাম থেকে থাকে তবে এটি বাম দিকে নির্দেশ করে। গাণিতিকভাবে ডেরিভেটিভ পয়েন্টগুলি 'শক্তিশালী আরোহনের' দিকে নির্দেশ করে

Σ

$\Sigma$

f (x) = x^{2}

$f(x) = x^2$

x = 3

$x=3$

f

$f$

f

$f$

f^{'} = 2 x

$f' = 2x$

x = 0

$x=0$

— ফ্যাবিয়ান ওয়ার্নার

@Engine: আরও মাত্রা আপনি ব্যুৎপন্ন গ্রেডিয়েন্ট দ্বারা, প্রতিস্থাপন অর্থাত আপনি একটি র্যান্ডম সময়ে চলতে শুরু এবং গনা গ্রেডিয়েন্ট এ এবং তারপর আপনি আপনার পরবর্তী বিন্দু পূর্ণবিস্তার করতে চান তাহলে হয় । তারপর আপনি গনা এবং আপনার পরবর্তী হয় এবং তাই ঘোষণা। এটিকে গ্রেডিয়েন্ট আরোহ / ডেসেন্ট বলা হয় এবং এটি একটি ফাংশন সর্বাধিক সর্বাধিক সাধারণ কৌশল। এখন আপনি যে না অথবা আপনার স্বরলিপি অনুক্রমে এটি যে maxeimizes

x_{0}

$x_0$

\partial f

$\partial f$

x

$x$

x_{1}

$x_1$

x_{1} = x_{0} + \partial f (x_{0})

$x_1 = x_0 + \partial f(x_0)$

\partial f (x_{1})

$\partial f(x_1)$

x

$x$

x_{2} = x_{1} + \partial f (x_{1})

$x_2 = x_1 + \partial f(x_1)$

L (Θ)

$L(\Theta)$

L (ω)

$L(\omega)$

ω

$\omega$

L

$L$

— ফ্যাবিয়ান ওয়ার্নার

@ ইঞ্জিন: আপনি ক্ষেত্রে মোটেই আগ্রহী নন ! আপনি '' যা 'আপনার ডেটাকে সর্বোত্তমভাবে ব্যাখ্যা করে'। আউ থেকে মডেলটি 'নিজের পক্ষে কথা বলুক' এবং এর ক্ষেত্রে ফিরে আসুক তবে প্রথমে আপনাকে মডেল সেটআপ করতে হবে! এখানে, 'সর্বোত্তম ব্যাখ্যা' এর অর্থ 'সর্বোচ্চ সম্ভাবনা থাকা' কারণ এটিই লোকেরা নিয়ে এসেছিল (এবং আমি মনে করি এটি খুব স্বাভাবিক) ... তবে, অন্যান্য মেট্রিকগুলি রয়েছে (লোকসানের বিভিন্ন ক্ষতি এবং তাই) যেগুলি পারে ব্যবহার করি! সেখানে কারণ আমরা চাই মডেল ব্যাখ্যা করতে দুই পণ্য পাশাপাশি যেমন 'ভালো'!

y = 1

$y=1$

ω

$\omega$

ω

$\omega$

y = 1

$y=1$

y = 1

$y=1$

y = 0

$y=0$

— ফ্যাবিয়ান ওয়ার্নার

আপনার সম্ভাবনা ফাংশন (4) দুটি অংশ নিয়ে গঠিত: আপনার নমুনায় কেবলমাত্র সেই ব্যক্তিদেরই যারা সাফল্য পেয়েছিলেন তাদের সাফল্যের সম্ভাবনার পণ্য এবং আপনার নমুনায় কেবলমাত্র সেই ব্যাক্তি যারা ব্যর্থতা অনুভব করেছেন তাদের ব্যর্থতার সম্ভাবনার পণ্য। প্রদত্ত যে প্রত্যেকে পৃথক হয় সফলতা বা ব্যর্থতা অনুভব করে তবে উভয়ই নয়, সম্ভাব্যতা প্রতিটি ব্যক্তির জন্য একবারে উপস্থিত হবে। এটা কী এবং গড় পণ্যের লক্ষণ নীচে। $, y_i=1$ $,y_i=0$

সহগগুলি (1) (4) এ প্রতিস্থাপনের মাধ্যমে সম্ভাবনা কার্যে অন্তর্ভুক্ত করা হয়। এইভাবে সম্ভাবনা ফাংশন একটি । সর্বাধিক সম্ভাবনার পয়েন্ট হ'ল খুঁজে পাওয়া যা সম্ভাবনা সর্বাধিক করে তোলে। $\omega$ $\omega$

— মার্টেন বুইস
সূত্র

y_{i} = 0

$y_i = 0$

ω

$\omega$

\prod_{i = 1, y = 1}^{N}

$\prod_{i=1, y=1}^N$

i = 1

$i=1$

N

$N$

y = 1

$y=1$

সম্ভাবনা ফাংশনটি সর্বাধিক করার জন্য অনেকগুলি সম্ভাব্য অ্যালগরিদম রয়েছে। নিউটন-রাফসন পদ্ধতিতে সর্বাধিক প্রচলিত একটিতে প্রকৃতপক্ষে প্রথম এবং দ্বিতীয় ডেরিভেটিভগুলি গণনা করা।

— মার্টেন