লজিস্টিক রিগ্রেশন কখন বন্ধ আকারে সমাধান করা হয়?

এবং Take নিন এবং ধরুন আমরা লজিস্টিক রিগ্রেশন ব্যবহার করে y প্রদত্ত x এর পূর্বাভাস দেওয়ার কাজটি মডেল করব। লজিস্টিক রিগ্রেশন সহগগুলি বন্ধ আকারে কখন লেখা যেতে পারে? $x \in \{0,1\}^d$ $y \in \{0,1\}$

একটি উদাহরণ হ'ল আমরা যখন একটি স্যাচুরেটেড মডেল ব্যবহার করি।

এটি হ'ল , যেখানে সূচকগুলি এর পাওয়ার-সেটটিতে সেট করে এবং 1 প্রদান করে 'সেট' এর সমস্ত ভেরিয়েবল 1 এবং অন্যথায় 0 হয়। তারপরে আপনি এই লজিস্টিক রিগ্রেশন মডেলটিতে প্রতিটি তথ্যের পরিসংখ্যানগুলির যৌক্তিক ফাংশনের লগারিদম হিসাবে প্রকাশ করতে পারেন । $P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$ $i$ $\{x_1,\ldots,x_d\}$ $f_i$ $i$ $w_i$

বদ্ধ ফর্ম উপস্থিত থাকলে কি আরও আকর্ষণীয় উদাহরণ রয়েছে?

logistic generalized-linear-model

— ইয়ারোস্লাভ বুলাটোভ
সূত্র

আমি ধরে নিয়েছি আপনার মানে "বদ্ধ আকারে প্যারামিটারগুলির এমএলইগুলি কখন?"

— গ্লেন_বি

আপনি কি আরও বিশদ দিতে পারেন? আপনার প্রশ্নটি এমনভাবে পড়েছে যে আপনি কোনও লজিস্টিক রিগ্রেশন সমস্যার জন্য সাধারণ সর্বনিম্ন স্কোয়ারের অনুমানকারীকে বের করার চেষ্টা করেছেন?

— মোমো

আকর্ষণীয় পোস্ট / প্রশ্নের জন্য ধন্যবাদ, ইয়ারোস্লাভ। আপনি যে উদাহরণটি দেখান তার জন্য আপনার কি কোনও উল্লেখ রয়েছে?

— বিটওয়াইজ

এটি বেশ কিছুক্ষণ হয়েছে, তবে সম্ভবত এটি লরিজেনের "গ্রাফিকাল মডেলস" বইটিতে ছিল। এই প্রশ্নের উত্তরের বিস্তৃত ভিত্তিগুলি এখানে রয়েছে - পর্যাপ্ত পরিসংখ্যান দ্বারা গঠিত (হাইপার) গ্রাফটি কর্ডাল হলে আপনি বন্ধ ফর্ম সমাধান পাবেন

— ইয়ারোস্লাভ বুলাটোভ

এটি আকর্ষণীয় হতে পারে tandfonline.com/doi/abs/10.1080/… আমি বিশ্বাস করি এটি বিশ্লেষণাত্মক সমাধানের একটি বিশেষ ক্ষেত্রে যখন আপনার কাছে কেবলমাত্র 2x2 টেবিল থাকে

— অস্টিন

উত্তর:

যেমনটি কেজিটিল বি হালওয়ারসেন উল্লেখ করেছেন, এটি নিজস্ব উপায়ে, একটি অলৌকিক ঘটনা যা লিনিয়ার রিগ্রেশন একটি বিশ্লেষণাত্মক সমাধানকে স্বীকার করে। এবং এটি কেবল সমস্যার লাইনারিটির কারণে (পরামিতিগুলির সাথে সম্মত)। ওএলএস-এ আপনার যার প্রথম ক্রমের শর্ত রয়েছে সমস্যা নিয়ে ভেরিয়েবল (ধ্রুবক সহ, যদি প্রয়োজন হয় - মূল সমস্যাগুলির মধ্যে কিছুটা রিগ্রেশনও রয়েছে), এটি সমীকরণ এবং অজানা সমেত একটি সিস্টেম । সর্বাধিক গুরুত্বপূর্ণ, এটি একটি লিনিয়ার সিস্টেম, সুতরাং আপনি স্ট্যান্ডার্ড লিনিয়ার বীজগণিত তত্ত্ব এবং অনুশীলন ব্যবহার করে একটি সমাধান খুঁজে পেতে পারেন

\sum_{i} (y_{i} - x_{i}^{'} β)^{2} \to min_{β},

$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$

- 2 \sum_{i} (y_{i} - x_{i}^{'} β) x_{i} = 0

$-2 \sum_i (y_i - x_i'\beta) x_i = 0$

p

$p$

p

$p$

p

$p$ । আপনার সিস্টেমে পুরোপুরি কোলাইনারি ভেরিয়েবল না থাকলে এই সিস্টেমটির সম্ভাব্যতা 1 এর সমাধান হবে।

এখন, লজিস্টিক রিগ্রেশন সহ জিনিসগুলি এত সহজ নয়। লগ-সম্ভাবনা ফাংশনটি লিখছি, এবং এমএলই সন্ধান করার জন্য এটির উদ্বেগ গ্রহণ করে আমরা প্যারামিটারগুলি এটি একটি খুব অ- প্রবেশ করে: প্রতিটি এর জন্য একটি অবৈধ ফাংশন রয়েছে এবং সেগুলি একসাথে যুক্ত করা হয়। কোনও বিশ্লেষণাত্মক সমাধান নেই (সম্ভবত দুটি তদারকির মতো একটি তুচ্ছ পরিস্থিতিতে বা এর মতো কিছু ছাড়া) এবং আপনাকে ব্যবহার করতে হবে

l (y; x, β) = \sum_{i} y_{i} \ln p_{i} + (1 - y_{i}) \ln (1 - p_{i}), p_{i} = (1 + \exp (- θ_{i}))^{- 1}, θ_{i} = x_{i}^{'} β,

$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$

\frac{\partial l}{\partial β^{'}} = \sum_{i} \frac{d p_{i}}{d θ} (\frac{y_{i}}{p_{i}} - \frac{1 - y_{i}}{1 - p_{i}}) x_{i} = \sum_{i} [y_{i} - \frac{1}{1 + \exp (x_{i}^{'} β)}] x_{i}

$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$

β

$\beta$

i

$i$ অনুমানগুলি খুঁজে বের করার জন্য অলৈখিক অপ্টিমাইজেশন পদ্ধতি ।

\hat{β}

$\hat\beta$

সমস্যার কিছুটা গভীর পর্যবেক্ষণ (দ্বিতীয় ডেরাইভেটিভ নেওয়া) প্রকাশ করে যে এটি একটি অবতল ফাংশন সর্বাধিক (একটি গৌরবান্বিত মাল্টিভারিয়েট প্যারাবোলা) সন্ধানের উত্তল অপ্টিমাইজেশন সমস্যা, সুতরাং উভয়টির একটি বিদ্যমান, এবং কোনও যুক্তিসঙ্গত অ্যালগরিদম বরং এটির সন্ধান করা উচিত দ্রুত, বা জিনিস অসীম দিকে উড়ে। পরে লজিস্টিক রিগ্রেশন হয় যখন কিছু , যেমন আপনার একটি নিখুঁত ভবিষ্যদ্বাণী রয়েছে। এটি একটি বরং অপ্রীতিকর নিদর্শন: আপনি ভাবতেন যে আপনার যখন একটি নিখুঁত ভবিষ্যদ্বাণী হয়, তখন মডেলটি পুরোপুরি কাজ করে, তবে কৌতূহলীভাবে যথেষ্ট, এটি অন্যভাবে রাউন্ড। ${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$ $c$

— StasK
সূত্র

প্রশ্নটি হল আপনার শেষ সমীকরণটি কেন দ্রবণযোগ্য নয়। এটি 0 এবং 1 এ লজিস্টিক ফাংশনটির বিপরীতমুখী হ্রাসের কারণে, বা এটি সাধারণভাবে অলৈখিকতার কারণে?

— আইলায়ার

(+1 টি) আপনার শেষ অনুচ্ছেদ সংক্রান্ত: একটি গাণিতিক দৃষ্টিকোণ এটা থেকে করে এই অর্থে যে একটি MLE একটি নিখুঁত পৃথক hyperplane উত্পাদ হবে কাজ "পুরোপুরি"। আপনার সংখ্যার অ্যালগোরিদম সেই পরিস্থিতিতে সংবেদনশীল আচরণ করে কিনা তা পৃথক বিষয়। ল্যাপলেস স্মুথিং প্রায়শই এই জাতীয় পরিস্থিতিতে ব্যবহৃত হয়।

— কার্ডিনাল

@ আইয়ালার, আমি বলব এটি সাধারণভাবে অরেণ্যতার কারণে হয়েছে। আমার বোধগম্যতা হ'ল পরিস্থিতিগুলির একটি সীমিত সেট রয়েছে যখন এটি সমাধান করা যায়, যদিও আমি জানি না যে এই পরিস্থিতিগুলি কী।

— StasK

আমি বুঝতে পারি না, এমন কোন গাণিতিক পরিস্থিতি রয়েছে যা সিস্টেমটির কোনও বন্ধ ফর্ম সমাধান না করে? এমন কোনও শর্ত রয়েছে যেখানে সাধারণ জিনিসগুলির ফর্ম সমাধানগুলি বন্ধ থাকে না?

— চার্লি পার্কার 21

লজিস্টিক রিগ্রেশনটির কোনও বন্ধ রূপ নেই এই সত্যটি কি এর জন্য গ্রেডিয়েন্ট বংশোদ্ভূত পুনরাবৃত্তিটি দেখে প্রমাণ করতে পারে?

— চার্লি পার্কার 21

এই পোস্টটি মূলত হাতে থাকা প্রশ্নের সম্পূর্ণ উত্তর না দিয়ে দীর্ঘ মন্তব্য হিসাবে চিহ্নিত হয়েছিল।

প্রশ্নটি থেকে, এটি যদি কিছুটা অস্পষ্ট থাকে তবে আগ্রহটি কেবল বাইনারি ক্ষেত্রে বা সম্ভবত, আরও সাধারণ ক্ষেত্রে যেখানে তারা ধারাবাহিক হতে পারে বা অন্যান্য স্বতন্ত্র মূল্যবোধ গ্রহণ করতে পারে তা একটু স্পষ্ট নয়।

একটি উদাহরণ যা প্রশ্নের পুরোপুরি উত্তর দেয় না, তবে এটি সম্পর্কিত এবং যা আমি পছন্দ করি, যুক্তযুক্ত তুলনাগুলির মাধ্যমে প্রাপ্ত আইটেম-পছন্দ র‌্যাঙ্কিংয়ের সাথে সম্পর্কিত। ব্র্যাডলি – টেরি মডেলটি একটি লজিস্টিক রিগ্রেশন হিসাবে প্রকাশ করা যেতে পারে যেখানে এবং একটি " ", "জনপ্রিয়তা", অথবা আইটেমের "শক্তি" প্যারামিটারটি সঙ্গে ইঙ্গিত আইটেমটি আইটেমটি বেশী প্রাধান্য ছিল একটি জোড়া তুলনায়।

l o g i t (Pr (Y_{i j} = 1)) = α_{i} - α_{j},

$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$

α_{i}

$\alpha_i$

i

$i$

Y_{i j} = 1

$Y_{ij} = 1$

i

$i$

j

$j$

যদি তুলনাগুলির একটি পূর্ণ রাউন্ড-রবিন সম্পাদন করা হয় (যেমন, প্রতিটি আনর্ডারড জোড়ের জন্য একটি জোড়াবিশিষ্ট অগ্রাধিকার রেকর্ড করা থাকে ) তবে দেখা যাচ্ছে যে এমএলইএস pha এর র‌্যাঙ্ক ক্রমটি সামঞ্জস্য of এর র‌্যাঙ্ক অর্ডার, প্রতিটি বস্তুর অপরের তুলনায় মোট বারের যোগফল। $(i,j)$ $\hat{\alpha}_i$ $S_i = \sum_{j \neq i} Y_{ij}$

এটি ব্যাখ্যা করতে, আপনার প্রিয় প্রতিযোগিতামূলক খেলাধুলায় একটি পুরো রাউন্ড-রবিন টুর্নামেন্টের কল্পনা করুন। তারপরে, এই ফলাফলটি বলে যে ব্র্যাডলি – টেরি মডেল তাদের জয়ের শতাংশ অনুযায়ী খেলোয়াড় / দলকে স্থান দেয়। এটি একটি উত্সাহজনক বা হতাশার ফলাফল কিনা তা আপনার দৃষ্টিভঙ্গির উপর নির্ভর করে, আমি মনে করি।

এনবি এই র‌্যাঙ্ক-অর্ডারিংয়ের ফলটি সাধারণত পুরো রাউন্ড-রবিন না খেললে ধারণ করে না।

— অঙ্কবাচক
সূত্র

আমি বাইনারি সম্পর্কে আগ্রহী ছিলাম কারণ এটি বিশ্লেষণ করা সবচেয়ে সহজ ছিল। লরিৎসেন-এর কাজগুলিতে আমি খুব বিস্তৃত পর্যাপ্ত শর্ত পেয়েছি - যদি কোনও লগ-লিনিয়ার মডেলটি

— নিষ্প্রয়োজনীয়