লজিস্টিক রিগ্রেশন কেন লিনিয়ার শ্রেণিবদ্ধ?

যেহেতু আমরা লজিস্টিক ফাংশনটি ইনপুটটির একটি লিনিয়ার সংমিশ্রণটিকে একটি অ-রৈখিক আউটপুটে রুপান্তর করতে ব্যবহার করি, তাই কীভাবে লজিস্টিক রিগ্রেশনকে রৈখিক শ্রেণিবদ্ধ হিসাবে বিবেচনা করা যেতে পারে?

লিনিয়ার রিগ্রেশন হিডেন লেয়ার ব্যতীত নিউরাল নেটওয়ার্কের মতো, সুতরাং নিউরাল নেটওয়ার্কগুলিকে অ-লিনিয়ার শ্রেণিবদ্ধ হিসাবে বিবেচনা করা হয় এবং লজিস্টিক রিগ্রেশন কেন লিনিয়ার?

logistic classification neural-networks

— জ্যাক টোয়েন
সূত্র

"একটি অ রৈখিক আউটপুট মধ্যে ইনপুট একটি রৈখিক সমন্বয়" রূপান্তর একটি মৌলিক অংশ সংজ্ঞা একটি এর লিনিয়ার ক্লাসিফায়ার । এই প্রশ্নটি দ্বিতীয় ভাগে হ্রাস করে, যা নিউরাল নেটওয়ার্কগুলি সাধারণত রৈখিক শ্রেণিবদ্ধ হিসাবে প্রকাশ করা যায় না তা প্রমাণ করার পরিমাণ।

— হোয়বার

@ হুবার: লজিস্টিক রিগ্রেশন মডেল বহির্ভুত সিদ্ধান্তের সীমা নির্ধারণের জন্য বহুপদী প্রেডিকটার ভেরিয়েবলগুলি (যেমন

) নিতে পারে তা আপনি কীভাবে ব্যাখ্যা করবেন ? এটি কি এখনও লিনিয়ার শ্রেণিবদ্ধী?

w_{1} \cdot x_{1}^{2} + w_{2} \cdot x_{2}^{3}

$w_1 \cdot x_1^2 + w_2 \cdot x_2^3$

— stackoverflowuser2010

@ স্ট্যাক "লিনিয়ার শ্রেণিবদ্ধ" এর ধারণাটি একটি রৈখিক মডেলের ধারণার সাথে উদ্ভূত বলে মনে হয় । কোনও মডেলের "লিনিয়ারিটি" স্ট্যাটস.স্ট্যাকেক্সেঞ্জাওয়ে / এ / 148713 তে বর্ণিত হিসাবে একাধিক রূপ নিতে পারে । যদি আমরা লিনিয়ার শ্রেণিবদ্ধের উইকিপিডিয়া বৈশিষ্ট্য গ্রহণ করি , তবে প্রদত্ত "বৈশিষ্ট্যগুলি"

এবং

এর ক্ষেত্রে আপনার বহুপদী উদাহরণটি অরেখা হিসাবে দেখা হবে তবে এটি

এবং

বৈশিষ্ট্যের ক্ষেত্রে লিনিয়ার হবে । এই পার্থক্যটি রৈখিকতার বৈশিষ্ট্যগুলিকে কাজে লাগানোর একটি কার্যকর উপায় সরবরাহ করে।

x_{1}

$x_1$

x_{2}

$x_2$

x_{1}^{2}

$x_1^2$

x_{2}^{3}

$x_2^3$

— whuber

আমি এখনও এই প্রশ্নটি সম্পর্কে কিছুটা বিভ্রান্ত হয়ে পড়েছি লজিস্টিক শ্রেণিবদ্ধ লিনিয়ারের সিদ্ধান্তের সীমানা? আমি কুরসেরায় অ্যান্ড্রু এনজি মেশিন লার্নিং কোর্সটি অনুসরণ করেছি এবং তিনি নিম্নলিখিতগুলি উল্লেখ করেছেন: [চিত্রের বিবরণ এখানে লিখুন ] ( i.stack.imgur.com/gHxfr.png ) সুতরাং আসলে আমার কাছে মনে হয় এর উত্তর কেউ নেই। সিদ্ধান্তের সীমানার লিনিয়ারিটি বা অ-লিনিয়ারিটির উপর নির্ভর করে, এটি হিথেটা (এক্স) হিসাবে সংজ্ঞায়িত হাইপোথিসিস ফাংশনের উপর নির্ভর করে যেখানে এক্স ইনপুট এবং থিতা আমাদের সমস্যার পরিবর্তনশীল। এটা কি আপনার জন্য অর্থবোধ করে?

— ব্রোকেন্সওয়ার্ড

উত্তর:

\hat{p} = \frac{1}{1 + e^{- \hat{μ}}}, where \hat{μ} = \hat{θ} \cdot x .

$\hat{p} = \frac{1}{1 + e^{-\hat{\mu}}}, \text{ where } \hat{\mu} = \hat{\theta} \cdot x.$

\hat{μ}

$\hat{\mu}$

x

$x$

x

$x$

$\{x:\hat{p} = 0.5\}$ $\hat{\theta} \cdot x = 0$

— স্টিফান বাজর
সূত্র

x

$x$

θ

$\theta$

তারপর আপনার ব্যাখ্যা দ্বারা। আমরা কি বলতে পারি যে নিউরাল নেটওয়ার্কের পূর্বাভাস হ'ল শেষ লুকানো স্তরের ক্রিয়াকলাপগুলির একটি লিনিয়ার ফাংশন?

— জ্যাক টোয়াইন

\hat{θ} \cdot x

$\hat{\theta} \cdot x$

\hat{θ}

$\hat{\theta}$

x

$x$

x

$x$

x

$x$

x

$x$

x

$x$

@ পেগাহ আমি জানি এটি পুরানো, তবে: লজিস্টিক রিগ্রেশনের একটি লিনিয়ার সিদ্ধান্তের সীমানা রয়েছে। আউটপুট নিজেই অবশ্যই লিনিয়ার নয়, এর লজিস্টিক। রেখাটির কোন দিকে একটি বিন্দু পড়ে তার উপর নির্ভর করে মোট আউটপুট যথাক্রমে 0 বা 1 পৌঁছাবে (তবে কখনই পৌঁছায় না)। এবং স্টেফান ওয়াগনারদের যুক্ত করতে উত্তর: শেষ বাক্যটি সম্পূর্ণ সঠিক নয়, যখন নিউরালার অ্যাক্টিভেশন বা আউটপুট ফাংশন থাকে তখন নিউরাল নেটওয়ার্কটি অ-রৈখিক হয়। তবে এটি লিনিয়ারও হতে পারে (যদি কোনও অনৈখিকতা যুক্ত না হয়)।

— ক্রিস

স্টিফান ওয়াগনার নোট হিসাবে, একটি লজিস্টিক শ্রেণিবদ্ধের জন্য সিদ্ধান্ত সীমানা লিনিয়ার। (শ্রেণিবদ্ধের ইনপুটগুলি রৈখিকভাবে পৃথক করার জন্য প্রয়োজন)) এটি স্পষ্ট না হলে আমি এই জন্য গণিতে আরও প্রসারিত করতে চেয়েছিলাম।

\frac{1}{1 + e^{- θ \cdot x}} = 0.5

${1 \over {1 + e^{-{\theta \cdot x}}}} = 0.5$

অল্প অল্প বীজগণিত দেখায় যে এটি সমতুল্য

1 = e^{- θ \cdot x}

${1 = e^{-{\theta \cdot x}}}$

এবং, উভয় পক্ষের প্রাকৃতিক লগ গ্রহণ,

0 = - θ \cdot x = - \sum_{i = 0}^{n} θ_{i} x_{i}

$0 = -\theta \cdot x = -\sum\limits_{i=0}^{n} \theta_i x_i$

সুতরাং সিদ্ধান্তের সীমানা লিনিয়ার।

নিউরাল নেটওয়ার্কের সিদ্ধান্তের সীমানা লিনিয়ার না হওয়ার কারণ হ'ল নিউরাল নেটওয়ার্কে সিগময়েড ফাংশনগুলির দুটি স্তর রয়েছে: প্রতিটি আউটপুট নোডের মধ্যে একটি এবং প্রতিটি আউটপুট নোডের ফলাফলগুলি একত্রিত এবং থ্রেশোল্ড করার জন্য একটি অতিরিক্ত সিগময়েড ফাংশন।

— ফিল বোগল
সূত্র

প্রকৃতপক্ষে, আপনি কেবলমাত্র একটি স্তর থাকা সক্রিয়করণের সাথে একটি অ-লিনিয়ার সিদ্ধান্তের সীমানা পেতে পারেন। একটি 2-স্তর ফিড-ফরোয়ার্ড নেটওয়ার্ক সহ কোনও এক্সওআরটির আদর্শ উদাহরণটি দেখুন।

— জেমস হিরশর্ন

$C_{0}$ $C_{1}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x)}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x)}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x | C_{0}) P (C_{0}) + P (x | C_{1}) P (C_{1})} = \frac{1}{1 + \exp (- \log \frac{P (x | C_{0})}{P (x | C_{1})} - \log \frac{P (C_{0})}{P (C_{1})})}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x|C_{0})P(C_{0})+P(x|C_{1})P(C_{1})} = \frac{1}{1+ \exp\left(-\log\frac{P(x|C_{0})}{P(x|C_{1})}-\log \frac{P(C_{0})}{P(C_{1})}\right)}$

1 + e^{ω x}

$1+e^{\omega x}$

P (x | C_{i}) = \exp (\frac{θ_{i} x - b (θ_{i})}{a (ϕ)} + c (x, ϕ))

$P(x|C_{i}) = \exp \left(\frac{\theta_{i} x -b(\theta_{i})}{a(\phi)}+c(x,\phi)\right)$

\log \frac{P (x | C_{0})}{P (x | C_{1})} = [(θ_{0} - θ_{1}) x - b (θ_{0}) + b (θ_{1})] / a (ϕ)

$\log\frac{P(x|C_{0})}{P(x|C_{1})} = \left[ (\theta_{0}-\theta_{1})x - b(\theta_{0})+b(\theta_{1}) \right]/a(\phi)$

লক্ষ্য করুন যে আমরা ধরে নিলাম যে উভয় বিতরণ একই পরিবারভুক্ত এবং একই বিচ্ছুরণ পরামিতি রয়েছে। তবে, এই অনুমানের অধীনে, লজিস্টিক রিগ্রেশন তাত্পর্যপূর্ণ বিতরণের পুরো পরিবারের সম্ভাব্যতার মডেল করতে পারে।

— jpmuc
সূত্র