লজিস্টিক রিগ্রেশন নিয়মিতকরণ পদ্ধতি

রিজ, লাসো, ইলাস্টিক নেট এর মতো পদ্ধতি ব্যবহার করে নিয়মিতকরণ লিনিয়ার রিগ্রেশন-এর জন্য বেশ সাধারণ। আমি নিম্নলিখিতটি জানতে চেয়েছিলাম: এই পদ্ধতিগুলি কি লজিস্টিক রিগ্রেশনের জন্য প্রযোজ্য? যদি তা হয় তবে লজিস্টিক রিগ্রেশনের জন্য তাদের যেভাবে ব্যবহার করা দরকার তাতে কি কোনও পার্থক্য রয়েছে? যদি এই পদ্ধতিগুলি প্রযোজ্য না হয়, তবে কীভাবে একটি লজিস্টিক রিগ্রেশনকে নিয়মিত করে?

regression logistic regularization

— TAK
সূত্র

আপনি কি কোনও নির্দিষ্ট ডেটা সেটটি দেখছেন, এবং সুতরাং গণনার জন্য ডেটা ট্র্যাকটেবল তৈরি করার বিষয়টি বিবেচনা করা দরকার, উদাহরণস্বরূপ ডেটা নির্বাচন করা, স্কেলিং এবং অফসেট করা যাতে প্রাথমিক গণনা সফল হয়। নাকি হউস ও হোয়েসের দিকে এটি আরও সাধারণ চেহারা (0 এর বিরুদ্ধে গণনা করার জন্য কোনও নির্দিষ্ট ডেটা সেট করা ছাড়াই?

— ফিলিপ ওকলি

এটি নিয়মিতকরণের হাওস এবং হায়রে আরও সাধারণ চেহারা। নিয়মিতকরণের পদ্ধতির (রিজ, লাসো, ইলাস্টিকনেট ইত্যাদি) পরিচিতির পাঠ্য যা আমি বিশেষভাবে উল্লিখিত লিনিয়ার রিগ্রেশন উদাহরণগুলির মধ্যে এসেছি। একটিও বিশেষভাবে লজিস্টিক উল্লেখ করা হয়নি, তাই প্রশ্ন।

— টাক

লজিস্টিক রিগ্রেশন একটি অ-পরিচয় লিঙ্ক ফাংশন ব্যবহার করে জিএলএমের একটি ফর্ম, প্রায় সমস্ত কিছুই প্রযোজ্য।

— ফায়ারব্যাগ

আপনি কি এই বিষয়টিতে অ্যান্ড্রু এনগির ভিডিওতে হোঁচট খেয়েছেন ?

— আন্তনি পরল্লদা

রিজ, লাসো এবং ইলাস্টিক নেট রিগ্রেশন জনপ্রিয় বিকল্প, তবে এগুলি কেবল নিয়মিতকরণের বিকল্প নয়। উদাহরণস্বরূপ, স্মুথিং ম্যাট্রিকগুলি বড় দ্বিতীয় ডেরিভেটিভগুলির সাথে ফাংশনগুলিকে শাস্তি দেয়, যাতে নিয়মিতকরণের পরামিতি আপনাকে একটি রিগ্রেশনকে "ডায়াল" করতে দেয় যা ডেটা ওভার এবং কম-ফিটিংয়ের মধ্যে একটি দুর্দান্ত সমঝোতা। রিজ / লাসো / ইলাস্টিক নেট রিগ্রেশন হিসাবে, এগুলি লজিস্টিক রিগ্রেশন সহও ব্যবহার করা যেতে পারে।

— মনিকাকে

উত্তর:

হ্যাঁ, নিয়ন্ত্রণ ও রেগ্রেশন এবং শ্রেণিবদ্ধকরণ উভয় সহ সমস্ত লিনিয়ার পদ্ধতিতে ব্যবহার করা যেতে পারে। আমি আপনাকে দেখাতে চাই যে রিগ্রেশন এবং শ্রেণিবিন্যাসের মধ্যে খুব বেশি পার্থক্য নেই: কেবলমাত্র পার্থক্যটি হ'ল ফাংশন।

বিশেষতঃ রৈখিক পদ্ধতির তিনটি প্রধান উপাদান রয়েছে লস ফাংশন, নিয়মিতকরণ, অ্যালগরিদম । যেখানে ক্ষতির ফাংশন এবং নিয়মিতকরণ হ'ল অপটিমাইজেশন ফর্মের সমস্যাটির উদ্দেশ্যগত কার্য এবং অ্যালগরিদম এটি সমাধানের উপায় (অবজেক্টিভ ফাংশন উত্তল, আমরা এই পোস্টে আলোচনা করব না)।

$L(\hat y,y)=(\hat y -y)^2$ $L(\hat y,y)=|\hat y -y|$ $L( \cdot )$ $y$ $\hat y$

$L(\hat y, y)=\log (1+ \exp(-\hat y y))$ $L(\hat y, y)= (1- \hat y y)_+$ $y$ $\{-1,1\}$ $\hat y$ $\hat y$

নিয়মিতকরণ সেটিংয়ে, আপনি এল 1 এবং এল 2 নিয়মিতকরণ সম্পর্কে উল্লেখ করেছিলেন, অন্যান্য ফর্মগুলিও রয়েছে, যা এই পোস্টে আলোচনা করা হবে না।

সুতরাং, একটি উচ্চ স্তরে একটি রৈখিক পদ্ধতি হ'ল

\underset{w}{minimize} \sum_{x, y} L (w^{⊤} x, y) + λ h (w)

$\underset{w}{\text{minimize}}~~~ \sum_{x,y} L(w^{\top} x,y)+\lambda h(w)$

আপনি যদি লস ফাংশনটিকে রিগ্রেশন সেটিং থেকে লজিস্টিক লস হিসাবে প্রতিস্থাপন করেন, আপনি নিয়মিতকরণের সাথে লজিস্টিক রিগ্রেশন পান।

উদাহরণস্বরূপ, রিজ রিগ্রেশন এ, অপটিমাইজেশন সমস্যা

\underset{w}{minimize} \sum_{x, y} (w^{⊤} x - y)^{2} + λ w^{⊤} w

$\underset{w}{\text{minimize}}~~~ \sum_{x,y} (w^{\top} x-y)^2+\lambda w^\top w$

আপনি যদি লজিস্টিক ক্ষতির সাথে ক্ষতির ক্রিয়াটি প্রতিস্থাপন করেন তবে সমস্যাটি হয়ে যায়

\underset{w}{minimize} \sum_{x, y} \log (1 + \exp (- w^{⊤} x \cdot y)) + λ w^{⊤} w

$\underset{w}{\text{minimize}}~~~ \sum_{x,y} \log(1+\exp{(-w^{\top}x \cdot y)})+\lambda w^\top w$

এখানে আপনার কাছে এল 2 নিয়ন্ত্রণের সাথে লজিস্টিক রিগ্রেশন রয়েছে।

খেলনা সংশ্লেষিত বাইনারি ডেটা সেটটিতে এটি দেখতে কেমন লাগে। বাম চিত্রটি লিনিয়ার মডেল (সিদ্ধান্তের সীমানা) সহ ডেটা। ডান চিত্রটি হ'ল অবজেক্টিভ ফাংশন কনট্যুর (x এবং y অক্ষ 2 প্যারামিটারের জন্য মানগুলি উপস্থাপন করে।) ডেটা সেটটি দুটি গাউসিয়ান থেকে তৈরি হয়েছিল এবং আমরা লজিস্টিক রিগ্রেশন মডেলটিকে কোনও বাধা ছাড়াই ফিট করি, সুতরাং ডান উপ-চিত্রটিতে আমরা মাত্র দুটি পরামিতি দেখতে পারি we

নীল রেখাগুলি নিয়মিতকরণ ছাড়াই লজিস্টিক রিগ্রেশন এবং কৃষ্ণ রেখাগুলি এল 2 নিয়ন্ত্রণের সাথে লজিস্টিক রিগ্রেশন। ডান চিত্রের নীল এবং কালো পয়েন্টগুলি উদ্দেশ্যমূলক কার্যের জন্য অনুকূল পরামিতি।

$\lambda$ $0$

এল 1 নিয়ন্ত্রণের সাথে এখানে আরও একটি উদাহরণ।

দ্রষ্টব্য, এই পরীক্ষার উদ্দেশ্যটি দেখানোর চেষ্টা করছে যে কীভাবে লজিস্টিক রিগ্রেশনে নিয়মিতকরণ কাজ করে, তবে নিয়মিত মডেলটি তর্ক করা নয় better

$\lambda$ $\lambda$ $0$

$w$ $x$ $y$ $\hat y = f(x)=w^\top x$ $1$

$y$ $y \in \{-1,1\}$

$\hat y=w^{\top} x$ $\hat y$ $y$ $\hat y = w^{\top} x$ $\{-1,1\}$ $\hat y$

$y \in \{0,1\}$

কোডটি আমার অন্য উত্তরে এখানে পাওয়া যাবে।

লজিস্টিক রিগ্রেশন নিখুঁত পৃথকীকরণ মামলায় কেন কাজ করবে না তার কোন অন্তর্জ্ঞানীয় ব্যাখ্যা আছে? এবং নিয়মিতকরণ যুক্ত করা কেন এটি সংশোধন করবে?

— হাইতাও ডু
সূত্র

w^{T} x

$w^Tx$

f (x)

$f(x)$

@ Hxd1011 উত্তরের জন্য ধন্যবাদ, আপনি কি দয়া করে ব্যাখ্যা করতে পারেন যে শক্ত কালো রেখাগুলি কনট্যুর গ্রাফটিতে প্রতিনিধিত্ব করে? আরও সুনির্দিষ্টভাবে বলতে গেলে, আমি জানি যে (আপনি ব্যাখ্যা করেছেন) x এবং y অক্ষরটি আমরা ব্যবহার করি এমন দুটি পরামিতি দেখায়। তবে 8000, 10000, 12000 এর মতো শক্ত রেখাগুলি এবং তাদের সংখ্যাগুলি সম্পর্কে কী Thanks ধন্যবাদ!

— জেস্পার

@ জেস্পার

— ডু

l^{*} (β) = l (β) + \frac{1}{2} \ln | i (β) |

$l^*(\beta) = l(\beta) + \frac12 \ln |i(\beta)|$

i (β) = \frac{1}{n} \sum_{i} p_{i} (1 - p_{i}) x_{i} x_{i}^{'}

$i(\beta) = \frac1n \sum_i p_i (1-p_i) x_i x_i'$

{(y_{i}, x_{i}) ‖ = {(1, 1), (0, 0)}

$\{(y_i,x_i)\| = \{(1,1),(0,0)\}$ glmR

— StasK
সূত্র

হ্যাঁ আপনি এর জন্য আর প্যাকেজ লগিস্টফ বা ব্রিজিএম ব্যবহার করতে পারেন! সম্ভবত উল্লেখ করার মতো ...

— টম Wenseleers

এটি খুব মার্জিত, তবে এটি অপ্টিমাইজেশনের জন্য বেশ ধীর? গ্রেডিয়েন্টে আপনি বিপরীতটি পান যা প্রতিটি পুনরাবৃত্তিতে পুনরায় সংশোধন করা দরকার ...

i (β)

$i(\beta)$

— অ্যাপলেট্রি

এটি বেদনাদায়কভাবে ধীর, প্রকৃতপক্ষে, @ অ্যাপলেট্রি

— স্টাসকে

(+1) এর আগে আমি ফर्थের সংশোধনের কথা শুনিনি। আমি উদ্ধৃত কাগজে উল্লিখিত পদ্ধতিটি জিএলএম সমাধানে বেশি সময় যোগ করতে আশা করব না? (আপনার কোনও ম্যাট্রিক্সকে উল্টাতে হবে না, কেবল গণনা উপার্জন করতে হবে If যদি জিএলএমকে পুনরাবৃত্তভাবে ন্যূনতম স্কোয়ারগুলির মাধ্যমে পুনরায় আলোকিত করা হয় তবে এগুলি কেবল কিউ ফ্যাক্টরের সারি-আদর্শ । লিভারেজগুলি কেবল ব্যবহার করে ডেটা এবং এক্সপোজারে যুক্ত করে The পরিবর্তে মধ্যে জেফ্রিস সমন্বয় )।

h / 2

$h/2$

1 / 2

$1/2$

— GeoMatt22

হ্যাঁ, এটি লজিস্টিক রিগ্রেশন প্রযোজ্য। আর এ, গ্ল্যামনেট ব্যবহার করে আপনি উপযুক্ত পরিবারটি নির্দিষ্ট করে যা লজিস্টিক রিগ্রেশনের জন্য "দ্বিপদী" is আরও কয়েকটি (বিষ, বহুজাতিক, ইত্যাদি) রয়েছে যা আপনি আপনার ডেটা এবং আপনি যে সমস্যার সমাধান করছেন তার উপর নির্ভর করে নির্দিষ্ট করতে পারেন।

— Godspeed
সূত্র

এর জন্য কেবল গ্ল্যামনেট ব্যবহার করার ক্ষুদ্রতর দিকটি হল যে পদ্ধতিটি আপনাকে তাত্পর্যপূর্ণ স্তর দেয় না। আপনি যদি সেগুলিতে আগ্রহী হন, তবে আর প্যাকেজ লজিস্টফ বা বিআরজিএলএম যাওয়ার আরও ভাল উপায় হতে পারে ...

— টম ভেনসিলিয়ার্স

@ টমউইনস্লেয়ারগুলি পি-ভ্যালুগুলি পাওয়ার জন্য গ্ল্যামনেট বুটস্ট্র্যাপ করার জন্যও পদ্ধতি রয়েছে। তবে এটি কিছুটা জটিল কারণ "নিয়মিত" বুটস্ট্র্যাপ লাসো সহগের জন্য কাজ করে না

— গডস্পিড

আমাকে সে সম্পর্কে জানার জন্য ধন্যবাদ, আমি অন্যদের এটিরও উল্লেখ করতে দেখেছি, উদাহরণস্বরূপ: stats.stackexchange.com/questions/34859/… , তবে কিছু আর প্যাকেজে কার্যকর কিছু মান খুঁজে পাওয়া যায় না। আপনি কোন পয়েন্টার আছে ঘটবে? বা এই ভাল প্রাথমিক সাহিত্য? বুটস্ট্র্যাপিংয়ের

— নিম্নতম দিকটি

আপনি কি প্যাকেজ hdi, cran.r-project.org/web/packages/hdi/index.html প্রয়োগ করা যেমন পদ্ধতি উল্লেখ করছেন ?

— টম Wenseleers