লজিস্টিক রিগ্রেশন এবং পারসেপ্ট্রনের মধ্যে পার্থক্য কী?

30

আমি মেশিন লার্নিংয়ের বিষয়ে অ্যান্ড্রু এনজি'র বক্তৃতার নোটগুলি দিয়ে যাচ্ছি ।

নোটগুলি আমাদের লজিস্টিক রিগ্রেশন এবং তারপরে পারসেপ্ট্রনের সাথে পরিচয় করিয়ে দেয়। পারসেপ্ট্রন বর্ণনা করার সময়, নোটগুলি বলে যে আমরা কেবল লজিস্টিক রিগ্রেশন জন্য ব্যবহৃত থ্রেশহোল্ড ফাংশনটির সংজ্ঞা পরিবর্তন করেছি। এটি করার পরে, আমরা শ্রেণিবিন্যাসের জন্য পার্সেপট্রন মডেলটি ব্যবহার করতে পারি।

সুতরাং আমার প্রশ্নটি - যদি এটি নির্দিষ্ট করা দরকার এবং আমরা পার্সেপট্রনকে একটি শ্রেণিবিন্যাস কৌশল হিসাবে বিবেচনা করি, তবে লজিস্টিক রিগ্রেশনটি আসলে কী? কেবলমাত্র ক্লাসের একটির সাথে সম্পর্কিত কোনও ডেটা পয়েন্টের সম্ভাবনা পাওয়ার জন্য ব্যবহার করা হয়?

— GrowinMan
সূত্র

সুন্দর প্রশ্ন, আমি দেখতে পেয়েছি যে আপনি এনএন সম্পর্কে ব্যাখ্যা কীভাবে শুরু করবেন তা অত্যন্ত গুরুত্বপূর্ণ, বিশেষত এনএন বুঝতে খুব জটিল হতে পারে, প্লিজ। আমার উত্তর বিবেচনা করুন।

— prosti থেকে

22

সংক্ষেপে, লজিস্টিক রিগ্রেশনটির সম্ভাব্য ধারণা রয়েছে যা এমএলে শ্রেণিবদ্ধ ব্যবহারের বাইরে চলে যায়। লজিস্টিক রিগ্রেশন সম্পর্কে আমার এখানে কিছু নোট রয়েছে ।

লজিস্টিক রিগ্রেশনে অনুমান একটি রৈখিক মডেলের উপর ভিত্তি করে বাইনারি ফলাফলের ঘটনায় অনিশ্চয়তার একটি পরিমাপ সরবরাহ করে। আউটপুটটি asyptotically এবং মধ্যে আবদ্ধ হয় এবং লিনিয়ার মডেলটির উপর নির্ভর করে, যেমন অন্তর্নিহিত রিগ্রেশন লাইনের মান হলে লজিস্টিক সমীকরণ সরবরাহ করে শ্রেণিবিন্যাসের উদ্দেশ্যে একটি প্রাকৃতিক কাট অফ পয়েন্ট। যাইহোক, এটি result এর প্রকৃত ফলাফলের সম্ভাব্যতার তথ্য ছড়িয়ে দেওয়ার ব্যয় is , যা প্রায়শই আকর্ষণীয় (যেমন loanণ খেলাপির প্রদত্ত সম্ভাবনা, প্রদত্ত আয়, ক্রেডিট স্কোর, বয়স ইত্যাদি)। $0$ $1$ $0$ $0.5 = \frac{e^0}{1+e^0}$ $h(\Theta^T\bf x) =\frac{e^{\Theta^T \bf x}}{1 +e^{\Theta^T\bf x}}$

Perceptron শ্রেণীবিন্যাস অ্যালগরিদম আরো একটি মৌলিক পদ্ধতি, মধ্যে ডট পণ্যে ভিত্তিক উদাহরণ এবং ওজন । যখনই কোনও উদাহরণ ভুল শৃঙ্খলাবদ্ধ হয় তবে প্রশিক্ষণ শ্রেণিবদ্ধকরণ মান ( এবং ) এর সাথে ডট পণ্যটির সাইন দ্বন্দ্ব হয় । এটি সংশোধন করার জন্য, উদাহরণস্বরূপ ভেক্টরটি পুনরাবৃত্তভাবে ওজন বা সহগের ভেক্টর থেকে সংযুক্ত বা বিয়োগ করা হবে, ক্রমান্বয়ে এর উপাদানগুলি আপডেট করে: $-1$ $1$

ভেক্টরিয়ালি, উদাহরণস্বরূপের বৈশিষ্ট্য বা বৈশিষ্ট্যগুলি হ'ল , এবং ধারণাটি "পাস" করা হয় যদি: $d$ $\bf x$

$\displaystyle \sum_{1}^d \theta_i x_i > \text{theshold}$ বা ...

$h(x) = \text{sign}\big(\displaystyle \sum_{1}^d \theta_i x_i - \text{theshold}\big)$ । লজিস্টিক রিগ্রেশন এবং এর বিপরীতে সাইন ফাংশনটির ফলাফল বা । $1$ $-1$ $0$ $1$

প্রান্তিকটি পক্ষপাত সহগ, শোষিত হবে । সূত্রটি এখন: $+ \theta_0$

$h(x) = \text{sign}\big(\displaystyle \sum_0^d \theta_i x_i\big)$ , বা ভেক্টরাইজড: । $h(x) = \text{sign}(\theta^T\bf x)$

Misclassified পয়েন্ট থাকবে , যার মানে হল এর ডট পণ্য এবং ইতিবাচক (একই দিক ভেক্টর) হতে হবে যখন নেতিবাচক হয়, অথবা ডট পণ্যটি নেতিবাচক হবে (বিপরীত দিকের ভেক্টর), যখন ইতিবাচক। $\text{sign}(\theta^T\bf x) \neq y_n$ $\Theta$ $\bf x_n$ $y_n$ $y_n$

আমি একই কোর্স থেকে একটি ডেটাসেটে এই দুটি পদ্ধতির মধ্যে পার্থক্য নিয়ে কাজ করছি , যেখানে দুটি পৃথক পরীক্ষায় পরীক্ষার ফলাফল কলেজের চূড়ান্ত গ্রহণের সাথে সম্পর্কিত:

সিদ্ধান্তের সীমানাটি সহজেই লজিস্টিক রিগ্রেশন সহ সন্ধান করা যায়, তবে এটি আকর্ষণীয় ছিল যে পার্সেপট্রন সহ প্রাপ্ত সহগগুলি লজিস্টিক রিগ্রেশনের তুলনায় সম্পূর্ণ আলাদা ছিল, তবে ফলাফলের জন্য ফাংশনের সহজ প্রয়োগ application একটি শ্রেণিবদ্ধ অ্যালগরিদম ঠিক যেমন ভাল। প্রকৃতপক্ষে সর্বাধিক নির্ভুলতা (কিছু উদাহরণের লিনিয়ার অবিচ্ছেদ্যতার দ্বারা সীমা নির্ধারিত) দ্বিতীয় পুনরাবৃত্তির মাধ্যমে পৌঁছেছিল। গুণমানের একটি এলোমেলো ভেক্টর থেকে শুরু করে পুনরাবৃত্তিগুলি ওজনের প্রায় কাছাকাছি হওয়ায় সীমানা বিভাগ রেখার ক্রমটি এখানে রয়েছে : $\text{sign}(\cdot)$ $10$

পুনরাবৃত্তির সংখ্যার ফাংশন হিসাবে শ্রেণিবদ্ধে যথার্থতা দ্রুত বৃদ্ধি পায় এবং এ মালভূমি $90\%$

ব্যবহৃত কোডটি এখানে ।

— আন্তোনি পরেল্লদা
সূত্র

5

এখানে কিছু বিভ্রান্তি দেখা দিতে পারে। মূলত একটি পার্সেপেট্রন কেবলমাত্র পদক্ষেপ ফাংশন সহ স্নায়বিক নেটওয়ার্কগুলিকে স্থানান্তর ফাংশন হিসাবে উল্লেখ করে। সেই ক্ষেত্রে অবশ্যই পার্থক্যটি হ'ল লজিস্টিক রিগ্রেশন একটি লজিস্টিক ফাংশন ব্যবহার করে এবং পারসেপট্রন একটি পদক্ষেপ ফাংশন ব্যবহার করে। সাধারণভাবে উভয় অ্যালগরিদমের একই সিদ্ধান্তের সীমানা পাওয়া উচিত (কমপক্ষে একটি একক নিউরন পেরেসট্রনের জন্য)। যাহোক:

পার্সেপট্রনের জন্য প্যারামিটার ভেক্টরটি লজিস্টিক রিগ্রেশন দ্বারা প্রাপ্ত ব্যয়ের তুলনায় নির্বিচারে স্কেল করা যেতে পারে। প্যারামিটার ভেক্টরের যে কোনও স্কেলিং একই সীমানা সংজ্ঞায়িত করবে, তবে লজিস্টিক রিগ্রেশন দ্বারা গণনা করা সম্ভাবনাগুলি সঠিক স্কেলিংয়ের উপর নির্ভর করে।
একটি পদক্ষেপ ফাংশন থেকে আউটপুট অবশ্যই কোনও ধরণের সম্ভাবনা হিসাবে ব্যাখ্যা করা যায় না।
যেহেতু একটি পদক্ষেপ ফাংশন স্বতন্ত্র নয়, সুতরাং লজিস্টিক রিগ্রেশন জন্য ব্যবহৃত একই অ্যালগরিদম ব্যবহার করে পার্সেপট্রন প্রশিক্ষণ দেওয়া সম্ভব নয়।

কিছু ক্ষেত্রে পার্সেপেট্রন শব্দটি নিউরাল নেটওয়ার্কগুলিকেও বোঝাতে ব্যবহৃত হয় যা একটি লজিস্টিক ফাংশন ট্রান্সফার ফাংশন হিসাবে ব্যবহার করে (তবে এটি মূল পরিভাষা অনুসারে নয়)। সেক্ষেত্রে একটি লজিস্টিক রিগ্রেশন এবং "পারসেপ্ট্রন" হুবহু মিল। অবশ্যই, একটি পার্সেপট্রনের সাহায্যে লজিস্টিক ট্রান্সফার ফাংশনটি ব্যবহার করে একাধিক নিউরন ব্যবহার করা সম্ভব, যা লজিস্টিক রিগ্রেশন (এক নয়, তবে অনুরূপ) স্ট্যাকিংয়ের সাথে কিছুটা আপেক্ষিক হয়ে ওঠে।

— LiKao
সূত্র

2

পার্সেপেট্রন তৈরি করতে আপনি লজিস্টিক রিগ্রেশন ব্যবহার করতে পারেন। লজিস্টিক রিগ্রেশন প্রদত্ত ইনপুট থেকে আউটপুট তৈরি করতে লজিস্টিক ফাংশন ব্যবহার করে। লজিস্টিক ফাংশন 0 এবং 1 এর মধ্যে একটি মসৃণ আউটপুট উত্পাদন করে, সুতরাং এটির শ্রেণিবদ্ধ করতে আপনার আরও একটি জিনিস প্রয়োজন যা একটি প্রান্তিক is পারসেপ্ট্রনগুলি কেবলমাত্র যুক্তিসঙ্গত নয়, অন্যান্য কার্যকরী ফর্মগুলি দিয়ে তৈরি করা যেতে পারে ।

y (x_{1}, x_{2} | b) = \frac{e^{b_{0} + b_{1} x_{1} + b_{2} x_{2}}}{1 + e^{b_{0} + b_{1} x_{1} + b_{2} x_{2}}}

$y(x_1,x_2|b)=\frac{e^{b_0+b_1x_1+b_2x_2}}{1+e^{b_0+b_1x_1+b_2x_2}}$

b_{1}, b_{2}, b_{3}

$b_1,b_2,b_3$

\frac{e^{x}}{1 + e^{x}}

$\frac{e^x}{1+e^x}$

$y(x|b)$ $x$ $b$ $y$ $Y$ $\tilde y=0$ $y(x|b)<Y$ $\tilde y=1$ $y(x|b)\ge Y$

— Aksakal
সূত্র

1

তারা উভয়ই একই লজিস্টিক-ট্রান্সফর্মড মডেলের পরামিতিগুলি অনুমান করে রিগ্রেশন প্রয়োগ করছে। উত্তল ক্রিয়াকলাপগুলির বৈশিষ্ট্য অনুসারে, প্যারামিটারগুলির মানগুলি আপনি যেভাবে অনুমান করতে বেছে নেবেন সেভাবেই হবে। পূর্বের উত্তর থেকে নিজেকে উদ্ধৃত করা:

লজিস্টিক রিগ্রেশন মডেলগুলি রৈখিক সমীকরণ হিসাবে বার্নোল্লি বিতরণের গড়ের একটি ফাংশন (যার অর্থ একটি বার্নোল্লি ইভেন্টের সম্ভাব্য পি এর সমান) models লগিট লিঙ্কটি গড় (পি) এর ফাংশন হিসাবে ব্যবহার করে, প্রতিকূলতার (লগ-ওডস) লগারিদমকে বিশ্লেষণাত্মকভাবে উত্পন্ন করা যায় এবং তথাকথিত সাধারণীকরণীয় লিনিয়ার মডেলের প্রতিক্রিয়া হিসাবে ব্যবহার করা যেতে পারে। পূর্বাভাসের শীর্ষে, এটি আপনাকে কার্যকারিতা অনুসারে মডেলটি ব্যাখ্যা করতে দেয়। এটি এমন কিছু যা আপনি লিনিয়ার পারসেপ্ট্রন দিয়ে অর্জন করতে পারবেন না।

পারসেপ্ট্রন, ডাব্লুএক্সের বিপরীতমুখী লজিট (লজিস্টিক) ফাংশন নেয় এবং মডেল বা এর পরামিতিগুলির জন্য কোনও সম্ভাব্য অনুমানগুলি ব্যবহার করে না। অনলাইন প্রশিক্ষণ আপনাকে মডেল ওজন / পরামিতিগুলির জন্য ঠিক একই অনুমান দেবে, তবে পি-ভ্যালু, আত্মবিশ্বাসের ব্যবধান এবং ভাল কোনও অন্তর্নিহিত সম্ভাবনার মডেলের অভাবের কারণে আপনি কার্যকারিতা অনুসারে তাদের ব্যাখ্যা করতে সক্ষম হবেন না।

— Digio
সূত্র

1

$x_1,\ldots, x_N \in \mathbb R^n$ $y_1,\ldots,y_N \in \{-1, 1 \}$ $1$ $x_i$

\begin{aligned} (1) & minimize & \frac{1}{N} \sum_{i = 1}^{N} max (- y_{i} β^{T} x_{i}, 0) . \end{aligned}

$\begin{align} \tag{1}\text{minimize} & \quad \frac{1}{N}\sum_{i=1}^N \max(-y_i\beta^T x_i,0). \end{align}$

β \in R^{n + 1}

$\beta \in \mathbb R^{n+1}$

সমস্যা (1) এর উদ্দেশ্যমূলক হিসাবে লেখা যেতে পারে , যেখানে একটি subgradient এ ভেক্টর হয় কেসস st স্টোকাস্টিক সাবগ্রাডিয়েন্ট বংশোদ্ভূত প্রতিটি যুগের (পদক্ষেপের আকার ) প্রশিক্ষণ পর্যবেক্ষণের মধ্য দিয়ে যায় এবং, তম পর্যবেক্ষণের জন্য, আপডেটটি সম্পাদন করে $\frac{1}{N}\sum_i \ell_i(\beta)$

ℓ_{i} (β) = max (- y_{i} β^{T} x_{i}, 0) .

$\ell_i(\beta) = \max(-y_i \beta^T x_i,0).$

ℓ_{i}

$\ell_i$

β

$\beta$

g = {\begin{cases} 0 & if - y_{i} β^{T} x_{i} \leq 0 (so y_{i} and β^{T} x_{i} have the same sign) \\ - y_{i} x_{i} & otherwise. \end{cases}

$g = \begin{cases} 0 & \quad \text{if } -y_i \beta^T x_i \leq 0 \qquad \text{(so $y_i$ and $\beta^T x_i$ have the same sign)}\\ - y_i x_i & \quad \text{otherwise.} \end{cases}$

t > 0)

$t > 0)$

i

$i$

β \leftarrow β - t g = {\begin{cases} β & if y_{i} and β^{T} x_{i} have the same sign \\ β + t y_{i} x_{i} & otherwise. \end{cases}

$\beta \leftarrow \beta - t g = \begin{cases} \beta & \quad \text{if $y_i$ and $\beta^T x_i$ have the same sign} \\ \beta + t y_i x_i & \quad \text{otherwise.} \end{cases}$ আমরা স্বীকার করি যে এটি পার্সেপেট্রন অ্যালগরিদমের (শিখার হার ) পুনরাবৃত্তি ।

t

$t$

— littleO
সূত্র

0

অ্যান্ড্রু এনজি বাইনারি শ্রেণিবদ্ধকরণ সমস্যা সমাধানের মডেল হিসাবে "লজিস্টিক রিগ্রেশন" শব্দটি ব্যবহার করেছিলেন।

আপনি কাগজে যেমন দেখতে পেয়েছেন তিনি আসলে কখনও মডেলটি আঁকেন না।

আমাকে বালতিতে কয়েকটি বিশদ যুক্ত করতে দাও যাতে আপনি কীভাবে তিনি বক্তৃতাগুলি তৈরি করেছিলেন বলে আমি যুক্তি খুঁজে পেতে পারি।

"লজিস্টিক রিগ্রেশন" এর জন্য ব্যবহৃত মডেলটি একক স্তরের উপলব্ধি যার সাথে কাস্টম সংখ্যার ইনপুট এবং 0 থেকে 1 অবধি এক আউটপুট থাকে।

নব্বইয়ের দশকে সর্বাধিক প্রশংসিত অ্যাক্টিভেশন ফাংশন ছিল সিগময়েডাল অ্যাক্টিভেশন ফাংশন এবং ব্যাকআপ হিসাবে একটি দুর্দান্ত গাণিতিক তত্ত্ব রয়েছে।

এই ফাংশনটি 0 থেকে 1 এর মধ্যে যেহেতু অ্যান্ড্রু এনজি ঠিক এটিই ব্যবহার করছেন And

এছাড়াও ডেরাইভেটিভ s'(x) = s(x)(1−s(x)), যেখানে s(x)সিগময়েডাল অ্যাক্টিভেশন ফাংশন রয়েছে।

ত্রুটি ফাংশনের জন্য তিনি এল 2 ব্যবহার করেন, যদিও কিছু কাগজপত্রে সে এর জন্য অন্য কিছু ফাংশন ব্যবহার করতে পারে।

সুতরাং পুনরায় সংশোধন করার জন্য, "লজিস্টিক রিগ্রেশন" বিবেচনা করার সময় কেবল সিগময়েডাল অ্যাক্টিভেশন ফাংশন, কাস্টম সংখ্যার ইনপুট এবং একক আউটপুট সহ একক স্তরের উপলব্ধি বিবেচনা করুন।

মাত্র কয়েকটি নোট: সিগময়েডাল অ্যাক্টিভেশন ফাংশনে কোনও ভুল নেই, যদিও ভাসমান পয়েন্ট পাটিগণিতের জন্য, আজকাল আরএলইউ লুকায়িত স্তরগুলিকে প্রাধান্য দেয়, তবে অদূর ভবিষ্যতে পোস্টস (বা কিছু অন্যান্য পাটিগণিত ইউনিট) সিগময়েডাল অ্যাক্টিভেশন ফাংশনটি টেবিলের পিছনে ফেলে দিতে পারে although ।

ব্যক্তিত্ব, আমি এসএলপি (একক স্তরের পার্সপেট্রন) ব্যাখ্যা করার জন্য রিলু ফাংশন সহ সহজ মডেলটি ব্যবহার করব যেহেতু এটি আজ বেশি ব্যবহৃত হয়।

— prosti থেকে
সূত্র