পার্সেপট্রন বিধি থেকে গ্রেডিয়েন্ট বংশোদ্ভূত: সিগময়েড অ্যাক্টিভেশন ফাংশন সহ পার্সেপ্টরন কীভাবে লজিস্টিক রিগ্রেশন থেকে আলাদা?

মূলত, আমার প্রশ্নটি হ'ল মাল্টিলেয়ার পারসেপ্ট্রনগুলিতে পার্সেপট্রনগুলি সিগময়েড অ্যাক্টিভেশন ফাংশন সহ ব্যবহৃত হয়। যাতে আপডেটের নিয়মে হিসাবে গণনা করা হয় $\hat{y}$

\hat{y} = \frac{1}{1 + \exp (- w^{T} x_{i})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

এই "সিগময়েড" পারসেপ্ট্রন তখন লজিস্টিক রিগ্রেশন থেকে কীভাবে আলাদা?

আমি বলব যে একটি একক স্তর সিগময়েড পার্সেপট্রন লজিস্টিক রিগ্রেশনের সমান, এই অর্থে যে উভয়ই আপডেট নিয়মে। এছাড়াও, উভয়ই পূর্বাভাসে করে। তবে মাল্টিলেয়ার পারসেপ্ট্রনগুলিতে সিগময়েড অ্যাক্টিভেশন ফাংশনটি লজিস্টিক রিগ্রেশন এবং একটি একক-স্তর পারসেপ্ট্রনের বিপরীতে কোনও অন অফ সিগন্যাল নয়, সম্ভাব্যতা ফিরিয়ে আনতে ব্যবহৃত হয়। $\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$ $\operatorname{sign}(\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)})$

আমি মনে করি "পারসেপ্ট্রন" শব্দটির ব্যবহারটি কিছুটা অস্পষ্ট হতে পারে, সুতরাং আমাকে একক-স্তর পার্সেপ্টরন সম্পর্কে আমার বর্তমান বোঝার উপর ভিত্তি করে কিছু ব্যাকগ্রাউন্ড সরবরাহ করতে দিন:

ক্লাসিক পারসেপ্ট্রন নিয়ম

প্রথমত, এফ রোজেনব্ল্যাট দ্বারা ক্লাসিক অনুধাবন যেখানে আমাদের একটি পদক্ষেপ রয়েছে:

Δ w_{d} = η (y_{i} - \hat{y_{i}}) x_{i d} y_{i}, \hat{y_{i}} \in {- 1, 1}

$\Delta w_d = \eta(y_{i} - \hat{y_i})x_{id} \quad\quad y_{i}, \hat{y_i} \in \{-1,1\}$

ওজন আপডেট করতে

w_{k} := w_{k} + Δ w_{k} (k \in {1, . . ., d})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

যাতে as হিসাবে গণনা করা হয় $\hat{y}$

\hat{y} = sign (w^{T} x_{i}) = sign (w_{0} + w_{1} x_{i 1} + . . . + w_{d} x_{i d})

$\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i) = \operatorname{sign}(w_0 + w_1x_{i1} + ... + w_dx_{id})$

গ্রেডিয়েন্ট বংশোদ্ভূত

গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করে, আমরা ব্যয়টির কার্যকারিতাটি অনুকূলকরণ (ছোট করে) করব

J (w) = \sum_{i} \frac{1}{2} (y_{i} - \hat{y_{i}})^{2} y_{i}, \hat{y_{i}} \in R

$J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

যেখানে আমাদের "প্রকৃত" সংখ্যা রয়েছে, তাই আমি আমাদের শ্রেণিবিন্যাসের আউটপুট থ্রেশহোল্ডের পার্থক্যের সাথে লিনিয়ার রিগ্রেশনটির সাথে এটি মূলত অভিন্ন দেখি।

এখানে, আমরা যখন ওজন আপডেট করি তখন গ্রেডিয়েন্টের নেতিবাচক দিকের দিকে পদক্ষেপ নিই

Δ w_{k} = - η \frac{\partial J}{\partial w_{k}} = - η \sum_{i} (y_{i} - \hat{y_{i}}) (- x_{i k}) = η \sum_{i} (y_{i} - \hat{y_{i}}) x_{i k}

$\Delta w_k = - \eta \frac{\partial J}{\partial w_k} = - \eta \sum_i (y_i - \hat{y_i})(- x_{ik}) = \eta \sum_i (y_i - \hat{y_i})x_{ik}$

তবে এখানে, আমাদের পরিবর্তে $\hat{y} = \mathbf{w}^T\mathbf{x}_i$ $\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i)$

w_{k} := w_{k} + Δ w_{k} (k \in {1, . . ., d})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

এছাড়াও, আমরা ক্লাসিক পার্সেপট্রন নিয়মের বিপরীতে পুরো প্রশিক্ষণ ডেটাসেটের (ব্যাচ লার্নিং মোডে) সম্পূর্ণ পাসের জন্য স্কোয়ার ত্রুটির সমষ্টি গণনা করি যা নতুন প্রশিক্ষণের নমুনাগুলি আসার সাথে সাথে ওজনকে আপডেট করে (স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত - অ্যানালগ শেখার)।

সিগময়েড অ্যাক্টিভেশন ফাংশন

এখন, এখানে আমার প্রশ্ন:

মাল্টিলেয়ার পারসেপ্ট্রনগুলিতে পার্সেসেপ্টরনগুলি সিগময়েড অ্যাক্টিভেশন ফাংশন সহ ব্যবহৃত হয়। যাতে আপডেটের নিয়মে হিসাবে গণনা করা হয় $\hat{y}$

\hat{y} = \frac{1}{1 + \exp (- w^{T} x_{i})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

এই "সিগময়েড" পারসেপ্ট্রন তখন লজিস্টিক রিগ্রেশন থেকে কীভাবে আলাদা?

আশ্চর্যজনকভাবে, এই প্রশ্নটি আমাকে নিজেই আমার মেশিন লার্নিং এবং নিউরাল নেট বেসিকগুলি ঘনীভূত করার অনুমতি দিয়েছে!

— varun

উত্তর:

গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করে, আমরা ব্যয়টির কার্যকারিতাটি অনুকূলকরণ (ছোট করে) করব

$J (w) = \sum_{i} \frac{1}{2} (y_{i} - \hat{y_{i}})^{2} y_{i}, \hat{y_{i}} \in R$ $J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

যদি আপনি গড় স্কোয়ার ত্রুটিটি হ্রাস করেন তবে এটি লজিস্টিক রিগ্রেশন থেকে আলাদা। লজিস্টিক রিগ্রেশন সাধারণত ক্রস এনট্রপি হ্রাসের সাথে সম্পর্কিত, এখানে সাইকিট-লার্ন লাইব্রেরির একটি সূচনা পৃষ্ঠা রয়েছে ।

(আমি ধরে নেব মাল্টিলেয়ার পারসেপ্টরন একই জিনিসকে নিউরাল নেটওয়ার্ক বলে।

যদি আপনি একক-স্তরীয় নিউরাল নেটওয়ার্কের জন্য ক্রস এনট্রপি ক্ষতি (নিয়মিতকরণের) ব্যবহার করেন তবে এটি লজিস্টিক রিগ্রেশন হিসাবে একই মডেল (লগ-লিনিয়ার মডেল) হতে চলেছে। আপনি যদি এর পরিবর্তে কোনও মাল্টি-লেয়ার নেটওয়ার্ক ব্যবহার করেন তবে এটি প্যারামেট্রিক ননলাইনার ভিত্তিক ফাংশনগুলির সাথে লজিস্টিক রিগ্রেশন হিসাবে ভাবা যেতে পারে।

তবে মাল্টিলেয়ার পারসেপ্ট্রনগুলিতে সিগময়েড অ্যাক্টিভেশন ফাংশনটি লজিস্টিক রিগ্রেশন এবং একটি একক-স্তর পারসেপ্ট্রনের বিপরীতে কোনও অন অফ সিগন্যাল নয়, সম্ভাব্যতা ফিরিয়ে আনতে ব্যবহৃত হয়।

সিগময়েড অ্যাক্টিভেশন ফাংশন সহ লজিস্টিক রিগ্রেশন এবং নিউরাল নেটওয়ার্ক উভয়ের আউটপুট সম্ভাব্যতা হিসাবে ব্যাখ্যা করা যেতে পারে। যেহেতু ক্রস এন্ট্রপি ক্ষতি আসলে বার্নোল্লি বিতরণের মাধ্যমে সংজ্ঞাযুক্ত নেতিবাচক লগ সম্ভাবনা।

— dontloo
সূত্র

কারণ গ্রেডিয়েন্ট বংশোদ্ভূত প্রতিটি প্যারামিটারকে এমনভাবে আপডেট করে যে এটি আউটপুট ত্রুটি হ্রাস করে যা অবশ্যই সমস্ত পরামিতিগুলির ক্রিয়াকলাপ অব্যাহত রাখতে হবে। থ্রেশহোল্ড ভিত্তিক অ্যাক্টিভেশন পার্থক্যযোগ্য নয় এজন্য সিগময়েড বা তানহ অ্যাক্টিভেশন ব্যবহৃত হয়।

এখানে একটি একক স্তর এনএন

$\frac{dJ(w,b)}{d\omega_{kj}} =\frac{dJ(w,b)}{dz_k}\cdot \frac{dz_k}{d\omega_{kj}}$

$\frac{dJ(w,b)}{dz_k} = (a_k -y_k)(a_k(1-a_k))$

$\frac{dz_k}{d\omega_{kj}} = x_k$

$J(w,b) = \frac{1}{2} (y_k - a_k)^2$

$a_k = sigm(z_k) = sigm(W_{kj}*x_k + b_k)$

$J$ $z_k$

এখানে একটি লিঙ্ক রয়েছে যা এটি সাধারণভাবে ব্যাখ্যা করে।

সম্পাদনা: হতে পারে, পারসেপ্ট্রনের মাধ্যমে আপনি কী বোঝাতে চেয়েছেন তা আমি ভুল বুঝেছি। যদি আমি ভুল না হয়ে থাকি তবে পার্সেপট্রনকে ইনপুটগুলির যোগফলের ওজন দেওয়া হয়। আপনি যদি লজিস্টিক ফাংশন সহ থ্রোলডিং পরিবর্তন করেন তবে এটি লজিস্টিক রিগ্রেশন-এ পরিণত হয়। সিগময়েড (লজিস্টিক) অ্যাক্টিভেশন ফাংশন সহ মাল্টি-লেয়ার এনএন হ'ল লজিস্টিক রিগ্রেশনগুলির সমন্বয়ে গঠিত ক্যাসকেড স্তরগুলি।

— yasin.yazici
সূত্র

এটি প্রশ্নের উত্তর দেয় না।

— নীল জি

এই দুর্দান্ত মন্তব্যটি লেখার জন্য ধন্যবাদ, তবে এটি আমি যা চেয়েছিলাম তা ছিল না। আমার প্রশ্নটি "কেন গ্রেডিয়েন্ট বংশোদ্ভূত" ছিল না তবে "সিগময়েড অ্যাক্টিভেশন ফাংশনটির মাধ্যমে

y = W^{T} X

$y = W^T X$

y = w_{j}^{T} x_{j i}

$y = w_j^Tx_{ji}$

η (y - s i g n (w^{T} x_{i})) x

$\eta (y - sign(w^Tx_i))x$

η (y - w^{T} x_{i}) x_{i}

$\eta (y - w^Tx_i)x_i$

স্বজ্ঞাতভাবে, আমি আমার ইনপুট বৈশিষ্ট্যগুলিতে ননলাইনার ট্রান্সফর্মেশন গণনা হিসাবে মাল্টিলেয়ার পারসেপ্ট্রনের কথা ভাবি এবং তারপরে এই রূপান্তরিত ভেরিয়েবলগুলিকে লজিস্টিক রিগ্রেশন হিসাবে খাওয়াই।

$\beta_i X$ $i$ $\frac{\beta_i X}{\sum_j \beta_j X}$

আমি আপনার সম্পর্কে জানি না, তবে আমার মডেলিং কোর্স এবং গবেষণায়, আমি তাদের তাত্পর্য এবং সামগ্রিক মডেল পূর্বাভাস উন্নত করতে ইনপুট বৈশিষ্ট্যের সমস্ত ধরণের বুদ্ধিমান এবং বোকা রূপান্তর চেষ্টা করেছি tried জিনিস স্কোয়ার করা, লগগুলি নেওয়া, দুটি হারকে একত্রিত করা ইত্যাদি etc. আমার কোনও লজ্জা নেই, তবে আমার ধৈর্য সীমিত ছিল।

$X$ $\beta_i$

— ড্যান ভ্যান বক্সেল
সূত্র