গ্রেডিয়েন্ট বংশবৃদ্ধি কীভাবে গ্রেডিয়েন্ট বংশোদ্ভূত?

আমি গ্রেডিয়েন্ট বুস্টিং ( https://en.wikedia.org/wiki/Gradient_boosting ) এ দরকারী উইকিপিডিয়া এন্ট্রি পড়ছি , এবং কীভাবে / কেন আমরা খাড়া বংশোদ্ভূত পদক্ষেপ দ্বারা আনুমানিক আনতে পারি তা বোঝার চেষ্টা করছি (এটি ছদ্ম-গ্রেডিয়েন্টও বলা হয়) )। খাড়া বংশোদ্ভূত কীভাবে অবশিষ্টাংশের সাথে সংযুক্ত / অনুরূপ হয় সে সম্পর্কে কেউ আমাকে অন্তর্দৃষ্টি দিতে পারেন? সাহায্য অনেক প্রশংসা!

self-study gradient-descent

— Wouter
সূত্র

ধরা যাক আমরা নিম্নলিখিত পরিস্থিতিতে আছি। আমরা কিছু তথ্য আছে , যেখানে প্রতিটি একটি সংখ্যা বা ভেক্টর হতে পারে, এবং আমরা একটি ফাংশন নির্ধারণ চাই যে পরিমাপক সম্পর্ক অর্থে যে লিস্ট স্কোয়ার ত্রুটি: $\{ x_i, y_i \}$ $x_i$ $f$ $f(x_i) \approx y_i$

\frac{1}{2} \sum_{i} (y_{i} - f (x_{i}))^{2}

$\frac{1}{2} \sum_i (y_i - f(x_i))^2$

ছোট.

এখন, প্রশ্নটি কী প্রবেশ করে আমরা এর ডোমেনটি চাই । ডোমেনের জন্য অধঃপতিত হওয়া পছন্দটি আমাদের প্রশিক্ষণের ডেটাগুলির মাত্র পয়েন্ট। এই ক্ষেত্রে, আমরা কেবলমাত্র নির্ধারণ করতে পারি , সম্পূর্ণ পছন্দসই ডোমেনটি covering রেখে এটি সম্পন্ন করে। এই উত্তরটি পৌঁছানোর প্রায় এক রাস্তা হ'ল ডোমেন হিসাবে এই পৃথক স্থানের সাথে গ্রেডিয়েন্ট বংশোদ্ভূত করা। দৃষ্টিকোণে এটি কিছুটা পরিবর্তন নেয়। আসুন বিন্দু হিসাবে সত্য হিসাবে এবং পূর্বাভাস হিসাবে দেখি (মুহুর্তের জন্য, কোনও ফাংশন নয়, তবে কেবল ভবিষ্যদ্বাণীটির মান) $f$ $f(x_i) = y$ $y$ $f$ $f$

L (f; y) = \frac{1}{2} (y - f)^{2}

$L(f; y) = \frac{1}{2} (y - f)^2$

এবং তারপরে ভবিষ্যদ্বাণীটির প্রতি শ্রদ্ধা সহ গ্রেডিয়েন্টটি নিন

\nabla_{f} L (f; y) = f - y

$\nabla_f L(f; y) = f - y$

তারপর গ্রেডিয়েন্ট আপডেট, একটি প্রাথমিক মান থেকে শুরু হয় $y_0$

y_{1} = y_{0} - \nabla_{f} (y_{0}, y) = y_{0} - (y_{0} - y) = y

$y_1 = y_0 - \nabla_f (y_0, y) = y_0 - (y_0 - y) = y$

সুতরাং আমরা এই সেটআপটি সহ গ্রেডিয়েন্ট ধাপে আমাদের নিখুঁত পূর্বাভাসটি পুনরুদ্ধার করি, যা দুর্দান্ত!

ত্রুটি এখানে অবশ্যই, হয়, যে আমরা চাই শুধু আমাদের প্রশিক্ষণ ডাটা পয়েন্টের চেয়ে অনেক বেশী এ সংজ্ঞায়িত করা। এটি করার জন্য, আমাদের অবশ্যই কিছু ছাড় দিতে হবে, কারণ আমরা আমাদের প্রশিক্ষণের ডেটা সেট ব্যতীত অন্য কোনও পয়েন্টে লোকসান ফাংশন বা এর গ্রেডিয়েন্ট মূল্যায়ন করতে পারছি না। $f$

বড় ধারণাটি হ'ল দুর্বলভাবে প্রায় । $\nabla L$

Start এ প্রাথমিক অনুমান সহ প্রায় সর্বদা একটি সাধারণ ধ্রুবক ফাংশন , এটি সর্বত্র সংজ্ঞায়িত। প্রশিক্ষণের ডেটাতে ক্ষতির ফাংশনের গ্রেডিয়েন্টটি মূল্যায়ন করে, প্রাথমিক অনুমান ব্যবহার করে এখন একটি নতুন কার্যকারী ডেটাসেট তৈরি করুন : $f$ $f(x) = f_0$ $f$

W = {x_{i}, f_{0} - y}

$W = \{ x_i, f_0 - y \}$

Now approximate $\nabla L$ weak দুর্বল শিক্ষার্থীদের ফিট করে । বলুন আমরা আনুমানিক পাব । আমরা ছোট ডোমেনার মাপসই হওয়ার কারণে প্রশিক্ষণ পয়েন্টগুলিতে যথার্থতা হারিয়ে ফেলেছি, তবুও আমরা আকারে পুরো ডোমেন জুড়ে ডেটা এক্সটেনশন অর্জন করেছি। $W$ $F \approx \nabla L$ $W$ $F(X)$

Finally, সম্পূর্ণ ডোমেনের উপরে গ্রেডিয়েন্ট আপডেটে এর জায়গায় ব্যবহার করুন : $F$ $\nabla L$ $f_0$

f_{1} (x) = f_{0} (x) - F (x)

$f_1(x) = f_0(x) - F(x)$

আমরা বের , একটি নতুন পড়তা চেয়ে একটু ভাল । দিয়ে শুরু করুন এবং সন্তুষ্ট হওয়া পর্যন্ত পুনরাবৃত্তি করুন। $f_1$ $f$ $f_0$ $f_1$

আশা করি, আপনি দেখতে পাচ্ছেন যে যা সত্যই গুরুত্বপূর্ণ তা হ'ল ক্ষতির গ্রেডিয়েন্টের সমীকরণ করা। সর্বনিম্ন স্কোয়ার মিনিমাইজেশনের ক্ষেত্রে এটি কাঁচা অবশিষ্টাংশের রূপ নেয়, তবে আরও পরিশীলিত ক্ষেত্রে এটি হয় না। যন্ত্রপাতি এখনও প্রয়োগ হয়। যতক্ষণ না প্রশিক্ষণের ডেটাতে লোকসান এবং ক্ষতির গ্রেডিয়েন্ট গণনা করার জন্য কেউ অ্যালগরিদম তৈরি করতে পারে ততক্ষণ আমরা এই অ্যালগরিদমটিকে ক্ষয়কে হ্রাস করে আনুমানিক কোনও ফাংশনটি ব্যবহার করতে পারি।

— ম্যাথু ড্রুরি
সূত্র

ইয়াহ, আমি মনে করি এটি বেশ ভাল। কেবলমাত্র লক্ষণীয় বিষয় আপনি যদি উদাহরণস্বরূপ, দ্বিপদী লোকসান হ্রাস করতে বাড়াতে চান তবে আমরা যে গ্রেডিয়েন্টটি প্রসারিত করব তা আর নেই একটি প্রাকৃতিক উপায়ে অবশিষ্টাংশ সম্পর্কিত।

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log (p_i) + (1 - y_i) \log(1 - p_i)$

— ম্যাথু ড্রুরি

ধন্যবাদ ম্যাথিউ আমার মাথা ঘুরিয়ে দেওয়ার জন্য আমি চেষ্টা করছি। সাহিত্যে প্রায়শই বলা হয় যে মডেল আপডেটটি হ'ল ফ (এম + 1) = এফ (এম) + , যেখানে এইচ (এম) দুর্বল শিক্ষার্থী। যদি আমি গাছ ভিত্তিক মডেলটির কথা ভাবছি - এর অর্থ কি এই যে প্রতিরোধ এবং শ্রেণিবিন্যাস উভয়ের জন্যই আমরা দুটি মডেলের ফলাফলের সহজ সংযোজন করে কোনও প্রদত্ত ডেটাপয়েন্টের জন্য আমাদের ভবিষ্যদ্বাণীটি কার্যত ব্যবহারিকভাবে আপডেট করি? আমরা যদি বাইনারিটিকে শ্রেণিবদ্ধ করার চেষ্টা করি তবে তা কি কাজ করে? বা + চিহ্নটি এত আক্ষরিকভাবে ব্যাখ্যা করা উচিত নয়?

α_{m} * h (m)

$\alpha_m*h(m)$

— ওয়াউটার 17

প্লাস চিহ্নটি বেশ আক্ষরিক। তবে গাছ ভিত্তিক দুর্বল শিখার জন্য, মডেল পূর্বাভাসগুলি পাতার ওজনযুক্ত গড় হিসাবে ব্যাখ্যা করা উচিত, এমনকি এমন ক্ষেত্রে যেখানে গাছ দ্বিপদী তথ্যের সাথে খাপ খায়। তবে খেয়াল করুন, উত্সাহ দেওয়ার ক্ষেত্রে আমরা সাধারণত দ্বিপদী তথ্যের সাথে মানানসই নয়, আমরা পূর্বের পর্যায়ে পূর্বাভাসের সাথে মূল্যায়নের সম্ভাবনার গ্রেডিয়েন্টের সাথে মানিয়ে যাচ্ছি, যার মূল্য হবে না ।

0, 1

$0,1$

— ম্যাথু ড্রুরি

@ ম্যাথেজড্রুরি আমি অনেক সাহিত্যে মনে করি, আমরা দিয়ে সরাসরি , তবে , যেখানে 0 থেকে 1 পর্যন্ত একটি শিক্ষার হার।

f_{1}

$f_1$

f_{0} - F (x)

$f_0-F(x)$

f_{0} - α * F (x)

$f_0-\alpha*F(x)$

α

$\alpha$

— হাইতাও ডু

@ hxd1011 হ্যাঁ, এটি সম্পূর্ণরূপে সঠিক এবং গ্রেডিয়েন্ট সাফল্যের সাথে বৃদ্ধির জন্য গুরুত্বপূর্ণ।

— ম্যাথিউ ড্র্যারি