কোর্সেরা মেশিন লার্নিং কোর্স প্রতি নিয়মিত রৈখিক রেগ্রেশন কস্ট ফাংশন প্রাপ্তি iv

Question

আমি কয়েক মাস আগে কোর্সেরার মাধ্যমে অ্যান্ড্রু এনগের কোর্স "মেশিন লার্নিং" নিয়েছি, বেশিরভাগ গণিত / উপকরণগুলির দিকে মনোযোগ দিচ্ছি না এবং পরিবর্তে বাস্তবায়ন এবং ব্যবহারিকতার দিকে মনোনিবেশ করেছি। তার পর থেকে আমি অন্তর্নিহিত কিছু তত্ত্ব অধ্যয়নের জন্য ফিরে যেতে শুরু করেছি এবং অধ্যাপক এনজি এর কিছু বক্তৃতাগুলি পুনর্বিবেচনা করেছি। আমি তার "নিয়মিত রৈখিক রেগ্রেশন" নিয়মিত বক্তৃতার মাধ্যমে পড়ছিলাম, এবং দেখেছি যে তিনি নিম্নলিখিত ব্যয়ের কাজটি দিয়েছেন:

$$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$$

তারপরে, তিনি এই ব্যয়টির জন্য নিম্নলিখিত গ্রেডিয়েন্টটি দেন:

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j]$$

সে কীভাবে একজনের থেকে অন্যের কাছে যায় সে সম্পর্কে আমি কিছুটা বিভ্রান্ত। যখন আমি আমার নিজস্ব বিকাশটি করার চেষ্টা করেছি, তখন আমার নিম্নলিখিত ফলাফল ছিল:

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j]$$

পার্থক্য হ'ল মূল ব্যয় কার্যকারিতা এবং প্রফেসর এনজি'র সূত্রে নিয়মিতকরণের পরামিতিগুলির মধ্যে তার গ্রেডিয়েন্ট ফাংশনে একটি 'বিয়োগ' চিহ্নে পরিবর্তিত হওয়ার মধ্যে 'যোগ' চিহ্ন, যদিও আমার ফলাফলটিতে এটি ঘটছে না।

স্বজ্ঞাতভাবে আমি এটি কেন নেতিবাচক তা বুঝতে পেরেছি: আমরা গ্রেডিয়েন্ট ফিগার দ্বারা থিটা প্যারামিটার হ্রাস করছি এবং আমরা অতিরিক্ত পরাশক্তি এড়াতে যে পরিমাণ প্যারামিটারটি পরিবর্তন করছি তা হ্রাস করার জন্য নিয়মিতকরণ পরামিতিটি চাই want আমি ক্যালকুলাসের উপর কেবলই আটকে আছি যা এই অন্তর্দৃষ্টিটিকে সমর্থন করে।

অবগতির জন্য, আপনি ডেক জানতে পারেন এখানে , স্লাইড 15 এবং 16 হয়।

Comments

আপনার ফলাফলটিতে y ^ (i) এর পূর্বে আপনার " + " রয়েছে - এটি কি টাইপো?

— স্টিভ এস

Answer 1

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

এখন

$\frac{\partial}{\partial \theta_j}(h_\theta (x^{(i)}) - y^{(i)})^2=2[(h_\theta (x^{(i)}) - y^{(i)})\frac{\partial}{\partial \theta_j}\{h_\theta(x^{(i)})\}]$

লক্ষ করুন যে একটি লিনিয়ার মডেলটিতে (আপনার উল্লিখিত পৃষ্ঠাগুলিতে আলোচনা হচ্ছে), $\frac{\partial}{\partial \theta_j}(h_\theta(x^{(i)})=[x^{(i)}]_j$

$\frac{\partial}{\partial \theta_j}\lambda\sum_{j=1}^n\theta^2=2\lambda\theta_j$

রৈখিক ক্ষেত্রে জন্য

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j + \lambda\theta_j]$

দেখে মনে হচ্ছে সম্ভবত আপনার এবং অ্যান্ড্রু দুজনেরই টাইপস থাকতে পারে। ভাল, আমাদের তিনজনের মধ্যে কমপক্ষে দু'জন মনে হয়।

Comments

এটি নিশ্চিত হয়েছে, অ্যান্ড্রু নোটে কেবল একটি টাইপো, এটি + চিহ্ন হতে হবে। এবং অধ্যাপক অন্তর্দৃষ্টি including (1-α (λ / এম)) সহ প্রতিটি বিষয় সঠিকভাবে ব্যাখ্যা করেছেন যার অর্থ প্রতিবার এই সঙ্কুচিত হওয়া θ তারপরে নিয়মিতকরণের আগে সাধারণ অংশটি বিয়োগ করা হবে।

— গুব00

Answer 2

আসলে আপনি যদি ভিডিওটির ঠিক পরে বক্তৃতা নোটগুলি পরীক্ষা করেন তবে এটি সূত্রটি সঠিকভাবে দেখায়। আপনি যে স্লাইডগুলি এখানে রেখেছে সেগুলি ভিডিওর স্লাইডটি দেখায়।

Comments

কোর্স.আর.এআরএলআরএন / ম্যাচাইন-ইলেক্নিং / সাপ্লিমেন্ট / পি কেএএসসি/… ভিডিওটির সঠিক সূত্র দেখানোর ঠিক পরে নোটগুলির লিঙ্কটি এখানে।

— গোবস্তস্ত

Answer 3

আসলে, আমি মনে করি এটি কেবল একটি টাইপো।

$-\alpha$$-\lambda\theta$$-\alpha$

ধারণা তৈরী কর?