গাউসীয় মডেলটিতে কমপক্ষে স্কোয়ার এবং এমএলইয়ের মধ্যে সমতা

Question

আমি মেশিন লার্নিংয়ে নতুন, এবং নিজে থেকে এটি শেখার চেষ্টা করছি। সম্প্রতি আমি কিছু বক্তৃতা নোটের মাধ্যমে পড়ছিলাম এবং একটি প্রাথমিক প্রশ্ন ছিল।

স্লাইড 13 বলছে যে "একটি গাউসির মডেলের অধীনে সর্বনিম্ন সম্ভাবনা প্রাক্কলনের সমান হ'ল" সর্বনিম্ন স্কোয়ার অনুমান। দেখে মনে হচ্ছে এটি সাধারণ কিছু, তবে আমি এটি দেখতে অক্ষম। এখানে কি চলছে কেউ দয়া করে ব্যাখ্যা করতে পারেন? আমি ম্যাথটি দেখতে আগ্রহী।

আমি পরে রিজ এবং লাসো রিগ্রেশন সম্পর্কিত সম্ভাব্য দৃষ্টিভঙ্গিও দেখার চেষ্টা করব, সুতরাং যদি এমন কোনও পরামর্শ থাকে যা আমাকে সাহায্য করবে, তবে এটিও প্রশংসিত হবে।

Comments

পি এর নীচে উদ্দেশ্য ফাংশন। 13 পি এর নীচে উদ্দেশ্য ফাংশনের কেবল ধ্রুবক এক ( ) n 10. এমএলই প্রাক্তনকে ছোট করে তোলে যখন সর্বনিম্ন স্কোয়্যারগুলি সর্বনিম্ন, কিউইডি হ্রাস করে। $n$

— whuber

@ শুভ: আপনার উত্তরের জন্য আপনাকে ধন্যবাদ। ভাল আমি যা জানতে চাইছিলাম তা হল এটি কীভাবে এমএলই হ্রাস করছে?

— অ্যান্ডি 21

আপনি যান্ত্রিক বা ধারণা বলতে বোঝায়?

— whuber

@ শুভঃ দু'জনেই! আমি যদি সেই ম্যাথটি দেখতে পেতাম তবে তাও সহায়তা করবে।

— অ্যান্ডি

লিঙ্কটি ভেঙে গেছে; সম্পূর্ণ রেফারেন্সের অভাব এবং উদ্ধৃতিটির জন্য আরও প্রসঙ্গটি কেবলমাত্র রেফারেন্সটি সরিয়ে ফেলতে বা এর জন্য কোনও বিকল্প উত্স সনাক্ত করতে অসুবিধা বোধ করে। এই লিঙ্কের 13 স্লাইড কি যথেষ্ট? --- cs.cmu.edu/~epxing/Class/10701-10s/recitation/recitation3.pdf

— Glen_b -Reninstate Monica

Answer 1

মডেলটিতে

$Y = X \beta + \epsilon$

যেখানে , Y এর লগইনোপোস্টিলিটি এন বিষয়গুলির একটি নমুনার জন্য এক্স (অ্যাডিটিভ ধ্রুবক পর্যন্ত)$\epsilon \sim N(0,\sigma^{2})$$Y|X$$n$

$$\frac{-n}{2} \log(\sigma^{2}) - \frac{1}{2 \sigma^{2}} \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$$

কেবলমাত্র ফাংশন হিসাবে দেখা হয়েছে , ম্যাক্সিমাইজার হ'ল যা হ্রাস করে$\beta$

$$\sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$$

এটি কি সমতা পরিষ্কার করে?

Comments

— ওপিতে

হ্যাঁ আমি এটি দেখতে পাচ্ছি কিন্তু তারা আসলে ১৩ পৃষ্ঠায় গাউসিয়ান লগ-সম্ভাবনা লিখছেন না যা এটি করার পরে এটি স্পষ্ট করে তোলে যে এর আরগম্যাক্স ওএলএসের মানদণ্ডের অর্গমিনের সমান, তাই আমি ভেবেছিলাম এটি একটি উপযুক্ত সংযোজন ছিল।

— ম্যাক্রো

ভাল পয়েন্ট: স্লাইডটি বিশদ সহ কিছুটা স্কেচি।

— শুক্র

আপনি শিখে গেছেন, যদি আপনি জানেন যে ত্রুটিগুলি সাধারণত রিগ্রেশন লাইনের চারপাশে বিতরণ করা হয় তবে সর্বনিম্ন স্কোয়ারের প্রাক্কলনকারীকে কিছুটা অর্থে "অনুকূল" বলা হয়, "ন্যূনতম স্কোয়ারগুলি" সবচেয়ে ভাল তা নির্বিচারে ঘোষণা করা ব্যতীত। শৈলশিরা রিগ্রেশন সম্বন্ধে এই সমাধান সমতূল্য (যদি আপনি একটি bayesian হয়) লিস্ট স্কোয়ার থেকে মূল্নির্ধারক যখন একটি গসিয়ান পূর্বে উপর স্থাপন করা হয় এর। একটি ঘন ঘন বিশ্বে এটি L 2 এর সমতুল্য$\beta$$L_{2}$ দণ্ডিত ন্যূনতম স্কোয়ারের সমান। লজিস্টিক রিগ্রেশন সহগগুলি হ'ল ন্যূনতম স্কোয়ার সমস্যার সমাধান নয়, সুতরাং এটি অভিন্ন হতে পারে না।

— ম্যাক্রো

অ্যাডিটিভ ধ্রুবক হয় n/2 log(2 *pi)

— স্মার্টচিস