দুটি লিনিয়ার রিগ্রেশন মডেল দেওয়া, কোন মডেল আরও ভাল অভিনয় করতে পারে?

Question

আমি আমার কলেজে একটি মেশিন লার্নিং কোর্স নিয়েছি। কোয়েসের একটিতে এই প্রশ্নটি করা হয়েছিল।

মডেল 1:

$$y = \theta x + \epsilon$$ মডেল 2: $$y = \theta x + \theta^2 x + \epsilon$$

উপরের কোন মডেল ডেটা আরও ভাল ফিট করতে পারে? (ধরুন লিনিয়ার রিগ্রেশন ব্যবহার করে ডেটা মডেল করা যায়)

সঠিক উত্তর (অধ্যাপকের মতে) হ'ল উভয় মডেলই সমানভাবে পারফর্ম করবে। তবে আমি বিশ্বাস করি যে প্রথম মডেলটি আরও ভাল ফিট হবে।

এই আমার উত্তর পিছনে কারণ। দ্বিতীয় মডেল, যা $\alpha x + \epsilon$ , $\alpha = \theta + \theta^2$ আবারও লেখা যেতে পারে প্রথম মডেলের মতো হবে না। $\alpha$ প্রকৃতপক্ষে একটি প্যারাবোলা, এবং তাই এর সর্বনিম্ন মান হয় ( $-0.25$ এই ক্ষেত্রে 0.25 )। এখন এই কারণে, পরিসীমা $\theta$ প্রথম মডেল পরিসীমা চেয়ে বেশী $\alpha$ দ্বিতীয় মডেল। অতএব যদি ডেটা এমন হয় যে সেরা ফিটের সাথে একটি opeাল ছিল $-0.25$ , দ্বিতীয় মডেল প্রথমটির তুলনায় খুব খারাপভাবে পারফর্ম করবে। তবে ক্ষেত্রে সবচেয়ে উপযুক্ত ফিটের opeাল বেশি ছিল , উভয় মডেলই সমানভাবে ভাল পারফর্ম করবে।$-0.25$

তাহলে প্রথমটি কি ভাল, না উভয়ই ঠিক এক?

Comments

আমার মনে হচ্ছে তুমি সঠিক. আবশ্যক করার একটি প্যারামিটার ব্যক্ত করা যায় এমন হতে যেমন θ + + θ 2 (কিছু জন্য θ ) প্রকৃতপক্ষে কি একটি বাধ্যতা জোরদার করে α এর সম্ভব। এর অর্থ হ'ল দ্বিতীয় মডেলটি প্রথমটির চেয়ে কম সম্পর্ক প্রকাশ করতে পারে , কারণ এটি এখন মূলত একটি বাছাই করা অপ্টিমাইজেশনের সমস্যা। আপনার যুক্তি আমার কাছে দৃ solid় মনে হয়। $\alpha$$\theta + \theta^2$$\theta$$\alpha$

— ম্যাথু ড্র্যারি

@ ম্যাথেজড্রুরি আমি ঠিক বুঝতে পেরেছিলাম যে আমি কোথায় ভুল করেছি, নীচের উত্তরটি দেখুন (এবং মন্তব্য করুন)

— কুশ

আমি আপনার মন্তব্য দেখতে, কিন্তু যে কিছু প্রশংসনীয় গুরুতর জিমন্যাস্টিকস অনুমান করা হয় জটিল মান গ্রহণ করা হবে। আপনার অধ্যাপকের সাথে এই বিষয়ে কথা বলার জন্য আমি অবশ্যই অফিসের কিছু সময় উপস্থিত থাকব। আপনি যেভাবেই এটি থেকে একটি ভাল আলোচনা পাবেন। $\theta$

— ম্যাথু ড্রি

-0.25 কোথা থেকে এসেছে তা আমার কাছে পরিষ্কার নয়। আপনি কি স্পষ্ট করতে পারেন?

— ম্যাড জ্যাক

আমি কিভাবে আপনার অধ্যাপক দুই দফা ডেটা সেটটি প্রতিটি মডেল মাপসই করা হবে করতে আগ্রহী হবে । মডেল 1 এবং θ = - 1 হইয়া নির্ভুল, কিন্তু কিভাবে গুলি / তিনি অনুমান করবে θ মডেল 2 একটি নিখুঁত হইয়া প্রাপ্ত কিভাবে? $\{(1,-1),(2,-2)\}$$\theta=-1$$\theta$

— হোবার

Answer 1

: মডেল 2 হিসেবে লেখা যেতে পারে এই মাত্র hyperparameters জন্য বিভিন্ন নোটেশন (সঙ্গে মডেল 1 অনুরূপ মনে হয়, θ , β )। যাইহোক, মডেল 1 আমরা লিখতে পারি θ = (

$$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$$ $\theta, \beta$
$$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$$

কিন্তু যেহেতু মডেল 2 আমরা যে আছে তারপর হিসাবে আপনি প্রকৃতপক্ষে উল্লিখিত পরিসীমা β অন্তর্গত উচিত [ - 0.25 , + + ∞ ] জন্য θ ∈ আর । যা এই 2 টি মডেলের মধ্যে পার্থক্য দেখাবে।

$$\beta=\theta + \theta^{2},$$ $\hat{\beta}$$[-0.25,+\infty]$$\theta \in R$

এভাবে মডেল 2 আপনার মডেলকে 1. অসদৃশ আপনার সহগ হিসাব constraining এই আরো স্পষ্ট করার জন্য, এটা উল্লেখ করা উচিত যে মডেল বর্গক্ষেত্র হ্রাস ফাংশন কমানোর মাধ্যমে প্রাপ্ত হয় θ = ARG মিনিট θ ∈ আর ( Y - এক্স θ $\hat{\theta}$ তবে মডেল 2 অনুমান মাধ্যমে প্রাপ্ত হয় β =ARG মিনিট β ≥ - 0.25 (Y-এক্সβ

$$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$$ যা অন্য কোনও ফলাফলের দিকে নিয়ে যেতে পারে। $$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$$

Comments

$\theta$$\theta + \theta^2$$\theta$

@ কুশ দয়া করে আমার সম্পাদিত প্রতিক্রিয়া পরীক্ষা করুন যা আপনার উদ্বেগকেও প্রশ্রয় দেয়

— উইস

Answer 2

নিশ্চিত না যে আমি আপনার যুক্তি বুঝতে পেরেছি। যদি আপনি গ্রহণ করেন:

$$y = \alpha x+\epsilon$$ $$y = \theta x + \epsilon$$

$\alpha$$\theta$$\alpha$$\theta$$R^2$$\theta$$\alpha = \theta + \theta^2$

Comments

$\theta$$(- \infty, \infty)$$\alpha$$(- 0.25, \infty)$$x$