আপনি যদি এটি orthogonally না করতে পারেন তবে এটি কাঁচা করুন (বহুপদী রিগ্রেশন)

Question

জন্য বহুপদী রিগ্রেশন সম্পাদন সম্মুখের , মানুষ কখনো কখনো কাঁচা polynomials, কখনও কখনও লম্ব polynomials ব্যবহার করুন। কিন্তু যখন তারা সম্পূর্ণ স্বেচ্ছাচারী বলে মনে হয় তা ব্যবহার করে।$Y$$X$

এখানে এবং এখানে কাঁচা বহুপদী ব্যবহার করা হয়। তবে এখানে এবং এখানে , অরথোগোনাল বহুপথগুলি সঠিক ফলাফল দেয় বলে মনে হয়। কি, কিভাবে, কেন ?!

এর বিপরীতে, যখন কোনও পাঠ্যপুস্তক (যেমন আইএসএলআর ) থেকে বহুপক্ষীয় রিগ্রেশন সম্পর্কে শিখতে হয় , এতে কাঁচা বা অরথোগোনাল বহুবর্ষের কথাও উল্লেখ করা হয় না - কেবল লাগানো মডেলটি দেওয়া হয়।

তাহলে আমাদের কখন কী ব্যবহার করতে হবে?
এবং কেন , ইত্যাদির জন্য পৃথক পি-মানগুলি এই দুটি মানের মধ্যে অনেক পার্থক্য করছে?$X$$X^2$

Comments

আপনি কাঁচা ও অরথোগোনাল বহুপদী এবং তাদের ব্যাখ্যা ব্যবহার করে একই ডেটাতে একই মডেলটি ফিট করলে কোন পি-মানগুলি পৃথক হয় সে সম্পর্কে আপনার কিছু চিন্তা করা উচিত । মডেল পূর্বাভাস সম্পর্কে কি?

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

@ স্কোর্টচি আমি আমার প্রশ্নের সাথে সম্পর্কিত তথ্য যুক্ত করেছি।

— l7ll7

অরথোগোনাল বহুবর্ষগুলি ব্যবহারের আর একটি ভাল কারণ হ'ল সংখ্যার স্থায়িত্ব; মোমোমিয়াল ভিত্তিতে ফিটিংয়ের জন্য সম্পর্কিত নকশার ম্যাট্রিক্স উচ্চ-ডিগ্রি ফিটিংয়ের জন্য বেশ অসুস্থ-শর্তযুক্ত হতে পারে যেহেতু উচ্চ-অর্ডার মোমোমিয়ালগুলি "খুব প্রায় রৈখিকভাবে নির্ভরশীল" (একটি ধারণা যা আরও গাণিতিকভাবে সুনির্দিষ্টভাবে তৈরি করা যেতে পারে), তবে ডিজাইনের ম্যাট্রিক্স অরথোগোনাল পলিনোমিয়ালগুলির জন্য কিছুটা ভাল আচরণ করা হয়। আমি equispaced abscissas (গ্রাম) ক্ষেত্রে আলোচনা এখানে কিন্তু চুক্তি অ equispaced ক্ষেত্রে অনুরূপ।

— জেএম 14

(তা সত্ত্বেও, এটি করার উপযুক্ত কারণ ব্যতীত উচ্চ-ডিগ্রি বহুবর্ষগুলির সাথে ফিট হওয়া উচিত নয়))

— জেএম কোনও স্ট্যাটিস্টিশিয়ান নয়

Answer 1

এবং এক্স 2 ভেরিয়েবলগুলি রৈখিকভাবে স্বতন্ত্র নয়। তাই, এমনকি যদি কোন দ্বিঘাত প্রভাব যোগ করা হয়, এক্স 2 মডেলের আনুমানিক প্রভাব পরিবর্তন করতে হবে এক্স ।$X$$X^2$$X^2$$X$

আসুন একটি সাদামাটা সিমুলেশন দিয়ে দেখে নেওয়া যাক।

> x <- runif(1e3)
> y <- x + rnorm(length(x))
> summary(lm(y~x))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.03486    0.06233  -0.559    0.576    
x            1.05843    0.10755   9.841   <2e-16 ***

মডেলটিতে এখন একটি চতুর্ভুজ শর্তের সাথে মানানসই।

> summary(lm(y~x+I(x^2)))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  0.03275    0.09528   0.344    0.731
x            0.65742    0.44068   1.492    0.136
I(x^2)       0.39914    0.42537   0.938    0.348

অবশ্যই সর্বজনীন পরীক্ষাটি এখনও তাৎপর্যপূর্ণ তবে আমি মনে করি যে ফলাফলটি আমরা দেখছি এটি একটি নয়। সমাধানটি হল অर्थোগোনাল বহুভুজ ব্যবহার করা।

 > summary(lm(y~poly(x,2)))

 Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.49744    0.03098  16.059   <2e-16 ***
poly(x, 2)1  9.63943    0.97954   9.841   <2e-16 ***
poly(x, 2)2  0.91916    0.97954   0.938    0.348    

মনে রাখবেন যে xপ্রথম মডেলের এবং poly(x,2)1দ্বিতীয় মডেলের সহগগুলি সমান নয়, এমনকি ইন্টারসেপ্টগুলিও আলাদা। এর কারণ হল polyঅর্থনরমাল ভেক্টরগুলি সরবরাহ করে, যা ভেক্টরের কাছেও অরথোগোনাল rep(1, length(x))। তাই poly(x,2)1না xবরং (x -mean(x))/sqrt(sum((x-mean(x))**2))...

একটি গুরুত্বপূর্ণ বিষয় হ'ল ওয়াল্ড পরীক্ষাগুলি, এই শেষ মডেলটিতে স্বাধীন are আপনি কেবল ওয়াল্ড পরীক্ষাটি দেখে আপনি কোন ডিগ্রি যেতে চান তা নির্ধারণ করতে orthogonal বহুভুজ ব্যবহার করতে পারেন: এখানে আপনি তবে এক্স 2 রাখবেন না । অবশ্যই প্রথম দুটি লাগানো মডেলের তুলনা করে আপনি একই মডেলটি খুঁজে পাবেন তবে এটি সহজতর - আপনি যদি উচ্চতর ডিগ্রি পর্যন্ত যাওয়ার কথা বিবেচনা করেন তবে এটি সত্যিই অনেক সহজ।$X$$X^2$

একবার আপনি কোন শর্তাবলী রাখবেন তা স্থির করে নেওয়ার পরে, আপনি ব্যাখ্যার জন্য বা পূর্বাভাসের জন্য কাঁচা বহুবর্ষ এবং এক্স 2 এ ফিরে যেতে চাইতে পারেন ।$X$$X^2$

Comments

+1 অবশেষে একটি পরিষ্কার উত্তর! ধন্যবাদ! আমি গ্রহণ করার আগে, আপনি দয়া করে আমাকে বলতে পারেন, আর ^ 2 বা এফ-স্ট্যাটিস্টিকের মতো অন্য কোনও পরিসংখ্যান কি কাঁচা সংখ্যার চেয়ে অরথোগোনাল প্লটের সংক্ষিপ্তসারটি আরও ভালভাবে পড়তে হবে? ভেরিয়েবলের প্লট করা ছাড়াও, এই দৃশ্যের অন্য কোনও কিছুর জন্য কাঁচা বহুমুখী ব্যবহার করা কি ফিট?

— l7ll7

এবং যখন আমার একাধিক ভবিষ্যদ্বাণী রয়েছে, তখন কি একই রকম সত্য হয়?

— l7ll7

আপনি কীভাবে "আপনি চতুর্ভুজ শব্দটি অন্তর্ভুক্ত করতে চান কিনা" তা সিদ্ধান্ত নিতে অরথোগোনাল বহুবচন ব্যবহার করবেন কীভাবে "?

— স্কোর্টচি - মনিকা পুনরায় ইনস্টল করুন

পয়েন্টটি হ'ল, সর্বাধিক-অর্ডার এফেক্টের পরীক্ষা, এই ক্ষেত্রে চতুর্ভুজটি আপনি কাঁচা বা অরথোগোনাল বহুবচন ব্যবহার করেন কিনা তা একই। তাহলে অরথোগোনাল বহুবর্ষ নিয়ে বিরক্ত কেন?

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

ঠিক আছে, অবশ্যই আপনার সেই মডেলটিতে এই প্রান্তিক পরীক্ষাগুলি করা উচিত নয়; সর্বাধিক-অর্ডার প্রভাব বাতিল করার পরে আপনার পুনরায় ফিট হওয়া উচিত। অরথোগোনাল বহুবর্ষগুলি আপনাকে বিরক্ত করে তোলে, একটি সহজ ধাপ-ডাউন পদ্ধতির অনুমতি দেয় - সম্ভবত আপনি কিউবিক শব্দটি দিয়ে চিত্রিত করতে পারেন।

— স্কোর্টচি - মনিকা পুনরায় ইনস্টল করুন

Answer 2

পরিস্থিতির একটি নির্দোষ মূল্যায়ন দিতে:

সাধারণত: ধরুন আপনার ভিত্তি ফাংশন দুটি ভিন্ন ব্যবস্থা আছে , সেইসাথে { ~ পি } ∞ এন = 1 কিছু ফাংশন (hilbert-) স্পেসের জন্য স্বাভাবিক এল 2 ( [ একটি , খ ] ) অর্থাত্ সমস্ত বর্গ-সংহতযোগ্য ফাংশনের স্থান।$\{p_n\}_{n=1}^\infty$$\{\tilde{p}\}_{n=1}^\infty$$L_2([a,b])$

$L_2([a,b])$$y \in L_2([a,b])$$\theta_n$$\tilde{\theta}_n \in \mathbb{R}$$n=1,2,\dots$$L_2$

$$\sum_{n=1}^\infty \tilde{\theta}_n \tilde{p}_n = y= \sum_{n=1}^\infty \theta_n p_n.$$

$k<\infty$

$$\{p_n\}_{n=1}^k$$ $$\{\tilde{p}\}_{n=1}^k,$$ $L_2([a,b])$

$\{\tilde{p}\}_{n=1}^\infty$$\{p_n\}_{n=1}^\infty$$y$$\{p\}_{n=1}^k$$k$$L_2([a,b])$

$p$

সুতরাং, পূর্বাভাসের ক্ষেত্রে (এই ক্ষেত্রে) কোনও পার্থক্য নেই।

$var(\hat{\tilde{\theta}}) = I \sigma²$

---

প্রাকৃতিক প্রশ্ন উত্থাপিত হয় যদি কোনও সেরা কাটা বেস সিস্টেম থাকে। তবে প্রশ্নের উত্তরটি সহজ বা অনন্য নয় এবং উদাহরণ হিসাবে এটি "সেরা" শব্দের সংজ্ঞা, যেমন আপনি সংরক্ষণাগার দেওয়ার চেষ্টা করছেন তার উপর নির্ভর করে।

Comments

(+1) পূর্বাভাসের ক্ষেত্রে কোনও পার্থক্য নেই; এবং এটি কোনও অর্থবহ অনুমানের ক্ষেত্রে কোনও পার্থক্য বলা যেতে পারে।

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন