অরথোগোনাল পলিনোমিয়াল রিগ্রেশন থেকে কাঁচা সহগ এবং বৈচিত্রগুলি পুনরুদ্ধার করা

Question

দেখে মনে হচ্ছে আমার কাছে যদি রিগ্রেশন মডেল থাকে যেমন $y_i \sim \beta_0 + \beta_1 x_i+\beta_2 x_i^2 +\beta_3 x_i^3$আমি হয় একটি কাঁচা বহুপুত্র ফিট করতে পারি এবং অবিশ্বাস্য ফলাফল পেতে পারি বা একটি অর্থোগোনাল বহুবর্ষের সাথে ফিট করতে পারি এবং সহগগুলি পাই যাগুলির সরাসরি শারীরিক ব্যাখ্যা নেই (যেমন আমি এগুলিকে মূল স্কেলের অতিরিক্তগুলির অবস্থানগুলি সন্ধান করতে ব্যবহার করতে পারি না)। দেখে মনে হচ্ছে আমার উভয় পৃথিবীর মধ্যে সেরা থাকতে হবে এবং লাগানো অরথোগোনাল সহগ এবং তার রূপগুলি কাঁচামালগুলিতে ফিরে আসতে সক্ষম হওয়া উচিত। আমি প্রয়োগিত লিনিয়ার রিগ্রেশন (স্নাতকোত্তর, 5 ইড) ব্যবহার করে স্নাতক কোর্স নিয়েছি এবং আমি ড্রপারের বহুপদী রিগ্রেশন অধ্যায়টি দেখেছি (3 ইড, কুটনার দ্বারা উল্লেখ করা হয়েছে) তবে এটি কীভাবে করা যায় সে সম্পর্কে কোনও আলোচনা পাইনি found জন্য সাহায্য পাঠ্যpoly()আর মধ্যে ফাংশন না। এমনকি এখানে আমার ওয়েব অনুসন্ধানেও আমি কিছু পাইনি। একটি অরথোগোনাল বহুপদীতে লাগানো সহগগুলি থেকে কাঁচা গুণফলগুলি (এবং তাদের রূপগুলি প্রাপ্ত করা) পুনর্গঠন করছে ...

1. করা অসম্ভব এবং আমি আমার সময় নষ্ট করছি।
2. সম্ভবত সম্ভব তবে সাধারণ ক্ষেত্রে কীভাবে তা জানা যায়নি।
3. সম্ভব তবে আলোচনা করা হয়নি কারণ "কে চাইবে?"
4. সম্ভব তবে আলোচনা করা হয়নি কারণ "এটি সুস্পষ্ট"।

যদি উত্তরটি 3 বা 4 হয় তবে আমি কীভাবে এটি ব্যাখ্যা করতে ধৈর্য ধারণ করে বা এমনটি উত্সের দিকে ইঙ্গিত করে যদি আমি কেউ কৃতজ্ঞ থাকি। যদি এটি 1 বা 2 হয় তবে আমি বাধাটি কী তা জানতে আগ্রহী। এটি পড়ার জন্য আপনাকে অনেক ধন্যবাদ, আমি যদি কিছু সুস্পষ্ট কিছু উপেক্ষা করে থাকি তবে আমি আগে থেকে ক্ষমা চাই।

Comments

আমি আপনার বক্তব্য বুঝতে পারি না। এক্স, এক্স 2 এবং এক্স 3 অরথোগোনাল নয়। সুতরাং এগুলি পারস্পরিক সম্পর্কযুক্ত এবং রিগ্রেশন প্যারামিটারগুলি অস্থির হতে পারে তবে এটি অবিশ্বাস্য এমনটি স্বয়ংক্রিয়ভাবে ঘটে না। অরথনোগোনাল বহুবর্ষে রূপান্তর আরও নির্ভরযোগ্য হতে পারে। তবে x এর মূল শক্তির গুণাগুণকে অরথোগোনাল বহুবর্ষের গুণাগুণগুলির চেয়ে আরও বেশি ব্যাখ্যাযোগ্য করে তোলে? X যদি মডেল y = a + bx এর মতো একমাত্র পরিবর্তনশীল হয় তবে =y = yi-yi-1 = bx এবং b এক্স হিসাবে প্রতি ইউনিট পরিবর্তনের হিসাবে y হিসাবে পরিবর্তনযোগ্য। কিন্তু জড়িত শক্তির সাথে এ জাতীয় ব্যাখ্যার হাতছাড়া হয়। $^2$$^3$

— মাইকেল আর চেরনিক

আমি সরলতার জন্য পরিবর্তনশীল হিসাবে ঠিক এক্স সহ একটি মডেল ব্যবহার করেছি, তবে বাস্তবে আমি চিকিত্সা দলের মধ্যে বক্ররেখার তুলনা করছি। সুতরাং, কোন পদগুলি তাত্পর্যপূর্ণ এবং তাদের প্রস্থের উপর নির্ভর করে আমি সেগুলি ব্যাখ্যা করতে পারি - উদাহরণস্বরূপ একটি wardর্ধ্বমুখী / নিম্নগামী সামগ্রিক স্থানান্তর, বা বৃহত্তর / কম প্রাথমিক opeাল। এছাড়াও, আমার প্রশ্ন হিসাবে, বক্ররেখার মধ্যে তৈরি করার জন্য প্রাকৃতিক তুলনা হ'ল ম্যাক্সিমা / মিনিমা এর অবস্থান, এটি মূল স্কেলে থাকলে ব্যাখ্যা করা সহজ। তো, আপনার ভোটটি পছন্দ 3 এর জন্য, আমি কি তা গ্রহণ করি?

— f1r3br4nd

না আমি এটি এখনও সম্ভব কিনা তা সন্ধান করতে পারিনি। আপনি কেন এটি করতে চান তা আমি কেবল বুঝতে পেরেছি।

— মাইকেল আর চেরনিক

ওয়েল, নোট করুন যে অরথোগোনাল পলিনোমিয়ালের সাথে সজ্জিত মডেলের কাঁচা বহুপক্ষীয় পদগুলির সাথে মডেল ফিট হিসাবে ঠিক একই ফিট (যেমন একই , একই মানযুক্ত মান ইত্যাদি) থাকবে। সুতরাং, যদি আপনি এটি আবার মূল ডেটার সাথে সম্পর্কিত করতে চান, আপনি কাঁচা পদগুলির সহগের দিকে নজর রাখতে পারেন তবে পৃথক পদগুলির জন্য অনুমানের জন্য অরথোগোনাল বহুবচনগুলি এমনভাবে ব্যবহার করতে পারেন যে তাদের মধ্যে নির্ভরতা "অ্যাকাউন্ট" করে " । $R^2$

— ম্যাক্রো

দেখা যাচ্ছে যে, ঘন স্প্লিনস এবং বি-স্প্লাইনগুলি নিজেরাই একটি শ্রেণিতে রয়েছে এবং দুটি বিশ্বের সেরা।

— কার্ল

Answer 1

হ্যাঁ এটা সম্ভব.

যাক থেকে নির্ণিত লম্ব polynomials অ-ধ্রুবক অংশের হতে এক্স আমি । বিরুদ্ধে এই regressing (প্রতিটি কলাম বাহক।) এক্স আমি একটি নিখুঁত হইয়া দিতে হবে। অर्थোগোনাল পলিনোমিয়ালগুলি গণনা করার জন্য তার প্রক্রিয়াগুলি নথিভুক্ত না করেও আপনি সফ্টওয়্যার দিয়ে এটি সম্পাদন করতে পারেন । জেড জ এর রিগ্রেশন সহগের ফলন দেয় γ i জ যার জন্য$z_1, z_2, z_3$$x_i$$x_i$$z_j$$\gamma_{ij}$

$$z_{ij} = \gamma_{j0} + x_i\gamma_{j1} + x_i^2\gamma_{j2} + x_i^3\gamma_{j3}.$$

এর ফলে হয় ম্যাট্রিক্স Γ সঠিক, যে গুণ করার পরে, পরিবর্তিত নকশা ম্যাট্রিক্স এক্স = ( 1 ; এক্স ; এক্স 2 ; এক্স 3 ) মধ্যে জেড = ( 1 ; z- র 1 ; z- র 2 ; z- র 3 ) = এক্স Γ $4\times 4$$\Gamma$$X=\pmatrix{1;&x;&x^2;&x^3}$

$$Z=\pmatrix{1;&z_1;&z_2;&z_3} = X\Gamma.\tag{1}$$

মডেল ফিট করার পরে

$$\mathbb{E}(Y) = Z\beta$$

এবং এটি আনুমানিক কোফিসিয়েন্টস প্রাপ্তির β (চার উপাদান কলাম ভেক্টর), আপনি প্রতিস্থাপন করতে পারে ( 1 ) প্রাপ্ত$\hat\beta$$(1)$

$$\hat Y = Z\hat\beta = (X\Gamma)\hat\beta = X(\Gamma\hat\beta).$$

অতএব মূল পদ মডেল জন্য আনুমানিক সহগ ভেক্টর (কাঁচা, আন-orthogonalized) হয় ক্ষমতা এক্স ।$\Gamma\hat\beta$$x$

নিম্নলিখিত Rকোডটি এই পদ্ধতিগুলি চিত্রিত করে এবং সিন্থেটিক ডেটা দিয়ে তাদের পরীক্ষা করে।

n <- 10        # Number of observations
d <- 3         # Degree
#
# Synthesize a regressor, its powers, and orthogonal polynomials thereof.
#
x <- rnorm(n)
x.p <- outer(x, 0:d, `^`); colnames(x.p) <- c("Intercept", paste0("x.", 1:d))
z <- poly(x, d)
#
# Compute the orthogonal polynomials in terms of the powers via OLS.
#
xform <- lm(cbind(1, z) ~ x.p-1)
gamma <- coef(xform)
#
# Verify the transformation: all components should be tiny, certainly
# infinitesimal compared to 1.
#
if (!all.equal(as.vector(1 + crossprod(x.p %*% gamma - cbind(1,z)) - 1), 
    rep(0, (d+1)^2)))
  warning("Transformation is inaccurate.")
#
# Fit the model with orthogonal polynomials.
#
y <- x + rnorm(n)
fit <- lm(y ~ z)
#summary(fit)
#
# As a check, fit the model with raw powers.
#
fit.p <- lm(y ~ .-1, data.frame(x.p))
#summary(fit.p)
#
# Compare the results.
#
(rbind(Computed=as.vector(gamma %*% coef(fit)), Fit=coef(fit.p)))

if (!all.equal(as.vector(gamma %*% coef(fit)), as.vector(coef(fit.p))))
  warning("Results were not the same.")

Comments

$\Gamma$

$1$$10^{-16}$$1$

দু'বছর পরে ... @ হু হু, এটিকে সহগের 95% সিআই-তেও কি প্রসারিত করা সম্ভব?

— ব্যবহারকারী2602640

@ ব্যবহারকারী2602640 হ্যাঁ। নতুন ভিত্তিতে এক ভিত্তিতে গণনা করা ভেরিয়েন্সগুলিকে নতুন ভিত্তিতে রূপান্তর করতে, এবং তারপরে সিআরগুলি ম্যানুয়ালি স্বাভাবিকভাবে গণনা করতে আপনাকে সহগের ভেরিয়েন্স-কোভেরিয়েন্স ম্যাট্রিক্স বের করতে হবে (ব্যবহার vcovকরতে হবে R)।

— whuber

@ যাহা আমি আপনার মন্তব্যটি অর্ধেকের মধ্য দিয়ে অনুসরণ করেছি, তারপর আপনাকে পুরোপুরি হারিয়েছি ... আপনি কোনও গণিত-চ্যালেঞ্জযুক্ত জীববিজ্ঞানীর প্রতি করুণা প্রকাশ করবেন এবং কোডটিতে লিখে ফেলবেন?

— ব্যবহারকারী2602640