হেটেরোসেসটেস্টিক ডেটার বৈকল্পিকের পূর্বাভাস

Question

আমি হেটেরোসেসটেস্টিক ডেটাতে একটি রিগ্রেশন করার চেষ্টা করছি যেখানে আমি একটি লিনিয়ার মডেলের ক্ষেত্রে ত্রুটি বৈকল্পের পাশাপাশি গড় মানগুলি পূর্বাভাস দেওয়ার চেষ্টা করছি । এটার মতো কিছু:

$$\begin{align}\\ y\left(x,t\right) &= \bar{y}\left(x,t\right)+\xi\left(x,t\right),\\ \xi\left(x,t\right) &\sim N\left(0,\sigma\left(x,t\right)\right),\\ \bar{y}\left(x,t\right) &= y_{0}+ax+bt,\\ \sigma\left(x,t\right) &= \sigma_{0}+cx+dt. \end{align}$$

কথায় কথায়, ডেটাতে x এবং t এর বিভিন্ন মানগুলিতে এর পুনরাবৃত্তি পরিমাপ থাকে । আমি অনুমান করি যে এই পরিমাপগুলিতে একটি "সত্য" গড় মান ˉ y ( x , t ), যা x এবং t এর একটি লিনিয়ার ফাংশন , যা সংযোজনীয় গাউসিয়ান শব্দ ξ ( x , টি ) এর মানক বিচ্যুতি (বা বৈকল্পিকতা) সহ আমি নিয়ে নেই সিদ্ধান্ত নেওয়া হয়েছে) এছাড়াও এক্স , টি উপর রৈখিক নির্ভর করে । (আমি এক্স এবং এর উপর আরও জটিল নির্ভরতার অনুমতি দিতে পারলাম$y(x,t)$$x$$t$$\bar{y}(x,t)$$x$$t$$\xi(x,t)$$x,t$$x$$t$ - রৈখিক ফর্মের জন্য শক্তিশালী তাত্ত্বিক প্রেরণা নেই - তবে আমি বরং এই পর্যায়ে জিনিসগুলিকে অত্যধিক জটিল করতাম না))

আমি জানি অনুসন্ধান এখানে শব্দ "heteroscedasticity," কিন্তু আমি এটি এতদূর কিভাবে কমাতে / ভাল ভবিষ্যদ্বাণী করা এটা মুছে ফেলার জন্য এর আলোচনা নেই পারব কিন্তু চেষ্টা পরিপ্রেক্ষিতে কিছুই ভবিষ্যদ্বাণী করা σ পরিপ্রেক্ষিতে স্বাধীন চলক. আমি y 0 , a , b , σ 0 , c এবং d এর সাথে আত্মবিশ্বাসের ব্যবধানগুলি (বা বায়সিয়ান সমতুল্য) দিয়ে অনুমান করতে চাই এবং এসপিএসএসে এটি করার যদি আরও সহজ উপায় থাকে তবে আরও ভাল! আমার কি করা উচিৎ? ধন্যবাদ।$\bar{y}$ $\sigma$$y_0, a, b, \sigma_0, c$$d$

Comments

কিছু রেফারেন্সের জন্য এই সম্পর্কিত প্রশ্নটি দেখুন , প্যারামিটারগুলির ফাংশন হিসাবে ভেরিয়েন্স

— অ্যান্ডি ডাব্লু

আপনি জিআরচ চেষ্টা করেছেন?

— আকসকল

জেনারালাইজড লিনিয়ার মডেলগুলি এমন একটি শাখা যা আপনার সমস্যার সমাধান করে। একই শিরোনাম সহ একটি বই রয়েছে, খুব প্রস্তাবিত।

— দিয়েগো

Answer 1

আমি মনে করি আপনার প্রথম সমস্যাটি হ'ল আর কোনও সাধারণ বিতরণ নয় এবং কীভাবে ডেটাটি হোমোসিডাস্টিক হওয়ার জন্য রূপান্তর করা দরকার তা ঠিক σ ( x , t ) এর উপর নির্ভর করে । উদাহরণস্বরূপ, যদি σ ( x , t ) = a x + b t হয় , তবে ত্রুটিটি আনুপাতিক প্রকারের এবং y ডেটার লগারিদমকে রিগ্রেশন দেওয়ার আগে নেওয়া উচিত, বা, রিগ্রেশনটিকে সাধারণ ন্যূনতম স্কোয়ার (ওএলএস) থেকে ভারাক্রমে সামঞ্জস্য করা উচিত একটি 1 সহ সর্বনিম্ন স্কোয়ার$N\left(0,\sigma\left(x,t\right)\right)$$\sigma\left(x,t\right)$$\sigma\left(x,t\right)= ax+bt$তবে একটিকে লোগারিদমের লোগারিদম নিতে হবে এবং এটি পুনরায় জমা দিতে হবে। ওজন (যা আনুপাতিক প্রকারের ত্রুটিকে ন্যূনতম আকারে পরিবর্তন করে)। একইভাবে, যদি σ ( x , t ) = e a x + b $1/y^2$$\sigma\left(x,t\right)= e^{a x+b t}$

আমি মনে করি যে ত্রুটি প্রকারের পূর্বাভাসটি খারাপভাবে আচ্ছাদিত হওয়ার কারণ এটি হ'ল প্রথমে যে কোনও পুরনো রিগ্রেশন হয় (করণ, সাধারণত সাধারণতম স্কোয়্যারস, ওএলএস) does এবং অবশিষ্ট প্লট, অর্থাত্, , একটির অবশিষ্টাংশ পর্যবেক্ষণ করে, এবং একটি ডেটার ফ্রিকোয়েন্সি হিস্টোগ্রাম প্লট করে এবং সেটির দিকে নজর দেয়। তারপরে, যদি অবশিষ্টাংশগুলি ডানদিকে একটি ফ্যান মরীচি খোলার হয়, একটি আনুপাতিক ডেটা মডেলিংয়ের চেষ্টা করে, যদি হিস্টোগ্রামটি ক্ষতিকারক ক্ষয়ের মতো দেখা যায় তবে 1 / y ক্ষতিপূরণ চেষ্টা করতে পারে$model-y$$1/y$ , এবং তাই এবং তাই ঘোষণা বর্গমূল জন্য, বর্গ, exponentiation , এক্সফোনেনশিয়াল- y গ্রহণ করা।

এখন, এটি কেবল ছোট গল্প। লম্বা সংস্করণে থাইল মিডিয়ান রিগ্রেশন, ডেমিং বাইভারিয়েট রিগ্রেশন এবং প্রসারণিত ত্রুটির সাথে কোনও বিশেষ ধার্মিকতা-বদ্ধ-ফিট সম্পর্ক নেই, যার ত্রুটি হ্রাস করার জন্য রিগ্রেশন সহ আরও অনেক ধরণের রিগ্রেশন রয়েছে। শেষটি হ'ল একটি ফড়িং, তবে, দেখুন এইউদাহরণ হিসাবে। যাতে কোনও উত্তর পেতে কী চেষ্টা করছে তা এটি একটি বড় পার্থক্য করে। সাধারণত, কেউ যদি ভেরিয়েবলের মধ্যে সম্পর্ক স্থাপন করতে চান, রুটিন ওএলএস পছন্দ করার পদ্ধতি নয় এবং থেইল রিগ্রেশন এটির উপর দ্রুত এবং নোংরা উন্নতি হবে। ওএলএস কেবলমাত্র ওয়াই-ডাইরেশনে হ্রাস করে, তাই slালু খুব অগভীর এবং ভেরিয়েবলের মধ্যে অন্তর্নিহিত সম্পর্ক কী তা স্থাপনের জন্য বিরতি খুব বড়। এটি অন্যভাবে বলার জন্য, ওএলএস একটি এক্স প্রদত্ত আই এর সর্বনিম্ন ত্রুটির প্রাক্কলন দেয়, এটি x এর সাথে x কীভাবে পরিবর্তিত হয় তার কোনও অনুমান দেয় না । যখন আর-মানগুলি খুব বেশি হয় (০.৯৯৯৯৯+) কোনও রিগ্রেশন ব্যবহার করে এবং ইয়াসে ওএলএস প্রায় এক্স এর ক্ষেত্রে ওএলএসের সমান হয় তবে যখন আর-মানগুলি কম হয়, তখন y এর মধ্যে ওএলএস খুব আলাদা হয় এক্স এ ওএলএস

সংক্ষেপে, অনেকগুলি যুক্তি ঠিক কীটির উপর নির্ভর করে যা প্রথমে রিগ্রেশন বিশ্লেষণ করতে অনুপ্রাণিত হয়। এটি প্রয়োজনীয় সংখ্যার পদ্ধতিগুলি নির্দেশ করে। সেই পছন্দটি তৈরি হওয়ার পরে, অবশিষ্টাংশগুলির একটি কাঠামো থাকে যা প্রতিরোধের উদ্দেশ্য সম্পর্কিত এবং এটিকে বৃহত্তর প্রসঙ্গে বিশ্লেষণ করা দরকার।

Answer 2

STATS BREUSCH PAGAN এক্সটেনশন কমান্ড উভয়র ভিন্ন ভিন্নতার জন্য অবশিষ্টাংশ পরীক্ষা করতে পারে এবং এটি কিছু বা সমস্ত নিবন্ধকের ফাংশন হিসাবে অনুমান করতে পারে।

Answer 3

এই জাতীয় সমস্যাগুলির সাধারণ পদ্ধতির মধ্যে রয়েছে আপনার ডেটার সম্ভাব্যতা (নিয়মিত করা) max

$$LL(y_0, a, b, \sigma_0, c, d) = \sum_{i=1}^n \log \phi(y_i, y_0 + a x_i + b t_i, \sigma_0 + c x_i + d t_i)$$ $$\phi(x, \mu, \sigma) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

You can code this expression into a function in your favorite statistical package (I would prefer Python, R or Stata, for I never did programming in SPSS). Then you can feed it to a numerical optimizer, which will estimate optimal value $\hat{\theta}$ of your parameters $\theta=(y_0, a, b, \sigma_0, c, d)$.

If you need confidence intervals, this optimizer can also estimate Hessian matrix $H$ of $\theta$ (second derivatives) around the optimum. Theory of maximum likelihood estimation says that for large $n$ covariance matrix of $\hat{\theta}$ may be estimated as $H^{-1}$.

Here is an example code in Python:

import scipy
import numpy as np

# generate toy data for the problem
np.random.seed(1) # fix random seed
n = 1000 # fix problem size
x = np.random.normal(size=n)
t = np.random.normal(size=n)
mean = 1 + x * 2 + t * 3
std = 4 + x * 0.5 + t * 0.6
y = np.random.normal(size=n, loc=mean, scale=std)

# create negative log likelihood
def neg_log_lik(theta):
    est_mean = theta[0] + x * theta[1] + t * theta[2]
    est_std = np.maximum(theta[3] + x * theta[4] + t * theta[5], 1e-10)
    return -sum(scipy.stats.norm.logpdf(y, loc=est_mean, scale=est_std))

# maximize
initial = np.array([0,0,0,1,0,0])
result = scipy.optimize.minimize(neg_log_lik, initial)
# extract point estimation
param = result.x
print(param)
# extract standard error for confidence intervals
std_error = np.sqrt(np.diag(result.hess_inv))
print(std_error)

Notice that your problem formulation can produce negative $\sigma$, and I had to defend myself from it by brute force replacement of too small $\sigma$ with $10^{-10}$.

The result (parameter estimates and their standard errors) produced by the code is:

[ 0.8724218   1.75510897  2.87661843  3.88917283  0.63696726  0.5788625 ]
[ 0.15073344  0.07351353  0.09515104  0.08086239  0.08422978  0.0853192 ]

You can see that estimates are close to their true values, which confirms correctness of this simulation.