প্রভাব কার্য এবং ওএলএস

Question

আমি প্রভাবগুলি কীভাবে কাজ করে তা বোঝার চেষ্টা করছি। কোনও সাধারণ ওএলএস রিগ্রেশন প্রসঙ্গে ব্যাখ্যা করতে পারে

$$\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation}$$

যেখানে আমি জন্য প্রভাব ফাংশন চাই ।$\beta$

Comments

এখানে এখনও একটি নির্দিষ্ট প্রশ্ন নেই: আপনি কীভাবে প্রভাব ফাংশনটি গণনা করতে চান তা দেখতে চান? আপনি একটি নির্দিষ্ট অভিজ্ঞতা অভিজ্ঞতা চান? এর অর্থ কি? এর অর্থগত ব্যাখ্যা?

— হোবার

যদি আপনি ফ্র্যাঙ্ক ক্রিচলির 1986-এর কাগজ "প্রধান উপাদানগুলির কার্যকারিতা" দেখেন (কাগজের সঠিক নামটি মনে করতে পারে না)। তিনি এখানে সাধারণ পীড়নের জন্য প্রভাব ফাংশনটি সংজ্ঞায়িত করেছেন (যা আমার উত্তরকে ভুল প্রমাণ করতে পারে বা নাও পারে)।

— সম্ভাব্যতাব্লোগিক

Answer 1

প্রভাব কার্যগুলি মূলত একটি বিশ্লেষণাত্মক সরঞ্জাম যা সেই পরিসংখ্যানটির পুনরায় গণনা না করে কোনও পরিসংখ্যানের মান সম্পর্কে একটি পর্যবেক্ষণ অপসারণের প্রভাব (বা "প্রভাব") মূল্যায়ন করতে ব্যবহার করা যেতে পারে । এ্যাসিম্পোটিক ভেরিয়েন্স অনুমান তৈরি করতে এগুলি ব্যবহার করা যেতে পারে। প্রভাব যদি সমান হয় তবে অ্যাসিম্পটোটিক ভেরিয়েন্সটি I 2 is$I$ ।$\frac{I^2}{n}$

আমি প্রভাব ফাংশনগুলি বোঝার উপায় নীচে is আপনি তাত্ত্বিক সিডিএফ কিছু বাছাই, দ্বারা প্রকাশ আছে । সাধারণ ওএলএস-এর জন্য আপনার আছে$F_{i}(y)=Pr(Y_{i}<y_{i})$

যেখানেΦ(z)হ'ল মানক সিডিএফ এবংσ2ত্রুটি বৈকল্পিক। এখন আপনি দেখাতে পারেন যে কোনও পরিসংখ্যান এই সিডিএফের ফাংশন হবে, সুতরাং স্বীকৃতিএস(এফ)(অর্থাত্এফ এরকিছু ফাংশন)। এখন ধরা যাক আমরাFফাংশনটি"সামান্য" দ্বারাF(i)(z)=(1+ζ)F(z)-ζδ(i)

$$Pr(Y_{i}<y_{i})=Pr(\alpha+\beta x_{i} + \epsilon_{i} < y_{i})=\Phi\left(\frac{y_{i}-(\alpha+\beta x_{i})}{\sigma}\right)$$ $\Phi(z)$$\sigma^2$$S(F)$$F$$F$ যেখানে δ i ( z ) = আমি ( y i < z ) , এবং ζ = $F_{(i)}(z)=(1+\zeta)F(z)-\zeta \delta_{(i)}(z)$$\delta_{i}(z)=I(y_{i}<z)$ । সুতরাংএফ(আই)"আইথ" ডেটা পয়েন্ট সরানো সহ ডেটার সিডিএফ উপস্থাপন করে। আমরাপ্রায়ζ=0এরএফ(i)(z)এর একটি টেলর সিরিজ করতে পারি। এটি দেয়:$\zeta=\frac{1}{n-1}$$F_{(i)}$$F_{(i)}(z)$$\zeta=0$

$$S[F_{(i)}(z,\zeta)] \approx S[F_{(i)}(z,0)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$$

দ্রষ্টব্য যে তাই আমরা পাই: এস [ ফ ( আই ) ( জেড , ζ ) ] ≈ এস [ ফ ( জেড ) ] + ζ [ ∂ এস [ ফ ( আই ) ( z , ζ ) $F_{(i)}(z,0)=F(z)$

$$S[F_{(i)}(z,\zeta)] \approx S[F(z)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$$

আংশিক ডেরাইভেটিভকে এখানে প্রভাব ফাংশন বলে। সুতরাং এটি "ith" পর্যবেক্ষণ মোছার কারণে একটি পরিসংখ্যানগুলিতে করা প্রায় একটি "প্রথম অর্ডার" সংশোধন উপস্থাপন করে। মনে রাখবেন যে রিগ্রেশনটিতে বাকী অংশগুলি শূন্যে অ্যাসিটোটোটিকভাবে যায় না, যাতে এটি আপনি যে পরিবর্তনগুলি পেতে পারেন তার একটি সংমিশ্রণ। এখন লিখ হিসাবে:$\beta$

$$\beta=\frac{\frac{1}{n}\sum_{j=1}^{n}(y_{j}-\overline{y})(x_{j}-\overline{x})}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}$$

সুতরাং বিটা দুটি পরিসংখ্যানের একটি ফাংশন: এক্স এবং ওয়াইয়ের মধ্যে এক্স এবং কোভেরিয়েন্সের ভিন্নতা two

এবং v a r ( X ) = ∫ ( X - μ x ( F ) ) 2 d F যেখানে μ x = ∫ x d

$$cov(X,Y)=\int(X-\mu_x(F))(Y-\mu_y(F))dF$$ $$var(X)=\int(X-\mu_x(F))^{2}dF$$ $$\mu_x=\int xdF$$

$F\rightarrow F_{(i)}=(1+\zeta)F-\zeta \delta_{(i)}$

$$\mu_{x(i)}=\int xd[(1+\zeta)F-\zeta \delta_{(i)}]=\mu_x-\zeta(x_{i}-\mu_x)$$ $$Var(X)_{(i)}=\int(X-\mu_{x(i)})^{2}dF_{(i)}=\int(X-\mu_x+\zeta(x_{i}-\mu_x))^{2}d[(1+\zeta)F-\zeta \delta_{(i)}]$$

$\zeta^{2}$

$$Var(X)_{(i)}\approx Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]$$ $$Cov(X,Y)_{(i)}\approx Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]$$

$\beta_{(i)}$$\zeta$

$$\beta_{(i)}(\zeta)\approx \frac{Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]}{Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]}$$

আমরা এখন টেলর সিরিজটি ব্যবহার করতে পারি:

$$\beta_{(i)}(\zeta)\approx \beta_{(i)}(0)+\zeta\left[\frac{\partial \beta_{(i)}(\zeta)}{\partial \zeta}\right]_{\zeta=0}$$

এটি সরলকরণ দেয়:

$$\beta_{(i)}(\zeta)\approx \beta-\zeta\left[\frac{(x_{i}-\mu_x)(y_{i}-\mu_y)}{Var(X)}-\beta\frac{(x_{i}-\mu_x)^2}{Var(X)}\right]$$

$\mu_y$$\mu_x$$var(X)$$\zeta=\frac{1}{n-1}$

$$\beta_{(i)}\approx \beta-\frac{x_{i}-\overline{x}}{n-1}\left[\frac{y_{i}-\overline{y}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}-\beta\frac{x_{i}-\overline{x}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}\right]$$

$\tilde{x}=\frac{x-\overline{x}}{s_{x}}$

$$\beta_{(i)}\approx \beta-\frac{\tilde{x_{i}}}{n-1}\left[\tilde{y_{i}}\frac{s_y}{s_x}-\tilde{x_{i}}\beta\right]$$

Comments

তাহলে গল্পটি অতিরিক্ত ডাটা পয়েন্টের প্রভাব সম্পর্কে? আমি সময় সিরিজের ডেটার জন্য প্রবণতা প্রতিক্রিয়াতে আরও অভ্যস্ত, পরিসংখ্যানিক প্রেক্ষাপটে সমস্ত প্রভাব প্রান্তিক প্রভাব বা (আরও ভাল পছন্দ) স্ট্যান্ডার্ডাইজড রিগ্রেশন থেকে বিটা সহগ দ্বারা বর্ণিত হবে। ঠিক আছে, প্রশ্ন এবং উত্তরটি বিচার করার জন্য আমার আরও প্রসঙ্গ দরকার, তবে এটি একটি দুর্দান্ত, আমি মনে করি (+1 এখনও নয় তবে অপেক্ষা করছি)।

— দিমিত্রিজ সেলভ

@ ডিমিতরিজ - লিঙ্কটি থেকে এটিই বোঝানো হয়েছিল (বা আমি কী অনুমান করেছি) - এটি একটি পরিসংখ্যানের দৃust়তা সম্পর্কিত বৈশিষ্ট্য সম্পর্কে। প্রভাব ফাংশনগুলি 1 ডেটা পয়েন্টের তুলনায় কিছুটা বেশি সাধারণ - আপনি ডেল্টা ফাংশনটিকে তাদের যোগফল হিসাবে পুনরায় সংজ্ঞায়িত করতে পারেন (এতগুলি পর্যবেক্ষণ)। আমি এটিকে কিছুটা ডিগ্রি "সস্তা জ্যাকনিফ" হিসাবে ভাবব - কারণ আপনার মডেলটির পুনরায় ফিট করার দরকার নেই।

— সম্ভাব্যতাব্লোগিক

Answer 2

একটি রিগ্রেশন এর প্রভাব ফাংশন সম্পর্কে কথা বলার জন্য একটি দুর্দান্ত সাধারণ উপায়। প্রথমে আমি প্রভাব ফাংশন উপস্থাপনের একটি উপায় মোকাবেলা করতে যাচ্ছি:

$F$$\Sigma$$F_\epsilon(x)$

$$F_\epsilon(x)=(1-\epsilon)F+\epsilon\delta_x$$ $\delta_x$$\Sigma$$\{x\}$$\Sigma$

এ থেকে আমরা প্রভাব কার্যকারিতা মোটামুটি সহজে সংজ্ঞায়িত করতে পারি:

$\hat{\theta}$$F$$\psi_i:\mathcal{X}\to\Gamma$

$$\begin{equation} \psi_{\hat{\theta},F}(x)=\lim\limits_{\epsilon\to 0}\dfrac{\hat{\theta}(F_\epsilon(x))-\hat{\theta}(F)}{\epsilon} \end{equation}$$

$\hat\theta$$F$$\delta_x$

ওএলএস অনুমানটি সমস্যার সমাধান:

$$\hat\theta=\arg\min_\theta E[(Y-X\theta)^T(Y-X\theta)]$$

$(x,y)$

$$\hat\theta_\epsilon = \arg\min_\theta (1-\epsilon)E[(Y-X\theta)^T(Y-X\theta)]+\epsilon (y-x\theta)^T(y-x\theta)$$

প্রথম অর্ডার শর্তাদি:

$$\left\{(1-\epsilon)E[X^TX]+\epsilon x^Tx\right\}\hat\theta_\epsilon = (1-\epsilon)E[X^TY]+\epsilon x^Ty$$

যেহেতু প্রভাব ফাংশনটি কেবলমাত্র একটি গেটো ডেরিভেটিভ আমরা এখন বলতে পারি:

$$-(E[X^TX]+x^Tx)\hat\theta_\epsilon + E[X^TX]\psi_{\theta}(x,y) = -E[X^TY] + x^Ty$$

$\epsilon=0$$\hat\theta_\epsilon=\hat\theta=E[X^TX]^{-1}E[X^TY]$

$$\psi_{\theta}(x,y)=E[X^TX]^{-1}x^T(y-x\theta)$$

এই প্রভাব ফাংশনের সীমাবদ্ধ নমুনা অংশটি হল:

$$\psi_{\theta}(x,y)=\left(\dfrac{1}{N}\sum_i X_i^TX_i\right)^{-1}x^T(y-x\theta)$$

সাধারণভাবে আমি এই কাঠামোটি (গেটোক্স ডেরিভেটিভস হিসাবে প্রভাব ফাংশনগুলির সাথে কাজ করা) মোকাবেলা করা সহজ find