ক্রস বৈধকরণ (সিভি) এবং সাধারণ ক্রস বৈধকরণ (জিসিভি) পরিসংখ্যান

ক্রস বৈধকরণ (সিভি) পরিসংখ্যান এবং জেনারালাইজড ক্রস বৈধকরণ (জিসিভি) পরিসংখ্যান সম্পর্কিত লিনিয়ার মডেল (একটি সাধারণ, সমকামী ত্রুটিযুক্ত ভেক্টর সহ) সম্ভবত সংঘাতমূলক সংজ্ঞা পেয়েছি )। $Y = X\boldsymbol\beta + \boldsymbol\varepsilon$ $\boldsymbol\varepsilon$

একদিকে, গোলুব, হিথ এবং ওয়াহবা জিসিভি অনুমান mb ল্যাম্বদা (হিসাবে (পৃষ্ঠা 216) সংজ্ঞায়িত করেছেন $\hat{\lambda}$

দ্বারা দেওয়া এর মিনিমাইজার যেখানে $V\left(\lambda\right)$
$V (λ) = \frac{\frac{1}{n} {‖ (I - A (λ)) y ‖}^{2}}{{(\frac{1}{n} t r (I - A (λ)))}^{2}}$ $V\left(\lambda\right) = \frac{\frac{1}{n} \left\|\left(I - A\left(\lambda\right)\right)y\right\|^2}{\left(\frac{1}{n} \mathrm{tr}\left(I - A\left(\lambda\right)\right)\right)^2}$ $A\left(\lambda\right) = X\left(X^T X + n\lambda I\right)^{-1} X^T$

অন্যদিকে, ইফ্রন $V\left(0\right)$ (পি। 24) হিসাবে একই ধারণাটি সংজ্ঞায়িত করেছেন , তবুও তিনি এই ধারণাটির প্রবর্তনকে ক্র্যাভেন এবং ওয়াহবার কাছে দায়ী করেছেন, যেখানে এর সংজ্ঞা (পি। 377) মূলত একই গোলুব, স্বাস্থ্য ও ওহবার উল্লিখিত সংজ্ঞা হিসাবে।

এর অর্থ কি $0$ কমান ? $V\left(\lambda\right)$

একইভাবে, গোলুব, হিথ এবং ওয়াহবা CV $\lambda$ (পি। 217) এর সিভি অনুমানকে সংক্ষিপ্ত রূপ হিসাবে সংজ্ঞায়িত করে

P (λ) = \frac{1}{n} \sum_{k = 1}^{n} {({[X β^{(k)} (λ)]}_{k} - y_{k})}^{2}

$P\left(\lambda\right) = \frac{1}{n}\sum_{k=1}^n \left(\left[X \beta^{(k)}\left(\lambda\right)\right]_k - y_k\right)^2$

যেখানে $\beta^{\left(k\right)}\left(\lambda\right)$ অনুমান

\hat{β} (λ) = {(X^{T} X + n λ I)}^{- 1} X^{T} y

$\hat{\beta}\left(\lambda\right) = \left(X^T X + n \lambda I\right)^{-1} X^T y$

এর $\beta$ দিয়ে $k$ ম ডাটা পয়েন্ট $y_i$ বাদ দেওয়া হয়েছে।

লেখকরা সিভি অনুমানের প্রবর্তনকে (পিআরএস অনুমানও বলা হয়) অ্যালেনকে ("অ্যালেনের প্রেস", আইবিড।) তবুও অ্যালেনের গবেষণাপত্রে, প্রেসের অনুমানটিকে (পি। 126) $n P\left(0\right)$ (ইফ্রনের নিবন্ধে এটি $P\left(0\right)$ (পি। 24%) হিসাবে সংজ্ঞায়িত হয়েছে ।

আবার, এই মানে $0$ ছোট $P\left(\lambda\right)$ ?

অ্যালেন, ডেভিড এম পরিবর্তনশীল নির্বাচন এবং ডেটা অ্যাগমেন্টেশন এবং ভবিষ্যদ্বাণী করার একটি পদ্ধতি মধ্যে সম্পর্ক। টেকনোমেট্রিক্স, ভোল। 16, নং 1 (ফেব্রুয়ারী, 1974), পৃষ্ঠা 125-127
ক্র্যাভেন, পিটার এবং ওয়াহবা, গ্রেস। স্প্লাইন ফাংশন সহ গোলমালী ডেটা স্মুথ করা। নিউমারিশে ম্যাথাম্যাটিক 31, (1979), পৃষ্ঠা 377-403
ইফ্রন, ব্র্যাডলি লজিস্টিক রিগ্রেশনটির স্পষ্ট ত্রুটির হারটি কতটা পক্ষপাতদুষ্ট? প্রযুক্তিগত প্রতিবেদন নং। 232. পরিসংখ্যান বিভাগ, স্ট্যানফোর্ড বিশ্ববিদ্যালয় (এপ্রিল 1985)
গোলুব, জিন এইচ।, হিথ এবং গ্রেস ওয়াহবা। একটি ভাল রিজ প্যারামিটার চয়ন করার পদ্ধতি হিসাবে সাধারণ ক্রস-বৈধকরণ। টেকনোমেট্রিক্স, ভোল। 21, নং 2 (মে, 1979), পৃষ্ঠা 215-223

cross-validation

— ইভান আড
সূত্র

আপনি কি উল্লেখ করতে ভুলে গেছেন যে এটি রিজ রিগ্রেশন এবং কমপক্ষে স্কোয়ারগুলির সাথে লাগানো হবে? আমি নীচে কাগজের শিরোনাম না হওয়া পর্যন্ত ছিল তা সম্পর্কে পুরোপুরি বিভ্রান্ত ছিলাম

λ

$\lambda$

— ছায়াছবির

শিরোনামে জেনারেলাইজড ক্রস বৈধকরণ সরান এবং শিরোনামে রিজ রিগ্রেশন যুক্ত করুন। রিডিজিভি () এর জন্য গ্রিডসন্ধান সিভি () এর ডিফল্ট এখানে রয়েছে:

— হুফারলোটাসএক্স

আমি বিশ্বাস করি মন্তব্যগুলি উত্তরটির দিকে ইঙ্গিত করছে, তবে তা ভোঁতাভাবে উল্লেখ করছে না। তাই আমি ভোঁতা হয়ে যাব।

এখানে উদ্ধৃত ভি সূত্রটি লিনিয়ার রিজ রিগ্রেশন সম্পর্কিত নির্দিষ্ট। তারা এটি প্রেসের মতো বলে না, তারা বলে যে এটি প্রেসের একটি আবর্তন-আক্রমণকারী সংস্করণ। "ঘূর্ণন-আক্রমণকারী" অংশটিই এটি সাধারণীকরণ করে।

ইফ্রনের কাগজটি লজিস্টিক রিগ্রেশন সম্পর্কিত, সেই প্রসঙ্গে কাস্টমাইজ করা। আপনি যদি দুটি বিষয়গুলির মধ্যে গণিত অনুবাদটি দেখতে চান তবে পড়ার জন্য সঠিক বইটি হস্টি, তিবশিরানী এবং ফ্রিডম্যানের এলিমেন্টস অফ স্ট্যাটিস্টিকাল লার্নিং, 2 এড। তারা এই বইটি বিনামূল্যে, অনলাইনে অফার করে: https://web.stanford.edu/~hastie/Papers/ESLII.pdf । জিসিভিতে আরও একটি সহায়ক পঠন হ'ল সাইমন উড জেনারাইজড অ্যাডিটিভ মডেল। তার চিকিত্সা জিগ্রিকে সাধারণভাবে রিগ্রেশন এবং লজিস্টিক রিগ্রেশন সম্পর্কিত অ্যাপ্লিকেশনগুলির সাথে সংহত করে।

আপনি যদি ESL বইটি দেখুন, পি 244, আপনি দেখতে পাবেন মূলত একই প্রতীক। তারা আপনার কাছে স্মুথ ম্যাট্রিক্স হিসাবে বৃহত্তর ম্যাট্রিক্স পণ্যটি উল্লেখ করে (আমি এটির একটি হ্যাট ম্যাট্রিক্স বা কাছের কাজিন) বলতে পারি। তারা স্মুথ বর্ণনা করে $S$ থেকে এর ম্যাপিং হিসাবে $y$ $\hat{y}$

\hat{y} = S y

$\hat{y}=S y$

$S$ ডেটাতে প্রতিটি সারির জন্য একটি ছাড়ুন সিভি মান গণনা করতে ব্যবহার করা যেতে পারে। জন্য রৈখিক মডেল , ম্যাট্রিক্স রিগ্রেশন পরীক্ষণের মধ্যে হাট ম্যাট্রিক্স ভূমিকা পালন করে। তবে, তারা বলছেন যে এটি কাজ করা গণ্য চ্যালেঞ্জিং বা অপ্রয়োজনীয় হতে পারে এবং জিসিভি পন্থা একই ধারণার কিছুটা সাধারণ সংস্করণ। $S$

তারা GCV এর আনুমানিক জন্য একটি সূত্র প্রস্তাব :

G C V (\hat{f}) = \frac{1}{N} \sum_{i = 1}^{N} {[\frac{y_{i} - \hat{f} (x_{i})}{1 - t r a c e (S) / N}]}^{2}

$GCV(\hat{f})=\frac{1}{N}\sum_{i=1}^{N}\left[\frac{y_i - \hat{f}(x_i)}{1-trace(S)/N}\right]^2$

এটি অনেকগুলি মডেলের AIC এর সাথে আচরণের ক্ষেত্রে বেশ অনুরূপ। পরামিতি কার্যকর সংখ্যা। $trace{S}$

$n\lambda$ টুকরাটি উদ্ধৃত করেছেন এটি হ'ল সাধারণত সন্ধান । আমি যতদূর বুঝতে পারি, অ্যাবস্ট্রাক্টে জিসিভি হ'ল ছাড়ার একটি আনুমানিক সংস্করণ, তবে কিছু ক্ষেত্রে (আমি বিশ্বাস করি রিজ রিগ্রেশন) এটি সঠিক। এটি গোলব পেপারের মূল বিষয়। $S$

শুভকামনা, আরও কিছু শিখলে ফিরে লিখুন।

— pauljohn32
সূত্র

ধন্যবাদ। আমি আমার প্রশ্নটি 5 বছর আগে পোস্ট করেছি, এবং তখন থেকে আমি এই উপাদানটির বেশিরভাগটি ভুলে গিয়েছি, সুতরাং আপনার উত্তরটি মূল্যায়িত করতে পারছি না এটি ভাল (যা এটি প্রদর্শিত হবে) বা খারাপ, এবং এই কারণে বলার জন্য আমি তাও মানতে পারি না। পোস্ট করার জন্য ধন্যবাদ, যদিও। আশা করি এটি অন্যদের জন্য উপকারী হবে যারা এই পৃষ্ঠাটি জুড়ে আসতে পারেন।

— ইভান আদি