বায়াস-ভেরিয়েন্স পচে যাওয়া

বিশপের প্যাটার্ন রিকগনিশন এবং মেশিন লার্নিংয়ের ৩.২ ধারায় তিনি পক্ষপাত-প্রকরণের পচন নিয়ে আলোচনা করেছেন এবং উল্লেখ করেছেন যে একটি স্কোয়ার ক্ষতির ক্রিয়াকলাপের জন্য, প্রত্যাশিত ক্ষতিটিকে স্কোয়ার বায়াস পদে বিভক্ত করা যেতে পারে (যা বর্ণনা করে যে গড় পূর্বাভাসগুলি সত্য থেকে কতদূর দূরে রয়েছে) মডেল), একটি বৈকল্পিক শব্দ (যা গড়ের প্রায়শই ভবিষ্যদ্বাণীগুলির বিস্তারকে বর্ণনা করে) এবং একটি শব্দ শব্দ (যা ডেটার অভ্যন্তরীণ আওয়াজ দেয়)।

বর্গক্ষেত্রের ক্ষয় বাদে ক্ষতির কার্যকারিতা সহ কি পক্ষপাত-বৈকল্পিক পচন ঘটানো যেতে পারে?
প্রদত্ত মডেল ডেটাসেটের জন্য, এমন কি এমন একাধিক মডেল রয়েছে যার প্রত্যাশিত ক্ষতি সমস্ত মডেলের তুলনায় সর্বনিম্ন, এবং যদি তাই হয়, তবে এর অর্থ কি এই নয় যে একই ন্যূনতম প্রত্যাশিত ক্ষতির ফলে পক্ষপাত এবং বৈচিত্রের বিভিন্ন সংমিশ্রণ ঘটতে পারে?
যদি কোনও মডেল নিয়মিতকরণের সাথে জড়িত থাকে তবে পক্ষপাত, বৈকল্পিক এবং নিয়মিতকরণ সহগ মধ্যে গাণিতিক সম্পর্ক আছে কি? $\lambda$
আপনি যদি সত্যিকারের মডেলটি না জানেন তবে আপনি কীভাবে পক্ষপাত গণনা করতে পারেন?
এমন কি পরিস্থিতি রয়েছে যেখানে প্রত্যাশিত ক্ষতির চেয়ে পক্ষপাত বা বৈকল্পিকতা হ্রাস করা আরও বোধগম্য হয় (স্কোয়্যার পক্ষপাত এবং বৈষম্যের যোগফল)?

— বিবেক সুব্রহ্মণিয়ান
সূত্র

... প্রত্যাশিত [স্কোয়ার ত্রুটি] ক্ষতিটিকে একটি স্কোয়ার বায়াস টার্ম (যা গড় মডেল থেকে গড় পূর্বাভাসগুলি কতদূর বর্ণনা করে), একটি বৈকল্পিক শব্দ (যা গড়ের চারপাশে ভবিষ্যদ্বাণীগুলির বিস্তার বর্ণনা করে) হিসাবে বিভক্ত হতে পারে এবং একটি শব্দ শব্দ (যা তথ্য অভ্যন্তরীণ আওয়াজ দেয়)।

স্কোয়ার ত্রুটির ক্ষতি ক্ষয় যখন দেখছেন তখন আমি কেবল দুটি পদ দেখতে পাচ্ছি: একটি পক্ষপাতিত্বের জন্য এবং অন্যটি অনুমানকারী বা ভবিষ্যদ্বাণীকের পরিবর্তনের জন্য, । প্রত্যাশিত ক্ষয়ক্ষতিতে কোনও অতিরিক্ত শব্দ শব্দ নেই। যেমনটি হওয়া উচিত তাই যেহেতু পরিবর্তনশীলতা হ'ল , তা নিজেই নমুনার নয়।

E_{θ} [(θ - δ (X_{1 : n}))^{2}] = (θ - E_{θ} [δ (X_{1 : n})])^{2} + E_{θ} [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}]

$\mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]=(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\mathbb{E}_\theta[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]$

δ (X_{1 : n})

$\delta(X_{1:n})$

δ (X_{1 : n})

$\delta(X_{1:n})$

বর্গক্ষেত্রের ক্ষয় বাদে ক্ষতির কার্যকারিতা সহ কি পক্ষপাত-বৈকল্পিক পচন ঘটানো যেতে পারে?

বর্গক্ষেত্রের পক্ষপাত + বৈচিত্রের পচন সম্পর্কে আমার ব্যাখ্যা [এবং আমি এটি শিখিয়েছি] এটি পাইথাগোরের উপপাদ্যের পরিসংখ্যানগত সমতুল্য, যাহা একটি নির্দিষ্ট সেটগুলির মধ্যে একটি অনুমানকারী এবং বিন্দুর মধ্যে বর্গক্ষেত্র দূরত্ব বর্গাকার দূরত্বের যোগফল একটি অনুমানকারী এবং সেট এর মধ্যে, পাশাপাশি সেটটিতে অরথোগোনাল প্রজেকশন এবং সেটটির মধ্যে পয়েন্টের মধ্যে বর্গক্ষেত্রের দূরত্ব। প্রদত্ত মডেল ডেটাসেটের জন্য এনএফের সাথে দূরত্বের উপর ভিত্তি করে যে কোনও ক্ষতি, সেখানে এমন একাধিক মডেল রয়েছে যার প্রত্যাশিত ক্ষতিটি সমস্ত মডেলের চেয়ে সর্বনিম্ন, এবং যদি তাই হয়, তবে এর অর্থ কি এই যে এর পক্ষপাত এবং বৈচিত্রের বিভিন্ন সংমিশ্রণ ঘটতে পারে? একই ন্যূনতম প্রত্যাশিত ক্ষয়? অরথোগোনাল প্রক্ষেপণের গতি, অর্থাত্ একটি অভ্যন্তরীণ পণ্য, অর্থাত্ হিলবার্ট স্পেসগুলি এই পচনটিকে সন্তুষ্ট করে।

প্রদত্ত মডেল ডেটাসেটের জন্য, এমন কি এমন একাধিক মডেল রয়েছে যার প্রত্যাশিত ক্ষতি সমস্ত মডেলের তুলনায় সর্বনিম্ন, এবং যদি তাই হয়, তবে এর অর্থ কি এই নয় যে একই ন্যূনতম প্রত্যাশিত ক্ষতির ফলে পক্ষপাত এবং বৈচিত্রের বিভিন্ন সংমিশ্রণ ঘটতে পারে?

প্রশ্নটি অস্পষ্ট: যদি ন্যূনতম মডেলগুলির দ্বারা, আপনি এরপরে অনেকগুলি উদাহরণ রয়েছে অবিচ্ছিন্ন প্রত্যাশিত ক্ষতি (বা ঝুঁকি) সহ পরিসংখ্যানের মডেল এবং সম্পর্কিত সিদ্ধান্ত । উদাহরণস্বরূপ একটি সাধারণ গড়ের MLE নিন।

min_{θ} E_{θ} [(θ - δ (X_{1 : n}))^{2}]

$\min_\theta \mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]$

আপনি যদি সত্যিকারের মডেলটি না জানেন তবে আপনি কীভাবে পক্ষপাত গণনা করতে পারেন?

জেনেরিক অর্থে, পক্ষপাত হ'ল প্রকৃত মডেল এবং বিতরণের ধরে নেওয়া পরিবারের মধ্যে নিকটতম মডেলের মধ্যবর্তী দূরত্ব। সত্যিকারের মডেলটি অজানা থাকলে, বুটস্ট্র্যাপের মাধ্যমে পক্ষপাতটি সনাক্ত করা যায়।

এমন কি পরিস্থিতি রয়েছে যেখানে প্রত্যাশিত ক্ষতির চেয়ে পক্ষপাত বা বৈকল্পিকতা হ্রাস করা আরও বোধগম্য হয় (স্কোয়্যার পক্ষপাত এবং বৈষম্যের যোগফল)?

যখন মত অন্য ক্ষতির ফাংশন বিবেচনা ঠেলাঠেলি শুন্যতে রাখে পক্ষপাত উপর মূল্যায়ন অধিকাংশ ঠেলাঠেলি যখন অনন্ত পরিবর্তন বৈকল্পিক উপর ফোকাস।

(θ - E_{θ} [δ (X_{1 : n})])^{2} + α [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}] 0 < α

$(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\alpha[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]\qquad 0<\alpha$

α

$\alpha$

α

$\alpha$

— সিয়ান
সূত্র

গোলমাল মেয়াদ ওপি বোঝায় যে মূল্নির্ধারক একটি প্যারামিটার কিন্তু ফাংশন জন্য নয় কারণে মডেল , যেখানে (স্বাধীন) গোলমাল অধিকৃত হয় আছে শূন্য গড় এবং বৈকল্পিক । যোগ করার পদ্ধতি এবং প্রথম বিয়োগ তারপর মধ্যে , কেউ উল্লিখিত পচন

f

$f$

Y = f (X) + ϵ

$Y = f(X) + \epsilon$

ϵ

$\epsilon$

σ_{ϵ}

$\sigma_\epsilon$

f (X)

$f(X)$

E [\hat{f} (X)]

$E[\hat{f}(X)]$

E [(Y - f (X))^{2} | X = x]

$E[(Y-f(X))^2 | X=x]$

σ_{ϵ}^{2} + {Bias}^{2} \hat{f} (x) + Var \hat{f} (x)

$\sigma^2_\epsilon + \operatorname{Bias}^2 \hat{f}(x) + \operatorname{Var} \hat{f}(x)$

— মিগুয়েল

এটি ধরে নেওয়া হচ্ছে থেকে স্বতন্ত্র , যা মনে হয় না।

\hat{f}

$\hat f$

ϵ

$\epsilon$

— সিয়ান

হুম, আপনি অবশ্যই সঠিক। তবে আমি মনে করি যে বিষয়টিটি আমার opড়ু বংশবৃদ্ধির একটি নিদর্শন। হাসেটি ও তিবশিরানীর ইএসআইআইআই এর পি ২২৩ পরীক্ষা করুন

— মিগুয়েল

@Miguel: আসলে আমরা অনুমান এক্স, না স্বাধীন হতে । ব্যক্তিগতভাবে আমি দেখতে পাই ইএসএল (এবং আরও অনেকের) বিকাশ কঠোর নয়, এইভাবে বিভ্রান্তিকর। "ডেটা থেকে শিখতে" প্রফেসর মোস্তফার উত্পন্নকরণটি আপনি যা খুঁজছেন তা বা এই পোস্টে হওয়া উচিত: stats.stackexchange.com/questions/164378/…

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

— সিক্সল্ম