একজনের তুলনায় অন্যের তুলনায় তুলনামূলক শ্রেষ্ঠত্ব নির্ধারণের জন্য কি গড় স্কোয়ার ত্রুটি ব্যবহৃত হয়?

13

ধরুন আমরা দুটি estimators আছে এবং জন্য কিছু প্যারামিটার । কোন প্রাক্কলনকারী "আরও ভাল" তা নির্ধারণ করার জন্য আমরা কী এমএসইতে দেখি (মানে স্কোয়ার ত্রুটি)? অন্য কথায় আমরা দেখি look যেখানে অনুমানকারকের পক্ষপাত এবং অনুমানকারীটির বৈকল্পিক? যার বৃহত্তর এমএসই রয়েছে তার চেয়ে খারাপ অনুমানকারী? $\alpha_1$ $\alpha_2$ $x$

M S E = β^{2} + σ^{2}

$MSE = \beta^2+ \sigma^2$

β

$\beta$

σ^{2}

$\sigma^2$

estimation mse

— ডেমিয়েন
সূত্র

10

আপনি দুই প্রতিদ্বন্দ্বী estimators যদি এবং হোক বা না হোক আপনি বলে যে হয় আরও ভাল অনুমানকারী আপনার "সেরা" সংজ্ঞা উপর নির্ভর করে। উদাহরণস্বরূপ, আপনি যদি নিরপেক্ষ অনুমানের তুলনা করে থাকেন এবং "আরও ভাল" দ্বারা আপনার অর্থ হ'ল তত কম হয় তবে হ্যাঁ, এর থেকে বোঝা যায় যে ভাল। হ'ল একটি জনপ্রিয় মাপকাঠি কারণ এটি ন্যূনতম স্কোয়ার এবং গাউসিয়ান লগ-সম্ভাবনার সাথে সংযোগের কারণে তবে অনেক পরিসংখ্যানের মাপদণ্ডের মতোই, one ব্যবহার করা থেকে সতর্ক করা উচিত $\hat \theta_1$ $\hat \theta_2$

M S E ({\hat{θ}}_{1}) < M S E ({\hat{θ}}_{2})

${\rm MSE}(\hat \theta_1) < {\rm MSE}(\hat \theta_2)$

{\hat{θ}}_{1}

$\hat \theta_1$

{\hat{θ}}_{1}

$\hat \theta_1$

M S E

$\rm MSE$

M S E

$\rm MSE$ আবেদনের দিকে মনোযোগ না দিয়ে অনুমানের মানের একটি পরিমাপ হিসাবে অন্ধভাবে অন্ধভাবে

কিছু পরিস্থিতি রয়েছে যেখানে হ্রাস করার জন্য কোনও অনুমানকারী নির্বাচন করা বিশেষত বুদ্ধিমান জিনিস নাও হতে পারে। দুটি পরিস্থিতি মাথায় আসে: ${\rm MSE}$

যদি কোনও ডেটা সেটে খুব বড় আউটলিয়ার থাকে তবে তারা এমএসইকে মারাত্মকভাবে প্রভাবিত করতে পারে এবং এমএসই হ্রাসকারী প্রাক্কলনকারীকে এই ধরনের আউটলিয়ার দ্বারা অযৌক্তিকভাবে প্রভাবিত করা যেতে পারে। এই জাতীয় পরিস্থিতিতে, কোনও অনুমানকারী এমএসইকে ন্যূনতম করে দেয় এমন ঘটনা আপনাকে সত্যিকার অর্থে খুব বেশি কিছু বলে না, আপনি যদি বহিরাগত (গুলি) অপসারণ করেন, তবে আপনি একটি বুনো আলাদা ধারণা করতে পারেন। সেই অর্থে এমএসই বিদেশিদের কাছে "মজবুত" নয়। রিগ্রেশন প্রসঙ্গে, হুবার এম-এস্টিমেটারকে এই বিষয়টি অনুপ্রাণিত করেছিল (যে আমি এই উত্তরে আলোচনা করেছি), যখন দীর্ঘ-লেজযুক্ত ত্রুটি থাকে তখন একটি আলাদা মানদণ্ড কার্য (যা স্কোয়ার ত্রুটি এবং পরম ত্রুটির মধ্যে একটি মিশ্রণ) হ্রাস করে izes ।
আপনি যদি একটি সীমাবদ্ধ প্যারামিটার অনুমান করছেন তবে এর তুলনা করা যথাযথ হবে না কারণ এটি ক্ষেত্রে এই ক্ষেত্রে পৃথকভাবে শাস্তি দেয় এবং আন্ডারস্টিমেশন দেয়। উদাহরণস্বরূপ, ধরুন আপনি কোনও বৈকল্পিক অনুমান করছেন, । তারপরে, আপনি যদি সচেতনতার সাথে পরিমাণটি অবমূল্যায়ন করেন তবে আপনার সর্বাধিক হতে পারে, যখন অতিরঞ্জিতকরণ একটি উত্পাদন করতে পারে যা ছাড়িয়ে যায় , এমনকি আনবাউন্ড পরিমাণেও by $\rm MSE$ $\sigma^2$ $\rm MSE$ $\sigma^4$ $\rm MSE$ $\sigma^4$

এই ত্রুটিগুলি আরও সুস্পষ্ট করার জন্য, আমি কখন এই বিষয়গুলির কারণে, অনুমানক মানের কোনও উপযুক্ত মাপকাঠি নাও হতে পারে তার একটি concrete় উদাহরণ দেব । $\rm MSE$

ধরুন আপনি একটি নমুনা আছে A থেকে দিয়ে বন্টন স্বাধীন ডিগ্রীগুলির এবং আমরা ভ্যারিয়েন্স, যা অনুমান করার চেষ্টা করছেন । দুটি প্রতিযোগিতামূলক অনুমান বিবেচনা করুন: এবং স্পষ্টভাবে এবং এটি একটি সত্য যে যা ব্যবহার করে উদ্ভূত হতে পারে $X_1, ..., X_n$ $t$ $\nu>2$ $\nu/(\nu-2)$

{\hat{θ}}_{1} : t h e u n b i a s e d s a m p l e v a r i a n c e

$\hat \theta_{1}: {\rm the \ unbiased \ sample \ variance}$

{\hat{θ}}_{2} = 0, r e g a r d l e s s o f t h e d a t a

$\hat \theta_{2} = 0,{\rm \ regardless \ of \ the \ data}$

M S E ({\hat{θ}}_{2}) = \frac{ν^{2}}{(ν - 2)^{2}}

$\rm MSE(\hat \theta_{2}) = \frac{\nu^2}{(\nu-2)^2}$

M S E ({\hat{θ}}_{1}) = {\begin{cases} \infty & if ν \leq 4 \\ \frac{ν^{2}}{(ν - 2)^{2}} (\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) & if ν > 4 . \end{cases}

${\rm MSE}(\hat \theta_{1}) = \begin{cases} \infty &\mbox{if } \nu \leq 4 \\ \frac{\nu^2}{(\nu-2)^2} \left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) & \mbox{if } \nu>4 . \end{cases}$ এই থ্রেডে আলোচিত ঘটনা এবং বিতরণের বৈশিষ্ট্য

t

$t$ । সুতরাং নিখুঁত অনুমানকারী whenever এর শর্তাবলী ছাড়িয়ে যায় নমুনা আকার নির্বিশেষে whenever $\rm MSE$ $\nu < 4$ , যা বরং বিচ্ছিন্ন। এটি ছাড়িয়ে যায় তবে এটি কেবল খুব ছোট নমুনার আকারের জন্যই প্রাসঙ্গিক। স্বল্প পরিমাণে স্বাধীনতার সাথে বিতরণের দীর্ঘ লেজযুক্ত প্রকৃতির কারণে ঘটেছিল যা খুব বড় মূল্যবোধের জন্য প্রবণ করে তোলে এবং অতিমাত্রায় চূড়ান্তভাবে দণ্ডিত হয়, যখন

(\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) > 1

$\left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) > 1$

t

$t$

{\hat{θ}}_{2}

$\hat \theta_{2}$

M S E

$\rm MSE$

{\hat{θ}}_{1}

$\hat \theta_1$ এই সমস্যা নেই।

এখানে নীচের লাইনটি হল যে এই দৃশ্যে কোনও উপযুক্ত পরিমাপের অনুমানক পারফরম্যান্স নয় $\rm MSE$ । এটি পরিষ্কার কারণ কারণ esti ক্ষেত্রে যে অনুমানক প্রাধান্য পেয়েছে তা একটি হাস্যকর বিষয় (বিশেষত যেহেতু পর্যবেক্ষণ করা তথ্যের কোনও পরিবর্তনশীলতা থাকলে এটি সঠিক হওয়ার কোনও সম্ভাবনা নেই)। সম্ভবত আরও উপযুক্ত পদ্ধতির (কেসেলা এবং বার্জার দ্বারা নির্দেশিত হিসাবে) ভেরিয়েন্স অনুমানকারী, im যা স্টেইনের হ্রাস করে: $\rm MSE$ $\hat \theta$

S (\hat{θ}) = \frac{\hat{θ}}{ν / (ν - 2)} - 1 - \log (\frac{\hat{θ}}{ν / (ν - 2)})

$S(\hat \theta) = \frac{ \hat \theta}{\nu/(\nu-2)} - 1 - \log \left( \frac{ \hat \theta}{\nu/(\nu-2)} \right)$

যা অল্প মূল্যায়নকে সমানভাবে দণ্ডিত করে। এটি :) থেকে আমাদের ফিরে আসে $S(\hat \theta_1)=\infty$

— ম্যাক্রো
সূত্র

(+1) চমৎকার আলোচনা। ন্যায়সঙ্গতভাবে, এটি সম্ভবত এটি নির্দেশ করা উচিত যে অনুরূপ যুক্তিগুলিও অন্যান্য মাপদণ্ডের (অন্য ক্ষতির ক্রিয়াকলাপগুলির) পক্ষে এবং বিপক্ষেও হতে পারে।

— MånsT

2

সাধারণত, কেউ তাদের ঝুঁকি কার্যগুলি দেখে অনুমানকারীদের মূল্যায়ন করে, যা পরামিতিগুলির তুলনায় প্রত্যাশিত ক্ষতির পরিকল্পনা করে plot এখানে, প্যারামিটারগুলি স্থির করে, আপনি একটি বিভ্রান্তিমূলক বিশ্লেষণ তৈরি করতে পারেন। সর্বোপরি, এটি সর্বদা ক্ষেত্রে এমন যে বোকা (ধ্রুবক, তথ্য-অজ্ঞ) অনুমানকারী খুব কম প্রত্যাশিত ক্ষতির সৃষ্টি করতে পারে: কেবল এটি সঠিক প্যারামিটারের সমান সেট করুন! এটি আমাকে ভেবে অবাক করে দেয় যে সিমুলেশনটি এখানে সত্যই দেখিয়েছে।

— হোয়বার

@ শুভেচ্ছা, বিশ্লেষণাত্মকভাবে উদাহরণ দেওয়ার জন্য আমি এই উত্তরটি পরিবর্তন করেছি, যা সম্ভবত এটি আরও স্পষ্ট করে তোলে। আমি একটি বিকল্প ক্ষতি ফাংশনও প্রস্তাব করেছি যা আরও উপযুক্ত হতে পারে।

— ম্যাক্রো

+1 অনেক ভাল এবং খুব আকর্ষণীয়! আমি মনে করি "উদ্বেগজনক" দিকটি দর্শকের চোখে পড়ে। Bay আগে কিছু বেয়েসকে আটকে রাখার প্রবণতা কারও কাছে , এই ফলাফলটি খুব মনস্ত করা উচিত। এছাড়াও, আমাদের কারও কারও কাছে ক্ষতির বাছাইটি প্রাথমিক এবং বেশিরভাগ অন্যান্য বিবেচ্য বিষয়গুলি অতিক্রম করা উচিত: আপনার ক্লায়েন্টের মান এবং লক্ষ্যগুলি ক্ষতি নির্ধারণ করে এবং এটি আপনাকে একটি ভাল অনুমানের পদ্ধতি বেছে নিতে সহায়তা করে। কোনও প্রাক্কলন পদ্ধতির পক্ষে এবং তারপরে এই প্রক্রিয়াটির কাজটি করার জন্য ক্ষতির প্রস্তাব দেওয়া একটি কার্যকর অনুশীলন তবে অবশ্যই কীভাবে একজন পরিসংখ্যানগত সমস্যা সমাধান করে তার উদাহরণ হিসাবে নেওয়া যায় না!

ν

$\nu$

— হোবার

2

স্কোয়ারড ত্রুটি ক্ষতি ফাংশন জন্য ঝুঁকি (প্রত্যাশিত ক্ষয়) এর MSE অনুরূপ । স্কোয়ার ত্রুটি ক্ষতির ফাংশনটি খুব জনপ্রিয় তবে অনেকের মধ্যে একটির পছন্দ। আপনার বর্ণিত পদ্ধতিটি স্কোয়ার ত্রুটি ক্ষতির অধীনে সঠিক; প্রশ্নটি আপনার সমস্যার উপযুক্ত কিনা তা নয়। $L(\alpha_i) = (\alpha_i - \alpha)^2$

— JMS
সূত্র

2

যেহেতু ফাংশনটি পার্থক্যযোগ্য, এটি তাত্ত্বিক এবং সংখ্যাগত উভয় দিক থেকে ন্যূনতম এমএসই সন্ধান সহজ করে তোলে easier উদাহরণস্বরূপ, সাধারণ ন্যূনতম স্কোয়ারগুলিতে আপনি লাগানো opeালু এবং ইন্টারসেপ্টের স্পষ্টতা সমাধান করতে পারেন। একটি সংখ্যার দিক থেকে, আপনি যখন একটি ডেরাইভেটিভ করেন তখন আপনার আরও দক্ষ সলভার থাকে। $f(x) = x^2$

আমার মতে বর্গক্ষেত্রের ত্রুটি সাধারণত আউটলাইটারকে ওভারইয়েট করে। এ কারণেই প্রায়শই নিখুঁত ত্রুটি ব্যবহার করা আরও শক্তিশালী হয়, যেমনআপনার ত্রুটি ফাংশন হিসাবে। তবে এটি যেহেতু অ-বিভেদযোগ্য তাই সমাধানগুলি কাজ করা আরও কঠিন করে তোলে। $f(x) = |x|$

সাধারণত ত্রুটির শর্তাদি বিতরণ করা হলে এমএসই সম্ভবত একটি ভাল পছন্দ। যদি তাদের চর্বিযুক্ত লেজ থাকে তবে আরও শক্তিশালী পছন্দ যেমন পরম মানটি পছন্দনীয়।

— aprokopiw
সূত্র

0

কেস অ্যান্ড বার্গার স্ট্যাটিস্টিকাল ইনফারেন্সের দ্বিতীয় সংস্করণ পৃষ্ঠা ৩৩২ এ বলা হয়েছে যে এমএসই সমালোচনা ও তাত্পর্য নির্ধারণের জন্য সমানভাবে দন্ড দেয়, যা লোকেশনের ক্ষেত্রে জরিমানা। স্কেল ক্ষেত্রে, তবে 0 একটি প্রাকৃতিক নিম্ন বাউন্ড, সুতরাং অনুমানের সমস্যাটি প্রতিসম নয়। এক্ষেত্রে এমএসই ব্যবহার অল্প মূল্যকে ক্ষমা করার প্রবণতা রয়েছে।

আপনি যাচাই করতে পারেন যে কোন অনুমানকারী ইউএমভিউ বৈশিষ্ট্যগুলি সন্তুষ্ট করে, যার অর্থ ক্রিমার-রাও লোয়ার বাউন্ড ব্যবহার করা। পৃষ্ঠা 341।

— Tu.2
সূত্র