পক্ষপাত-বৈকল্পিক বাণিজ্য সম্পর্কে প্রশ্ন Question

Question

আমি পক্ষপাত-বৈকল্পিক ট্রেডঅফ, অনুমানকারকের পক্ষপাত এবং মডেলের পক্ষপাতের মধ্যে সম্পর্ক এবং অনুমানের বৈচিত্র এবং মডেলের বৈচিত্রের মধ্যে সম্পর্ক বোঝার চেষ্টা করছি।

আমি এই সিদ্ধান্তে পৌঁছেছি:

• আমরা যখন হিসাবরক্ষকের পক্ষপাতিত্ব অবহেলা করি তখন আমরা তথ্যগুলিকে উপভোগ করি to তখনই যখন আমরা কেবলমাত্র মডেলের বৈষম্যকে অবহেলা করে মডেলের পক্ষপাতিকে হ্রাস করার লক্ষ্য রাখি (অন্য কথায় আমরা কেবলমাত্র বিবেচনা না করেই অনুমানের ভিন্নতা হ্রাস করতে লক্ষ্য করি) অনুমানকারকের পক্ষপাতিত্বও)
• তদ্বিপরীত, আমরা যখন অনুমানকারীটির বৈকল্পিকতা অবহেলা করি তখন আমরা ডেটাগুলিকে কমিয়ে আনার ঝোঁক রাখি, এটি তখনই যখন আমরা কেবলমাত্র মডেলটির পক্ষপাতিত্বকে অবহেলা করে মডেলের বিভিন্নতা হ্রাস করতে লক্ষ্য করি (অন্য কথায় আমরা কেবলমাত্র এর পক্ষপাতিত্বকে হ্রাস করতে লক্ষ্য করি) অনুমানকারী এর ভিন্নতা বিবেচনা না করে অনুমানকারী)।

আমার সিদ্ধান্তগুলি কি সঠিক?

Comments

জন, আমি মনে করি আপনি তাল ইয়ারকোনি এবং জ্যাকব ওয়েস্টফলের এই নিবন্ধটি পড়তে উপভোগ করবেন - এটি পক্ষপাত-বৈচিত্র্য বাণিজ্য বন্ধের একটি স্বজ্ঞাত ব্যাখ্যা দেয়: জেকওয়েস্টফল . org / প্রজাতন্ত্র / ।।

— ইসাবেলা ঘেমেন্ট

Answer 1

ভাল ধরণের. যেমন বলা হয়েছে, আপনি পক্ষপাত বা বৈকল্পিকতা হ্রাস করার জন্য বিজ্ঞানীর অভিপ্রায়টিকে স্বীকার করেন। অনুশীলনে, আপনি আপনার মডেলটির পক্ষপাতিত্ব বা রূপটি স্পষ্টভাবে পর্যবেক্ষণ করতে পারবেন না (যদি আপনি পারতেন তবে সত্যিকারের সংকেতটি জানতেন, সেক্ষেত্রে আপনার কোনও মডেলের প্রয়োজন হবে না)। সাধারণভাবে, আপনি কেবলমাত্র একটি নির্দিষ্ট ডেটা সেটে আপনার মডেলের ত্রুটি হারটি পর্যবেক্ষণ করতে পারেন এবং বিভিন্ন সৃজনশীল কৌশল ব্যবহার করে আপনি নমুনা ত্রুটির হারের বাইরে বেরিয়ে আসার অনুমান করতে চান।

এখন আপনি কি জানেন যে, তত্ত্বগতভাবে অন্তত এই ত্রুটি হার পক্ষপাত এবং ভ্যারিয়েন্স পদ পচে যায়, কিন্তু আপনি সরাসরি কোনো নির্দিষ্ট কংক্রিট অবস্থায় এই ভারসাম্য পালন করতে পারবে না। সুতরাং আমি আপনার পর্যবেক্ষণগুলি সামান্য হিসাবে পুনঃস্থাপন করব:

• যখন নমুনা শব্দটি নমুনা ত্রুটির মধ্যে বেশিরভাগ অংশকে অবদান রাখে তখন কোনও মডেল ডেটাগুলির অধীনে থাকে।
• যখন কোনও বৈকল্পিক শব্দটি নমুনা ত্রুটির মধ্যে সিংহভাগকে অবদান রাখে তখন কোনও মডেল ডেটাতে সজ্জিত হয়।

সাধারণভাবে, নিশ্চিতভাবে জানার কোনও আসল উপায় নেই, কারণ আপনি কখনই মডেল পক্ষপাতিত্বকে সত্যই পর্যবেক্ষণ করতে পারবেন না। তবুও, আচরণের বিভিন্ন নিদর্শন রয়েছে যা এক পরিস্থিতিতে বা অন্য পরিস্থিতিতে থাকার ইঙ্গিত দেয়:

• ওভারফিট মডেলগুলির একটি টেস্টিং ডেটাসেট বনাম একটি প্রশিক্ষণ ডেটা সেটে ফিটের পারফরম্যান্সের তুলনায় আরও খারাপ ধার্মিকতা থাকে।
• আন্ডারফিট মডেলগুলির একটি পরীক্ষার বনাম প্রশিক্ষণ ডেটা সেটগুলিতে ফিট পারফরম্যান্সের একই ধরণেরতা থাকে।

এগুলি নিদর্শনগুলি যা মডেল জটিলতায় ত্রুটি হারের বিখ্যাত প্লটগুলিতে প্রকাশিত হয়, এটি স্ট্যাটিস্টিকাল লার্নিংয়ের উপাদানগুলির থেকে:

প্রায়শই এই প্লটগুলি পক্ষপাত এবং বৈকল্পিক বক্ররেখা দ্বারা আবৃত থাকে। আমি এই সুন্দর প্রদর্শন থেকে এটি গ্রহণ :

তবে, এটি উপলব্ধি করা খুব গুরুত্বপূর্ণ যে আপনি বাস্তবে কোনও বাস্তব পরিস্থিতিতে এই অতিরিক্ত বক্ররেখা কখনই দেখতে পাবেন না ।

Answer 2

খেলনা উদাহরণ ব্যবহার করে বায়াস - ভেরিয়েন্স ট্রেড অফকে চিত্রিত করা

@ ম্যাথু ড্রুরি যেমন উল্লেখ করেছেন, বাস্তবসম্মত পরিস্থিতিতে আপনি শেষের গ্রাফটি দেখতে পাবেন না তবে নিম্নলিখিত খেলনা উদাহরণটি তাদের পক্ষে দৃশ্যমান ব্যাখ্যা এবং অন্তর্দৃষ্টি সরবরাহ করতে পারে যা এটি সহায়ক বলে মনে করে।

ডেটাসেট এবং অনুমান

$Y$

• $Y = sin(\pi x - 0.5) + \epsilon$$\epsilon \sim Uniform(-0.5,0.5)$
• $Y = f(x) + \epsilon$

$x$$Y$$Var(Y) = Var(\epsilon) = \frac{1}{12}$

$\hat f(x) = \beta_0 + \beta_1x + \beta_1 x^2 + ... + \beta_px^p$

বিভিন্ন বহুভিত্তিক মডেল ফিটিং ting

স্বজ্ঞাতভাবে, আপনি আশা করতে পারেন যে ডেটাসেটটি স্পষ্টরূপে অ রৈখিক হওয়ায় আপনি একটি সরলরেখার বক্ররেখা খারাপভাবে সম্পাদন করতে পারেন। একইভাবে, খুব উচ্চতর অর্ডার বহুত্বজনিত ফিট করা অত্যধিক হতে পারে। এই স্বজ্ঞাততাটি নীচের গ্রাফটিতে প্রতিফলিত হয়েছে যা ট্রেন এবং পরীক্ষার ডেটার জন্য বিভিন্ন মডেল এবং তাদের অনুরূপ গড় স্কোয়ার ত্রুটি দেখায়।

উপরের গ্রাফটি একটি একক ট্রেন / পরীক্ষার বিভাজনের জন্য কাজ করে তবে কীভাবে আমরা জানব যে এটি জেনারেলাইজড হয়েছে কিনা?

প্রত্যাশিত ট্রেনের আনুমানিক মূল্যায়ন এবং এমএসই পরীক্ষা করা

এখানে আমাদের কাছে অনেকগুলি বিকল্প রয়েছে, তবে একটি পদ্ধতি হ'ল এলোমেলোভাবে ট্রেন / পরীক্ষার মধ্যে ডেটা বিভক্ত করা - প্রদত্ত বিভক্তিতে মডেলটিকে ফিট করে এবং এই পরীক্ষাকে বহুবার পুনরাবৃত্তি করে। ফলাফল এমএসই প্লট করা যেতে পারে এবং গড়টি প্রত্যাশিত ত্রুটির একটি অনুমান।

এটি দেখতে আকর্ষণীয় যে পরীক্ষার এমএসই বিভিন্ন ট্রেন / পরীক্ষার ডেটাগুলির বিভাজনের জন্য বন্যভাবে ওঠানামা করে। তবে পর্যাপ্ত পরিমাণে পরীক্ষাগুলিতে গড় নেওয়া আমাদের আরও ভাল আত্মবিশ্বাস দেয়।

$Y$

 বায়াস - ভেরিয়েন্স পচে যাওয়া

এখানে বর্ণিত হিসাবে এমএসই 3 টি মূল উপাদানে বিভক্ত হতে পারে:

$$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$$ $$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2$$

আমাদের খেলনা ক্ষেত্রে যেখানে:

• $f$
• $\sigma^2_\epsilon$$\epsilon$
• $E[\hat f]$
• $\hat f$
• $E\left[ \hat f - E[ \hat f] \right]^2$

নিম্নলিখিত সম্পর্ক প্রদান

দ্রষ্টব্য: উপরের গ্রাফটি মডেলটিকে ফিট করতে প্রশিক্ষণের ডেটা ব্যবহার করে এবং তারপরে ট্রেন + পরীক্ষায় এমএসই গণনা করে ।