লিনিয়ার রিগ্রেশন এর পক্ষপাত-বৈকল্পিক পঁচনে বৈকল্পিক শব্দ

Question

'স্ট্যাটিস্টিকাল লার্নিং এর উপাদানসমূহ'-এ রৈখিক-মডেলটির পক্ষপাত-বৈচিত্র্য ক্ষয়ের জন্য অভিব্যক্তিটি যেখানে আসল লক্ষ্য ফাংশন, মডেল ) এ র্যান্ডম ত্রুটির এবং রৈখিক মূল্নির্ধারক হয় ।

$$Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,$$ $f(x_0)$$\sigma_\epsilon^2$$y=f(x)+\epsilon$$\hat f(x)$$f(x)$

ভেরিয়েন্স শব্দটি এখানে আমাকে বিরক্ত করছে কারণ সমীকরণটি সূচিত করে যে লক্ষ্যগুলি , হলে ভেরিয়েন্সটি শূন্য হবেতবে এটি আমার কাছে তাত্পর্যপূর্ণ নয় কারণ শূন্য শোরগোলের পরেও আমি বিভিন্ন প্রশিক্ষক সেটগুলির জন্য বিভিন্ন অনুমানকারী পেতে পারি যা ইঙ্গিত দেয় যে বৈকল্পিকটি শূন্য নয়।$\sigma_\epsilon^2=0.$$\hat f(x_0)$

উদাহরণস্বরূপ, ধরুন লক্ষ্য ফাংশনটি একটি চতুষ্কোণ এবং ট্রেনিং ডেটাতে এই চতুর্ভুজ থেকে এলোমেলোভাবে দুটি পয়েন্টের নমুনা রয়েছে; স্পষ্টতই, আমি চতুর্ভুজ-টার্গেট থেকে এলোমেলোভাবে দুটি পয়েন্ট নমুনা করার সময় আমি আলাদা লিনিয়ার ফিট পাব। তাহলে কীভাবে বৈকল্পিকতা শূন্য হতে পারে?$f(x_0)$

পক্ষপাত-বৈচিত্র্য ক্ষয় সম্পর্কে আমার বোঝার মধ্যে কী ভুল তা জানতে কেউ আমাকে সহায়তা করতে পারে?

Answer 1

পক্ষপাত এবং বৈকল্পিকতার চিকিত্সার ক্ষেত্রে সর্বদা একটি সূক্ষ্ম সূক্ষ্মতা রয়েছে এবং অধ্যয়নকালে এটির দিকে মনোযোগ দেওয়া গুরুত্বপূর্ণ। আপনি যদি এই অধ্যায়টির একটি বিভাগে ESL এর প্রথম কয়েকটি শব্দ পুনরায় পড়েন তবে লেখকরা এটির কিছুটা শ্রদ্ধা জানান।

ত্রুটি হারের অনুমানের আলোচনাগুলি বিভ্রান্তিকর হতে পারে, কারণ আমাদের পরিষ্কার করতে হবে যে কোন পরিমাণগুলি স্থির এবং কোনটি এলোমেলো are

সূক্ষ্মতা হ'ল স্থির, এবং এলোমেলো কী ।

রৈখিক প্রতিরোধের traditionalতিহ্যগত চিকিত্সায়, ডেটা $X$স্থির এবং পরিচিত হিসাবে বিবেচিত হয়। আপনি যদি ইএসএলে যুক্তিগুলি অনুসরণ করেন তবে আপনি দেখতে পাবেন যে লেখকরাও এই অনুমান করছেন। এই অনুমানগুলির অধীনে, আপনার উদাহরণটি শর্তযুক্ত বিতরণ থেকে এলোমেলোতার একমাত্র অবশিষ্ট উত্স হিসাবে কার্যকর হবে না$y$ প্রদত্ত $X$। যদি এটি সহায়তা করে তবে আপনি স্বরলিপিটি প্রতিস্থাপন করতে পারেন$Err(x_0)$ আপনার মনে সঙ্গে $Err(x_0 \mid X)$।

এটি আপনার উদ্বেগটি অবৈধ নয় তা বলার অপেক্ষা রাখে না, এটি অবশ্যই সত্য যে প্রশিক্ষণের ডেটা নির্বাচন করা আমাদের মডেল অ্যালগরিদমে প্রকৃতপক্ষে এলোমেলোতার পরিচয় দেয় এবং একটি পরিশ্রমী অনুশীলনকারী তাদের ফলাফলের উপর এই এলোমেলো প্রভাবের পরিমাণ প্রমাণ করার চেষ্টা করবে। প্রকৃতপক্ষে, আপনি বেশ স্পষ্ট দেখতে পাচ্ছেন যে বুটস্ট্র্যাপিং এবং ক্রস-বৈধকরণের সাধারণ অনুশীলনগুলি এলোমেলোতার এই উত্সগুলিকে স্পষ্টতই তাদের নির্ধারণগুলিতে অন্তর্ভুক্ত করে।

এলোমেলো প্রশিক্ষণের ডেটা সেট প্রসঙ্গে লিনিয়ার মডেলের পক্ষপাত এবং বৈচিত্রের জন্য একটি স্পষ্ট গাণিতিক প্রকাশ পেতে, একটিতে এলোমেলো কাঠামোর কাঠামো সম্পর্কে কিছুটা অনুমান করা দরকার $X$ডেটা। এটি বিতরণ সম্পর্কে কিছু ধারণা জড়িত হবে$X$। এটি করা যায়, তবে এই ধারণাগুলির মূলধারার বহিঃপ্রকাশের অংশ হয়ে উঠেনি।

Comments

লেখকরা ধরে নিয়েছে এই সত্যটি পরিষ্কার করার জন্য অনেক ধন্যবাদ $X$ স্থির করা হবে, সুতরাং এখানে প্রত্যাশা কব্জি হয় $Y|X$ না $(X,Y)$। তবে আমরা লিখতে পারি$E=E_XE_{Y|X}$, যার অর্থ এক্সকে এলোমেলো হিসাবে বিবেচনা করা আমরা পাব $Var(\hat f(x_0))=E_X[||h(x_0)||^2\sigma_\epsilon^2]$। এটি এখনও শূন্য হবে যদি$\sigma_\epsilon^2$শূন্য। এই সমীকরণ সম্পর্কে আমারও একই সন্দেহ ছিল, আপনি এই পোস্টটিতে আমার অনুপস্থিতি

— অভিনব গুপ্ত

আমার অনুমানটি এখানে রয়েছে যে লেখকরা ধরে নিচ্ছেন মডেলটি সঠিকভাবে নির্দিষ্ট করা হয়েছে, অর্থাত্ সঠিক ট্রান্সফর্মেশন সহ সমস্ত এবং কেবলমাত্র প্রাসঙ্গিক ভবিষ্যদ্বাণীকে অন্তর্ভুক্ত করে। যদিও নিশ্চিত করতে আমার স্মৃতিতে নির্ভর করার পরিবর্তে আমাকে বইটিতে ফিরে যেতে হবে।

— ম্যাথু ড্রুরি

যদি 'সঠিকভাবে নির্দিষ্ট' করে দিয়ে আপনি বোঝাচ্ছেন যে লক্ষ্য ফাংশনটি সত্যই লিনিয়ার তবে আমি বুঝতে পারি যে শূন্য শব্দটি শূন্য পক্ষপাতকে বোঝায়। এটি লক্ষ্য করে যে লক্ষ্য ফাংশনটি লিনিয়ার না হলেও, আমরা বৈকল্পিকের জন্য সঠিক একই অভিব্যক্তিটি পাই।

— অভিনব গুপ্ত

এটি সত্য, তবে সেই ক্ষেত্রে "সঠিকভাবে নির্দিষ্ট" এর অর্থ হ'ল আপনি সঠিক ভবিষ্যদ্বাণীকারীদের সহ একটি মডেল ফিট করতে লিনিয়ার রিগ্রেশন ব্যবহার করছেন । সুতরাং যদি সত্যিকারের সম্পর্কটি চতুষ্কোণীয় হয়, তবে আপনি ধরে নিবেন যে আপনার মডেলটিতে চতুর্ভুজ পদ রয়েছে।

— ম্যাথু