পশ্চাদপসরণ দূরীকরণকে কেন একাধিক প্রতিরোধের সময় যুক্তিযুক্ত?

Question

এটি কি অত্যধিক ফিটনেসের ফলাফল করে না? যদি বিশ্লেষণের অংশ হিসাবে আমি একটি জ্যাক-ছুরি বা বুটস্ট্র্যাপ পদ্ধতি যুক্ত করি তবে আমার ফলাফলগুলি আরও নির্ভরযোগ্য হবে?

Comments

কে বলেছে এটা ন্যায়সঙ্গত? অবশ্যই এটি overfitting বাড়ে উচিত।

— গুং - মনিকা পুনরায়

এটি আসলে অনেকগুলি বইয়ে (এখনও?) প্রস্তাবিত, যেমন অ্যামাজন / স্ট্যাটিকস-এক্সপ্লাইন্ড- ইন্ট্রোডাক্টরি- গুইড- সায়েন্টিস্টস/… । আমি নিজেও একই বিষয়টি ভাবছি। আমি মনে করি আমার কাছে কমপক্ষে 3-4 টি পরিসংখ্যান বই রয়েছে যা একাধিক রিগ্রেশন প্রবর্তন করার সময় অতিরিক্ত মানানসই বিষয় নিয়ে মোটেও আলোচনা করে না।

— মিমি

সত্যি বলতে, যদি একটি সূচনা সংক্রান্ত স্ট্যাটিস্টিক বইটি অত্যধিক ফিটনেস এবং ওভার টেস্টিংয়ের বিষয়ে আলোচনা না করে, আমি অন্য একটি বই পড়তে পারি।

— ম্যাথু ড্রুরি 25'15

পিছনের এলিমিনেশন (এবং ফরোয়ার্ড নির্বাচন) এখনও অতিরিক্ত-ফিট হয়ে যায় যদি লিভ-ওয়ান-আউট ক্রস-বৈধকরণ (উদাহরণস্বরূপ প্রেস) বৈশিষ্ট্য নির্বাচনের মানদণ্ড হিসাবে ব্যবহৃত হয়।

— ডিকরান মার্সুপিয়াল

@ মিমহ বেশ পরিচিতি নয়, তবে আমি ফ্র্যাঙ্ক হ্যারেলের রিগ্রেশন মডেলিং কৌশলগুলির চতুর্থ অধ্যায়টি পড়ার সর্বাধিক পরামর্শ দিচ্ছি (ভাল, এটি কেবল চতুর্থ অধ্যায় নয় যা পড়া মূল্যবান নয়, তবে এই অংশটি এই আলোচনার জন্য বিশেষভাবে প্রাসঙ্গিক)।

— গ্লেন_বি -রিনস্টেট মনিকা 26'15

Answer 1

আমি মনে করি একটি মডেল তৈরি করা এবং এটি পরীক্ষা করা বিভিন্ন জিনিস। পশ্চাদপদ নির্মূলকরণ মডেল বিল্ডিংয়ের অংশ। এটি পরীক্ষার জন্য জ্যাক ছুরি এবং বুটস্ট্র্যাপ বেশি ব্যবহৃত হয়।

সাধারণ পশ্চাৎপদ এলিমিনেশনের চেয়ে আপনার অবশ্যই বুটস্ট্র্যাপ এবং জ্যাক ছুরির সাথে আরও নির্ভরযোগ্য অনুমান থাকতে পারে। তবে আপনি যদি সত্যিই অতিমাত্রায় পরীক্ষা করতে চান তবে চূড়ান্ত পরীক্ষাটি একটি বিভাজন-নমুনা, কারও উপর প্রশিক্ষণ, অন্যের উপর পরীক্ষা। এই কাজের জন্য ছেড়ে দিন-ছাড়াই খুব অস্থির / অবিশ্বস্ত: http://www.russpoldrack.org/2012/12/the-perils-of-leave-one-out.html

আমি মনে করি মডেলটির দৃ rob়তার আরও স্থিতিশীল অনুমানের জন্য কমপক্ষে 10% বিষয়ের বাইরে থাকা দরকার। এবং যদি আপনার 20 টি বিষয় থাকে তবে 2 টি বিষয় এখনও খুব কম। তবে তখন প্রশ্নটি হয়ে ওঠে যে আপনার কাছে এমন একটি মডেল তৈরির জন্য পর্যাপ্ত পরিমাণে নমুনা রয়েছে যা বাকী জনসংখ্যার ক্ষেত্রে প্রয়োগ করা যেতে পারে।

আশা করি এটি আপনার প্রশ্নের উত্তর অন্তত অংশে দিয়েছে।

Comments

সুতরাং কেউ কেবল এর সাথে ক্রস-বৈধতা ব্যবহার করতে পারে $k < n$ (অথবা $k << n$)?

— মিমি

পরিসংখ্যানগত শিক্ষার পরিচিতি অধ্যায় 5 এর

— পুনর্নির্মাণের