মডেল নির্বাচনের পরে ক্রস বৈধকরণ (ত্রুটি সাধারণকরণ)

Question

দ্রষ্টব্য: কেস হল এন >> পি

আমি পরিসংখ্যানগত শিক্ষার উপাদানগুলি পড়ছি এবং ক্রস বৈধকরণের "ডান" উপায় সম্পর্কে বিভিন্ন উল্লেখ রয়েছে (যেমন পৃষ্ঠা 60, পৃষ্ঠা 245)) বিশেষত, আমার প্রশ্ন হল যখন কোনও মডেল অনুসন্ধান হয়েছে তখন কে-ফোল্ড সিভি বা বুটস্ট্র্যাপিং ব্যবহার করে চূড়ান্ত মডেলটিকে (পৃথক পরীক্ষার সেট ছাড়াই) কীভাবে মূল্যায়ন করা যায়? দেখে মনে হচ্ছে বেশিরভাগ ক্ষেত্রে (এম্বেড করা বৈশিষ্ট্য নির্বাচন ছাড়া এমএল অ্যালগরিদম) থাকবে

1. একটি বৈশিষ্ট্য নির্বাচনের পদক্ষেপ
2. একটি মেটা প্যারামিটার নির্বাচনের পদক্ষেপ (যেমন এসভিএমের ব্যয় প্যারামিটার)।

আমার প্রশ্নগুলো:

1. আমি দেখেছি বৈশিষ্ট্য নির্বাচন পদক্ষেপটি সম্পন্ন করা যেতে পারে যেখানে পুরো প্রশিক্ষণ সেটটিতে বৈশিষ্ট্য নির্বাচন করা হয় এবং একপাশে রাখা হয়। তারপরে কে-ফোল্ড সিভি ব্যবহার করে বৈশিষ্ট্য নির্বাচন অ্যালগরিদম প্রতিটি ভাঁজে ব্যবহৃত হয় (প্রতিটি সময় সম্ভবত পৃথক বৈশিষ্ট্যগুলি বেছে নেওয়া হয়) এবং ত্রুটি গড় হয় a তারপরে, আপনি চূড়ান্ত মোডটি প্রশিক্ষণের জন্য সমস্ত ডেটা (যা আলাদা করে রাখা হয়েছিল) ব্যবহার করে নির্বাচিত বৈশিষ্ট্যগুলি ব্যবহার করবেন তবে মডেলের ভবিষ্যতের পারফরম্যান্সের অনুমান হিসাবে ক্রস বৈধতা থেকে ত্রুটিটি ব্যবহার করুন। এটা কি সঠিক?
2. আপনি যখন মডেল পরামিতিগুলি নির্বাচন করতে ক্রস বৈধতা ব্যবহার করছেন, তারপরে কীভাবে মডেল পারফরম্যান্স অনুমান করবেন? এটি # 1 সমপরিমাণ একই পদ্ধতি বা আপনি নীচের সিভি পছন্দ করেন পৃষ্ঠা 54 ( পিডিএফ ) বা অন্য কিছুতে দেখান?
3. আপনি যখন উভয় পদক্ষেপ (বৈশিষ্ট্য এবং প্যারামিটার সেটিং) করছেন তখন ..... আপনি কী করবেন? জটিল নেস্ট লুপ?
4. আপনার যদি পৃথক হোল্ড আউট নমুনা থাকে, তবে উদ্বেগটি কি দূরে যায় এবং আপনি বৈশিষ্ট্য এবং পরামিতিগুলি নির্বাচন করতে ক্রস বৈধতা ব্যবহার করতে পারেন (আপনার পারফরম্যান্সের অনুমান হোল্ড আউট সেট থেকে আসবে বলে কোনও উদ্বেগ ছাড়াই)?

Comments

@ ব্যবহারকারী ২০৪০ (+১) এই প্রশ্নগুলি খুব ভাল, সত্যই! কিছুটা সম্পর্কিত প্রশ্ন এখানে পাওয়া যাবে: মেশিন লার্নিংয়ের ক্রস-বৈধতা সম্পাদন করার সময় "চূড়ান্ত" মডেলের জন্য বৈশিষ্ট্য নির্বাচন ।

— chl

আপনাকে ধন্যবাদ, পোস্টটি দেখেছি। আপনি কি মনে করেন আমি অন্তত আমার চিন্তার প্রক্রিয়াটির সাথে সঠিক পথে রয়েছি? দেখে মনে হচ্ছে একটি স্বতন্ত্র পরীক্ষার সেট বৈশিষ্ট্য নির্বাচন এবং মডেল টিউনিং / নির্বাচনের জন্য আমাদের সিভি ব্যবহারে আরও উদার হতে দেয়। অন্যথায়, নেস্টেড লুপগুলি একই প্রশিক্ষণের ডেটা ব্যবহার করে ট্রেন, টিউন এবং ত্রুটি জেনারালাইজেশন নির্ধারণের জন্য প্রয়োজনীয় উপস্থিত হয়।

— বি_মিনার

Answer 1

মূল বিষয়টি মনে রাখবেন যে ক্রস-বৈধকরণের জন্য (প্রায়) নিরপেক্ষ পারফরম্যান্সের অনুমানের জন্য মডেলটি ফিট করার সাথে জড়িত প্রতিটি পদক্ষেপটি ক্রস-বৈধকরণ পদ্ধতির প্রতিটি ভাগে স্বাধীনভাবে সম্পাদন করতে হবে। করণীয় হ'ল সর্বোত্তম বিষয় হ'ল বৈশিষ্ট্য নির্বাচন, মেটা / হাইপার-প্যারামিটার সেটিং এবং পরামিতিগুলিকে মডেল ফিটিংয়ের অবিচ্ছেদ্য অংশ হিসাবে অনুকূলিতকরণ এবং অন্য দুটি না করে কখনও এই পদক্ষেপের কোনওটিই করবেন না।

সেই রেসিপিটি ছেড়ে যাওয়ার মাধ্যমে যে আশাবাদী পক্ষপাতিত্ব চালু করা যেতে পারে তা অবাক করে বড় হতে পারে, যেমনটি কাওলি এবং টালবোট দ্বারা প্রমাণিত হয়েছিল , যেখানে স্পষ্টত সৌম্য প্রস্থান দ্বারা প্রবর্তিত পক্ষপাত প্রতিযোগী শ্রেণিবদ্ধের মধ্যে পারফরম্যান্সের পার্থক্যের চেয়ে বড় ছিল। আরও খারাপ পক্ষপাতদুষ্ট প্রোটোকলগুলি খারাপ মডেলগুলির পক্ষে সবচেয়ে দৃ strongly়তার পক্ষে, কারণ তারা হাইপার-প্যারামিটারগুলির সুরের ক্ষেত্রে আরও সংবেদনশীল এবং তাই মডেল নির্বাচনের মানদণ্ডকে ওভার-ফিট করার প্রবণতা বেশি!

নির্দিষ্ট প্রশ্নের উত্তর:

পদক্ষেপ 1 এ পদ্ধতিটি বৈধ কারণ বৈশিষ্ট্য নির্বাচন প্রতিটি ভাঁজগুলিতে পৃথকভাবে সঞ্চালিত হয়, তাই আপনি যা ক্রস-যাচাই করছেন তা সম্পূর্ণ পদ্ধতিটি চূড়ান্ত মডেলের সাথে মানিয়ে যায়। ক্রস-বৈধকরণের প্রাক্কলনটিতে সামান্য হতাশাবাদী পক্ষপাতিত্ব থাকবে কারণ প্রতিটি ভাড়ার জন্য ডেটাসেট চূড়ান্ত মডেলের জন্য ব্যবহৃত পুরো ডেটাসেটের চেয়ে কিছুটা ছোট।

২-এর জন্য, যেমন মডেল প্যারামিটারগুলি নির্বাচন করতে ক্রস-বৈধকরণ ব্যবহার করা হয় তারপরে পারফরম্যান্স অনুমানের জন্য ব্যবহৃত ক্রস-বৈধকরণের প্রতিটি ভাঁজে আপনার স্বাধীনভাবে সেই পদ্ধতিটি পুনরাবৃত্তি করতে হবে, আপনি নেস্টেড ক্রস-বৈধতা দিয়ে শেষ করবেন।

3 এর জন্য, মূলত, হ্যাঁ আপনাকে নেস্টেড-নেস্টেড ক্রস-বৈধকরণ করতে হবে। মূলত আপনি প্রতিটি দূরতম ক্রস বৈধতা (কর্মক্ষমতা প্রাক্কলন জন্য ব্যবহৃত) এর ভাঁজ মধ্যে পুনরাবৃত্তি করতে সবকিছু আপনি চূড়ান্ত মডেল মাপসই করতে মনস্থ।

4 এর জন্য - হ্যাঁ, আপনার যদি পৃথক হোল্ড-আউট সেট থাকে তবে এটি অতিরিক্ত ক্রস-বৈধকরণের প্রয়োজন ছাড়াই পারফরম্যান্সের একটি নিরপেক্ষ অনুমান দেবে।

Comments

আপনার উত্তর Q1। সমস্যা কি তাই না? আমরা প্রায়শই মনে করি আমরা মডেলটি ক্রস-বৈধকরণ করছি, যখন বাস্তবে আমরা মডেলিংয়ের পদ্ধতিটি ক্রস-বৈধকরণ করি। পার্থক্যটি দার্শনিক হতে পারে, কারণ আপনি যখন গণিতটি লিখবেন তখন চ মডেল বা মডেলিং পদ্ধতির পক্ষে দাঁড়াতে পারে। তবে তারপরে কেউ জিজ্ঞাসা করতে পারেন, আমরা কী চাই পদ্ধতিটি ক্রস-বৈধকরণ বা মডেলকে ক্রস-বৈধকরণ। আপনার চিন্তা কি?

— কোহলেথ

আপনি কোনও মডেলকে ক্রস-বৈধতা দিতে পারবেন না কারণ মডেল নির্ভর করে যে ডেটাটির উপর প্রশিক্ষণ দেওয়া হয়েছিল তার নমুনার উপর নির্ভর করে, আপনি যত তাড়াতাড়ি এটি ডেটার ভিন্ন ভিন্ন নমুনায় ফিট করেন এটি একটি ভিন্ন মডেল। আমি সত্যিই সেখানে যে বক্তব্যটি দিচ্ছিলাম তা হ'ল যদি আপনি কোনও উপায়ে পুরো নমুনার মডেলটি টিউন করেন (উদাহরণস্বরূপ বৈশিষ্ট্য নির্বাচন সম্পাদন করে), ক্রস-বৈধকরণ সাধারণীকরণের একটি আশাবাদী অনুমান দেবে কারণ পরীক্ষার পার্টিশনগুলি সুর করার জন্য ব্যবহৃত হয়েছিল মডেলের দিকগুলি (যেমন ব্যবহৃত বৈশিষ্ট্য সেট) আছে HTH।

— ডিকরান মার্শুপিয়াল

আমি জানি না মন্তব্য বিভাগে আমাদের আলোচনা চালিয়ে যাওয়া ঠিক আছে কিনা, তবে কেউ অন্যথায় না বলে ... হ্যাঁ, আমি বুঝতে পারি যে সিভি সম্পর্কে আপনার বক্তব্যটি বহির্মুখী স্তরে করা উচিত এবং আমি এটি আপত্তি করছি না। আসলে, আমি গতকাল আমার সহকর্মীকে ঠিক একই পরামর্শ দিয়েছিলাম। আমি কেবল উল্লেখ করছি যে আমরা প্রায়শই নিশ্চিত নই যে আমরা ক্রস-বৈধতা যাচ্ছি। একই সাথে আমি ভাবছি যে মডেলিংয়ের পদ্ধতির পরিবর্তে মডেলটির মূল্যায়ন করা কি আমরা প্রকৃতপক্ষে চাই। একটি প্রতিকার হতে পারে যে কেউ ভাবতে পারে যে তিনি মডেল ত্রুটিটি অনুমান করতে পদ্ধতি ত্রুটি ব্যবহার করছেন। সম্ভবত এটি কাজ করে।

— কোহলেথ

বাহ্যিক পরীক্ষার সেট না করে আমরা কোনও নির্দিষ্ট মডেলের পারফরম্যান্সের সরাসরি অনুমান পেতে পারি না। কোনও মডেল তৈরির পদ্ধতির কার্যকারিতা যদিও মডেল নিজেই সম্পাদনের জন্য একটি যুক্তিসঙ্গত প্রক্সি হয় তবে শর্ত থাকে যে এটি সম্পূর্ণ পদ্ধতি যা ক্রস-বৈধতাযুক্ত is অন্য কথায়, আমি আপনার শেষ বাক্যে সারাংশের সাথে একমত!

— ডিকরান মার্শুপিয়াল

Answer 2

আমি এমন ডেটা সেটে একটি বিস্তৃত ক্রস-বৈধতা বিশ্লেষণ করছি যা অর্জনে লক্ষ লক্ষ ব্যয় হয়েছে এবং কোনও বাহ্যিক বৈধতা সেট উপলব্ধ নেই। এই ক্ষেত্রে, আমি বৈধতা নিশ্চিত করতে বৃহত নেস্টেড ক্রস বৈধতা সম্পাদন করেছি। আমি কেবলমাত্র সম্পর্কিত প্রশিক্ষণ সেট থেকে বৈশিষ্ট্য এবং অনুকূলিত পরামিতি নির্বাচন করেছি। বৃহত ডেটা সেটগুলির জন্য এটি গণনা ব্যয়বহুল, তবে বৈধতা বজায় রাখার জন্য আমাকে এটি করতে হয়েছিল। তবে কিছু জটিলতা রয়েছে যা এর সাথে আসে ... উদাহরণস্বরূপ, প্রতিটি প্রশিক্ষণে বিভিন্ন বৈশিষ্ট্য নির্বাচন করা হয়।

সুতরাং আমার উত্তরটি হ'ল যে ক্ষেত্রে আপনার কাছে কোনও বাহ্যিক ডেটা সেট স্থাপনের সম্ভাব্য অ্যাক্সেস নেই, এটি যাওয়ার যুক্তিসঙ্গত উপায়। যখন আপনার কাছে কোনও বাহ্যিক ডেটা সেট থাকে, আপনি মূলত ডেটা সেটটিতে চান তবে আপনি শহরে যেতে পারেন এবং তারপরে একবার বাহ্যিক ডেটা সেটটিতে একবার পরীক্ষা করতে পারেন।

Comments

@ ইউজার ২64৩৩: আপনি কীভাবে নেস্টেড সিভি তৈরি করেছেন সে সম্পর্কে ভাগ করার জন্য আপনার কোনও রেফারেন্স রয়েছে? এটি আমার প্রশ্নে আমি যে পিডিএফ সংযুক্ত করেছি, একই লাইন বরাবর ছিল? এছাড়াও ..... এই তথ্য বিপণনের ডেটা কি সুযোগ মতো?

— বি_মিনার

@ ব্যবহারকারী2643 সেই পদ্ধতির (যা সঠিক) সমস্যাটি হ'ল এটি কেবল নির্ভুলতা (শ্রেণিবিন্যাস) বা নির্ভুলতা (রিগ্রেশন) জন্য একক মানদণ্ড দেয়; আপনি বলেছিলেন যে "এগুলি হ'ল বৈশিষ্ট্যগুলি হ'ল সবচেয়ে আকর্ষণীয়" যেহেতু আপনি বলেছিলেন they আমি জেনেটিক ডেটা (k০০ কে ভেরিয়েবল) নিয়ে কাজ করছি যেখানে সন্ধানের নির্ভরযোগ্যতা নির্ধারণের জন্য আমরা একটি ক্রিয়াকলাপ স্কিমের (কে = 1000, স্বাচ্ছন্দ হতে) এম্বেড করা বৈশিষ্ট্য নির্বাচনের সাথে 10 গুণযুক্ত সিভি ব্যবহার করি। এইভাবে, আমরা বলতে সক্ষম: "আমাদের মডেল ভালভাবে জেনারেলাইজ করে" না, এর চেয়ে বেশি কিছুই নয়।

— chl

যদি বৈশিষ্ট্যগুলি ভাঁজ থেকে আলাদা হয়ে যায় তবে এর অর্থ হ'ল আত্মবিশ্বাসের সাথে দরকারী বৈশিষ্ট্যগুলি সনাক্ত করার জন্য পর্যাপ্ত তথ্য নেই, তাই আমি দেখতে পেলাম যে ক্রস-বৈধকরণের সুবিধা হিসাবে (কেবলমাত্র একটি একক মডেল থেকে ফলাফলগুলি দেখলে সম্ভবত বৈশিষ্ট্য নির্বাচনের মানদণ্ডকে অতিরিক্ত ফিট করে এবং তাই বিভ্রান্তিমূলক হতে পারে)। অনেকগুলি বৈশিষ্ট্য এবং কয়েকটি পর্যবেক্ষণের সমস্যাগুলির জন্য, রিজ রিগ্রেশন প্রায়শই ভাল কার্য সম্পাদন করে so

— ডিকরান মার্শুপিয়াল

$n\ll p$

@ ইউজার ২০৪০: দেরিতে জবাবের জন্য দুঃখিত। নেস্টেড সিভি পদ্ধতির নিজস্ব সফ্টওয়্যার বাস্তবায়ন তৈরি করেছি। আমার গবেষণাটি বায়োইনফরম্যাটিকসের সাথে সম্পর্কিত বলে, আমি শীঘ্রই একটি বায়োইনফরম্যাটিক জার্নালে সফ্টওয়্যারটির একটি বিবরণ জমা দেওয়ার পরিকল্পনা করছি। তবে এটি যে কোনও গবেষণা ডোমেইনে ব্যবহার করা যেতে পারে। আপনি যদি এটি চেষ্টা করে দেখতে আগ্রহী হন তবে দয়া করে আমাকে জানান। ইয়াহু ডট কম এ

— স্বর্ণফিশ ১৪৪৪