কীভাবে ক্রস-বৈধতা অতিরিক্ত ওঠা সমস্যা কাটিয়ে উঠবে?


34

কেন একটি ক্রস-বৈধকরণ পদ্ধতি কোনও মডেলকে বাছাইয়ের সমস্যাটি কাটিয়ে উঠেছে?


4
আলেন সেলিসের কাজগুলি দেখুন । আমি যতদূর পড়েছি তার কাজ (খুব কম হায়) ক্রস-বৈধতার গুণাগুণ সম্পর্কে।
এমপিক্টাস

@ এমপিক্টাস প্রকৃতপক্ষে, এবং তার একটি কাগজ ইতিমধ্যে সিভিজেসি, ম্যান্ডেলি . com/ groups/ 999241/ crossuthorated- জার্নাল-ক্লাব / পেপারগুলির জন্য প্রস্তাবিত হয়েছিল ।
chl

উত্তর:


23

আমি ঠিক এই মুহুর্তে যথেষ্ট পরিস্কার ব্যাখ্যাটি ভাবতে পারি না, তাই আমি এটি অন্য কারও কাছে ছেড়ে দেব; তবে ক্রস-বৈধকরণ মডেল নির্বাচনের ওভার-ফিটিং সমস্যাটি পুরোপুরি কাটিয়ে উঠেনি, এটি কেবল এটি হ্রাস করে। ক্রস-বৈধকরণ ত্রুটির তুচ্ছ তাত্পর্য নেই, বিশেষত যদি ডেটাসেটের আকার ছোট হয়; অন্য কথায় আপনি যে নির্দিষ্ট ডেটা ব্যবহার করেন তার উপর নির্ভর করে আপনি কিছুটা আলাদা মান পাবেন। এর অর্থ হ'ল মডেল নির্বাচনের ক্ষেত্রে যদি আপনার অনেক ডিগ্রি স্বাধীনতা থাকে (যেমন একটি ছোট উপসেট নির্বাচন করতে এমন অনেকগুলি বৈশিষ্ট্য, সুর করার জন্য অনেক হাইপার-প্যারামিটার, যেগুলি থেকে মডেল চয়ন করতে চান) আপনি ক্রস-বৈধতার মানদণ্ডকে অতিরিক্ত ফিট করতে পারেন যেহেতু মডেলটি এমনভাবে উপস্থাপিত হয়েছে যা কার্যত পারফরম্যান্সের উন্নতি করে এমন উপায়ের পরিবর্তে এই র্যান্ডম প্রকরণকে কাজে লাগায়, এবং আপনি এমন মডেলটি শেষ করতে পারেন যা খারাপ অভিনয় করে। এটির আলোচনার জন্য দেখুনকাওলি এবং টালবট "মডেল সিলেকশনে ওভার-ফিটিং এবং পারফরম্যান্স মূল্যায়নের পরবর্তী পরবর্তী নির্বাচন বায়াস", জেএমএলআর, খণ্ড। 11, পৃষ্ঠা 2079−2107, 2010

দুঃখের বিষয় ক্রস-বৈধকরণ আপনার খুব কম হয়ে যায় যখন আপনার একটি ছোট ডেটাসেট থাকে, যখন ঠিক যখন আপনার সবচেয়ে বেশি ক্রস-বৈধকরণ প্রয়োজন need মনে রাখবেন যে কে-ফোল্ড ক্রস-বৈধকরণ সাধারণত লেভ-ওয়ান-আউট ক্রস-বৈধকরণের চেয়ে বেশি নির্ভরযোগ্য কারণ এর কম বৈকল্পিক রয়েছে তবে কিছু মডেলের জন্য এটি গণনা করা আরও ব্যয়বহুল হতে পারে (এ কারণেই কখনও কখনও মডেল নির্বাচনের জন্য LOOCV ব্যবহৃত হয়, যদিও এর উচ্চতর বৈকল্পিকতা রয়েছে)।


1
আমার মনে হয়েছে যে ক্রস বৈধতা কেবলমাত্র ডেটার জন্য একটি পৃথক (অন্তর্নিহিত) মডেল প্রয়োগ করে। আপনি অবশ্যই এটি সিভির "কাজিন", নন-প্যারাম্যাট্রিক বুটস্ট্র্যাপ (যা 0 এর ঘনত্বের প্যারামিটার সহ একটি ডেরিচলেট প্রক্রিয়া মডেলের উপর ভিত্তি করে) দিয়ে দেখাতে পারেন।
সম্ভাব্যতাব্লোগিক

আকর্ষণীয় ধারণা। আমার দৃষ্টিভঙ্গি হ'ল (মডেলগুলির জন্য আমি আগ্রহী) পরামিতিগুলিতে এবং হাইপার-প্যারামিটারগুলিতে বিভাজন যৌক্তিকের পরিবর্তে গণনাযোগ্য; হাইপার-প্যারামিটারগুলি এখনও এমন পরামিতি যা ডেটাতে লাগানো দরকার এবং ক্রস-বৈধতা ব্যবহার করে অপ্রত্যক্ষভাবে এটি করা সত্যিকার অর্থে পরিবর্তন হয় না। শেষ কাগজে, আমি প্রশিক্ষণের মানদণ্ডটি ব্যবহার করে কার্নেল মডেলের সাধারণত হাইপার-পরামিতিগুলি সুর করি এবং মডেল নির্বাচনের মানদণ্ড (এলইউসিভি) কে উপস্থাপন না করার জন্য অতিরিক্ত নিয়মিতকরণ শব্দ যুক্ত করে তদন্ত করেছি এবং এটি বেশ কার্যকরভাবে কাজ করেছে।
ডিকরান মার্শুপিয়াল

1
কেন-ভাঁজ সিভি ছাড়ার চেয়ে বেশি ব্যয়বহুল? আমার অভিজ্ঞতা (এবং আমার স্বজ্ঞাত) অন্যথায় বলে। যেহেতু কে-ফোল্ড সিভিতে আমরা কে টেস্টগুলি করছি, এল 1 ও যেখানেই নেই, আমরা এন (>> কে) পরীক্ষা করছি এবং সাধারণত প্রশিক্ষণের অংশটি কিছু ম্যাট্রিক্স বিপর্যয়ের কারণে বেশি সময় নেয়, সুতরাং L1O ব্যয়বহুল বিকল্পটি নয়?
জেফ

1
ছাড়ুন এক ছাড়িয়ে (বা আনুমানিক) পুরো মডেলকে পুরো ডেটাসেটে ফিট করার উপ-পণ্য হিসাবে পরিশ্রম করা যায়, খুব সামান্য অতিরিক্ত ব্যয়ে, বিস্তৃত মডেলের (যেমন লিনিয়ার রিগ্রেশন)। এটিকে আরও পরিষ্কার করার জন্য আমি উত্তরটি সম্পাদনা করব।
ডিকরান মার্সুপিয়াল

লেভ-ওয়ান-আউট সম্পর্কে আমার উপলব্ধি হ'ল এটি কে-ফোল্ড সিভি - কে-ফোল্ড সিভি-র সবচেয়ে ভাল তবে সবচেয়ে কমপিউটিশিয়ালি ব্যয়বহুল ফর্ম, যেখানে কে = ডেটাসেটের আকার।
ড্যানিয়েল উইন্টারস্টাইন

10

আমার উত্তর কঠোর চেয়ে স্বজ্ঞাত, তবে সম্ভবত এটি সাহায্য করবে ...

আমি এটি বুঝতে পেরেছি যে ওভারফিটিং একই ডেটা ব্যবহার করে প্রশিক্ষণ এবং পরীক্ষার উপর ভিত্তি করে মডেল নির্বাচনের ফলাফল, যেখানে আপনার একটি নমনীয় ফিটিং ব্যবস্থা রয়েছে: আপনি আপনার ডেটার নমুনাকে এমনভাবে ফিট করেন যে আপনি গোলমাল, বহিরাগত এবং সমস্ত কিছু ফিট করছেন অন্যান্য বৈকল্পিকতা।

একটি প্রশিক্ষণ এবং পরীক্ষার সেটে ডেটা বিভক্ত করা আপনাকে এটি করা থেকে বিরত রাখে। তবে একটি স্থিতিশীল বিভাজন আপনার ডেটা দক্ষতার সাথে ব্যবহার করছে না এবং আপনার বিভাজন নিজেই একটি সমস্যা হতে পারে। আপনার যথাসম্ভব দক্ষতার সাথে ডেটা ব্যবহার করার সময় ক্রস-বৈধতা প্রশিক্ষণ-পরীক্ষার বিভাজনের একদম সঠিক-ফিট-টু-প্রশিক্ষণ-ডেটা সুবিধা রাখে না (যেমন আপনার সমস্ত ডেটা ব্যবহৃত হয় প্রশিক্ষণ এবং পরীক্ষার ডেটা হিসাবে, কেবল একই রান নয়)।

আপনার যদি নমনীয় ফিটিং মেকানিজম থাকে, আপনার আপনার মডেল নির্বাচনকে সীমাবদ্ধ করতে হবে যাতে এটি "নিখুঁত" পক্ষে পছন্দ করে না তবে জটিল কোনওভাবে ফিট করে। আপনি এটি এআইসি, বিআইসির সাথে বা অন্য কোনও দণ্ডিত পদ্ধতির সাহায্যে করতে পারেন যা সরাসরি ফিটের জটিলতায় শাস্তি দেয়, বা আপনি এটি সিভি দিয়ে করতে পারেন। (অথবা আপনি এটি এমন কোনও ফিটনেস পদ্ধতি ব্যবহার করে করতে পারেন যা খুব নমনীয় নয়, এটি লিনিয়ার মডেলগুলির দুর্দান্ত কারণ)

এটি দেখার আরও একটি উপায় হ'ল শেখা জেনারালাইজিং সম্পর্কে এবং একটি ফিট যা খুব টানটান কিছুটা অর্থে সাধারণীকরণ না করে not আপনি কী শিখেছেন এবং কী বিষয়ে আপনি পরীক্ষিত হয়েছেন তা পরিবর্তনের মাধ্যমে আপনি কেবলমাত্র একটি নির্দিষ্ট সেটগুলির উত্তরগুলি শিখে নিলে আরও ভাল করেন।


3

বায়েশীয় দৃষ্টিকোণ থেকে, আমি এতটা নিশ্চিত নই যে ক্রস বৈধকরণ এমন কিছু করে যা একটি "যথাযথ" বায়েশিয়ান বিশ্লেষণ মডেলগুলির সাথে তুলনা করার জন্য না করে। তবে আমি এটির 100% নিশ্চিত নই does

MAMBDI

P(MA|D,I)P(MB|D,I)=P(MA|I)P(MB|I)×P(D|MA,I)P(D|MB,I)

P(D|MA,I)

P(D|MA,I)=P(D,θA|MA,I)dθA=P(θA|MA,I)P(D|MA,θA,I)dθA

যাকে বলা হয় পূর্বাভাসমূলক বিতরণ । এটি মূলত বলেছে যে মডেল প্রকৃতপক্ষে পরিদর্শন করা তথ্যগুলি কতটা ভালভাবে পূর্বাভাস করেছিল, ক্রস বৈধতা যা ঠিক তা-ই করে, "প্রশিক্ষণ" মডেল লাগানো "পূর্বে" প্রতিস্থাপন করা এবং "টেস্টিং" দ্বারা "ডেটা" প্রতিস্থাপন করা হয়েছিল ডেটা। সুতরাং মডেল বি যদি মডেল এ এর ​​চেয়ে ভাল ডেটা পূর্বাভাস দেয় তবে এর উত্তরোত্তর সম্ভাবনা মডেল এ এর ​​তুলনায় বৃদ্ধি পায় এটি থেকে মনে হয় যে বাইস প্রপঞ্চটি আসলে একটি উপসেটের পরিবর্তে সমস্ত ডেটা ব্যবহার করে ক্রস বৈধকরণ করবে। যাইহোক, আমি এটি সম্পর্কে পুরোপুরি নিশ্চিত নই - মনে হচ্ছে আমরা কিছুই করার জন্য কিছু পেয়েছি।

এই পদ্ধতির আর একটি ঝরঝরে বৈশিষ্ট্য হ'ল এটির একটি বিল্ট "ইনকামের রেজার" রয়েছে যা প্রতিটি মডেলের পূর্ববর্তী বিতরণের স্বাভাবিককরণের ধ্রুবকের অনুপাত দ্বারা দেওয়া হয়।

তবে ক্রস বৈধতা ভয়ঙ্কর পুরানো "অন্য কিছু" বা যা কখনও কখনও "মডেল ভুল ধারণা" বলা হয় এর জন্য মূল্যবান বলে মনে হয়। আমি এই "অন্য কিছু" গুরুত্বপূর্ণ কিনা তা নিয়ে আমি ক্রমাগত ছিঁড়ে যাচ্ছি, কারণ এটির মতো হওয়া উচিত বলে মনে হয় - তবে এটি আপাতদৃষ্টিতে গুরুত্বপূর্ণ হলেও এটি আপনাকে কোনও সমাধান না করে পঙ্গু করে দেয়। আপনাকে মাথা ব্যথার জন্য কেবল কিছু, তবে আপনি এটি সম্পর্কে কিছুই করতে পারবেন না - কেবলমাত্র সেই "অন্য কিছু" কী হতে পারে তা ভেবে এবং এটি আপনার মডেলটিতে চেষ্টা করে দেখুন (যাতে এটি আর "অন্য কিছু" এর অংশ না হয়) ।

এবং আরও, ক্রস বৈধকরণ আসলে একটি বায়সিয়ান বিশ্লেষণ করার একটি উপায় যখন উপরের সংহতগুলি হাস্যকরভাবে শক্ত হয়। এবং ক্রস বৈধকরণ যে কারও সম্পর্কে "জ্ঞান অর্জন করে" - এটি "গাণিতিক" না হয়ে "যান্ত্রিক"। কাজেই কী চলছে তা বোঝা সহজ। এবং মডেলগুলির গুরুত্বপূর্ণ অংশের দিকে মনোযোগ দেওয়ার জন্য এটিও আপনার মাথা পেতে পারে বলে মনে হয় - ভাল ভবিষ্যদ্বাণী করা।


2
মডেল ভুল অপসারণ ইস্যু মূল। বায়েশিয়ান পদ্ধতিগুলি (বিশেষত "বেচার-ম্যানস" বেইস প্রমান সর্বাধিকীকরণ) মডেল অপব্যবহারের অধীনে খুব খারাপভাবে পারফর্ম করতে পারে, অন্যদিকে ক্রস-বৈধতা প্রায় সব সময় বেশ কার্যকরভাবে কাজ করে বলে মনে হয়। অনুমানগুলি (প্রিয়ারস) "ডান" যখন হয় তখন লাভটি সাধারণত "দোষী" হওয়ার পরে শাস্তির তুলনায় অনেক কম হয়, সুতরাং ক্রস-বৈধতা গড়ে গড়ে জয়যুক্ত (কারণ এটি প্রায় কোনও অনুমান করে না)। এটি যদিও প্রায় বুদ্ধিগতভাবে সন্তুষ্ট নয়! ; ও)
ডিকরান মার্সুপিয়াল

1
@ ডিক্রান - আকর্ষণীয় আমি এতটা নিশ্চিত নই যে আপনি যা বলছেন তাতে আমি একমত। সুতরাং আপনি বলছেন যে যদি মডেলটি ভুল করে দেওয়া হয়, তবে একই মডেলের সাথে ক্রস বৈধতা বায়েসের উপপাদকটি ব্যবহার করার চেয়ে ভাল? আমি এর একটি উদাহরণ দেখতে চাই।
সম্ভাব্যতা ব্লগ

@ প্রোব্যাবিলিটিস্লোগিক আমার মনে হয় না এটি একটি বিশেষভাবে নতুন পর্যবেক্ষণ, রাসমুসেন এবং উইলিয়ামস তাদের দুর্দান্ত গাউসিয়ান প্রসেস বইয়ের ১১৮ পৃষ্ঠায় এটি উল্লেখ করেছেন (যদিও এটি মূলত স্প্লাইসের উপর গ্রেস ওয়াহ্বার মনোগ্রাফের অনুরূপ মন্তব্যের একটি উল্লেখ)। মূলত প্রান্তিক সম্ভাবনা হ'ল মডেলের অনুমানগুলি দেওয়া তথ্যের সম্ভাবনা, যেখানে এক্সভিএল সম্ভাবনাটি মডেলের অনুমানগুলি নির্বিশেষে ডেটার সম্ভাব্যতার একটি অনুমান, সুতরাং অনুমানগুলি বৈধ না হলে আরও নির্ভরযোগ্য। একটি সঠিক অভিজ্ঞতামূলক অধ্যয়ন দরকারী হবে।
ডিকরান মার্শুপিয়াল

@ প্রব্যাবিলিসিলোগিক আমার যুক্ত করা উচিত যে আমি মডেল নির্বাচনের ক্ষেত্রে বায়েশিয়ান পদ্ধতির পছন্দ করি, তবে আমি প্রায় সবসময় অনুশীলনে ক্রস-বৈধতা ব্যবহার করি কারণ এটি সাধারণত ফলাফল দেয় যা (পরিসংখ্যানগতভাবে) বায়েসিয়ার পদ্ধতির চেয়ে ভাল বা ভাল ফলাফল দেয়।
ডিকরান মার্শুপিয়াল

ক্রস বৈধকরণ কেবলমাত্র ভবিষ্যদ্বাণীমূলক পারফরম্যান্সের ভিত্তিতে মডেলগুলি নির্বাচন করে; প্রান্তিক সম্ভাবনাগুলি না - তারা প্রতিটি মাত্রার জন্য "অ্যাকাউন্ট" করে। খুব উচ্চ মাত্রিক সেটিংসে এটি গুরুত্বপূর্ণ - কখনও কখনও প্রচুর। বলুন যে আপনি একটি বড় প্রেডেক্টর ভেক্টর পেয়েছেনএক্সআমি এবং একটি 1 মাত্রিক প্রতিক্রিয়া Yআমি। আপনার জন্য একটি মডেল দরকারএক্সআমিসম্পূর্ণ বায়েশিয়ান উপায়ে মাত্রা হ্রাস করতে। সুতরাং আপনি হিসাবে একটি যৌথ মডেল নির্দিষ্ট করুনপি(Yআমি|এক্সআমি,θY)পি(এক্সআমি|θএক্স)। সম্ভাব্যতার ক্ষেত্রে দ্বিতীয় পদটির অনেক বড় অবদান রয়েছে, সুতরাং কোনও মডেল যদি সেখানে ভাল করে এবং ভবিষ্যদ্বাণীতে এটি কামড় দেয় তবে প্রান্তিক সম্ভাবনা যত্ন নেবে না।
জেএমএস
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.