ক্রস বৈধকরণ বৈধতা সেট জন্য একটি উপযুক্ত বিকল্প?


27

পাঠ্য শ্রেণিবিন্যাসে, আমার প্রায় 800 টি নমুনা সহ একটি প্রশিক্ষণ সেট রয়েছে এবং প্রায় 150 টি নমুনা সহ একটি পরীক্ষা সেট রয়েছে। পরীক্ষার সেটটি কখনও ব্যবহার করা হয়নি, এবং শেষ অবধি ব্যবহারের জন্য অপেক্ষা করছে।

ক্লাসিফায়ারগুলি এবং বৈশিষ্ট্যগুলি সুর করার সময় এবং টুইট করার সময় আমি 10 টি ভাঁজ ক্রস বৈধতা সহ পুরো 800 নমুনা প্রশিক্ষণ সেটটি ব্যবহার করছি। এর অর্থ আমার কাছে আলাদা বৈধতা সেট নেই, তবে 10 টি ভাগে প্রতিটি রান আউট হয়ে একটি বৈধতা সেট স্বয়ংক্রিয়ভাবে নির্বাচিত হয়।

আমি সমস্ত কিছুর সাথে সন্তুষ্ট হয়ে ও মূল্যায়নের চূড়ান্ত পর্যায়ে প্রবেশ করতে চাইার পরে, আমি আমার ক্লাসিফায়ারগুলিকে পুরো 800 টি নমুনায় প্রশিক্ষণ দেব। এবং 150 নমুনা পরীক্ষা সেট পরীক্ষা।

আমার পাঠ্য শ্রেণীবিন্যাসে ক্রস বৈধকরণের ব্যবহারটি কী সঠিক? এই অনুশীলন কি বৈধ?

আর একটি প্রশ্ন আর্ট ক্রস বৈধকরণ:

দশগুণের পরিবর্তে, আমি পারফরম্যান্সের জন্য একটি সাধারণ সূচক হিসাবে ছাড়ার চেষ্টা করেছি। যেহেতু এক ছাড়ার জন্য, f1 / যথার্থতা / প্রত্যাহার সম্পর্কে তথ্য থাকা সম্ভব নয়, আমি অবাক হয়েছি যে ছুটি-ওয়ান-আউট থেকে সঠিকতা এবং 10গুণ থেকে মেট্রিকের মধ্যে সম্পর্ক কী?

যে কোনও অন্তর্দৃষ্টি প্রশংসিত হবে।


সম্পাদনা:

ক্রস-বৈধকরণের জন্য এটি বেশ দুর্দান্ত ভূমিকা। এটি অন্যান্য গবেষণা পত্রগুলিও বোঝায়।


3
লেভ-ওয়ান-আউট অনুমানকারী পক্ষপাতহীন, যখন 10 গুণ ক্রস-বৈধতা আপনাকে পক্ষপাতদুষ্ট (কম ত্রুটির দিকে) দেবে। যাইহোক, নিরপেক্ষতা একটি উচ্চ বৈকল্পিকতার দামে আসে।
blubb

@ সিমন, আমি মনে করি এটি সমস্যার জটিলতার উপর নির্ভর করে। তাই না?
বায়োস্ট্যাট

@ ব্লুব: কিছু পরিস্থিতিতে এলইউ-র একটি বিশাল হতাশাবাদী পক্ষপাত থাকতে পারে। এলইউর বৈকল্পিকতা এবং 10-গুণ সিভিগুলির একক রান সাধারণত খুব মিল similar আশাবাদী পক্ষপাত (খুব কম ত্রুটির প্রাক্কলন) এখানে পুনরায় মডেলিংয়ের পছন্দ থেকে আসে না, তবে এই তথ্য থেকে যে থ্রোকস বৈধতা ইতিমধ্যে ডেটা চালিত অপ্টিমাইজেশনের জন্য ব্যবহৃত হয়। এর পরে, অন্য একটি স্বতন্ত্র বৈধতা প্রয়োজন। এটি ক্রস বৈধকরণের একটি "বাহ্যিক" লুপও হতে পারে (আশাবাদী পক্ষপাত ছাড়াই!)
সিবিলেটগুলি মনিকা 24

উত্তর:


15

ক্রসওয়েডেশন দিয়ে কাজ করার উপায়টি আপনি সঠিকভাবে বর্ণনা করেছেন। আসলে, আপনি শেষে যুক্তিসঙ্গত বৈধতা সেট করার জন্য 'ভাগ্যবান', কারণ প্রায়শই, মডেলটি অনুকূল করার জন্য ক্রসওয়েডেশন ব্যবহার করা হয়, তবে কোনও "আসল" বৈধতা হয় না।

@ সিমন স্টেলিং তার মন্তব্যে যেমন বলেছিলেন যে ক্রসঅ্যাডিয়াল্টিফিকেশন হ'ল আনুমানিক ত্রুটি ঘটবে (যা বোঝায় যে আপনি ক্রমাগত ডেটা পুনরায় ব্যবহার করছেন) তবে ভাগ্যক্রমে সমস্ত মডেলের ক্ষেত্রেই তাই বিপর্যয়কে বাদ দেওয়া (অর্থাত্: ত্রুটিগুলি কেবল হ্রাস হয়) একটি "খারাপ" মডেলের জন্য কিছুটা, এবং "ভাল" মডেলের জন্য আরও কিছু), ক্রসওলাইটেড মানদণ্ডে সেরা অভিনয় করে এমন মডেল নির্বাচন করা সাধারণত "বাস্তবের জন্য" সেরাও হয়ে উঠবে।

কখনও কখনও নিম্ন ত্রুটিগুলির জন্য কিছুটা সংশোধন করার জন্য ব্যবহৃত একটি পদ্ধতি হ'ল বিশেষত যদি আপনি পার্সিমোনাস মডেলগুলির সন্ধান করছেন, তবে সেই ক্ষুদ্রতম মডেল / সর্বাধিক সহজ পদ্ধতিটি বেছে নেওয়া হয় যার জন্য ক্রসওলাইটেড ত্রুটিটি কোনও এসডির মধ্যে (ক্রসওলাইটেড) সর্বোত্তম থেকে নেওয়া হয়। ক্রসওয়েডিয়েশন নিজেই হিসাবে, এটি একটি হিউরিস্টিক, সুতরাং এটি কিছু যত্ন সহ ব্যবহার করা উচিত (যদি এটি বিকল্প হয়: আপনার সুরের প্যারামিটারগুলির বিরুদ্ধে আপনার ত্রুটির একটি চক্রান্ত করুন: এটি আপনাকে গ্রহণযোগ্য ফলাফল রয়েছে কিনা তা আপনাকে কিছু ধারণা দেবে)

ত্রুটিগুলির নিম্নমুখী পক্ষপাতদর্শন দেওয়া, ক্রসওয়েডেশন থেকে ত্রুটিগুলি বা অন্য কার্য সম্পাদনের পরিমাপ প্রকাশ করা গুরুত্বপূর্ণ নয় যে এগুলি ক্রসওয়েডেশন থেকে আসে (যদিও সত্য বলা যায়: আমি অনেকগুলি প্রকাশনা দেখেছি যা উল্লেখ করে না যে মূল ডেটাসেটে পারফরম্যান্স যাচাই করা থেকে কর্মক্ষমতা পরিমাপ করা হয়েছিল --- সুতরাং ক্রসওয়েডিয়েশন উল্লেখ করা আসলে আপনার ফলাফলকে আরও মূল্যবান করে তোলে )। আপনার জন্য, এটি কোনও সমস্যা হবে না, যেহেতু আপনার বৈধতা সেট রয়েছে।

একটি চূড়ান্ত সতর্কতা: যদি আপনার মডেল ফিটিংয়ের ফলে কিছু ঘনিষ্ঠ প্রতিযোগীদের ফলাফল আসে তবে পরে আপনার বৈধতা সেটটির উপর তাদের পারফরম্যান্সগুলি দেখার পক্ষে ভাল ধারণা, তবে এটির উপর আপনার চূড়ান্ত মডেল নির্বাচনকে ভিত্তি রাখবেন না : আপনি এটিকে সর্বোত্তমভাবে প্রশান্ত করতে আপনার ব্যবহার করতে পারেন বিবেক, তবে আপনার "চূড়ান্ত" মডেলটি অবশ্যই যাচাইকরণ সেটটিতে দেখার আগে অবশ্যই নেওয়া উচিত।

আপনার দ্বিতীয় প্রশ্নটি লিখেছেন: আমি বিশ্বাস করি সাইমন আপনার মন্তব্যে আপনার প্রয়োজনীয় সমস্ত উত্তর দিয়েছেন, তবে ছবিটি সম্পূর্ণ করার জন্য: প্রায়শই, এটি পক্ষপাত-বৈচিত্র্য বাণিজ্য বন্ধ হয়ে যায় যা কার্যকর হয়। যদি আপনি জানেন যে, গড়ে, আপনি সঠিক ফলাফলটিতে পৌঁছে যাবেন (পক্ষপাতহীনতা), দাম সাধারণত আপনার প্রতিটি পৃথক গণনা এটি থেকে অনেক দূরে থাকতে পারে (উচ্চ বৈকল্পিক)। পুরানো দিনগুলিতে, নিরপেক্ষতা হ'ল NEC প্লাস আলট্রা, বর্তমান সময়ে, কেউ একবারে (ছোট) পক্ষপাতিত্ব গ্রহণ করেছে (সুতরাং আপনি জানেন না যে আপনার গণনার গড়ের সঠিক ফলাফল হবে), যদি এটি হয় নিম্ন বৈকল্পিক ফলাফল। অভিজ্ঞতা দেখিয়েছে যে ভারসাম্যটি 10-ভাঁড়ের ক্রসওয়েডেশন সহ গ্রহণযোগ্য। আপনার জন্য, পক্ষপাত কেবলমাত্র আপনার মডেল অপ্টিমাইজেশনের জন্য সমস্যা হবে, যেহেতু আপনি বৈধতা সেটটিতে মানদণ্ডটি পরে (নির্বিচারে) নির্ধারণ করতে পারেন can যেমন, ক্রসওয়েডিয়েশন ব্যবহার না করার সামান্য কারণ রয়েছে।


"তবে আপনার" চূড়ান্ত "মডেলটি অবশ্যই আপনার যাচাইকরণ সেটটি দেখার আগে অবশ্যই নেওয়া উচিত।" খুশী হলাম।
মুনক্র্রেটার
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.