ক্রস-বৈধতার পরে পূর্ণ ডেটাসেট দিয়ে প্রশিক্ষণ দিচ্ছেন?

Question

ক্রস-বৈধতার পরে পূর্ণ ডেটাসেট দিয়ে প্রশিক্ষণ দেওয়া কি সর্বদা ভাল ধারণা ? এটি অন্য উপায়ে রাখুন, আমার ডেটাসেটের সমস্ত নমুনা দিয়ে প্রশিক্ষণ দেওয়া এবং এই নির্দিষ্ট ফিটিংয়ের ওভারফিটগুলি কিনা তা পরীক্ষা করতে সক্ষম হচ্ছেন না ?

---

সমস্যার কিছু পটভূমি:

বলুন আমার কাছে একটি পরিবার রয়েছে দ্বারা প্যারামিটারাইজড মডেল । এও বলুন যে আমার কাছে ডাটা পয়েন্টের একটি সেট রয়েছে এবং আমি ডেটা সর্বাধিক সাধারণীকরণ করে এমন মডেলটি বেছে নিতে কে-ফোল্ড ক্রস-বৈধকরণের সাথে মডেল নির্বাচন করি।$\vec\alpha$$N$

মডেল নির্বাচনের জন্য, আমি search দ্বারা একটি অনুসন্ধান (যেমন একটি গ্রিড অনুসন্ধান) করতে পারি , উদাহরণস্বরূপ, প্রতিটি প্রার্থীর জন্য কে-ফোল্ড ক্রস-বৈধতা চালানো। ক্রস-বৈধকরণের প্রতিটি ভাঁজগুলিতে আমি শিখেছি মডেল দিয়ে শেষ করি ।$\vec\alpha$ $\beta_\alpha$

ক্রস-বৈধকরণের বিষয়টি হ'ল এই প্রতিটি ফোল্ডের জন্য আমি "অদৃশ্য ডেটা" এ পরীক্ষার মাধ্যমে শিখেছি মডেলটির ওভারফিট ছিল কিনা তা পরীক্ষা করতে পারি। ফলাফলের উপর নির্ভর করে, আমি গ্রিড অনুসন্ধানে ক্রস বৈধকরণের সময় সেরা হওয়া পরামিতিগুলির the পরামিতিগুলির জন্য the মডেলটি বেছে নিতে পারি ।$\beta_\text{best}$$\vec\alpha_\text{best}$

এখন, বলে যে মডেল নির্বাচন পরে , আমি ব্যবহার করতে চান সেটি সব আমার ডেটাসেটে পয়েন্ট এবং আশা একটি উন্নততর মডেল শিখতে। আমি এই জন্যই পরামিতি ব্যবহার করতে পারে মডেল যে আমি মডেল নির্বাচন করার সময়, এবং তারপর পূর্ণ ডেটা সেটটি উপর প্রশিক্ষণ পর, আমি একটি একটি পেতে হবে সংশ্লিষ্ট নতুন শিখেছি মডেল । সমস্যাটি হ'ল, যদি আমি প্রশিক্ষণের জন্য আমার ডেটাসেটের সমস্ত পয়েন্ট ব্যবহার করি, তবে আমি এই নতুন শেখা মডেলটি কোনও অপ্রদর্শিত ডেটাতে পরীক্ষা করতে পারছি না । এই সমস্যাটি সম্পর্কে চিন্তা করার সঠিক উপায় কী?$N$$\vec\alpha_{best}$$\beta_{full}$ $\beta_{full}$

Comments

প্রায় একটি যথাযথ সদৃশ: stats.stackexchange.com/questions/52274 প্রচুর যোগ্য উত্তরের সাথে। সম্ভবত এই থ্রেডগুলি মার্জ করা উচিত তবে আমি কোন দিকে নিশ্চিত নই। উভয়ই উত্তরগুলি গ্রহণ করেছে যা খুব ভাল।

— অ্যামিবা

Answer 1

ক্রস-বৈধকরণের চিন্তাভাবনার উপায় হ'ল মডেলটির পারফরম্যান্স অনুমান করার পরিবর্তে কোনও মডেল তৈরির জন্য কোনও পদ্ধতি ব্যবহার করে প্রাপ্ত পারফরম্যান্সের অনুমান করা।

যদি আপনি কোনও মডেলের হাইপারপ্যারামিটারগুলি নির্ধারণের জন্য ক্রস-বৈধতা ব্যবহার করেন ( গুলি) এবং তারপরে সেই হাইপার-প্যারামিটারগুলি পুরো ডেটাসেটের সাথে কোনও মডেল ফিট করার জন্য ব্যবহার করেন, তবে তা ঠিক আছে, তবে আপনি যদি ক্রস-বৈধকরণের অনুমানটি স্বীকার করেন পারফরম্যান্সটি আশাবাদী পক্ষপাতদুষ্ট হতে পারে (সম্ভবত যথেষ্ট পরিমাণে)। এটি কারণ, মডেলটির একটি অংশ (হাইপার-প্যারামিটারগুলি) ক্রস-বৈধকরণ কর্মক্ষমতা হ্রাস করার জন্য নির্বাচন করা হয়েছে, সুতরাং যদি ক্রস-বৈধকরণের পরিসংখ্যানটির শূন্য-বহির্ভুত বৈকল্পিকতা থাকে (এবং এটি হবে) ওভার-ফিটিংয়ের সম্ভাবনা রয়েছে মডেল নির্বাচনের মানদণ্ড।$\alpha$

আপনি যদি হাইপার-প্যারামিটারগুলি চয়ন করতে চান এবং ফলাফলের মডেলটির পারফরম্যান্সটি অনুমান করতে চান তবে আপনাকে একটি নেস্টেড ক্রস-বৈধকরণ করতে হবে, যেখানে বাইরের ক্রস-বৈধকরণটি মডেলটির কার্যকারিতা মূল্যায়নের জন্য ব্যবহৃত হয় এবং প্রতিটি ভাগে ক্রস- বৈধতা প্রতিটি ভাগে পৃথকভাবে হাইপার-পরামিতি নির্ধারণ করতে ব্যবহৃত হয়। হাইপার-প্যারামিটারগুলি চয়ন করতে আপনি পুরো সেটটিতে ক্রস-বৈধকরণ ব্যবহার করে চূড়ান্ত মডেলটি তৈরি করেন এবং তারপরে অনুকূলিত হাইপার-পরামিতিগুলি ব্যবহার করে পুরো ডেটাসেটে শ্রেণিবদ্ধকারী তৈরি করুন।

এটি অবশ্যই গণনামূলকভাবে ব্যয়বহুল, তবে এটি যথাযথ হিসাবে অনুপযুক্ত পারফরম্যান্স অনুমানের দ্বারা প্রবর্তিত পক্ষপাতটি বড় হতে পারে worth আমার কাগজ দেখুন

জিসি কাওলি এবং এনএলসি টালবট, মডেল নির্বাচনের ক্ষেত্রে ওভার-ফিটিং এবং পারফরম্যান্স মূল্যায়নে পরবর্তী নির্বাচনের পক্ষপাতিত্ব, মেশিন লার্নিং রিসার্চ জার্নাল, ২০১০। গবেষণা, খন্ড 11, পৃষ্ঠা 2079-2107, জুলাই 2010. ( www , পিডিএফ )

যাইহোক, এখনও মডেল নির্বাচনের ওভার-ফিটিং থাকা সম্ভব (নেস্টেড ক্রস-বৈধকরণ আপনাকে এটির জন্য পরীক্ষা করার অনুমতি দেয়)। যে পদ্ধতিটি আমি দরকারী পেয়েছি তা হ'ল ক্রস-বৈধতা ত্রুটিতে নিয়মিতকরণ শব্দ যুক্ত করা যা অতি-জটিল মডেলগুলির ফলস্বরূপ হাইপার-প্যারামিটার মানগুলিকে শাস্তি দেয়, দেখুন

জিসি কাওলি এবং এনএলসি টালবোট, হাইপার-প্যারামিটারগুলিকে নিয়মিতকরণের মাধ্যমে বায়সিয়ান নিয়মিতকরণের মাধ্যমে মডেল নির্বাচনের ওভার-ফিটিং প্রতিরোধ করা, মেশিন লার্নিং রিসার্চ জার্নাল, খণ্ড 8, পৃষ্ঠা 841-861, এপ্রিল 2007. ( www , পিডিএফ )

সুতরাং আপনার প্রশ্নের উত্তরগুলি হ'ল (i) হ্যাঁ, আপনার চূড়ান্ত মডেল তৈরি করার জন্য আপনার সম্পূর্ণ ডেটাসেট ব্যবহার করা উচিত কারণ আপনি যত বেশি তথ্য ব্যবহার করেন যত ভাল ব্যবহার করা সম্ভব হয় তবে (ii) নিশ্চিত করুন যে আপনি নিরপেক্ষ পারফরম্যান্সের অনুমানের মাধ্যমে পেয়েছেন make নেস্টেড ক্রস-বৈধকরণ এবং মডেল নির্বাচনের অতিরিক্ত-ফিটনেস এড়াতে ক্রস-বৈধকরণের পরিসংখ্যানগুলিকে সম্ভাব্য শাস্তি দেওয়ার বিষয়ে বিবেচনা করুন।

Comments

+1: প্রশ্নের উত্তর দেয়: "আপনি যদি কোনও মডেলের হাইপারপ্যারামিটারগুলি নির্ধারণের জন্য ক্রস-বৈধতা ব্যবহার করেন (α গুলি) এবং তারপরে সেই হাইপার-প্যারামিটারগুলি পুরো ডেটাসেটের সাথে মডেল ফিট করার জন্য ব্যবহার করেন, তবে তা ঠিক আছে ..."

— নীল জি

@ সাফানম, না, মডেল সম্পর্কিত পছন্দগুলি করার জন্য "প্রাথমিক পরীক্ষা-নিরীক্ষা" ব্যবহারের ফলে অত্যধিক মানানসই হওয়ার সম্ভাবনা রয়েছে এবং প্রায় অবশ্যই পারফরম্যান্স বিশ্লেষণে একটি আশাবাদী পক্ষপাতিত্ব প্রবর্তন করা হবে। পারফরম্যান্স বিশ্লেষণের জন্য ব্যবহৃত ক্রস-বৈধকরণ প্রতিটি ফোল্ডে স্বাধীনভাবে মডেল ফিট করার জন্য ব্যবহৃত প্রতিটি পদক্ষেপের পুনরাবৃত্তি করতে হবে। আমার কাগজের পরীক্ষাগুলি থেকে দেখা যায় যে কার্নেল মডেলগুলি এই ধরণের পক্ষপাতিত্বের জন্য খুব সংবেদনশীল হতে পারে, তাই সমস্ত সম্ভাব্য কঠোরতার সাথে মডেল নির্বাচন এবং পারফরম্যান্স মূল্যায়ন সম্পাদন করা অত্যাবশ্যক।

— ডিকরান মার্সুপিয়াল

কার্নেল পদ্ধতিগুলির জন্য, যেমন এসভিএম, প্রায়শই কোনও গণনামূলক ব্যয়ে ছুটি-ওয়ান-আউট ক্রস-বৈধকরণ সম্পাদন করা সম্ভব (আমার উত্তরে তালিকাভুক্ত কাগজপত্রগুলি দেখুন)। পারফরম্যান্স মূল্যায়নের জন্য কে-ফোল্ড ক্রস-বৈধকরণে বাসা বেঁধে হাইপার-প্যারামিটারগুলি সুর করার জন্য আমি এই "ভার্চুয়াল" লেভ-ওয়ান-আউট ক্রস-বৈধকরণটি ব্যবহার করি। ব্যয়টি তখন বেশ যুক্তিসঙ্গত। আমার মতে হাইপার-প্যারামিটারগুলির সুরের দ্বারা পারফরম্যান্স মূল্যায়ন যে কোনওভাবে পক্ষপাতদুষ্ট এমন কোনও পদ্ধতি ব্যবহার করা গ্রহণযোগ্য নয়। এটি একটি নির্ভরযোগ্য প্রাক্কলন হিসাবে গণ্য ব্যয় মূল্য।

— ডিকরান মার্সুপিয়াল

@DikranMarsupial। আমি আপনার উত্তরে তৃতীয় অনুচ্ছেদটি পুরোপুরি পাই না। যদি আমি নেস্টেড ক্রস-বৈধকরণ করি, তবে আমি বাইরের সিভির প্রতিটি ভাঁজের জন্য হাইপারপ্যারামিটারগুলির একটি আলাদা সেট পেয়ে যাব (অর্থাত্ প্যারামিটারের গ্রিডে অভ্যন্তরীণ সিভি চালানো থেকে আমি হাইপারপ্যারামিটারগুলির একটি সেট পাই )। তারপরে আমি হাইপারপ্যারামিটারগুলির সেরা সেটটি কীভাবে বেছে নেব?

— আমেলিও ওয়াজকেজ-রেইনা

ক্রস-বৈধকরণ মূলত কোনও পদ্ধতিটি না করে মডেল ফিট করার কোনও পদ্ধতির পারফরম্যান্স অনুমানের একটি মাধ্যম । পারফরম্যান্সের অনুমানের জন্য নেস্টেড ক্রস-বৈধকরণ সম্পাদন করার পরে, আপনার ক্রস-ভ্যালিডেড পদ্ধতিটি (যা হাইপার-প্যারামিটারগুলির নির্বাচন অন্তর্ভুক্ত করে) ব্যবহার করে কেবল সম্পূর্ণ ডেটাসেট ব্যবহার করে চূড়ান্ত মডেলটি পুনরায় তৈরি করুন।

— ডিকরান মার্শুপিয়াল

Answer 2

কেবলমাত্র @ চিহ্ন৯৯৯-এর উত্তরে যুক্ত করার caretজন্য, বুটস্ট্র্যাপ ক্রস বৈধতা বা এন-ফোল্ড সিভি এবং কিছু অন্যান্য স্কিমের উপর ভিত্তি করে মডেল নির্বাচনের জন্য ম্যাক্স কুহনের প্যাকেজ ( শ্রেণিবদ্ধতা এবং রিগ্রেশন প্রশিক্ষণ) সবচেয়ে বিস্তৃত উত্স।

rmsপ্যাকেজের মাহাত্ম্যকে উপেক্ষা করার জন্য নয় , তবে caretআপনাকে আর-তে উপলব্ধ প্রতিটি শিক্ষার পদ্ধতিতে বেশ ফিট করতে দেয়, যেখানে validateকেবল rmsপদ্ধতিগুলির সাথে কাজ করে (আমার ধারণা)।

caretপ্যাকেজ প্রক্রিয়া তথ্য, উপযুক্ত প্রাক এবং কোন জনপ্রিয় মডেল নির্ণয় করা একটি একক পরিকাঠামো হয়, অত: পর তা সব পদ্ধতি ব্যবহার করার জন্য সহজ এবং অনেক কর্মক্ষমতা ব্যবস্থা গ্রাফিকাল অ্যাসেসমেন্ট (এমন কিছু বিষয় যা পরবর্তী overfit সমস্যার মডেল নির্বাচন যথেষ্ট প্রভাবিত পারে যেমন উপলব্ধ ভাল) আপনার গ্রিড এবং পরিবর্তনশীল গুরুত্ব উপর।

শুরু করার জন্য প্যাকেজ ভিগনেটগুলি দেখুন (এটি ব্যবহার করা খুব সহজ)
ডেটা কেরেটের পরিবর্তনশীল গুরুত্ব সহ মডেল বিল্ডিংয়ের সাথে
ভেরিয়েবল নির্বাচন প্রক্রিয়াকরণ

আপনি প্যাকেজ সম্পর্কিত আরও তথ্যের জন্য ক্যারেট ওয়েবসাইট এবং নির্দিষ্ট প্রয়োগের উদাহরণগুলি দেখতে পাবেন:
অফিকাল ক্যারেট ওয়েবসাইট

Comments

ধন্যবাদ। আপনি কি জানেন যে, মডেল নির্বাচনের পরে (যা কল trainকরেই করা হয় ), পুরো ডেটাসেট দিয়ে প্রশিক্ষণের কোনও উপায় আছে কিনা?

— আমেলিও ওয়াজকেজ-রেইনা

নিশ্চিত না যে এটি একটি ভাল ধারণা বা কেন আপনি এটি করতে চান তবে আপনি কেবলমাত্র চূড়ান্ত মডেলটিকে ট্রেনের মাধ্যমে পূর্ণ ডেটা সেটে ফিট করতে পারেন।

— মোমো

Answer 3

আমি বিশ্বাস করি যে ফ্রাঙ্ক হ্যারেল ক্রস বৈধতার চেয়ে বুটস্ট্র্যাপ বৈধকরণের পরামর্শ দেবে। বুটস্ট্র্যাপ বৈধতা আপনাকে পুরো ডেটা সেটটিতে লাগানো মডেলটিকে বৈধতা দেবে এবং ক্রস বৈধতার চেয়ে স্থিতিশীল। আপনি validateহ্যারেলের rmsপ্যাকেজ ব্যবহার করে আর এ এটি করতে পারেন ।

আরও তথ্যের জন্য হ্যারেল রচিত "রিগ্রেশন মডেলিং স্ট্র্যাটেজিজ" বই এবং / অথবা ইফ্রন এবং তিবশিরানির "একটি পরিচিতির বুটস্ট্র্যাপ" দেখুন।

Comments

"খারাপ সিভি" সম্পর্কে পরবর্তী কল্পকথায় বাদ দিতে, এটি একটি পরিভাষা সমস্যা - হ্যারেলের "ক্রস বৈধকরণ" এর অর্থ এন-ফোল্ড সিভি, এবং "বুটস্ট্র্যাপ বৈধকরণ" এর অর্থ সিভি পুনরায় মডেল করা। স্পষ্টতই আমি একমত যে এই দ্বিতীয় স্বাদটি আরও স্থিতিশীল এবং সামগ্রিক সুন্দর, তবে এটি ক্রস বৈধতারও এক প্রকার।

চিহ্ন 999 বা @ এমবিকিউ, আপনি কীভাবে বুটস্ট্র্যাপের মাধ্যমে পুরো ডেটাসেটে লাগানো কোনও মডেলকে বৈধতা দেওয়ার অনুমতি দেবেন তা বিশদ দিয়ে মনে করবেন?

— আমেলিও ওয়াজকেজ-রেইনা

@ ব্যবহারকারী 27915816 ভাল, নীতিগতভাবে যাইহোক; ক্রস-বৈধতার পিছনে ধারণাটি হ'ল আপনি পরীক্ষা করেছেন যে প্রদত্ত প্রশিক্ষণ পদ্ধতিটি নির্ভরযোগ্যতার সাথে একটি সেটগুলিতে চূড়ান্ত একটির মতো খুব ভাল মডেল তৈরি করছে কিনা , এবং যদি তাই হয় তবে এই পর্যবেক্ষণটিকে একটি নীরব অনুমান দিয়ে সম্পূর্ণ সেটটিতে সাধারণীকরণ করুন যা কোনও অদ্ভুত কিছুই ঘটবে না with এবং আপনি যে সিভি পদ্ধতিটি ব্যবহার করেছেন তা কোনওভাবেই পক্ষপাতদুষ্ট নয়। এটি অবশ্যই প্রায় সর্বদা যথেষ্ট ভাল, তবুও আপনি কখনই নিশ্চিত হতে পারবেন না যে আপনার কাছে থাকা সমস্ত ডেটার উপর নির্মিত মডেলটি চূড়ান্ত নয়।

Answer 4

আমার মনে হয় আপনার কাছে এখানে বিভিন্ন প্রশ্ন রয়েছে:

সমস্যাটি হ'ল, যদি আমি প্রশিক্ষণের জন্য আমার ডেটাসেটের সমস্ত পয়েন্ট ব্যবহার করি তবে আমি এই নতুন শেখা মডেলটির পুরো ওভারফিটগুলি পরীক্ষা করতে পারছি না!

জিনিসটি হল, আপনি কেবলমাত্র একটি জিনিসের জন্য (এক) বৈধতা পদক্ষেপটি ব্যবহার করতে পারেন: হয় প্যারামিটার অপ্টিমাইজেশনের জন্য, (এক্স) অথবা সাধারণীকরণের পারফরম্যান্স অনুমানের জন্য।

সুতরাং, যদি আপনি ক্রস বৈধকরণ (বা অন্য কোনও ডেটা-চালিত প্যারামিটার দৃ determination়তা) দ্বারা প্যারামিটার অপ্টিমাইজেশন করেন তবে আপনার সেই পরীক্ষার নমুনাগুলি দরকার যা সেই প্রশিক্ষণ এবং অপ্টিমাইজেশনের নমুনাগুলির থেকে পৃথক। ডিকরান এটিকে নেস্টেড ক্রস বৈধতা বলে, অন্য নাম ডাবল ক্রস বৈধতা। বা, অবশ্যই, একটি স্বাধীন পরীক্ষা সেট।

সুতরাং এই পোস্টের জন্য এখানে প্রশ্ন: কে-ফোল্ড ক্রস-বৈধকরণের পরে সম্পূর্ণ ডেটাসেট দিয়ে প্রশিক্ষণ দেওয়া কি ভাল ধারণা? বা সেরাটির জন্য ক্রস-বৈধতা বিভাজনগুলির মধ্যে যে কোনও একটি মডেল শিখেছি তার সাথে থাকা ভাল?

ক্রস বৈধকরণের মডেলগুলির একটির ব্যবহার সাধারণত সম্পূর্ণ সেটে প্রশিক্ষণের চেয়ে খারাপ হয় (কমপক্ষে যদি আপনার শিখনের বক্ররেখা == (নমুনা) এখনও বাড়ছে increasing অনুশীলনে, এটি: এটি যদি না হয় তবে আপনি সম্ভবত সেট করেছেন স্বতন্ত্র পরীক্ষার সেটটি বাদ দিন))

যদি আপনি ক্রস বৈধকরণ মডেলগুলির মধ্যে (একই পরামিতিগুলির সাথে) একটি বৃহত প্রকরণটি লক্ষ্য করেন তবে আপনার মডেলগুলি অস্থির। সেক্ষেত্রে, মডেলগুলিকে একত্রিত করা পুরো ডেটাতে প্রশিক্ষিত এক মডেল ব্যবহারের চেয়ে আরও ভাল এবং সহায়তা করতে পারে ।

আপডেট করুন: এই অ্যাগ্রিগেশন পিছনে ধারণা ব্যাগিং প্রতিস্থাপন (ক্রশ বৈধতা) ছাড়া রীস্যাম্পেলিং করার পরিবর্তে প্রতিস্থাপন সঙ্গে রীস্যাম্পেলিং প্রয়োগ (বুটস্ট্র্যাপ / আউট-অফ-বুটস্ট্র্যাপ বৈধতা)।

এখানে এমন একটি কাগজ রয়েছে যেখানে আমরা এই কৌশলটি ব্যবহার করেছি:
বেলাইট, সি এবং সালজার, আর .: ছোট নমুনা আকারের পরিস্থিতিতে কেমোমেট্রিক মডেলের স্থায়িত্ব মূল্যায়ন ও উন্নতি, অ্যানাল বায়ানাল কেম, 390, 1261-1271 (২০০৮)।
ডিওআই: 10.1007 / s00216-007-1818-6

সম্ভবত সবচেয়ে গুরুত্বপূর্ণভাবে, আমি কীভাবে আমার ডেটাসেটের সমস্ত পয়েন্ট দিয়ে প্রশিক্ষণ দেব এবং এখনও অত্যধিক লড়াইয়ের সাথে লড়াই করব?

"সেরা" মডেলের জন্য অনুমোদিত স্বাধীনতার ডিগ্রিগুলির সাথে খুব রক্ষণশীল হয়ে, অর্থাত্ অপ্টিমাইজেশন ক্রস বৈধকরণের ফলাফলগুলির (র্যান্ডম) অনিশ্চয়তার বিষয়টি বিবেচনা করে। যদি ডিএফ ক্রস বৈধকরণ মডেলগুলির পক্ষে যথাযথ হয় তবে সম্ভাবনা ভাল যে তারা বৃহত্তর প্রশিক্ষণের জন্য খুব বেশি নয় । সমস্যাটি হ'ল প্যারামিটার অপ্টিমাইজেশন আসলে একাধিক পরীক্ষার। আপনাকে দুর্ঘটনাক্রমে ভাল দেখাচ্ছে প্যারামিটার সেটগুলি থেকে রক্ষা করা উচিত।

Comments

...If you observe a large variation between the cross validation models (with the same parameters), then your models are unstable. In that case, aggregating the models can help...আপনি এই আরও কিছুটা ব্যাখ্যা করতে পারেন? উদাহরণস্বরূপ, যদি আমি একটি 10-কে ক্রস বৈধতাযুক্ত সেটআপে লজিস্টিক রিগ্রেশন চালাচ্ছি এবং 10 টি সহগের সমষ্টি নিয়ে এসেছি, আপনি কি চূড়ান্ত মডেল গঠনের জন্য কোফের প্রাক্কলনগুলিকে একত্রিত করার পরামর্শ দিচ্ছেন? যদি তাই হয় তবে কীভাবে এটি করা যায়, কেবল উপায়গুলি গ্রহণ করে?

— ঝুবার্ব

@ কেবেলাইটস আপনি এতে বিস্তারিত বলতে পারেন If the d.f. are actually appropriate for the cross validation models। আমার বোঝার মধ্যে আপনি যুক্তি দিচ্ছেন যে সম্পূর্ণ ডেটা সেটের সাথে তুলনা করার সময় ট্রেন / বৈধতা সেটগুলি খুব বেশি বড় নয়, আমি কি ঠিক আছি?

— jpcgandre

@jpcgandre: আরও ব্যবহারের জন্য surrogate মডেলগুলির মধ্যে একটি বেছে নেওয়া আসলে একটি ডেটাচালিত মডেল নির্বাচন, যার অর্থ আপনার বহিরাগত স্বতন্ত্র স্তরের বৈধতা প্রয়োজন। এবং সাধারণভাবে, যদি আপনার পর্যাপ্ত পরিমাণ না থাকে তবে আপনি মোট নমুনা আকারের testing পরীক্ষার ভিত্তিতে পরিসংখ্যানগতভাবে অর্থবহ মডেল তুলনা করতে পারেন , আইএমএইচও যা আপনাকে নির্বাচন করা উচিত নয়। $\frac{1}{k}$

— সিবেলাইটস

আরও গুরুত্বপূর্ণ: পুনরাবৃত্ত ক্রস বৈধকরণ সারোগেট মডেলগুলি হাইপারপ্যারামিটারগুলির একই সেট ভাগ করে। এটি, আপনার কাছে গুরুত্বপূর্ণ বলে মনে করা সমস্ত ক্ষেত্রে তারা সমতুল্য তবে প্রশিক্ষণ এবং পরীক্ষার ক্ষেত্রে স্বেচ্ছাসেবী নির্বাচন। একটি "ভাল" মডেল নির্বাচনের ক্ষেত্রে আসলে প্রাথমিকভাবে একটি ভাল পরীক্ষা / প্রশিক্ষণ সেট সংমিশ্রণটি নির্বাচন করা উচিত - যা মূলত আমরা সাধারণত চাই না : আমরা এমন একটি পছন্দ চাই যা ভালভাবে জেনারেলাইজড হয় এবং এইভাবে কেবল অনুকূল ক্ষেত্রে কাজ করে না। এই দৃষ্টিকোণ থেকে, একটি "সাধারণ" ক্রস বৈধতা থেকে একটি সরোগেট মডেল নির্বাচন করা আমার কাছে কোনও ধারণা রাখে না।

— সিবেলাইটস

@jpcgandre: (df) আমি যুক্তি দিয়েছি যে ডেটা সেটের rac on উপর প্রশিক্ষণের জন্য উপযুক্ত এমন একটি মডেল জটিলতা বেছে নেওয়া (যা আমি যুক্তি করি যে পুরো ডেটা সেট হিসাবে প্রায় বৃহত্তর), আপনি পুরো ডেটা সেটটিতে প্রশিক্ষণের জন্য কিছুটা নিয়ন্ত্রিত মডেলের দিকে পক্ষপাতিত্বের দিকে পৌঁছান। যাইহোক, আমি মনে করি না এটি অনুশীলনের ক্ষেত্রে গুরুত্বপূর্ণ হওয়া উচিত, আমার ক্ষেত্রে যতটা আমার ছাপ থাকে ততই আমরা বরং খুব জটিল মডেলের দিকে ভ্রান্ত হয়ে পড়ে। $1 - \frac{1}{k}$

— সিবেলাইটস

Answer 5

আপনি যা করেন তা ক্রস বৈধতা নয়, বরং একরকম স্টোকাস্টিক অপ্টিমাইজেশন।

সিভি ধারণাটি অবজেক্টের উপসেটে মডেল তৈরির বিভিন্ন দফায় এবং বাকীগুলিতে পরীক্ষার মাধ্যমে অদৃশ্য তথ্যের উপর একটি পারফরম্যান্স অনুকরণ করা। সমস্ত রাউন্ডের কিছুটা গড় ফলাফল হ'ল পুরো সেটটিতে প্রশিক্ষিত কোনও মডেলের পারফরম্যান্সের সান্নিধ্য ।

আপনার মডেল নির্বাচনের ক্ষেত্রে, আপনার প্রতিটি প্যারামিটার সেটগুলির জন্য একটি সম্পূর্ণ সিভি করা উচিত, এবং এইভাবে প্রতিটি সেটআপের জন্য একটি পূর্ণ-সেট পারফরম্যান্সের সান্নিধ্য পেতে হবে, সুতরাং আপাতদৃষ্টিতে যা জিনিস আপনি চেয়েছিলেন তা আপাতদৃষ্টিতে।

তবে নোট করুন যে এটি মোটামুটি নিশ্চিত নয় যে সর্বাধিক সান্নিধ্যযুক্ত নির্ভুলতা সহ মডেলটি বাস্তবে সেরা হবে - আপনি পুরো মডেল নির্বাচন পদ্ধতিটিকে প্যারামিটার স্পেসে কিছু পরিসীমা বিদ্যমান যার জন্য পার্থক্যটি দেখতে পেরে বৈধতা দিতে পারেন মডেল নির্ভুলতা গুরুত্বপূর্ণ নয়।

Comments

ধন্যবাদ @ এমবিকিউ, তবে আমি নিশ্চিত না যে আমি অনুসরণ করি। আমি কি করতে hyperparameter মহাকাশে আমার গ্রিড অনুসন্ধান প্রতিটি বিন্দুতে মানের জন্য এন-ধা ক্রস বৈধতা। এন-ফোল্ডগুলির গড় ফলাফল আমাকে আপনি যে অনুমানের উল্লেখ করেছেন তার সান্নিধ্য দেয় যা আমি মডেলগুলির সাথে তুলনা করতে এবং মডেল নির্বাচন করে মডেল নির্বাচন করে যাচাইকরণের সেটটি সেরা ফিট করে। আমার প্রশ্নটি যখন আমি সম্পূর্ণ ডেটাসেট দিয়ে প্রশিক্ষণ নিই তখন কী হয় what আমি মনে করি শিখেছি মডেল পরিবর্তিত হয় (শিখেছি মডেল পরিবর্তনের পরামিতি), এবং নীতিগতভাবে আমার জানার উপায় নেই যে আমি ওভারফিটিংয়ে ভুগছি কিনা। $\vec\beta$

— আমিলিও ওয়াজকেজ-রেইনা

@ এমভি যদি তাই হয়, ঠিক আছে - যেমনটি আমি লিখেছি, সিভি ইতিমধ্যে সম্পূর্ণ সেট দৃশ্যের পরীক্ষা করেছে, আপনি নতুন ডেটা ছাড়া আরও কিছু বলতে পারবেন না। আবার, আপনি সর্বাধিক নেস্টেড সিভি করে দেখতে পারেন যে নিজেই মডেল নির্বাচনের দ্বারা আরোপিত কোনও চাপ নেই (নির্বাচন যদি খুব ভাল উন্নতি দেয় বা ডেটা গোলমাল করে তবে এর ঝুঁকিটি বেশ বড়)।