স্ট্যাটিস্টিকাল লার্নিং থিয়োরিতে কি পরীক্ষার সেটটিতে ওভারফিট করার সমস্যা নেই?

এমএনআইএসটি ডেটাসেটকে শ্রেণিবদ্ধকরণ সম্পর্কে সমস্যাটি বিবেচনা করা যাক।

মতে Yann LeCun এর MNIST ওয়েবপৃষ্ঠা , 'Ciresan এট অল।' কনভলিউশনাল নিউরাল নেটওয়ার্ক ব্যবহার করে এমএনআইএসটি পরীক্ষার সেটটিতে 0.23% ত্রুটি হার পেয়েছে।

আসুন এমএনআইএসটি প্রশিক্ষণকে ডি_ as হিসাবে সেট করুন , এমএনআইএসটি টেস্টকে ডি_ as হিসাবে সেট করুন , চূড়ান্ত হাইপোথিসিসটি তারা কে হিসাবে ব্যবহার করেছেন এবং ব্যবহার করে এমএনআইএসটি পরীক্ষায় তাদের ত্রুটির হার হিসাবে চিহ্নিত করেছেন । $D_{train}$ $D_{test}$ $D_{train}$ $h_{1}$ $h_{1}$ $E_{test}(h_{1}) = 0.0023$

তাদের দৃষ্টিকোণ, যেহেতু এলোমেলোভাবে ইনপুট স্থান নির্বিশেষে থেকে টেস্ট সেট নমুনা হয় , তারা যে আউট-অফ-নমুনা তাদের চূড়ান্ত হাইপোথিসিস ত্রুটির কর্মক্ষমতা জিদ করতে হল অসমতা থেকে নিম্নলিখিত হিসাবে আবদ্ধ যেখানে। $D_{test}$ $h_{1}$ $E_{out}(h_{1})$

P [| E_{o u t} (h_{1}) - E_{t e s t} (h_{1}) | < ϵ |] \geq 1 - 2 e^{2 ϵ^{2} N_{t e s t}}

$P[|E_{out}(h_{1}) - E_{test}(h_{1})| < \epsilon|] \geq 1 - 2e^{2\epsilon^{2}N_{test}}$

N_{t e s t} = | D_{t e s t} |

$N_{test}=|D_{test}|$

অন্য কথায়, কমপক্ষে সম্ভাব্যতা , $1-\delta$

E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}$

আসুন অন্য দৃষ্টিভঙ্গি বিবেচনা করা যাক। মনে করুন যে কোনও ব্যক্তি এমএনআইএসটি পরীক্ষার সেটটি ভালভাবে শ্রেণিবদ্ধ করতে চায়। সুতরাং তিনি প্রথমে ইয়ান লেকুনের এমএনআইএসটি ওয়েবপৃষ্ঠায় দেখেছেন এবং ৮ টি ভিন্ন ভিন্ন মডেল ব্যবহার করে অন্যান্য লোকেরা প্রাপ্ত ফলাফলগুলি পেয়েছেন,

এমএনআইএসটি শ্রেণিবিন্যাসের ফলাফল

এবং তার মডেল যা 8 মডেলের মধ্যে এমএনআইএসটি পরীক্ষার সেটটিতে সেরা পারফর্ম করেছে। $g$

তার জন্য, শিক্ষণ পদ্ধতি একটি হাইপোথিসিস অবচয় হয় যার উপর টেস্ট সেট শ্রেষ্ঠ সঞ্চালিত একটি হাইপোথিসিস সেট থেকে । $g$ $D_{test}$ $H_{trained}=\{h_1, h_2, .. ,h_8\}$

সুতরাং, পরীক্ষার সেট on ত্রুটিটি এই শেখার প্রক্রিয়াটির জন্য 'ইন-স্যাম্পল' ত্রুটি, সুতরাং তিনি নিম্নলিখিত বৈষম্য হিসাবে সীমাবদ্ধ অনুমানের সেটগুলির জন্য উপাচার্যকে আবদ্ধ করতে পারেন। $E_{test}(g)$

পি [| ই_{ণ তোমার দর্শন লগ করা টি} (ছ) - ই_{আমি এন} (ছ) | < ε] \geq 1 - 2 | {এইচ}_{টি R একটি আমি এন ই ঘ} | ই^{2 ε^{2} {এন}_{টি ই গুলি টি}}

$P[|E_{out}(g)-E_{in}(g)|<\epsilon] \geq 1 - 2|H_{trained}|e^{2\epsilon^{2}N_{test}}$

অন্য কথায়, কমপক্ষে সম্ভাব্যতা , $1-\delta$

ই_{ণ তোমার দর্শন লগ করা টি} (ছ) \leq ই_{টি ই গুলি টি} (ছ) + + \sqrt{\frac{1}{2 {এন}_{টি ই গুলি টি}} ঠ এন \frac{2 | {এইচ}_{টি R একটি আমি এন ই ঘ} |}{δ}}

$E_{out}(g) \leq E_{test}(g) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

এই ফলাফলটি সূচিত করে যে আমরা যদি মডেলটিকে বিভিন্ন মডেলের মধ্যে সেরা পারফর্ম করি তবে টেস্ট সেটগুলিতে ওভারফিটিং থাকতে পারে।

এই ক্ষেত্রে, ব্যক্তি pick বাছাই করতে পারে যা সর্বনিম্ন ত্রুটির হার । যেহেতু এই নির্দিষ্ট পরীক্ষার সেট on এর 8 টি মডেলের মধ্যে সেরা অনুমান , তাই কিছুটা সম্ভাবনা থাকতে পারে যে M এমএনআইএসটি পরীক্ষার সেটটিতে একটি হাইপোথিসিস over $h_{1}$ $E_{test}(h_{1}) = 0.0023$ $h_{1}$ $D_{test}$ $h_{1}$

সুতরাং, এই ব্যক্তি নিম্নলিখিত অসমতা জোর করতে পারেন।

E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r a i n e d} |}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

ফলস্বরূপ, আমরা দুটি অসমতা পেয়েছি এবং ।

P [E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}\;] \geq 1-\delta$

P [E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r a i n e d} |}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}\;] \geq 1-\delta$

যাইহোক, এই দুটি বৈষম্য অসম্পূর্ণ যে স্পষ্ট।

আমি কোথায় ভুল করছি? কোনটি সঠিক এবং কোনটি ভুল?

যদি পরবর্তীটি ভুল হয়, সেক্ষেত্রে সীমাবদ্ধ অনুমানের সেটগুলির জন্য উপাচার্যকে আবদ্ধ করার সঠিক উপায় কী?

— asqdf
সূত্র

এই দুটি অসমতার মধ্যে আমার মনে হয় পরে ভুল হয়েছে। সংক্ষিপ্ত ইন, এখানে কি ভুল পরিচয় দেওয়া যে টেস্ট ডেটার একটি ফাংশন যখন একটি মডেল টেস্ট ডেটার স্বাধীন হয়। $g=h_1$ $g$ $h_1$

বস্তুত, 8 মডেলের অন্যতম যে শ্রেষ্ঠ ভবিষ্যদ্বাণী টেস্ট সেট । $g$ $H_{trained} = \{ h_1, h_2,..., h_8 \}$ $D_{test}$

অতএব, একটি ফাংশন । নির্দিষ্ট পরীক্ষার জন্য, (যেমন আপনি উল্লেখ করেছেন) এর জন্য এটি ঘটতে পারে , তবে সাধারণভাবে, পরীক্ষার সেটের উপর নির্ভর করে, যে কোন ভ্যালু নিতে পারে । অন্য দিকে মাত্র এক মান । $g$ $D_{test}$ $D^*_{test}$ $g(D^*_{test}) = h_1$ $g(D_{test})$ $H_{trained}$ $h_1$ $H_{trained}$

অন্য প্রশ্নের জন্য:

যদি পরবর্তীটি ভুল হয়, সেক্ষেত্রে সীমাবদ্ধ অনুমানের সেটগুলির জন্য উপাচার্যকে আবদ্ধ করার সঠিক উপায় কী?

শুধু প্রতিস্থাপন না দ্বারা , আপনি সঠিক আবদ্ধ (জন্য পাবেন , অবশ্যই) এবং এটি অন্যান্য আবদ্ধ (যার জন্য সঙ্গে কোন দ্বন্দ্ব থাকবে )। $g$ $h_1$ $g$ $h_1$

— Tĩnh Trần
সূত্র