আমি কি একটি ছোট বৈধকরণ সেট ব্যবহার করতে পারি?

15

আমি কোনও টেস্ট সেট এবং একটি বৈধকরণ সেটগুলিতে ডেটা বিভক্ত করার পিছনে যুক্তিটি বুঝতে পারি। আমি আরও বুঝতে পারি যে বিভাজনের আকার পরিস্থিতিটির উপর নির্ভর করবে তবে সাধারণত 50/50 থেকে 90/10 পর্যন্ত পরিবর্তিত হবে।

আমি বানানটি সংশোধন করতে এবং m 5m বাক্যগুলির ডেটা সেট দিয়ে শুরু করার জন্য একটি আরএনএন তৈরি করেছি। আমি 500k বাক্যগুলি শেভ করি এবং তারপরে বাকী ~ 4.5m বাক্য দিয়ে প্রশিক্ষণ দেব। প্রশিক্ষণটি শেষ হয়ে গেলে আমি আমার বৈধতা সেট নিয়েছি এবং নির্ভুলতার গণনা করি।

মজার বিষয় হ'ল আমার বৈধতা যাচাইয়ের 4% পরে আমার যথাযথতা আছে 69.4% এবং এই শতাংশটি কোনও দিক থেকে 0.1% এর বেশি পরিবর্তিত হয় না। অবশেষে আমি কেবল বৈধতাটি সংক্ষিপ্তভাবে কাটা করেছি কারণ সংখ্যাটি 69.5% এ আটকে গেছে।

সুতরাং কেন আমি বৈধতার জন্য 10% কেটে ফেলব যখন আমি সম্ভবত 1% দিয়ে দূরে যেতে পারি? এটা কোন ব্যাপার?

machine-learning neural-networks validation

— মার্ক ক্র্যামার
সূত্র

4

একটি সাধারণ উত্তর হ'ল একটি নমুনার আকার বড় হলে আমি বলব 10,000 জনসংখ্যার একটি খুব প্রতিনিধি উপসেট হবে। নমুনাটি বাড়ানো, যদি এটি সঠিকভাবে আঁকা হয় তবে ব্যয়বহুল হতে পারে তবে আপনি যে অনুমানটি দেখছেন সেটি প্রায় একই হবে। একটি আত্মবিশ্বাস ব্যবধান ধারণা জন্য সন্ধান করুন।

— আলেক্সি বার্নাকভ

20

বৃহত্তর বৈধতা সেটগুলি নমুনার বাইরে থাকা কার্যকারিতার আরও সঠিক অনুমান দেয়। তবে যেমনটি আপনি লক্ষ্য করেছেন, এক পর্যায়ে অনুমানটি আপনার প্রয়োজনের মতো যথাযথ হতে পারে এবং আপনি সেই পর্যায়ে পৌঁছানোর জন্য বৈধতা নমুনার আকার সম্পর্কে কিছুটা মোটামুটি ভবিষ্যদ্বাণী করতে পারেন।

সাধারণ সঠিক / ভুল শ্রেণিবদ্ধকরণ নির্ভুলতার জন্য, আপনি অনুমানের স্ট্যান্ডার্ড ত্রুটি হিসাবে গণনা করতে পারেন (একটি বার্নুইলি ভেরিয়েবলের স্ট্যান্ডার্ড বিচ্যুতি), যেখানেহ'ল সঠিক শ্রেণিবিন্যাসের সম্ভাবনা, এবংহ'ল বৈধকরণের আকারের আকার। অবশ্যই আপনিজানেন না, তবে এর ব্যাপ্তি সম্পর্কে আপনার কিছু ধারণা থাকতে পারে। উদাহরণস্বরূপ বলা যাক আপনি 60-80% এর মধ্যে একটি নির্ভুলতা আশা করেন এবং আপনি নিজের অনুমানের 0.1% এর চেয়ে ছোট স্ট্যান্ডার্ড ত্রুটি দেখতে চান: $\sqrt{p(1−p)/n}$ $p$ $n$ $p$ (বৈধতা সেটটির আকার) কত বড় হওয়া উচিত? জন্যআমরা পাই:

\sqrt{পি (1 - পি) / এন} < 0.001

$\sqrt{p(1−p)/n}<0.001$

n

$n$

p = 0.6

$p=0.6$

জন্য

আমরা পাই:

এন > \frac{0.6 - {0.6}^{2}}{{0.001}^{2}} = 240, 000

$n > \frac{0.6-0.6^2}{0.001^2}=240,000$

p = 0.8

$p=0.8$

সুতরাং এটি আমাদের বলছে আপনি বৈধতার জন্য আপনার 5 মিলিয়ন ডেটা নমুনার 5% এরও কম ব্যবহার করে পালিয়ে যেতে পারেন। আপনি যদি উচ্চতর পারফরম্যান্স আশা করেন তবে এই শতাংশ হ্রাস পাবে, বা বিশেষত আপনি যদি আপনার নমুনা ছাড়িয়ে নিখরচায় পারফরম্যান্সের প্রাক্কলনের তুলনায় কম সন্তুষ্ট হন (যেমন

সহ

এন > \frac{0.8 - {0.8}^{2}}{{0.001}^{2}} = 160, 000

$n > \frac{0.8-0.8^2}{0.001^2}=160,000$

p = 0.7

$p=0.7$ এবং একটি <1% এর জন্য, আপনার কেবলমাত্র 2100 বৈধতা নমুনার প্রয়োজন , বা আপনার ডেটা শতাংশের বিশ ভাগের কম)।

এই গণনাগুলি টিম তার উত্তরে তৈরি করা বিন্দুটিও প্রদর্শন করে যে আপনার অনুমানের যথার্থতা আপনার বৈধতা সেটটির নিখুঁত আকারের উপর নির্ভর করে (যেমন $n$ প্রশিক্ষণের সেটের তুলনায় এর আকারের পরিবর্তে ) ।

(এছাড়াও আমি যুক্ত করতে পারি যে আমি এখানে প্রতিনিধি নমুনা গ্রহণ করছি। যদি আপনার ডেটা খুব ভিন্নধর্মী হয় তবে আপনার ট্রেন ও পরীক্ষার ডেটা হিসাবে যাচাইকরণের ডেটাতে সমস্ত একই শর্ত ইত্যাদি অন্তর্ভুক্ত রয়েছে তা নিশ্চিত করার জন্য আপনাকে বৃহত্তর বৈধতা সেটগুলি ব্যবহার করতে হবে। )

— রুবেন ভ্যান বার্গেন
সূত্র

14

p (1 - p)

$p(1-p)$

p = 1 / 2

$p=1/2$

p (1 - p) = 1 / 4

$p(1-p)=1/4$

\sqrt{p (1 - p) / n} \leq 1 / \sqrt{4 n}

$\sqrt{p(1-p)/n} \le 1/\sqrt{4n}$

11

এ সমস্যাটি সম্পর্কে চমৎকার আলোচনাটি অ্যান্ড্রু এনজি তার কোর্সেরা.রোগরে ডিপ লার্নিং কোর্সে সরবরাহ করেছেন । তিনি নোট হিসাবে, 8: 2, বা 9: 1 এর মতো স্ট্যান্ডার্ড বিভাজনগুলি বৈধ হয় যদি আপনার ডেটা মাঝারি থেকে বড় হয় তবে প্রচুর বর্তমান মেশিন লার্নিং সমস্যা বিপুল পরিমাণে ডেটা ব্যবহার করে (যেমন আপনার ক্ষেত্রে যেমন লক্ষ লক্ষ পর্যবেক্ষণ), এবং এই জাতীয় দৃশ্যে আপনি 2%, 1% বা তার চেয়েও কম ডেটা আপনার পরীক্ষার সেট হিসাবে বাকী সমস্ত ডেটা গ্রহণ করে একটি পরীক্ষার সেট হিসাবে রেখে যেতে পারেন (তিনি আসলে একটি ডেভ সেট ব্যবহার করার পক্ষে যুক্তি দেখান)। তাঁর যুক্তি অনুসারে, আপনি আপনার অ্যালগোরিদমকে যত বেশি ডেটা খাওয়ান, তার পারফরম্যান্সের জন্য এটি তত ভাল এবং এটি গভীর শিক্ষার জন্য বিশেষত সত্য ^* (তিনি নোট করেছেন যে এটি অ-গভীর শিখন মেশিন লার্নিং অ্যালগরিদমের ক্ষেত্রে হওয়া উচিত নয়)।

অ্যালেক্স বার্নের মন্তব্যে যেমন ইতিমধ্যে লক্ষ্য করা গেছে , এটি সত্যিই আপনার পরীক্ষার সেট আকারের বিষয়ে নয়, তবে এটি আপনার সমস্যার পক্ষে প্রতিনিধিত্বমূলক সম্পর্কে। সাধারণত বড় আকারের ডেটা সহ আমরা আশা করি এটি আরও প্রতিনিধি হওয়ার জন্য, তবে এটির ক্ষেত্রে এটি হবে না। এটি সর্বদা একটি বাণিজ্য-বন্ধ এবং আপনার সমস্যা-নির্দিষ্ট বিবেচনা করা দরকার। এমন কোনও নিয়ম নেই যে পরীক্ষার সেটটি X এর চেয়ে কম ক্ষেত্রে বা আপনার ডেটার Y% এর চেয়ে কম হওয়া উচিত নয় telling

^{* - অস্বীকৃতি: আমি এখানে অ্যান্ড্রু এনগের যুক্তি পুনরাবৃত্তি করছি, আমি নিজেকে গভীর শিক্ষার বিশেষজ্ঞ হিসাবে বিবেচনা করব না।}

— টিম
সূত্র

2

"এটি সত্যিই আপনার পরীক্ষার সেট আকারের বিষয়ে নয়, তবে এটি আপনার সমস্যার পক্ষে প্রতিনিধিত্বমূলক সম্পর্কে।" - সম্ভবত এটি দেওয়ার একটি মনোরম উপায় হ'ল আপনার প্রশিক্ষণ সেটটি পুরোপুরি বিড়ালদের সমন্বয়ে তৈরি করা হয় তবে কুকুর এবং বিড়ালদের সাথে ডিল করে এমন কোনও কিছুর জন্য একটি বড় প্রশিক্ষণ সেট থাকার কোনও ব্যবহার নেই।

— জেএম

আরও সুনির্দিষ্টভাবে এটি ছিল 'ট্রেন / দেব / টেস্ট সেট' বক্তৃতায় 'উন্নত গভীর নিউরাল নেটওয়ার্ক: হাইপারপ্যারামিটার টিউনিং, নিয়মিতকরণ এবং অনুকূলকরণ' কোর্সের প্রথম সপ্তাহে 'বক্তৃতাটি ছিল - যা সম্পূর্ণ গভীর শিক্ষার বিশেষায়নের

— পি

2

এখানে বক্তৃতার সম্পূর্ণ উক্তিটি রয়েছে: "সুতরাং এই উদাহরণে যেখানে আপনার মিলিয়ন উদাহরণ রয়েছে, আপনার যদি আপনার দেবের জন্য মাত্র 10,000 এবং আপনার পরীক্ষার জন্য 10,000 প্রয়োজন হয়, আপনার অনুপাত 10 মিলিয়ন এর 1% এর মতো বেশি হবে তাই আপনি '98% ট্রেন, 1% দেব, 1% পরীক্ষা আছে। এবং আমি এমন অ্যাপ্লিকেশনও দেখেছি যেখানে যদি আপনার মিলিয়নেরও বেশি উদাহরণ থাকে তবে আপনি 99.5% ট্রেন এবং 0.25% দেব, 0.25% পরীক্ষা দিয়ে শেষ করতে পারেন । অথবা হতে পারে 0.4% দেব, 0.1% পরীক্ষা। "

— icc97

5

Asymptotic Statistical Theory of Overtraining and Cross-Validation $1/\sqrt{2N}$ $N$ $N=5\cdot10^6$ $\approx 0.00032=0.032\%$

[1] https://www.ncbi.nlm.nih.gov/pubmed/18255701

— জান কুকাকা
সূত্র