আপনার ট্রেন, বৈধতা এবং পরীক্ষার শতাংশ কী কীভাবে আপনি ঠিক করবেন?

Question

আমার লেবেলযুক্ত ডেটা প্রশিক্ষণ, বৈধকরণ এবং পরীক্ষার সেটগুলিতে বিভক্ত করার সময়, আমি 50/25/25 থেকে 85/5/10 পর্যন্ত সমস্ত কিছু শুনেছি। আমি নিশ্চিত যে এটি আপনি কীভাবে আপনার মডেলটি ব্যবহার করতে যাচ্ছেন এবং আপনার শেখার অ্যালগরিদমকে কীভাবে উপভোগ করতে পারেন তার উপর নির্ভর করে। থাম্বের বিধি দ্বারা সিদ্ধান্ত নেওয়ার কোনও উপায় আছে কি? এমনকি ELSII বিষয়টিকে অস্পষ্ট বলে মনে হয়।

Comments

এই স্ট্যাকওভারফ্লো প্রশ্নোত্তর সাথে প্রতিটি বিষয়ে 30 টি আপগেটের সাথে দুটি বিষয়ে ভাল উত্তর রয়েছে। stackoverflow.com/questions/13610074/…

— লুক সিংহাম

Answer 1

পুনরায় মডেলিং ছাড়াই নমুনার বৈধতা বিভক্ত করুন (ক্রস-বৈধকরণ বা আরও ভাল: বুটস্ট্র্যাপিং) যদি আপনার কাছে প্রচুর নমুনা না থাকে (যেমন, ) অবিশ্বাস্য । বুটস্ট্র্যাপ ব্যবহার করে কঠোর অভ্যন্তরীণ বৈধতা সাধারণত অগ্রাধিকারপ্রাপ্ত হয়, ধরে নেওয়া হয় যে আপনি সমস্ত মডেল নির্বাচন পদক্ষেপগুলি প্রোগ্রাম করেন যাতে প্রতিটি বুটস্ট্র্যাপ লুপে সেগুলি পুনরাবৃত্তি করা যায়। এবং অস্থিরতা ছাড়াও বিভক্ত নমুনা পদ্ধতির সমস্যাগুলির মধ্যে একটি হ'ল বিভক্ত ভগ্নাংশগুলি বেছে নিতে অসুবিধা।$N>20000$

Comments

এবং আপনি যদি 10000 <এন <1000000 এর বৃহত্তর স্কেল ডেটা (তবে বড় ডেটা নয়) এ কাজ করছেন? এই সময়ে বিভাজন যুক্তিসঙ্গত মনে হয়। এটি অনেকের সাথে মানানসই, তবে সমস্ত নয় I

— এড ফাইন

এটি বেশ যুক্তিসঙ্গত হতে পারে।

— ফ্র্যাঙ্ক হ্যারেল 20

আমার কাছে এন = 95,000,000 (9,500,000 এর সেট রাখা)। এমন একটি রেফারেন্স যেখানে আমাকে বলে যে আমার পরীক্ষার 10x পুনরাবৃত্তি করতে হবে না?

— dranxo

মাত্র দু'বার চালান (2 বিভক্ত) এবং আপনি কত ফলাফলের পরিবর্তিত হবেন তা। এগুলি সম্ভবত এত কম পরিবর্তিত হয় যে আপনার কেবল একটি বিভাজন প্রয়োজন। এত বড় নমুনা আকারের অনুপাতের জন্য একটি আত্মবিশ্বাসের ব্যবধানের প্রস্থের কথা ভাবেন।

— ফ্র্যাঙ্ক হ্যারেল

Answer 2

অ্যাপ্লিকেশন উপর নির্ভর করে, আপনি সম্ভবত অনিশ্চয়তা এড়াতে পারেন, এবং এর পরিবর্তে বুটস্ট্র্যাপিং ব্যবহার করতে পারেন।

উইকি: http://en.wikedia.org/wiki/Bootstrapping_( পরিসংখ্যান)

সম্পর্কিত প্রশ্ন এখানে। বৈধতা এবং মডেল নির্বাচনের জন্য বুটস্ট্র্যাপিং বোঝা

Answer 3

অবশ্যই আপনাকে (ডাবল) পুনর্নির্মাণের জন্য বিভাজন অনুপাত সম্পর্কে সিদ্ধান্ত নিতে হবে ...

তবে, যদি আপনি মনে রাখেন তবে পুনরায় মডেলিং সাধারণত বিস্তৃত অনুপাতের বিস্তৃত পরিমাণের জন্য কাজ করে

• সম্ভাব্য স্বতন্ত্র রানগুলির সংখ্যা হ্রাস করতে পারে যদি একটি ছুটি-ওয়ান-আউট না করা
• অন্তর্নিহিত প্রশিক্ষণ সংস্থায় পর্যাপ্ত প্রশিক্ষণের ক্ষেত্রে ছেড়ে দিন যাতে ট্রেইং অ্যালগরিদমের একটি দরকারী মডেল তৈরি করার উপযুক্ত সুযোগ রয়েছে।
• আপনার যত বেশি স্বতন্ত্র মামলা রয়েছে তত গুরুত্বপূর্ণ এই বিবেচনাগুলি।

এবং আপনি যদি 10000 <এন <1000000 এর বৃহত্তর স্কেল ডেটা (তবে বড় ডেটা নয়) এ কাজ করছেন?

আপনি যেহেতু পুনর্নির্মাণের প্রয়োজন তা নিশ্চিত না হলে আপনি কী করতে পারেন তা হল: কয়েকবার পুনরায় নমুনা। যথেষ্ট তাই আপনি পুনর্নির্মাণের প্রয়োজন ছিল কিনা তা পরিমাপ করতে পারবেন।

• আপনার পূর্বাভাসের স্থায়িত্ব পরীক্ষা করুন
• আপনার মডেল পরামিতিগুলির স্থায়িত্ব পরীক্ষা করুন

এই ফলাফলগুলির সাহায্যে আপনি সিদ্ধান্ত নিতে পারেন আপনার আরও পুনর্নির্মাণের পুনরাবৃত্তিগুলি যুক্ত করা উচিত বা জিনিসগুলি যেমন ঠিক তেমন ঠিক আছে কিনা।

Answer 4

এর জন্য কোনও কঠোর এবং দ্রুত নিয়ম নেই। তবে অভিজ্ঞতাগত বিশ্লেষণগুলি প্রমাণ করেছে যে আপনার যত বেশি প্রশিক্ষণের ডেটা থাকবে আপনার নির্ভুলতা তত ভাল হবে। তবে আপনি যা-ই করুন না কেন, আপনার সমস্ত প্রশিক্ষণ / বৈধতা / পরীক্ষার ডেটা একসাথে রাখতে ভুলবেন না এবং যখন মোড়কে থাকবেন তখন 10 ভাঁজ সিভি করবেন। এটি আপনার পরীক্ষার সময় ওভারফিট / আন্ডারফিট সমস্যা সম্পর্কে খুব ভাল অন্তর্দৃষ্টি দেয়।

Answer 5

আমি মনে করি আপনি যে প্রশ্নগুলির উত্তর দেওয়ার চেষ্টা করছেন সেগুলিই এটি গুরুত্বপূর্ণ। আপনি একাধিক অ্যালগরিদমের মধ্যে পারফরম্যান্স পার্থক্য সম্পর্কে সঠিক দর্শন পেতে আগ্রহী? তারপরে আপনার মোটামুটি বড় বৈধতা সেট দরকার। আপনি কি আগ্রহী যে একটি অ্যালগরিদম N = 10000 নমুনার জন্য কতটা ভাল সম্পাদন করে? তারপরে আপনার ট্রেনের সেটে কমপক্ষে 10000 নমুনা রাখা উচিত।

বৃহত্তর বৈধতা সেটটি আপনাকে আপনার ফলাফল সম্পর্কে আরও পরিসংখ্যানগত নিশ্চিততা দেয়, তবে নিশ্চিততাটি এমন একটি অ্যালগরিদমের কর্মক্ষমতা সম্পর্কে যা কম নমুনায় প্রশিক্ষিত হয়েছিল, যা শেষের দিকে আপনি যা করছেন তা নাও হতে পারে।