হোল্ড আউট বৈধকরণ বনাম ক্রস-বৈধতা

Question

আমার কাছে মনে হয় হোল্ড-আউট বৈধতা অকেজো। অর্থাত, মূল ডেটাसेटকে দুটি ভাগে ভাগ করা (প্রশিক্ষণ ও পরীক্ষা) এবং পরীক্ষার স্কোরকে সাধারণীকরণের ব্যবস্থা হিসাবে ব্যবহার করা কিছুটা অকেজো।

কে-ভাঁজ ক্রস-বৈধকরণ সাধারণীকরণের আরও ভাল অনুমান দেয় (যেমন এটি প্রতিটি পয়েন্টে প্রশিক্ষণ দেয় এবং পরীক্ষা করে তোলে)। সুতরাং, আমরা কেন স্ট্যান্ডার্ড হোল্ড-আউট বৈধতা ব্যবহার করব? এমনকি এটি সম্পর্কে কথা বলতে?

Comments

কেন আপনি এটি অকেজো মনে করেন? এর পরিপন্থী এবং এর কনসের আনুষ্ঠানিক বিশ্লেষণের জন্য আপনি পরিসংখ্যানগত শিক্ষার তত্ত্বের 7 টি উপাদানগুলি পড়তে পারেন। পরিসংখ্যানগতভাবে বলতে গেলে, কে-ভাঁজ আরও ভাল, তবে পরীক্ষার সেট ব্যবহার করা খারাপ নয়। স্বজ্ঞাতভাবে, আপনার বিবেচনা করা উচিত যে একটি পরীক্ষার সেট (যখন সঠিকভাবে ব্যবহৃত হয়) আসলে একটি ডেটা সেট যা প্রশিক্ষণে মোটেই ব্যবহৃত হয় নি । সুতরাং এটি কোনও মডেলকে মূল্যায়নের জন্য নির্দিষ্টভাবে কার্যকর। এছাড়াও, কে-ভাঁজটি অত্যন্ত ব্যয়বহুল, সুতরাং কে-ভাঁজ কী করে (তবে কম কম্পিউটেশনাল পাওয়ার সহকারীর জন্য) এটি একটি "প্রায়" বাছাই করা।

— চার্লি পার্কার

অবশ্যই। তাত্ত্বিক দৃষ্টিকোণ থেকে, কে-ভাঁজ আরও সুনির্দিষ্ট তবে সামান্য পরিমাণে কম্পিউটারের ব্যয়বহুল। প্রশ্নটি ছিল: কেন সবসময় কে-ভাঁজ ক্রস বৈধতা হয় না?

আমি দেখি. আমি যুক্তি দিয়ে বলব যে কারণটি বেশিরভাগ ক্ষেত্রে সর্বদা গণনাযোগ্য। কে-ফোল্ড জেনারালাইজেশন ত্রুটি আরও ভাল করে তোলে সুতরাং একটি পরিসংখ্যানগত দৃষ্টিকোণ থেকে কে-ভাঁজ আমার পছন্দ করার পদ্ধতি of হোল্ড আউট বাস্তবায়নের জন্য অনেক সহজ এবং অনেক মডেলের মতো প্রশিক্ষণের প্রয়োজন হয় না। অনুশীলনে, একটি মডেল প্রশিক্ষণ বেশ ব্যয়বহুল হতে পারে।

— চার্লি পার্কার 19

ঠিক - তবে আমার কাছে "খুব কম গণনামূলক ব্যয়বহুল" যুক্তি মোটামুটি দুর্বল বলে মনে হয়। প্রায় সব সময়, আমরা সর্বাধিক নির্ভুল মডেলগুলি বিকাশ করতে লক্ষ্য করি। তবুও এই প্যারাডক্সটি রয়েছে যেখানে সাহিত্যে পরিচালিত প্রচুর পরীক্ষাগুলি কেবলমাত্র একটিমাত্র হোল্ড-আউট বৈধতা সেট করে।

প্রশ্ন - "কে ভাঁজ ক্রস বৈধকরণ" শিরোনাম পরিসংখ্যান শেখার তত্ত্ব বিভাগের উপাদানগুলি 7.10.1 ইঙ্গিত দেয় যে পরীক্ষার ডেটা প্রশিক্ষণের ডেটা থেকে সম্পূর্ণ পৃথক রাখা (যেমন বৈধতা রাখা হয়) আদর্শ, এবং কে-ফোল্ড বৈধতা কেবল একটি আপস হিসাবে ডেটা বহুগুণ দুষ্প্রাপ্য। আমি এখনও পরিসংখ্যানের জন্য বেশ নতুন, আপনি চিহ্নিত করতে পারেন ক্রস বৈধতা আসলে আরও সুনির্দিষ্ট কীভাবে?

— numX

Answer 1

আমার একমাত্র অনুমান যে আপনি তিন ঘন্টা প্রোগ্রামিংয়ের অভিজ্ঞতা নিয়ে ধরে রাখতে পারেন; অন্যটি নীতিগতভাবে এক সপ্তাহ নেয় এবং অনুশীলনে ছয় মাস সময় নেয়।

নীতিগতভাবে এটি সহজ, তবে লেখার কোডটি ক্লান্তিকর এবং সময়সাপেক্ষ is লিনাস টরভাল্ডস যেমন বিখ্যাত বলেছিলেন, "খারাপ প্রোগ্রামাররা কোডটি নিয়ে চিন্তিত হন। ভাল প্রোগ্রামাররা ডেটা স্ট্রাকচার এবং তাদের সম্পর্কের বিষয়ে উদ্বিগ্ন হন।" পরিসংখ্যান করছেন এমন অনেক লোকই খারাপ প্রোগ্রামার, নিজের কোনও দোষ ছাড়াই। আর-তে কে-ফোল্ড ক্রস বৈধকরণ দক্ষতার সাথে করা (এবং তার অর্থ আমি বোঝাতে চাইছি যে কোনওভাবেই ডিবাগ করতে এবং একাধিকবার ব্যবহার করতে মারাত্মক হতাশ হয় না) ডেটা স্ট্রাকচারের একটি অস্পষ্ট বোঝাপড়া প্রয়োজন, তবে ডেটা স্ট্রাকচারগুলি সাধারণত "ভূমিকা" এড়িয়ে যায় পরিসংখ্যান প্রোগ্রামিং "টিউটোরিয়াল। এটি প্রথমবারের মতো ইন্টারনেট ব্যবহার করা বয়স্ক ব্যক্তির মতো। এটি সত্যই শক্ত নয়, প্রথমবারের জন্য এটি আরো আধ ঘন্টা বা আরও বেশি সময় নেয় তবে এটি একেবারে নতুন এবং এটি বিভ্রান্তিকর করে তোলে, তাই এড়িয়ে যাওয়া সহজ।

আপনার কাছে এই জাতীয় প্রশ্ন রয়েছে: কীভাবে আর-তে একটি হোল্ড-আউট বৈধতা প্রয়োগ করা যায় । কোন অপরাধ জিজ্ঞাসাবাদীর উদ্দেশ্যে, যাই হোক না কেন। তবে অনেক লোক কেবল কোড-সাক্ষর নয়। মানুষ যে আদৌ ক্রস-বৈধতা করছে তা আমাকে আনন্দিত করার জন্য যথেষ্ট।

এটি নির্বোধ এবং তুচ্ছ শোনায় তবে এটি ব্যক্তিগত অভিজ্ঞতা থেকে আসে, সেই ব্যক্তিটি থাকার কারণে এবং সেই লোকটি অনেক লোকের সাথে কাজ করেছিলেন।

Comments

হতে পারে যে সিএসে মেজর করেছেন এমন কেউ হিসাবে আমার এ সম্পর্কে কিছুটা ত্রুটিযুক্ত দৃষ্টিভঙ্গি রয়েছে তবে আপনি যদি হোল্ড-আউট বৈধতাটি সঠিকভাবে প্রয়োগ করতে পারেন (যার অর্থ ইতিমধ্যে ডেটাसेटকে 2 ভাগে বিভক্ত করা এবং একটিতে প্রশিক্ষণের জন্য এবং অন্যটি পরীক্ষার জন্য ব্যবহার করা হয়েছে), কেবলমাত্র আপনাকে যা পরিবর্তন করতে হবে তা হ'ল বিভাজনের অনুপাত এবং পুরো জিনিসটিকে একটি লুপে রেখে দিন। এটি বিশ্বাস করা শক্ত মনে হয় যে এটি একটি বড় সমস্যা হবে।

— ভু

@ ভু: তদ্ব্যতীত, প্রোগ্রামে সক্ষম হওয়া এখানে যথেষ্ট নয়: আপনার বিভাজন প্রক্রিয়া চলাকালীন কোন ধরণের কনফন্ডারের জন্য আপনাকে অ্যাকাউন্টের প্রয়োজন তা বিচার করতে সক্ষম হওয়ার জন্য আপনার যথেষ্ট সমস্যাটি বুঝতে হবে। উদাহরণস্বরূপ দেখুন stats.stackexchange.com/questions/20010/… । আমি মনে করি আমি "খাঁটি" কোডিং সমস্যাগুলির তুলনায় এই ধরণের সমস্যাগুলি প্রায়শই বেশি দেখতে পাই (যদিও এটি কখনই জানে না: ডেটা ম্যাট্রিক্সে সারিগুলির একটি স্পষ্ট বিভাজনকে সবেমাত্র কোড দিতে সক্ষম এমন ব্যক্তিও সাধারণত বিভক্ত না হওয়ার উচ্চ স্তরের ভুল করতে পারেন উদাহরণস্বরূপ রোগীর স্তরে)

— সিবিলেটগুলি

এছাড়াও লক্ষ করুন যে আপনি সঠিক (যেমন রোগী / পরিমাপের দিন / ...) কোনও প্রোগ্রামিং ছাড়াই হোল্ড-আউট স্প্লিটিং পরিমাপের উপকরণটি তৈরি করা ফাইলগুলি পৃথক করে ...

— সিবেলাইটস

আপ-ভোটারদের কাছে: নোট করুন যে আমি একটি পৃথক প্রশ্ন জিজ্ঞাসা করেছি যা আমার যুক্তি নিয়ে প্রশ্ন তোলে। stats.stackexchange.com/q/108345/36229

— শ্যাডটলকার

আমি মনে করি না যে দুটি ক্রস বৈধকরণ পদ্ধতির মধ্যে পার্থক্য ব্যাখ্যা করার উত্তরটি শেখার সময় কখনও

— অযৌক্তিকভাবে

Answer 2

হোল্ড-আউট প্রায়শই স্বতন্ত্র পরীক্ষার সেটটির সাথে বৈধতার সমার্থক হিসাবে ব্যবহৃত হয়, যদিও এলোমেলোভাবে ডেটা বিভক্ত করা এবং স্বাধীন পরীক্ষার জন্য বৈধতা পরীক্ষার নকশা করার মধ্যে গুরুত্বপূর্ণ পার্থক্য রয়েছে।

স্বতন্ত্র পরীক্ষার সেটগুলি সাধারণীকরণের পারফরম্যান্স পরিমাপ করতে ব্যবহার করা যেতে পারে যা পুনরায় মডেলিং বা হোল্ড-আউট বৈধতা দ্বারা পরিমাপ করা যায় না, উদাহরণস্বরূপ ভবিষ্যতের অজানা কেসগুলির জন্য কর্মক্ষমতা (= প্রশিক্ষণ শেষ হওয়ার পরে কেসগুলি পরে পরিমাপ করা হয়)। নতুন ডেটার জন্য বিদ্যমান মডেলটি কতক্ষণ ব্যবহার করা যেতে পারে তা জানতে এটি গুরুত্বপূর্ণ (উদাহরণস্বরূপ উপকরণের ড্রিফ্ট)। আরও সাধারণভাবে, এটি প্রয়োগের সীমাটি নির্ধারণ করার জন্য এক্সট্রা পোলশন কর্মক্ষমতা পরিমাপ হিসাবে বর্ণনা করা যেতে পারে।

হোল্ড আউট প্রকৃত পক্ষে উপকারী হতে পারে এমন আরেকটি পরিস্থিতি হ'ল: প্রশিক্ষণ এবং পরীক্ষার ডেটা সঠিকভাবে পৃথক করা হয়েছে তা নিশ্চিত করা খুব সহজ - যাচাইকরণের পুনর্নির্মাণের চেয়ে অনেক সহজ: যেমন

1. বিভাজনের সিদ্ধান্ত নিন (উদাহরণস্বরূপ মামলার র্যান্ডম এ্যাসাইনমেন্ট করুন)
2. পরিমাপ করা
3. প্রশিক্ষণের কেসগুলির পরিমাপ এবং রেফারেন্স ডেটা => মডেলিং models মডেল হওয়া ব্যক্তির হাতে টেস্ট মামলার রেফারেন্স বা রেফারেন্সও দেওয়া হয় না।
4. চূড়ান্ত মডেল + বহির্ভূত মামলার পরিমাপ => পূর্বাভাস
5. আউট-আউট মামলার রেফারেন্সের সাথে পূর্বাভাসের তুলনা করুন।

আপনার যে বিচ্ছেদের স্তরের প্রয়োজন তা নির্ভর করে প্রতিটি পদক্ষেপ অন্য কারও দ্বারা করা যেতে পারে। প্রথম স্তর হিসাবে, কোনও মডেলারের কাছে পরীক্ষার কেসগুলির কোনও ডেটা (পরিমাপও নয়) হস্তান্তর না করা খুব নিশ্চিত হতে পারে যে কোনও পরীক্ষার ডেটা মডেলিংয়ের প্রক্রিয়াতে ফাঁস হয় না। দ্বিতীয় স্তরে, চূড়ান্ত মডেল এবং পরীক্ষার কেস পরিমাপ অন্য কারও হাতে হস্তান্তর করা যেতে পারে, ইত্যাদি।

হ্যাঁ, আপনি পুনরায় মডেলিং বৈধতার তুলনায় হোল্ড-আউট অনুমানের নিম্ন দক্ষতার দ্বারা তার জন্য অর্থ প্রদান করেন। তবে আমি অনেকগুলি কাগজপত্র দেখেছি যেখানে আমি সন্দেহ করি যে পুনর্নির্মাণের বৈধতা কেসগুলি যথাযথভাবে আলাদা করে না (আমার ক্ষেত্রে আমাদের প্রচুর গুচ্ছ / শ্রেণিবদ্ধ / গোষ্ঠীযুক্ত ডেটা রয়েছে)।

জমা দেওয়ার এক সপ্তাহ পরে পান্ডুলিপিটি প্রত্যাহার করে পুনর্নির্মাণের জন্য ডেটা ফাঁসের বিষয়ে আমার পাঠটি শিখেছি যখন আমার জানতে পেল যে আমার বিভাজক পদ্ধতিতে আমার পূর্বে সনাক্ত করা হয়নি (পাশাপাশি ক্রমুয়েশন পরীক্ষা চালিয়ে) ফাঁস হয়ে গেছে (সূচক গণনায় টাইপ))

ফলাফলগুলি সম্পর্কে একই স্তরের নির্দিষ্টতা অর্জনের জন্য কখনও কখনও হোল্ড-আউট পুনরায় মডেলিং কোড (যেমন ক্লাস্টার ডেটার জন্য) পরীক্ষা করতে সময় দিতে ইচ্ছুক এমন কাউকে খুঁজে পাওয়ার চেয়ে দক্ষ হতে পারে। যাইহোক, আইএমএইচও এটি পর্যায়ে না যাওয়ার আগে সাধারণত আপনি এটি করতে দক্ষ হন না যেখানে আপনি যাইহোক ভবিষ্যতের পারফরম্যান্স (প্রথম পয়েন্ট) পরিমাপ করতে হবে - অন্য কথায়, যখন আপনাকে যে কোনও উপায়ে বিদ্যমান মডেলের জন্য বৈধতা পরীক্ষা নিরীক্ষণের প্রয়োজন হয়।

ওটিওএইচ, ছোট নমুনা আকারের পরিস্থিতিগুলিতে হোল্ড-আউট কোনও বিকল্প নয়: পরীক্ষার ফলাফলগুলি প্রয়োজনীয় উপসংহারের জন্য পর্যাপ্ত সুনির্দিষ্ট হওয়ার জন্য আপনার যথেষ্ট পরীক্ষার কেস রাখা দরকার (মনে রাখবেন: শ্রেণিবিন্যাসের জন্য 3 টি পরীক্ষার মধ্যে 3 টি সঠিক মানে একটি দ্বিপদী 95% আত্মবিশ্বাসের ব্যবধান যা অনুমান করে 50:50 এর নীচে রয়েছে!) ফ্র্যাঙ্ক হ্যারেল কমপক্ষে সিএ-এর থাম্বের নিয়মকে নির্দেশ করবে একটি নির্ভুলতা যথাযথভাবে পরিমাপ করার জন্য 100 (পরীক্ষা) কেসগুলি প্রয়োজনীয় (যেমন সঠিকভাবে পূর্বাভাস দেওয়া মামলার ভগ্নাংশ] একটি দরকারী নির্ভুলতার সাথে।

---

আপডেট: এমন পরিস্থিতি রয়েছে যেখানে যথাযথ বিভাজন অর্জন বিশেষত কঠিন এবং ক্রস বৈধতা অপরিবর্তনীয় হয়ে পড়ে। সংখ্যক বিভ্রান্তকারীদের সাথে একটি সমস্যা বিবেচনা করুন। বিভক্ত করা সহজ যদি এই বিবাদকারীরা কঠোরভাবে বাসা বেঁধে থাকে (উদাহরণস্বরূপ অনেক রোগীর সাথে অধ্যয়ন প্রতিটি রোগীর বিভিন্ন নমুনা রয়েছে এবং প্রতিটি নমুনার কোষের একটি সংখ্যা বিশ্লেষণ করে): আপনি নমুনা স্তরক্রমের সর্বোচ্চ স্তরে বিভক্ত হন (রোগী-ভিত্তিক) । তবে আপনার কাছে স্বতন্ত্র কনফন্ডার থাকতে পারে যা নেস্টেড নয়, যেমন পরীক্ষা-নিরীক্ষা চলমান বিভিন্ন পরীক্ষার ফলে দিনের বেলা বিভিন্নতা বা বৈকল্পিকতা। তারপর আপনি নিশ্চিত বিভক্ত জন্য স্বাধীন করতে হবে সবসর্বোচ্চ স্তরের কনফাউন্ডার্স (নেস্টেড বিভ্রান্তকারীরা স্বয়ংক্রিয়ভাবে স্বাধীন হবে)। এটির যত্ন নেওয়া খুব কঠিন যদি কিছু বিভ্রান্তকারীদের কেবল অধ্যয়নের সময় চিহ্নিত করা হয়, এবং কোনও বৈধতা পরীক্ষার নকশা করা এবং সম্পাদন করা বিচ্ছিন্নতার সাথে কাজ করার চেয়ে আরও কার্যকর হতে পারে যা প্রশিক্ষণের জন্য বা সরোগেট মডেলগুলির পরীক্ষার জন্য প্রায় কোনও তথ্য রাখে না।

Comments

আমি আশা করি এই অত্যন্ত উত্তরের জন্য আমি +1 এরও বেশি দিতে পারতাম। আমি আপনার বিশেষভাবে ডেটা ফাঁসের সাথে আপনার সমস্যার উল্লেখ উল্লেখ করে পছন্দ করেছি কারণ এটি কার্যকরভাবে ব্যাখ্যা করে যে এটি তাত্পর্যপূর্ণ হতে পারে না এমনকি এমনকি বিশেষজ্ঞরাও এ জাতীয় সমস্যা থেকে বেরিয়ে আসেন না। এটি একটি ভাল বাস্তবতা পরীক্ষা!

— মার্ক ক্লিসেন

আপনি ভিক্ষা করছেন না? হ্যাঁ, বিভ্রান্তিকর কারণে বিভক্ত হওয়া শক্ত, তবে আপনি একক হোল্ড-আউট বৈধতা বা কে-ফোল্ড ক্রস-বৈধতা যাচ্ছেন তা নির্বিশেষে এটি শক্ত নয় isn't (নির্বিশেষে একটি অন্তর্দৃষ্টিপূর্ণ উত্তরের জন্য ধন্যবাদ!)

— নীল ভন বার্থ

@ নীলসভন বার্থ: আমি দেখতে পাচ্ছি না যে আমার যুক্তিগুলি বিজ্ঞপ্তিযুক্ত: ওপি "কেন [আদৌ] হোল্ড-আউট বৈধতা ব্যবহার করে" জিজ্ঞাসা করে, এবং আমি অনেকগুলি ব্যবহারিক কারণ দিয়েছি। সীমিত সংখ্যক মামলার পরিসংখ্যানগত দিক থেকে সর্বাধিক দক্ষ ব্যবহার অধ্যয়ন নকশার সর্বাধিক গুরুত্বপূর্ণ সম্পত্তি নয়। (যদিও আমার অভিজ্ঞতায় এটি প্রায়শই অত্যন্ত সীমাবদ্ধ কেস সংখ্যার কারণে: আমি অনেক বেশি বার বার হোল্ড-আউট এর পরিবর্তে পুনরাবৃত্ত / পুনরাবৃত্ত কে-ফোল্ড সিভি দেওয়ার পরামর্শ দিচ্ছি)। কিছু বিস্ময়করদের জন্য শারীরিক বিভাজন সম্ভব এবং সহজ - এবং স্নিগ্ধ-প্রাকদর্শনগুলি প্রতিরোধের একটি খুব কার্যকর উপায়। আমরা এটি দ্বিগুণভাবে খুঁজে পাব কিনা কে জানে ...

— cbeleites

অন্ধের পরিসংখ্যান সংক্রান্ত ডেটা বিশ্লেষণের প্রয়োজন হতে পারে কোনও সময়ে খুব বেশি মিথ্যা ইতিবাচক কাগজগুলির বিরুদ্ধে?

— cbeleites

@ নীলসনবার্থ: স্বাধীনতার গ্যারান্টি সহ হোল্ড আউট নিয়ে সতর্কতা: এমনভাবে হোল্ড-আউট বাস্তবায়ন করা সহজ ( মামলার শারীরিকভাবে ধরে রাখা, যেমন পরীক্ষার নমুনা ফেলে দেওয়া হয় এবং কেবলমাত্র মডেল প্রশিক্ষণ শেষ হওয়ার পরে পরিমাপ করা হয়), তবে হোল্ড আউট শব্দটি প্রায়শই তথ্যের একক এলোমেলো বিভক্তির মতো ব্যবহৃত হয় - এবং তারপরে বিভাজনে ভুল করার সমস্ত সম্ভাবনাও হোল্ড-আউট দিয়ে তৈরি করা যায়!

— cbeleites

Answer 3

এটি পরিভাষাটি কিছুটা সাফ করার জন্য দরকারী হতে পারে। যদি আমরা (বা সমান) চেয়ে কম সংখ্যক হতে পারি যেখানে নমুনা আকার হয় এবং আমরা নমুনাটিকে অনন্য সাবমেরিতে বিভক্ত করি , তবে আপনি হোল্ড-আউটকে যাচাইকরণ বলছেন তা আসলে মাত্র 2-ভাঁজ ( = 2) ) ক্রস বৈধতা. ক্রস-বৈধকরণ কেবলমাত্র কোনও নির্দিষ্ট মডেলের আউট-অফ-নমুনা ত্রুটি হার (বা সাধারণকরণযোগ্যতা) অনুমান করার জন্য একটি সরঞ্জাম। বহির্মুখী নমুনা ত্রুটি হারটি অনুমান করার প্রয়োজনীয়তা একটি সাধারণ এবং এটি একটি সম্পূর্ণ সাহিত্য তৈরি করেছে। প্রারম্ভিকদের জন্য, দেখুন ESL এর 7 অধ্যায় ।এন এন কে $k$$n$$n$$k$$k$

সুতরাং প্রশ্নের উত্তর দিতে:

1. কেন এটি সম্পর্কে কথা বলুন? Pedagogically। হোল্ড-আউট বৈধতাটিকে একটি বিশেষ হিসাবে বিবেচনা করা উপযুক্ত - এবং কেবলমাত্র মাঝে মধ্যে দরকারী - অনেকগুলি, বহু বৈচিত্রের সাথে অন্যথায় বেশ কার্যকর পদ্ধতির ক্ষেত্রে।

2. কেন এটি ব্যবহার করবেন? যদি কোনও ব্যক্তি যদি ভাগ্যবান ডেটাসেট (পর্যবেক্ষণের ক্ষেত্রে, ) রাখার পক্ষে যথেষ্ট ভাগ্যবান হয় তবে ডেটাটিকে অর্ধেক করে দেওয়া - এক অর্ধে প্রশিক্ষণ এবং অন্যটিতে পরীক্ষা করা - তা বোঝায়। এটি গণনাগত কারণে বোধগম্য হয় যেহেতু প্রয়োজনীয় সমস্তগুলি একবার উপযুক্ত এবং একবার পূর্বাভাস ( বারের চেয়ে )। আপনার "মডেলটিকে ফিট করার জন্য আপনার কাছে প্রচুর পর্যবেক্ষণ রয়েছে বলে এটি" বৃহত-নমুনা অনুমান "দৃষ্টিকোণ থেকে বোঝা যায়।$n$$k$

একটি নিয়ম-অফ-থাম্ব আমি শিখেছি হল: যখন বড়, ছোট হতে পারে, কিন্তু ছোট, পাসে হওয়া উচিত ।কে এন কে $n$$k$$n$$k$$n$

Comments

আমি মনে করি না যে হোল্ডআউটটি 2 ভাঁজ বৈধতার সমান, কারণ 2 ভাড়ার বৈধতাতে আপনি দুটি মডেল ফিট করবেন এবং তারপরে দুটি হোল্ডআউট সেট জুড়ে ত্রুটিগুলি গড়বেন।

— অ্যালেক্স

Answer 4

যদি আপনার মডেল নির্বাচন এবং ফিটিং পদ্ধতি কোডড করা যায় না কারণ এটি বিষয়গত বা আংশিকভাবে হয়, - গ্রাফগুলি এবং এর মতো — হোল্ড-আউট বৈধতাটি অনুসন্ধান করা ভাল করতে পারেন আপনার পক্ষে সেরা। (আমি মনে করি আপনি প্রতিটি সিভি ফোল্ডে সম্ভবত মেকানিকাল টার্কের মতো কিছু ব্যবহার করতে পারেন, যদিও এর কাজটি আমি কখনও শুনে নি heard)

Answer 5

ক্রস-বৈধতা সম্পর্কিত স্ট্যানফোর্ডে আমাদের সিএস 229 ক্লাসে অ্যান্ড্রু এনজি উল্লেখ করেছেন এমন কিছু সহজ নির্দেশিকা কেবল যুক্ত করতে চেয়েছিলেন। এই তাঁর নিজের কাজে অনুসরণ করা অনুশীলনগুলি।

যাক আপনার ডেটাসেটে নমুনার সংখ্যা হতে। যদি লেভ-ওয়ান-আউট ক্রস বৈধতা ব্যবহার করে।মি ≤ $m$$m\le 20$

যদি কমপিটেশনাল ব্যয়কে মাথায় রেখে তুলনামূলকভাবে বড় ব্যবহার করে কে-ফোল্ড ক্রস বৈধতা ব্যবহার করে ।কে ≤ $20 < m \le 100$$k \le m$

যদি নিয়মিত কে-ফোল্ড ক্রস বৈধকরণ । বা, যদি পর্যাপ্ত পরিমাণ বিদ্যুৎ ও না থাকে তবে হোল্ড-আউট ক্রস বৈধতা ব্যবহার করুন।( কে = 5 ) এম > 10 , $100 < m \le 1,000,000$$(k = 5)$$m > 10,000$

যদি হোল্ড-আউট ক্রস বৈধতা ব্যবহার করে তবে গণনা শক্তি উপলব্ধ থাকলে আপনি যদি কে মডেলটির বাইরে থাকা অতিরিক্ত পারফরম্যান্সটি গ্রাস করতে চান তবে আপনি কে-ফোল্ড ক্রস বৈধকরণ ব্যবহার করতে পারেন ।( কে = 5 $m \ge 1,000,000$$(k = 5)$

Answer 6

সংক্ষিপ্ত উত্তর:

আমি সর্বদা সিভি ব্যবহারের জন্য কমপক্ষে ব্যবহার করার পরামর্শ দিচ্ছি :$k=5$

• জটিল মডেল
• বৈধতা সীমাবদ্ধতা মেনে চলতে হবে এমন চূড়ান্ত ফলাফল

আপনি এ জন্য শিথিল করতে পারেন:

• সত্যিই বড় ডেটাসেটের উপর প্রশিক্ষণ
• সহজ মডেল প্রশিক্ষণ
• সময় যখন একটি সমস্যা হয় তখন প্রোটোটাইপিং

আপনারা কয়েকজন উল্লেখ করেছেন, আর এটিকে প্রোগ্রামিং করা কোনও সমস্যা হতে পারে। আমি আপনাকে "এমএলআর" প্যাকেজটি একবার দেখার পরামর্শ দিচ্ছি । এটি একটি ইউনিফাইড ইন্টারফেসে বিভিন্ন প্যাকেজগুলিকে আবৃত করে, সত্যই উন্নত পুনরায় মডেলিং এবং কার্য সম্পাদন মূল্যায়নের পদ্ধতি সরবরাহ করে।

এক নজরে দেখুন: http://mlr-org.github.io/mlr-tutorial/release/html/resample/ এবং: http://mlr-org.github.io/mlr-tutorial/re कृपया / html / performance/ index.htm

আরও কিছু ব্যাখ্যা - সিভি আসলে কী করে তা হ'ল পক্ষপাত বৈষম্য ট্রেড অফ:

এখন, উভয় পদ্ধতির যে সমস্যাটি সমাধান করার চেষ্টা করছে তা হ'ল সাধারণীকরণের ত্রুটিটি অনুমান করা, যা কোনও মডেলকে প্রশিক্ষণের জন্য ব্যবহৃত ডেটার শর্তাধীন।

পক্ষপাত এবং বৈকল্পিকতায় হোল্ডআউটে সমস্যা রয়েছে:

আমরা আরও ছোট পরিমাণে যে পরিমাণ ডেটা পরীক্ষা করি তা তৈরি করে আমরা আমাদের আনুমানিক জেনারেলাইজেশন ত্রুটির সাথে বৈচিত্রটি প্রবর্তন করি, কারণ পরীক্ষার ডেটা অন্তর্নিহিত বিতরণটিকে খুব ভালভাবে আর উপস্থাপন করতে পারে না। এটি নিজেই পক্ষপাতিত্ব প্রবর্তন করে না, যেমনটি প্রত্যাশায় অনুমান করা কার্যকারিতাটি সঠিক হবে।

প্রশিক্ষণের সেটটি আরও ছোট করে নেওয়া একটি হতাশাবাদী পক্ষপাতিত্বের পরিচয় দেয়, কারণ আবার অন্তর্নিহিত বিতরণটি ডেটাতে ভালভাবে উপস্থাপন করা হয় না এবং মডেলটিও ডেটা ফিট করতে পারে না। প্রশিক্ষণের সেটটি খুব ছোট করে তোলাও বৈচিত্রের পরিচয় দেয়।

প্রশিক্ষণের আকার এবং পরীক্ষার সেট একে অপরকে নির্ধারণ করে, এটি আমাদেরকে ট্রেড অফের সাথে ফেলে দেয়: হতাশাবাদী পক্ষপাত বনাম উচ্চ বৈচিত্র্য।

k - $k$ ফোল্ড ক্রস বৈধকরণ প্রশিক্ষণটি বড় করে রেখে এই সমস্যাটিকে মোকাবেলা করে ( প্রতিটি পুনরাবৃত্তিতে প্রশিক্ষণের জন্য ডেটার একটি ভগ্নাংশ ব্যবহৃত হয়) এবং পুনরায় মডেলিংয়ের মাধ্যমে পরীক্ষার ত্রুটির বৈকল্পিকতা নিয়ে কাজ করে । সমস্ত পুনরাবৃত্তির পরে, আমরা একজন শিক্ষার্থীর সাথে ডেটাসেটের প্রতিটি পর্যবেক্ষণে পারফরম্যান্স পরীক্ষা করেছি। স্পষ্টতই, এর জন্য সহজ হোল্ডআউটের চেয়ে বেশি গণনার সময় প্রয়োজন।$\frac{k-1}{k}$

আরও জটিল (উচ্চ বৈকল্পিক) শিক্ষার্থীদের জন্য ক্রস-ভ্যালিডিটিং বিশেষভাবে গুরুত্বপূর্ণ। এগুলি সাধারণত কম্পিউটারের চেয়েও বেশি ব্যয়বহুল, যা পুরো প্রক্রিয়াটিকে বেশ সময় নিবিড় করে তুলতে পারে।

Answer 7

এই সমস্ত দরকারী মন্তব্য। শুধু আরও একাউন্টে নিতে। যখন আপনার পর্যাপ্ত ডেটা থাকে, হোল্ড-আউট ব্যবহার করে কোনও নির্দিষ্ট মডেল (একটি নির্দিষ্ট এসভিএম মডেল, একটি নির্দিষ্ট কার্ট মডেল ইত্যাদি) মূল্যায়ন করার একটি উপায়, আপনি যদি অন্য ক্রস-বৈধকরণ পদ্ধতি ব্যবহার করেন তবে আপনি পদ্ধতিগুলি মূল্যায়ন করছেন (আপনার সমস্যার পরিস্থিতিতে) ) মডেলগুলির চেয়ে বরং (এসভিএম পদ্ধতি, কার্ট পদ্ধতি, ইত্যাদি)।

আশা করি এটি সহায়ক!

Answer 8

সময়ের গুরুতর ডেটা সহ মডেলিং করা আমার ব্যতিক্রম। পূর্ববর্তী ডেটার উপর ভিত্তি করে আপনার ভবিষ্যতের পূর্বাভাস দেওয়ার প্রয়োজন হলে কে ভাঁজ কিছু ক্ষেত্রে কাজ করতে পারে না। পরীক্ষার সেটগুলি ভবিষ্যতের ডেটা হতে হবে এবং আপনি প্রশিক্ষণ পর্বে কখনই এগুলিকে স্পর্শ করতে পারবেন না। প্রাক্তন বিক্রয় বা শেয়ার বাজারের পূর্বাভাস। হোল্ড আউট এই ক্ষেত্রে দরকারী।

Comments

সময় গুরুতর তথ্য?

— nbro

Answer 9

সহজভাবে করা; সময়। ক্রস-বৈধতা আপনি প্রশিক্ষণ রুটিন কে বার চালান (অর্থাত্ প্রতিটি হোল্ড আউট সেট জন্য একবার)। যদি আপনার কাছে বড় ডেটা থাকে, তবে কেবলমাত্র একটি ডেটা সেট সেট করার জন্য আপনাকে মডেলটিকে প্রশিক্ষণ দিতে অনেক ঘন্টা বা এমনকি কয়েক দিন সময় লাগতে পারে, সুতরাং ক্রস-বৈধতা ব্যবহার করার সময় আপনি কে দিয়ে গুন করেন।

সুতরাং যদিও ক্রস-বৈধকরণ সর্বোত্তম পদ্ধতি, নির্দিষ্ট পরিস্থিতিতে এটি সম্ভবপর নয়, এবং আরও ভাল মডেল পাওয়ার জন্য বিভিন্ন উপায়ে ডেটা মডেলিং করতে, বা বিভিন্ন ক্ষতির ফাংশনগুলি চেষ্টা করার জন্য সময়টি আরও ভালভাবে ব্যয় করা হত।

আমার ব্যক্তিগত পছন্দটি হ'ল ডেটা সেট জুড়ে যাচাইকরণের ডেটা নেওয়া, সুতরাং ডেটার মাথা বা লেজ থেকে একক 10% অংশ না নিয়ে আমি ডেটা সেটে 5 পয়েন্ট থেকে 2% নিই take যা বৈধতা ডেটা পুরো হিসাবে ডেটা আরও কিছু প্রতিনিধি করে তোলে।

Comments

যদিও এটি একটি পুরানো প্রশ্ন এবং একটি নতুন উত্তর, আমি এটিকে ভোট দিচ্ছি কারণ এটি "কে-ভাঁজ আরও সুনির্দিষ্ট তবে সামান্য পরিমাণে গণনামূলকভাবে ব্যয়বহুল" এই ভিত্তিহীন দাবিকে চ্যালেঞ্জ জানায়, যা অন্য উত্তরগুলি উপেক্ষা করছে বা খুব তাড়াতাড়ি পেরিয়ে যাচ্ছে।

— ল্যাকোনিক

Answer 10

এটি লক্ষ করা উচিত যে ক্রস-বৈধতা প্রয়োগ করা সর্বদা সম্ভব নয়। সময় নির্ভর ডেটাসেটগুলি বিবেচনা করুন যেমন আপনি ভবিষ্যতের আচরণের জন্য ভবিষ্যদ্বাণীপূর্ণ মডেলটি প্রশিক্ষণের জন্য historicalতিহাসিক ডেটা ব্যবহার করতে চান। এই ক্ষেত্রে, আপনাকে হোল্ড-আউট বৈধতা প্রয়োগ করতে হবে।

Comments

এই ক্ষেত্রে, আপনার ফরওয়ার্ড বৈধতা করা উচিত।

— নিল জি