কে-ভাঁজ ক্রস-বৈধকরণে কে এর পছন্দ

Question

আমি ব্যবহার করছি কিছু শেখার আলগোরিদিম কর্মক্ষমতা নির্ণয় করা কয়েক বার এখন ধা ক্রস বৈধতা, কিন্তু আমি সবসময় আমি মান নির্বাচন করা উচিত হিসেবে হতভম্ব করে থাকেন ।$K$$K$

আমি প্রায়শই মান দেখেছি এবং ব্যবহার করেছি , তবে এটি আমার কাছে সম্পূর্ণ স্বেচ্ছাচারী বলে মনে হয় এবং আমি এখন এটির উপর চিন্তা না করে কেবল অভ্যাসের দ্বারা ব্যবহার করি। আমার কাছে মনে হচ্ছে আপনি এর মান বাড়ানোর সাথে সাথে আপনি আরও ভাল গ্রানুলারিটি পেয়ে যাচ্ছেন , সুতরাং আদর্শিকভাবে আপনার খুব বড় করা উচিত , তবে পক্ষপাতদুষ্ট হওয়ার ঝুঁকিও রয়েছে।$K = 10$$10$$K$$K$

আমি জানতে চাই যে এর মান নির্ভর করবে এবং আমি যখন আমার অ্যালগরিদম মূল্যায়ন করব তখন কীভাবে এ সম্পর্কে চিন্তা করা উচিত। আমি ক্রস-বৈধকরণের স্তরিত সংস্করণ ব্যবহার করি কিনা তা কি কিছু পরিবর্তন করে ?$K$

Comments

একটি খুব সম্পর্কিত নতুন থ্রেড: কে-ভাঁজ ক্রস-বৈধকরণে ভাঁজগুলির সর্বোত্তম সংখ্যা: ছেড়ে যাওয়া এক-আউট সিভি সেরা পছন্দ কি?

— অ্যামিবা

Answer 1

এর পছন্দটি কিছুটা স্বেচ্ছাসেবী। আমি কীভাবে স্থির করব তা এখানে :$k = 10$$k$

• প্রথমত, সিভি ফলাফলের বৈকল্পিকতা হ্রাস করতে, আপনি নতুন এলোমেলো বিভাজনগুলি দিয়ে সিভি পুনরাবৃত্তি / পুনরাবৃত্তি করতে এবং করতে পারেন should
  এটি যেহেতু আপনি অনেকগুলি মডেল গণনা করতে চান হিসাবে উচ্চ => আরও গণনার সময়কে মূলত অপ্রাসঙ্গিক যুক্তি তোলে । আমি মূলত গণনা করা মোট মডেলের সংখ্যা (বুটস্ট্র্যাপিংয়ের সাথে সাদৃশ্য) বিবেচনা করি। সুতরাং আমি 100 x 10-ভাঁজ সিভি বা 200 এক্স 5-ফোল্ড সিভিতে সিদ্ধান্ত নিতে পারি।$k$

• @ogrisel ইতিমধ্যে ব্যাখ্যা করেছে যে সাধারণত বড় মানে কম ( হতাশবাদী ) পক্ষপাতিত্ব। (কিছু ব্যতিক্রম বিশেষত জন্য পরিচিত , যেমন- একত্রে ছেড়ে দিন)।$k$$k = n$

• যদি সম্ভব হয় তবে আমি একটি ব্যবহার করি যা নমুনার আকারের বিভাজক, বা নমুনার মধ্যে থাকা গ্রুপগুলির আকারকে স্তরিত করা উচিত।$k$

• খুব বড় অর্থ হ'ল কেবলমাত্র কম সংখ্যক নমুনা সংমিশ্রণ সম্ভব, সুতরাং পৃথক পুনরাবৃত্তির সংখ্যা সীমিত করে।$k$

  • ছুটি-ও-আউট-এর জন্য: বিভিন্ন মডেল / পরীক্ষার নমুনা সংমিশ্রণগুলি সম্ভব। আইটেমগুলি মোটেই বোঝা যায় না।$\binom{n}{1} = n = k$
  • যেমন এবং : বিভিন্ন মডেল / পরীক্ষার নমুনার সংমিশ্রণ বিদ্যমান। আপনি এখানে সম্ভাব্য সমস্ত সংমিশ্রনের মধ্য দিয়ে যাবেন বলে বিবেচনা করতে পারেন কারণ ফোল্ড সিভির 19 টি পুনরাবৃত্তি বা মোট 190 টি মডেল খুব বেশি নয়।$n = 20$$k = 10$$\binom{n=20}{2} = 190 = 19 ⋅ k$$k$

• এই চিন্তার ছোট ছোট নমুনা মাপের সাথে আরও ওজন থাকে। আরো নমুনার সাথে উপলব্ধ খুব কোন ব্যাপার না। সংযুক্তির সম্ভাব্য সংখ্যা শীঘ্রই যথেষ্ট পরিমাণে বড় হয়ে যায় তাই (বলুন) 10-ভাঁজ সিভি 100 টি পুনরাবৃত্তিগুলি সদৃশ হওয়ার বড় ঝুঁকিটি চালায় না। এছাড়াও, আরও প্রশিক্ষণের নমুনাগুলির সাধারণত অর্থ হল যে আপনি শেখার বক্ররের চাটুকারপূর্ণ অংশে রয়েছেন, সুতরাং সরোগেট মডেল এবং সমস্ত নমুনায় প্রশিক্ষিত "বাস্তব" মডেলের মধ্যে পার্থক্য নগণ্য হয়ে যায়।$k$$n$

Comments

(+1) ব্যাখ্যার জন্য, কিন্তু (-1) সিভি-র পুনরাবৃত্তি গণনাগুলির জন্য। এটি সত্য, সঠিক নকল তৈরি করার ঝুঁকি (পর্যবেক্ষণগুলির আইডির দিকে নজর দেওয়া) ছোট (যথেষ্ট পরিমাণে ডেটা দেওয়া ইত্যাদি) তবে প্যাটার্ন / ডেটা স্ট্রাকচার ডুপ্লিকেট তৈরি করার ঝুঁকি খুব বেশি। আমি 10 বারের বেশি কোনও সিভি পুনরুক্ত করবো না, কে কী তা বিবেচনা করুন না ... কেবল বৈকল্পিকের অবমূল্যায়ন এড়াতে।

— স্টেফেন

@ স্টেফেন, ওগ্রিসেল ইতিমধ্যে কী নির্দেশ করেছে: যে (সারোগেট) মডেলগুলি আসলে স্বাধীন নয়? আমি সম্পূর্ণরূপে একমত যে এই ক্ষেত্রে। প্রকৃতপক্ষে, আমি ফলাফলগুলি (সারোগেট) মডেলগুলির স্থায়িত্বের শর্তাবলী ব্যাখ্যা করে বিবেচনায় নেওয়ার চেষ্টা করি। "কয়েকটি" নমুনা বিনিময় (যা আমি এখানে বিশদভাবে বলতে চাই না - তবে দেখুন stats.stackex بدل . com/a/26548/4598 )। এবং আমি স্ট্যান্ডার্ড ত্রুটি গণনা করি না বরং প্রতিবেদন করি যেমন মধ্যবর্তী এবং errors থেকে পুনরাবৃত্তির উপর পর্যবেক্ষণ ত্রুটিগুলির পারসেন্টাইল। আমি সে সম্পর্কে একটি পৃথক প্রশ্ন পোস্ট করব। $5^{th}$$95^{th}$

— cbeleites

আমি দেখি. আমি সম্মত হই যে সরোগেটের স্থিতিশীলতা অনুমান করার জন্য পদ্ধতিটি বৈধ। আমি যে বিষয়টি মনে রেখেছিলাম তা হ'ল একটি মডেল অন্য একটিকে ছাড়িয়ে যায় কিনা তা সিদ্ধান্ত নেওয়ার জন্য ফলো-আপ-পরিসংখ্যান পরীক্ষা। সিভি উপায়ে পুনরুক্তি করা প্রায়শই আলফা ত্রুটির সম্ভাবনা অবিশ্বাস্যভাবে বাড়িয়ে তোলে। সুতরাং আমি বাইরের বৈধতার সাথে অভ্যন্তরকে বিভ্রান্ত করছি (যেমন ডিকরান এটি এখানে দিয়েছেন )।

— স্টেফেন

@ কেবেলাইটস: আমি আপনার সাথে একমত সীমাবদ্ধ নমুনার আকারের কারণে বৈকল্পিকতা সাধারণত মডেল অনিশ্চয়তার উপরে প্রাধান্য পায়।

— jpcgandre

@jpcgandre: সংবেদনশীলতা, নির্দিষ্টতা ইত্যাদির মতো শ্রেণিবিন্যাস ত্রুটির জন্য অন্তত পরীক্ষিত কেসের সংখ্যার কারণে অনিশ্চয়তা গণনা করা যায়। যদিও এটি সত্য যে এটি আমার বিবর্তনের একমাত্র অংশ, কমপক্ষে আমার কাজগুলির মধ্যে আমি যে পরিস্থিতিগুলির মুখোমুখি হই in এই অনিশ্চয়তা প্রায়শই এত বড় যে এমনকি একটি মোটামুটি অনুমানও যথেষ্ট তা পরিষ্কার করার পক্ষে যে সিদ্ধান্তগুলি কঠোরভাবে সীমাবদ্ধ। এবং এই সীমাবদ্ধতা থেকে যায়, এটি 40x 10-ভাঁজ ক্রস বৈধতার পরিবর্তে 50x 8-گنا বা 80x 5-ভাঁজ ব্যবহার করে দূরে যাবে না।

— cbeleites

Answer 2

লার্জ কে এর অর্থ সত্য প্রত্যাশিত ত্রুটিটিকে বেশি মূল্যায়ন করার দিকে কম পক্ষপাতিত্ব (যেমন প্রশিক্ষণের ভাঁজগুলি মোট ডেটাসেটের কাছাকাছি হবে) তবে উচ্চতর বৈকল্পিক এবং উচ্চতর চলমান সময় (আপনি সীমা ক্ষেত্রে যেমন কাছাকাছি চলে আসছেন: লেভ-ওয়ান-আউট সিভি)।

যদি শেখার বক্ররেখার opeাল মোট প্রশিক্ষণ_সাইজ = 90% মোট ডেটাসেটে যথেষ্ট সমতল হয়, তবে পক্ষপাত উপেক্ষা করা যেতে পারে এবং কে = 10 যুক্তিসঙ্গত।

উচ্চতর কে আপনাকে অনুমানের উপর আরও নির্ভুল আত্মবিশ্বাসের ব্যবধান অনুমান করার জন্য আরও নমুনা দেয় (সিভি পরীক্ষার ত্রুটিগুলি বিতরণ করার স্বাভাবিকতা ধরে রেখে প্যারামেট্রিক স্ট্যান্ডার্ড ত্রুটি ব্যবহার করে বা প্যারামেট্রিক নন প্যারামেট্রিক বুটস্ট্র্যাপ সিআই ব্যবহার করে যা আইড অনুমান যা আসলে খুব সত্য নয় সিভি ভাঁজগুলি একে অপরের থেকে স্বতন্ত্র নয়)।

সম্পাদনা করুন: অবমূল্যায়ন => সত্য প্রত্যাশিত ত্রুটিটিকে বেশি মূল্যায়ন করা

সম্পাদনা করুন: বড় কে বা এলইউসিভি-র জন্য উচ্চতর বৈচিত্র সম্পর্কে এই উত্তরের অংশটি সম্ভবত ভুল (সর্বদা সত্য নয়)। এই উত্তরে সিমুলেশনগুলির সাথে আরও বিশদ: লিভ-ওয়ান-আউট বনাম কে-ভাঁজ ক্রস বৈধকরণের বাইয়াস এবং বৈকল্পিকতা (ধন্যবাদ এই কাজের জন্য জেভিয়ার বুরেট সিকোট)।

Comments

আপনি বড় সঙ্গে উচ্চতর বৈচিত্র সম্পর্কে কিছুটা ব্যাখ্যা করতে পারেন ? প্রথম অনুমান হিসাবে আমি বলেছি যে সিভি ফলাফলের মোট বৈকল্পিকতা (= সার্গেট মডেলের যে কোনও একটি দ্বারা পরীক্ষিত সমস্ত নমুনাগুলি থেকে কিছু ধরণের ত্রুটি গণনা করা হয়েছে ) = কেবলমাত্র নমুনাগুলি পরীক্ষার কারণে বৈকল্পিক + পার্থক্যের কারণে পার্থক্য মডেল (অস্থিরতা)। আমি কী মিস করছি? $k$$n$$k$$n$$k$

— cbeleites

বৈকল্পিকতার অর্থ আমার অর্থ সিভি ফোল্ডের ত্রুটিগুলি মিডিয়াকে গ্রহণ করে প্রাপ্ত সিভি ফোল্ডের জুড়ে নয়, "সত্য বিতরণ" এর মধ্য দিয়ে নেওয়া অনুমানিত প্রত্যাশিত পরীক্ষার ত্রুটির বৈচিত্র mean যখন কে বড় হবে আপনি এলইও-সিভির নিকটবর্তী হন যা আপনার হাতে থাকা বিশেষ প্রশিক্ষণের সেটের উপর খুব নির্ভর করে: নমুনাগুলির সংখ্যা যদি কম হয় তবে সত্যিকারের বন্টনের এতটা প্রতিনিধিত্ব করা যায় না তাই বৈকল্পিক। যখন কে বড় হয়, কে-ফোল্ড সিভি প্রশিক্ষণ সংস্থার যেমন স্বেচ্ছাসেবী হার্ড নমুনাগুলি অনুকরণ করতে পারে।

— ogrisel

সংযোজন হিসাবে: কোহাবী তাঁর পিএইচডি থিসিসের ৩ য় অধ্যায়ে বৈধতার ক্ষেত্রে পক্ষপাত-বৈচিত্র্য-বাণিজ্য সম্পর্কে অধ্যয়ন করেছেন । আমি এটি উচ্চ প্রস্তাব।

— স্টিফেন

+1, বিটিডব্লিউ "বৃহত্তর কে মানে উচ্চতর বৈকল্পিকতা", যেমনটি আমি বুঝতে পেরেছি, বড় দিয়ে সমস্ত প্রশিক্ষণের সেটগুলিতে প্রচুর পরিমাণে প্রচলিত ডেটা থাকবে, সুতরাং প্রশিক্ষিত মডেলগুলি কিছুটা সম্পর্কযুক্ত হবে, ফলস্বরূপ সংযুক্তি পরীক্ষার ত্রুটিগুলি হবে , সুতরাং পরীক্ষার ত্রুটির গড় উচ্চতর হবে, তাই না? $K$$K$$K$$K$

— অ্যাভোকাডো

হ্যাঁ আমি মনে করি এটি একটি সঠিক স্বজ্ঞাত।

— ogrisel

Answer 3

Kসঠিকতা এবং জেনারালাইজেশন কীভাবে প্রভাবিত করে তা আমি জানি না এবং এটি শেখার অ্যালগরিদমের উপর নির্ভর করে, তবে এটি প্রশিক্ষণের উদাহরণগুলির সংখ্যার মধ্যে অ্যালগোরিদমিক জটিলতা রৈখিক সহ অ্যালগরিদমগুলি প্রশিক্ষণের জন্য গণ্য জটিলতা প্রায় লাইনারি (অ্যাসিপোটোটিক্যালি, লিনিয়ারলি) প্রভাবিত করে। প্রশিক্ষণের জন্য গণনার সময় প্রশিক্ষণের K-1সময়গুলি লেনদেনের সময়গুলি বৃদ্ধি করে । সুতরাং ছোট প্রশিক্ষণ সেটগুলির জন্য আমি নির্ভুলতা এবং সাধারণীকরণের দিকগুলি বিবেচনা করব, বিশেষত আমাদের দেওয়া হয়েছে যে সীমিত সংখ্যক প্রশিক্ষণের উদাহরণগুলির মধ্যে আমাদের সবচেয়ে বেশি লাভ করা দরকার।

যাইহোক, প্রশিক্ষণের সংখ্যার সংখ্যায় (কমপক্ষে রৈখিক) উচ্চ সংশ্লেষগত গণসংযোগ জটিলতা বৃদ্ধির সাথে বৃহত প্রশিক্ষণ সেট এবং অ্যালগরিদম শিখার জন্য, আমি কেবলমাত্র নির্বাচন করেছি K=2যাতে সংখ্যায় অ্যাসিম্পটোটিক জটিলতা রৈখিক সহ একটি প্রশিক্ষণ অ্যালগরিদমের জন্য কম্পিউটেশনাল সময়ের কোনও বৃদ্ধি না ঘটে I প্রশিক্ষণের উদাহরণ।

Answer 4

সমাধান:

K = N/N*0.30

• এন = ডেটা সেট আকার
• কে = ভাঁজ

মন্তব্য: আপনি নিজের টেস্ট সেট হিসাবে যে আকার চয়ন করতে চান তার উপর নির্ভর করে আমরা 30% এর পরিবর্তে 20% বেছে নিতে পারি।

উদাহরণ:

যদি ডেটা সেট আকার: এন = 1500; কে = 1500/1500 * 0.30 = 3.33; আমরা কে বা মান 3 বা 4 হিসাবে বেছে নিতে পারি

বিঃদ্রঃ:

লভ ওয়ান-এ বড় কে-এর মান ক্রস-বৈধকরণের ফলে ওভার-ফিটিং হয়। লিভ ওয়ান-এ ছোট কে-এর মান ক্রস-বৈধকরণের ফলে আন্ডার-ফিটিং হবে।

পন্থা নির্বোধ হতে পারে তবে বিভিন্ন মাপের ডেটা সেট করার জন্য কে = 10 বেছে নেওয়ার চেয়ে ভাল।

Comments

(-1)সুতরাং আপনি সর্বদা নমুনা আকার নির্বিশেষে কে = 3 বা 4 ব্যবহার করার পরামর্শ দিচ্ছেন - এটি আইএমএইচও নমুনা আকার নির্বিশেষে সমানভাবে কে = 10 ব্যবহার করা থেকে আলাদা নয়। $\frac{N}{N \cdot 0.3} = \frac{1}{0.3} \approx 3.33 = const.$

— cbeleites

কে = এন / এন * 0.3 = 10/3 যা একটি ধ্রুবক। সুতরাং প্রতিটি অবস্থার জন্য সেই মানটি ব্যবহার করা যৌক্তিক নয়।

— কমল থাপা