ট্রেন / বৈধ / পরীক্ষা সেটটিতে গড় বিয়োগ সম্পর্কে প্রশ্ন

Question

আমি ডেটা প্রিপ্রোসেসিং করছি এবং পরে আমার ডেটাতে একটি কনভনেট তৈরি করতে যাচ্ছি।

আমার প্রশ্নটি হ'ল বলুন যে আমার কাছে 100 টি চিত্র সহ মোট ডেটা সেট রয়েছে, আমি 100 টি চিত্রের প্রত্যেকটির জন্য গড় গণনা করছিলাম এবং তারপরে প্রতিটি চিত্র থেকে এটি বিয়োগ করলাম, তারপরে এটি ট্রেন এবং বৈধতা সেটগুলিতে বিভক্ত করুন এবং আমি একই করব প্রদত্ত পরীক্ষার সেটগুলিতে প্রক্রিয়া করার পদক্ষেপগুলি, তবে মনে হয় এটি এই লিঙ্ক অনুসারে এটি করা সঠিক পদ্ধতি নয়: http://cs231n.github.io/neural-networks-2/#datapre

" প্রচলিত ক্ষতি প্রতিটি চিত্র পুরো ডেটাसेट জুড়ে এবং তারপরে ডেটাটিকে ট্রেন / ভ্যাল / টেস্ট স্প্লিটে বিভক্ত করা একটি ভুল হতে হবে, পরিবর্তে, এর মাধ্যমটি কেবল প্রশিক্ষণের ডেটাতেই গণনা করতে হবে এবং তারপরে সমস্ত বিভাজন (ট্রেন / ভাল / পরীক্ষা) থেকে সমানভাবে বিয়োগ করতে হবে। "

আমি অনুমান করছি যে লেখক যা বলছেন তা হ'ল, প্রতিটি চিত্রের মধ্যে গণনা গড় এবং এটি বিয়োগ করবেন না তবে মোট চিত্রের সেট (যেমন (চিত্র 1 + ... + চিত্র 100) / 100) এর গড় গণনা করুন এবং এর গড়টি বিয়োগ করুন ইমেজ প্রতিটি।

আমি বেশ বুঝতে পারি না কেউ কি ব্যাখ্যা করতে পারে? এবং সম্ভবত আমি ব্যাখ্যা করছি যে আমি যা করছিলাম তা কেন ভুল (যদি তা সত্যিই ভুল হয়)।

Comments

সম্প্রদায় স্বাগতম। নীচে আমার উত্তর দেখুন।

— usεr11852

Answer 1

ধরে নেওয়া যাক আপনার মোট 100 টি চিত্র রয়েছে; 90 টি প্রশিক্ষণ ডেটা এবং 10 হ'ল পরীক্ষার ডেটা।

লেখকরা সঠিকভাবে দৃser়ভাবে জোর দিয়েছিলেন যে নমুনাটির গড় গণনা করতে পুরো 100 চিত্রের নমুনাটি ব্যবহার করে $\hat{\mu}$ভূল. কারণ এই ক্ষেত্রে আপনার তথ্য ফাঁস হবে। আপনার "নমুনার বাইরে থাকা" উপাদানগুলির তথ্য আপনার প্রশিক্ষণ সেটে স্থানান্তরিত হবে। বিশেষত অনুমানের জন্য$\hat{\mu}$, আপনি যদি 90 টি চিত্রের পরিবর্তে 100 টি ব্যবহার করেন তবে আপনি নিজের প্রশিক্ষণের সেটটি যতটা হওয়া উচিত তার চেয়ে আরও বেশি অবগত থাকার মঞ্জুরি দিন। ফলস্বরূপ আপনার প্রশিক্ষণের ত্রুটিটি যতটা হওয়া উচিত তার চেয়ে কম হবে।

আনুমানিক $\hat{\mu}$প্রশিক্ষণ / বৈধতা / পরীক্ষার পদ্ধতি জুড়ে সাধারণ। একই$\hat{\mu}$আপনার সমস্ত ডেটা কেন্দ্রে ব্যবহার করতে হবে। (আমি এটি পরে উল্লেখ করেছি কারণ আপনি সেই চিত্রটিকে কেন্দ্র করে প্রতিটি পৃথক চিত্রের গড়টি ব্যবহার করেন এমন আমার সামান্য ছাপ রয়েছে))

Comments

উত্তরের জন্য ধন্যবাদ, এটি উপলব্ধি করে। এবং হ্যাঁ, আমি প্রতিটি চিত্রের গড় গণনা করছি, সুতরাং অনুমান করা$\hat{\mu}$প্রতিটি একক চিত্রের পরিবর্তে পুরো 90 টি প্রশিক্ষণ চিত্র দ্বারা আসলে গণনা করা উচিত? কোন কারণে কেন? আমি কি 90 টি প্রশিক্ষণ সেটে প্রতিটি পৃথক চিত্রকে কেন্দ্র করে রাখতে পারি না?

— স্যাম

অনুমান $\hat{\mu}$একটি ইমেজ নিজেই হওয়া উচিত। যদি আপনি প্রতিটি পৃথকভাবে কেন্দ্র করে থাকেন তবে আপনি সম্পূর্ণ নমুনায় কোনও সামগ্রিক প্রবণতার জন্য নিয়ন্ত্রণ করেন না।

— usεr11852

@ usεr11852 কেন বেশি জানার অর্থ আমাদের মডেলটির ক্ষতি করবে? এটি "আউট-অফ-স্যাম্পল রেসপন্স ভেরিয়েবল" এর তথ্য সৃষ্টি করবে না, কোনওভাবেই আমাদের প্রশিক্ষণে হস্তক্ষেপ করবে, তাই না? তাহলে কেন ট্রেনের ত্রুটি কম হবে?

— জিনএক্স

বৈধ তথ্য কখনই "কোনও মডেলের ক্ষতি করবে না"; সিদ্ধান্ত নেওয়ার ব্যবহার (কিছু রিস্যাম্পলিং / হোল্ড-আউট পরিকল্পনা উপর ভিত্তি করে) যা মডেল আমরা চূড়ান্ত মডেল প্রশিক্ষণ পর সমস্ত ডেটা । তবুও প্রশিক্ষণ যখন আমরা অনুমান$\hat{\mu}$পুরো ডেটাসেট ব্যবহার করে, এই অতিরিক্ত তথ্যটি অবাস্তব ভাল অন্তর্দৃষ্টি প্রতিফলিত করবে। এটি প্রত্যাশার চেয়ে পরীক্ষার ত্রুটিগুলি হ্রাস করতে পারে কারণ আমরা পরীক্ষার ডেটা সম্পর্কে এমন কিছু জানি যা আমরা অন্যথায় প্রশিক্ষণের সময় ব্যবহার করতে সক্ষম হব না। ( উদাহরণ : বলুন আমরা একটি শারীরিক ক্রিয়াকলাপের মডেল বিকাশ করি Our আমাদের ডেটাতে কিশোর-কিশোরী, বয়স্ক এবং বয়স্ক এবং (

— অবিরত

... কিছুটা ফ্লুক করে, সমস্ত প্রবীণরা টেস্ট-সেটটিতে শেষ হয়। যদি আমরা কেবল আমাদের প্রশিক্ষণ-সেটটিতে গড় বয়স গণনা করি, তবে স্পষ্টতই আমাদের পুরো নমুনাটির চেয়ে কম মধ্যবয়সটি পাব। স্পষ্টতই পক্ষপাতদুষ্ট গড়-বয়স ব্যবহারটি Aযদি Aবিভিন্ন বয়সের ক্ষেত্রে ভালভাবে জেনারেল না হয় তবে মডেলটির পারফরম্যান্সকে খারাপভাবে ফেলবে । আমরা যদি পুরো ডেটাসেটে গড়-বয়স গণনা করি তবে আমরা আরও প্রতিনিধি গড়-বয়স পাব। এখন যদি আমরা এই নিরপেক্ষ গড়-বয়সকে মডেলটিতে ব্যবহার Aকরি তবে Aবিভিন্ন বয়সের দিকে ভাল না

— জেনেও