গবেষকরা কেন কোনও বৈধতা সেটটিতে পরীক্ষার পরিবর্তে 10-গুণ ক্রস বৈধতা ব্যবহার করবেন?

Question

আমি সেন্টিমেন্ট শ্রেণিবদ্ধকরণ এবং সম্পর্কিত বিষয়গুলি নিয়ে প্রচুর গবেষণা পত্র পড়েছি।

তাদের বেশিরভাগ শ্রেণিবদ্ধদের প্রশিক্ষণ এবং পরীক্ষার জন্য 10-গুণ ক্রস বৈধতা ব্যবহার করে। তার অর্থ কোনও পৃথক পরীক্ষা / বৈধকরণ করা হয় না। তা কেন?

বিশেষত যারা গবেষণা করছেন তাদের পক্ষে এই পদ্ধতির সুবিধা / অসুবিধাগুলি কী কী?

Comments

আপনি কি নিশ্চিত যে আলাদা কোনও পরীক্ষা করা হয়নি?

— ডগলাস জারে

Answer 1

সিভি নেস্ট করা থাকলে এটি কোনও সমস্যা নয় , যেমন সমস্ত অপটিমাইজেশন, বৈশিষ্ট্য নির্বাচন এবং মডেল নির্বাচনগুলি তারা নিজেরাই সিভি ব্যবহার করেন বা না করেন, একটি বড় সিভিতে আবৃত থাকে are

এটি কীভাবে একটি অতিরিক্ত বৈধতা সেট করার সাথে তুলনা করে? বৈধতা সেটটি সাধারণত পুরো ডেটার মধ্যে কম বেশি বা এলোমেলোভাবে নির্বাচিত অংশ হিসাবে থাকে, এটি কেবল সিভির এক পুনরাবৃত্তির সমতুল্য। এ লক্ষ্যে, এটি আসলে একটি খারাপ পদ্ধতি কারণ এটি সহজেই (আশায়) ভাগ্যক্রমে / দুর্ভাগ্যক্রমে নির্বাচিত বা চেরি-বাছাই বৈধতা সেট দ্বারা পক্ষপাতযুক্ত হতে পারে।

এর একমাত্র ব্যতিক্রম হ'ল সময়-সিরিজ এবং অন্যান্য ডেটা যেখানে বস্তুর অর্ডারটি গুরুত্বপূর্ণ; তবে তাদের যে কোনও উপায়েই বিশেষ চিকিত্সার প্রয়োজন।

Answer 2

মূল কারণটি হ'ল কে-ফোল্ড ক্রস-বৈধকরণের প্রাক্কলনকারীটির একক হোল্ড-আউট সেট প্রাক্কলিতকারীর চেয়ে কম বৈকল্পিক রয়েছে, যা উপলব্ধ ডেটার পরিমাণ সীমিত হলে খুব গুরুত্বপূর্ণ হতে পারে। আপনার যদি একটি একক হোল্ড আউট সেট থাকে, যেখানে 90% ডেটা প্রশিক্ষণের জন্য এবং 10% পরীক্ষার জন্য ব্যবহৃত হয়, পরীক্ষার সেটটি খুব ছোট, তাই ডেটার বিভিন্ন নমুনার জন্য পারফরম্যান্সের প্রাক্কলনে অনেক পার্থক্য থাকবে, বা ডেটা বিভিন্ন পার্টিশনের জন্য প্রশিক্ষণ এবং পরীক্ষা সেট গঠন। কে-ফোল্ড বৈধতা কে বিভিন্ন পার্টিশনের ওভারেজ করে এই বৈকল্পিকতা হ্রাস করে, সুতরাং পারফরম্যান্স অনুমান ডেটা বিভাজনের ক্ষেত্রে কম সংবেদনশীল। আপনি বারবার কে-ভাঁজ ক্রস-বৈধকরণের মাধ্যমে আরও এগিয়ে যেতে পারেন, যেখানে ক্র-বৈধকরণ ডেটাতে পৃথক পার্টিশন ব্যবহার করে কে সাব-সেট গঠন করা হয়,

তবে নোট করুন, মডেল ফিটিং পদ্ধতির সমস্ত পদক্ষেপ (মডেল নির্বাচন, বৈশিষ্ট্য নির্বাচন ইত্যাদি) ক্রস-বৈধকরণ পদ্ধতির প্রতিটি ভাগে স্বাধীনভাবে সম্পাদন করতে হবে, বা ফলস্বরূপ পারফরম্যান্সের অনুমানটি আশাবাদী পক্ষপাতদুষ্ট হবে।

Answer 3

[মন্তব্যের আলোকে সম্পাদনা]

আমি মনে করি আপনি একাধিক মডেল নির্বাচন করতে সিভি ফলাফল ব্যবহার করলে সমস্যা আছে।

সিভি আপনাকে একটি মডেল / পদ্ধতি প্রশিক্ষণ ও পরীক্ষার জন্য পুরো ডেটাसेट ব্যবহার করতে দেয়, তবে এটি কতটা সাধারণীকরণ করবে তার যুক্তিসঙ্গত ধারণা থাকতে সক্ষম হয়। তবে আপনি যদি একাধিক মডেলের তুলনা করেন তবে আমার প্রবৃত্তিটি হল যে মডেল তুলনাটি সিভি আপনাকে প্রদত্ত ট্রেন-পরীক্ষা বিচ্ছিন্নতার অতিরিক্ত স্তরের ব্যবহার করে, তাই চূড়ান্ত ফলাফলটি নির্বাচিত মডেলের যথার্থতার কোনও যুক্তিসঙ্গত অনুমান হবে না।

সুতরাং আমি অনুমান করতে পারি যে আপনি যদি বেশ কয়েকটি মডেল তৈরি করেন এবং এর সিভির ভিত্তিতে একটি চয়ন করেন তবে আপনি যা খুঁজে পেয়েছেন সে সম্পর্কে অতিরিক্ত-আশাবাদী হচ্ছেন। আর একটি বৈধতা সেটটি প্রয়োজন বিজয়ী কতটা জেনারেলাইজ করে তা দেখার প্রয়োজন হবে।

Comments

ধন্যবাদ. সেটা ঠিক. তবে আমার প্রশ্নটি ছিল বিশেষত কেন গবেষণামূলক কাগজগুলিতে চূড়ান্ত বৈধতার অভাব হয়? কোন সঠিক কারণ আছে? এটি কি কম ডেটা সম্পর্কে বা সিভি ভাল কাজ করে এবং একটি পৃথক বৈধতা প্রয়োজন হয় না?

— ব্যবহারকারী18075

$Y$

Answer 4

• আমার অভিজ্ঞতায় প্রধান কারণটি হ'ল আপনার কাছে পর্যাপ্ত নমুনা নেই।
  আমার ক্ষেত্রে (জৈবিক / চিকিত্সা নমুনার শ্রেণিবিন্যাস), কখনও কখনও একটি পরীক্ষার সেট পৃথক রাখা হয়, তবে প্রায়শই এটিতে খুব কম কেস থাকে। সেক্ষেত্রে আত্মবিশ্বাসের ব্যবধানগুলি সাধারণত কোনও কাজে আসে না।

• পুনরাবৃত্তি / পুনরাবৃত্ত ক্রস বৈধকরণ বা বুটস্ট্র্যাপের বহির্মুখীকরণের আর একটি সুবিধা হ'ল আপনি "সারোগেট" মডেলের একটি গুচ্ছ নির্মাণ করেন। এগুলি সমান বলে ধরে নেওয়া হয়। যদি তা না হয় তবে মোডগুলি অস্থির। আপনি সরোগেট মডেলগুলি নিজেরাই বা একই কেসটির জন্য বিভিন্ন সরোগেট মডেল যে ভবিষ্যদ্বাণী করেন সেগুলির সাথে তুলনা করে আপনি এই অস্থিরতাটি (কয়েকটি প্রশিক্ষণের ক্ষেত্রে বিনিময় করার ক্ষেত্রে) পরিমাপ করতে পারেন।

• এসবেনসেন এবং জেলাদি এই নিবন্ধটি ক্রস বৈধকরণের কিছু সীমাবদ্ধতার একটি সুন্দর আলোচনা দেয়।
  আপনি তাদের বেশিরভাগের যত্ন নিতে পারেন, তবে একটি গুরুত্বপূর্ণ বিষয় যা পুনরায় মডেলিং বৈধকরণের মাধ্যমে মোকাবেলা করা যায় না তা হ'ল ড্রিফ্ট, যা এমবিকিউ'র বক্তব্যের সাথে সম্পর্কিত:

  এতে কেবল ব্যতিক্রম হ'ল সময়-সিরিজ এবং অন্যান্য ডেটা যেখানে বস্তুর অর্ডারটি গুরুত্বপূর্ণ

  বামন বলতে বোঝায় যে একটি যন্ত্রের প্রতিক্রিয়া / সত্য ক্রমাঙ্কন সময়ের সাথে ধীরে ধীরে পরিবর্তন হয়। সুতরাং অজানা মামলার সাধারণকরণের ত্রুটি ভবিষ্যতের অজানা মামলার মতো নাও হতে পারে । আপনি যদি বৈধতার সময় বামন খুঁজে পান তবে "পুনরায় ক্যালিবিশন দৈনিক / সাপ্তাহিক / ..." এর মতো নির্দেশাবলীতে পৌঁছেছেন তবে প্রশিক্ষণের ডেটার চেয়ে পরে এটি পরিকল্পিতভাবে পরীক্ষার সেটগুলি অর্জন করতে হবে।
  (আপনি "বিশেষ" বিভাজনগুলি করতে পারেন যা অ্যাকাউন্ট অধিগ্রহণের সময় গ্রহণ করে, যদি আপনার পরীক্ষাটি যথাযথভাবে পরিকল্পনা করা হয় তবে সাধারণত আপনি বামন সনাক্তকরণের জন্য পরীক্ষা করতে চান এমন সময় কাটবে না)