কেন বৈধতা নির্ভুলতা ওঠানামা করছে?


31

এমআরআই ডেটা ব্যবহার করে ক্যান্সারের প্রতিক্রিয়া অনুমান করার জন্য আমার কাছে একটি ফোর লেয়ার সিএনএন রয়েছে। আমি অন-লাইন প্রবর্তনের জন্য রিলু সক্রিয়করণগুলি ব্যবহার করি। ট্রেনের নির্ভুলতা এবং ক্ষতি যথাক্রমে একঘেয়েভাবে বৃদ্ধি এবং হ্রাস। তবে, আমার পরীক্ষার যথার্থতা বন্যভাবে ওঠানামা শুরু করে। আমি শেখার হার পরিবর্তন করার চেষ্টা করেছি, স্তরগুলির সংখ্যা হ্রাস করব। কিন্তু, এটি ওঠানামা বন্ধ করে না। এমনকি আমি এই উত্তরটি পড়েছি এবং সেই উত্তরের দিকনির্দেশগুলি অনুসরণ করার চেষ্টা করেছি, তবে আবার ভাগ্য নয়। আমি কোথায় ভুল করছি তা বোঝার জন্য কেউ আমাকে সাহায্য করতে পারে?

স্ক্রিনশট



হ্যাঁ, আমি উত্তরটি পড়েছি। বৈধতা ডেটা বদলানো কোনও উপকারে আসেনি
রঘুরাম

4
কারণ আপনি নিজের কোড স্নিপেট ভাগ করেননি, তাই আপনার আর্কিটেকচারে কী কী ভুল তা আমি বলতে পারি না। তবে আপনার স্ক্রিন শটে আপনার প্রশিক্ষণ এবং বৈধতার যথাযথতা দেখে এটি স্ফটিক স্পষ্ট যে আপনার নেটওয়ার্কটি অত্যধিক উপযোগী। আপনি যদি নিজের কোড স্নিপেটটি এখানে ভাগ করে নেন তবে ভাল।
নাইন

আপনার কতটি নমুনা আছে? সম্ভবত ওঠানামা সত্যিই তাৎপর্যপূর্ণ নয়। এছাড়াও, যথার্থতা হ'ল ভয়ঙ্কর পরিমাপ
rep_ho

বৈধতা নির্ভুলতা ওঠানামা করা হয় যখন একটি ensemble পদ্ধতির ব্যবহার ভাল হয় কেউ আমাকে যাচাই করতে সহায়তা করতে পারে? কারণ আমি আমার ওঠানামাগুলি যাচাইকরণ_অ্যাকুয়্যারিটিকে একটি ভাল মান হিসাবে মিলিয়ে পরিচালনা করতে সক্ষম হয়েছি।
শ্রী 2110

উত্তর:


27

আমি যদি সঠিকতার সংজ্ঞাটি সঠিকভাবে বুঝতে পারি তবে নির্ভুলতা (সঠিকভাবে শ্রেণিবদ্ধ হওয়া ডেটা পয়েন্টের%) এমএসই বলার চেয়ে কম সংশ্লেষীয় (মানে স্কোয়ার ত্রুটি)। এজন্য আপনি দেখতে পাচ্ছেন যে আপনার lossদ্রুত বাড়ছে, যখন সঠিকতা ওঠানামা করছে।

স্বজ্ঞাতভাবে, এর মূল অর্থ হ'ল উদাহরণের কিছু অংশ এলোমেলোভাবে শ্রেণিবদ্ধ করা হয়েছে , যা ওঠানামা সৃষ্টি করে, সঠিক এলোমেলো অনুমানের সংখ্যা সর্বদা ওঠানামা করে (যখন মুদ্রা সর্বদা "মাথা" ফেরত উচিত নির্ভুলতার কল্পনা করুন)। মূলত শব্দের প্রতি সংবেদনশীলতা (যখন শ্রেণিবদ্ধকরণ এলোমেলো ফলাফল উত্পন্ন করে) ওভারফিটিংয়ের একটি সাধারণ সংজ্ঞা (উইকিপিডিয়া দেখুন):

পরিসংখ্যান এবং মেশিন লার্নিংয়ে, সর্বাধিক সাধারণ কাজগুলির মধ্যে একটি হ'ল "মডেল" কে প্রশিক্ষণের ডেটার সংকলনে ফিট করা, যাতে সাধারণ প্রশিক্ষণ প্রাপ্ত ডেটার উপর নির্ভরযোগ্য ভবিষ্যদ্বাণী করতে সক্ষম হয়। ওভারফিটিংয়ে, একটি পরিসংখ্যানের মডেল অন্তর্নিহিত সম্পর্কের পরিবর্তে এলোমেলো ত্রুটি বা গোলমাল বর্ণনা করে

অত্যধিক মানসিকতার আরেকটি প্রমাণ হ'ল আপনার ক্ষতি বৃদ্ধি পাচ্ছে, ক্ষয়টি আরও স্পষ্টভাবে পরিমাপ করা হয়, যদি সিগময়েড / থ্রেশহোল্ডগুলি (এটি ক্ষতির কারণেই মনে হয় না) তবে এটি শোরগোলের পূর্বাভাসের প্রতি আরও সংবেদনশীল। স্বজ্ঞাতভাবে, আপনি এমন পরিস্থিতিটি কল্পনা করতে পারেন যখন নেটওয়ার্ক আউটপুট সম্পর্কে খুব নিশ্চিত (যখন এটি ভুল), তাই এটি এলোমেলো ভুল শৃঙ্খলার ক্ষেত্রে প্রান্তিকের থেকে অনেক দূরে একটি মান দেয় gives

আপনার কেস সম্পর্কিত, আপনার মডেল সঠিকভাবে নিয়মিত করা হয়নি, সম্ভাব্য কারণগুলি:

  • পর্যাপ্ত ডেটা-পয়েন্ট নয়, খুব বেশি ক্ষমতা
  • ক্রম
  • কোনও / ভুল বৈশিষ্ট্য স্কেলিং / স্বাভাবিককরণ
  • শেখার হার: তাই SGD অতিদূরে জাম্প এবং আঞ্চলিক মিনিমা কাছাকাছি এলাকায় ব্যার্থ, অত্যন্ত বড়। এটি "আন্ডার-ফিটিং" (ডেটা নিজেই সংবেদনশীলতা) এর চরম ক্ষেত্রে হবে, তবে ইনপুট থেকে ডেটা স্ক্র্যাম্বল করে আউটপুটটিতে "ধরণের" কম-ফ্রিকোয়েন্সি "শব্দ উত্পন্ন করতে পারে - অত্যধিক মানসিকতার বিপরীতে, এটি হবে মুদ্রার পূর্বাভাস দেওয়ার সময় সবসময় মাথা অনুমান করা । @ জনকুকাকা যেমন উল্লেখ করেছেন, একটি মিনিমা "খুব কাছাকাছি" এ অঞ্চলে পৌঁছে ফেলার কারণ হতে পারে, সুতরাং যদি খুব ছোট হয় তবে এটি আপনার ডেটাতে "উচ্চ-ফ্রিকোয়েন্সি" শব্দটির সংবেদনশীল হয়ে উঠবে। মাঝখানে কোথাও হওয়া উচিত।ααα

সম্ভাব্য সমাধান:

  • আরও ডেটা পয়েন্ট পান (বা কৃত্রিমভাবে বিদ্যমানগুলির সেটটি প্রসারিত করুন)
  • হাইপার-প্যারামিটারগুলির সাথে খেলুন (উদাহরণস্বরূপ ক্ষমতা বা নিয়মিতকরণের মেয়াদ বৃদ্ধি / হ্রাস)
  • নিয়মিতকরণ : ড্রপআউট, প্রারম্ভিক-থামানো ইত্যাদি চেষ্টা করুন

সম্পর্কিত: "ক্ষতি আরও সুনির্দিষ্টভাবে পরিমাপ করা হয়, এটি শোরগোলের পূর্বাভাসের প্রতি আরও সংবেদনশীল কারণ এটি সিগময়েডস / থ্রেশহোল্ড দ্বারা স্কোয়াশড নয়", আমি কোনও থ্রোসোল্ডিংয়ের সাথে একমত নই, তবে আপনি যদি আপনার ক্ষতির ক্রিয়া হিসাবে উদাহরণস্বরূপ বাইনারি ক্রস এনট্রপি ব্যবহার করেন তবে সিগময়েড এখনও বাজায় একটি ভূমিকা.
ঝুবার্ব

1
শিখার হার এবং শ্যাডমিডটি মিনিমাকে হারিয়েছে সম্পর্কিত: সর্বনিম্ন পৌঁছনোর অর্থ হ'ল ওভারফিটিং (কারণ এটি প্রশিক্ষণের সেটটিতে সর্বনিম্ন)
জান কুকাকা

@ বার্কমিস্টার সত্য, আমি কিছুটা পুনঃব্যবস্থাপনা করেছি (সম্পাদনা দেখুন)। আমার চিন্তাভাবনা ছিল যে বৃদ্ধি লোকসান হ'ল স্কোয়াশেড ফাংশনটি ব্যবহৃত হচ্ছে a
dk14

@ জনকুকাকাকে আপনি বিশ্বব্যাপী মিনিমা বলতে চান? আমি স্থানীয় মিনিমা (প্রকৃতপক্ষে স্থানীয় মিনিমার কাছাকাছি) প্ররোচিত করেছি - এর অর্থ এই যে এটি যদি কোনও মিনিমা থেকে খুব দূরে থাকে তবে এটি তখন কম উপযুক্ত হবে। সম্ভবত, আমার এটি আরও যত্ন সহকারে বর্ণনা করা উচিত (সম্পাদনা দেখুন), ধন্যবাদ।
dk14

@ dk14 আমি ধরে নিয়েছি যে বিশ্বব্যাপী ন্যূনতম নূন্যতমটি অনুশীলনে পৌঁছানো যাবে না, তাই আমি বরং স্থানীয় মিনিমা বলতে চাইছি। আপনি যদি খুব বেশি দূরে থাকেন তবে আপনি হয়তো কম-ফিট করতে পারেন তবে আপনি যদি খুব কাছাকাছি থাকেন তবে আপনি সম্ভবত খুব বেশি মানানসই। মরিটজ হার্ডের একটি আকর্ষণীয় কাজ রয়েছে "ট্রেনটি দ্রুততর করুন, আরও সাধারণকরণ করুন: স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভুত হওয়ার স্থায়িত্ব" ( arxiv.org/abs/1509.01240 ) এসজিডির সাথে প্রশিক্ষণ দেওয়ার সময় প্রশিক্ষণ এবং পরীক্ষার ত্রুটির মধ্যে সম্পর্কের সীমাবদ্ধতা স্থাপন করে।
জান কুকাকা 11

6

এই প্রশ্নটি পুরানো তবে এটি পোস্ট করা হয়নি কারণ এটি এখনও চিহ্নিত করা হয়নি:

সম্ভাব্যতা 1 : আপনি নিজের প্রশিক্ষণ সেট বা বৈধতা সেটটিতে কিছু প্রিপ্রোসেসিং (শূন্য অর্থ, স্বাভাবিককরণ ইত্যাদি) প্রয়োগ করছেন, তবে অন্যটি নয়

সম্ভাব্যতা 2 : আপনি যদি এমন কিছু স্তর তৈরি করেন যা প্রশিক্ষণ এবং স্ক্র্যাচ থেকে অনুমানের সময় আলাদাভাবে সঞ্চালিত হয় তবে আপনার মডেলটি ভুলভাবে প্রয়োগ করা যেতে পারে (উদাহরণস্বরূপ প্রশিক্ষণ চলাকালীন ব্যাচের নরমালাইজেশনের জন্য মান পরিবর্তন এবং চলমান মান বিচ্যুতি? ড্রপআউট ব্যবহার করা হলে, ওজনগুলি সঠিকভাবে স্কেল করা হয়? অনুমান?)। আপনার কোডটি স্ক্র্যাচ থেকে এই জিনিসগুলি প্রয়োগ করে এবং টেনসরফ্লো / পাই্টোর্চের বিল্টিন ফাংশনগুলি ব্যবহার না করে এমন ক্ষেত্রে এটি হতে পারে।

সম্ভাবনা 3: ওভারফিটিং, যেমনটি সবাই নির্দেশ করেছে। আপনার বৈধতার যথার্থতাটি প্রথম যুগ থেকে find০% এ আটকে যাওয়ার কারণে আমি আপনার দুটি নির্দিষ্ট পরিস্থিতিতে আরও দুটি সম্ভাবনা পেয়েছি। সাধারণত, যদি পরবর্তী পর্যায়ে এটি ঘটে থাকে তবে আমি অতিরিক্ত মানসিকতার বিষয়ে আরও উদ্বিগ্ন হব (যদি আপনার খুব নির্দিষ্ট সমস্যা না থাকে তবে) হাতে).


আমার এমন সমস্যা হচ্ছে যা এক ধরণের অনুরূপ তবে সম্পূর্ণ নয়, আরও বিশদ এখানে: স্ট্যাকওভারফ্লো / প্রশ্ন / 55348052/… আমার ক্ষেত্রে, আমার কাছে আসলে পরীক্ষার ডেটাগুলির সাথে এবং প্রশিক্ষণের সময় একটি সুসংগত উচ্চ নির্ভুলতা থাকে "বৈধতা" "(ক্ষতি না) প্রশিক্ষণের নির্ভুলতার চেয়ে বেশি। তবে সত্য যে এটি কখনই রূপান্তরিত হয় না এবং দোলা দেয় আমাকে অত্যধিক মানসিকতার বিষয়ে ভাবতে বাধ্য করে, আবার কেউ কেউ এমনটি করেন না বলে পরামর্শ দেয়, তাই আমি আশ্চর্য হই যে এটি কি এবং যদি তা না হয় তবে ন্যায়সঙ্গততা কী।
দুশ

1
এটি দেওয়া উত্তরগুলির এখন পর্যন্ত সবচেয়ে প্রশংসনীয় ব্যাখ্যা। লক্ষ্য করুন যে উচ্চ ব্যাচের স্বাভাবিককরণের গতিবেগ (উদাহরণস্বরূপ, 0.999, বা এমনকি কেরাস ডিফল্ট ০.৯৯) উচ্চতর শিক্ষার হারের সাথে মিশ্রণও স্তর পরিসংখ্যানের তুলনায় অনেক পিছনে থাকায় প্রশিক্ষণ এবং মূল্যায়নে খুব আলাদা আচরণ করতে পারে। সেক্ষেত্রে ০.৯ এর মতো কিছুতে গতি কমানোর কৌশলটি করা উচিত। ওপি-র মতোই আমারও একই সমস্যা ছিল এবং এটি কৌশলটি করেছে।
ক্রিস্টান

5

@ Dk14 দ্বারা উত্তরে যুক্ত করা হচ্ছে। আপনি যদি এখনও আপনার মডেলটিকে সঠিকভাবে নিয়মিত করার পরে ওঠানামা দেখতে পান তবে এগুলি সম্ভাব্য কারণ হতে পারে:

  • আপনার বৈধতা সেট থেকে এলোমেলো নমুনা ব্যবহার করে: এর অর্থ প্রতিটি মূল্যায়নের ধাপে আপনার বৈধতা সেট আলাদা, তাই আপনার বৈধতা-ক্ষতিও is
  • ওজনযুক্ত ক্ষতি-ফাংশন (যা অত্যন্ত ভারসাম্যহীন শ্রেণী-সমস্যার ক্ষেত্রে ব্যবহৃত হয়) ব্যবহার করে। ট্রেনের ধাপে, আপনি ক্লাস-ওজনের উপর ভিত্তি করে আপনার ক্ষতির ফাংশনটি ওজন করতে পারেন, যখন ডেভ স্টেপে আপনি কেবল ভারী ভারী ভারসাম্যহীন ক্ষতি গণনা করেন। এই জাতীয় ক্ষেত্রে, যদিও আপনার নেটওয়ার্কটি একত্রিত হওয়ার পথে চলেছে, আপনি প্রতিটি ট্রেন-পদক্ষেপের পরে বৈধতা হারাতে প্রচুর ওঠানামা দেখতে পাবেন। তবে আপনি যদি আরও বড় ছবির জন্য অপেক্ষা করেন, আপনি দেখতে পাচ্ছেন যে আপনার নেটওয়ার্কটি আসলে একটি মিনিমে রূপান্তরিত হচ্ছে উত্সাহিত পোশাকগুলি পরে। (এরকম একটি উদাহরণের জন্য সংযুক্ত চিত্রগুলি দেখুন)।এখানে চিত্র বর্ণনা লিখুনএখানে চিত্র বর্ণনা লিখুন

2

অবশ্যই অতিরিক্ত-ফিটিং। প্রশিক্ষণের ডেটা এবং পরীক্ষার ডেটাতে নির্ভুলতার মধ্যে ব্যবধানটি বোঝায় যে আপনি প্রশিক্ষণে বেশি ফিট করেছেন। নিয়মিতকরণ সাহায্য করতে পারে।


1

বাইনারি শ্রেণিবদ্ধকরণ সমস্যায় আপনার বৈধতা যথাযথতা (আমি ধরে নিই) প্রায় 50% "ওঠানামা" করে চলেছে, এর অর্থ আপনার মডেলটি সম্পূর্ণ এলোমেলো ভবিষ্যদ্বাণী দিচ্ছে (কখনও কখনও এটি সঠিকভাবে কয়েকটি নমুনা আরও অনুমান করে, কখনও কখনও কয়েকটি নমুনা কম)। সাধারণত, আপনার মডেল কোনও মুদ্রা উল্টানোর চেয়ে ভাল নয়।

{0;1}

যাইহোক, অন্যরা যেমন ইতিমধ্যে নির্দেশ করেছে, আপনার মডেল মারাত্মক অত্যধিক মানসিক চাপের সম্মুখীন হচ্ছে। আমার অনুমান যে আপনার সমস্যাটি খুব জটিল , অর্থাত আপনার ডেটা থেকে পছন্দসই তথ্য বের করা খুব কঠিন এবং সাধারণ এন্ড 2 এন্ড প্রশিক্ষণ প্রাপ্ত 4-স্তরের কুন-নেট এটি শেখার কোনও সুযোগ নেই


0

আপনার পরিস্থিতিতে চেষ্টা করার কয়েকটি উপায় রয়েছে। প্রথমে ব্যাচের আকার বাড়ানোর চেষ্টা করুন, যা মিনি-ব্যাচের এসজিডিকে কম ঘৃণ্যভাবে ঘুরে বেড়াতে সহায়তা করে। দ্বিতীয়ত, শেখার হার টিউন করা, সম্ভবত এটি আরও ছোট সেট করুন। তৃতীয়ত, পৃথক অপ্টিমাইজার চেষ্টা করুন, উদাহরণস্বরূপ অ্যাডাম বা আরএমএসপ্রপ যা আর্ট বৈশিষ্ট্যগুলির জন্য শিক্ষার হারকে মানিয়ে নিতে সক্ষম। সম্ভব হলে আপনার ডেটা বাড়ানোর চেষ্টা করুন। শেষ পর্যন্ত, বয়েসিয়ান নিউরাল নেটওয়ার্কগুলি ড্রপআউট আনুমানিকের মাধ্যমে চেষ্টা করুন, ইয়ারিন গাল https://arxiv.org/abs/1506.02158 এর একটি খুব আকর্ষণীয় কাজ


0

আপনি একটি ছোট নেটওয়ার্ক চেষ্টা করেছেন? আপনার প্রশিক্ষণের যথাযথতা> .99 এ পৌঁছাতে পারে বলে মনে করে, আপনার নেটওয়ার্কে আপনার ডেটা সম্পূর্ণরূপে মডেল করার জন্য পর্যাপ্ত সংযোগ রয়েছে, তবে আপনার কাছে বহিরাগত সংযোগ থাকতে পারে যা এলোমেলোভাবে শিখছে (অর্থাত্ ওভারফিটিং)।

আমার অভিজ্ঞতায়, রেসনেট, ভিজিজি এবং এমনকি সহজ নেটওয়ার্কের মতো বিভিন্ন নেটওয়ার্ক চেষ্টা করে একটি ছোট নেটওয়ার্কের সাথে স্থিতিশীল হওয়ার জন্য আমি আউট হোল্ডিংয়ের বৈধতা যাচাই করেছি।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.