শ্রেণিবিন্যাসে প্রায় 0-1 টি ক্ষতিতে বিভিন্ন লোকসান ফাংশনগুলি বেছে নেওয়ার প্রভাবগুলি কী কী?


27

আমরা জানি যে কিছু উদ্দেশ্যমূলক ক্রিয়াগুলি অনুকূলিতকরণ করা সহজ এবং কিছু শক্ত। এবং এমন অনেক ক্ষতির ফাংশন রয়েছে যা আমরা ব্যবহার করতে চাই তবে ব্যবহার করা শক্ত, উদাহরণস্বরূপ 0-1 ক্ষতি। কাজটি করার জন্য আমরা কিছু প্রক্সি ক্ষতি ফাংশন পাই। উদাহরণস্বরূপ, আমরা "আনুমানিক" 0-1 ক্ষতিতে কব্জি ক্ষতি বা লজিস্টিক ক্ষতি ব্যবহার করি।

ক্রিস বিশপের পিআরএমএল বইটি থেকে নিম্নলিখিত প্লট আসছে । কব্জির ক্ষতি নীল রঙে, লালে লগ লস, সবুজ রঙে স্কোয়ার ক্ষতি এবং কালো রঙের 0/1 ত্রুটি plot

এখানে চিত্র বর্ণনা লিখুন

আমরা বুঝতে পারি যে আমাদের যেমন নকশা রয়েছে (কবজ এবং লজিস্টিক ক্ষতির জন্য) আমরা উদ্দেশ্যগত ফাংশনটি উত্তল হতে চাই।

কব্জি ক্ষতি এবং লজিস্টিক ক্ষতি দেখে, এটি দৃ strongly়ভাবে বিভক্ত শ্রেণীর উদাহরণগুলিতে আরও বেশি শাস্তি দেয় এবং মজার বিষয় হল, দুর্বলভাবে শ্রেণিবদ্ধ করা হলে এটি সঠিকভাবে শ্রেণিবদ্ধ উদাহরণগুলিকেও শাস্তি দেয় । এটি একটি সত্যিই অদ্ভুত নকশা।

আমার প্রশ্ন হ'ল কব্জা ক্ষতি এবং লজিস্টিক ক্ষতির মতো বিভিন্ন "প্রক্সি ক্ষতি ফাংশন" ব্যবহার করে আমাদের যে মূল্যগুলি পরিশোধ করতে হবে তা কী?


প্রতিরোধের ক্ষেত্রে, স্কোয়ার লোকসান বেছে নেওয়া নিখুঁত মান হ্রাসের সাথে তুলনা করে অপ্টিমাইজেশন করা সহজ। তবে স্কোয়ার ক্ষতি হ'ল বিদেশীদের কাছে আরও সংবেদনশীল। সুতরাং, এটি নির্দিষ্ট ধরণের ডেটা সম্পর্কেও সংবেদনশীল হওয়া উচিত?
হাইতাও ডু

4
একটি সহজ সমাধান হ'ল অনুকূল পূর্বাভাসযুক্ত সম্ভাবনাগুলি বিকাশ করা যা কোনও ইউটিলিটি ফাংশনের প্রয়োজন হয় না। ইউটিলিটি / লোকসান ফাংশনটি পরে সিদ্ধান্ত গ্রহণকারী দ্বারা প্রয়োগ করা যেতে পারে। শ্রেণিবিন্যাস সিদ্ধান্ত গ্রহণকারীর পক্ষে সিদ্ধান্ত নেওয়ার সমতুল্য, এবং সামনের দিকে খুব বেশি জ্ঞানের প্রয়োজন।
ফ্রাঙ্ক হ্যারেল

@ ফ্র্যাঙ্কহারেল ধন্যবাদ, এবং আমি আপনার কাজের সময় উল্লিখিত পদ্ধতিটি ব্যবহার করছি, যেখানে আমরা পূর্বাভাস এবং ব্যবসায়িক পরিচালনা পৃথক করি। যাইহোক, এটি এখনও পুরো হিসাবে অনুকূল নয় তবে একটি লোভী পর্যায় -যুক্ত স্থানীয় সমাধান, তাই না? এটি কি "উটপাখি নীতি"?
হাইতাও ডু

2
এটি সর্বোত্তম সিদ্ধান্ত নিতে পারে না। ক্ষতি / ইউটিলিটি / ব্যয় ফাংশনটি মডেল পূর্বাভাসকারীদের থেকে আসে না।
ফ্রাঙ্ক হ্যারেল

1
+1 টি। লজিস্টিক ক্ষয়ক্ষতি হ্রাস করা দ্বিপাক্ষিক সম্ভাবনা সর্বাধিকীকরণের সাথে মিলে যায়। স্কোয়ার-ত্রুটি ক্ষতি হ্রাস করা গাউসিয়ান সম্ভাবনা সর্বাধিকীকরণের সাথে সমান (এটি কেবল ওএলএস রিগ্রেশন; 2-শ্রেণির শ্রেণিবিন্যাসের জন্য এটি আসলে এলডিএর সমতুল্য)। আপনি কি জানেন যে হিন্জ ক্ষয়কে হ্রাস করা যদি অন্য কিছু সম্ভাবনা সর্বাধিক করে তোলার সাথে মিলে যায়? অর্থাৎ কবজ ক্ষতির সাথে সম্পর্কিত কি কোনও সম্ভাব্য মডেল রয়েছে?
অ্যামিবা

উত্তর:


16

আমার কিছু ধারণা, যদিও সঠিক নাও হতে পারে।

আমরা বুঝতে পারি যে আমাদের যেমন নকশা রয়েছে (কবজ এবং লজিস্টিক ক্ষতির জন্য) আমরা উদ্দেশ্যগত ফাংশনটি উত্তল হতে চাই।

উত্তেজনা অবশ্যই একটি দুর্দান্ত সম্পত্তি, তবে আমি মনে করি সবচেয়ে গুরুত্বপূর্ণ কারণ হ'ল আমরা উদ্দেশ্যগত ফাংশনটি নন-শূন্য ডেরিভেটিভস রাখতে চাই , যাতে আমরা এটির সমাধানের জন্য ডেরিভেটিভগুলি ব্যবহার করতে পারি। উদ্দেশ্যমূলক ফাংশনটি উত্তেজনাকর হতে পারে, এক্ষেত্রে আমরা প্রায়শই কিছু স্থানীয় অপটিমা বা স্যাডল পয়েন্টে থামি।

এবং মজার বিষয় হল, এটি দুর্বলভাবে শ্রেণিবদ্ধ করা হলে এটি সঠিকভাবে শ্রেণিবদ্ধ উদাহরণগুলিকে শাস্তি দেয়। এটি একটি সত্যিই অদ্ভুত নকশা।

আমি মনে করি এই জাতীয় নকশার ধরণটি মডেলকে কেবল সঠিক ভবিষ্যদ্বাণী করতে নয়, ভবিষ্যদ্বাণী সম্পর্কে আত্মবিশ্বাসী হতেও পরামর্শ দেয়। যদি আমরা শাস্তি পেতে সঠিকভাবে শ্রেণিবদ্ধ দৃষ্টান্তগুলি না চাই, আমরা উদাহরণস্বরূপ, কব্জির ক্ষতি (নীল) 1 টি বাম দিকে সরিয়ে নিতে পারি, যাতে তারা আর কোনও ক্ষতি না করে। তবে আমি বিশ্বাস করি এটি প্রায়শই অনুশীলনের খারাপ ফলাফলের দিকে নিয়ে যায়।

কব্জা ক্ষতি এবং লজিস্টিক ক্ষতির মতো বিভিন্ন "প্রক্সি ক্ষতি ফাংশন" ব্যবহার করে আমাদের কী কী মূল্য দিতে হবে?

আইএমও বিভিন্ন ক্ষতির ফাংশন বেছে নিয়ে আমরা মডেলটিতে বিভিন্ন অনুমান নিয়ে আসছি। উদাহরণস্বরূপ, লজিস্টিক রিগ্রেশন লস (লাল) একটি বার্নোল্লি বিতরণ ধরেছে, এমএসই ক্ষতি (সবুজ) একটি গাউসিয়ান আওয়াজ ধরেছে।


পিআরএমএল-এ সর্বনিম্ন স্কোয়ার বনাম লজিস্টিক রিগ্রেশন উদাহরণ অনুসরণ করে আমি তুলনার জন্য কব্জা ক্ষতি যুক্ত করেছি। এখানে চিত্র বর্ণনা লিখুন

চিত্রটিতে প্রদর্শিত হিসাবে, কব্জি ক্ষতি এবং লজিস্টিক রিগ্রেশন / ক্রস এন্ট্রপি / লগ-সম্ভাবনা / সফটপ্লাসের খুব ঘনিষ্ঠ ফলাফল রয়েছে, কারণ তাদের উদ্দেশ্যগত কার্যগুলি নিকটে (নীচের চিত্র), অন্যদিকে এমএসই সাধারণত বহিরাগতদের কাছে আরও সংবেদনশীল। কব্জি ক্ষতি সর্বদা একটি অনন্য সমাধান না কারণ এটি কঠোরভাবে উত্তল নয়।

এখানে চিত্র বর্ণনা লিখুন

তবে কবজ ক্ষতির একটি গুরুত্বপূর্ণ সম্পত্তি হ'ল, সিদ্ধান্তের সীমানা থেকে দূরে থাকা ডেটা পয়েন্টগুলি ক্ষতির ক্ষেত্রে কোনও অবদান রাখে না, সমাধানগুলি একই পয়েন্টগুলি সরিয়ে দেওয়া একই হবে।

বাকি পয়েন্টগুলিকে এসভিএমের প্রসঙ্গে সাপোর্ট ভেক্টর বলা হয়। যেখানে এসভিএম সর্বাধিক মার্জিন সম্পত্তি এবং একটি অনন্য সমাধান নিশ্চিত করতে নিয়মিত শব্দ ব্যবহার করে।


উত্তর করার জন্য ধন্যবাদ. স্বতঃস্ফূর্তভাবে বিভিন্ন ক্ষতির প্রভাব দেখানোর জন্য কি কোনও ডেমো তৈরি করা সম্ভব? আমরা যেমন স্কোয়ারস লস বনাম কমপক্ষে নিখুঁত ক্ষতি ব্যবহার করে রিগ্রেশনের আউটলিয়ারদের দ্বারা প্রভাব দেখাই।
হাইতাও ডু

@ hxd1011 আপনাকে স্বাগতম, আমি পরে কিছু ডেমো যুক্ত করার চেষ্টা করব।
dontloo

2
কব্জি ক্ষতি উত্তল ...
মোস্তফা এস আইসা

1
@ MustafaM.Eisa ঠিক আছে, ধন্যবাদ, আমি না কঠোরভাবে উত্তল বোঝানো ..
dontloo

@ দন্টলু দুর্দান্ত সিমুলেশন! ধন্যবাদ. আমি পরে আমার কিছু সিমুলেশন আপলোড করার চেষ্টা করব।
হাইতাও ডু

6

দেরিতে জবাব পোস্ট করা, যেহেতু খুব সাধারণ উত্তর রয়েছে যা এখনও উল্লেখ করা হয়নি।

কব্জা ক্ষতি এবং লজিস্টিক ক্ষতির মতো বিভিন্ন "প্রক্সি ক্ষতি ফাংশন" ব্যবহার করে আমাদের কী কী মূল্য দিতে হবে?

যখন আপনি উত্তল সারোগেট (উদাহরণস্বরূপ কব্জি-ক্ষতি) দ্বারা নন-উত্তল 0-1 ক্ষতি ফাংশনটি প্রতিস্থাপন করেন , আপনি এখন সমাধানের উদ্দেশ্যে যা করেছেন তার চেয়ে আলাদা সমস্যাটি সমাধান করছেন (যা শ্রেণিবিন্যাসের ভুলের সংখ্যা হ্রাস করতে হবে)। সুতরাং আপনি গণনামূলক ট্র্যাকটেবিলিটি অর্জন করেন (সমস্যা উত্তল হয়ে যায়, যার অর্থ আপনি উত্তল অপ্টিমাইজেশনের সরঞ্জামগুলি ব্যবহার করে দক্ষতার সাথে এটি সমাধান করতে পারেন), তবে সাধারণ ক্ষেত্রে শ্রেণিবদ্ধের ত্রুটি সম্পর্কিত কোনও উপায় নেই যা একটি "প্রক্সি" ক্ষতি হ্রাস করে এবং শ্রেণিবদ্ধকারীর ত্রুটি যা 0-1 টি ক্ষতি হ্রাস করে । তুমি কি তাহলে সত্যিই চিন্তা সম্পর্কে misclassifications সংখ্যা কমানোর, আমি তর্ক এই সত্যিই বেতন বড় দাম।

আমার উল্লেখ করা উচিত যে এই বিবৃতিটি সবচেয়ে খারাপ ক্ষেত্রে , এই অর্থে যে এটি কোনও বিতরণের জন্য রয়েছে । কিছু "সুন্দর" বিতরণের জন্য, এই নিয়মের ব্যতিক্রম রয়েছে। মূল উদাহরণটি ডেটা বিতরণগুলির যেগুলি বৃহত্তর মার্জিনের সাথে সিদ্ধান্তের সীমানা তৈরি করে - শ্যালভ-শোয়ার্টজ, শাই এবং শাই বেন-ডেভিডে থিওরেম 15.4 দেখুন মেশিন লার্নিং বোঝা: তত্ত্ব থেকে অ্যালগরিদম পর্যন্ত to কেমব্রিজ বিশ্ববিদ্যালয়ের প্রেস, 2014।D


1

আদর্শভাবে আপনার ক্ষতির ক্রিয়াকলাপটি ব্যবসায়ের দ্বারা প্রকৃত ক্ষতি প্রতিফলিত করা উচিত। উদাহরণস্বরূপ, আপনি যদি ক্ষতিগ্রস্থ জিনিসগুলিকে শ্রেণিবদ্ধ করছেন, তবে ভুল শংসাপত্রের ক্ষতিটি এরকম হতে পারে:

  • ক্ষতিগ্রস্থ জিনিসগুলি চিহ্নিত করা হয়নি যা ছিল: সম্ভাব্য বিক্রয়ে মুনাফা হারিয়েছে
  • ক্ষতিগ্রস্থ মালামালগুলি চিহ্নিত না করে: রিটার্ন প্রসেসিংয়ের ব্যয়
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.