উদ্দেশ্য ফাংশন, ব্যয় ফাংশন, ক্ষতি ফাংশন: তারা কি একই জিনিস?

Question

মেশিন লার্নিংয়ে লোকেরা অবজেক্টিভ ফাংশন, ব্যয় ফাংশন, লোকসানের কাজ সম্পর্কে কথা বলে। তারা কি একই জিনিসটির আলাদা আলাদা নাম? এগুলি কখন ব্যবহার করবেন? যদি তারা সবসময় একই জিনিস উল্লেখ না করা হয়, পার্থক্য কি?

Comments

এছাড়াও দেখুন stats.stackexchange.com/questions/73221/…

— নিক কক্স

Answer 1

এগুলি খুব কড়া শর্ত নয় এবং এগুলি অত্যন্ত সম্পর্কিত। যাহোক:

• ক্ষতি ফাংশন সাধারণত একটি ফাংশন যা ডেটা পয়েন্ট, পূর্বাভাস এবং লেবেলে সংজ্ঞায়িত হয় এবং জরিমানা পরিমাপ করে। উদাহরণ স্বরূপ:
  • বর্গক্ষেত্র ক্ষতি , রৈখিক প্রতিরোধে ব্যবহৃত$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • কব্জি ক্ষতি , এসভিএম এ ব্যবহৃত$l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • 0/1 লোকস , তাত্ত্বিক বিশ্লেষণ এবং নির্ভুলতার সংজ্ঞা ব্যবহৃত হয়েছে$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• ব্যয় ফাংশন সাধারণত বেশি সাধারণ হয়। এটি আপনার প্রশিক্ষণ সেট এবং কিছু মডেল জটিলতার জরিমানা (নিয়ন্ত্রণ) এর চেয়ে বেশি ক্ষতির কাজগুলির সমষ্টি হতে পারে। উদাহরণ স্বরূপ:
  • গড় স্কোয়ার ত্রুটি$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • এসভিএম ব্যয় ফাংশন ( এবং training সাথে সংযোগ করার জন্য এবং প্রশিক্ষণের সেট সহ অতিরিক্ত বাধা রয়েছে )$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• উদ্দেশ্যমূলক ফাংশন হ'ল প্রশিক্ষণের সময় আপনি যে কোনও ক্রিয়াকলাপ অনুকূল করেন। উদাহরণস্বরূপ, সর্বাধিক সম্ভাবনার পদ্ধতির মধ্যে প্রশিক্ষণের সেট তৈরির সম্ভাবনা একটি ভাল সংজ্ঞায়িত উদ্দেশ্য ফাংশন, তবে এটি কোনও ক্ষতির ফাংশন বা ব্যয় ফাংশন নয় (তবে আপনি কোনও সমতুল্য ব্যয়ের ক্রিয়াটি সংজ্ঞায়িত করতে পারেন)। উদাহরণ স্বরূপ:
  • এমএলই হ'ল এক ধরণের অবজেক্টিভ ফাংশন (যা আপনি সর্বাধিক বাড়ান)
  • শ্রেণীর মধ্যে বিভেদ একটি উদ্দেশ্যমূলক ফাংশন হতে পারে তবে এটি সবেমাত্র ব্যয়ের ফাংশন, যদি না আপনি 1-ডাইভারজেন্সের মতো কৃত্রিম কিছু সংজ্ঞায়িত করেন এবং এটির জন্য ব্যয়টির নাম না রাখেন

দীর্ঘ গল্প সংক্ষিপ্ত, আমি বলতে চাই যে:

লোকসান ফাংশন হ'ল ব্যয় ফাংশনের একটি অংশ যা একধরণের উদ্দেশ্যমূলক ফাংশন।

Comments

+1 টি। আমি এর জন্য কোনও উত্স দেখিনি তবে আমি অনুমান করেছি যে "উদ্দেশ্য" শব্দটি ব্যবহৃত শব্দটি কারণ এটি আপনার লক্ষ্য বা উদ্দেশ্যটি সেই ফাংশনটির অনুকূলকরণ করা, যার অর্থ হতে পারে কোনও ভাল কিছুকে সর্বাধিকতর করা বা খারাপ কিছু কমানো, যদিও এই পার্থক্যটি তুচ্ছ, যেহেতু কোনও ফাংশন উপেক্ষিত হতে পারে। বিপরীতে, "লোকসান" এবং "ব্যয়" এর ক্ষতিকারক ওভারটোনগুলি কামড় দেয়: আমি বলব যে কিছু হ্রাস করা ব্যতীত উভয় পদই ব্যবহার করা বিকৃত হবে। এই পয়েন্টগুলি আপনার সূক্ষ্ম উত্তরে স্বাচ্ছন্দ্যযুক্ত তবে কিছুটা বেশি জোর দেওয়ার দাবি রাখে।

— নিক কক্স

"এমএলই" এর "এম" এর অর্থ "সর্বনিম্ন" ন্যূনতম নয়। আমি কেবল এই পেডেন্টিক বিশদটি উল্লেখ করেছি কারণ এই প্রশ্নটি স্ট্যাকওভারফ্লো থেকে স্থানান্তরিত হয়েছিল, এবং এর আগে আমাকে ভুল ফাংশন হ্রাস করার বাগ দ্বারা দংশিত করা হয়েছে

— টেলর

আসলে, উদ্দেশ্য ফাংশন হ'ল ফাংশন (যেমন লিনিয়ার ফাংশন) আপনি ক্ষতির ফাংশনের (যেমন এল 1, এল 2) সীমাবদ্ধতার অধীনে (সাধারণত ছোট বা সর্বাধিককরণের মাধ্যমে) অনুকূলকরণ করতে চান। উদাহরণগুলি হ'ল রিজ রিগ্রেশন বা এসভিএম। আপনি কোনও ক্ষতির ফাংশন ছাড়াই উদ্দেশ্য ফাংশনটিও অনুকূলিত করতে পারেন, যেমন সহজ ওএলএস বা লগইট।

— g3o2

@ নিক কক্স লিখেছেন 'ক্ষতির' এবং 'ব্যয়' এর দুর্যোগপূর্ণ ওভারটোনগুলি: "আমি অসন্তুষ্ট হচ্ছি, ক্ষতি বা ব্যয়কে সর্বাধিকতর করা যেতে পারে" সবচেয়ে খারাপ সম্ভাব্য কেসটি (যা কিছু সীমাবদ্ধতার সাপেক্ষে) সন্ধান করুন। এটি সবচেয়ে খারাপ ক্ষেত্রে বিশ্লেষণের জন্য দরকারী হতে পারে।

— মার্ক এল স্টোন

"ক্ষতি" এবং "ব্যয়" এর মধ্যে পার্থক্যটি রোট মুখস্থকরণের চেয়ে সোজা অন্যথায় রাখা আমার পক্ষে কঠিন। সমস্যাটি হ'ল শব্দের ইংরেজি সংজ্ঞাগুলি কোন প্রচ্ছদ দেয় না যা কোনটি হওয়া উচিত, না কোনও স্পষ্ট স্মৃতিচারণও নেই। কোন পরামর্শ স্বাগত জানাই।

— স্টিফেন

Answer 2

প্রফেসর অ্যান্ড্রু এনগের মতে (১১ পৃষ্ঠার স্লাইডগুলি দেখুন),

ফাংশন এইচ (এক্স) আপনার অনুমানকে উপস্থাপন করে। থ্যাটা ফিটিং পরামিতিগুলির জন্য, এটি এক্স বৈশিষ্ট্যগুলির একটি ফাংশন I'd আমি বলব এটি এটিকে উদ্দেশ্যমূলক ফাংশনও বলা যেতে পারে।

কস্ট ফাংশন জে ফিটিং পরামিতিগুলির একটি ফাংশন ta জ = জ (থেটা)।

হাস্টি এট আল এর পাঠ্যপুস্তক "পরিসংখ্যান শিক্ষার উপাদানসমূহ" অনুসারে , পি.37 দ্বারা:

"আমরা ইনপুট এক্স এর ওয়াই প্রদত্ত মানগুলির পূর্বাভাস দেওয়ার জন্য একটি ফাংশন (এক্স) চাই" " [...] ক্ষতির ফাংশন এল (ওয়াই, এফ (এক্স)) "ভবিষ্যদ্বাণীগুলির ত্রুটিগুলি দন্ডিত করার জন্য একটি ফাংশন",

সুতরাং মনে হচ্ছে "ক্ষতি ফাংশন" "ব্যয় ফাংশন" এর চেয়ে কিছুটা সাধারণ শব্দ। যদি আপনি সেই পিডিএফটিতে "ক্ষতির" সন্ধান করেন তবে আমি মনে করি তারা কিছুটা সমার্থকভাবে "কস্ট ফাংশন" এবং "ক্ষতি ফাংশন" ব্যবহার করে।

প্রকৃতপক্ষে, পি। 502

"পরিস্থিতি [ক্লাস্টারিং] ভবিষ্যদ্বাণীজনিত সমস্যাগুলির (তদারকি করা শিক্ষার) ক্ষতি বা ব্যয় ফাংশনের নির্দিষ্টকরণের সাথে কিছুটা মিল"।

হতে পারে এই পদগুলি বিদ্যমান কারণ তারা বিভিন্ন একাডেমিক সম্প্রদায়গুলিতে স্বাধীনভাবে বিকশিত হয়েছিল। "অবজেক্টিভ ফাংশন" অপারেশন গবেষণা এবং ইঞ্জিনিয়ারিং গণিতে ব্যবহৃত একটি পুরাতন শব্দ। পরিসংখ্যানবিদদের মধ্যে "ক্ষতি ফাংশন" বেশি ব্যবহৃত হতে পারে। তবে আমি এখানে অনুমান করছি।

Comments

ক্ষতি ফাংশন ব্যয় কার্যকারিতার চেয়ে "সাধারণ" হওয়ার কাছাকাছি আর নেই। f (এক্স) বিশেষত আপনার পরামিতিগুলির ফাংশন (এইভাবে জে (থেটা)) তৈরি করে, এটি (ক্ষতি ফাংশন) একটি নির্দিষ্ট ধরণের ব্যয় ফাংশন করে। তদুপরি, সেখানে

— হাসিটির একটি সরলকরণ

আমি কেবল এই প্রশ্নের উত্তরটি একাডেমিক সাহিত্যের উত্সগুলি দিয়ে বোঝার চেষ্টা করেছি, উত্সগুলি যা বোঝা সহজ। আপনার "অ্যাডেটিভ লস ফাংশন" এর

— বক্তব্যটি

এসেল একটি দুর্দান্ত বই, তবে মিল জ্ঞানের একমাত্র উত্স নয়।

— lejlot

এটি এনজি বা "আপনি" বলবেন? h হল মডেল (হাইপোথিসিসের জন্য h)। উদ্দেশ্য হ'ল ভাল সম্পাদন করে। উদ্দেশ্যমূলক ফাংশনটি পরিমাপ করে যে কতটা ভাল হয় এবং সাধারণত এইচ থেকে আলাদা হয়।

— জোছিম ওয়াগনার 17

— এসএল-এর

Answer 3

অ্যান্ড্রু এনজির কথায়-

"অবশেষে, একক প্রশিক্ষণের উদাহরণ হিসাবে শ্রদ্ধার সাথে লোকসানের সংজ্ঞাটি সংজ্ঞায়িত করা হয়েছিল। এটি একক প্রশিক্ষণের উদাহরণে আপনি কতটা ভাল করছেন তা পরিমাপ করে now আমি এখন ব্যয় ফাংশন নামক এমন কিছু সংজ্ঞায়িত করতে যাচ্ছি যা আপনি কতটা ভালভাবে পরিমাপ করেন একটি সম্পূর্ণ প্রশিক্ষণের সেট করছে So সুতরাং আপনার প্যারামিটারগুলিতে ডাব্লু এবং বি এর জন্য যে ব্যয়টি ফাংশন প্রয়োগ করা হবে তা প্রশিক্ষণের প্রতিটি উদাহরণ এবং টার্নের জন্য প্রয়োগ ক্ষতির ফাংশনের যোগফলের মিটারের একটির সাথে গড় হতে চলেছে ""

Answer 4

"ডিপ লার্নিং" - এর ৪.৩ বিভাগ থেকে - আয়ান গুডফেলো, যোশুয়া বেনজিও, অ্যারন কউরভিলে http:// www. প্রদীপবিষয়ক।

"আমরা যে ফাংশনটি ছোট বা সর্বাধিক করতে চাই তাকে অবজেক্টিভ ফাংশন বা মাপদণ্ড বলা হয় we যদিও কিছু মেশিন লার্নিং প্রকাশনা এই শর্তগুলির কয়েকটিতে বিশেষ অর্থ প্রদান করে। "

এই বইটিতে কমপক্ষে লোকসান এবং ব্যয় একই রকম।

Answer 5

আপনাকে একটি সংক্ষিপ্ত উত্তর দিতে, আমার মতে তারা সমার্থক। তবে ব্যয় ফাংশনটি অপ্টিমাইজেশান সমস্যায় বেশি ব্যবহৃত হয় এবং ক্ষতির ফাংশনটি প্যারামিটার অনুমানে ব্যবহৃত হয়।

Answer 6

পদগুলি ব্যয় এবং ক্ষতির ফাংশনগুলির সমার্থক কিছু লোক এটিকে ত্রুটি ফাংশনও বলে। আরও সাধারণ পরিস্থিতি হ'ল প্রথমে একটি উদ্দেশ্যমূলক ক্রিয়াটি সংজ্ঞায়িত করা, যা আমরা অনুকূল করতে চাই। এই উদ্দেশ্য ফাংশন হতে পারে

1. উত্তরোত্তর সম্ভাবনা সর্বাধিক করুন (উদাঃ, নিষ্পাপ বেইস)
2. একটি ফিটনেস ফাংশন সর্বাধিক করুন (জেনেটিক প্রোগ্রামিং)
3. মোট পুরষ্কার / মান ফাংশন সুনির্দিষ্ট করুন (শক্তিবৃদ্ধি শেখা)
4. সর্বোচ্চ তথ্য প্রাপ্তি / শিশু নোডের অমেধ্যকে ন্যূনতম করুন (কার্ট সিদ্ধান্ত গাছের শ্রেণিবদ্ধকরণ) 5. একটি গড় স্কোয়ার ত্রুটি ব্যয় (বা ক্ষতি) ফাংশনটি কমিয়ে দিন (কার্ট, সিদ্ধান্তের গাছের রিগ্রেশন, লিনিয়ার রিগ্রেশন, অভিযোজিত লিনিয়ার নিউরন,…
5. লগ-সম্ভাবনা সর্বাধিক করুন বা ক্রস-এনট্রপি ক্ষতিকে কমিয়ে দিন (বা ব্যয়) ফাংশন হ্রাস করুন হিন্জে ক্ষতি (সমর্থন ভেক্টর মেশিন)

Answer 7

আসলে সরল হতে যদি আপনার কাছে এম ট্রেনিং ডেটা থাকে (x (1), y (1)), (x (2), y (2)),। । । (এক্স (এম), ওয়াই (এম)) একক প্রশিক্ষণ সেটের ycap এবং y এর মধ্যে ক্ষতি সন্ধানের জন্য আমরা ক্ষতি ফাংশন এল (ycap, y) ব্যবহার করি যদি আমরা পুরো প্রশিক্ষণ সংস্থার ycap এবং y এর মধ্যে ক্ষতি খুঁজে পেতে চাই তবে ব্যয় ফাংশন।

দ্রষ্টব্য: - ycap বলতে আমাদের মডেল এবং y এর অর্থ প্রত্যাশিত আউটপুট

দ্রষ্টব্য: - ক্রেডিট অ্যান্ড্রু এনজিও রিসোর্স: কোর্স নিউরাল নেটওয়ার্ক এবং গভীর শিক্ষা

Answer 8

ক্ষতি ফাংশনটি একক প্রশিক্ষণের উদাহরণের জন্য ত্রুটিটি গণনা করে, তবে ব্যয় কার্যটি পুরো প্রশিক্ষণের সেটটির ক্ষতি ফাংশনের গড়।

Comments

নিক কক্সের লিঙ্কটি দেখুন।

— মাইকেল চেরনিক