লজিস্টিক রিগ্রেশন কীভাবে এমন রেখাচিত্র তৈরি করতে পারে যা traditionalতিহ্যগত ফাংশন নয়?

15

আমি মনে করি লজিস্টিক রিগ্রেশন-এ ফাংশনগুলি কীভাবে কাজ করে (বা সম্ভবত পুরোপুরি কেবল ফাংশন হয়) সে সম্পর্কে আমার কিছু মৌলিক বিভ্রান্তি রয়েছে।

এটি কীভাবে h (x) ফাংশনটি চিত্রের বামদিকে প্রদর্শিত বাঁক তৈরি করে?

আমি দেখতে পাচ্ছি যে এটি দুটি ভেরিয়েবলের প্লট তবে এর পরে এই দুটি ভেরিয়েবল (x1 এবং x2) নিজেই ফাংশনের যুক্তি। আমি এক আউটপুটে একটি পরিবর্তনশীল মানচিত্রের মানক ফাংশন জানি কিন্তু এই ফাংশনটি পরিষ্কারভাবে তা করছে না - এবং কেন আমি তা নিশ্চিত তা নিশ্চিত নই।

আমার স্বজ্ঞাততা হ'ল নীল / গোলাপী বক্ররেখাটি এই গ্রাফটিতে সত্যই প্লট করা হয়নি বরং এটি একটি উপস্থাপনা (বৃত্ত এবং এক্স এর) যা গ্রাফের পরবর্তী মাত্রায় (তৃতীয়) মানগুলিতে ম্যাপ হয়ে যায়। এই যুক্তিটি কি ত্রুটিযুক্ত এবং আমি কেবল কিছু মিস করছি? কোন অন্তর্দৃষ্টি / অন্তর্দৃষ্টি জন্য ধন্যবাদ

logistic data-visualization function

— স্যাম
সূত্র

8

অক্ষ লেবেল দিতে মনোযোগ, যে বিজ্ঞপ্তি তন্ন তন্ন লেবেল করা

।

y

$y$

— ম্যাথু ড্রুরি

3

"Traditionalতিহ্যবাহী ফাংশন" কী হবে?

— হোবার

@ ম্যাটহেড্রুরি আমি এটি বুঝতে পারি এবং এটি 2 ডি এক্স / ওএস ব্যাখ্যা করে। আমি জিজ্ঞাসা করছি যে পরে প্লট করা বক্ররেখাটি আসছে

— স্যাম

19

এটি অ্যান্ড্রু এনজি দ্বারা এমএলে কোর্সেরা কোর্সে ওভারফিট করার একটি উদাহরণ দুটি বৈশিষ্ট্য সহ শ্রেণিবিন্যাসের মডেলের ক্ষেত্রে , যেখানে প্রকৃত মানগুলি এবং দ্বারা প্রতীকী এবং সিদ্ধান্তের সীমানা হ'ল উচ্চ অর্ডার বহুপদী শর্তাদি ব্যবহারের মাধ্যমে প্রশিক্ষণের সেটটিকে যথাযথভাবে তৈরি করা হয়েছে। $(x_1, x_2)$ $\color{red}{\large \times}$ $\color{blue}{\large\circ},$

যে সমস্যাটি এটি চিত্রিত করার চেষ্টা করে তা সত্যের সাথে সম্পর্কিত, যদিও সীমানা সিদ্ধান্ত রেখা (নীল বর্ণের বক্ররেখার লাইন) কোনও উদাহরণকে ভুল-শ্রেণিবদ্ধ করে না, প্রশিক্ষণের সেটটি থেকে সাধারণীকরণের দক্ষতার সাথে আপস করা হবে। অ্যান্ড্রু এনজি আরও ব্যাখ্যা করেছিলেন যে নিয়মিতকরণ এই প্রভাবটি প্রশমিত করতে পারে এবং প্রশিক্ষণের সীমানার চেয়ে কম কঠোর সিদ্ধান্তের সীমানা হিসাবে ম্যাজেন্টা বক্ররেখা আঁকেন এবং আরও সাধারণীকরণের সম্ভাবনা বেশি থাকে।

আপনার নির্দিষ্ট প্রশ্নের সাথে:

আমার স্বজ্ঞাততা হ'ল নীল / গোলাপী বক্ররেখাটি এই গ্রাফটিতে সত্যই প্লট করা হয়নি বরং এটি একটি উপস্থাপনা (বৃত্ত এবং এক্স এর) যা গ্রাফের পরবর্তী মাত্রায় (তৃতীয়) মানগুলিতে ম্যাপ হয়ে যায়।

কোনও উচ্চতা (তৃতীয় মাত্রা) নেই: দুটি বিভাগ রয়েছে, এবং এবং সিদ্ধান্তের রেখাটি দেখায় যে মডেল কীভাবে তাদের পৃথক করছে। সহজ মডেল $(\large\times$ $\large\circ),$

জ_{θ} (এক্স) = ছ (θ_{0} + + θ_{1} {এক্স}_{1} + + θ_{2} {এক্স}_{2})

$h_\theta(x)=g\left(\theta_0 + \theta_1 \, x_1 + \theta_2 \, x_2 \right)$

সিদ্ধান্তের সীমানা লিনিয়ার হবে।

সম্ভবত আপনার মনে এই জাতীয় কিছু রয়েছে, উদাহরণস্বরূপ:

5 + + 2 এক্স - 1.3 {এক্স}^{2} - 1.2 {এক্স}^{2} Y + + 1 {এক্স}^{2} Y^{2} + + 3 {এক্স}^{2} Y^{3}

$5 + 2 x - 1.3 x^2 -1.2 x^2 y + 1 x^2 y^2 + 3 x^2 y^3$

তবে খেয়াল করুন একটি অনুমানের ফাংশন রয়েছে - আপনার প্রাথমিক প্রশ্নে লজিস্টিক অ্যাক্টিভেশন। সুতরাং এবং এর প্রতিটি মানের জন্যবহুপদী ফাংশন হয় এবং "অ্যাক্টিভেশন" (প্রায়শই অ-রৈখিক, যেমন একটি সিগময়েড ফাংশনে যেমন ওপি হিসাবে থাকে, যদিও প্রয়োজনীয়ভাবে হয় না (যেমন, RELU))। সীমাবদ্ধ আউটপুট হিসাবে সিগময়েড অ্যাক্টিভেশন নিজেকে একটি সম্ভাবনাময় ব্যাখ্যায় ধার দেয়: শ্রেণিবদ্ধকরণের মডেলটিতে ধারণাটি একটি নির্দিষ্ট প্রান্তিকের উপর আউটপুটটিকে বা লেবেলযুক্ত করা হয়কার্যকরভাবে, একটি অবিচ্ছিন্ন আউটপুট একটি বাইনারি $g(\cdot)$ $x_1$ $x_2$ $\large \times$ $\large($ $\large \circ).$ আউটপুট। $(1,0)$

ওজন (বা পরামিতি) এবং অ্যাক্টিভেশন ফাংশন উপর নির্ভর করে প্রতিটি পয়েন্ট বৈশিষ্ট্য সমতলে পারেন বিভাগ ম্যাপ করা হবে বা । এই লেবেলটি সঠিক হতে পারে বা নাও হতে পারে: এবংদ্বারা আঁকা নমুনার পয়েন্টগুলি এগুলি সঠিক হবে $(x_1,x_2)$ $\large \times$ $\large \circ$ $\color{red}{\large \times}$ ছবিতেপূর্বাভাসীকৃত লেবেলের সাথে সামঞ্জস্য। সমতল অঞ্চলে সীমানা নির্ধারিত লেবেল এবং যারা সন্নিহিত অঞ্চলে লেবেল । এগুলি একটি লাইন বা একাধিক লাইন হতে পারে "দ্বীপপুঞ্জগুলি" বিচ্ছিন্ন করে (দেখুনটুনি ফিশেটিঅংশেরদ্বারা এই অ্যাপ্লিকেশনটিদিয়েনিজেরাইখেলছেন দেখুন) $\color{blue}{\large \circ}$ $\large \times$ $\large \circ$ আর-ব্লগারগুলিতে এই ব্লগ এন্ট্রি )।

সিদ্ধান্তের সীমানায় উইকিপিডিয়ায় প্রবেশের বিষয়টি লক্ষ্য করুন :

দুটি ক্লাসের সাথে একটি পরিসংখ্যানগত-শ্রেণিবদ্ধকরণের সমস্যায়, সিদ্ধান্তের সীমানা বা সিদ্ধান্তের তল একটি হাইপারসফেস যা অন্তর্নিহিত ভেক্টর স্পেসকে দুটি সেটে বিভক্ত করে, প্রতিটি শ্রেণির জন্য একটি করে। শ্রেণিবদ্ধকারী সিদ্ধান্তের সীমানার একদিকে সমস্ত পয়েন্টকে এক শ্রেণির অন্তর্ভুক্ত এবং অন্য পক্ষের সমস্ত শ্রেণি অন্য শ্রেণীর অন্তর্ভুক্ত হিসাবে শ্রেণিবদ্ধ করবে। সিদ্ধান্তের সীমানা হ'ল কোনও সমস্যা স্থানের অঞ্চল যেখানে কোনও শ্রেণিবদ্ধের আউটপুট লেবেল অস্পষ্ট থাকে।

আসল সীমানা গ্রাফ করার জন্য উচ্চতার উপাদানগুলির প্রয়োজন নেই। যদি অন্যদিকে, আপনি সিগময়েড অ্যাক্টিভেশন মান প্লট করছেন (রেঞ্জের সাথে ধারাবাহিক $∈[0,1]),$

$3$

কোথায় , এবং হ'ল ওয়েট ভেক্টর $y_1 = h_\theta(x)$ $\mathbf W$ $(\Theta)$ $\Theta$

একাধিক নিউরনে যোগদান করে, এই পৃথক হাইপারপ্লেনগুলি মজাদার আকারের সাথে শেষ করতে যোগ এবং বিয়োগ করা যেতে পারে:

সর্বজনীন আনুমানিক উপপাদ্যের সাথে এই লিঙ্কগুলি ।

— আন্তনি পরল্লদা
সূত্র

1

আপনার উত্তরটি সবসময় +1 উপভোগ করুন। এটি আরও ভাল হতে পারে যদি আপনি সিদ্ধান্তের প্লেনটি আপনার প্লটের সাথে ছেদ করতে পারেন। কিছু উপরে এবং কিছু নীচে দেখানোর জন্য।

— হাইতাও ডু

এই জন্য অনেক ধন্যবাদ. আমি এখনও অনুভব করি যে আমি নিজে বক্ররেখা সম্পর্কে কিছুটা ছোট করছি - এটি কি এই বলে যে সিদ্ধান্তের সীমানাটি সত্যই "আঁকানো" হচ্ছে না বরং এটি এক্স 1 এবং x2 এর মান প্রান্তিকের ইঙ্গিত করার জন্য কেবল অ্যান্ড্রু এনগের উপায় অনুমানটি হয় হয় × বা ∘ হতে পারে? আমি মনে করি যে আমার কিছু বিভ্রান্তি প্রথম থেকেই কীভাবে বক্ররেখা একটি কার্যকারিতা হতে পারে তা থেকে উদ্ভূত হয়েছিল, তবে আমি এখন বুঝতে পারি যে এটি নেই।

— স্যাম

1

@ আন্তনিপরেল্লদা এটি দুর্দান্ত, আমি এখন পার্থক্যটি দেখতে পাচ্ছি। সহযোগিতার জন্য অসংখ্য ধন্যবাদ.

— স্যাম

0

আমরা কিছু ভারী শুল্ক গণিতবিদ পেয়েছি এই প্রশ্নের উত্তর। আপনার পূর্বাভাসকারী এক্স 1 এবং এক্স 2 এর মান এবং 'সিদ্ধান্তের সীমানা' রেখা পূর্বাভাসিত ধনাত্মকগুলি থেকে পৃথককৃত ধনাত্মককে আলাদা করে এখানে চিত্রিত করার মতো চিত্র আমি কখনও দেখিনি। (বা এটি কি পূর্বাভাস বনাম প্রকৃত ফলাফলের মানচিত্র?) তবে এটি দরকারী --- যতক্ষণ না আপনার কাছে আগ্রহের দু'টি ভবিষ্যদ্বাণী রয়েছে যেটি আপনি মানচিত্র করতে চান।
দেখা যাচ্ছে যে ম্যাজেন্টা লাইনটি পূর্বাভাসিত ধনাত্মকগুলি পূর্বাভাসিত নেতিবাচক থেকে পৃথক করে, যেখানে গা the় নীল রেখায় সমস্ত ধনাত্মক থাকে includes এটি সাধারণত লজিস্টিক রিগ্রেশনের ক্ষেত্রে হয়: মডেল 100% এরও কম ক্ষেত্রে এর ফলাফলের সঠিকভাবে ভবিষ্যদ্বাণী করবে (এবং কিছু মিথ্যা ইতিবাচক এবং / বা মিথ্যা নেতিবাচক ভবিষ্যদ্বাণী করবে)।
লজিস্টিক রিগ্রেশন চালানো সম্ভব এবং প্রক্রিয়াটি ডেটাসেটের প্রতিটি পৃথক মামলার জন্য h (x) ফাংশন তৈরি করে। এটি 0 থেকে 1 পর্যন্ত প্রতিটি বিষয়ের জন্য একটি প্রপেনসিটি স্কোর তৈরি করবে, যা সমস্ত বিষয় ব্যবহার করে লজিস্টিক রিগ্রেশন মডেলের উপর ভিত্তি করে সেই বিষয়ের ভবিষ্যদ্বাণীশীল ভেরিয়েবলের উপর ভিত্তি করে প্রতিটি বিষয়ের ইতিবাচক ফলাফলের সম্ভাবনা বা সম্ভাবনা দেয়। ০.৫ বা তার বেশি সংখ্যার প্রোপেনসিটি স্কোর কাট অফে তাদের ফলাফল হওয়ার পূর্বাভাস দেওয়া হয়েছে এবং ০.৫ এর নিচে যারা রয়েছে তাদের ফলাফল না হওয়ার পূর্বাভাস দেওয়া হয়েছে। আপনি উপযুক্ত হিসাবে দেখতে দেখতে এই কাটফট স্তরটি সামঞ্জস্য করতে পারেন, উদাহরণস্বরূপ আপনার লজিস্টিক রিগ্রেশন বিশ্লেষণে প্রবেশ করা সমস্ত ইনপুট ভেরিয়েবলের উপর ভিত্তি করে কিছু ফলাফলের ডায়গনিস্টিক প্রেডিকশন মডেল তৈরি করতে। আপনি উদাহরণস্বরূপ 0.3 এ কাট অফ সেট করতে পারেন। তারপরে আপনি পূর্বাভাস-বনাম-বাস্তব ফলাফলগুলির একটি 2 এক্স 2 টেবিল করতে পারেন এবং এই কাটঅফ স্তরের ভিত্তিতে আপনার সংবেদনশীলতা, নির্দিষ্টতা, ভুয়া ইতিবাচক হার এবং মডেলের মিথ্যা নেতিবাচক হার নির্ধারণ করতে পারেন। এটি আরও তথ্য সরবরাহ করে এবং আপনার গ্রাফে ব্যবহৃত 2 টি ভেরিয়েবলের সীমা থেকেও মুক্তি দেয়। আপনি মডেল হিসাবে যুক্তিসঙ্গতভাবে ফিট করতে পারেন হিসাবে আপনি অনেক ভবিষ্যদ্বাণী ব্যবহার করতে পারেন এবং এখনও বাস্তব-বনাম-পূর্বাভাস ফলাফল একটি 2X2 টেবিল করতে। যেহেতু লজিস্টিক রিগ্রেশন শ্রেণিবদ্ধ (হ্যাঁ-না) ফলাফলগুলি ব্যবহার করে, তাই 2 এক্স 2 টেবিলের প্রতিটি ঘরটি কেবল সারি এবং কলামের মানদণ্ডের সাথে মেলে এমন বিষয়গুলির একটি গণনা। আপনি মডেল হিসাবে যুক্তিসঙ্গতভাবে ফিট করতে পারেন হিসাবে আপনি অনেক ভবিষ্যদ্বাণী ব্যবহার করতে পারেন এবং এখনও বাস্তব-বনাম-পূর্বাভাস ফলাফল একটি 2X2 টেবিল করতে। যেহেতু লজিস্টিক রিগ্রেশন শ্রেণিবদ্ধ (হ্যাঁ-না) ফলাফলগুলি ব্যবহার করে, তাই 2 এক্স 2 টেবিলের প্রতিটি ঘরটি কেবল সারি এবং কলামের মানদণ্ডের সাথে মেলে এমন বিষয়গুলির একটি গণনা। আপনি মডেল হিসাবে যুক্তিসঙ্গতভাবে ফিট করতে পারেন হিসাবে আপনি অনেক ভবিষ্যদ্বাণী ব্যবহার করতে পারেন এবং এখনও বাস্তব-বনাম-পূর্বাভাস ফলাফল একটি 2X2 টেবিল করতে। যেহেতু লজিস্টিক রিগ্রেশন শ্রেণিবদ্ধ (হ্যাঁ-না) ফলাফলগুলি ব্যবহার করে, তাই 2 এক্স 2 টেবিলের প্রতিটি ঘরটি কেবল সারি এবং কলামের মানদণ্ডের সাথে মেলে এমন বিষয়গুলির একটি গণনা।
আপনার প্রদত্ত গ্রাফটিতে এটি সম্ভবত 0.5 এর একটি কাট অফ করে। এটি সফ্টওয়্যারটির জন্য সাধারণ ডিফল্ট। যদি আপনি এটি উচ্চতর সমন্বয় করেন (উদাহরণস্বরূপ 0.65 তে) তবে এটি লাইনটির মধ্যে সমস্ত ও এর অন্তর্ভুক্ত করতে পারে তবে আপনার কিছু ভুল ধনাত্মকতা (X এর দ্বারা এটি ও এর হওয়া উচিত বলে মনে করেন) থাকতে পারে যা মডেল দ্বারা ভবিষ্যদ্বাণী করা হবে এর ফলাফল হতে পারে স্বার্থ. (বা কাট অফের স্কোর কম সামঞ্জস্য করুন এবং আরও মিথ্যা নেতিবাচক থাকতে হবে)
আশা করি এটা কাজে লাগবে.

— জার্মান
সূত্র