যখন আমাদের একটি শ্রেণিবদ্ধ (বা বিযুক্ত) ফলাফলের পূর্বাভাস দিতে হয় আমরা লজিস্টিক রিগ্রেশন ব্যবহার করি । আমি বিশ্বাস করি যে ইনপুট মানগুলি দিয়ে কোনও ফলাফলের মান পূর্বাভাস দিতে আমরা লিনিয়ার রিগ্রেশন ব্যবহার করি ।
তাহলে, দুটি পদ্ধতির মধ্যে পার্থক্য কী?
উত্তর:
সম্ভাব্যতা হিসাবে লিনিয়ার রিগ্রেশন আউটপুট
লিনিয়ার রিগ্রেশন আউটপুটটিকে সম্ভাব্যতা হিসাবে ব্যবহার করার জন্য এটি লোভনীয় তবে এটি একটি ভুল কারণ আউটপুটটি negativeণাত্মক হতে পারে, এবং 1 এরও বেশি হতে পারে যেখানে সম্ভাবনা নেই। রিগ্রেশন প্রকৃতপক্ষে সম্ভাব্যতা তৈরি করতে পারে যা 0 এর চেয়ে কম হতে পারে বা 1 এর চেয়েও বড় হতে পারে, তাই লজিস্টিক রিগ্রেশন চালু হয়েছিল।
সূত্র: http://gerardnico.com/wiki/data_mining/simple_logistic_regression
ফলাফল
লিনিয়ার রিগ্রেশন-এ, ফলাফল (নির্ভরশীল পরিবর্তনশীল) অবিচ্ছিন্ন। এটি অসীম সংখ্যক সম্ভাব্য মানগুলির যে কোনও একটিতে থাকতে পারে।
লজিস্টিক রিগ্রেশন-এ, ফলাফল (নির্ভরশীল ভেরিয়েবল) কেবলমাত্র সম্ভাব্য মানের একটি সীমিত সংখ্যক রয়েছে।
নির্ভরশীল পরিবর্তনশীল
প্রতিক্রিয়ার ভেরিয়েবল প্রকৃতির স্বতন্ত্র থাকলে লজিস্টিক রিগ্রেশন ব্যবহৃত হয়। উদাহরণস্বরূপ, হ্যাঁ / না, সত্য / মিথ্যা, লাল / সবুজ / নীল, প্রথম / দ্বিতীয় / 3 য় / 4 র্থ, ইত্যাদি
আপনার প্রতিক্রিয়া পরিবর্তনশীল অবিচ্ছিন্ন থাকলে লিনিয়ার রিগ্রেশন ব্যবহৃত হয়। উদাহরণস্বরূপ, ওজন, উচ্চতা, ঘন্টা সংখ্যা ইত্যাদি
সমীকরণ
লিনিয়ার রিগ্রেশন একটি সমীকরণ দেয় যা Y = mX + C ফর্মের অর্থ ডিগ্রি 1 সহ সমীকরণ।
তবে লজিস্টিক রিগ্রেশন একটি সমীকরণ দেয় যা Y = e X + e -X রূপের form
গুণগুণ ব্যাখ্যা
লিনিয়ার রিগ্রেশন-এ, স্বতন্ত্র ভেরিয়েবলগুলির সহগ ব্যাখ্যার দিকটি বেশ সোজা ward
তবে লজিস্টিক রিগ্রেশন-এ, আপনি যে পরিবারটি ব্যবহার করেন (দ্বিপদী, পোইসন ইত্যাদি) এবং লিঙ্ক (লগ, লজিট, বিপরীত-লগ, ইত্যাদি) নির্ভর করে, ব্যাখ্যাটি আলাদা।
ত্রুটি কমানোর কৌশল
লিনিয়ার রিগ্রেশন ত্রুটিগুলি হ্রাস করতে এবং সর্বোত্তম সম্ভাব্য ফিটটিতে পৌঁছানোর জন্য সর্বনিম্ন স্কোয়ার পদ্ধতি ব্যবহার করে , যখন লজিস্টিক রিগ্রেশন সলিউশনে পৌঁছানোর জন্য সর্বাধিক সম্ভাবনা পদ্ধতি ব্যবহার করে।
লিনিয়ার রিগ্রেশন সাধারণত মডেলটির সর্বনিম্ন স্কোয়ার ত্রুটিটি ডেটাতে হ্রাস করে সমাধান করা হয়, সুতরাং বৃহত ত্রুটিগুলি চতুর্ভুজ হিসাবে শাস্তি দেওয়া হয়।
লজিস্টিক রিগ্রেশন একেবারে বিপরীত। লজিস্টিক লোকসান ফাংশনটি ব্যবহারের ফলে অ্যাসিপোটোটিক্যালি ধ্রুবককে দণ্ডিত করার জন্য বড় ত্রুটি ঘটে।
বিভাগীয় {0, 1} ফলাফলগুলিতে লিনিয়ার রিগ্রেশন বিবেচনা করুন কেন এটি সমস্যা। যদি আপনার মডেল ভবিষ্যদ্বাণী করে ফলাফলটি 38, যখন সত্য 1 হয়, আপনি কিছুই হারান না। লিনিয়ার রিগ্রেশন 38 টি হ্রাস করার চেষ্টা করবে, লজিস্টিক 2 (যত বেশি) 2 করবে না ।
লিনিয়ার রিগ্রেশন-এ, ফলাফল (নির্ভরশীল পরিবর্তনশীল) অবিচ্ছিন্ন। এটি অসীম সংখ্যক সম্ভাব্য মানগুলির যে কোনও একটিতে থাকতে পারে। লজিস্টিক রিগ্রেশন-এ, ফলাফল (নির্ভরশীল ভেরিয়েবল) কেবলমাত্র সম্ভাব্য মানের একটি সীমিত সংখ্যক রয়েছে।
উদাহরণস্বরূপ, যদি X এর মধ্যে বর্গফুট বাড়ির ক্ষেত্রফল থাকে এবং ওয়াইগুলি সেই বাড়ির সাথে সম্পর্কিত বিক্রয়মূল্য থাকে তবে আপনি বাড়ির আকারের ফাংশন হিসাবে বিক্রয়মূল্যের পূর্বাভাস দিতে লিনিয়ার রিগ্রেশন ব্যবহার করতে পারেন। সম্ভব বিক্রয় মূল্য আসলে নাও হতে পারে যদিও কোনো , তাই অনেক সম্ভাব্য মান করে একটি রৈখিক রিগ্রেশনের মডেল মনোনীত করা হবে হয়।
পরিবর্তে, আপনি যদি আকারের উপর ভিত্তি করে ভবিষ্যতবাণী করতে চেয়েছিলেন যে কোনও বাড়ি $ 200K এর বেশি বিক্রি করবে কিনা, আপনি লজিস্টিক রিগ্রেশন ব্যবহার করবেন। সম্ভাব্য আউটপুটগুলি হ্যাঁ, বাড়িটি 200 ডলারেরও বেশি দামে বিক্রয় করবে, বা না, বাড়িটি পাবেন না।
কেবল পূর্বের উত্তরগুলি যুক্ত করতে।
লিনিয়ার রিগ্রেশন
প্রদত্ত উপাদান এক্স এর জন্য আউটপুট মান পূর্বাভাস / অনুমান করার সমস্যাটি বোঝাতে বোঝায় (f (x) বলুন)। পূর্বাভাসের ফলাফলটি একটি উদ্বেগজনক ফাংশন যেখানে মানগুলি ধনাত্মক বা negativeণাত্মক হতে পারে। এক্ষেত্রে আপনার কাছে সাধারণত প্রচুর উদাহরণ এবং তাদের প্রত্যেকের জন্য আউটপুট মান সহ একটি ইনপুট ডেটাসেট থাকে । লক্ষ্যটি হ'ল এই ডেটা সেটটিতে একটি মডেল ফিট করতে সক্ষম হোন যাতে আপনি নতুন / কখনই দেখা যায় না এমন উপাদানগুলির জন্য আউটপুটটি অনুমান করতে সক্ষম হন are পয়েন্টগুলির সেট করার জন্য একটি লাইনের ফিট করার শাস্ত্রীয় উদাহরণ নীচে দেওয়া হয়েছে, তবে সাধারণভাবে লিনিয়ার রিগ্রেশন আরও জটিল মডেলগুলিতে ফিট করতে পারে (উচ্চতর বহুবর্ষীয় ডিগ্রি ব্যবহার করে):
সমস্যা সমাধান করা
লিনিয়ার রিগ্রেশন দুটি ভিন্ন উপায়ে সমাধান করা যেতে পারে:
পণ্য সরবরাহ সংশ্লেষণ
শ্রেণিবদ্ধকরণ সমস্যাগুলি বোঝাতে বোঝানো হয় যেখানে এমন একটি উপাদান দেওয়া হয় যেখানে আপনাকে এন বিভাগগুলিতে একই শ্রেণিবদ্ধ করতে হবে। সাধারণ উদাহরণগুলি উদাহরণস্বরূপ এটি স্প্যাম হিসাবে শ্রেণীবদ্ধ করার জন্য একটি মেইল দেওয়া বা না দেওয়া, বা কোনও গাড়ি এটির অন্তর্ভুক্ত বিভাগ (গাড়ি, ট্রাক, ভ্যান, ইত্যাদি) সরবরাহ করার জন্য দেওয়া হয়েছে। এটিই মূলত আউটপুট হ'ল ডেসক্রিট মানগুলির একটি সীমাবদ্ধ সেট।
সমস্যা সমাধান করা
লজিস্টিক রিগ্রেশন সমস্যাগুলি কেবল গ্রেডিয়েন্ট ডেসেন্ট ব্যবহার করে সমাধান করা যেতে পারে। সাধারণভাবে সূত্রটি লিনিয়ার রিগ্রেশনের সাথে খুব মিল, কেবলমাত্র পার্থক্য হল বিভিন্ন অনুমানের ফাংশন ব্যবহার। লিনিয়ার রিগ্রেশন-এ হাইপোথিসিসের রূপ রয়েছে:
h(x) = theta_0 + theta_1*x_1 + theta_2*x_2 ..
থিটা হল এমন মডেল যেখানে আমরা ফিট করার চেষ্টা করছি এবং [1, x_1, x_2, ..] ইনপুট ভেক্টর। লজিস্টিক রিগ্রেশনে অনুমানের ক্রিয়াটি পৃথক:
g(x) = 1 / (1 + e^-x)
এই ফাংশনটিতে একটি দুর্দান্ত সম্পত্তি রয়েছে, মূলত এটি শ্রেণীর [0,1] এর পরিসরের কোনও মানকে মানচিত্র করে যা শ্রেণিবদ্ধের সময় সম্ভাব্যতাগুলি হ্যান্ডেল করার জন্য প্রশংসিত হয়। উদাহরণস্বরূপ বাইনারি শ্রেণিবিন্যাসের ক্ষেত্রে জি (এক্স) এর ইতিবাচক শ্রেণীর অন্তর্ভুক্ত হওয়ার সম্ভাবনা হিসাবে ব্যাখ্যা করা যেতে পারে। এক্ষেত্রে সাধারণত আপনার বিভিন্ন শ্রেণি থাকে যা সিদ্ধান্তের সীমানার সাথে আলাদা হয় যা মূলত একটি বক্ররেখা যা বিভিন্ন শ্রেণীর মধ্যে বিচ্ছেদকে সিদ্ধান্ত দেয়। নিম্নলিখিতটি দুটি শ্রেণিতে বিভক্ত ডেটাসেটের একটি উদাহরণ।
তারা উভয়ই সমাধানের সমাধানের ক্ষেত্রে বেশ সমান, তবে অন্যেরা যেমন বলেছেন, একটি (লজিস্টিক রিগ্রেশন) একটি "ফিট" (ওয়াই / এন বা 1/0) বিভাগের পূর্বাভাস দেওয়ার জন্য, এবং অন্যটি (লিনিয়ার রিগ্রেশন) ভবিষ্যদ্বাণী করার জন্য একটি মান.
সুতরাং আপনি যদি ক্যান্সার ওয়াই / এন (বা একটি সম্ভাবনা) থাকে কিনা ভবিষ্যদ্বাণী করতে চান - লজিস্টিক ব্যবহার করুন। আপনি যদি জানতে চান যে আপনি কত বছর বাঁচবেন - লিনিয়ার রিগ্রেশন ব্যবহার করুন!
মূল পার্থক্য:
লিনিয়ার রিগ্রেশন মূলত একটি রিগ্রেশন মডেল যার অর্থ এটি কোনও ফাংশনের একটি অ-বিচক্ষণ / ধারাবাহিক আউটপুট দেবে। সুতরাং এই পদ্ধতির মান দেয়। উদাহরণস্বরূপ: প্রদত্ত x কী f (x)
উদাহরণস্বরূপ, বিভিন্ন কারণের একটি প্রশিক্ষণ সেট এবং প্রশিক্ষণের পরে কোনও সম্পত্তির মূল্য দেওয়া আমরা সম্পত্তিটির দাম কী হবে তা নির্ধারণের জন্য প্রয়োজনীয় কারণগুলি সরবরাহ করতে পারি।
লজিস্টিক রিগ্রেশন মূলত একটি বাইনারি শ্রেণিবদ্ধকরণ অ্যালগরিদম যার অর্থ এখানে ফাংশনের জন্য বিচক্ষণ মূল্যবান আউটপুট থাকবে। উদাহরণস্বরূপ: প্রদত্ত x এর জন্য যদি f (x)> থ্রেশহোল্ড এটি 1 হতে শ্রেণিবদ্ধ করে অন্যকে এটি 0 হতে শ্রেণিবদ্ধ করে।
উদাহরণস্বরূপ ট্রেনিং ডেটা হিসাবে মস্তিষ্কের টিউমার আকারের সেট দেওয়া আমরা আকারটি ইনপুট হিসাবে ব্যবহার করতে পারি এটি কোনও বেনিন বা ম্যালিগন্যান্ট টিউমার কিনা তা নির্ধারণ করতে। সুতরাং এখানে আউটপুট 0 বা 1 হয় বিচক্ষণ।
* এখানে ফাংশনটি মূলত অনুমানের ফাংশন
সোজা কথায়, লিনিয়ার রিগ্রেশন হ'ল রিগ্রেশন অ্যালগরিদম, যা একটি সম্ভাব্য ক্রমাগত এবং অসীম মানকে ছাড়িয়ে যায়; লজিস্টিক রিগ্রেশন বাইনারি ক্লাসিফায়ার অ্যালগরিদম হিসাবে বিবেচিত হয়, যা কোনও লেবেল (0 বা 1) এর সাথে সম্পর্কিত ইনপুটটির 'সম্ভাবনা' আউটপুট করে।
রিগ্রেশন অর্থ ধারাবাহিক পরিবর্তনশীল, লিনিয়ার অর্থ y এবং x এর মধ্যে লিনিয়ার সম্পর্ক রয়েছে is প্রাক্তন = আপনি বছরের অভিজ্ঞতা না থেকে বেতন অনুমান করার চেষ্টা করছেন। সুতরাং এখানে বেতনটি স্বাধীন পরিবর্তনশীল (y) এবং অভিজ্ঞতার বছরগুলি নির্ভরশীল পরিবর্তনশীল (এক্স)। y = b0 + b1 * x1
আমরা ধ্রুবক b0 এবং b1 এর সর্বোত্তম মান সন্ধান করার চেষ্টা করছি যা আপনার পর্যবেক্ষণের ডেটার জন্য আমাদের সেরা ফিটিং লাইন দেবে। এটি রেখার একটি সমীকরণ যা এক্স = 0 থেকে খুব বড় মানের অব্যাহত মান দেয়। এই লাইনটিকে লিনিয়ার রিগ্রেশন মডেল বলা হয়।
লজিস্টিক রিগ্রেশন হল শ্রেণিবিন্যাস কৌশল ification শব্দ প্রতিরোধের দ্বারা বিভ্রান্ত হতে না। এখানে আমরা পূর্বাভাস y = 0 বা 1 কিনা।
এখানে প্রথমে নীচের ফর্মুল থেকে x (y = 1) (y = 1 এর ডাব্লুপ্রোবালিটি) দেওয়া উচিত
প্রোবাইবিলিটি পি নীচের ফর্মুয়ালের সাথে y সম্পর্কিত
প্রাক্তন = আমরা টিউমারকে 1 হিসাবে ক্যান্সার হওয়ার 50% এর বেশি সম্ভাবনা এবং টিউমার 0% হিসাবে ক্যান্সার হওয়ার 50% এরও কম সম্ভাবনা থাকার শ্রেণিবদ্ধকরণ করতে পারি।
এখানে লাল পয়েন্টটি 0 হিসাবে পূর্বাভাস দেওয়া হবে তবে গ্রিন পয়েন্টটি 1 হিসাবে পূর্বাভাস দেওয়া হবে।
সংক্ষেপে: লিনিয়ার রিগ্রেশন ধারাবাহিক আউটপুট দেয়। অর্থের একটি ব্যাপ্তির মধ্যে যে কোনও মান। লজিস্টিক রিগ্রেশন বিচ্ছিন্ন আউটপুট দেয়। অর্থাত্ হ্যাঁ / না, 0/1 ধরণের আউটপুট।
উপরের মন্তব্যগুলির সাথে আরও একমত হতে পারে না। তার উপরে আরও কিছু মতপার্থক্য রয়েছে
লিনিয়ার রিগ্রেশন-এ, অবশিষ্টাংশগুলি সাধারণত বিতরণ করা হয় বলে ধরে নেওয়া হয়। লজিস্টিক রিগ্রেশনে, অবশিষ্টগুলি স্বতন্ত্র হওয়া দরকার তবে সাধারণত বিতরণ করা হয় না।
লিনিয়ার রিগ্রেশন ধরে নেয় যে ব্যাখ্যাযোগ্য ভেরিয়েবলের মান একটি ধ্রুবক পরিবর্তন প্রতিক্রিয়াশীল ভেরিয়েবলের ধ্রুবক পরিবর্তনের ফলে ঘটে। যদি প্রতিক্রিয়ার ভেরিয়েবলের মান কোনও সম্ভাবনার প্রতিনিধিত্ব করে তবে (লজিস্টিক রিগ্রেশনটিতে) এই অনুমানটি ধারণ করে না
জিএলএম (জেনারাইজড লিনিয়ার মডেল) নির্ভরশীল এবং স্বতন্ত্র ভেরিয়েবলের মধ্যে লিনিয়ার সম্পর্ক ধরে না। যাইহোক, এটি লগইট মডেলের লিঙ্ক ফাংশন এবং স্বতন্ত্র ভেরিয়েবলের মধ্যে একটি লিনিয়ার সম্পর্ক ধরে।
| Basis | Linear | Logistic |
|-----------------------------------------------------------------|--------------------------------------------------------------------------------|---------------------------------------------------------------------------------------------------------------------|
| Basic | The data is modelled using a straight line. | The probability of some obtained event is represented as a linear function of a combination of predictor variables. |
| Linear relationship between dependent and independent variables | Is required | Not required |
| The independent variable | Could be correlated with each other. (Specially in multiple linear regression) | Should not be correlated with each other (no multicollinearity exist). |
এটিকে সহজভাবে বলতে গেলে, লিনিয়ার রিগ্রেশন মডেলে যদি আরও পরীক্ষার কেস আসে যা y = 1 এবং y = 0 এর পূর্বাভাসের জন্য প্রান্তিকের থেকে অনেক দূরে (বলে = 0.5)। তারপরে সেই ক্ষেত্রে অনুমানটি বদলে যাবে এবং আরও খারাপ হবে। সুতরাং লিনিয়ার রিগ্রেশন মডেলটি শ্রেণিবিন্যাস সমস্যার জন্য ব্যবহার করা হয় না।
আরেকটি সমস্যা হ'ল শ্রেণিবিন্যাস যদি y = 0 এবং y = 1 হয় তবে h (x)> 1 বা <0. হতে পারে তাই আমরা লজিস্টিক রিগ্রেশন ব্যবহার করি 0 <= h (x) <= 1।
লজিস্টিক রিগ্রেশন হ্যাঁ / না, নিম্ন / মাঝারি / উচ্চ ইত্যাদির মতো শ্রেণিবদ্ধ আউটপুটগুলির পূর্বাভাস দেওয়ার জন্য ব্যবহৃত হয় আপনার কাছে মূলত 2 প্রকারের লজিস্টিক রিগ্রেশন বাইনারি লজিস্টিক রিগ্রেশন (হ্যাঁ / না, অনুমোদিত / অস্বীকৃত) বা বহু-শ্রেণীর লজিস্টিক রিগ্রেশন (নিম্ন / মাঝারি) / উচ্চ, 0-9 ইত্যাদি থেকে সংখ্যা)
অন্যদিকে, লিনিয়ার রিগ্রেশন হ'ল যদি আপনার নির্ভরশীল ভেরিয়েবল (y) অবিচ্ছিন্ন থাকে। y = mx + c হল একটি সরল রৈখিক রিগ্রেশন সমীকরণ (এম = opeাল এবং সি হ'ল ই-ইন্টারসেপ্ট)। মাল্টলাইনারি রিগ্রেশনটিতে 1 টিরও বেশি স্বতন্ত্র চলক রয়েছে (x1, x2, x3 ... ইত্যাদি)
লিনিয়ার রিগ্রেশনে ফলাফল অবিচ্ছিন্ন থাকে যখন লজিস্টিক রিগ্রেশন-এ ফলাফলের কেবলমাত্র সীমিত সংখ্যক সম্ভাব্য মান (বিযুক্ত) থাকে।
উদাহরণস্বরূপ: একটি দৃশ্যে, x এর প্রদত্ত মানটি বর্গফুটের প্লটের আকার এবং তার পূর্বে ভবিষ্যদ্বাণী করা y এর প্লটটির হার লিনিয়ার রিগ্রেশনের আওতায় আসে।
পরিবর্তে, আপনি যদি আকারটির উপর ভিত্তি করে ভবিষ্যদ্বাণী করতে চেয়েছিলেন, প্লটটি 300000 টাকার বেশি বিক্রি করবে কিনা, আপনি লজিস্টিক রিগ্রেশন ব্যবহার করবেন। সম্ভাব্য আউটপুটগুলি হ্যাঁ, প্লটটি 300000 টাকারও বেশি বিক্রি করবে বা না No.
লিনিয়ার রিগ্রেশনের ক্ষেত্রে ফলাফল অবিচ্ছিন্ন থাকে যখন লজিস্টিক রিগ্রেশনের ফলাফলটি পৃথক হয় (ধারাবাহিক নয়)
লিনিয়ার রিগ্রেশন সম্পাদন করতে আমাদের নির্ভরশীল এবং স্বতন্ত্র ভেরিয়েবলের মধ্যে একটি লিনিয়ার সম্পর্ক প্রয়োজন। তবে লজিস্টিক রিগ্রেশন সম্পাদন করতে আমাদের নির্ভরশীল এবং স্বতন্ত্র ভেরিয়েবলের মধ্যে রৈখিক সম্পর্কের প্রয়োজন হয় না।
লিনিয়ার রিগ্রেশন হ'ল ডেটাতে একটি সরলরেখা লাগানোর জন্য যখন লজিস্টিক রিগ্রেশন ডেটাতে একটি বক্ররেখা ফিট করে about
লিনিয়ার রিগ্রেশন মেশিন লার্নিংয়ের জন্য একটি রিগ্রেশন অ্যালগরিদম যেখানে লজিস্টিক রিগ্রেশন মেশিন লার্নিংয়ের জন্য শ্রেণিবদ্ধকরণ অ্যালগরিদম।
লিনিয়ার রিগ্রেশন নির্ভরশীল ভেরিয়েবলের গাউসিয়ান (বা সাধারণ) বিতরণ ধরে। লজিস্টিক রিগ্রেশন নির্ভরশীল ভেরিয়েবলের দ্বিপদী বিতরণ ধরে নেয়।