লিনিয়ার এবং নন-লিনিয়ার রিগ্রেশন মডেলগুলির মধ্যে পার্থক্যটি কীভাবে বলা যায়?

27

আমি অ লিনিয়ার রিগ্রেশন এসএএস নন লিনিয়ার সম্পর্কে নীচের লিঙ্কটি পড়ছিলাম । প্রথম বিভাগ "ননলাইনার রিগ্রেশন বনাম লিনিয়ার রিগ্রেশন" পড়ে আমার বোঝাটি ছিল যে নীচের সমীকরণটি আসলে লিনিয়ার রিগ্রেশন, এটি কি সঠিক? যদি তাই হয় কেন?

y = b_{1} x^{3} + b_{2} x^{2} + b_{3} x + c

$y = b_1x^3 + b_2x^2 + b_3x + c$

আমি কি এটাও বুঝতে পারি যে নন-লিনিয়ার রিগ্রেশন মাল্টিকোলাইনারিটি কোনও সমস্যা নয়? আমি জানি যে মাল্টিকোলাইনারিটি লিনিয়ার রিগ্রেশনটিতে একটি সমস্যা হতে পারে তাই অবশ্যই যদি উপরের মডেলটি আসলে লিনিয়ার রিগ্রেশন হয় তবে বহুবিধ লাইন থাকবে?

— mHelpMe
সূত্র

ঘনিষ্ঠভাবে সম্পর্কিত: stats.stackexchange.com/questions/33876 ।

— হোবল

এছাড়াও সম্পর্কিত: "বক্ররেখা" এর অর্থ কী?

— গুং - মনিকা পুনরায়

35

(অন্তত) তিনটি ইন্দ্রিয় রয়েছে যাতে একটি প্রতিরোধকে "রৈখিক" হিসাবে বিবেচনা করা যেতে পারে। তাদের পার্থক্য করতে, আসুন একটি অত্যন্ত সাধারণ রিগ্রেশন মডেল দিয়ে শুরু করি

Y = f (X, θ, ε) .

$Y = f(X,\theta,\varepsilon).$

আলোচনাটি সহজ রাখার জন্য, স্বাধীন ভেরিয়েবল স্থির করে সঠিকভাবে পরিমাপ করতে (এলোমেলো ভেরিয়েবলের চেয়ে) নিন। তারা প্রতিটি বৈশিষ্ট্যগুলির পর্যবেক্ষণকে মডেল করে, এর প্রতিক্রিয়াগুলির ভেক্টরকে বৃদ্ধি দেয় । প্রচলিতভাবে, একটি ম্যাট্রিক্স এবং কলাম ভেক্টর হিসাবে উপস্থাপিত হয়। (সসীম -vector) গঠিত পরামিতি । একটি ভেক্টর-মূল্যবান র্যান্ডম ভেরিয়েবল। এটি সাধারণত $X$ $n$ $p$ $n$ $Y$ $X$ $n\times p$ $Y$ $n$ $q$ $\theta$ $\varepsilon$ $n$ উপাদান, কিন্তু কখনও কখনও কম হয়। ফাংশন ভেক্টর-মূল্যবান (সাথে আছেন উপাদান মেলে ) এবং সাধারণত তার শেষ দুটি আর্গুমেন্ট একটানা অধিকৃত হয় ( এবং )। $f$ $n$ $Y$ $\theta$ $\varepsilon$

ডেটাতে একটি লাইন লাগানোর প্রত্নতাত্ত্বিক উদাহরণটি এমন ক্ষেত্রে যেখানে সংখ্যার ভেক্টর - এক্স-মানগুলি; হ'ল সংখ্যাগুলির একটি সমান্তরাল ভেক্টর ; ইন্টারসেপ্ট দেয় এবং opeাল ; এবং "এলোমেলো ত্রুটি" এর একটি ভেক্টর যার উপাদানগুলি স্বতন্ত্র (এবং সাধারণত গড় শূন্যের অভিন্ন কিন্তু অজানা বিতরণ হিসাবে ধরে নেওয়া হয়)। পূর্ববর্তী স্বরলিপি, $(x,y)$ $X$ $(x_i,\,i=1,2,\ldots,n)$ $Y$ $n$ $(y_i)$ $\theta = (\alpha,\beta)$ $\alpha$ $\beta$ $\varepsilon = (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)$

y_{i} = α + β x_{i} + ε_{i} = f (X, θ, ε)_{i}

$y_i = \alpha + \beta x_i +\varepsilon_i = f(X,\theta,\varepsilon)_i$

সঙ্গে । $\theta = (\alpha,\beta)$

রিগ্রেশন ফাংশনটি তার তিনটি আর্গুমেন্টের যে কোনও (বা সমস্ত) ক্ষেত্রে রৈখিক হতে পারে:

"রৈখিক রিগ্রেশনের, অথবা একটি 'রৈখিক মডেল," সচরাচর এর মানে হল যে এর কার্যকারিতা হিসেবে রৈখিক হয় পরামিতি । এসএএস এর অর্থ "অরৈখিক রিগ্রেশন" এই অর্থে হয়, যোগ ধৃষ্টতা যে সঙ্গে তার দ্বিতীয় differentiable হয় যুক্তি (পরামিতি) This এই অনুমানটি সমাধানগুলি সন্ধান করা সহজ করে তোলে। $f$ $\theta$ $f$
একটি "মধ্যে রৈখিক সম্পর্ক এবং মানে হলো" এর কার্যকারিতা হিসেবে রৈখিক হয় । $X$ $Y$ $f$ $X$
লিনিয়ার হলে কোনও মডেলের অ্যাডিটিভ ত্রুটি থাকে । এই জাতীয় ক্ষেত্রে সর্বদা ধরে নেওয়া হয় যে । (অন্যথায়, "ত্রুটি" বা "সঠিক" মানগুলি থেকে "বিচ্যুতি" হিসাবে ভাবা ঠিক হবে না )) $f$ $\varepsilon$ $\mathbb{E}(\varepsilon) = 0$ $\varepsilon$

এই বৈশিষ্ট্যগুলির প্রতিটি সম্ভাব্য সংমিশ্রণ ঘটতে পারে এবং দরকারী। আসুন সম্ভাবনাগুলি জরিপ করি।

যোগমূলক ত্রুটিগুলির সাথে রৈখিক সম্পর্কের একটি লিনিয়ার মডেল model এটি সাধারণ (একাধিক) রিগ্রেশন, ইতিমধ্যে উপরে প্রদর্শিত এবং আরও সাধারণভাবে লিখিত

$Y = X θ + ε .$ $Y = X\theta + \varepsilon.$
$X$ ধ্রুবকগুলির একটি কলাম সংযুক্ত করে প্রয়োজনে বৃদ্ধি করা হয়েছে, এবং একটি ভেক্টর। $\theta$ $p$
অ্যাডিটিভ ত্রুটিগুলির সাথে একটি অলৈখিক সম্পর্কের লিনিয়ার মডেল। এই কলামে উদ্দীপক দ্বারা একটি একাধিক রিগ্রেশন যেমন couched করা যাবে এর অরৈখিক ফাংশন সঙ্গে নিজেই। এই ক্ষেত্রে, $X$ $X$

$y_{i} = α + β x_{i}^{2} + ε$ $y_i = \alpha + \beta x_i^2 + \varepsilon$
এই ফর্ম হয়। এটি এ রৈখিক ; এতে অ্যাডিটিভ ত্রুটি রয়েছে; এবং এটি মানগুলিতে রৈখিক যদিও এর ফাংশন । $\theta=(\alpha,\beta)$ $(1,x_i^2)$ $x_i^2$ $x_i$
ননডেডিটিভ ত্রুটিগুলির সাথে রৈখিক সম্পর্কের একটি রৈখিক মডেল। একটি উদাহরণ গুণক ত্রুটি,

$y_{i} = (α + β x_{i}) ε_{i} .$ $y_i = (\alpha + \beta x_i)\varepsilon_i.$
(এই ক্ষেত্রে "গুণনশীল ত্রুটি" যখন অবস্থান হিসেবে ব্যাখ্যা করা যেতে পারে হয় যাইহোক, অবস্থানের সঠিক অর্থে অগত্যা প্রত্যাশা নয়। আর: এটা হতে পারে উদাহরণস্বরূপ মিডিয়ান বা জ্যামিতিক অর্থ location অবস্থান অনুমান সম্পর্কে একই রকম মন্তব্য প্রয়োগ করা হয়, অন্য সমস্ত অ্যাডিটিভ-ত্রুটি প্রসঙ্গেও মুত্তাটিস মিউটানডিস ) $\varepsilon_i$ $\varepsilon_i$ $1$ $\mathbb{E}(\varepsilon_i)$
ননডেডিটিভ ত্রুটিগুলির সাথে ননলাইনার সম্পর্কের লিনিয়ার মডেল। যেমন ,

$y_{i} = (α + β x_{i}^{2}) ε_{i} .$ $y_i = (\alpha + \beta x_i^2)\varepsilon_i.$
অ্যাডিটিভ ত্রুটিগুলির সাথে লিনিয়ার সম্পর্কের একটি ননলাইনার মডেল। একটি ননলাইনার মডেলটিতে এর প্যারামিটারগুলির সংমিশ্রণগুলি জড়িত যা কেবল ননলাইনার নয়, তারা পরামিতিগুলি পুনরায় প্রকাশ করে লিনিয়ার করা যায় না।
- উদাহরণ হিসাবে বিবেচনা করুন
  
  $y_{i} = α β + β^{2} x_{i} + ε_{i} .$ $y_i = \alpha\beta + \beta^2 x_i + \varepsilon_i.$
  এবং সংজ্ঞায়িত করে এবং সীমাবদ্ধ করে , এই মডেলটি আবার লেখা যেতে পারে $\alpha^\prime = \alpha\beta$ $\beta^\prime=\beta^2$ $\beta^\prime \ge 0$
  
  $y_{i} = α^{'} + β^{'} x_{i} + ε_{i},$ $y_i = \alpha^\prime + \beta^\prime x_i + \varepsilon_i,$
  এটি রৈখিক মডেল হিসাবে প্রদর্শিত (যোগমূলক ত্রুটির সাথে লিনিয়ার সম্পর্কের)।
- উদাহরণ হিসাবে বিবেচনা করুন
  
  $y_{i} = α + α^{2} x_{i} + ε_{i} .$ $y_i = \alpha + \alpha^2 x_i + \varepsilon_i.$
  এটি একটি নতুন পরামিতি খুঁজে পাওয়া অসম্ভব , তার উপর নির্ভর করে , যে এর কার্যকারিতা হিসেবে এই রৈখিকরণ হবে (যখন পালন এটা রৈখিক মধ্যে পাশাপাশি)। $\alpha^\prime$ $\alpha$ $\alpha^\prime$ $x_i$
অ্যাডিটিভ ত্রুটিগুলির সাথে ননলাইনারের সম্পর্কের একটি ননলাইনার মডেল।

$y_{i} = α + α^{2} x_{i}^{2} + ε_{i} .$ $y_i = \alpha + \alpha^2 x_i^2 + \varepsilon_i.$
ননডেডিটিভ ত্রুটিগুলির সাথে রৈখিক সম্পর্কের একটি ননলাইনার মডেল।

$y_{i} = (α + α^{2} x_{i}) ε_{i} .$ $y_i = (\alpha + \alpha^2 x_i)\varepsilon_i.$
ননডেডিটিভ ত্রুটিগুলির সাথে ননলাইনার সম্পর্কের একটি ননলাইনার মডেল।

$y_{i} = (α + α^{2} x_{i}^{2}) ε_{i} .$ $y_i = (\alpha + \alpha^2 x_i^2)\varepsilon_i.$

যদিও এগুলি আটটি স্বতন্ত্র প্রকারের রিগ্রেশন প্রদর্শন করে, তারা কোনও শ্রেণিবিন্যাস ব্যবস্থা গঠন করে না কারণ কিছু ফর্ম অন্যকে রূপান্তরিত হতে পারে। একটি আদর্শ উদাহরণ হ'ল ননডাডিটিভ ত্রুটিযুক্ত একটি লিনিয়ার মডেল রূপান্তরকরণ (ইতিবাচক সমর্থন বলে ধরে নেওয়া হয়)

y_{i} = (α + β x_{i}) ε_{i}

$y_i = (\alpha + \beta x_i)\varepsilon_i$

লগারিদম মাধ্যমে যুত ত্রুটিগুলি সহ কোনও অরৈখিক সম্পর্ক, একটি রৈখিক মডেল মধ্যে

\log (y_{i}) = μ_{i} + \log (α + β x_{i}) + (\log (ε_{i}) - μ_{i})

$\log(y_i) = \mu_i + \log(\alpha + \beta x_i) + (\log(\varepsilon_i) - \mu_i)$

এখানে, লগ জ্যামিতিক মানে ত্রুটি শর্তাবলী থেকে সরানো হয়েছে (নিশ্চিত করার জন্য তাদের শূন্য মানে প্রয়োজন হিসাবে)) এবং অন্যান্য শর্তগুলিতে অন্তর্ভুক্ত (যেখানে এর মান অনুমান করা দরকার)। প্রকৃতপক্ষে, নির্ভরশীল ভেরিয়েবল পুনরায় প্রকাশ করার একটি প্রধান কারণ হ'ল অ্যাডিটিভ ত্রুটিযুক্ত একটি মডেল তৈরি করা। পুনরায় প্রকাশটি কে প্যারামিটার এবং ব্যাখ্যামূলক ভেরিয়েবলগুলির ফাংশন হিসাবে লিনিয়ারাইজ করতে পারে । $\mu_i = \mathbb{E}\left(\log(\varepsilon_i)\right)$ $Y$ $Y$

সমরৈখিকতা

প্রান্তিককরণ ( এর কলামের ভেক্টরগুলির ) যেকোন ধরণের রিগ্রেশনে সমস্যা হতে পারে । এটি বোঝার মূল চাবিকাঠিটি হল যে স্বীকৃতি প্যারামিটারগুলি নির্ধারণে অসুবিধার দিকে নিয়ে যায়। Abstractly এবং বেশ সাধারণত তুলনা দুটি মডেল এবং যেখানে হয় একটি কলাম সঙ্গে সামান্য পরিবর্তন করেছেন। যদি এটি অনুমান এবং প্রাইমে প্রচুর পরিবর্তন আনয়ন করে , তবে অবশ্যই আমাদের সমস্যা আছে we এই সমস্যাটি দেখা দিতে পারে এমন এক উপায়ে একটি লিনিয়ার মডেল, রৈখিক $X$ $Y = f(X,\theta,\varepsilon)$ $Y=f(X^\prime,\theta,\varepsilon^\prime)$ $X^\prime$ $X$ $\hat\theta$ $\hat\theta^\prime$ $X$ (এটি, প্রকারগুলি (1) বা (5) উপরে), যেখানে উপাদানগুলি এর কলামগুলির সাথে একের সাথে একযোগে যোগাযোগ করে । যখন একটি কলাম অন্যদের মধ্যে একটি অপ্রয়োজনীয় লিনিয়ার সংমিশ্রণ হয়, তখন এর সাথে সম্পর্কিত পরামিতির অনুমানটি যে কোনও আসল সংখ্যা হতে পারে। এটি এই জাতীয় সংবেদনশীলতার চরম উদাহরণ। $\theta$ $X$

এই দৃষ্টিকোণ থেকে এটি পরিষ্কার হওয়া উচিত যে কোলাইনারিটি ননলাইনার সম্পর্কের লিনিয়ার মডেলগুলির জন্য সম্ভাব্য সমস্যা (ত্রুটিগুলির সংযোজনকে বিবেচনা না করে) এবং কোলিনারিটির এই সাধারণীকরণ ধারণাটি কোনও রিগ্রেশন মডেলের সম্ভাব্য সমস্যা। যখন আপনার রিডানডেন্ট ভেরিয়েবলগুলি থাকে তখন আপনার কিছু পরামিতি সনাক্ত করতে সমস্যা হবে have

— whuber
সূত্র

আপনি কি সংক্ষিপ্ত, প্রবর্তনামূলক পাঠের সুপারিশ করতে পারেন যা আপনার উল্লেখ করা লিনিয়ারীকরণ সম্পর্কে আরও ভাল ধারণা পেতে আমাকে সহায়তা করবে, যা আপনার উদাহরণ এবং পয়েন্ট 5-তে অ-উদাহরণের মধ্যে পার্থক্যের হৃদয় is ধন্যবাদ আপনাকে ধন্যবাদ।

— কালার স্ট্যাটিস্টিকস

@ রঙ আমি কারও সাথে পরিচিত নই। সম্ভাব্য রূপান্তরগুলির স্বতন্ত্রতা সম্পর্কে হালকা অনুমানের অধীনে, এটি আংশিক ডিফারেনশিয়াল সমীকরণ (পিডিই) এর তত্ত্ব দ্বারা সম্বোধন করা হয়েছে।

— হোয়বার

0

বাস্তবতা এবং আপনি যে মডেলটিকে বর্ণনা করতে ব্যবহার করছেন তার মধ্যে পার্থক্য তৈরি করে আপনার এখনই শুরু করা উচিত

আপনি যে সমীকরণটি সবেমাত্র উল্লেখ করেছেন সেটি হ'ল বহুপদী সমীকরণ (x ^ শক্তি) অর্থাত্‍। অ-লিনিয়ার ... তবে প্যারামিটারগুলি লিনিয়ার (বি 1, বি 2, বি 3, সি) হওয়ার কারণে আপনি জেনেলাইজড লিনিয়ার মডেল (একটি লিঙ্ক ফাংশন ব্যবহার করে) বা পলিনমেল রিগ্রেশন ব্যবহার করে এখনও এটি মডেল করতে পারবেন)

আশা করে যে এটি সাহায্য করেছে, এটি আসলে কিছুটা স্কেচি: বাস্তবতা / মডেল

— পো স্টুলাট
সূত্র

3

মডেলটি পরামিতিগুলিতে লিনিয়ার হওয়ায় এটি সাধারণ ন্যূনতম স্কোয়ারগুলির মাধ্যমে অনুমান করা যায়।

— বিশ্লেষক

প্যারামিটারগুলির সাথে এটি করার সমস্ত কি? আমরা যদি b3 ^ 2 * x করে থাকি তবে এটি লিনিয়ার হতে পারে?

— mHelpMe

0

একটি মডেল লিনিয়ার হয় যদি এটি পরামিতিগুলিতে লিনিয়ার হয় বা পরামিতিগুলিতে রৈখিক রূপান্তরিত করা যায় (লিনিয়ারাইজেবল)) লিনিয়ার মডেলগুলি রৈখিক বা অ-রৈখিক সম্পর্কের মডেল করতে পারে। এর প্রতিটি বিস্তৃত করা যাক।

মডেলটি পরামিতিগুলিতে রৈখিক হয় যদি এটি পদগুলির যোগফল হিসাবে লেখা যায়, যেখানে প্রতিটি পদ হয় হয় ধ্রুবক বা অনুমানক (এক্স _i ) গুণক একটি পরামিতি :

নোট করুন যে এই সংজ্ঞাটি খুব সংকীর্ণ। এই সংজ্ঞাটি পূরণকারী কেবলমাত্র মডেলগুলিই লিনিয়ার। অন্যান্য প্রতিটি মডেল, অ-রৈখিক।

লিনিয়ার মডেলগুলির মধ্যে দুটি ধরণের রয়েছে যা অ-রৈখিক মডেলগুলির জন্য বিভ্রান্ত হয়:

1. অ-রৈখিক সম্পর্কের লিনিয়ার মডেল

উদাহরণ হিসেবে বলা যায়, মডেল নিচের মডেল একটি অ রৈখিক সম্পর্ক (কারণ এক্স থেকে সম্মান সঙ্গে ওয়াই ডেরিভেটিভ ₁ এক্স একটি ফাংশন ₁ )। একটি নতুন ভেরিয়েবল ডাব্লু ₁ = এক্স ₁² তৈরি করে এবং এক্স ₁² প্রতিস্থাপনের সাথে ডাব্লু _{1 এর} সাথে সমীকরণটি পুনরায় লেখার মাধ্যমে আমাদের একটি সমীকরণ রয়েছে যা একটি রৈখিক মডেলের সংজ্ঞাটি পূরণ করে।

২. এমন মডেলগুলি যা তাত্ক্ষণিকভাবে রৈখিক নয় তবে পরিবর্তনের পরে রৈখিক হয়ে উঠতে পারে (লিনিয়ারাইজেবল)। নীচে রৈখিক মডেলগুলির 2 টি উদাহরণ রয়েছে:

উদাহরণ 1:

এই মডেলটি অ-রৈখিক হিসাবে উপস্থিত হতে পারে কারণ এটি পরামিতিগুলিতে রৈখিক এমন কোনও মডেলের সংজ্ঞাটি পূরণ করে না, তবে এটি একটি রৈখিক মডেলে রূপান্তরিত হতে পারে তাই এটি লিনিয়ারাইজ / ট্রান্সফরমালি লিনিয়ার, এবং সুতরাং এটি লিনিয়ার হিসাবে বিবেচিত হয় মডেল. নিম্নলিখিত রূপান্তরগুলি এটিকে রৈখিক করবে। উভয় পক্ষের প্রাকৃতিক লগারিদমটি গ্রহণ করতে শুরু করুন:

তারপরে নিম্নলিখিত বিকল্পগুলি তৈরি করুন:

নীচে রৈখিক মডেল পেতে:

উদাহরণ 2:

এই মডেলটি অ-রৈখিক হিসাবে উপস্থিত হতে পারে কারণ এটি পরামিতিগুলিতে রৈখিক এমন কোনও মডেলের সংজ্ঞাটি পূরণ করে না, তবে এটি একটি রৈখিক মডেলে রূপান্তরিত হতে পারে তাই এটি লিনিয়ারাইজ / ট্রান্সফরমালি লিনিয়ার, এবং সুতরাং এটি লিনিয়ার হিসাবে বিবেচিত হয় মডেল. নিম্নলিখিত রূপান্তরগুলি এটিকে রৈখিক করবে। উভয় পক্ষের পারস্পরিক ক্রিয়াকলাপ গ্রহণ করে শুরু করুন:

তারপরে নিম্নলিখিত বিকল্পগুলি তৈরি করুন:

নীচে রৈখিক মডেল পেতে:

যে মডেল লিনিয়ার নয় (এমনকি লিনিয়ারাইজেশন মাধ্যমে নয়) অ রৈখিক। এটি এইভাবে চিন্তা করুন: যদি কোনও মডেল লিনিয়ার মডেলের সংজ্ঞাটি মেটায় না তবে এটি লিনিয়ার মডেল হিসাবে প্রমাণিত না হওয়া পর্যন্ত এটি একটি অ-রৈখিক মডেল, কোন পর্যায়ে এটি লিনিয়ার মডেল বলে ডান অর্জন করে।

উপরের whuber এর উত্তর পাশাপাশি এই লিঙ্কে Glen_b এর উত্তর আমার উত্তর আরও রঙ যোগ করবে। ননলাইনার বনাম বনাম জেনারেলাইজড লিনিয়ার মডেল: আপনি কীভাবে লজিস্টিক, পইসন ইত্যাদি রিগ্রেশনকে বোঝেন?

— ColorStatistics
সূত্র