আনোভা বনাম একাধিক লিনিয়ার রিগ্রেশন? আনোভা কেন এত বেশি পরীক্ষামূলক গবেষণায় ব্যবহৃত হয়?

24

আনোভা বনাম একাধিক লিনিয়ার রিগ্রেশন?

আমি বুঝতে পারি যে এই দুটি পদ্ধতিই একই পরিসংখ্যানের মডেলটি ব্যবহার করেছে বলে মনে হচ্ছে। তবে কোন পরিস্থিতিতে আমার কোন পদ্ধতিটি ব্যবহার করা উচিত?

তুলনা করার সময় এই পদ্ধতির সুবিধা এবং অসুবিধাগুলি কী কী?

আনোভা কেন এত বেশি পরীক্ষামূলক গবেষণায় ব্যবহৃত হয় এবং আমি খুব কমই কোনও রিগ্রেশন অধ্যয়ন খুঁজে পাই?

anova multiple-regression least-squares

— Florian
সূত্র

5

যেহেতু উভয়ই একই মডেল ব্যবহার করে, আপনি কোনটি ব্যবহার করেন তা বিবেচ্য নয়।

— পিটার ফ্লুম - মনিকা পুনরায়

3

যখন আমি opালুগুলি, অর্থাৎ অবিচ্ছিন্ন প্রেডিকটর ভেরিয়েবলের সাথে তুলনা করছি তখন আমি এটিকে রিগ্রেশন বলি এবং আনোভা যখন আমি অর্থের সাথে তুলনা করি, অর্থাৎ শ্রেণিবদ্ধ ভবিষ্যদ্বাণী ভেরিয়েবলগুলি। আপনি পরীক্ষামূলক গবেষণায় অ্যানোভা আরও খুঁজে পাওয়ার কারণ হ'ল তারা বেশিরভাগ উপায়ের সাথে বা চিকিত্সার স্তরের তুলনা করে, যেমন গাছের বৃদ্ধিতে বিভিন্ন সারের তুলনা করে। তবে @ পিটারফ্লম যেমন ইতিমধ্যে বলেছিলেন যে উভয়ই একই মডেলটি ব্যবহার করেন এবং আপনি কোনটি ব্যবহার করেন তা বিবেচ্য নয় - কেবলমাত্র ভিন্ন জিনিস যা তারা আপনাকে দেয় আউটপুট - এবং আপনার প্রশ্নের উপর নির্ভর করে আপনি হয় "রিগ্রেশন" আউটপুট চান বা "আনোভা" আউটপুট।

— স্টিফান

2

হুম তবে আপনি কি ডামি কোডিংয়ের মাধ্যমে কোনও রেগ্রেশনটিতে বিভাগীয় ভবিষ্যদ্বাণীকে অন্তর্ভুক্ত করতে পারেন?

— ফ্লোরিয়ান

হ্যা অবশ্যই!

— স্টিফান

4

আপনার প্রশ্নটি খুব বৈধ, এবং সিভিতে বিভিন্ন দৃষ্টিকোণ থেকে বেশ কয়েকবার সম্বোধন করা হয়েছে। এই পরীক্ষাগুলির নকল প্রকৃতি বিস্ময়কর। এএনওওএ = লিনিয়ার রিগ্রেশন বলা সহজ, এবং আমি মনে করি যে এ পর্যন্ত করা সমস্ত মন্তব্য সহায়ক এবং বিষয়বস্তুতে রয়েছে, তবে বাস্তবতাটি আরও কিছুটা অবহেলিত এবং বোঝা মুশকিল, বিশেষত যদি আপনি বিশ্লেষণের ছত্রছায়ায় এএনসিওওএকে অন্তর্ভুক্ত করেন তবে ভ্যারিয়েন্স। যেমন অন্যান্য এন্ট্রি, পরীক্ষা করুন এই এক । আমি আপনার প্রশ্নটি +1 করছি যদিও এটি কঠোরভাবে বলা হচ্ছে, একটি সদৃশ। আপনি প্রাক্তন দিতে পারেন??

— আন্তনি পরল্লদা

22

এটি প্রশংসা করা আকর্ষণীয় হবে যে পরিবর্তনগুলি ভেরিয়েবলের ধরণের এবং আরও উল্লেখযোগ্যভাবে ব্যাখ্যামূলক ভেরিয়েবলগুলির প্রকারে । টিপিকাল আনোভাতে আমাদের বিভিন্ন গ্রুপের সাথে একটি স্পষ্টতামূলক পরিবর্তনশীল রয়েছে এবং আমরা ধারাবাহিক পরিবর্তনশীলের পরিমাপ গ্রুপগুলির মধ্যে পৃথক কিনা তা নির্ধারণ করার চেষ্টা করি attempt অন্যদিকে, ওএলএস মূলত একটি ধারাবাহিক রিগ্রাস্যান্ড বা প্রতিক্রিয়া ভেরিয়েবল এবং এক বা একাধিক রেজিস্ট্রার বা ব্যাখ্যামূলক ভেরিয়েবলের মধ্যে সম্পর্কের মূল্যায়ন করার প্রয়াস হিসাবে বিবেচিত হয় । এই অর্থে রিগ্রেশনকে একটি আলাদা কৌশল হিসাবে দেখা যায়, নিজেকে কোনও রিগ্রেশন লাইনের উপর ভিত্তি করে মান পূর্বাভাস দেওয়ার জন্য ধার দেওয়া হয়।

যাইহোক , এই পার্থক্যটি আনোভা-র প্রকরণের বর্ণানুক্রমের স্যুপের বিশ্লেষণের (এনকোভা, মানোভা, ম্যানকোভা) বাকি নয়; বা ওএলএস রিগ্রেশন-এ ডামি কোডেড ভেরিয়েবলগুলির অন্তর্ভুক্তি। আমি নির্দিষ্ট historicalতিহাসিক ল্যান্ডমার্কগুলি সম্পর্কে অস্পষ্ট, তবে এটি উভয় কৌশল ক্রমবর্ধমান জটিল মডেলগুলি মোকাবেলায় সমান্তরাল অভিযোজন বাড়িয়েছে।

উদাহরণস্বরূপ, আমরা দেখতে পাচ্ছি যে এএনসিওএ বনাম ওএলএসের মধ্যে ডামি (বা শ্রেণিবদ্ধ) ভেরিয়েবলগুলি (ইন্টারঅ্যাকশন সহ উভয় ক্ষেত্রে) এর মধ্যে পার্থক্য সর্বাধিক প্রসাধনী। দয়া করে একাধিক লিনিয়ার রিগ্রেশন সম্পর্কিত বিষয়ে আপনার প্রশ্নের শিরোনামে আমার প্রস্থানটি ক্ষমা করুন।

উভয় ক্ষেত্রেই, মডেলটি মূলত একই সাথে একই বিন্দুটির সাথে যে আর -তে lmফাংশনটি আঙ্কোভা চালাতে ব্যবহৃত হয় । তবে এটি রিগ্রেশন মডেলটির ফ্যাক্টর (বা বিভাগ) ভেরিয়েবলের প্রথম স্তরের (বা গ্রুপ) সাথে সম্পর্কিত একটি ইন্টারসেপ্ট অন্তর্ভুক্তির সাথে আলাদা হিসাবে উপস্থাপন করা যেতে পারে।

সুষম মডেলটিতে (সমান আকারের গ্রুপগুলি, $i$ ) এবং মাত্র একটি covariate (ম্যাট্রিক্স উপস্থাপনা সহজ করার জন্য), ANCOVA- এ মডেল ম্যাট্রিক্স এর কিছু বৈচিত্র হিসাবে দেখা যেতে পারে: $n_{1,2,\cdots\, i}$

এক্স = [\begin{matrix} 1_{{এন}_{1}} & 0 & 0 & {এক্স}_{{এন}_{1}} & 0 & 0 \\ 0 & 1_{{এন}_{2}} & 0 & 0 & {এক্স}_{{এন}_{2}} & 0 \\ 0 & 0 & 1_{{এন}_{3}} & 0 & 0 & {এক্স}_{{এন}_{3}} \end{matrix}]

$X=\begin{bmatrix} 1_{n_1} & 0 & 0 & x_{n_1} & 0 & 0\\ 0 & 1_{n_2} & 0 & 0 & x_{n_2} & 0\\ 0 & 0 & 1_{n_3} & 0 & 0 & x_{n_3} \end{bmatrix}$

জন্য ফ্যাক্টর পরিবর্তনশীল দলের, ব্লক ম্যাট্রিক্স হিসাবে প্রকাশ। $3$

এটি লিনিয়ার মডেলের সাথে মিলে যায়:

সঙ্গে একটি ANOVA মডেল বিভিন্ন ধরনের দলীয় উপায়ে সমতূল্য, যখন বিভিন্ন এর দলের প্রত্যেকের জন্য covariate ঢালে হয়।

Y = α_{আমি} + + β_{1} {এক্স}_{{এন}_{1}} + + β_{2} {এক্স}_{{এন}_{2}} + + β_{3} {এক্স}_{{এন}_{3}} + + ε_{আমি}

$y = \alpha_i + \beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$

α_{i}

$\alpha_i$

β

$\beta$

রিগ্রেশন ক্ষেত্রে একই মডেলের উপস্থাপনা এবং বিশেষত আরে, একটি সামগ্রিক বাধা বিবেচনা করে, দলের একটির সাথে মিল রেখে এবং মডেল ম্যাট্রিক্স হিসাবে উপস্থাপিত হতে পারে:

এক্স = [\begin{matrix} ⋮ & 0 & 0 & ⋮ & 0 & 0 & 0 \\ {জে}_{3 এন, 1} & 1_{{এন}_{2}} & 0 & এক্স & 0 & {এক্স}_{{এন}_{2}} & 0 \\ ⋮ & 0 & 1_{{এন}_{3}} & ⋮ & 0 & 0 & {এক্স}_{{এন}_{3}} \end{matrix}]

$X=\begin{bmatrix} \color{red}\vdots & 0 & 0 &\color{red}\vdots & 0 &0 & 0\\ \color{red}{J_{3n,1}} & 1_{n_2} & 0 & \color{red}{x} & 0 & x_{n_2} & 0\\ \color{red}\vdots& 0 & 1_{n_3} & \color{red}\vdots & 0 & 0 & x_{n_3} \end{bmatrix}$

ওএলএস সমীকরণের:

।

Y = β_{0} + + μ_{আমি} + + β_{1} {এক্স}_{{এন}_{1}} + + β_{2} {এক্স}_{{এন}_{2}} + + β_{3} {এক্স}_{{এন}_{3}} + + ε_{আমি}

$y =\color{red}{\beta_0} + \mu_i +\beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$

$\beta_0$ $\mu_i$

আপনি যেমন মডেল ম্যাট্রিকেস থেকে দেখতে পাচ্ছেন, উপস্থাপনাটি বৈচিত্রময়তা এবং বিশ্লেষণের মধ্যে বিশ্লেষণের মধ্যে প্রকৃত পরিচয়কে বোঝায়।

আমি কোডের কয়েকটি লাইন এবং আর এ আমার প্রিয় ডেটা সেট করে mtcarsএটি যাচাই করতে চাই । আমি এখানেlm বেন বলকারের কাগজটি উপলক্ষে আনকোভা ব্যবহার করছি ।

mtcars$cyl <- as.factor(mtcars$cyl)         # Cylinders variable into factor w 3 levels
D <- mtcars  # The data set will be called D.
D <- D[order(D$cyl, decreasing = FALSE),]   # Ordering obs. for block matrices.

model.matrix(lm(mpg ~ wt * cyl, D))         # This is the model matrix for ANCOVA

কোন পদ্ধতিটি ব্যবহার করতে হবে সে সম্পর্কে প্রশ্নের অংশ হিসাবে (আর এর সাথে রিগ্রেশন) আপনি এই পোস্টটি লেখার সময় মজাদার এই অন-লাইনের ভাষ্যটি দেখতে পেলেন।

— আন্তনি পরল্লদা
সূত্র

1

এই চূড়ান্ত সহায়ক মন্তব্যের জন্য আপনাকে ধন্যবাদ ... আপনি যে মন্তব্যটি যুক্ত করেছেন তা থেকে উদ্ধৃতি দিয়ে: "স্বাধীন শ্রেণিবদ্ধ ভেরিয়েবলগুলির কোনও প্রভাব আছে কিনা তা আপনি যখন নিশ্চিত না হন তখন রিগ্রেশন ব্যবহার করুন particular নির্দিষ্ট বিভাগগুলির আলাদা প্রভাব আছে কিনা তা আপনি দেখতে চাইলে আনোভা ব্যবহার করুন । " তাহলে কীভাবে অনেক পরীক্ষামূলক অধ্যয়নগুলি আনোভা ব্যবহার করবে? আমার বোঝার থেকে রিগ্রেশন সঠিক পছন্দ হবে। গবেষকরা কি খুব নিশ্চিত যে এর প্রভাবগুলি রয়েছে এবং কেবলমাত্র তাদের পরিসংখ্যানগতভাবে "প্রমাণ" করার উপায় অনুসন্ধান করে?

— ফ্লোরিয়ান

আপনি কি এমন ব্যবহারিক উদাহরণ প্রদান করতে পারেন যেখানে প্রতিরোধের উপরে আওভ ব্যবহার করা উচিত এবং কেন ব্যাখ্যা করা উচিত? আপনার সময়ের জন্য ধন্যবাদ। আমি প্রশিক্ষণের মাধ্যমেও একজন মনোবিজ্ঞানী এবং আনোয়ার সুবিধাগুলি সম্ভবত ব্যতীত প্রকাশিত ব্যতীত দেখতে ব্যর্থ।

— ফ্লোরিয়ান

যেকোন ভাগ্য? উভয় পদ্ধতির পক্ষপাতী হওয়ার জন্য আমি আরও কোনও কংক্রিট বৌদ্ধিক বিষয়ে খুব আগ্রহী হব, সুতরাং দয়া করে কোনও উত্তর খুঁজে পেলে ভাগ করুন।

— আন্তনি পরল্লদা

দুর্ভাগ্যক্রমে আমার এখন পর্যন্ত পরিসংখ্যানগুলিতে যাত্রা সম্পর্কে কোনও নতুন আবিষ্কার ... আপনাকে পোস্ট রাখবে না, আরও ইনপুট প্রশংসিত হবে।

— ফ্লোরিয়ান

ওএলএস মডেল ম্যাট্রিক্স এবং এখানে সম্পর্কিত সমীকরণ বুঝতে আমার অসুবিধা হচ্ছে। শূন্য কলামটি কোথা থেকে এসেছে তা আমি বুঝতে পারি না (ম্যাট্রিক্সের 5 ম কলাম)। এছাড়াও, আমি মনে করি যে সমীকরণটি কলামগুলির সাথে সমান হওয়া উচিত (অর্থাত্ মু_আই কেবল দুটি গ্রুপের জন্য হওয়া উচিত এবং এক্স-ভেরিয়েবলটি কোনও গ্রুপ ডামির সাথে মিথস্ক্রিয়া ছাড়াই অন্তর্ভুক্ত করা উচিত)। অতিরিক্ত স্পষ্টতা অনেক প্রশংসা করা হয়!

— নিক

4

আনোভা এবং ওএলএস রিগ্রেশন এমন ক্ষেত্রে গাণিতিকভাবে অভিন্ন যেখানে আপনার ভবিষ্যদ্বাণীকারীরা শ্রেণিবদ্ধ হয় (পরীক্ষার পরিসংখ্যান থেকে আপনি যে সূত্রগুলি আঁকেন সে অনুসারে)। এটিকে অন্য উপায়ে বলতে গেলে, আনোভা হ'ল রিগ্রেশনের একটি বিশেষ ঘটনা। কোনও আনোভা আপনাকে বলতে পারে এমন কিছুই নেই যা রিগ্রেশন নিজেই অর্জন করতে পারে না। বিপরীতটি অবশ্য সত্য নয়। অ্যানোভা অবিচ্ছিন্ন ভেরিয়েবলগুলি বিশ্লেষণের জন্য ব্যবহার করা যায় না। এ হিসাবে, আনোভা আরও সীমাবদ্ধ কৌশল হিসাবে শ্রেণীবদ্ধ করা যেতে পারে। রিগ্রেশন তবে কম পরিশীলিত বিশ্লেষকের পক্ষে সর্বদা কার্যকর নয়। উদাহরণস্বরূপ, বেশিরভাগ আনোভা স্ক্রিপ্টগুলি স্বয়ংক্রিয়ভাবে ইন্টারঅ্যাকশন শর্তাদি উত্পন্ন করে, যেখানে প্রতিরোধের মতো আপনাকে প্রায়শই নিজেকে সফ্টওয়্যারটি ব্যবহার করে সেই পদগুলি নিজেই গণনা করতে হবে। আরও শক্তিশালী পরিসংখ্যান সংক্রান্ত সফ্টওয়্যার ব্যবহারের আগে আনোভা-র ব্যাপক ব্যবহার আংশিকভাবে পরিসংখ্যান বিশ্লেষণের একটি প্রতীক, এবং, আমার মতে, অনভিজ্ঞ শিক্ষার্থীদের শেখানোর একটি সহজ কৌশল যার লক্ষ্য তুলনামূলকভাবে স্তর স্তর বোঝা যা তাদের একটি মৌলিক পরিসংখ্যান প্যাকেজ সহ ডেটা বিশ্লেষণ করতে সক্ষম করবে। কিছুক্ষণ চেষ্টা করে দেখুন ... টি স্ট্যাটিস্টিক পরীক্ষা করে দেখুন যে কোনও বেসিক রিগ্রেশন স্পিট হয়, এটি বর্গক্ষেত্র করুন এবং তারপরে একই ডেটাতে আনোভা থেকে এফ অনুপাতের সাথে তুলনা করুন। অভিন্ন!

— মাইকেল মেলভিল
সূত্র

এটি সত্য নয়।

— মাইকেল আর। চেরনিক

4

@ মিশেল চের্নিক এই উত্তরে আপনি যে মতামতকে অসত্য বলে মনে করছেন, তার মধ্যে কোনটি আপনি জোর দিয়ে বলতে পারেন? যদিও এটি কিছু চরম অবস্থান নেয়, তবে এটি মিথ্যা বলে খুঁজে পাওয়া শক্ত hard

— শুশুক

আনোভা এবং ওএলএস রিগ্রেশন গাণিতিকভাবে অভিন্ন বলে এই বক্তব্যে আমি আপত্তি জানালাম। আমি স্বীকার করি যে আনোভা-কে এআরএর প্রতি সাধারণ রৈখিক মডেলের একটি রূপ যা রিগ্রেশনের মতো তৈরি করা যেতে পারে তাকে রিগ্রেশন হিসাবে দেখা যেতে পারে।

— মাইকেল আর চেরনিক

ওএলএস ক্ষেত্রে, আউটপুট ব্যতীত এগুলি কীভাবে অভিন্ন নয়? অন্তর্নিহিত মডেলটি একই, অবশিষ্টাংশগুলি একই, তারা যে পি-মানগুলি উত্পাদন করে সেগুলি একই। এটি আউটপুট যে পৃথক।

— ডিবিউইলসন

2

আনোভা ওভারথ রিগ্রেশন এর প্রধান উপকারিতা, আমার মতে, আউটপুট। আপনি যদি একটি ব্লক হিসাবে শ্রেণিবদ্ধ পরিবর্তনশীল (ফ্যাক্টর) এর পরিসংখ্যানগত তাত্পর্যটিতে আগ্রহী হন, তবে আনোভা আপনার জন্য এই পরীক্ষাটি সরবরাহ করে। রিগ্রেশন সহ, বিভাগের সংখ্যার উপর নির্ভর করে শ্রেণিবদ্ধ ভেরিয়েবলটি 2 বা ততোধিক ডামি ভেরিয়েবল দ্বারা প্রতিনিধিত্ব করা হয় এবং সুতরাং আপনার 2 বা ততোধিক পরিসংখ্যান পরীক্ষা রয়েছে, প্রতিটি নাল বিভাগের গড়ের সাথে নির্দিষ্ট বিভাগের গড়ের তুলনা করে (বা ডামি কোডিং পদ্ধতির উপর নির্ভর করে সামগ্রিক গড়)। এগুলির কোনওটিই আগ্রহী হতে পারে না। আপনার আগ্রহী ফ্যাক্টরের সামগ্রিক পরীক্ষা পেতে আপনাকে অবশ্যই পোস্ট-অ্যাসেসিমেশন বিশ্লেষণ করতে হবে (মূলত, আনোভা)।

— dbwilson
সূত্র

বাস্তবিক, এই সত্য নয়। আপনি যদি সম্ভাবনা অনুপাতের পরীক্ষা করেন তবে আপনি রিগ্রেশন মডেলটিতে পুরো শ্রেণিবদ্ধ ফ্যাক্টরটিকে একটি ব্লক হিসাবে পরীক্ষা করছেন।

— ড্যান চালটিয়েল

আপনার মন্তব্য আমি যা বলেছিলাম তার সাথে বিরোধী নয়। সম্ভাবনা অনুপাতের পরীক্ষার যেটি আপনি উল্লেখ করেছেন তা হ'ল ফ্যাক্টরের সাথে একটি মডেলটির সাথে তুলনামূলকভাবে মডেলের তুলনা করে ফ্যাক্টরের উপর একটি প্রাক-অনুমান বিশ্লেষণ।

— ডিবিউইলসন

আপনি যদি একটি এএনওওএ সম্পাদন করেন তবে আপনি "ব্লক হিসাবে শ্রেণিবদ্ধ ভেরিয়েবল (ফ্যাক্টর)" এর একটি মূল্যায়ন পাবেন, এটি এলআরটি-র সাথে রিগ্রেশন। রিগ্রেশন আপনাকে বেশ কয়েকটি বিটা সরবরাহ করতে পারে তবে আনোভা থেকে বেশি পরীক্ষা করতে পারে না, সুতরাং আপনার বক্তব্য "অতএব আপনার 2 বা ততোধিক পরিসংখ্যান পরীক্ষা আছে" আমার কাছে ভুল বলে মনে হচ্ছে। কেন এলআরটি আনোভার চেয়ে "পোস্ট-এস্টিমেশন" হবে?

— ড্যান চালটিয়েল

1

লিনিয়ার রিগ্রেশন এর প্রধান সুবিধাটি হ'ল গ্রুপের বিভিন্ন অংশের নমুনার আকার অসম হলে এটি বৈষম্যের এককতার লঙ্ঘনের পক্ষে দৃ is়। অন্যটি হ'ল এটি বেশ কয়েকটি কোভারিয়ারদের অন্তর্ভুক্তকরণকে সহায়তা করে (যদিও আপনি কেবলমাত্র একটি কোভারিয়েট অন্তর্ভুক্ত করার বিষয়ে আগ্রহী হলে এএনসিওএর মাধ্যমে এটি সহজেই সম্পাদন করা যায়)। গণনা শক্তির অগ্রগতির সত্তর দশকের সময় রিগ্রেশন ব্যাপক আকার ধারণ করে। আপনি যদি দু'বারের বেশি স্তরের উপস্থিত থাকে তবে শ্রেণিবদ্ধ ভেরিয়েবলের নির্দিষ্ট স্তরের মধ্যে পার্থক্য পরীক্ষা করতে বিশেষত আগ্রহী হলে আপনি রিগ্রেশনকে আরও সুবিধাজনক বলে মনে করতে পারেন (যতক্ষণ আপনি রিগ্রেশনটিতে ডামি ভেরিয়েবল সেট আপ করেন যাতে এই দুটি স্তরের মধ্যে একটি হয়) রেফারেন্স গ্রুপ প্রতিনিধিত্ব করে)।

— ডেভিড বি
সূত্র

1

অন্য উত্তরে যেমন উল্লেখ করা হয়েছে, একটি আনোভা হল একাধিক রিগ্রেশন।

— গুং - মনিকার পুনরায়

আপনাকে ধন্যবাদ, তাহলে আনোভার সুবিধাগুলি কী? আপনি কেন কোনও রিগ্রেশন মডেল ব্যবহার করে আনোভা / আনকোভা ব্যবহার করবেন?

— ফ্লোরিয়ান

আমি এখানে একটি প্রশ্ন আছে। আনকোভার কার্যকারিতা ব্যাখ্যা করার সময় আপনি কেন 'মাত্র একটি সমবায়' বোঝান? এটি কি কারণ আপনি ANCOVA এ কেবলমাত্র একটি covariate অন্তর্ভুক্ত করতে পারেন?

— কেভিন কং