লজিস্টিক রিগ্রেশনে প্রচুর সহগ - এর অর্থ কী এবং কী করা উচিত?

Question

আমি লজিস্টিক রিগ্রেশন সময় প্রচুর সহগ পাই, সহগ সহ এটি দেখুন krajULKV:

> summary(m5)

Call:
glm(formula = cbind(ml, ad) ~ rok + obdobi + kraj + resid_usili2 + 
    rok:obdobi + rok:kraj + obdobi:kraj + kraj:resid_usili2 + 
    rok:obdobi:kraj, family = "quasibinomial")

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-2.7796  -1.0958  -0.3101   1.0034   2.8370  

Coefficients:
                              Estimate     Std. Error t value Pr(>|t|)   
(Intercept)                 -486.72087      664.71911  -0.732  0.46424   
rok                            0.24232        0.33114   0.732  0.46452   
obdobinehn                  3400.43703     1354.14874   2.511  0.01223 * 
krajJHC                      786.22409      708.50291   1.110  0.26746   
krajJHM                      511.85538      823.03038   0.622  0.53417   
krajLBK                      -23.94180     2388.86316  -0.010  0.99201   
krajMSK                     1281.88767      955.09736   1.342  0.17992   
krajOLK                     -175.19425     1255.82946  -0.140  0.88909   
krajPAK                      349.76438     1071.03364   0.327  0.74408   
krajPLK                    -1335.73206     1534.09899  -0.871  0.38418   
krajSTC                      868.99157      692.30426   1.255  0.20976   
krajULKV                  245661.86828 17496742.31677   0.014  0.98880   
krajVYS                     3341.76686     1314.77140   2.542  0.01121 * 
krajZLK                     3950.75617     2922.25220   1.352  0.17676   
resid_usili2                  -1.44719        0.89315  -1.620  0.10555   
rok:obdobinehn                -1.69479        0.67462  -2.512  0.01219 * 
rok:krajJHC                   -0.39108        0.35295  -1.108  0.26817   
rok:krajJHM                   -0.25481        0.40997  -0.622  0.53443   
rok:krajLBK                    0.01621        1.19155   0.014  0.98915   
rok:krajMSK                   -0.63985        0.47592  -1.344  0.17917   
rok:krajOLK                    0.08714        0.62545   0.139  0.88923   
rok:krajPAK                   -0.17419        0.53344  -0.327  0.74410   
rok:krajPLK                    0.66539        0.76383   0.871  0.38394   
rok:krajSTC                   -0.43292        0.34490  -1.255  0.20976   
rok:krajULKV                -122.01076     8704.03367  -0.014  0.98882   
rok:krajVYS                   -1.66391        0.65468  -2.542  0.01122 * 
rok:krajZLK                   -1.96718        1.45474  -1.352  0.17667   
obdobinehn:krajJHC         -3623.86807     1385.86009  -2.615  0.00909 **
obdobinehn:krajJHM         -3220.08906     1458.83842  -2.207  0.02757 * 
obdobinehn:krajLBK         -1051.07131     3434.11845  -0.306  0.75963   
obdobinehn:krajMSK         -6415.65781     1978.30260  -3.243  0.00123 **
obdobinehn:krajOLK         -2427.66591     1777.51914  -1.366  0.17239   
obdobinehn:krajPAK         -3111.45312     1623.59145  -1.916  0.05566 . 
obdobinehn:krajPLK         -1800.26258     2065.74461  -0.871  0.38375   
obdobinehn:krajSTC         -4409.45624     1379.64196  -3.196  0.00145 **
obdobinehn:krajULKV      -187832.68360 16454272.74951  -0.011  0.99089   
obdobinehn:krajVYS         -5445.51446     1791.38012  -3.040  0.00244 **
obdobinehn:krajZLK         -6216.43343     3167.49836  -1.963  0.05003 . 
krajJHC:resid_usili2           1.60474        0.98554   1.628  0.10385   
krajJHM:resid_usili2           1.57822        1.04518   1.510  0.13143   
krajLBK:resid_usili2          11.53462       13.40012   0.861  0.38961   
krajMSK:resid_usili2          -1.33600        1.55241  -0.861  0.38971   
krajOLK:resid_usili2           0.07296        1.27034   0.057  0.95421   
krajPAK:resid_usili2           1.35880        1.23033   1.104  0.26974   
krajPLK:resid_usili2           1.90189        1.41163   1.347  0.17826   
krajSTC:resid_usili2           2.05237        0.95972   2.139  0.03277 * 
krajULKV:resid_usili2        599.79215    20568.86123   0.029  0.97674   
krajVYS:resid_usili2           3.03834        1.16464   2.609  0.00925 **
krajZLK:resid_usili2           1.18574        1.11024   1.068  0.28583   
rok:obdobinehn:krajJHC         1.80611        0.69042   2.616  0.00906 **
rok:obdobinehn:krajJHM         1.60475        0.72676   2.208  0.02751 * 
rok:obdobinehn:krajLBK         0.52268        1.71244   0.305  0.76027   
rok:obdobinehn:krajMSK         3.19712        0.98564   3.244  0.00123 **
rok:obdobinehn:krajOLK         1.21012        0.88541   1.367  0.17208   
rok:obdobinehn:krajPAK         1.55034        0.80886   1.917  0.05563 . 
rok:obdobinehn:krajPLK         0.89718        1.02893   0.872  0.38349   
rok:obdobinehn:krajSTC         2.19742        0.68732   3.197  0.00144 **
rok:obdobinehn:krajULKV       93.43130     8189.24994   0.011  0.99090   
rok:obdobinehn:krajVYS         2.71357        0.89236   3.041  0.00243 **
rok:obdobinehn:krajZLK         3.09624        1.57711   1.963  0.04996 * 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

(Dispersion parameter for quasibinomial family taken to be 1.258421)

    Null deviance: 1518.0  on 878  degrees of freedom
Residual deviance: 1228.6  on 819  degrees of freedom
  (465 observations deleted due to missingness)
AIC: NA

Number of Fisher Scoring iterations: 18

এটার মানে কি?? @ স্কোর্টচি এই আলোচনায় উল্লিখিত এর মতো কিছু মাল্টিকলাইনারিটির অর্থ কি ? নাকি এর মানে কি ওভারফিটিং? কীভাবে সমস্যাটি সনাক্ত করবেন? আমি এখন কী করব?

আমি কিছু পরিবর্তনশীল অপসারণ করার চেষ্টা করেছি। এটি কিছুটা সহায়তা করে তবে এতটা না:

> m6 <- update(m5, ~.- kraj:resid_usili2)
> m7 <- update(m6, ~.- resid_usili2)
> summary(m7)

Call:
glm(formula = cbind(ml, ad) ~ rok + obdobi + kraj + rok:obdobi + 
    rok:kraj + obdobi:kraj + rok:obdobi:kraj, family = "quasibinomial")

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-2.9098  -1.1931  -0.2274   1.0529   3.1283  

Coefficients:
                           Estimate  Std. Error t value Pr(>|t|)
(Intercept)              -118.95199   476.34698  -0.250    0.803
rok                         0.05971     0.23718   0.252    0.801
obdobinehn                412.69412   646.95083   0.638    0.524
krajJHC                   447.69791   498.45358   0.898    0.369
krajJHM                   -62.92516   525.85737  -0.120    0.905
krajLBK                   677.73239  1595.20024   0.425    0.671
krajMSK                   278.24639   621.32312   0.448    0.654
krajOLK                  -705.97832   782.53474  -0.902    0.367
krajPAK                   387.96543   608.98961   0.637    0.524
krajPLK                  -653.68419   782.20737  -0.836    0.403
krajSTC                  -114.34822   489.06318  -0.234    0.815
krajULKV                -2117.64674  1797.75836  -1.178    0.239
krajVYS                   884.74411   681.05324   1.299    0.194
krajZLK                  -997.77613   925.93280  -1.078    0.281
rok:obdobinehn             -0.20602     0.32211  -0.640    0.523
rok:krajJHC                -0.22303     0.24819  -0.899    0.369
rok:krajJHM                 0.03092     0.26180   0.118    0.906
rok:krajLBK                -0.33909     0.79438  -0.427    0.670
rok:krajMSK                -0.13889     0.30935  -0.449    0.654
rok:krajOLK                 0.35102     0.38943   0.901    0.368
rok:krajPAK                -0.19392     0.30323  -0.640    0.523
rok:krajPLK                 0.32463     0.38937   0.834    0.405
rok:krajSTC                 0.05677     0.24351   0.233    0.816
rok:krajULKV                1.05287     0.89453   1.177    0.239
rok:krajVYS                -0.44149     0.33911  -1.302    0.193
rok:krajZLK                 0.49612     0.46081   1.077    0.282
obdobinehn:krajJHC       -776.31258   672.68911  -1.154    0.249
obdobinehn:krajJHM       -267.78650   700.38741  -0.382    0.702
obdobinehn:krajLBK      -1246.67321  1760.37329  -0.708    0.479
obdobinehn:krajMSK       -383.77613   858.81391  -0.447    0.655
obdobinehn:krajOLK        -96.72334   947.75189  -0.102    0.919
obdobinehn:krajPAK       -540.25140   827.13134  -0.653    0.514
obdobinehn:krajPLK       -517.49161  1124.63474  -0.460    0.645
obdobinehn:krajSTC       -683.81160   672.66674  -1.017    0.310
obdobinehn:krajULKV      2344.32314  2073.98366   1.130    0.259
obdobinehn:krajVYS       -795.62043   917.80551  -0.867    0.386
obdobinehn:krajZLK        618.33075  1093.37768   0.566    0.572
rok:obdobinehn:krajJHC      0.38725     0.33493   1.156    0.248
rok:obdobinehn:krajJHM      0.13374     0.34870   0.384    0.701
rok:obdobinehn:krajLBK      0.62237     0.87662   0.710    0.478
rok:obdobinehn:krajMSK      0.19114     0.42758   0.447    0.655
rok:obdobinehn:krajOLK      0.04842     0.47171   0.103    0.918
rok:obdobinehn:krajPAK      0.26922     0.41184   0.654    0.513
rok:obdobinehn:krajPLK      0.25790     0.55986   0.461    0.645
rok:obdobinehn:krajSTC      0.34078     0.33492   1.017    0.309
rok:obdobinehn:krajULKV    -1.16571     1.03236  -1.129    0.259
rok:obdobinehn:krajVYS      0.39675     0.45704   0.868    0.386
rok:obdobinehn:krajZLK     -0.30732     0.54422  -0.565    0.572

(Dispersion parameter for quasibinomial family taken to be 1.313286)

    Null deviance: 2396.8  on 1343  degrees of freedom
Residual deviance: 2110.3  on 1296  degrees of freedom
AIC: NA

Number of Fisher Scoring iterations: 5

সম্পাদনা: স্কোরচির প্রস্তাবিত হিসাবে , আমি ভিআইএফ ব্যবহার করার চেষ্টা করেছি এবং আমি প্রচুর মূল্যবোধও পেয়েছি। এটার মানে কি? দেখা:

> require(HH)
> vif(cbind(ml, ad) ~ rok + obdobi + kraj + resid_usili2 + 
+         rok:obdobi + rok:kraj + obdobi:kraj + kraj:resid_usili2 + 
+         rok:obdobi:kraj)
                    rok              obdobinehn                 krajJHC                 krajJHM 
              50.281603         45075363.969712         15194580.406796         11362184.620230 
                krajLBK                 krajMSK                 krajOLK                 krajPAK 
         7567915.376763          5228018.864051         17105623.986998         10944471.683601
[... cut out ...]

Comments

ঠিক আছে, আপনি কি ক্র্যাজএক্সএক্সএক্সএক্স ভেরিয়েবলগুলির একটি পারস্পরিক সম্পর্ক ম্যাট্রিক্সের দিকে তাকিয়ে দেখেছেন যে সেগুলি অত্যন্ত সংযুক্ত রয়েছে কিনা?

— zbicyclist

@ জাইবাইক্লিস্ট, ধন্যবাদ kraj12 স্তরের (HKK (ইন্টারসেপ্টে লুকানো), জেএইচসি, জেএইচএম, এলবিকে, এমএসকে, ...) এর মাত্র একটি স্পষ্টিকর পরিবর্তনশীল, তাই আমি অনুমান করি যে ক্রেজএক্সএক্সএক্সএক্সের জন্য পারস্পরিক সম্পর্ক ম্যাট্রিক্সটি বোধগম্য নয়, আমি কি সঠিক? তখন আমার কি করা উচিত?

— কৌতুহল

দ্রুত অনুরোধ: উপরের স্কোরচির আলোচিত আপনার লিঙ্কটির কোনও আসল লিঙ্ক নেই, আপনি কি দয়া করে এতে যুক্ত করতে পারেন? ধন্যবাদ!

— জেমস স্ট্যানলি

টমাস, আমি অনুমান করি যে এইচকেকে স্তরটি একটি ঘন স্তর (যেমন আপনি কেবল 1 বা 2 টি পর্যবেক্ষণ সহ একটি স্তর ছাড়েন নি)। একটি ভুল যা কখনও কখনও করা হয় তা হ'ল ন্যূনতম ঘন স্তরটি drop আমি মনে করি @ জেমস স্ট্যানলির পরবর্তী কী করা উচিত তার সেরা পরামর্শ রয়েছে।

— zbicyclist

কোনও উদ্বেগ নেই, জেনে রাখা ভাল - আমি মনে করি @ zbcyclist এর বক্তব্যটি হ'ল আপনি যদি এমন একটি রেফারেন্স বিভাগ বেছে নেন যা সত্যই খুব বিরল ফলাফল পেয়ে থাকে তবে সেই ফ্যাক্টরের সমস্ত প্যারামিটারগুলি অর্ধ-সম্পূর্ণ বিচ্ছেদ দ্বারা প্রভাবিত হতে পারে (যেখানে একটি স্তর নির্বাচন করে আরও ঘন ঘন ফলাফলগুলি সমস্ত পরামিতিগুলির জন্য সমস্যা হওয়া রোধ করবে)। [এফওয়াইআই, যা আপনি ইতিমধ্যে জেনে থাকতে পারেন - প্রয়োজনে আপনি রেফারেন্স স্তরটি পরিবর্তন করতে পারেন: আর এ, kraj <- relevel(kraj, ref = "JHC")আপনি যদি জেএইচসি এর পরিবর্তে রেফারেন্স স্তর হিসাবে ব্যবহার করতে চান তবে একটি ব্যবহার করতে পারে]]

— জেমস স্ট্যানলি

Answer 1

আমি প্রস্তাব দেব যে বৃহত্তর সহগ এবং আনুপাতিকভাবে বৃহত্তর স্ট্যান্ডার্ড ত্রুটিগুলি অবশ্যই স্পষ্টভাবে সম্পূর্ণ পরিমাণ বা সম্পূর্ণ পৃথকীকরণের কারণে ঘটবে। এটি হ'ল কিছু প্যারামিটারের সংমিশ্রনের জন্য, প্রত্যেকেরই ফলাফল ছিল বা কারওরই ফলস্বরূপ হয়নি, এবং তাই গুণাগুলি অসীমের দিকে এগিয়ে যায় (বা নেতিবাচক অনন্ত।)

এটি ঘটতে থাকে বিশেষত যখন কেউ প্রচুর ইন্টারঅ্যাকশন শর্তাদি নির্দিষ্ট করে, কারণ কয়েকটি "শূন্য" (কোষে কোনও ফলাফল বা প্রত্যেকেরই ফলাফল নেই) ফলাফল ঘটে এমন একটি উপাদানগুলির সংমিশ্রণের সম্ভাবনা বৃদ্ধি পাবে।

আরও কিছু বিশদ এবং প্রস্তাবিত কৌশলগুলির জন্য নীচের পৃষ্ঠাটি দেখুন: http://www.ats.ucla.edu/stat/mult_pkg/faq/general/complete_separation_logit_models.htm

আরও সাধারণভাবে, এর অর্থ হল যে আপনি সম্ভবত আপনার ডেটাসেটের আকারের জন্য বিশেষত আপনার মডেলটির সাথে "খুব বেশি" করার চেষ্টা করছেন (বিশেষত ফলাফলগুলি পরিলক্ষিত হয়েছে)।

সম্পাদনা: বেশ কয়েকটি বাস্তববাদী পরামর্শ

আপনি চেষ্টা করতে পারেন (1) দ্রুত এবং সহজ: আপনার মডেল থেকে ইন্টারঅ্যাকশন শর্তগুলি বাদ দিন, এটি কিনা সহায়তা করে কিনা তা দেখার জন্য (এটি গবেষণার প্রশ্নের দৃষ্টিকোণ থেকে বোঝা যায় কিনা পুরোপুরি ভিন্ন ইস্যু কিনা); অথবা (২) ফলাফলের পরিবর্তনশীল (যেমন কলাম) দ্বারা ইন্টারঅ্যাকশনগুলিতে বর্ণিত সংমিশ্রণের (যেমন সারি) জন্য দ্বি-আইআইআইজি কন্টিনজেন্সি টেবিল তৈরি করার জন্য আর পান। আপনি এখানে বিচ্ছেদ কিছু প্রমাণ দেখতে সক্ষম হতে পারে।

Comments

ধন্যবাদ জেমস তাহলে এর অর্থ কি আসলেই ওভারফিটিং? এর অর্থ কি এই যে মডেলটির সাথে আমার ইন্টারঅ্যাকশনগুলি সম্ভবত অন্তর্ভুক্ত করা উচিত নয়?

— কৌতুহল

আমি প্রযুক্তিগতভাবে এটি "অত্যধিক মানসিকতা" বলে মনে করি না, তবে এটি আপনার মডেলকে ছড়িয়ে দেওয়া case (এবং আমি সংজ্ঞা বিশেষজ্ঞ হওয়ার ভান হবে না) কি সাধারণত overfitting দ্বারা বোঝানো হয় উপর যেমন উইকিপিডিয়া দেখুন: en.wikipedia.org/wiki/Overfitting - যে একটি overspecified মডেল এক যেখানে পরামিতি আনুমানিক হবে সম্ভবত না ক্রস-বৈধকরণে ভাল সম্পাদন করুন, বা অন্য কথায়, আপনার নির্দিষ্ট করা মডেলটি এই নমুনাটি বর্ণনা করবে, তবে একই জনগোষ্ঠীর অন্য কোনও নমুনায় ভাল কাজ করবে না।

— জেমস স্ট্যানলি

ধন্যবাদ জেমস - তবে এটি ওভারফিটিং শব্দটির অধীনে আমি ঠিক কল্পনা করি .. বিটিডাব্লু, আমি ভিআইএফ ব্যবহার করেছি এবং প্রচুর মূল্যবোধ পেয়েছি, দয়া করে আমার সম্পাদিত প্রশ্নটি দেখুন। এটি আপনাকে মাল্টিকোলাইনারিটি / ওভারফিটিং সমস্যাগুলি সম্পর্কে নতুন কিছু বলবে?

— কৌতুহল

আমি মনে করি এটি পরিভাষা / জারগনের প্রশ্ন মাত্র - আপনি যা বর্ণনা করছেন তা এখনও একটি সমস্যা, এবং অত্যধিক স্পেসিফিকেশনের কারণে, তবে আমি মনে করি না যে আমরা এটিকে আনুষ্ঠানিক অর্থে "ওভারফিটিং" হিসাবে উল্লেখ করব। আমাকে আরও দূরে যেতে হবে এবং স্পষ্ট হওয়ার জন্য কিছু বিট পড়তে হবে!

— জেমস স্ট্যানলি

আধা-সম্পূর্ণ বিচ্ছিন্নতার বাইরে কোনও প্রযুক্তিগত শব্দ আছে কিনা তা আমি নিশ্চিত নই। আমি বলব "অর্ধ-সম্পূর্ণ পৃথকীকরণ এড়াতে (দুটি কারণের সংমিশ্রণে ছড়িয়ে ছিটিয়ে থাকা ডেটার কারণে) আমরা ইন্টারঅ্যাকশনগুলির জন্য পরীক্ষা করিনি"। স্পষ্টতই এটি সমস্ত জার্গন, তবে আমি মনে করি এটি সর্বোত্তম বর্ণনা হতে পারে?

— জেমস স্ট্যানলি