বড় হলে নেস্টেড বাইনারি লজিস্টিক রিগ্রেশন মডেলগুলির সাথে তুলনা করুন

Question

আমার প্রশ্নটি আরও ভালভাবে জিজ্ঞাসা করার জন্য, আমি একটি 16 ভেরিয়েবল মডেল ( fit) এবং fit2নীচে 17 ভেরিয়েবল মডেল ( ) উভয় থেকে কিছু আউটপুট সরবরাহ করেছি (এই মডেলগুলির মধ্যে সমস্ত ভবিষ্যদ্বাণী ভেরিয়েবল অবিচ্ছিন্ন, যেখানে এই মডেলগুলির মধ্যে পার্থক্য কেবল fitতা নয় ভেরিয়েবল 17 (var17) থাকতে পারে:

fit                    Model Likelihood     Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       
 Obs        102849    LR chi2   13602.84    R2       0.173    C       0.703    
  0          69833    d.f.            17    g        1.150    Dxy     0.407    
  1          33016    Pr(> chi2) <0.0001    gr       3.160    gamma   0.416    
 max |deriv| 3e-05                          gp       0.180    tau-a   0.177    
                                            Brier    0.190       


fit2                 Model Likelihood       Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       
 Obs        102849    LR chi2   13639.70    R2       0.174    C       0.703    
  0          69833    d.f.            18    g        1.154    Dxy     0.407    
  1          33016    Pr(> chi2) <0.0001    gr       3.170    gamma   0.412    
 max |deriv| 3e-05                          gp       0.180    tau-a   0.177    
                                            Brier    0.190          

আমি rmsএই lrmমডেলগুলি তৈরি করতে ফ্র্যাঙ্ক হ্যারেলের প্যাকেজটি ব্যবহার করেছি । যেমন আপনি দেখতে পাচ্ছেন, এই মডেলগুলি বৈষম্য সূচক এবং রেঙ্ক বৈষম্য জুড়ে খুব বেশি আলাদা হয় না । সূচক ; তবে, ব্যবহার করে lrtest(fit,fit2)আমাকে নিম্নলিখিত ফলাফলগুলি সরবরাহ করা হয়েছিল:

 L.R. Chisq         d.f.            P 
3.685374e+01     1.000000e+00    1.273315e-09 

এই হিসাবে, আমরা এই সম্ভাবনা অনুপাত পরীক্ষার নাল অনুমানকে বাতিল করব; তবে, আমি ধরে নিতে পারি এটি সম্ভবত বৃহত নমুনার আকারের ( এন = 102849) কারণ এই মডেলগুলি অনুরূপ ফ্যাশনে অভিনয় করতে দেখা যাচ্ছে। তদুপরি, আমি n বড় হলে নেস্টেড বাইনারি লজিস্টিক রিগ্রেশন মডেলগুলির আনুষ্ঠানিকভাবে তুলনা করার আরও ভাল উপায় খুঁজতে আগ্রহী ।

আমি কোনও ধরণের প্রতিক্রিয়া, আর স্ক্রিপ্ট বা ডকুমেন্টেশনের প্রশংসা করি যা এই ধরণের নেস্টেড মডেলগুলির সাথে তুলনা করার দিক থেকে আমাকে সঠিক দিকে চালিত করতে পারে! ধন্যবাদ!

Comments

পরিবর্তনশীল 17 অপসারণের উদ্দেশ্য কী?

— মাইকেল এম

এটি খেলনার উদাহরণ; যাইহোক, আমাকে সাধারণত 8-12 ভেরিয়েবল সহ মডেলগুলি তৈরি করতে বলা হয়, এবং কোনও ভেরিয়েবলগুলি অপসারণ করা আমার কাছে একটি প্রাথমিক আগ্রহ। ভেরিয়েবল 17 কেবলমাত্র মডেলটির সম্পূর্ণ হিসাবে ভবিষ্যদ্বাণী হিসাবে খুব সামান্য বোঝাচ্ছে, তবুও সম্ভাবনা অনুপাত পরীক্ষা আমাদের বলে দুটি মডেলের মধ্যে একটি উল্লেখযোগ্য পার্থক্য রয়েছে (সম্ভবত এগুলির মধ্যে প্রকৃত পার্থক্যের চেয়ে বড় এন এর কারণে সম্ভবত দুটি মডেল)। এই হিসাবে, আমি এই দুটি মডেলের তুলনা করার একটি উপায় খুঁজে প্রত্যাশা করছি (এমন একটি পদ্ধতি আবিষ্কার করুন যা এই দুটি মডেলের মধ্যে কোনও পার্থক্য নির্দেশ করে না)

— ম্যাট রেইচেনবাচ

(1) নিশ্চিত না যে আপনি যা খুঁজছেন তা আমি যথেষ্ট বুঝেছি। তবে চিকিত্সায় সি-স্ট্যাটিস্টিকের মতো বৈষম্য ব্যবহারের বিষয়টি সুপ্রতিষ্ঠিত, সি-স্ট্যাটিকস উল্লেখযোগ্য পরিবর্তনশীল যুক্ত হওয়া সত্ত্বেও অপরিবর্তনীয় হতে পারে, এবং পুনর্গঠন সূচকের বিকাশ ঘটায় ( সার্ক.আহাজারনালস.আর। 1768.full ) (2) এআইসি / বিআইসি সমান? বৈষম্য মাপদণ্ডের চেয়ে বেশ কয়েকটি পরিবর্তনশীল তথ্য অর্জনের মানদণ্ড আরও কার্যকর হতে পারে।

— চার্জ

আমি মনে করি আপনার 1 ম অনুচ্ছেদে একটি টাইপো আছে। এটি উল্লেখ করা হয়েছে যে fit217 টি চলক মডেল, তবে এটি বাদ দেওয়া মডেলও V17। আপনি এটি সম্পাদনা করতে চাইতে পারেন।

— টোমকা

@tomka, আমি পরিবর্তিত fit2করতে fitআপনার সংশোধন অনুযায়ী উপরোক্ত উদাহরণের। ধন্যবাদ!

— ম্যাট রেইচেনবাচ

Answer 1

(1) সীমাবদ্ধ / পার্সিমোনিয়াস মডেলগুলির ক্ষেত্রে কেন পুরো মডেলটিকে পছন্দ করা উচিত সে সম্পর্কে একটি বিস্তৃত সাহিত্য রয়েছে। আমার বোঝাপড়া পার্সিমোনিয়াস মডেলটিকে প্রাধান্য দেওয়ার কয়েকটি কারণ। তবে অনেকগুলি ক্লিনিকাল অ্যাপ্লিকেশনগুলির জন্য বৃহত্তর মডেলগুলি ব্যবহারযোগ্য নাও হতে পারে।

(২) যতদূর আমি জানি, বৈষম্য / বৈষম্য সূচীগুলি (? হওয়া উচিত নয়) একটি মডেল / পরিবর্তনশীল নির্বাচনের প্যারামিটার হিসাবে ব্যবহৃত হয়। তারা এই ব্যবহারের উদ্দেশ্যে নয় এবং ফলস্বরূপ কেন মডেল বিল্ডিংয়ের জন্য সেগুলি ব্যবহার করা উচিত নয় সে বিষয়ে সাহিত্যের খুব বেশি পরিমাণে থাকতে পারে না।

(3) পার্সিমোনিয়াস মডেলগুলির সীমাবদ্ধতা থাকতে পারে যা সহজেই আপাত নয়। এগুলি বৃহত্তর মডেলের চেয়ে কম ক্যালিব্রেটেড হতে পারে, বাহ্যিক / অভ্যন্তরীণ বৈধতা হ্রাস হতে পারে।

(৪) সি স্ট্যাটিস্টিক এমন মডেলগুলি মূল্যায়নে অনুকূল হতে পারে না যা ভবিষ্যতের ঝুঁকি পূর্বাভাস দেয় বা ঝুঁকির বিভাগগুলিতে ব্যক্তিদের স্তরিত করে। এই সেটিংয়ে, ঝুঁকিটির সঠিক মূল্যায়নের পক্ষে ক্যালিগ্রেশন গুরুত্বপূর্ণ। উদাহরণস্বরূপ, 3 এর প্রতিকূল সংখ্যার সাথে একটি বায়োমারকার সিস্টেস্টিকের উপর খুব সামান্য প্রভাব ফেলতে পারে, তবুও বর্ধিত স্তরটি একটি পৃথক রোগীর জন্য 10 বছরের কার্ডিওভাসকুলার ঝুঁকি 8% থেকে 24% এ স্থানান্তর করতে পারে

কুক এনআর; চিকিত্সা সাহিত্যে আরওসি বক্রের ব্যবহার এবং অপব্যবহার। প্রচলন. 115 2007: 928-935।

(৫) এউসি / সি-স্ট্যাটিস্টিক / বৈষম্য উল্লেখযোগ্য ভবিষ্যদ্বাণীকারী ভেরিয়েবলের প্রতি সংবেদনশীল হিসাবে পরিচিত। এটি উপরের কুক রেফারেন্সে এবং নেট পুনঃনির্মাণ সূচকের বিকাশের পিছনে প্রেরণাদায়ক বলয়ে আলোচনা করা হয়েছে। উপরে কুক মধ্যেও আলোচনা।

()) স্ট্যান্ডার্ড ভেরিয়েবল নির্বাচনের পদ্ধতি ব্যবহার করা হয় তবে বড় ডেটাসেটগুলি এখনও পছন্দসই তুলনায় বৃহত্তর মডেলগুলিতে নিয়ে যেতে পারে। ধাপে ধাপে নির্বাচন পদ্ধতিতে প্রায়শই 0.05 এর একটি পি-মান কাট অফ ব্যবহার করা হয়। তবে এই মানটির অভ্যন্তরীণ কিছুই নেই এর অর্থ আপনার এই মানটি চয়ন করা উচিত। ছোট ডেটাসেটের সাহায্যে বৃহত্তর পি-মান (0.2) আরও উপযুক্ত হতে পারে, বৃহত্তর ডেটাসেটে একটি ছোট পি-মান যথাযথ হতে পারে (0.01 এই কারণে GUSTO I ডেটাসেটের জন্য ব্যবহৃত হয়েছিল)।

()) যদিও এআইসি প্রায়শই মডেল নির্বাচনের জন্য ব্যবহৃত হয়, এবং সাহিত্যের দ্বারা এটি আরও ভালভাবে সমর্থিত হয়, বিআইসি বৃহত্তর ডেটাসেটে একটি বৈধ বিকল্প হতে পারে। বিআইসি মডেল নির্বাচনের জন্য চি-স্কোয়ার্ড অবশ্যই লগ (এন) অতিক্রম করতে হবে, সুতরাং এটি বৃহত্তর ডেটাসেটে ছোট মডেলগুলির ফলাফল করবে। (মাল্লো এর একই বৈশিষ্ট্য থাকতে পারে)

(৮) তবে আপনি যদি সর্বাধিক 10 বা 12 ভেরিয়েবল চান তবে সহজ সমাধানটি হ'ল কিছু bestglmবা leapsপ্যাকেজগুলি আপনি কী সর্বাধিক সংখ্যক ভেরিয়েবল বিবেচনা করতে চান তা সেট করে।

(9) আপনি যদি কেবল এমন একটি পরীক্ষা চান যা দুটি মডেলকে একইরকম দেখায় এবং বিশদ সম্পর্কে খুব বেশি চিন্তিত না হয় তবে আপনি সম্ভবত দুটি মডেলের এউসির তুলনা করতে পারেন। কিছু প্যাকেজ এমনকি তুলনা করার জন্য আপনাকে পি-মান দেবে। পরামর্শদায়ক বলে মনে হচ্ছে না।

অ্যাম্ব্লার জি (২০০২) একটি প্রিগনস্টিক মডেলকে সরলকরণ: ক্লিনিকাল ডেটা
কুক এনআর ভিত্তিক একটি সিমুলেশন অধ্যয়ন ; চিকিত্সা সাহিত্যে আরওসি বক্রের ব্যবহার এবং অপব্যবহার। প্রচলন. 115 2007: 928-935।
গাইল এমএইচ, ফেফার আরএম; পরম ঝুঁকির মডেলগুলি মূল্যায়নের মানদণ্ডে। Biostat। 6 2005: 227-239।

(10) একবার মডেলটি তৈরি হয়ে গেলে, সি-পরিসংখ্যান / ডেসিমেশন সূচকগুলি মডেলগুলির সাথে তুলনা করার জন্য সেরা পদ্ধতির নাও হতে পারে এবং ডকুমেন্টেড সীমাবদ্ধতাগুলি থাকতে পারে। তুলনাগুলি সম্ভবত ন্যূনতম সময়ে ক্রমাঙ্কন, পুনঃনির্ধারণ সূচক অন্তর্ভুক্ত করা উচিত।

স্টিয়েরবার (২০১০) পূর্বাভাস মডেলগুলির পারফরম্যান্সের মূল্যায়ন: কিছু traditionalতিহ্যবাহী এবং অভিনব পদক্ষেপের জন্য একটি কাঠামো

(১১) উপরের বাইরে গিয়ে সিদ্ধান্ত বিশ্লেষণমূলক পদক্ষেপগুলি ব্যবহার করা ভাল ধারণা হতে পারে।

ভিকাররা এজে, এলকিন ইবি। সিদ্ধান্ত বক্র বিশ্লেষণ: পূর্বাভাস মডেল মূল্যায়নের জন্য একটি অভিনব পদ্ধতি। মেড ডিসিস মেকিং 2006; 26: 565-74।
বেকার এসজি, কুক এনআর, ভিকার্স এ, ক্রামার বিএস। ঝুঁকি পূর্বাভাস মূল্যায়ন করতে আপেক্ষিক ইউটিলিটি কার্ভ ব্যবহার করে। জেআর স্ট্যাট সোস এ। 2009; 172: 729-48।
ভ্যান কলস্টার বি, ভিকার্স এজে, পেনসিনা এমজে, বেকার এসজি, টিমারম্যান ডি, স্টিয়ারবার্গ ইডব্লিউ। চিহ্নিতকারী এবং ঝুঁকি পূর্বাভাস মডেলগুলির মূল্যায়ন: এনআরআই এবং সিদ্ধান্ত-বিশ্লেষণমূলক ব্যবস্থার মধ্যে সম্পর্কের ওভারভিউ। মেড ডিসিস মেকিং 2013; 33: 490-501

--- আপডেট --- আমি ভিকারদের নিবন্ধটি সবচেয়ে আকর্ষণীয় বলে মনে করি। কিন্তু এখনও অনেক সম্পাদকীয় সত্ত্বেও এটি ব্যাপকভাবে গৃহীত হয়নি। তাই বেশি ব্যবহারিক ব্যবহার নাও হতে পারে। কুক এবং স্টিয়ারবার্গ নিবন্ধগুলি আরও অনেক বেশি ব্যবহারিক।

পদক্ষেপের নির্বাচন কেউ পছন্দ করে না। আমি অবশ্যই এর পক্ষে কোন উকিল করব না। আমি জোর দিয়ে বলতে পারি যে পদক্ষেপের বেশিরভাগ সমালোচনা EPV <50 ধরে এবং একটি পূর্ণ বা প্রাক-নির্দিষ্ট মডেল এবং একটি হ্রাস হওয়া মডেলের মধ্যে একটি পছন্দ ধরে নেয়। যদি EPV> 50 এবং কমানো মডেলটির প্রতিশ্রুতি থাকে তবে ব্যয়-বেনিফিট বিশ্লেষণ আলাদা হতে পারে।

সি-পরিসংখ্যান তুলনা করার পিছনে দুর্বল চিন্তাভাবনাটি হ'ল এগুলি আলাদা নাও হতে পারে এবং আমি মনে করি এই পরীক্ষাটি উল্লেখযোগ্যভাবে আন্ডার পাওয়ারযুক্ত ছিল। তবে এখন আমি রেফারেন্সটি খুঁজে পাচ্ছি না, সুতরাং এটির ভিত্তিতে বেস হতে পারে।

Comments

(1) আমি সচেতন যে পুরো মডেলগুলি অগ্রাধিকারযুক্ত, তবে আমার কাছে বেছে নিতে 1 কেও বেশি বার রয়েছে এবং শিল্প-নির্দিষ্ট প্রয়োজনীয়তার কারণে আমার এই ছোট মডেলগুলি তৈরি করতে হবে। (2) যে বোঝার! (3) রাজি! (4) সত্য (5) আকর্ষণীয়

— ম্যাট রেইচেনবাচ

()) সম্মত; তবে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ছাড়ানোর পদ্ধতিগুলি যেমন হয় তেমন প্রশ্নবিদ্ধ এবং পি ভ্যালু কাটঅফ যত কম হবে, নমুনার আকার নির্বিশেষে এই ধরণের মডেলগুলি যত বেশি পক্ষপাতদুষ্ট হয়ে ওঠে। ()) "বিআইসির মডেল নির্বাচনের জন্য চি-স্কোয়ার্ড অবশ্যই লগ (এন) ছাড়িয়ে যাবে" এটি খুব কার্যকর বলে মনে হচ্ছে। ধন্যবাদ! (8) bestglmএবং leapsপ্যাকেজগুলি খুব কম গণনামূলকভাবে ব্যয়বহুল এবং ডেটাসেটগুলি চালানোর জন্য আমি সময় নিয়ে কাজ করি যাগুলির সাথে আমি কাজ করি তবে সম্ভাব্য ধারণাগুলির জন্য আপনাকে ধন্যবাদ।

— ম্যাট রেইচেনবাচ

(9) একা একা বৃহত নমুনার আকারের কারণে মডেলগুলি প্রায় একই রকম হলেও এই পি- মূল্যগুলি তাৎপর্যপূর্ণ হবে। (10) আমার আরও ক্রমাঙ্কন এবং পুনঃনির্ধারণের সূচকটি গবেষণা করা দরকার, ধন্যবাদ! (১১) আমি এই নিবন্ধগুলি পড়তে খুব আগ্রহী, আপনি কি ভিকারদের সাথে শুরু করার পরামর্শ দিন? ধন্যবাদ!

— ম্যাট রেইচেনবাচ

Answer 2

দুটি বিকল্পের জন্য সিউডো আর-স্কোয়ার ব্যবস্থা ব্যবহার করা একটি বিকল্প। সিউডো আর-স্কোয়ারের একটি শক্তিশালী পার্থক্যটি সুপারিশ করবে যে ভি 17 বাদ দিয়ে মডেল ফিট শক্তভাবে হ্রাস পাবে।

বিভিন্ন ধরণের সিউডো আর-স্কোয়ার উপলব্ধ। একটি ওভারভিউ এখানে পাওয়া যাবে, উদাহরণস্বরূপ:

http://www.ats.ucla.edu/stat/mult_pkg/faq/general/Psuedo_RSquareds.htm

একটি জনপ্রিয় পরিমাপ হ'ল নগেলকার্কে আর-স্কোয়ার। এটি 0 থেকে 1 এর মধ্যে পরিবর্তিত হয় এবং যত্ন সহকারে, একটি সাধারণ লিনিয়ার রিগ্রেশন মডেল থেকে আর-স্কোয়ারের মতো ব্যাখ্যা করা যায়। এটি কেবলমাত্র বিরতি-কেবলমাত্র মডেলের সম্পূর্ণ মডেলের আনুমানিক সম্ভাবনার পরিবর্তিত অনুপাতের ভিত্তিতে।

আপনি যথাক্রমে fitএবং এর জন্য এটি নির্ধারণ করতে এবং fit2আপনার সমস্যার বিষয়ে ইঙ্গিত পেতে আপেক্ষিক আকারের সাথে তুলনা করতে পারেন। এর জন্য যথেষ্ট উচ্চতর নাগেলকার্কে আর-স্কোয়ারটি fitপরামর্শ দেয় যে fit2ভি 17 বাদ দিয়ে প্রচুর ভবিষ্যদ্বাণীপূর্ণ শক্তি হারাবে।

ইন মান Nagelkerke এর আর-স্কোয়ারড প্রদান করে। সুতরাং দেওয়া আপনাকে একটি অনুমান প্রদান করে should এছাড়াও দেখুন ।lrmstatsfit$stats?lrm

Comments

আমি নাগেলকার্কের আর-স্কোয়ারের সাথে পরিচিত; তবে, আমার প্রশ্নটি "একটি যথেষ্ট উচ্চতর নগেল্কার্ক আর-স্কয়ার fit" এর মধ্যে কী? উপরের উদাহরণে, 0.001 এর পার্থক্য রয়েছে কারণ আমাদের কাছে যথাক্রমে fitএবং fit2যথাক্রমে 0.173 এবং 0.174 এর নগেলকার্কের আর-স্কোয়ার রয়েছে । "যথেষ্ট উচ্চতর নগেল্কার্কে আর-স্কোয়ার" কোনটি সম্পর্কে আপনার কোনও রেফারেন্স রয়েছে? ধন্যবাদ!

— ম্যাট রেইচেনবাচ

@ ম্যাট: আমি মনে করি নাগেলকার্কের আর বা সিউডো র অন্যান্য পদক্ষেপের ব্যাখ্যা দেওয়ার জন্য কোনও সাধারণীকরণের নির্দেশিকা নেই। তবে নোট করুন যে এটি কেবলমাত্র একমাত্র মডেলকে কোভারিয়েটস অন্তর্ভুক্ত করে 'সম্ভাবনা হ্রাস' এর একটি পরিবর্তিত পরিমাপ, এটি লিনিয়ার রিগ্রেশন-এ স্ট্যান্ডার্ড আর দ্বারা নির্দেশিত 'বর্ণিত বৈকল্পিকের' অনুরূপ। এই অর্থে, আমি .173 / .174 পার্থক্যটিকে খুব ছোট হিসাবে ব্যাখ্যা করব। আরও শক্তিশালী পার্থক্য হ'ল ব্রিজিং ডিক্সেলস যাইহোক, আমি এই সিদ্ধন্তের দৃ check়তা পরীক্ষা করার জন্য অন্যান্য সিউডো R² পদক্ষেপগুলি অনুমান করার পরামর্শ দিচ্ছি, যেমন ম্যাকফ্যাডেন বা কক্স / স্নেল।

— টোমকা

আমি সম্মত হচ্ছি যে পার্থক্যটি খুব সামান্য, তবে আমি আশা করি যে একটি "ছোট" পার্থক্য কী তা বোঝায় এমন একটি রেফারেন্স পেলাম ... আমি আপনার ধারণার প্রশংসা করি। আবার ধন্যবাদ!

— ম্যাট রেইচেনবাচ

সমস্যা নেই! আপনাকে তাড়াতাড়ি upvoting না জন্য দুঃখিত! আমি আবার পোস্ট করব, যদি আমি উত্তর খুঁজে পাই যে পিসেডু আর-স্কোয়ারের ক্ষেত্রে "" ছোট "পার্থক্য কী! ধন্যবাদ!

— ম্যাট রেইচেনবাচ

Answer 3

আমি শুধু এই সম্পর্কে পড়া। এটি করার সঠিক উপায় হ'ল আর এর গ্ল্যামের চূড়ান্ত মডেল আউটপুটটি ব্যবহার করুন এবং "রেসিডুয়াল ডিভ্যান্সন:" সন্ধান করুন এবং দুটি মডেলের মধ্যে ব-দ্বীপ বানাবেন এবং ডিফ ব্যবহার করে চি-স্কোয়ার পরীক্ষায় এই মানটি ব্যবহারের পূর্বেকার শর্তগুলির # টির সমান ব্যবহার করুন। এবং এটি আপনার পি মান।

প্রয়োগিত রিগ্রেশন মডেলিং Iaian Pardoe 2 য় সংস্করণ 2012 পৃষ্ঠা 270