অন্যান্য রেজিস্ট্রারগুলিতে লজিস্টিক রিগ্রেশন রেসিডুয়ালগুলি নিবন্ধন করা হচ্ছে


9

অবিচ্ছিন্ন প্রতিক্রিয়াতে ওএলএস রিগ্রেশন প্রয়োগ করা হলে, প্রতিটি কোভারিয়েটে রেসিডেন্সিয়াল রেসিস্ট্রেশনগুলি ক্রমান্বয়ে চালিয়ে একাধিক রিগ্রেশন সমীকরণ তৈরি করা যায়। আমার প্রশ্ন হ'ল লজিস্টিক রিগ্রেশন রেসিডুয়ালগুলির মাধ্যমে লজিস্টিক রিগ্রেশন দিয়ে এটি করার কোনও উপায় আছে কি ?

মানে, যদি আমি অনুমান করতে চান মান পদ্ধতির মডেলিং রৈখিক সাধারণ ব্যবহার, সেখানে বিরুদ্ধে লজিস্টিক রিগ্রেশন চালানোর জন্য একটি উপায় এক্স এবং পেতে সিউডো-অবশিষ্টাংশ R_1 , তারপর regress R_1 উপর z- র জন্য লজিস্টিক রিগ্রেশন সহগের একটি নিরপেক্ষ অনুমানক পান esti পাঠ্যপুস্তক বা সাহিত্যের উল্লেখগুলি প্রশংসিত হবে।Pr(Y=1|x,z)xR1R1z


আমার ধারণা হ'ল এটি আর একই কারণে কাজ করে না কারণ আরএমএল জিএলএমগুলিতে প্রসারিত হয় না; সর্বনিম্ন স্কোয়ারের যাদু হারিয়ে গেছে। আমি ভাবছি এটি যদি সম্পূর্ণ বেইসিয়ান প্রসঙ্গে কাজ করে যেখানে আপনি সিমের অংশ হিসাবে সুপ্ত পরিবর্তনশীলকে নমুনা দিয়েছেন। আমি এটি করতে চেয়েছিলাম কারণ তাই আমি ভেরিয়েবলের বিভিন্ন শ্রেণীর উপর গ্ল্যামনেট চালাতে এবং ক্লাসগুলির জন্য বিভিন্ন পরিমাণে নিয়মিতকরণ পেতে পারি - অবশ্যই এই প্রভাবটি পাওয়ার অন্যান্য উপায় রয়েছে।
বেন ওগোরেক

এটি কি লজিস্টিক রিগ্রেশনের জন্য ব্যাক-ফিটিং অ্যালগরিদম ব্যবহার করার মতো?
usεr11852

আমি এটি নীচে একটি মন্তব্যে উল্লেখ করেছি, তবে অনেকগুলি বাস্তবায়নে আপনি একটি 'বেস' পূর্বাভাস (গ্ল্যামনেটে অফসেট প্যারামিটার) পাস করতে পারেন, তাই নির্ভরশীল ভারগুলি পুনরায় চাপানোর পরে সম্ভবত এটি সম্ভব হবে। @ বেনগোরেক আপনি কি মূল পাঠ্যে উদ্দেশ্যটি যুক্ত করতে চান
seanv507

@ Seanv507 আমি আশঙ্কা করছি যে নিয়মিতকরণ অংশে যুক্ত করার ফলে সুযোগটি খুব বেশি বৃদ্ধি পাবে, বিশেষত এখন নীচে কিছু ভাল উত্তর রয়েছে। এই প্রশ্নোত্তর সীমাবদ্ধ করার পরে আমি একটি পৃথক প্রশ্ন তৈরি করব যেখানে অফসেটটি আমাদের বন্ধু হতে পারে।
বেন ওগোরেক

এটি কোনও উত্তর নয় তবে মন্তব্য করার মতো যথেষ্ট খ্যাতি আমার নেই। প্রশ্নটি অবশিষ্ট রেজিস্ট্রারগুলিকে (যেমন, ভবিষ্যদ্বাণীকারীদের ) অবশিষ্টাংশগুলিতে অবশিষ্টাংশগুলিকে রেজিস্ট্রেশন না করে রেসিডুয়ালে পুনরায় চাপ দেওয়ার বিষয়ে । আমি উত্তরগুলি গুলিয়ে ফেলেছি am
টি উউ

উত্তর:


3

স্ট্যান্ডার্ড একাধিক লিনিয়ার রিগ্রেশন, দুই-পদক্ষেপে সাধারণ-সর্বনিম্ন-স্কোয়ার (ওএলএস) অনুমানের ফিট করার ক্ষমতাটি ফ্রিশচ – ওয়াহ – লাভল উপপাদ্য থেকে আসে । এই উপপাদ্যটি দেখায় যে একাধিক লিনিয়ার মডেলটিতে কোনও নির্দিষ্ট ভবিষ্যদ্বাণীকের জন্য একটি গুণফলের অনুমান ভবিষ্যদ্বাণীকারী অবশিষ্টাংশের (রেসকিউবলসগুলির বিরুদ্ধে অন্যান্য বর্ণনামূলক ভেরিয়েবলের বিপরীতে প্রতিক্রিয়ার ভেরিয়েবলের রিগ্রেশন থেকে রেসিডিয়ালস) পুনরায় চাপিয়ে প্রাপ্ত অনুমানের সমান is অন্যান্য ব্যাখ্যামূলক ভেরিয়েবলের বিপরীতে ভবিষ্যদ্বাণীকারী ভেরিয়েবলের রিগ্রেশন থেকে )। স্পষ্টতই, আপনি এই উপপাদ্যের সাথে সাদৃশ্য খুঁজছেন যা লজিস্টিক রিগ্রেশন মডেলটিতে ব্যবহার করা যেতে পারে।

এই প্রশ্নের জন্য, লজিস্টিক রিগ্রেশনটির সুপ্ত-পরিবর্তনশীল বৈশিষ্ট্যটি স্মরণ করা সহায়ক :

Yi=I(Yi>0)Yi=β0+βXxi+βZzi+εiεiIID Logistic(0,1).

মডেলের এই বৈশিষ্ট্যটিতে সুপ্ত প্রতিক্রিয়া পরিবর্তনশীল , এবং পরিবর্তে আমরা সূচক পর্যবেক্ষণ যা আমাদের সুপ্ত প্রতিক্রিয়াটি ইতিবাচক কিনা তা বলে tells মডেলের এই ফর্মটি একাধিক লিনিয়ার রিগ্রেশনের অনুরূপ, আমরা কিছুটা ভিন্ন ত্রুটি বিতরণ (সাধারণ বিতরণের পরিবর্তে লজিস্টিক বিতরণ) ব্যবহার করি এবং এর চেয়েও গুরুত্বপূর্ণ, আমরা কেবল একটি সূচক পর্যবেক্ষণ করি যা প্রচ্ছন্ন প্রতিক্রিয়া ইতিবাচক কিনা তা দেখায় atorYiYi

এটি মডেলের একটি দ্বি-পদক্ষেপ ফিট তৈরির যে কোনও প্রয়াসের জন্য একটি সমস্যা তৈরি করে। এই ফ্রিশ-ওয়া-লাভল উপপাদ্যটি অন্যান্য ব্যাখ্যামূলক ভেরিয়েবলের বিরুদ্ধে নেওয়া প্রতিক্রিয়া এবং আগ্রহের ভবিষ্যদ্বাণীকারীদের জন্য অন্তর্বর্তী অবশিষ্টাংশগুলি অর্জনের দক্ষতার উপর জড়িত। বর্তমান ক্ষেত্রে, আমরা কেবলমাত্র "শ্রেণীবদ্ধ" প্রতিক্রিয়া ভেরিয়েবল থেকে অবশিষ্টাংশগুলি পেতে পারি। লজিস্টিক রিগ্রেশন জন্য একটি দ্বি-পদক্ষেপ ফিটিং প্রক্রিয়া তৈরি করার জন্য অন্তর্নিহিত সুপ্ত প্রতিক্রিয়া অ্যাক্সেস ছাড়াই আপনাকে এই শ্রেণিবদ্ধ প্রতিক্রিয়া পরিবর্তনশীল থেকে প্রতিক্রিয়া অবশিষ্টাংশগুলি ব্যবহার করতে হবে। এটি আমার কাছে একটি বড় বাধা হিসাবে মনে হয় এবং এটি অসম্ভব প্রমাণিত না হলেও মডেলটিকে দুটি ধাপে ফিট করা সম্ভব বলে মনে হয় না।

নীচে আমি আপনাকে একটি লজিস্টিক রিগ্রেশন ফিট করার জন্য একটি দ্বি-পদক্ষেপ প্রক্রিয়াটি কী প্রয়োজন তা একটি অ্যাকাউন্ট দেব। আমি নিশ্চিত নই যে এই সমস্যার কোনও সমাধান আছে কি না, বা যদি অসম্ভবের প্রমাণ রয়েছে তবে এখানকার উপাদানগুলি আপনাকে কী প্রয়োজন তা বোঝার জন্য কিছুটা উপায় খুঁজে পাওয়া উচিত।


একটি দ্বি-পদক্ষেপের লজিস্টিক রিগ্রেশন ফিটের মতো দেখতে কেমন? মনে করুন আমরা একটি লজিস্টিক রিগ্রেশন মডেলটির জন্য একটি দ্বি-পদক্ষেপ ফিট তৈরি করতে চাই যেখানে প্রতিটি পদক্ষেপে সর্বাধিক সম্ভাবনার অনুমানের মাধ্যমে পরামিতিগুলি অনুমান করা হয়। আমরা প্রক্রিয়াটি একটি মধ্যবর্তী পদক্ষেপ জড়িত করতে চাই যা নিম্নলিখিত দুটি মডেলের সাথে খাপ খায়:

Yi=I(Yi>0)Yi=α0+αXxi+τiτiIID Logistic(0,1),  Zi=γ0+γXxi+δiδiIID g.

আমরা এই মডেলগুলির সহগগুলি (এমএলই এর মাধ্যমে) অনুমান করি এবং এটি মধ্যবর্তী ফিটেড মান । তারপরে দ্বিতীয় ধাপে আমরা মডেলটি ফিট করি:α^0,α^X,γ^0,γ^X

Yi=logistic(α^0+α^1xi)+βZ(ziγ^0γ^Xxi)+ϵiϵiIID f.

উল্লিখিত, পদ্ধতি সংশোধন করা হয়েছে উপাদানের একটি অনেক আছে, কিন্তু ঘনত্ব ফাংশন এবং এই পদক্ষেপে অনির্দিষ্ট রাখা হয় (যদিও তারা শূন্য গড় ডিস্ট্রিবিউশন যে ডেটা উপর নির্ভর করে না থাকবে)। এই সীমাবদ্ধতার অধীনে একটি দ্বি-পদক্ষেপের ফিটিং পদ্ধতিটি অর্জন করার জন্য আমাদের এই সিদ্ধান্ত নিতে এবং করতে হবে যে এই দ্বি-পদক্ষেপের মডেল-ফিট অ্যালগরিদমের জন্য এমএলই এক-পদক্ষেপ লজিস্টিক রিগ্রেশন মডেল থেকে প্রাপ্ত সমান উপরে।gfgfβZ

এটি সম্ভব কিনা তা দেখার জন্য, আমরা প্রথম ধাপ থেকে সমস্ত অনুমিত পরামিতি লিখি:

y|x(α^0,α^X)=maxα0,αXi=1nlnBern(yi|logistic(α0+αXxi)),z|x(γ^0,γ^X)=maxγ0,γXi=1nlng(ziγ0γXxi).

আসুন যাতে দ্বিতীয় ধাপের জন্য লগ-সম্ভাবনা ফাংশনটি হয়:ϵi=yilogistic(α^0α^1xi)+βZ(ziγ^0γ^Xxi)

y|z|x(βZ)=i=1nlnf(yilogistic(α^0α^1xi)+βZ(ziγ^0γ^Xxi)).

আমাদের প্রয়োজন যে এই ফাংশনের সর্বাধিক মান হ'ল একাধিক লজিস্টিক রিগ্রেশন মডেলের এমএলই। অন্য কথায়, আমাদের প্রয়োজন:

arg max βXy|z|x(βZ)=arg max βXmaxβ0,βZi=1nlnBern(yi|logistic(β0+βXxi+βZzi)).

এই সমস্যাটির কোনও সমাধান আছে কিনা, বা কোনও সমাধানের প্রমাণ নেই তা নির্ধারণ করার জন্য আমি এটি অন্যের কাছে রেখে দিয়েছি। আমি সন্দেহ করি যে লজিস্টিক রিগ্রেশনে সুপ্ত প্রতিক্রিয়া পরিবর্তনের "শ্রেণিবদ্ধকরণ" দ্বি-পদক্ষেপ প্রক্রিয়াটি খুঁজে পাওয়া অসম্ভব করে দেবে।


1
হাই @ বেন, ফ্রিচ – ওয়াও – লাভল প্রপঞ্চটি সম্পর্কে আমাকে শেখানোর জন্য ধন্যবাদ। আমি এটিকে অনুগ্রহে উড়িয়ে দিয়েছি - চিন্তার "মেয়াদোত্তীর্ণ" মানে এটি কেবল বিজ্ঞাপন দেওয়া বন্ধ করে দিয়েছে। এর জন্যে দুঃখিত. আমি আপনার সম্ভাবনা ভিত্তিক ধারণা পছন্দ করি। এটি চেষ্টা করে দেখতে পারেন বা অনুরূপ কিছু রয়েছে এবং নীচে পোস্ট করুন।
বেন ওগোরেক

@ বেন ওগোরেক: অনুগ্রহ নিয়ে কোনও উদ্বেগ নেই। উত্তরটি সাহায্য করে খুশী।
বেন - মনিকা পুনরায় ইনস্টল করুন

@ বেন ওগোরেক: (হারানো ২৫ টি পয়েন্ট, যা ইথারে ভেসে যায়, তা সন্ধান করার জন্য, কেবলমাত্র সাইটটি ঘুরে দেখুন এবং কোনও উত্তর উত্তর দিন। তাহলে আপনার কর্মফল পুনরুদ্ধার করা হয়েছে!)
বেন - মনিকা

1
সম্পন্ন! (এবং আমি সেগুলি প্রথমে পড়েছি)।
বেন ওগোরেক

3

আমি প্রশ্নটির ভুল ব্যাখ্যা করতে পারি। আমি সন্দেহ করি যে আপনি ওপি দ্বারা যেভাবে নির্দিষ্ট করেছেন তাতে রেসিডেন্সিয়ালদের প্রতি রিগ্রেশন করে লিনিয়ার রিগ্রেশন সমীকরণ তৈরি করতে পারেন । ভবিষ্যদ্বাণীকারীরা একে অপরের থেকে স্বতন্ত্র থাকলেই ওপি-র পদ্ধতিটি কাজ করবে।

এটিকে কাজ করতে, ধরে নিন ফলাফল ফলাফলের ভেক্টর, হ'ল মডেলটিতে পূর্বাভাসকারীদের জন্য মডেল ম্যাট্রিক্স এবং আপনি অন্তর্ভুক্ত করতে চান । আপনি রিগ্রেশনে এর অবশিষ্ট প্রত্যাবর্তন প্রয়োজন উপর রিগ্রেশনে এর অবশিষ্ট বিরুদ্ধে উপর জন্য OLS ঔজ্জ্বল্যের প্রেক্ষাপটে সহগ প্রাপ্ত ।yXx1yXx1Xx1

এখানে একটি সাধারণ উদাহরণ:

set.seed(12345)
n <- 5000
x1 <- rnorm(n)
x2 <- .5 * x1 + rnorm(n) # Correlated predictors
y <- x1 + x2 + rnorm(n)

ওএলএস সহ ফিট মডেল:

coef(lm(y ~ x1 + x2))
(Intercept)          x1          x2 
0.001653707 1.037426007 0.996259446 

অবশিষ্টাংশের উপর দমন:

coef(lm(residuals(lm(y ~ x1)) ~ x2))
(Intercept)          x2 
0.001219232 0.818774874 

এটি ভুল, আপনার ফিট করতে হবে:

coef(lm(residuals(lm(y ~ x1)) ~ residuals(lm(x2 ~ x1))))
           (Intercept) residuals(lm(x2 ~ x1)) 
         -6.707350e-17           9.962594e-01 

যা x2 এর জন্য সঠিক সহগটি দেয়, এটি x2 এর y প্রদত্ত পার্থক্যগুলির সাথে প্রত্যাশিত পার্থক্যের সাথে প্রান্তিক হয়, এক্স 1 ধ্রুবককে ধরে রাখে (এটি y এবং x1 উভয়ের বাইরে নিয়ে যায়)।

এদিকে, লজিস্টিক রিগ্রেশনে, এটি আরও বেশি সমস্যাযুক্ত হবে কারণ যৌক্তিক সম্পর্কের অভাবে এমনকি লজিস্টিক রিগ্রেশন সহগগুলি বাদ দেওয়া পরিবর্তনশীল পক্ষপাতের শিকার হয়, এখানে এবং এখানে দেখুন , সুতরাং ফলাফলের সমস্ত ভবিষ্যদ্বাণীকারী মডেলটিতে না থাকলে, কেউ তা অর্জন করতে পারে না সত্য জনসংখ্যার পরামিতিগুলির নিরপেক্ষ অনুমান। তদুপরি, আমি মডেল থেকে এমন কোন অবশিষ্টাংশের কথা জানি না যা 0 এবং 1 এর মধ্যে থাকা সমস্ত মান সহ দ্বিতীয় লজিস্টিক রিগ্রেশনকে উপযুক্ত হবে।

অবশিষ্টাংশে রিগ্রেশন সম্পর্কিত কিছু উল্লেখ:

  • ম্যাক্সওয়েল, এসই, ডেলাানি, এইচডি, এবং ম্যানহিমার, জেএম (1985)। অবশিষ্টাংশ এবং আনকোয়ার আনোভা: মডেল তুলনা এবং গ্রাফ ব্যবহার করে একটি বিভ্রম সংশোধন করা। শিক্ষাগত পরিসংখ্যান জার্নাল, 10 (3), 197–209। Http://journals.sagepub.com/doi/pdf/10.3102/10769986010003197 থেকে প্রাপ্ত
  • ফ্রেইকলেটন, আরপি (২০০২), বাস্তুশাস্ত্রে অবশিষ্টাংশের অপব্যবহারের বিষয়ে: অবশিষ্টাংশের বনাম বনাম একাধিক রিগ্রেশন। অ্যানিম্যাল ইকোলজির জার্নাল, 71 , 542-545। ডোই: 10,1046 / j.1365-2656.2002.00618.x

আমি মনে করি আপনার প্রথম অনুচ্ছেদে কিছুটা ভুল বিভ্রান্তিকর / অস্পষ্ট ... আপনি কীভাবে বাস্তবে 'অবশিষ্টাংশের সাথে লিনিয়ার রিগ্রেশন' করেন তা দিয়ে শুরু করা ভাল হয় .. (+ 1) এবং আপনি এটি পরিসংখ্যানগত শিক্ষার উপাদানগুলিতে খুঁজে পেতে পারেন ( একক রিগ্রেশনগুলি
উপবৃত্তি

অনেক বাস্তবায়নে আপনি একটি 'বেস' পূর্বাভাস (গ্ল্যামনেটে অফসেট প্যারামিটার) পাস করতে পারেন, তাই নির্ভরশীল
যুদ্ধগুলি পুনরায় চাপানোর

@ seanv507 আমি ইতিমধ্যে এটি আমার উত্তরে অন্তর্ভুক্ত করেছি। এটি আমার কাছে সর্বশেষ কোড প্রদর্শনের। ভবিষ্যদ্বাণীকের উপর অবশিষ্টাংশগুলিকে পুনরায় চাপিয়ে দেওয়ার মাধ্যমে ওপি বর্ণিত পদ্ধতিতে এটি কেবল সম্ভব নয়। তবে আপনি যদি এটি বলতে চান তবে শুরু থেকেই সঠিক উপায়টি দেখানোর জন্য আমি এটি পুনরায় লিখতে পারি।
হেটেরোস্কেস্টিক জিম

হ্যাঁ আমি শুরু থেকে সঠিক
উপায়টি

@ Seanv507 জানেন না আপনি কী বোঝাতে চেয়েছেন আপনি একটি বেস ভবিষ্যদ্বাণী পাস করতে পারেন? এবং নির্ভরশীল ভেরিয়েবলগুলি পুনরায় চাপছেন?
হেটেরোসটেস্টিক জিম

1

আমি আশা করি যে আমি আপনার প্রশ্নের ভুল ব্যাখ্যা দিচ্ছি না, কারণ আমার উত্তরটি আপনাকে কীভাবে আপনার বিষয়কে টুকরো টুকরো করিয়েছে তার কথার কিছুটা পরিবর্তন ঘটবে।

আমি মনে করি আপনি যা করতে চেষ্টা করছেন তা হ'ল একবারে একটি পৃথক ভেরিয়েবল যুক্ত করে আপনার রিগ্রেশন মডেলটি তৈরি করা। এবং, আপনি সম্ভাব্য ভেরিয়েবলটি ওয়াই এবং এক্স 1 এর মধ্যে আপনার প্রথম রিগ্রেশনটির অবশিষ্টাংশের সাথে সর্বাধিক সম্পর্ক রয়েছে তা পর্যবেক্ষণ করে এটি করেন do সুতরাং, এই প্রথম অবশিষ্টের সাথে সর্বাধিক সম্পর্কের সাথে পরিবর্তনশীলটি এক্স 2 হবে। সুতরাং, এখন আপনার কাছে দুটি স্বতন্ত্র ভেরিয়েবল এক্স 1 এবং এক্স 2 সহ একটি মডেল রয়েছে। এবং, আপনি এক্স 3, এক্স 4 ইত্যাদি নির্বাচন করতে এই সঠিক প্রক্রিয়াটি চালিয়ে যান This এটি একটি পদক্ষেপের অগ্রবর্তী প্রক্রিয়া।

লজিস্টিক রিগ্রেশন সাধারণ কারণ হিসাবে আপনি লজিস্টিক রিগ্রেশন সহ ঠিক একই জিনিসটি করতে পারেন যে নির্ভরযোগ্য পরিবর্তনশীলটি বিজোড় (বা লজিট) লগ হয়। তবে, ওয়াই লগইট কিনা তা উপরে উল্লিখিত পদক্ষেপের অগ্রবর্তী প্রক্রিয়াটিকে প্রভাবিত করে না।

ওএলএস প্রকৃত ডেটা ফিট করতে বর্গ ত্রুটির যোগফলকে হ্রাস করে। লজিট রিগ্রেশন সর্বাধিক সম্ভাবনা প্রক্রিয়া ব্যবহার করে যা এমন ফিট তৈরি করে যা ওএলএসের চেয়ে আলাদা নয়। এবং এটিও (ফিটিং মেকানিজম) পদক্ষেপের অগ্রবর্তী প্রক্রিয়াটিকে প্রভাবিত করবে না যা আপনাকে আপনার একাধিক রিগ্রেশন মডেল তৈরি করতে দেয়, যদিও পরবর্তী কোনও ওএলএস রিগ্রেশন বা লজিট রিগ্রেশন হয়।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.