স্ট্যান্ডার্ড একাধিক লিনিয়ার রিগ্রেশন, দুই-পদক্ষেপে সাধারণ-সর্বনিম্ন-স্কোয়ার (ওএলএস) অনুমানের ফিট করার ক্ষমতাটি ফ্রিশচ – ওয়াহ – লাভল উপপাদ্য থেকে আসে । এই উপপাদ্যটি দেখায় যে একাধিক লিনিয়ার মডেলটিতে কোনও নির্দিষ্ট ভবিষ্যদ্বাণীকের জন্য একটি গুণফলের অনুমান ভবিষ্যদ্বাণীকারী অবশিষ্টাংশের (রেসকিউবলসগুলির বিরুদ্ধে অন্যান্য বর্ণনামূলক ভেরিয়েবলের বিপরীতে প্রতিক্রিয়ার ভেরিয়েবলের রিগ্রেশন থেকে রেসিডিয়ালস) পুনরায় চাপিয়ে প্রাপ্ত অনুমানের সমান is অন্যান্য ব্যাখ্যামূলক ভেরিয়েবলের বিপরীতে ভবিষ্যদ্বাণীকারী ভেরিয়েবলের রিগ্রেশন থেকে )। স্পষ্টতই, আপনি এই উপপাদ্যের সাথে সাদৃশ্য খুঁজছেন যা লজিস্টিক রিগ্রেশন মডেলটিতে ব্যবহার করা যেতে পারে।
এই প্রশ্নের জন্য, লজিস্টিক রিগ্রেশনটির সুপ্ত-পরিবর্তনশীল বৈশিষ্ট্যটি স্মরণ করা সহায়ক :
Yi=I(Y∗i>0)Y∗i=β0+βXxi+βZzi+εiεi∼IID Logistic(0,1).
মডেলের এই বৈশিষ্ট্যটিতে সুপ্ত প্রতিক্রিয়া পরিবর্তনশীল , এবং পরিবর্তে আমরা সূচক পর্যবেক্ষণ যা আমাদের সুপ্ত প্রতিক্রিয়াটি ইতিবাচক কিনা তা বলে tells মডেলের এই ফর্মটি একাধিক লিনিয়ার রিগ্রেশনের অনুরূপ, আমরা কিছুটা ভিন্ন ত্রুটি বিতরণ (সাধারণ বিতরণের পরিবর্তে লজিস্টিক বিতরণ) ব্যবহার করি এবং এর চেয়েও গুরুত্বপূর্ণ, আমরা কেবল একটি সূচক পর্যবেক্ষণ করি যা প্রচ্ছন্ন প্রতিক্রিয়া ইতিবাচক কিনা তা দেখায় ator ।Y∗iYi
এটি মডেলের একটি দ্বি-পদক্ষেপ ফিট তৈরির যে কোনও প্রয়াসের জন্য একটি সমস্যা তৈরি করে। এই ফ্রিশ-ওয়া-লাভল উপপাদ্যটি অন্যান্য ব্যাখ্যামূলক ভেরিয়েবলের বিরুদ্ধে নেওয়া প্রতিক্রিয়া এবং আগ্রহের ভবিষ্যদ্বাণীকারীদের জন্য অন্তর্বর্তী অবশিষ্টাংশগুলি অর্জনের দক্ষতার উপর জড়িত। বর্তমান ক্ষেত্রে, আমরা কেবলমাত্র "শ্রেণীবদ্ধ" প্রতিক্রিয়া ভেরিয়েবল থেকে অবশিষ্টাংশগুলি পেতে পারি। লজিস্টিক রিগ্রেশন জন্য একটি দ্বি-পদক্ষেপ ফিটিং প্রক্রিয়া তৈরি করার জন্য অন্তর্নিহিত সুপ্ত প্রতিক্রিয়া অ্যাক্সেস ছাড়াই আপনাকে এই শ্রেণিবদ্ধ প্রতিক্রিয়া পরিবর্তনশীল থেকে প্রতিক্রিয়া অবশিষ্টাংশগুলি ব্যবহার করতে হবে। এটি আমার কাছে একটি বড় বাধা হিসাবে মনে হয় এবং এটি অসম্ভব প্রমাণিত না হলেও মডেলটিকে দুটি ধাপে ফিট করা সম্ভব বলে মনে হয় না।
নীচে আমি আপনাকে একটি লজিস্টিক রিগ্রেশন ফিট করার জন্য একটি দ্বি-পদক্ষেপ প্রক্রিয়াটি কী প্রয়োজন তা একটি অ্যাকাউন্ট দেব। আমি নিশ্চিত নই যে এই সমস্যার কোনও সমাধান আছে কি না, বা যদি অসম্ভবের প্রমাণ রয়েছে তবে এখানকার উপাদানগুলি আপনাকে কী প্রয়োজন তা বোঝার জন্য কিছুটা উপায় খুঁজে পাওয়া উচিত।
একটি দ্বি-পদক্ষেপের লজিস্টিক রিগ্রেশন ফিটের মতো দেখতে কেমন? মনে করুন আমরা একটি লজিস্টিক রিগ্রেশন মডেলটির জন্য একটি দ্বি-পদক্ষেপ ফিট তৈরি করতে চাই যেখানে প্রতিটি পদক্ষেপে সর্বাধিক সম্ভাবনার অনুমানের মাধ্যমে পরামিতিগুলি অনুমান করা হয়। আমরা প্রক্রিয়াটি একটি মধ্যবর্তী পদক্ষেপ জড়িত করতে চাই যা নিম্নলিখিত দুটি মডেলের সাথে খাপ খায়:
Yi=I(Y∗∗i>0)Y∗∗i=α0+αXxi+τi Zi=γ0+γXxi+δiτi∼IID Logistic(0,1),δi∼IID g.
আমরা এই মডেলগুলির সহগগুলি (এমএলই এর মাধ্যমে) অনুমান করি এবং এটি মধ্যবর্তী ফিটেড মান । তারপরে দ্বিতীয় ধাপে আমরা মডেলটি ফিট করি:α^0,α^X,γ^0,γ^X
Yi=logistic(α^0+α^1xi)+βZ(zi−γ^0−γ^Xxi)+ϵiϵi∼IID f.
উল্লিখিত, পদ্ধতি সংশোধন করা হয়েছে উপাদানের একটি অনেক আছে, কিন্তু ঘনত্ব ফাংশন এবং এই পদক্ষেপে অনির্দিষ্ট রাখা হয় (যদিও তারা শূন্য গড় ডিস্ট্রিবিউশন যে ডেটা উপর নির্ভর করে না থাকবে)। এই সীমাবদ্ধতার অধীনে একটি দ্বি-পদক্ষেপের ফিটিং পদ্ধতিটি অর্জন করার জন্য আমাদের এই সিদ্ধান্ত নিতে এবং করতে হবে যে এই দ্বি-পদক্ষেপের মডেল-ফিট অ্যালগরিদমের জন্য এমএলই এক-পদক্ষেপ লজিস্টিক রিগ্রেশন মডেল থেকে প্রাপ্ত সমান উপরে।gfgfβZ
এটি সম্ভব কিনা তা দেখার জন্য, আমরা প্রথম ধাপ থেকে সমস্ত অনুমিত পরামিতি লিখি:
ℓy|x(α^0,α^X)ℓz|x(γ^0,γ^X)=maxα0,αX∑i=1nlnBern(yi|logistic(α0+αXxi)),=maxγ0,γX∑i=1nlng(zi−γ0−γXxi).
আসুন যাতে দ্বিতীয় ধাপের জন্য লগ-সম্ভাবনা ফাংশনটি হয়:ϵi=yi−logistic(α^0−α^1xi)+βZ(zi−γ^0−γ^Xxi)
ℓy|z|x(βZ)=∑i=1nlnf(yi−logistic(α^0−α^1xi)+βZ(zi−γ^0−γ^Xxi)).
আমাদের প্রয়োজন যে এই ফাংশনের সর্বাধিক মান হ'ল একাধিক লজিস্টিক রিগ্রেশন মডেলের এমএলই। অন্য কথায়, আমাদের প্রয়োজন:
arg max βXℓy|z|x(βZ)=arg max βXmaxβ0,βZ∑i=1nlnBern(yi|logistic(β0+βXxi+βZzi)).
এই সমস্যাটির কোনও সমাধান আছে কিনা, বা কোনও সমাধানের প্রমাণ নেই তা নির্ধারণ করার জন্য আমি এটি অন্যের কাছে রেখে দিয়েছি। আমি সন্দেহ করি যে লজিস্টিক রিগ্রেশনে সুপ্ত প্রতিক্রিয়া পরিবর্তনের "শ্রেণিবদ্ধকরণ" দ্বি-পদক্ষেপ প্রক্রিয়াটি খুঁজে পাওয়া অসম্ভব করে দেবে।