আর-তে এমএলইয়ের জন্য ফিশার স্কোরিং v / s স্থানাঙ্ক বংশোদ্ভূত

Question

আর বেস ফাংশন glm()এমএলইয়ের জন্য ফিশার্স স্কোরিং ব্যবহার করে, যখন উপস্থিতগুলি glmnetএকই সমীকরণটি সমাধান করার জন্য স্থানাংক বংশদ্ভুত পদ্ধতি ব্যবহার করে। স্থায়ী বংশোদ্ভূত ফিশার স্কোরিংয়ের চেয়ে বেশি সময় সাশ্রয়ী, কারণ ফিশার স্কোরিং কিছু অন্যান্য ম্যাট্রিক্স অপারেশন ছাড়াও দ্বিতীয় ক্রম ডেরিভেটিভ ম্যাট্রিক্স গণনা করে। যা সম্পাদন করতে ব্যয়বহুল করে তোলে, যখন স্থানাঙ্কিত বংশগতি ও (এনপি) সময়ে একই কাজ করতে পারে।

আর বেস ফাংশনটি ফিশার স্কোরিং কেন ব্যবহার করবে? অন্যান্য অপ্টিমাইজেশন পদ্ধতিগুলির চেয়ে এই পদ্ধতির কোনও সুবিধা আছে? সমন্বয় বংশদ্ভূত এবং ফিশার স্কোরিং কীভাবে তুলনা করে? আমি এই ক্ষেত্রটি করতে তুলনামূলকভাবে নতুন তাই কোনও সহায়তা বা সংস্থান সহায়ক হবে।

Answer 1

নিশ্চিত হওয়ার একমাত্র উপায় হ'ল বেঞ্চমার্কিং, তবে গ্ল্যামের জন্য ফিশার স্কোরিং সমন্বয় বংশোদ্ভূত হওয়ার চেয়ে দ্রুত হওয়া উচিত। ফিশার স্কোরিং নিউটন র‌্যাফসনের একটি বিশেষ কেস, যার স্থানাঙ্ক বংশদ্ভুতের তুলনায় দ্রুততম হার রয়েছে (নিউটন-রাফসন চতুর্ভুজভাবে অভিব্যক্তিক, যখন স্থায়ী বংশোদ্ভূত রৈখিক অভিমুখে থাকে।) সুতরাং দ্বিতীয়-ডেরাইভেটিভ তথ্যের গণনা মানে প্রতিটি পদক্ষেপ আরও বেশি নেয় সময়, এটি সমন্বিত বংশদ্ভুত চেয়ে অনেক কম পদক্ষেপ প্রয়োজন।

লাসোর জন্য, জরিমানার শর্তের বিশেষ ফর্ম এটিকে একটি খুব বিশেষ ক্ষেত্রে পরিণত করে (এবং বাস্তবে পরম মান কোনওভাবেই পার্থক্যযোগ্য নয়, যদিও কখনও কখনও আপনি এটি জরিমানা করতে পারেন)। এই বিশেষ সমস্যার জন্য, সমন্বিত বংশোদ্ভূত বিশেষত দ্রুত প্রমাণিত হয়। আরও অনেক অপ্টিমাইজেশন সমস্যা রয়েছে যেখানে অনুশীলনে নিউটন-রাফসন দ্রুততর হয়।