সাধারণ রৈখিক মডেলগুলির সাথে পরামিতি অনুমান

Question

ডিফল্টরূপে যখন আমরা glmআর তে কোনও ফাংশন ব্যবহার করি , এটি পরামিতিগুলির সর্বাধিক সম্ভাবনার অনুমানের জন্য পুনরাবৃত্তভাবে স্বল্পতম স্কোয়ারগুলি (আইডাব্লুএলএস) পদ্ধতি ব্যবহার করে । এখন আমার দুটি প্রশ্ন আছে।

1. আইডব্লুএলএসের অনুমানগুলি বিশ্বব্যাপী সর্বাধিক সম্ভাবনার কার্যটির গ্যারান্টি দেয়? এই উপস্থাপনাটির শেষ স্লাইডের ভিত্তিতে , আমার মনে হয় এটি হয় না! আমি এটা নিশ্চিত করতে চেয়েছিলাম
2. আমরা কি বলতে পারি যে উপরের প্রশ্নের 1 কারণের কারণটি হল যে প্রায় সমস্ত সংখ্যাগত অপ্টিমাইজেশান পদ্ধতি বিশ্বব্যাপী সর্বাধিকের চেয়ে স্থানীয় সর্বোচ্চে আটকে যেতে পারে?

Answer 1

আপনি যখন প্যারামিটারগুলি অনুমান করার চেষ্টা করছেন, আপনি সর্বদা সেখানে বন্ধ ফর্ম সমাধান হওয়া চাই। যাইহোক, একজন সর্বদা বিদ্যমান থাকে না (আমি মনে করি এটি সম্ভবত সম্ভব যে কোনও ক্ষেত্রে একটি থাকতে পারে তবে এটি বর্তমানে অজানা)। যখন একটি বদ্ধ ফর্ম সমাধান উপস্থিত না থাকে, ব্যবহারের সেরা প্যারামিটারের প্রাক্কলনগুলির জন্য প্যারামিটারের স্থানটি অনুসন্ধান করার জন্য কিছু তাত্ত্বিক কৌশল প্রয়োগ করতে হবে। অনেক যেমন অনুসন্ধান কৌশল (যেমন আছে R, ? Optim তালিকা 6 সাধারণ কাজের পদ্ধতি)। আইআরডাব্লুএলএস নিউটন-র‌্যাফসন অ্যালগরিদমের একটি সরল সংস্করণ ।

দুর্ভাগ্যক্রমে, আপনার [ 1 ] এর জবাব হ'ল বিশ্বব্যাপী ন্যূনতম (সর্বাধিক) সন্ধানের কোনও হিউরিস্টিক অনুসন্ধান কৌশল গ্যারান্টিযুক্ত নয়। ঘটনাটি হওয়ার তিনটি কারণ রয়েছে:

1. আপনার লিঙ্কযুক্ত উপস্থাপনার 9 স্লাইডে উল্লিখিত হিসাবে, কোনও অনন্য সমাধানের অস্তিত্ব থাকতে পারে। এর উদাহরণগুলি নিখুঁত মাল্টিকোলাইনারিটি হতে পারে , বা যখন আরও বেশি পরামিতি থাকে যখন ডেটা রয়েছে তার চেয়ে বেশি ।
2. 10 স্লাইডে উল্লিখিত হয়েছে (যে উপস্থাপনাটি বেশ ভাল, আমি মনে করি), সমাধানটি অসীম হতে পারে। লজিস্টিক রিগ্রেশনে এটি ঘটতে পারে, উদাহরণস্বরূপ, যখন আপনার নিখুঁত বিচ্ছেদ হয় ।

3. এটি সীমাবদ্ধ গ্লোবাল ন্যূনতম (সর্বাধিক) রয়েছে এমন ক্ষেত্রেও হতে পারে তবে অ্যালগরিদম এটি খুঁজে পায় না। এই অ্যালগরিদমগুলি (বিশেষত আইআরডাব্লুএলএস এবং এনআর) কোনও নির্দিষ্ট স্থান থেকে শুরু করে 'আশেপাশে' দেখার জন্য কিছু দিকের দিকে অগ্রসর হচ্ছে 'ডাউনহিল' (অর্থাত্ ফিটকে উন্নত করা) গঠন করে কিনা তা দেখতে ঝোঁক। যদি তা হয়, তবে এটি সেই দিকের কিছুটা দূরত্বে পুনরায় ফিট হবে এবং যতক্ষণ না অনুমান / পূর্বাভাস দেওয়া উন্নতি কিছু প্রান্তিকের চেয়ে কম হয় repeat সুতরাং, বিশ্ব সর্বনিম্ন না পৌঁছানোর জন্য দুটি উপায় থাকতে পারে:

   1. বৈশ্বিক ন্যূনতম (সর্বাধিক) এর দিকে বর্তমান অবস্থান থেকে উত্থানের হার থ্রেশহোল্ডটি অতিক্রম করার পক্ষে খুব অগভীর এবং অ্যালগরিদম সমাধানের খুব কমই থামায়।
   2. বর্তমান অবস্থান এবং গ্লোবাল ন্যূনতম (সর্বাধিক) এর মধ্যে একটি স্থানীয় ন্যূনতম (সর্বাধিক) রয়েছে, যাতে এটি আলগোরিদমে প্রদর্শিত হয় যে আরও চলাচল আরও খারাপ ফিট হতে পারে ।

আপনার [ ২ ] সম্পর্কিত, সচেতন থাকুন যে স্থানীয় অনুসন্ধানের বিভিন্ন কৌশলতে বিভিন্ন প্রবণতা পেতে পারে। এমনকি একই কৌশলটি মাঝে মাঝে দুটি সমস্যার সমাধান করার জন্য কোনও ভিন্ন সূচনা বিন্দু থেকে অভিযোজিত করা বা শুরু করা যেতে পারে।

Comments

ধন্যবাদ গুং আরও একটি প্রশ্ন, আমরা অনুকূলকরণের সময় কীভাবে একটি ভাল সূচনা পয়েন্ট নির্বাচন করতে পারি?

— স্টেট

আমি জানি না যে অগত্যা একটি সেরা উপায় আছে। কখনও কখনও আপনাকে কয়েকটি ভিন্ন প্রারম্ভিক পয়েন্ট চেষ্টা করতে হবে, যদি তা রূপান্তর করতে ব্যর্থ হয় বা আপনি যদি বিশ্বব্যাপী সর্বনিম্ন ন্যূনতম অবস্থানের বিষয়ে নিশ্চিত না হন তবে। আমি মনে করি যে কোনও সাধারণ পদ্ধতিতে প্রোগ্রামগুলি একটি প্রাথমিক পয়েন্টটি বাছাই করে তা হল ওএলএসের অনুমানগুলি ব্যবহার করা, যদিও তা যথাযথ নয় এবং আপনি জানেন যে আপনাকে সেখান থেকে চলে যেতে হবে।

— গুং - মনিকা পুনরায়

Answer 2

আপনি ঠিক বলেছেন যে সাধারণভাবে, অন্যান্য সংখ্যাগত অপ্টিমাইজেশন পদ্ধতির মতো আইডাব্লুএলএস কেবল স্থানীয় সর্বাধিকের সাথে একত্রীকরণের গ্যারান্টি দিতে পারে, এমনকি যদি তারা একত্রিত হয়। এখানে একটি দুর্দান্ত উদাহরণ রয়েছে যেখানে আরম্ভ করে গ্ল্যাম () দ্বারা ব্যবহৃত অ্যালগরিদমের জন্য কনভার্জেন্স ডোমেনের বাইরে প্রারম্ভিক মানটি ছিল However তবে, এটি লক্ষ্য করার মতো যে নীতিগত লিঙ্কযুক্ত জিএলএমগুলির পক্ষে সম্ভাবনা অবতল, এখানে দেখুন । সুতরাং, যদি অ্যালগরিদম রূপান্তরিত হয়, এটি বৈশ্বিক মোডে রূপান্তরিত হবে!

স্লাইডে চিহ্নিত শেষ ইস্যুটি এমন একটি সমস্যা যেখানে প্যারামটারের জন্য এমএলই অনন্ত রয়েছে। লজিস্টিক রিগ্রেশনে এটি ঘটতে পারে যেখানে সম্পূর্ণ পৃথকীকরণ রয়েছে। এই জাতীয় ক্ষেত্রে, আপনি একটি সতর্কতা বার্তা পাবেন যে লাগানো সম্ভাবনাগুলি সংখ্যাগতভাবে 0 বা 1 হয় note এটি লক্ষণীয় গুরুত্বপূর্ণ যে এটি যখন ঘটে তখন অ্যালগরিদমটি মোডে রূপান্তরিত হয় নি, সুতরাং এটি অ্যালগরিদমের সাথে সম্পর্কিত নয় this একটি স্থানীয় সর্বাধিক আটকে।