রিগ্রেশন ফলাফলগুলি অপ্রত্যাশিত উপরের আবদ্ধ থাকে

Question

আমি ব্যালেন্স স্কোরের পূর্বাভাস দেওয়ার চেষ্টা করি এবং বিভিন্ন রিগ্রেশন পদ্ধতির চেষ্টা করেছি। একটি জিনিস আমি লক্ষ্য করেছি যে পূর্বাভাসিত মানগুলি একরকম উপরের আবদ্ধ থাকে। যে, আসল ভারসাম্য হয়$[0.0, 1.0)$, তবে আমার পূর্বাভাসগুলি প্রায় উপরে । নিম্নলিখিত প্লটটি আসল বনাম বনাম পূর্বাভাস ভারসাম্য দেখায় (লিনিয়ার রিগ্রেশন সহ ভবিষ্যদ্বাণী করা):$0.8$

এবং এখানে একই তথ্যের দুটি বিতরণ প্লট রয়েছে:

যেহেতু আমার ভবিষ্যদ্বাণীকারীরা খুব স্কিউড (পাওয়ার আইন বিতরণের ব্যবহারকারীর ডেটা), তাই আমি একটি বাক্স-কক্স রূপান্তর প্রয়োগ করেছি, যা ফলাফলকে নিম্নলিখিতটিতে পরিবর্তন করে:

যদিও এটি পূর্বাভাসগুলির বিতরণকে পরিবর্তন করে, এখনও এটি উপরের সীমাবদ্ধ রয়েছে। সুতরাং আমার প্রশ্নগুলি হ'ল:

• পূর্বাভাসের ফলাফলগুলিতে এ জাতীয় উপরের সীমাগুলির সম্ভাব্য কারণগুলি কী কী?
• প্রকৃত মানগুলির বন্টনের সাথে সামঞ্জস্য করার জন্য আমি কীভাবে ভবিষ্যদ্বাণীগুলি ঠিক করতে পারি?

বোনাস: যেহেতু বক্স-কক্স রূপান্তরের পরে বিতরণটি রূপান্তরিত ভবিষ্যদ্বাণীদের বিতরণ অনুসরণ করে বলে মনে হচ্ছে, এটি কি সরাসরি যুক্ত হওয়া সম্ভব? যদি তা হয়, তবে বাস্তবের মূল্যবোধগুলিতে বিতরণটি ফিট করার জন্য, আমি কি এমন কোনও রূপান্তর প্রয়োগ করতে পারি?

সম্পাদনা: আমি 5 ভবিষ্যদ্বাণী নিয়ে একটি সাধারণ লিনিয়ার রিগ্রেশন ব্যবহার করেছি।

Comments

আমি কোথায় তা দেখতে সত্যিই আগ্রহী। এটি কি একটি লিনিয়ার রিগ্রেশন মডেল? কত ভবিষ্যদ্বাণী?

— শ্যাডটলকার

পার্শ্ব নোট হিসাবে: আপনার ফলাফল পরিবর্তনশীল 0 এবং 1 দ্বারা সীমাবদ্ধ, একটি সাধারণ লিনিয়ার রিগ্রেশন মডেল সম্ভবত সেই সীমানার বাইরে মানগুলি অবশ্যই পূর্বাভাস দেয় যা অবশ্যই অবৈধ। এই ক্ষেত্রে বিবেচনা করার জন্য অন্যান্য বিকল্প রয়েছে ।

— COOLSerdash

বাউন্ডেড ইনপুট বোঝায় একটি রৈখিক মডেলের সীমিত আউটপুট। (রূপান্তরিত) ভবিষ্যদ্বাণীকারীদের সীমা কী? আপনি আমাদের মডেল ফিট একটি সারসংক্ষেপ টেবিল প্রদর্শন করতে পারেন?

— কার্ডিনাল

মেন্নি: আপনার যা যা করা দরকার তা হ'ল পূর্বাভাসীদের সহগ মান এবং সীমা। একের পর এক লক্ষণের সাথে মিলে আপনি দ্রুত ন্যূনতম এবং সর্বাধিক পূর্বাভাস নির্ধারণ করতে পারেন (ধরে নিলেন ভবিষ্যদ্বাণীকারীরা সর্বদা সীমাবদ্ধ করে দেবেন, স্পষ্টভাবে বা স্পষ্টভাবে)।

— কার্ডিনাল

@ কার্ডিনাল: আমি ভবিষ্যদ্বাণীকারীদের সীমা পরীক্ষা করেছিলাম এবং আপনার অনুমানের বিষয়টি নিশ্চিত করতে সক্ষম হয়েছি। প্রদত্ত (অপরিবর্তিত) ভবিষ্যদ্বাণীকারীদের সাথে সর্বাধিক পূর্বাভাস ~ 0.79। আপনি দয়া করে একটি উত্তর হিসাবে আপনার মন্তব্য "অনুলিপি / পেস্ট" করতে পারেন যাতে আমি এটি গ্রহণ করতে পারি? আমি কীভাবে এগিয়ে যেতে পারি? আমি অনুমান করি যে এটি দেখায় যে আমার ভবিষ্যদ্বাণীকারী এবং ফলাফলের মধ্যে কোনও লিনিয়ার সম্পর্ক নেই?

— Mennny

Answer 1

আপনার ডিপ ভার 0 এবং 1 এর মধ্যে সীমাবদ্ধ এবং সুতরাং ওএলএস সম্পূর্ণরূপে উপযুক্ত নয়, আমি উদাহরণস্বরূপ বিটা রিগ্রেশনটির পরামর্শ দিচ্ছি এবং অন্যান্য পদ্ধতিও থাকতে পারে। তবে দ্বিতীয়ত, আপনার বাক্স-কক্স রূপান্তরের পরে, আপনি বলেছিলেন যে আপনার পূর্বাভাস সীমাবদ্ধ তবে আপনার গ্রাফটি এটি প্রদর্শন করে না।

Answer 2

যদিও 0/1 এর সীমা মেনে চলে এমন রিগ্রেশনগুলি ব্যবহার করার বিষয়ে প্রচুর ফোকাস রয়েছে এবং এটি যুক্তিসঙ্গত (এবং গুরুত্বপূর্ণ!), আপনার এলপিএম কেন 0.8 এর বেশি ফলাফলের পূর্বাভাস দেয় না তার নির্দিষ্ট প্রশ্ন আমাকে কিছুটা আলাদা প্রশ্ন হিসাবে আঘাত করে strikes ।

উভয় ক্ষেত্রেই, আপনার অবশিষ্টাংশগুলিতে একটি উল্লেখযোগ্য প্যাটার্ন রয়েছে, যথা, আপনার লিনিয়ার মডেল আপনার বিতরণের উপরের লেজটি খারাপভাবে ফিট করে। এর অর্থ সঠিক মডেল সম্পর্কে অ-লাইনারের কিছু আছে।

এমন সমাধানগুলি যা আপনার ডেটা 0/1 এর সীমানাকেও বিবেচনা করে: প্রবিট, লগইট এবং বিটা রিগ্রেশন। আপনার আবশ্যকভাবে 1 টি বিতরণের তুলনায় আপনার কাজটি কঠোর হওয়ার জন্য এই সীমাটি সমালোচনা করতে হবে এবং এই বিষয়টিতে উত্তরের সংখ্যক উত্তর দেওয়া উচিত।

সাধারণত, যদিও সমস্যাটি হ'ল একটি এলপিএম 0/1 সীমা ছাড়িয়ে যায়। এখানে হয় না! আপনি যদি 0/1 বাউন্ডের সাথে উদ্বিগ্ন না হন এবং সক্রিয়ভাবে এমন কোনও সমাধান চান যা (x'x) ted - 1 (x'y) দিয়ে লাগানো যায়, তবে বিবেচনা করুন যে সম্ভবত মডেলটি স্পষ্টভাবে রৈখিক নয়। মডেলটিকে x ^ 2 এর ফাংশন হিসাবে ফিট করা, স্বাধীন ভেরিয়েবলের ক্রস পণ্যগুলি বা স্বতন্ত্র ভেরিয়েবলের লগগুলি আপনার ফিটকে উন্নত করতে এবং সম্ভবত আপনার মডেলের ব্যাখ্যামূলক শক্তি উন্নত করতে সহায়তা করতে পারে যাতে এটি ০.৮ এর চেয়ে বেশি মানের মূল্যায়ন করে।