আমি কীভাবে একটি কালো-বাক্স অ-লিনিয়ার মডেলটির পূর্বাভাসে বিভিন্ন ইনপুটগুলির গুরুত্ব কল্পনা করতে পারি?


9

আমার সংস্থায় করা পূর্বাভাসের সহায়তা হিসাবে আমি একটি ইন্টারেক্টিভ পূর্বাভাস সরঞ্জাম তৈরি করছি (পাইথনে)। আজ অবধি পূর্বাভাস প্রক্রিয়াটি মূলত মানব চালিত হয়েছে, পূর্বাভাসকারীরা তাদের প্রাকৃতিক নিউরাল নেটওয়ার্কগুলিতে ডেটা একত্রিত করে এবং তাদের শিখে থাকা অন্ত্রকে ভবিষ্যদ্বাণী করতে অনুভব করে। একটি দীর্ঘমেয়াদী পূর্বাভাস যাচাইকরণ এবং ভবিষ্যদ্বাণীপূর্ণ মডেলিং অধ্যয়ন থেকে আমি করেছি আপনি যা আশা করতে পারেন তা পেয়েছি; বিভিন্ন পূর্বাভাসকারী বিভিন্ন পক্ষপাতিত্ব প্রদর্শন করে, কিছু ভবিষ্যদ্বাণীকারীদের প্রভাব অত্যধিক বিবেচিত হয় এবং অন্যান্য গুরুত্বপূর্ণ বিষয়গুলিকে উপেক্ষা করা হয় বলে মনে হয় এবং সাধারণভাবে পূর্বাভাসের পারফরম্যান্স তুলনামূলকভাবে সহজ অভিজ্ঞতা সম্পন্ন মডেলের তুলনায় মাঝারি i

পূর্বাভাসগুলি ম্যানুয়াল হিসাবে অবিরত থাকবে, তবে আমি পূর্বাভাসীদের ভবিষ্যতবাণীকারীদের আপেক্ষিক প্রভাবগুলির আরও ভাল পরিমাণে সরবরাহ করার জন্য একটি দরকারী সরঞ্জাম তৈরি করার চেষ্টা করছি। Effectsতু প্রভাবের মতো গুরুত্বপূর্ণ প্রভাবগুলিও রয়েছে যা প্রায়শই উপেক্ষা করা হয় যে আমি এই সরঞ্জামটি ব্যবহারকারীর কাছে হাইলাইট করতে চাই। মডেলিং প্রক্রিয়া সম্পর্কে আরও কিছু 'অভিজ্ঞ' পূর্বাভাসীর (যাদের অনেকেরই পরিসংখ্যান সম্পর্কে সামান্য জ্ঞান নেই) থেকে মডেলিং প্রক্রিয়া সম্পর্কে কিছুটা প্রতিক্রিয়া এবং সংশয় প্রকাশের প্রত্যাশা করছি, সুতরাং যোগাযোগটি কমপক্ষে গুরুত্বপূর্ণ হিসাবে গুরুত্বপূর্ণ এবং মডেলটির পারফরম্যান্স নিজেই শর্তে পূর্বাভাস নির্ভুলতায় একটি পরিমাপযোগ্য উন্নতি অর্জন করা।

আমি যে মডেলগুলি বিকাশ করছি তাদের একটি শক্তিশালী অটো-রিগ্রসিটিভ উপাদান রয়েছে যা সময়ে সময়ে ইভেন্টগুলির দ্বারা উল্লেখযোগ্যভাবে সংশোধন করা হয় যা কিছু ভবিষ্যদ্বাণীকারীগুলিতে পরিমাপিত মান হিসাবে দেখা যায় যা অ ইভেন্ট ইভেন্ট সময়ে শূন্যের কাছাকাছি থাকে। এটি পূর্বাভাসকারীরা ব্যবহার করে এমন মানসিক মডেলটির সাথে সম্মতি দেয়। মূল অংশটি কোনও অনুষ্ঠানের পূর্বাভাসের জন্য স্বয়ংক্রিয়-প্রতিরোধক মান থেকে ভবিষ্যদ্বাণীটি চালিত করতে 'ইভেন্ট' পরিমাপগুলির মধ্যে সবচেয়ে প্রভাবশালী তা প্রমাণ করতে সক্ষম হচ্ছে। আমি প্রক্রিয়াটি এইভাবে ইমেজিং করছি; পূর্বাভাসক তাদের সর্বোত্তম অনুমানের মান ভাগ করে দেয়, মডেলটি আলাদা আলাদা প্রস্তাব দেয় এবং পূর্বাভাসক কেন তা জিজ্ঞাসা করেন। মডেলটি এমন কিছু উত্তর দেয় যেমন "এখানে দেখুন, এই পূর্বাভাসকের এই মান গ্রীষ্মে পূর্বাভাসের মান বাড়িয়ে দেয় Winter শীতকালীন হলে এটি অন্য উপায়ে সরবে I আমি জানি এই অন্যান্য পরিমাপ আছে,

এখন, ধারণা করুন মডেলটি ছিল একটি সাধারণ লিনিয়ার রিগ্রেশন। মডেল সহ-দক্ষতার দ্বারা মানকে গুণিত করে এবং একটি সাধারণ বার চার্ট হিসাবে প্রদর্শন করে ইভেন্ট ভিত্তিক পূর্বাভাসীদের আপেক্ষিক 'প্রভাব' প্রদর্শন করার কথা কেউ ভাবতে পারেন। বিভিন্ন পূর্বাভাসকরের সমস্ত বারগুলি এআর মান থেকে সম্পূর্ণ বিচ্যুতি যুক্ত করে এবং এটি দৃc়ভাবে এবং স্পষ্টতই একটি দৃ shows় প্রভাব রয়েছে এমন উদাহরণগুলি দেখায়।

সমস্যাটি হ'ল প্রক্রিয়াটি পূর্বাভাসকারীদের মধ্যে উচ্চতর ডিগ্রিহীনতা প্রদর্শন করে বা কমপক্ষে, জিএলএমগুলির চেয়ে ব্ল্যাক-বাক্স নন-লিনিয়ার মেশিন লার্নিং অ্যালগরিদম (এলোমেলো বন এবং জিবিএম) নিয়ে আমার অনেক বেশি সাফল্য হয়েছে for এই ডেটা সেট। আদর্শভাবে আমি ব্যবহারকারীর অভিজ্ঞতা পরিবর্তন না করেই 'হুডের নীচে' কাজ করে যাওয়া মডেলটি নির্বিঘ্নে পরিবর্তন করতে সক্ষম হতে চাই, তাই কিছু অ্যালগরিদমের নির্দিষ্ট পদ্ধতির ব্যবহার না করেই আমার সাধারণ ফ্যাশনে বিভিন্ন পরিমাপের গুরুত্ব প্রদর্শনের কিছু সাধারণ উপায় প্রয়োজন। আমার বর্তমান পদ্ধতিটি হবে একটি ভবিষ্যদ্বাণীকারী ব্যতীত সমস্ত মানকে শূন্যে নির্ধারণ করে প্রভাবগুলির পরিমাণ-লিনিয়ারীকরণ করা, ভবিষ্যদ্বাণী করা বিচ্যুতি রেকর্ড করুন এবং তারপরে সমস্ত বর্ণনাকারীদের জন্য পুনরাবৃত্তি করুন, উপরে বর্ণিত বার চার্টে ফলাফলগুলি প্রদর্শন করুন। শক্তিশালী অ-লাইনারিটির উপস্থিতিতে, এটি এত ভাল কাজ করতে পারে না।


1
আপনি কি শেষ করেছেন - আপনি একটি বা দুটি ছবি রাখতে পারেন? এছাড়াও, "একজন ভবিষ্যদ্বাণীকারী ব্যতীত সমস্ত মানকে শূন্যে নির্ধারণ করা" - আপনি কি বর্তমান 0 টির কাছাকাছি নয়, বর্তমান সেরা মানের কাছাকাছি গ্রেডিয়েন্ট চান না?
ডেনিস

উত্তর:


4

পূর্বাভাসের উপরে আপনি কীভাবে ভবিষ্যদ্বাণীমূলক প্রভাবের মূল্যায়ন করতে পারবেন তা হল ভবিষ্যদ্বাণীকারীদের প্রতি শ্রদ্ধার সাথে আউটপুটটির গ্রেডিয়েন্ট অনুমান করা। সীমাবদ্ধ পার্থক্যের দ্বারা প্রতিটি ভবিষ্যদ্বাণীকের প্রতি সম্মান সহ অ-লিনিয়ার পূর্বাভাস ফাংশনের আংশিক ডেরাইভেটিভগুলি অনুমান করে এটি করা যেতে পারে।

আদর্শভাবে আপনি বাস্তবে পর্যবেক্ষণ হওয়া পরীক্ষার ইনপুটগুলিতে এটি করবেন। উদাহরণস্বরূপ, আপনি পূর্ববর্তী 2 দিনের সমস্ত পরীক্ষার ইনপুটগুলিতে আনুমানিক গ্রেডিয়েন্টগুলির নিখুঁত মানগুলি গড়ে তুলতে পারেন। এই গড় গ্রেডিয়েন্টের তীব্রতা ভবিষ্যদ্বাণীকারীদের গুরুত্বকে বাছাই করতে ব্যবহার করা যেতে পারে। (জেড-স্কোরিং বা এই জাতীয় কোনও পদ্ধতি দ্বারা উপযুক্ত ইউনিটগুলি ব্যবহার করার জন্য আপনাকে গ্রেডিয়েন্ট অনুমানের সাথে সতর্কতা অবলম্বন করা উচিত)) তুলনামূলক বিশ্লেষণের জন্য আপনি এই আনুমানিক গ্রেডিয়েন্টগুলি মরসুমে সংরক্ষণ করতে পারেন।

ডেভিড বেহরেন্স এবং " স্বতন্ত্র শ্রেণিবদ্ধ সিদ্ধান্তের সিদ্ধান্তগুলি কীভাবে ব্যাখ্যা করবেন " দেখুন । অল। এই ধারণাটি সম্পর্কে আরও জানতে জেএমএলআরতে কাগজটি শ্রেণিবদ্ধকরণের সাথে সম্পর্কিত তবে সহজেই সাধারণভাবে সংমিশ্রণকে সাধারণীকরণ করে।


ওটা চমৎকার ছিল! একটি খুব দরকারী রেফারেন্স যা আমার এবং অন্য কোথাও এই সমস্যাটির জন্য সহায়ক হবে।
বোগদানোভিস্ট

2

আপনি কি পাইথনে সাইকিট-লার মডিউল চেষ্টা করেছেন ?

এর র‌্যান্ডমফোরস্টক্লাসিফায়ারের বৈশিষ্ট্যগুলির জন্য আপনি "কম্পিউটার_সংশ্লিষ্ট" করতে পারেন


1
প্রথমে আমি ভেবেছিলাম বৈশিষ্ট্যের গুরুত্ব গণনা করা সহায়ক হতে পারে তবে শেষ পর্যন্ত এটি তুলনামূলকভাবে দরিদ্র পদ্ধতির হয় যখন কোনও নির্দিষ্ট উদাহরণের জন্য পূর্বাভাসিত মানটি ব্যাখ্যা করে। বৈশিষ্ট্যটির গুরুত্ব মানব বিশেষজ্ঞদের কাছে কেবল অস্পষ্ট ইঙ্গিত সরবরাহ করে।
স্টেফেন

পাশাপাশি, ওপি একটি মডেল স্বাধীন পদ্ধতির জন্য জিজ্ঞাসা করেছিল ...
স্টিফেন

পরিবর্তনশীল গুরুত্বের ব্যবস্থাগুলির সমস্যা হ'ল এগুলি যে কোনও একটি বিশেষ ক্ষেত্রে আসলে কী গুরুত্বপূর্ণ ছিল তা বলার পরিবর্তে তারা গড়ে গড়ে পুরো ডেটাसेटকে প্রয়োগ করে।
বোগদানোভিস্ট

আসলে আমি মনে করি এটি একটি মডেল স্বতন্ত্র পন্থা, আপনি সম্ভবত এটি এলোমেলো বনগুলির তুলনায় অন্যান্য শ্রেণিবদ্ধদের জন্য প্রয়োগ করতে পারেন। ব্রেইম্যানের ওয়েবসাইটে আপনি কীভাবে একটি ক্ষেত্রে ক্ষেত্রে পরিবর্তনশীল গুরুত্ব গণনা করতে পারেন সে সম্পর্কে একটি সূক্ষ্ম মন্তব্য রয়েছে। stat.berkeley.edu/~breiman/RandomForests/cc_home.htm#varimp (শেষ বাক্য) আমি মনে করি এটি এখনও বিস্তৃতভাবে অধ্যয়ন করা হয়নি, বা কমপক্ষে বিস্তৃতভাবে পরীক্ষা করা হয়নি। গড় পরিবর্তনশীল গুরুত্ব সর্বদা আপনি যা চান তা তা নয়। উদাহরণস্বরূপ, আপনি যখন কোনও চিকিত্সককে একটি মামলার সিদ্ধান্ত নিতে সহায়তা করতে চান তখন তা হয় না। এটি একটি সত্যিই মজার বিষয়।
সাইমন

একটি আকর্ষণীয় কাগজ আছে যেখানে ব্রেইম লজিস্টিক রিগ্রেশন সম্পর্কেও এই পদ্ধতি সম্পর্কে কিছুটা আলোচনা করেছে: "পরিসংখ্যানের মডেলিং: দ্য দুটি সংস্কৃতি"। একটি দুর্দান্ত পড়া। আমার যে বাক্যটি সবচেয়ে বেশি পছন্দ হয়েছে তা হ'ল: "আমার পরিবর্তনশীল গুরুত্বের সংজ্ঞাটি পূর্বাভাসের উপর ভিত্তি করে A পরিবর্তনশীলটিকে মুছলে মুছে ফেলা গুরুত্বের সাথে ভবিষ্যদ্বাণীটির যথার্থতাকে প্রভাবিত করে important" এই বিবৃতিটি আপনি ব্যবহার করতে পারেন এমন কোনও শ্রেণিবদ্ধের জন্য প্রযোজ্য।
সাইমন
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.