মেশিন লার্নিংয়ে অপ্টিমাইজেশনের লক্ষ্য হিসাবে পিয়ারসনের পারস্পরিক সম্পর্ক সহগ ব্যবহার করুন

Question

মেশিন লার্নিংয়ে (রিগ্রেশন সমস্যার জন্য), আমি প্রায়শই দেখি গড়-স্কোয়ার্ড-ত্রুটি (এমএসই) বা গড়-পরম-ত্রুটি (এমএই) ত্রুটি ফাংশন হিসাবে ব্যবহার করা হচ্ছে হ্রাস করতে (আরও নিয়মিতকরণের মেয়াদ)। আমি ভাবছি যদি এমন পরিস্থিতি রয়েছে যেখানে পারস্পরিক সম্পর্ক সহগ ব্যবহার করা আরও উপযুক্ত হবে? যদি এইরকম পরিস্থিতি বিদ্যমান থাকে তবে:

1. কোন পরিস্থিতিতে এমএসই / এমএইয়ের তুলনায় পারস্পরিক সম্পর্ক সহগ আরও ভাল মেট্রিক?
2. এই পরিস্থিতিতে, এমএসই / এমএই এখনও ব্যবহার করার জন্য একটি ভাল প্রক্সি ব্যয় ফাংশন?
3. সর্বাধিক সহাবস্থান সহগ সরাসরি সম্ভব? এটি ব্যবহার করার জন্য কি কোনও স্থিতিশীল উদ্দেশ্যমূলক ফাংশন?

অপ্টিমাইজেশনে উদ্দেশ্যমূলক ফাংশন হিসাবে সরাসরি সম্পর্কযুক্ত সহগ ব্যবহার করা হয় এমন ক্ষেত্রে আমি সন্ধান করতে পারি না। লোকেরা যদি আমাকে এই অঞ্চলের তথ্যগুলিতে নির্দেশ করতে পারে তবে আমি প্রশংসা করব।

Answer 1

আউটপুট অত্যন্ত গোলমাল হলে সর্বাধিক সম্পর্ক কার্যকর হয় corre অন্য কথায়, ইনপুট এবং আউটপুটগুলির মধ্যে সম্পর্ক খুব দুর্বল। এই ক্ষেত্রে, এমএসই কমিয়ে আউটপুট শূন্যের কাছাকাছি রাখার প্রবণতা তৈরি করবে যাতে ভবিষ্যদ্বাণী ত্রুটিটি প্রশিক্ষণের আউটপুটটির বৈকল্পিকের সমান হয়।

গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতির জন্য অবজেক্টিভ ফাংশন হিসাবে সরাসরি পারস্পরিক সম্পর্ক ব্যবহার করা সম্ভব (কেবল এটি বিয়োগ সংযোগকে ছোট করে পরিবর্তন করুন)। তবে, এসজিডি পদ্ধতির সাথে এটি কীভাবে অনুকূল করা যায় তা আমি জানি না, কারণ ব্যয়ের কাজ এবং গ্রেডিয়েন্টে সমস্ত প্রশিক্ষণের নমুনাগুলির আউটপুট জড়িত।

সর্বাধিক সম্পর্ক স্থাপনের আর একটি উপায় হ'ল এমএসইকে আউটপুট বৈকল্পিককে প্রশিক্ষণের আউটপুট বৈকল্পিকের মতো হওয়াতে সীমাবদ্ধ করা im যাইহোক, সীমাবদ্ধতায় সমস্ত আউটপুট জড়িত রয়েছে সুতরাং এসজিডি অপ্টিমাইজারের সুবিধা নেওয়ার কোনও উপায় নেই (আমার মতে)।

সম্পাদনা: নিউরাল নেটওয়ার্কের শীর্ষ স্তরটি যদি একটি লিনিয়ার আউটপুট স্তর হয় তবে আমরা এমএসই হ্রাস করতে পারি এবং তারপরে সম্পর্কটি সর্বাধিকতর করতে লিনিয়ার স্তরটিতে ওজন এবং পক্ষপাত সমন্বয় করতে পারি। সামঞ্জস্যটি সিসিএর মতো একইভাবে করা যেতে পারে ( https://en.wikedia.org/wiki/Canonical_analysis )।

Answer 2

আমরা আমাদের গবেষণায় পিয়ারসনের পারস্পরিক সম্পর্ক ব্যবহার করি এবং এটি ভালভাবে কাজ করে। আমাদের ক্ষেত্রে এটি বেশ স্থিতিশীল। যেহেতু এটি একটি অনুবাদ এবং স্কেল অদম্য পরিমাপ তাই এটি কেবলমাত্র কার্যকর যদি আপনি আকৃতির পূর্বাভাস দিতে চান তবে সুনির্দিষ্ট মানগুলি নয়। সুতরাং, এটি কার্যকর যদি আপনি না জেনে থাকেন যে আপনার টার্গেটটি আপনার মডেলটির সমাধান স্থানটিতে রয়েছে এবং আপনি কেবল আকৃতিতে আগ্রহী। বিপরীতে, এমএসই ভবিষ্যদ্বাণী এবং লক্ষ্যগুলির মধ্যে গড় দূরত্ব হ্রাস করে, তাই এটি যতটা সম্ভব ডেটা ফিট করার চেষ্টা করে। এমএসই বেশি বিস্তৃতভাবে ব্যবহৃত হওয়ার কারণ সম্ভবত আপনি সুনির্দিষ্ট মানগুলির পূর্বাভাস দিতে আগ্রহী। আপনি যদি এমএসইকে ন্যূনতম করেন তবে পারস্পরিক সম্পর্ক আরও বাড়বে।