সরল ইংরেজিতে নিয়মিতকরণ কী?

Question

অন্যান্য নিবন্ধগুলির মতো নয়, আমি এই বিষয়টির উইকিপিডিয়া এন্ট্রিটি অ গণিতবিহীন ব্যক্তির জন্য (আমার মতো) অপঠনযোগ্য দেখতে পেয়েছি।

আমি প্রাথমিক ধারণাটি বুঝতে পেরেছি, আপনি কম নিয়ম সহ মডেলদের পক্ষে favor আমি যা পাই না তা হ'ল আপনি কীভাবে নিয়মের একটি সেট থেকে 'নিয়মিতকরণ স্কোর'-এ যাবেন যা আপনি মডেলগুলিকে কমপক্ষে সর্বাধিক মানানসই থেকে সাজানোর জন্য ব্যবহার করতে পারেন।

আপনি কি একটি সাধারণ নিয়মিতকরণ পদ্ধতি বর্ণনা করতে পারেন?

আমি স্ট্যাটিস্টিকাল ট্রেডিং সিস্টেম বিশ্লেষণের প্রসঙ্গে আগ্রহী। যদি আপনি / আপনি কীভাবে নীচের দুটি ভবিষ্যদ্বাণীমূলক মডেল বিশ্লেষণ করতে নিয়মিতকরণ প্রয়োগ করতে পারি তা বর্ণনা করতে পারলে দুর্দান্ত হবে:

মডেল 1 - দাম যখন বাড়ছে:

• exp_moving_avg (দাম, সময়কাল = 50)> Exp_moving_avg (দাম, সময়কাল = 200)

মডেল 2 - যখন দাম বাড়ছে:

• দাম [এন] <দাম [এন -1] একটানা 10 বার
• exp_moving_avg (দাম, সময়কাল = 200) উপরে যাচ্ছে

তবে আপনি কীভাবে নিয়মিতকরণ করবেন তার অনুভূতি পেতে আমি আরও আগ্রহী। সুতরাং আপনি যদি এটির ব্যাখ্যা দেওয়ার জন্য আরও ভাল মডেল জানেন তবে দয়া করে এটি করুন।

Comments

একটি উদাহরণ হ'ল রিজ রিগ্রেশন, যা স্কোয়ার সহগের যোগফলের সাথে একটি বাউন্ডের সাথে ওএলএস হয়। এটি মডেলটিতে পক্ষপাতিত্ব প্রবর্তন করবে, তবে সহগের বৈচিত্রগুলি কমিয়ে আনবে, কখনও কখনও যথেষ্ট পরিমাণে। লাসো আরেকটি সম্পর্কিত পদ্ধতি, তবে সহগের আকারের উপর একটি এল 1 সীমাবদ্ধতা রাখে। এটির সহগগুলি বাদ দেওয়ার সুবিধা রয়েছে। এটি পি >> এন পরিস্থিতিগুলির জন্য দরকারী, একরকমভাবে অতিরিক্ত-ফিটিং এড়াতে (এবং সহগ বৈকল্পিকতা হ্রাস করতে) মডেলটিকে "সঙ্কুচিত করা" বোঝায় যা সাধারণত মডেলের ভবিষ্যদ্বাণীপূর্ণ কার্যকারিতা উন্নত করে।

— হারিবিস্ট

@ হেয়ারবিস্টকে উত্তর হিসাবে আপনার সুন্দর মন্তব্য করা উচিত। যদি সম্ভব হয় তবে একটি উদাহরণস্বরূপ উদাহরণ যুক্ত করার চেষ্টা করুন যাতে ওপি বুঝতে পারে যে এটি কীভাবে সমস্যাটিকে অনুবাদ করে।

— chl

@ হারিবিস্ট, তাই আমি কি বলতে পারি যে নিয়ামকরণ কেবল পক্ষপাত-বৈকল্পিক ট্রেড অফের ধারণাটি বাস্তবায়নের একটি পদ্ধতি ?

— অ্যাভোকাডো

আমি এই ভিডিওটি খুব সহায়ক বলে পেয়েছি, বিশেষত এলপি নিয়মিতকরণের বিভিন্ন রূপের দৃশ্যায়নে: youtube.com/watch?v=sO4ZirJh9ds

— আনম

নিয়মিতকরণ হ'ল মডেলটিতে ওভারফিটটি সম্বোধনের জন্য। সরল ইংরাজীতে এবং চাক্ষুষভাবে ব্যাখ্যা করার চেষ্টা করেছিল। অনুসরণ করছেন নিবন্ধ লিঙ্ক medium.com/@vamsi149/...

— solver149

Answer 1

সাধারণ কথায়, নিয়মিতকরণ মডেল জটিলতার পছন্দের স্তরের সুর বা নির্বাচন করা হয় যাতে আপনার মডেলগুলি পূর্বাভাস দেওয়ার (জেনারালাইজিং) আরও ভাল। আপনি যদি এটি না করেন তবে আপনার মডেলগুলি খুব জটিল এবং অতিরিক্ত পোশাক বা খুব সহজ এবং আন্ডারফিট হতে পারে, উভয় উপায়েই খারাপ অনুমান দেওয়া যায় না।

আপনি যদি কম-স্কোয়ারগুলি কোনও ছোট্ট প্রশিক্ষণের ডেটার একটি ছোট সেটটিতে একটি জটিল মডেল ফিট করেন তবে আপনি সম্ভবত তার চেয়ে বেশি উপকার পাবেন, এটি সবচেয়ে সাধারণ পরিস্থিতি। মডেলটির সর্বোত্তম জটিলতা আপনার মডেলিংয়ের প্রক্রিয়া এবং ডেটার গুণমানের উপর নির্ভর করে, সুতরাং কোনও মডেলের কোনও পূর্ব-পূর্ব সঠিক জটিলতা নেই।

নিয়মিত করতে আপনার 2 টি জিনিস প্রয়োজন:

1. আপনার মডেলগুলির পূর্বাভাসে কতটা ভাল তা পরীক্ষার একটি উপায়, উদাহরণস্বরূপ ক্রস-বৈধতা বা বৈধতা ডেটার সেট (আপনি এটির জন্য উপযুক্ত ত্রুটি ব্যবহার করতে পারবেন না )।
2. একটি টিউনিং প্যারামিটার যা আপনাকে মডেলের জটিলতা বা মসৃণতা বা ভিন্নতর জটিলতা / মসৃণতার মডেলগুলির একটি নির্বাচন পরিবর্তন করতে দেয়।

মূলত আপনি জটিলতার প্যারামিটারটি সামঞ্জস্য করুন (বা মডেল পরিবর্তন করুন) এবং সন্ধান করুন এমন মানটি যা সেরা মডেলের পূর্বাভাস দেয়।

নোট করুন যে অনুকূলিত নিয়মিতকরণ ত্রুটি সামগ্রিক পূর্বাভাস ত্রুটির একটি সঠিক অনুমান হবে না তাই নিয়মিতকরণের পরে অবশেষে আপনাকে একটি অতিরিক্ত বৈধতা ডেটাসেট ব্যবহার করতে হবে বা একটি পক্ষপাতহীন পূর্বাভাস ত্রুটি পেতে কিছু অতিরিক্ত পরিসংখ্যান বিশ্লেষণ করতে হবে।

(ক্রস-) বৈধতা পরীক্ষার ব্যবহারের বিকল্প হ'ল বেইসিয়ান প্রাইরস বা অন্যান্য পদ্ধতিগুলি জটিলতা বা অ-মসৃণতার দণ্ড দেওয়ার জন্য ব্যবহার করা, তবে এগুলির জন্য আরও পরিসংখ্যানগত পরিশীলতা এবং সমস্যা এবং মডেল বৈশিষ্ট্যগুলির জ্ঞান প্রয়োজন।

Comments

আমার কাছ থেকে +1 আমি পছন্দ করি যে উত্তরটি শুরুতে শুরু হচ্ছে এবং এত সহজে বোঝা যায় ...

— অ্যান্ড্রু

নিয়মিতকরণ কি সত্যই কখনও আন্ডারফিটিং হ্রাস করতে ব্যবহৃত হয়? আমার অভিজ্ঞতায় জটিলতা / সংবেদনশীলতা কমাতে জটিল / সংবেদনশীল মডেলের উপর নিয়মিতকরণ প্রয়োগ করা হয়, তবে জটিলতা / সংবেদনশীলতা বাড়ানোর জন্য কোনও সহজ / সংবেদনশীল মডেল কখনও নয়।

— রিচার্ড হার্ডি

এই উত্তরটি এখন বেশ পুরানো, তবে আমি ধরে নিয়েছি টবি যা উল্লেখ করছিল তা হ'ল নিয়মিতকরণ হ'ল ডেটা পরিমাণের ভিত্তিতে উপযুক্ত জটিলতার একটি মডেল ফিট করার মূলত উপায়; খুব কম প্যারামিটার (বা ভুলগুলি) সহ একটি মডেল নির্বাচন করা এবং খুব জটিল এবং অত্যধিক পোশাকের মডেল নির্বাচন করা উভয়েরই বিকল্প।

— ব্রায়ান ক্রাউস

Answer 2

ধরা যাক আপনি অভিজ্ঞতাজনিত ঝুঁকি হ্রাসের মাধ্যমে শিক্ষণ সম্পাদন করেন।

আরো স্পষ্ট করে:

• $L(\text{actual value},\text{ predicted value})$
• আপনি আপনার মডেলটিকে এমনভাবে ফিট করতে চান যাতে তার ভবিষ্যদ্বাণীগুলি ক্ষতির কার্যকারিতাটির পরিমাণ হ্রাস করে, কেবলমাত্র প্রশিক্ষণের ডেটাতে গণনা করা (কেবলমাত্র আপনার কাছে থাকা ডেটা)

$\text{Model} = \text{argmin} \sum L(\text{actual}, \text{predicted}(\text{Model}))$

তবে যদি আপনি পর্যাপ্ত ডেটা না পেয়ে থাকেন এবং আপনার মডেলটিতে প্রচুর পরিমাণে ভেরিয়েবল রয়েছে, তবে এমন একটি মডেল খুঁজে পাওয়া খুব সম্ভাবনাময় যা কেবল নিদর্শনগুলিকেই ব্যাখ্যা করে না তবে আপনার ডেটাতে এলোমেলো গোলমাল ব্যাখ্যা করে। এই প্রভাবটিকে ওভারফিটিং বলা হয় এবং এটি আপনার মডেলের সাধারণীকরণের ক্ষমতাকে অবক্ষয় করে।

$\text{Model} = \text{argmin} \sum L(\text{actual}, \text{predicted}(\text{Model})) + \lambda R(\text{Model})$

$R(\text{Model})$$R$$R$$R$

$R$$\bar a$

Answer 3

সহজ কথায় বলতে গেলে, নিয়মিতকরণ হ'ল আপনি যে সমাধানগুলি পাবেন বলে আশা করছেন সেগুলি লাভবান করা। যেমন আপনি উল্লেখ করেছেন, উদাহরণস্বরূপ আপনি কিছু সরলতার সংজ্ঞায়নের জন্য "সহজ" সমাধানগুলি উপকৃত করতে পারেন। যদি আপনার সমস্যার নিয়ম থাকে তবে একটি সংজ্ঞা কম নিয়ম হতে পারে। তবে এটি সমস্যা-নির্ভর।

আপনি যদিও সঠিক প্রশ্ন জিজ্ঞাসা করছেন। সমর্থন ভেক্টর মেশিনগুলির উদাহরণস্বরূপ, এই "সরলতা "টি" সর্বাধিক মার্জিন "এর দিকের বন্ধনগুলি ভেঙে আসে। এই মার্জিন এমন একটি বিষয় যা সমস্যার ক্ষেত্রে স্পষ্টভাবে সংজ্ঞায়িত করা যেতে পারে। উইকিপিডিয়ায় এসভিএম নিবন্ধে খুব ভাল জ্যামিতিক ডেরাইভেশন রয়েছে । দেখা যাচ্ছে যে নিয়মিতকরণ শব্দটি কমপক্ষে SVM- এর "সিক্রেট সস"।

আপনি কীভাবে নিয়ন্ত্রণ করবেন? সাধারণভাবে এটি আপনি যে পদ্ধতিটি ব্যবহার করেন সেটির সাথে আসে, আপনি যদি এসভিএম ব্যবহার করেন আপনি এল 2 নিয়মিতকরণ করছেন, যদি আপনার ল্যাসো ব্যবহার করে আপনি এল 1 নিয়মিতকরণ করছেন (দেখুন চুলচেরা কী বলছে)। তবে, আপনি যদি নিজের পদ্ধতিটি বিকাশ করছেন তবে আপনার অ-পছন্দসই সমাধানগুলি থেকে কীভাবে পছন্দনীয় সমাধানগুলি বলতে হয় তা জানতে হবে এবং এটির পরিমানকে একটি ফাংশন রাখতে হবে। শেষ পর্যন্ত আপনার একটি ব্যয় এবং একটি নিয়মিত মেয়াদ থাকবে এবং আপনি উভয়ের যোগফলকে অনুকূল করতে চান।

Answer 4

নিয়মিতকরণ কৌশলগুলি এমন কৌশল যা মেশিন লার্নিং মডেলগুলিতে প্রয়োগ করা হয় যা সিদ্ধান্তের সীমানা / লাগানো মডেলকে মসৃণ করে তোলে। এই কৌশলগুলি ওভারফিটিং প্রতিরোধে সহায়তা করে।

$C$

Answer 5

সহজ পরিভাষায়, নিয়মিতকরণ হ'ল প্রশিক্ষণ যখন মেশিন লার্নিং অ্যালগরিদমগুলিকে অতিরিক্ত ফিট করে না এড়ানোর কৌশল। আপনার যদি পর্যাপ্ত ফ্রি প্যারামিটার সহ অ্যালগরিদম থাকে তবে আপনি আপনার নমুনাটি খুব বিশদভাবে বিভক্ত করতে পারেন, তবে নমুনার বাইরে আসা উদাহরণগুলি এই বিশদ বিবরণটিকে অনুসরণ করতে পারে না কারণ এটি সত্য ট্রেন্ডের পরিবর্তে নমুনায় কেবল শব্দ বা র্যান্ডম অনিয়মকে ক্যাপচার করেছে।

মডেলটিতে পরামিতিগুলির নিখুঁত মান সীমাবদ্ধ করে ওভার-ফিটিং এড়ানো হয় model এটি ব্যয় কার্যক্রমে একটি পদ যুক্ত করে মডেল পরামিতিগুলির দৈর্ঘ্যের উপর ভিত্তি করে একটি জরিমানা আরোপের মাধ্যমে করা যেতে পারে। যদি এলটি-র নিয়মটিতে মাত্রাটি পরিমাপ করা হয় তবে এটিকে "এল 1 রেগুলেশনাইজেশন" (এবং সাধারণত বিচ্ছুর মডেলগুলির ফলস্বরূপ) বলা হয়, যদি এটি এল 2 নিয়মে পরিমাপ করা হয় তবে এটিকে "এল 2 নিয়মিতকরণ" বলা হয়, ইত্যাদি।