নিয়মকানুন এবং নিয়ন্ত্রণ কী কী?

Question

আমি মেশিন লার্নিং অধ্যয়ন করার সাথে সাথে এই শব্দগুলি আরও বেশি শুনছি। আসলে, কিছু লোক সমীকরণের নিয়মিততায় কাজ করে ফিল্ডস পদক জিতেছে। সুতরাং, আমি অনুমান করি যে এটি এমন একটি পদ যা পরিসংখ্যান পদার্থবিজ্ঞান / গণিত থেকে শুরু করে মেশিন লার্নিংয়ের দিকে নিয়ে যায়। স্বাভাবিকভাবেই, বেশিরভাগ লোককে আমি জিজ্ঞাসা করেছি স্বজ্ঞাতভাবে এটি ব্যাখ্যা করতে পারছি না।

আমি জানি যে নিয়ন্ত্রণগুলি ড্রপআউটকে নিয়মিতকরণে সহায়তা করে (=> তারা বলে যে এটি ওভারফিটিং হ্রাস করে, তবে এটি আসলে কী তা আমি পাই না: যদি এটি কেবলমাত্র ওভারফিটিংকে হ্রাস করে, তবে কেন কেবল এন্টি-ওভারফিটিং পদ্ধতিগুলি বলবেন না => অবশ্যই থাকতে হবে) আমি আরও কিছু মনে করি, তাই এই প্রশ্ন)।

আমি যদি সত্যিই কৃতজ্ঞ হব (আমি অনুভব করি যে নিষ্পাপ এমএল সম্প্রদায়টি খুব বেশি হবে!) আপনি যদি ব্যাখ্যা করতে পারেন:

1. আপনি নিয়মিততা কিভাবে সংজ্ঞায়িত করবেন? নিয়মিততা কী?

2. নিয়মিতকরণ কি নিয়মিততা নিশ্চিত করার উপায়? মানে নিয়মিত ক্যাপচারিং?

3. কেন ড্রপআউট, নরমালাইজেশন পদ্ধতিগুলিকে একত্রিত করার পদ্ধতিগুলি দাবি করে যে নিয়মিতকরণ হচ্ছে?

4. এগুলি (নিয়মিততা / নিয়মিতকরণ) কেন মেশিন লার্নিংয়ে আসে?

আপনার সাহায্যের জন্য অসংখ্য ধন্যবাদ.

Answer 1

নিয়মিতকরণ প্রায় সমস্ত মেশিন লার্নিং অ্যালগরিদমগুলিতে নিযুক্ত করা হয় যেখানে আমরা প্রশিক্ষণের ডেটার সীমাবদ্ধ নমুনাগুলি থেকে শিখতে চাইছি।

আমি নিয়মিতকরণের ধারণার জেনেসিস ব্যাখ্যা করে অপ্রত্যক্ষভাবে আপনার নির্দিষ্ট প্রশ্নের উত্তর দেওয়ার চেষ্টা করব। সম্পূর্ণ তত্ত্বটি আরও বিশদযুক্ত এবং এই ব্যাখ্যাটি সম্পূর্ণরূপে ব্যাখ্যা করা উচিত নয়, তবে এর উদ্দেশ্য কেবল আপনাকে আরও অনুসন্ধানের জন্য সঠিক দিকে নির্দেশ করা। যেহেতু আপনার প্রাথমিক উদ্দেশ্যটি নিয়মিতকরণের একটি স্বজ্ঞাত জ্ঞান পাওয়া, তাই আমি সাইমন হেইকিনের তৃতীয় সংস্করণ "নিউরাল নেটওয়ার্কস এবং লার্নিং মেশিনস" এর অধ্যায় 7 থেকে নিম্নলিখিত ব্যাখ্যাটি সংক্ষিপ্ত করে এবং ভারীভাবে সরল করেছি (এবং এটি করার সময় বেশ কয়েকটি বিবরণ বাদ দিয়েছি)।

স্বাধীন ভেরিয়েবল সঙ্গে তত্বাবধান শেখার সমস্যা পরিদর্শন দেয় এবং নির্ভরশীল পরিবর্তনশীল একটি ফাংশন খুঁজে বের করার চেষ্টা যেমন যে সক্ষম হবে একটি আউটপুট ওয়াই ইনপুট এক্স "মানচিত্র"y i$x_i$$y_i$$f$

এটিকে আরও সামনে ধরতে, হাদামার্দের একটি "ভাল-পোজড" সমস্যাটির পরিভাষাটি বুঝতে পারি - যদি সমস্যাটি নিম্নলিখিত তিনটি শর্ত পূরণ করে তবে তা বেশ ভালভাবে উত্থাপিত হবে:

1. প্রতিটি ইনপুট , এবং আউটপুট বিদ্যমান।y $x_i$$y_i$
2. একজোড়া ইনপুট এবং , যদি এবং কেবলমাত্র ।x 2 f ( x 1 ) = f ( x 2 ) x 1 = x $x_1$$x_2$$f(x_1) = f(x_2)$$x_1 = x_2$
3. ম্যাপিং অবিচ্ছিন্ন (স্থায়িত্বের মানদণ্ড)$f$

তত্ত্বাবধানে শিক্ষার জন্য, এই শর্তগুলি লঙ্ঘন করা হতে পারে:

1. প্রদত্ত ইনপুটটির জন্য একটি স্বতন্ত্র আউটপুট উপস্থিত থাকতে পারে।
2. একটি অনন্য ইনপুট-আউটপুট ম্যাপিং তৈরি করার জন্য প্রশিক্ষণের নমুনাগুলিতে পর্যাপ্ত তথ্য নাও থাকতে পারে (যেহেতু বিভিন্ন প্রশিক্ষণের নমুনাগুলির উপর শিখার অ্যালগরিদমটি বিভিন্ন ম্যাপিংয়ের ফলস্বরূপ কার্যকর হয়)।
3. ডেটাতে গোলমাল পুনর্নির্মাণ প্রক্রিয়াটিতে অনিশ্চয়তা যুক্ত করে যা এর স্থায়িত্বকে প্রভাবিত করতে পারে।

এই জাতীয় "অসুস্থ" সমস্যা সমাধানের জন্য, টিখোনভ একটি স্থিতিশীলকরণের জন্য একটি নন-নেগেটিভ ফাংশনাল যা সমাধান সম্পর্কে পূর্বের তথ্য এম্বেড করে সমাধানকে স্থিতিশীল করার প্রস্তাব করেছিলেন।

পূর্ববর্তী তথ্যের সর্বাধিক সাধারণ রূপটি এই ধারণাটি জড়িত থাকে যে ইনপুট-আউটপুট ম্যাপিং ফাংশনটি মসৃণ - যেমন অনুরূপ ইনপুটগুলি অনুরূপ আউটপুট উত্পাদন করে।

$\lambda$$f$$\lambda$$\infty$$\infty$

$\lambda$

এ জাতীয় নিয়মিত ব্যয় সম্পর্কিত কয়েকটি উদাহরণ হ'ল:

লিনিয়ার রিগ্রেশন:

$J(\theta) = \frac 1m \sum_{i=1}^m [ h_\theta(x^i) - y^i]^2 + \frac \lambda{2m} \sum_{j=1}^n \theta_j^2$

পণ্য সরবরাহ সংশ্লেষণ:

$J(\theta) = \frac 1m \sum_{i=1}^m [ -y^i log(h_\theta(x^i)) - (1-y^i)log(1 - h_\theta(x^i))] + \frac \lambda{2m} \sum_{j=1}^n \theta_j^2$

$\theta$$x$$h_\theta(x)$$y$

$L_2$

নিয়মিতকরণ প্রয়োগের নেট ইফেক্টটি হ'ল মডেল জটিলতা হ্রাস করা যা ওভার-ফিটিং হ্রাস করে। নিয়মিতকরণের অন্যান্য পদ্ধতির (উপরের উদাহরণগুলিতে তালিকাভুক্ত নয়) কাঠামোগত মডেলগুলিতে সংশোধন / শ্রেণিবদ্ধকরণ গাছ, বৃক্ষবৃদ্ধি বৃদ্ধি ইত্যাদি সহজ গাছ তৈরির জন্য নোড ফেলে রেখে অন্তর্ভুক্ত। স্নায়বিক নেটওয়ার্কে নিউরনের মধ্যে সংযোগ বাদ দিয়ে এটি সম্প্রতি তথাকথিত "গভীর শেখার" ক্ষেত্রে প্রয়োগ করা হয়েছে।

কিউ specific এর একটি নির্দিষ্ট উত্তর হ'ল র‌্যান্ডম ফরেস্টের মতো কিছু সংযোজন পদ্ধতি (বা অনুরূপ ভোটদানের পরিকল্পনাগুলি) তাদের সহজাত পদ্ধতির কারণে নিয়মিতকরণ অর্জন করে, অর্থাত্ নিয়ন্ত্রিত গাছের সংগ্রহ থেকে ভোটদান এবং প্রতিক্রিয়া নির্বাচন করে। স্বতন্ত্র গাছগুলি অত্যধিক উপযোগী হলেও, তাদের ফলাফল "গড়পড়তা" করার প্রক্রিয়াটি প্রশিক্ষণ সংস্থায় অধিষ্ঠিত হওয়া থেকে বন্ধককে থামিয়ে দেয়।

সম্পাদনা করুন:

নিয়মিততার ধারণাটি অ্যাক্সিয়োমেটিক সেট তত্ত্বের অন্তর্গত, আপনি পয়েন্টারগুলির জন্য এই নিবন্ধটি উল্লেখ করতে পারেন - en.wikedia.org/wiki/Axiom_of_regularity এবং আপনি বিশদ সম্পর্কে আগ্রহী হলে এই বিষয়টিকে আরও অন্বেষণ করতে পারেন।

নিউরাল নেটগুলির জন্য নিয়মিতকরণে: ব্যাক-প্রসারণ অ্যালগরিদম চালানোর সময় ওজনগুলি সামঞ্জস্য করার সময়, নিয়মিতকরণ শব্দটি ব্যয় কার্যক্রমে লিনিয়ার এবং লজিস্টিক রিগ্রেশন সম্পর্কিত উদাহরণ হিসাবে একইভাবে যুক্ত করা হয়। সুতরাং নিয়মিতকরণের মেয়াদ যুক্ত করে পশ্চাৎ প্রচারকে বৈশ্বিক মিনিমে পৌঁছানো বন্ধ করে দেয়।

নিউরাল নেটওয়ার্কগুলির জন্য ব্যাচের সাধারণকরণ বর্ণনা করার নিবন্ধটি হ'ল: ব্যাচ নরমালাইজেশন: অভ্যন্তরীণ কোভারিয়েট শিফট, আইওফএফ, সিজেদি, 2015 হ্রাস করে ডিপ নেটওয়ার্ক প্রশিক্ষণ ত্বরান্বিত করা। এটি জানা গেছে যে ইনপুট ভেরিয়েবলগুলি স্বাভাবিক করা হলে নিউরাল নেটওয়ার্ককে প্রশিক্ষণ দেওয়ার জন্য ব্যাকপ্রপ্যাগেশন আরও ভাল কাজ করে। এই কাগজে, লেখকরা নিউরাল নেটওয়ার্কের অনেক স্তরকে প্রশিক্ষণ দেওয়ার সময় "বিলুপ্ত গ্রেডিয়েন্টস" এর সমস্যাটি এড়াতে স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত প্রতিটি মিনি-ব্যাচে সাধারণকরণ প্রয়োগ করেছেন। তাদের কাগজে বর্ণিত অ্যালগরিদমটি মিনি ব্যাচের এসজিডি (এনএন ওজন ছাড়াও) অনুকূলিতকরণের প্যারামিটারগুলির আরও একটি সেট হিসাবে ক্রিয়াকলাপের প্রতিটি স্তরের প্রতিটি ব্যাচের জন্য গড় এবং বৈকল্পিককে গণ্য করে। ক্রিয়াকলাপগুলি তখন পুরো প্রশিক্ষণের সেটটি ব্যবহার করে স্বাভাবিক করা হয়। এই অ্যালগরিদমের সম্পূর্ণ বিবরণের জন্য আপনি তাদের কাগজটি উল্লেখ করতে পারেন। এই পদ্ধতিটি ব্যবহার করে, তারা নিয়মিতকরণের জন্য ড্রপআউটগুলি ব্যবহার এড়াতে সক্ষম হয়েছিল এবং তাই তাদের দাবি যে এটি অন্য ধরণের নিয়ন্ত্রণের।

Comments

মহান উত্তরের জন্য ধন্যবাদ। আপনি কি গাণিতিকভাবে কিছুটা ব্যাখ্যা করতে পারেন যেমন নরমালাইজেশনের মতো পদ্ধতিগুলি নিয়মিতকরণ কীভাবে অর্জন করে? গুডফেলোর একটি বক্তব্যে তিনি বলেছিলেন যে পার্থক্যযোগ্য যে কোনও কিছু নিউরাল নেটকে নিয়মিতকরণ হিসাবে কাজ করতে পারে। এছাড়াও, নিয়মিত কি কি তা আপনি জানেন? সেগুলি কি কেবল নিদর্শনগুলি বোঝায় বা এর পিছনে কোনও গণিত রয়েছে? আবার ধন্যবাদ.

— রাফায়েল

উত্তরের জন্য ধন্যবাদ. কথাটি মনে নেই। নিউরাল জালগুলিতে আমরা ব্যাচের সাধারণকরণের মতো স্তরগুলি যুক্ত করি। তারা কী নিয়মিতকরণে অবদান রাখবে জানতে চাই?

— রাফায়েল

আপনার মন্তব্যের উত্তর দেওয়ার পাশাপাশি পূর্ববর্তী মন্তব্যে দেওয়া উত্তরগুলি যুক্ত করার জন্য সম্পাদিত।

— সন্দীপ এস সন্ধু

Answer 2

প্রশ্ন 1

আমি কোনও আধ্যাত্মিক সংজ্ঞা সম্পর্কে অবগত নই এবং আপনার প্রশ্নগুলি পরামর্শ দেয় যে এই শব্দটি বিভিন্ন অর্থ সহ ব্যবহৃত হয়। আসুন সহজ উদাহরণ দিয়ে শুরু করুন (যা প্রশ্নের উত্তর 2 দেবে)।

প্রশ্ন 2

শৈলশিরা রিগ্রেশন একটি ভাল শুরু করা যেতে পারে। এটি একটি নিয়মিতকরণ পদ্ধতি যা একক ম্যাট্রিক্স দ্বারা উত্থাপিত সমস্যাটিকে বিঘ্নিত করে ।

যাইহোক, গ্রেডিয়েন্ট বুস্টিং পদ্ধতিতে (উদাহরণস্বরূপ) সংজ্ঞায়িত "নিয়মিতকরণ প্যারামিটার" মডেলের জন্য একটি কম জটিলতা নিশ্চিত করার জন্য এখানে রয়েছে ।

প্রশ্ন 3

নিয়মমাফিককরণ যেমন নিয়মিতকরণ অন্য অর্থ (এবং এই পরিভাষা বেশ বিভ্রান্তিকর হয় না)। এটি একটি জটিল সমস্যাটিকে "গ্রেডিয়েন্ট বংশোদ্ভূত দৃষ্টিকোণ থেকে" সহজ কিছুতে রূপান্তরিত করে। যদিও এটি নিউরাল নেটওয়ার্কটি ক্যালিব্রেট করার প্রয়োজন হয় না, এটি ক্রমাঙ্কণের সময় সত্যই সহায়তা করে। (তবে, মনে রাখবেন যে আমরা যদি স্বেচ্ছাচারিতামূলক কার্যগুলির বিশ্বব্যাপী চূড়ান্ত সন্ধান করতে পারি তবে সাধারণীকরণের প্রয়োজন হবে না)

প্রশ্ন 4

নিয়মিতকরণ (কোনও মডেলের জটিলতা হ্রাস করার উপায় হিসাবে) অতিরিক্ত পোশাক হ্রাস করার জন্য ব্যবহৃত হয়। কোনও মডেল যত কম জটিল, তত বেশি পরিমাণে ফিট হওয়ার সম্ভাবনাও তত কম।

সরাইয়া

এস ওয়াতানাবে তার গবেষণায় এই পরিভাষাটির উপর কঠোর ব্যবহার করেছেন।