তিনি বলেছেন "নেটওয়ার্কের কার্যকর জটিলতা"। তিনি আসলে নেটওয়ার্কের ওজনগুলির আকার বোঝায় to এটি ন্যূনতম বিবরণ দৈর্ঘ্যের নীতি অনুসারে বোঝা যায় । তবে আমি এটিতে প্রবেশের আগে, স্বজ্ঞাততাটি হ'ল বড় ওজনগুলি, আপনার নেটওয়ার্ক আরও বিভিন্ন ধরণের ফাংশন ফিট করতে পারে এবং এভাবে স্বাধীনতার ডিগ্রি (এবং কার্যকর জটিলতা) বেশি হয়।
সেই অধ্যায়ে তিনি নিয়মিতকরণের বিষয়ে কথা বলছেন, যা ওজনকে যথাসম্ভব ছোট করার দাবি করে ওভারফিটিংয়ের ঝুঁকি কার্যকরভাবে হ্রাস করার একটি কৌশল। সাধারণভাবে,
p(D|w)=∏np(tn|xn,w)=∏nexp(β2[tn−y(xn,w)]2)/ZD(β)
এমন ভেক্টর সমস্ত প্যারামিটার থাকে যা আপনার অ্যালগরিদমকে বৈশিষ্ট্যযুক্ত করে এবং
জেডডি( β)একটি নরমালাইজেশন ধ্রুবক। আপনি যদি এমএল অনুমানটি পান তবে আপনি লগ-সম্ভাবনা সর্বাধিক করে তোলেন। এখন, আপনি নিয়মিত হিসাবে কাজ করে এমন পরামিতিগুলির উপর একটি অগ্রাধিকার যোগ করুন এবং আপনাকে আপনার শ্রেণিবদ্ধের জটিলতা নিয়ন্ত্রণ করে ওভারফিটিং এড়াতে সহায়তা করে। কংক্রিটের ক্ষেত্রে, আপনার পরামিতিগুলি গাউসিয়ান বিতরণ করা হয়েছে তা ধরে নেওয়া স্বাভাবিক,
p ( w ) = exp( - α | | W | |22) / জেডওয়াট( α )
এমএপি হিসাবে সংজ্ঞায়িত করা হয়
ARGসর্বোচ্চWপি ( W | ডি )। বয়েসের উপপাদ্য ব্যবহার করে,
p(w|D)=p(D|w)p(w)
If you substitute the above expressions and take logarithms you end up with (the
Z's do not depend on
w),
argminw∑nβ2[tn−y(xn,w)]2+α2∑iw2i
More generally, you have that the MAP estimate is equivalent to the following,
wMAP=argminw−log2P(D|w)−log2(w)
The right hand side of the expression can be interpreted as the number of bits necessary to describe your classifier. The first term represent the number of bits necessary to code the errors your network does on the training data. The second represents the number of bits necessary to code the weights.
The MAP estimate is thus equivalent to choosing the most compact representation possible. In other words, you look for the set of weights which account for the training data as faithfully as possible which can be expressed with the least number of bits.
Notice that this is another form of the bias/variance problem: the bigger the weights, the lower the first term, because the network can fit the training data better (overfitting). But at the same time the higher the complexity of weights. The smaller the weights, the smaller the complexity of the network, but the higher the error term (bias). The higher the number of bits necessary to code the errors of the network.
Hope this gives you an good enough idea of what he is referring to.
P.S. adding a longer argument to the ongoing discussion
Maybe I misunderstand you. Let me please try to explain myself a last time.
The prior on the weights means represent the assumption we make about the function you want to fit. The bigger the prior (i.e. the weights) the broader the Gaussian, i.e. the more possible configurations one considers to fit the network.
Let us consider the case of regression (as in the paper I referred to). Low generalization error means that the network is able to map unseen samples very close to the actual values. If you are fitting a straight line, then a first order polynomial suffices (low complexity). Now, you could also fit the data with a higher order polynomial (let higher order coefficients be different from zero). The complexity of the network is higher because you allow for oscillations, for a more complex curve. Nevertheless, if the coefficients corresponding to higher order terms are low enough, the network can approximate the straight line very well, thus resulting in good generalization.
So the whole point of MDL is to make your weights as small as possible, as long as the generalization error can me minimized along.
Finally, quoting you: "I still find troublesome the argument that as the model starts to overfit, its capabilities to model other functions will increase. I think that's quite the opposite because a model that overfits, can't generalize to be applied to new information.". Yes, it can model OTHER, more complex functions, but it will fail to model the function at hand properly. In the figure 5.12 in the book, the error first declines, as the size of the weight increases (reduction in bias). Up to a given point when it starts to increase again (decrease in generalization, overfit).