সীমাবদ্ধতা কী? কনভলিউশনাল নিউরাল নেটওয়ার্কগুলিতে এটি কীভাবে কার্যকর?

Question

এখানে একটি কেরাস কোড নমুনা রয়েছে যা এটি ব্যবহার করে:

from keras.constraints import max_norm

model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), 
                        border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

Answer 1

Http://cs231n.github.io/neura-networks-2/#reg থেকে :

$\vec{w}$$\Vert \vec{w} \Vert_2 < c.$$c$

Answer 2

আমি একজন পাওয়া McLawrence দ্বারা উত্তর মধ্যে অপর এক প্রশ্নের খুব সহায়ক হবে। নীচে পুনরুত্পাদন:

একটি ওজন বাধা max_normকি করে?

maxnorm(m)যদি, আপনার ওজনের L2-Norm অতিক্রম করে m, আপনার পুরো ওজন ম্যাট্রিক্সকে এমন একটি উপাদান দিয়ে স্কেল করুন যা আদর্শকে হ্রাস করে m। আপনি খুঁজে পেতে পারেন হিসাবে keras কোড মধ্যে class MaxNorm(Constraint):

def __call__(self, w):
    norms = K.sqrt(K.sum(K.square(w), axis=self.axis, keepdims=True))
    desired = K.clip(norms, 0, self.max_value)
    w *= (desired / (K.epsilon() + norms))
    return w

প্রশাসনিকভাবে, maxnormএকটি axisযুক্তি রয়েছে, যার সাথে আদর্শ গণনা করা হয়। আপনার উদাহরণে আপনি একটি অক্ষ নির্দিষ্ট করে না, সুতরাং আদর্শটি পুরো ওজন ম্যাট্রিক্সের উপর দিয়ে গণনা করা হয়। উদাহরণস্বরূপ, আপনি প্রতিটি বিভাজনযুক্ত ফিল্টারের আদর্শকে সীমাবদ্ধ করতে চান, ধরে নিই যে আপনি tfডাইমেনশন অর্ডার ব্যবহার করছেন , ওজন ম্যাট্রিক্সটির আকৃতি থাকবে (rows, cols, input_depth, output_depth)। আদর্শের ওভার গণনা করা axis = [0, 1, 2]প্রতিটি ফিল্টার প্রদত্ত রীতিতে সীমাবদ্ধ রাখবে।

কেন করবেন?

সরাসরি ওজন ম্যাট্রিক্স নিয়ন্ত্রণ করা অন্য ধরণের নিয়ামকরণ। আপনি যদি একটি সাধারণ এল 2 নিয়মিতকরণ শব্দ ব্যবহার করেন তবে আপনি আপনার ক্ষতি ফাংশন দিয়ে উচ্চ ওজনকে দন্ডিত করেন। এই সীমাবদ্ধতার সাথে, আপনি সরাসরি নিয়মিত করুন। কোডটিতেও লিঙ্কযুক্ত, এটি kerasএকটি dropoutস্তরের সাথে বিশেষত ভাল কাজ করে বলে মনে হচ্ছে । আরও তথ্যের জন্য এই নিবন্ধে অধ্যায় 5.1 দেখুন

Comments

উত্তম উত্তর, তবে সাবধান হন: "আপনার উদাহরণে আপনি অক্ষটি নির্দিষ্ট করেন না, সুতরাং আদর্শটি পুরো ওজন ম্যাট্রিক্সের মধ্যে গণনা করা হয়।" - এটি সত্য বলে মনে হচ্ছে না (অন্তত এখন পর্যন্ত) বরং আদর্শটি তখন ডিফল্ট হিসাবে গণনা করা হয় axis=0।

— ববসন ডগনট

আমি সম্মত হই, সর্বাধিক-আদর্শটি ওজনগুলির দৈর্ঘ্য হিসাবে নেওয়া হয় যা কোনও লুকানো স্তরের কোনও নোডে ফ্যান-ইন হয়, অর্থাত্ । এছাড়াও, আপনি কী লক্ষ্য করেছেন যে ড্রপআউট নিয়মিতকরণের জন্য, সমস্ত রানের জন্য সর্বোচ্চ-আদর্শ ব্যবহার করা হয়েছিল ( cs.toronto.edu/~rsalakhu/papers/srivastava14a.pdf এর পৃষ্ঠা 1934 এর শেষ অনুচ্ছেদ দেখুন )। $||w||$

— wrktsj