অনলাইন শেখায় নিয়মিতকরণ এবং বৈশিষ্ট্য স্কেলিং?


15

ধরা যাক আমার একটি লজিস্টিক রিগ্রেশন শ্রেণিবদ্ধ রয়েছে। সাধারণ ব্যাচ শেখায়, আমার ওজন কম দেওয়া রোধ করতে এবং ওজন কম রাখার জন্য আমার নিয়ামক পদ থাকতে হবে। আমি আমার বৈশিষ্ট্যগুলিও স্বাভাবিক এবং স্কেল করব।

একটি অনলাইন লার্নিং সেটিংয়ে, আমি একটানা তথ্যের স্ট্রিম পাচ্ছি। আমি প্রতিটি উদাহরণ সহ গ্রেডিয়েন্ট বংশোদ্ভূত আপডেট করি এবং তারপরে এটি বাতিল করে দিই। অনলাইন লার্নিংয়ে আমার কি ফিচার স্কেলিং এবং নিয়মিতকরণ শব্দটি ব্যবহার করার কথা রয়েছে? যদি হ্যাঁ, আমি কীভাবে এটি করতে পারি? উদাহরণস্বরূপ, বিপরীতে স্কেল করার জন্য আমার কাছে কোনও প্রশিক্ষণ ডেটার সেট নেই। আমার নিয়মিতকরণ পরামিতি টিউন করার জন্য আমার কাছে বৈধতা সেটও নেই। যদি না হয় তবে কেন?

আমার অনলাইন শিক্ষায় আমি ধারাবাহিকভাবে উদাহরণগুলির স্রোত পাই। প্রতিটি নতুন উদাহরণের জন্য, আমি একটি পূর্বাভাস করি। তারপরে পরবর্তী সময়ে পদক্ষেপে, আমি আসল লক্ষ্যটি পেয়েছি এবং গ্রেডিয়েন্ট বংশোদ্ভূত আপডেটটি করি।

উত্তর:


9

ওপেন-সোর্স প্রকল্প স্বর ওয়াববিটে অনলাইনে এসজিডির একটি বাস্তবায়ন অন্তর্ভুক্ত রয়েছে যা ওড়ে হালনাগাদকে প্রভাবিত করে অতিরিক্ত 3 টি কারণের ফ্লাই (অনলাইন) গণনা দ্বারা উন্নত করা হয়। এই বিষয়গুলি তাদের নিজ নিজ কমান্ড লাইন বিকল্পগুলি দ্বারা সক্ষম / অক্ষম করা যেতে পারে (ডিফল্টরূপে তিনটিই চালু করা হয়, --sgdবিকল্পটি তাদের সমস্তটি বন্ধ করে দেয়, যেমন: "ক্লাসিক" এসজিডি-তে পড়ে)-

3 এসজিডি বাড়ানোর বিকল্পগুলি হ'ল:

  • --normalized প্রতিটি বৈশিষ্ট্যের স্কেলের জন্য অ্যাডজাস্ট করা আপডেটগুলি
  • --adaptive অভিযোজিত গ্রেডিয়েন্ট (অ্যাডগ্রাড) ব্যবহার করে (দুচি, হাজান, সিঙ্গার)
  • --invariant গুরুত্ব সচেতন আপডেট (করম্প্যাটজিয়াকিস, ল্যাংফোর্ড)

একসাথে, তারা নিশ্চিত করে যে অনলাইন শেখার প্রক্রিয়াটি এর জন্য 3-উপায় স্বয়ংক্রিয় ক্ষতিপূরণ / সমন্বয় করে:

  • প্রতি বৈশিষ্ট্য স্কেলিং (বড় বনাম ছোট মান)
  • বৈশিষ্ট্যটির গুরুত্বের ভিত্তিতে প্রতি-বৈশিষ্ট্য শিক্ষার হার ক্ষয়
  • উদাহরণগুলিতে বৈশিষ্ট্য প্রসার / বিরলতার জন্য বৈশিষ্ট্য অনুসারে অভিযোজিত শেখার হার সামঞ্জস্য

ফলশ্রুতিটি হ'ল লার্নারকে কম পক্ষপাতদুষ্ট এবং আরও কার্যকর করার জন্য বিভিন্ন বৈশিষ্ট্য প্রাক-স্বাভাবিককরণ বা স্কেল করার দরকার নেই।

তদতিরিক্ত , ভোপাল ওয়াবিট নিয়মিতকরণ বিকল্পগুলির সাথে ছাঁটাই গ্রেডিয়েন্ট বংশোদ্ভূত মাধ্যমে অনলাইন নিয়ন্ত্রণকে কার্যকর করে:

  • --l1 (এটি L1-আদর্শ)
  • --l2 (ও L2-আদর্শ)

একাধিক ডেটা-সেটগুলিতে এই বর্ধনের সাথে আমার অভিজ্ঞতা ছিল, যখন তারা প্রত্যেকে কোডের সাথে পরিচয় করিয়ে দেওয়া হয়েছিল তখন তারা মডেলের যথার্থতা এবং মসৃণ সংমিশ্রণে উল্লেখযোগ্য পরিমাণে উন্নতি করেছিল।

এই বর্ধনের সাথে সম্পর্কিত আরও তথ্যের জন্য এখানে কিছু একাডেমিক পত্র রয়েছে:


আরিফেল - আপনি যদি তিনটি বর্ধন বন্ধ করে দেন (--sgd এর মাধ্যমে) জিডিটিউব // জোহানল্যাংফোর্ড / ভোপাল_উইবিট / উইকি / ভি 6.1_tutorial.pdf এর স্লাইড 11-এ দেখানো হচ্ছে যে এসজিডি হ'ল যাতে পাওয়ার_টি এবং প্রাথমিক_ প্রাসঙ্গিক হয়ে যায় ?
বি_মিনার

1
বি_মিনার: যতদূর আমি বুঝতে পেরেছি --power_tএবং --initial_tবিশ্বব্যাপী (বৈশিষ্ট্য অনুসারে নয়) স্বতন্ত্র বিকল্পগুলি। --sgdকেবল "ক্লাসিক" এসজিডিতে ফিরে আসে। আইওডাব্লু: --sgdকেবল বাতিল --invariant, --normalizedএবং --adaptive(যা পৃথক পৃথক প্রতি ফিচার শেখার হার)
আরিফেল

আপনি কি জানেন যে সমান্তরাল অ্যাসিনক্রোনাস ফ্যাশনে (যেমন অ্যাসিনক্রোনাস এসজিডি তে করা হয়) এই আপডেটগুলি করার কোনও উপায় আছে কিনা? দেখে মনে হয় একাধিক শ্রমিকের সাথে ভিডাব্লু প্রতিটি পাসের শেষে প্রতিটি শ্রমিকের মডেল গড়ে তোলে। কোনও কাগজপত্র / সফ্টওয়্যার পয়েন্টার কীভাবে এটি করবেন?
জেসি 1


1

হ্যাঁ আপনার অবশ্যই নিয়মিতকরণ দরকার ... এটি গ্রেডিয়েন্ট বংশদ্ভুতকেও সহায়তা করে (এবং শিক্ষার হার 1 / সি তে প্রাথমিককরণ করবে)

যেমন এসজিডি-কিউএন কাগজ http://leon.bottou.org/papers দেখুন apers কিউএন পেপার বোতলোর কাগজপত্র দেখুন

অনলাইন লার্নিং দ্বারা আপনি কী বোঝাতে চেয়েছেন তা আপনি সত্যিই ব্যাখ্যা করেন নি: উদাহরণস্বরূপ প্রতিটি পয়েন্টের জন্য আপনি লক্ষ্যমাত্রা পান? আপনি কীভাবে অন্তর্ভুক্ত করবেন তা আমি জানি না ... সি অনুসন্ধান করা হচ্ছে ... আমি অনুমান করি যে আপনার নিয়মিতকরণের বিভিন্ন শর্তাবলী সহ একাধিক শ্রেণিবদ্ধ রয়েছে এবং ভবিষ্যদ্বাণী ত্রুটিটি ট্র্যাক করবেন (আপনি ওজন আপডেট করার আগে)


অনলাইন শেখার মাধ্যমে, আমি একটি উদাহরণ পেয়েছি এবং একটি পূর্বাভাস করি। পরবর্তী সময়ে পদক্ষেপে, আমি আমার উদাহরণের জন্য প্রকৃত লক্ষ্য পাই এবং গ্রেডিয়েন্ট বংশোদ্ভূত আপডেট করি do
সিয়ামি

ঠিক আছে তবে এটি আমার পরামর্শ মতো হওয়া উচিত - আপনি বিভিন্ন নিয়মিতকরণ পরামিতি সহ একগুচ্ছ শ্রেণিবদ্ধের চালনা করেন এবং প্রতিটি শ্রেণিবদ্ধের পূর্বাভাস ত্রুটির উপর নজর রাখেন।
seanv507

আমি নিশ্চিত নই আপনি 1 / C তে শিক্ষার হার আরম্ভ করার মাধ্যমে কী বোঝাতে চাইছেন। সি কি? আপনি সমর্থন ভেক্টর মেশিন সম্পর্কে কথা বলছেন? আমি লজিস্টিক রিগ্রেশন সম্পর্কে কথা বলছি যেখানে নিয়ামককে সহগ লম্বা থাকে da শিখার হারের সাথে এর কী আছে তা আমি জানি না।
সিয়ামি

হ্যাঁ l2 নিয়মিতকরণের প্যারামিটার, সি, ল্যাম্বদা বা যা কিছু। এটির কিছু যা বোতলোর এসএজিডিএএনএন কাগজে একপাশে উল্লেখ করা হয়েছে এবং আমি অনুমান করি যে এটি অন্য কোথাও আরও ভালভাবে ব্যাখ্যা করা হয়েছে। মূলত আপনার শিক্ষার হারটি আপনার ত্রুটি পৃষ্ঠের 1 / বক্রতা (হেসিয়ান বিপরীত) হওয়া উচিত .. এখন যদি আপনার ত্রুটির পৃষ্ঠটি হয়
seanv507

1
আমার কি ফিচার স্কেলিং করা দরকার? একটি অনলাইন সেটিং এ কীভাবে করবেন?
সিয়ামি
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.