মডেল বৈধকরণের আগে বা এর মধ্যে বৈশিষ্ট্যটির নরমালাইজেশন সম্পাদন করবেন?


52

মেশিন লার্নিংয়ে একটি সাধারণ ভাল অনুশীলন হ'ল ভবিষ্যদ্বাণীকারী ভেরিয়েবলগুলির বৈশিষ্ট্য সাধারনকরণ বা ডেটা মানিককরণ করা, এটি হ'ল ডেটাটিকে কেন্দ্র করে এবং এটি বৈকল্পিক (বা মানক বিচ্যুতি দ্বারা) বিভাজনকে সাধারণ করে তোলে। স্ব সংযোজন এবং আমার বোঝার জন্য আমরা দুটি প্রধান জিনিস অর্জনের জন্য এটি করি:

  1. সংখ্যাগত স্থিতিশীলতার লক্ষ্যে অতিরিক্ত ছোট মডেলের ওজন এড়িয়ে চলুন।
  2. অপ্টিমাইজেশন অ্যালগরিদমগুলির যেমন দ্রুত রূপান্তর নিশ্চিত করুন উদাহরণস্বরূপ কনজুগেট গ্রেডিয়েন্ট যাতে একটি ভবিষ্যদ্বাণী মাত্রা বৃহত পরিমাণে অন্যকে ধীরে ধীরে একত্রিত করতে না পারে।

আমরা সাধারণত প্রশিক্ষণ, বৈধতা এবং পরীক্ষার সেটগুলিতে ডেটা বিভক্ত করি। সাহিত্যে আমরা সাধারণত দেখতে পাই যে বৈশিষ্ট্য স্বাভাবিককরণের জন্য তারা ভবিষ্যদ্বাণীক ভেরিয়েবলগুলির পুরো সেটটির ওপরে গড় এবং প্রকরণ (বা মানক বিচ্যুতি) গ্রহণ করে। আমি এখানে যে বড় ত্রুটি দেখতে পাচ্ছি তা হ'ল আপনি যদি তা করেন তবে আপনি প্রকৃতপক্ষে ভবিষ্যতের তথ্য প্রশিক্ষণের ভবিষ্যদ্বাণী ভেরিয়েবলগুলিতে প্রবর্তন করছেন অর্থাত্ গড় এবং বৈসাদৃশ্যগুলিতে থাকা ভবিষ্যতের তথ্য।

অতএব, আমি প্রশিক্ষণের ডেটা ধরে বৈশিষ্ট্যটির স্বাভাবিককরণ করি এবং গড় এবং বৈচিত্রটি সংরক্ষণ করি। তারপরে আমি প্রশিক্ষণের গড় এবং বৈকল্পগুলি ব্যবহার করে বৈধতা এবং পরীক্ষার ডেটা সেটগুলির পূর্বাভাসকারী ভেরিয়েবলগুলিতে বৈশিষ্ট্য সাধারণকরণ প্রয়োগ করি। এর সাথে কি কোনও মৌলিক ত্রুটি রয়েছে? কেউ কি আরও ভাল বিকল্প প্রস্তাব করতে পারেন?


উত্তর:


46

আপনার পদ্ধতির সম্পূর্ণরূপে সঠিক। যদিও ডেটা ট্রান্সফর্মেশনগুলি প্রায়শই "প্রিপ্রোসেসিং" হিসাবে অবমূল্যায়ন করা হয়, তবে কেউ যথেষ্ট জোর দিতে পারে না যে মডেল পারফরম্যান্সকে অনুকূল করতে ট্রান্সফর্মেশনগুলি মডেল বিল্ডিং প্রক্রিয়ার অংশ হিসাবে বিবেচনা করা উচিত।

যুক্তি: অদৃশ্য ডেটাতে একটি মডেল প্রয়োগ করা হবে যা মডেলটি তৈরির সময় পাওয়া যায় না। বৈধতা প্রক্রিয়া (ডেটা বিভক্তকরণ সহ) এটি অনুকরণ করে। সুতরাং মডেল মানের (এবং জেনারালাইজেশন শক্তি) একটি ভাল অনুমান পেতে একজনকে সাধারণীকরণের পরামিতিগুলির গণনা (গড় এবং বৈকল্পিকতা) প্রশিক্ষণে সীমাবদ্ধ করতে হবে।

আমি কেবল অনুমান করতে পারি কেন এটি সর্বদা সাহিত্যে হয় না। একটি যুক্তি হতে পারে যে, গড় এবং বৈকল্পিকের গণনা ছোট ডেটা পরিবর্তনের পক্ষে সংবেদনশীল নয় (তবে এটি কেবলমাত্র সত্য যদি মৌলিক নমুনার আকার যথেষ্ট পরিমাণে বড় হয় এবং চূড়ান্ত বহিরাগত ছাড়াই ডেটা প্রায় সাধারনত বিতরণ করা হয়)।


আমি এটি একটি বিভ্রান্তিকর মনে। ওপি জানিয়েছে যে তিনি বৈধতা এবং পরীক্ষার ডেটা সেটগুলিতে বৈশিষ্ট্যটি স্বাভাবিককরণ করছেন IS আপনার জবাবটি প্রথমে বলেছে যে তার পদ্ধতিটি সঠিক। তারপরে আপনি বলছেন "একজনকে সাধারণীকরণের পরামিতিগুলির গণনা প্রশিক্ষণ সংস্থায় সীমাবদ্ধ করা দরকার" যা তিনি করছেন না। সুতরাং আপনার প্রতিক্রিয়া নিজে যা করছেন তিনি তাকে সঠিক তা বলে এবং তারপরে অন্যথায় পরামর্শ দিয়ে নিজের সাথে খণ্ডন করে। আমি এখানে কি মিস করছি?
mahonya

4
ওপি যা করে তা তার শেষ অনুচ্ছেদে বর্ণিত এবং এটি আমি যা বলেছিলাম ঠিক তেমনটিই। অবশ্যই পরীক্ষার / বৈধতা-সেটটিতে স্বাভাবিককরণ প্রয়োগ করা হয় যদি এটি প্রশিক্ষণের সেটটিতে প্রয়োগ করা হয়। গুরুত্বপূর্ণ বিষয়টি হ'ল, এই স্বাভাবিককরণের পরামিতিগুলি পুরো প্রশিক্ষণের উপর নির্ভর করে কেবল প্রশিক্ষণের ডেটাতে গণনা করা হয়েছে। আশাকরি এটা সাহায্য করবে.
স্টিফেন

আহ, অনেক ধন্যবাদ আমি আপনার উত্তর ভুল বুঝেছি। আমি যদিও আপনি কেবল প্রশিক্ষণের জন্য সাধারণকরণের 'অ্যাপ্লিকেশন' দেওয়ার পরামর্শ দিচ্ছিলেন, যা আপনার প্রস্তাবিতভাবে পরিষ্কার ছিল না।
মাহনিয়া

2

বৈশিষ্ট্য নর্মালাইজেশন হ'ল একই স্কেলে বিভিন্ন বৈশিষ্ট্য তৈরি করা। যখন এক বা একাধিক বৈশিষ্ট্য বাকীগুলির চেয়ে অনেক বড় মান গ্রহণ করে তখন প্রয়োজনীয় অতিরিক্ত অতিরিক্ত পুনরাবৃত্তি এড়িয়ে স্কেলিংটি গ্রেডিয়েন্ট বংশোদ্ভূতিকে গতিবেগ দেয় (স্কেলিং ছাড়াই, ভিজ্যুয়ালাইজ করা ব্যয় ক্রিয়াকলাপটি একটি দুর্দান্ত অসামঞ্জস্য দেখায়)।

আমি মনে করি যে পরীক্ষার ডেটা আসার সাথে সাথে প্রশিক্ষণ সেট থেকে গড় এবং বিভিন্ন ব্যবহারটি বোধগম্য হয়। তবুও যদি ডেটার আকার বিশাল হয় তবে প্রশিক্ষণ এবং বৈধতা উভয় সেটই প্রায় সাধারণ বন্টন হিসাবে দেখা যায়, এইভাবে তারা মোটামুটি গড় এবং বিভিন্ন ভাগ করে।


1
আমার ধারণা, যেহেতু ডেটা নরমালাইজেশন গ্রেডিয়েন্ট বংশোদ্ভূতিকে ত্বরান্বিত করতে পারে, তা হ'ল সাধারণীকরণ ব্যতীত আরএসএসের উপবৃত্তাকার রূপগুলি রয়েছে, সুতরাং নির্দিষ্ট শিক্ষার হার দেওয়া থাকলে গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার জন্য এটি আরও পুনরাবৃত্তির প্রয়োজন হতে পারে। স্কেলিং সহ, আরএসএসের বৃত্তের কনট্যুরগুলি (প্রতিসম) রয়েছে, সুতরাং গ্রেডিয়েন্ট বংশোদ্ভূত দ্রুত রূপান্তরিত করে। আমি কি সঠিক?
অ্যাভোকাডো

1

আপনি যে পদ্ধতিটি বর্ণনা করেছেন তা হ'ল অন্যরা যেমনটি বলেছেন তেমনই দুর্দান্ত। আপনার প্রশিক্ষণ সেট থেকে বৈশিষ্ট্যগুলি যেমন করেন তেমন আপনার পরীক্ষা সেট বৈশিষ্ট্যগুলিতে ঠিক একই রূপান্তরটি সম্পাদন করা উচিত।

আমি মনে করি এটি যুক্ত করার উপযুক্ত যে বৈশিষ্ট্যটি স্বাভাবিককরণের আর একটি কারণ হ'ল নির্দিষ্ট প্রক্রিয়াগুলির পারফরম্যান্সকে বাড়ানো যা কিছু নির্দিষ্ট ভেরিয়েবলের স্কেলের পার্থক্যের প্রতি সংবেদনশীল। উদাহরণস্বরূপ প্রধান উপাদানগুলির বিশ্লেষণ (পিসিএ) তারতম্যের সর্বাধিক অনুপাত ক্যাপচার করতে লক্ষ্য করে এবং এর ফলস্বরূপ বৈশিষ্ট্যটির স্বাভাবিককরণ প্রাথমিকভাবে সম্পাদন না করা হলে ভেরিয়েবলগুলিকে আরও বেশি ওজন দেবে যা বৃহত্তম বৈকল্পিকতা প্রদর্শন করে।


খুব ভাল পয়েন্ট! এটি আনার জন্য আপনাকে ধন্যবাদ। আমি আমার পড়াশোনা থেকে সবসময় পিসিএ কম্পিউটিংয়ের আগে ইনপুট ম্যাট্রিক্সকে স্বাভাবিককরণের কথা মনে করি।
স্কাইওয়াকার
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.