নিউরাল নেটওয়ার্কগুলিতে ডেটা সাধারণকরণ এবং মানককরণ

Question

আমি নিউরাল নেটওয়ার্কগুলি (এএনএন) ব্যবহার করে একটি জটিল সিস্টেমের ফলাফলের পূর্বাভাস দেওয়ার চেষ্টা করছি। ফলাফল (নির্ভরশীল) মানগুলি 0 এবং 10,000 এর মধ্যে থাকে। বিভিন্ন ইনপুট ভেরিয়েবলের বিভিন্ন ব্যাপ্তি রয়েছে। সমস্ত ভেরিয়েবলের মোটামুটি স্বাভাবিক বিতরণ রয়েছে।

প্রশিক্ষণের আগে ডেটা স্কেল করার জন্য আমি বিভিন্ন বিকল্প বিবেচনা করি। একটি বিকল্প হ'ল স্বাধীনভাবে প্রতিটি ভেরিয়েবলের গড় এবং স্ট্যান্ডার্ড বিচ্যুতি মানগুলি ব্যবহার করে संचयी বিতরণ ফাংশনটি গণনা করে ইনপুট (স্বতন্ত্র) এবং আউটপুট (নির্ভরশীল) ভেরিয়েবলগুলিকে [0, 1] এ স্কেল করা । এই পদ্ধতির সমস্যাটি হ'ল আমি যদি আউটপুটে সিগময়েড অ্যাক্টিভেশন ফাংশনটি ব্যবহার করি তবে আমি খুব সম্ভবত চরম ডেটা মিস করব, বিশেষত প্রশিক্ষণ সংস্থায় দেখা যায় না

আরেকটি বিকল্প হ'ল জেড-স্কোর ব্যবহার করা। সেক্ষেত্রে আমার চূড়ান্ত ডেটা সমস্যা নেই; তবে, আমি আউটপুটে লিনিয়ার অ্যাক্টিভেশন ফাংশনটিতে সীমাবদ্ধ।

এএনএন এর সাথে ব্যবহারযোগ্য অন্যান্য স্বীকৃত নরমালাইজেশন কৌশলগুলি কী কী? আমি এই বিষয়ে পর্যালোচনা সন্ধান করার চেষ্টা করেছি, তবে দরকারী কিছু খুঁজে পেতে ব্যর্থ হয়েছিল।

Comments

জেড-স্কোরের নরমালাইজেশনটি কখনও কখনও ব্যবহৃত হয় তবে আমার মজাদার অনুভূতি রয়েছে এটি বায়ারের উত্তরটির অন্য নাম হতে পারে ??

— মার্চকে অস্কোন করে

এটি সাদা রঙের অংশ ব্যতীত একই।

— বায়ার্জ

যদি আপনি সম্ভাবনার পরিবর্তে কোনও মান (যেমন আপনি হন) হিসাবে পূর্বাভাস দিচ্ছেন (যেমন শ্রেণিবিন্যাসের পরিবর্তে রিগ্রেশন) আপনার সর্বদা লিনিয়ার আউটপুট ফাংশন ব্যবহার করা উচিত।

— seanv507

মাইকেল জহর র‌্যাঙ্ক-গাউস । এটি র‌্যাঙ্কের পরে এটি গাউসিয়ান করুন।

— user3226167

Answer 1

একটি স্ট্যান্ডার্ড অ্যাপ্রোচ ইনপুটগুলির গড় 0 এবং 1 এর বৈকল্পিক হওয়া উচিত Also এছাড়াও লিনিয়ার ডেকোররিলেশন / হোয়াইটেনিং / পিসিএ অনেক সহায়তা করে a

আপনি যদি বাণিজ্যের কৌশলগুলিতে আগ্রহী হন তবে আমি লেকনের দক্ষ ব্যাকপ্রপ পেপারটি সুপারিশ করতে পারি ।

Comments

অবশ্যই কখনই ডেটা অন্ধভাবে স্বাভাবিক করার চেষ্টা করা উচিত নয় যদি ডেটা কোনও (একক) সাধারণ বিতরণ অনুসরণ করে না। stats.stackexchange.com/a/816/4581

— user4581

নিউরাল নেটওয়ার্কগুলির সাথে আপনাকে করতে হবে। অন্যথায়, আপনি অবিলম্বে লুকানো ইউনিটগুলি পরিপূর্ণ করে তুলবেন, তারপরে তাদের গ্রেডিয়েন্টগুলি শূন্যের কাছাকাছি হবে এবং কোনও শিখন সম্ভব হবে না। এটি মডেলিং সম্পর্কে নয় (নিউরাল নেটওয়ার্কগুলি ইনপুট ডেটাতে কোনও বিতরণ অনুমান করে না), তবে সংখ্যাগত সমস্যা সম্পর্কে।

— বায়ারজ

আমি বেশ বিভ্রান্ত এই লিঙ্কটি ( মেশিনলিয়ারিংমাস্ট্রি.com/… ) বলছে যে আপনি যে অ্যালগরিদমটি ব্যবহার করছেন তা আপনার ডেটা সম্পর্কে গাউসিয়ান বিতরণ (এনএন-এর ক্ষেত্রে নয়) সম্পর্কে অনুমিতি তৈরি করে যখন প্রমিতকরণ কার্যকর হয়। অন্যথায়, এটি আপনাকে নর্মালাইজেশন ব্যবহার করা উচিত বলেছে। কেউ কি আমাকে আলোকিত করতে পারে?

— ইহেবিহব

Answer 2

1- সর্বনিম্ন সর্বাধিক স্বাভাবিককরণ স্কেলিং ফ্যাক্টর ব্যতীত স্কোরগুলির মূল বিতরণ ধরে রাখে এবং সমস্ত স্কোরকে একটি সাধারণ পরিসরে রূপান্তরিত করে [0, 1]। তবে, এই পদ্ধতিটি শক্ত নয় (অর্থাত্, পদ্ধতিটি বহিরাগতদের কাছে অত্যন্ত সংবেদনশীল।

2- মানককরণ (জেড-স্কোর নরমালাইজেশন) সর্বাধিক ব্যবহৃত কৌশল, যা প্রদত্ত ডেটার গণিতের গড় এবং মান বিচ্যুতি ব্যবহার করে গণনা করা হয়। তবে, গড় এবং স্ট্যান্ডার্ড বিচ্যুতি উভয়ই বহিরাগতদের কাছে সংবেদনশীল এবং এই কৌশলটি সাধারণ স্কোরগুলির জন্য একটি সাধারণ সংখ্যার পরিসীমা গ্যারান্টি দেয় না। তদুপরি, যদি ইনপুট স্কোরগুলি গাউসিয়ান বিতরণ না করা হয় তবে এই কৌশলটি আউটপুটে ইনপুট বিতরণ ধরে রাখে না।

3- মিডিয়ান এবং এমএডি: মিডিয়ান এবং মিডিয়ান পরম বিচ্যুতি (এমএডি) বহিরাগতদের এবং বিতরণের চূড়ান্ত লেজের বিন্দুগুলির প্রতি সংবেদনশীল নয়। সুতরাং এটি শক্ত। তবে এই কৌশলটি ইনপুট বিতরণ ধরে রাখে না এবং স্কোরগুলিকে একটি সাধারণ সংখ্যার পরিসরে রূপান্তরিত করে না।

4- তানহ-অনুমানকারী: হাম্পেল এট আল দ্বারা প্রবর্তিত তান-অনুমানকারী। মজবুত এবং অত্যন্ত দক্ষ। নরমালাইজেশন দ্বারা দেওয়া হয়

যেখানে ampGH এবং σGH হ্যাম্পেল অনুমানকারীদের দেওয়া যথাযথ স্কোর বিতরণের যথাক্রমে গড় এবং স্ট্যান্ডার্ড বিচ্যুতি অনুমান।

অতএব আমি তান-অনুমানকারীদের প্রস্তাব দিই।

রেফারেন্স https://www.cs.ccu.edu.tw/~wylin/BA/Fusion_of_Biometrics_II.ppt

Comments

আমি এই তান হিসাবরক্ষক সম্পর্কে তথ্য সন্ধান করতে খুব কষ্ট পাচ্ছি। কেউ কি এটার উপর একটু আলো ফেলতে পারো?

— বেন ওগোরেক

অবশেষে এমন একটি কাগজ পাওয়া গেছে যা ন্যানালাইজেশনের জন্য তানহ অনুমানকারীকে বর্ণনা করে একটি ভাল কাজ করে: wjscheirer.com/papers/wjs_eccv2010_fusion.pdf । এগুলি সাধারণ উদ্দেশ্য সাধারনকরণ বিকল্প হিসাবে কার্যকর বলে মনে হয় না। "[তানহ অনুমানকারী] অভিযোজিত জেড-স্কোরের তুলনায় গণনা করা আরও জটিল ... বিতরণের মধ্যম স্কোর থেকে তিনটি পৃথক ব্যবধানের জন্য লেজ পয়েন্টগুলি একটি অ্যাডহক পদ্ধতিতে সংজ্ঞায়িত করা উচিত These এই পরামিতিগুলি কঠিন হতে পারে পরীক্ষামূলকভাবে নির্ধারণ করতে এবং যদি ভুলভাবে চয়ন করা হয় তবে তানহ-অনুমানকারীদের কার্যকারিতা সীমাবদ্ধ করুন ""

— বেন ওগোরেক

Answer 3

আমি এখানে একটি অনুরূপ উত্তর দিয়েছি একাধিক রিগ্রেশন পরিচালনা করার সময়, আপনি কখন আপনার পূর্বাভাসক ভেরিয়েবলগুলি কেন্দ্র করবেন এবং কখন সেগুলি মানদণ্ডিত করবেন? তবে ভেবেছি এটির পক্ষে এখানে যথেষ্ট উত্তর দেওয়া যায় an

এখানে একটি দুর্দান্ত ইউজনেট সংস্থান রয়েছে http://www.faqs.org/faqs/ai-faq/neural-nets/part2/section-16.html

যখন কেউ তথ্যকে সাধারণীকরণ / মানক করা / পুনরুদ্ধার করতে চায় তখন কিছু বিষয় এবং বিবেচ্য বিষয়গুলিকে এটি সহজ শর্তে দেয়। এটি যেমন মেশিন লার্নিং দৃষ্টিকোণ থেকে বিষয়টিকে আচরণ করে এবং আপনার প্রশ্নটি এমএল হিসাবে এটির কিছুটা প্রাসঙ্গিকতা থাকতে পারে।

Comments

আপনার এখানে প্রতিটি লিঙ্কের মূল পয়েন্টগুলি লিখতে হবে, সুতরাং কোনও অতিরিক্ত "নেভিগেশন" লাগবে না

— লেসোশেট

Answer 4

আপনি করতে পারেন

• সর্বনিম্ন সর্বাধিক নরমালাইজেশন (ইনপুট / টার্গেটগুলিকে সীমাবদ্ধ করার লক্ষ্যে [,1,1] স্বাভাবিক করুন), বা
• গড়-মানক বিচ্যুতি স্বাভাবিককরণ (ইনপুট / শূন্যের গড় এবং unityক্যের বৈচিত্র / মানক বিচ্যুতি হবার লক্ষ্যগুলি সাধারণ করুন)

Answer 5

আপনি কাজ করেন, তাহলে python, sklearnহয়েছে এই কাজ করার জন্য একটি পদ্ধতি তাদের বিভিন্ন কৌশল ব্যবহার করে preprocessingমডিউল (প্লাস একটি ছিমছাম পাইপলাইন বৈশিষ্ট্য, তাদের দস্তাবেজে একটি উদাহরণ সহ):

import sklearn

# Normalize X, shape (n_samples, n_features)
X_norm = sklearn.preprocessing.normalize(X)

Answer 6

ঠিক আছে, [0,1] হ'ল মানক পদ্ধতি। নিউরাল নেটওয়ার্কগুলির জন্য, 0-1 পরিসরে সেরা কাজ করে। ন্যূনতম-ম্যাক্স স্কেলিং (বা নরমালাইজেশন) অনুসরণ করার পদ্ধতি।

এখন আউটলিয়ারদের ক্ষেত্রে, বেশিরভাগ পরিস্থিতিতে আমাদের এগুলি ক্লিপ করতে হবে, যেমন আউটলিয়াররা সাধারণ নয়, আপনি চাইছেন না বিদেশীরা আপনার মডেলকে প্রভাবিত করবে (যদি আপনি যে সমস্যার সমাধান করছেন তবে অ্যানোমালি সনাক্তকরণটি যদি না হয়)। আপনি 68-95-99.7 এর ইমপ্রিকাল নিয়মের ভিত্তিতে এটি ক্লিপ করতে পারেন বা একটি বক্স প্লট তৈরি করতে পারেন, পর্যবেক্ষণ করতে পারেন এবং সেই অনুযায়ী এটি ক্লিপ করতে পারেন।

MinMax সূত্র - (xi - min(x)) / (max(x) - min(x)) বা ব্যবহার করতে পারেনsklearn.preprocessing.MinMaxScaler

Answer 7

"স্বীকৃত" হ'ল যা আপনার পক্ষে সবচেয়ে ভাল কাজ করে - তবে আপনি এটি গ্রহণ করুন।

আমার অভিজ্ঞতায় জনসন পরিবারের বিতরণকারীর প্রতিটি বিতরণ ফিচারগুলি অবিচ্ছিন্ন বৈশিষ্ট্যগুলির জন্য ভালভাবে কাজ করে কারণ বিতরণগুলি অত্যন্ত নমনীয় এবং বেশিরভাগ ইউনি-মডেল বৈশিষ্ট্যগুলিকে মানক সাধারণ বিতরণে রূপান্তর করতে পারে। এটি মাল্টি-মডেল বৈশিষ্ট্যগুলিতেও সহায়তা করবে, তবে মূল বিষয় হল এটি সাধারণত বৈশিষ্ট্যগুলিকে সম্ভাব্য সবচেয়ে আকাঙ্ক্ষিত ফর্মের মধ্যে ফেলে দেয় (স্ট্যান্ডার্ড গাউসিয়ান-বিতরণ করা ডেটা এটির সাথে কাজ করার জন্য আদর্শ - এটি বেশিরভাগ ক্ষেত্রেই উপযুক্ত এবং এটি কখনও কখনও অনুকূলও হয়) পরিসংখ্যান / এমএল পদ্ধতি উপলব্ধ)।

http://qualityamerica.com/LSS-Knowledge-Center/statisticalinference/johnson_distributions.php