কীভাবে এবং কেন সাধারণীকরণ এবং বৈশিষ্ট্য স্কেলিং কাজ করে?

Question

আমি দেখতে পাচ্ছি যে প্রচুর পরিমাণে মেশিন লার্নিং অ্যালগরিদমগুলি গড় বাতিল এবং সমবায় সমীকরণের সাথে আরও ভাল কাজ করে। উদাহরণস্বরূপ, নিউরাল নেটওয়ার্কগুলি দ্রুত রূপান্তরিত করে এবং কে-মিনস সাধারণত প্রাক-প্রক্রিয়াজাত বৈশিষ্ট্যগুলির সাথে আরও ভাল ক্লাস্টারিং দেয়। প্রি-প্রসেসিং পদক্ষেপগুলির পিছনে অন্তর্নিহিততা দেখায় না উন্নত পারফরম্যান্সের দিকে নিয়ে যায়। কেউ আমাকে এই ব্যাখ্যা করতে পারেন?

Answer 1

এটি কেবলমাত্র আপনার সমস্ত ডেটা একই স্কেলে পাওয়ার ক্ষেত্রে: যদি বিভিন্ন বৈশিষ্ট্যের স্কেলগুলি বন্যভাবে পৃথক হয়, তবে এটি শেখার আপনার ক্ষমতার উপর কড়া প্রভাব ফেলতে পারে (আপনি কোন পদ্ধতিগুলি এটি ব্যবহার করছেন তার উপর নির্ভর করে) । মানকযুক্ত বৈশিষ্ট্য মানগুলি নিশ্চিত করা সমস্ত বৈশিষ্ট্যকে তাদের প্রতিনিধিত্বের ক্ষেত্রে সমানভাবে ওজন করে।

Comments

"এটি আপনার শেখার ক্ষমতার উপর কড়া প্রভাব ফেলতে পারে" বলতে কী বোঝায়, সম্ভবত আপনি এইটি প্রসারিত করতে পারেন?

— চার্লি পার্কার

এটি আসলে একটি ভাল ব্যাখ্যা নয়। সত্যিকারের বোধগম্যতা অর্জনের জন্য আপনাকে কমপক্ষে একটি স্তরের ব্যাখ্যার গভীরে যেতে হবে।

— জেলফির কালটসটাহল

আমার থিসিস সম্পর্কে আমার কোনও রেফারেন্স দরকার দয়া করে

— এক্স-আরডাব্লু

Answer 2

এটি সত্য যে মেশিন লার্নিংয়ে প্রিপ্রোসেসিং কিছুটা খুব কালো শিল্প। এটি বেশ কয়েকটি প্রাক-প্রসেসিং পদক্ষেপ এটি কার্যকর করার জন্য প্রয়োজনীয় কেন তা কাগজে লেখা হয় না written এটি প্রতিটি ক্ষেত্রে এটি বোঝা যায় কিনা তাও আমি নিশ্চিত নই। জিনিসগুলিকে আরও জটিল করে তোলার জন্য, আপনি যে পদ্ধতিটি ব্যবহার করেন তার উপর এবং সমস্যার ডোমেনের উপরও এটি নির্ভর করে।

কিছু পদ্ধতি যেমন affine রূপান্তর আক্রমণ। যদি আপনার নিউরাল নেটওয়ার্ক থাকে এবং কেবলমাত্র আপনার ডেটাতে একটি এফাইন ট্রান্সফর্মেশন প্রয়োগ করেন, তাত্ত্বিকভাবে নেটওয়ার্কটি হারাতে বা কিছুই অর্জন করে না। বাস্তবে, তবে, ইনপুটগুলি কেন্দ্রিক এবং সাদা হলে নিউরাল নেটওয়ার্কটি সবচেয়ে ভাল কাজ করে। তার মানে যে তাদের সমবায় তির্যক এবং গড়টি শূন্য ভেক্টর। কেন এটি জিনিসগুলির উন্নতি করে? এটি কেবলমাত্র কারণ নিউরাল নেটটির অপ্টিমাইজেশন আরও নিখুঁতভাবে কাজ করে, যেহেতু লুকানো অ্যাক্টিভেশন ফাংশনগুলি তত দ্রুত পূরণ করে না এবং এভাবে শিখার সময় শূন্য গ্রেডিয়েন্টের কাছে আপনাকে দেয় না।

অন্যান্য পদ্ধতি, যেমন কে-মিনস, আপনাকে প্রিপ্রোসেসিংয়ের উপর নির্ভর করে সম্পূর্ণ ভিন্ন সমাধান দিতে পারে। এটি কারণ এফাইন ট্রান্সফর্মেশন মেট্রিক স্পেসে পরিবর্তনের ইঙ্গিত দেয়: ইউক্লিডিয়ান দূরত্ব বিটিডব্লিউ দুটি নমুনা সেই রূপান্তরের পরে আলাদা হবে।

দিনের শেষে, আপনি ডেটাতে কী করছেন তা বুঝতে চান। উদাহরণস্বরূপ কম্পিউটার দৃষ্টি এবং সাদা নমুনা স্বাভাবিককরণের মধ্যে সাদা হয় এমন কিছু যা মানুষের মস্তিষ্ক তার দৃষ্টি পাইপলাইনে পাশাপাশি করে does

Answer 3

কেন ইনপুট সাধারণীকরণ এএনএন এবং কে-উপকরণের জন্য কার্যকর হতে পারে সে সম্পর্কে কিছু ধারণা, রেফারেন্স এবং প্লটগুলি:

কে-মানে :

কে-মানে ক্লাস্টারিং স্থানের সব দিকেই "আইসোট্রপিক" এবং অতএব আরও বা কম বৃত্তাকার (প্রসারিতের চেয়ে) ক্লাস্টার উত্পাদন করে। এই পরিস্থিতিতে বৈষম্যগুলি অসম ছেড়ে যাওয়া ভেরিয়েবলগুলিতে আরও কম ওজন রাখার সমান smaller

মতলব উদাহরণ:

X = [randn(100,2)+ones(100,2);...
     randn(100,2)-ones(100,2)];

% Introduce denormalization
% X(:, 2) = X(:, 2) * 1000 + 500;

opts = statset('Display','final');

[idx,ctrs] = kmeans(X,2,...
                    'Distance','city',...
                    'Replicates',5,...
                    'Options',opts);

plot(X(idx==1,1),X(idx==1,2),'r.','MarkerSize',12)
hold on
plot(X(idx==2,1),X(idx==2,2),'b.','MarkerSize',12)
plot(ctrs(:,1),ctrs(:,2),'kx',...
     'MarkerSize',12,'LineWidth',2)
plot(ctrs(:,1),ctrs(:,2),'ko',...
     'MarkerSize',12,'LineWidth',2)
legend('Cluster 1','Cluster 2','Centroids',...
       'Location','NW')
title('K-means with normalization')

(এফওয়াইআই) আমার ডেটাসেটটি ক্লাস্টারড বা আনস্লাস্টারড (উদাহরণস্বরূপ একটি একক ক্লাস্টার গঠন করে ) কীভাবে সনাক্ত করব?

বিতরণ ক্লাস্টারিং :

তুলনামূলক বিশ্লেষণ দেখায় যে বিতরণ ক্লাস্টারিংয়ের ফলাফলগুলি সাধারণীকরণ পদ্ধতির ধরণের উপর নির্ভর করে।

কৃত্রিম নিউরাল নেটওয়ার্ক (ইনপুট) :

যদি ইনপুট ভেরিয়েবলগুলি এমএলপির মতো রৈখিকভাবে একত্রিত হয়, তবে কমপক্ষে তত্ত্বের ক্ষেত্রে ইনপুটগুলিকে মানক করা খুব কমই প্রয়োজন। কারণটি হ'ল কোনও ইনপুট ভেক্টরকে পুনরুদ্ধার কার্যকরভাবে সংশ্লিষ্ট ওজন এবং বায়াসগুলি পরিবর্তন করে বাতিল করা যেতে পারে, আপনাকে আগের মতো ঠিক একই আউটপুটগুলি রেখে দেয়। যাইহোক, বিভিন্ন কৌশলগত কারণ রয়েছে যা ইনপুটগুলিকে মানীকৃত করা প্রশিক্ষণ দ্রুততর করতে পারে এবং স্থানীয় অপটিমে আটকে যাওয়ার সম্ভাবনা হ্রাস করতে পারে। এছাড়াও, ওজন ক্ষয় এবং বায়সিয়ান অনুমান মানকৃত ইনপুটগুলির সাথে আরও স্বাচ্ছন্দ্যে করা যেতে পারে।

কৃত্রিম নিউরাল নেটওয়ার্ক (ইনপুট / আউটপুট)

আপনার ডেটাতে এই জিনিসগুলির কোনও করা উচিত? উত্তরটি হল, এটা নির্ভরশীল।

ইনপুট বা টার্গেট ভেরিয়েবলগুলির মানককরণটি অপ্টিমাইজেশনের সমস্যার সংখ্যার অবস্থার উন্নতি করে ( ftp://ftp.sas.com/pub/neura/illcond/illcond.html দেখুন ) উন্নত করে এবং বিভিন্ন ডিফল্টকে নিশ্চিত করে প্রশিক্ষণ প্রক্রিয়াটিকে আরও ভাল করে তোলে আরম্ভ এবং সমাপ্তির সাথে জড়িত মানগুলি উপযুক্ত। লক্ষ্য নির্ধারণের উদ্দেশ্যগুলিও উদ্দেশ্যমূলক কার্যকে প্রভাবিত করতে পারে।

মামলার মানকে সতর্কতার সাথে যোগাযোগ করা উচিত কারণ এটি তথ্য বাতিল করে দেয়। যদি সেই তথ্য অপ্রাসঙ্গিক হয় তবে মানকে মানিয়ে নেওয়া বেশ সহায়ক হতে পারে। যদি সেই তথ্যটি গুরুত্বপূর্ণ হয় তবে মানকে মান্য করা বিপর্যয়কর হতে পারে।

---

মজার বিষয় হল, পরিমাপের ইউনিটগুলি পরিবর্তন করা এমনকি একজনকে একটি খুব আলাদা ক্লাস্টারিং কাঠামো দেখাতে পারে: কাউফম্যান, লিওনার্ড এবং পিটার জে রুসিউউ .. "ডেটাগুলিতে গোষ্ঠী সন্ধান করা: গুচ্ছ বিশ্লেষণের একটি ভূমিকা"। (2005)।

কিছু অ্যাপ্লিকেশনগুলিতে, পরিমাপের ইউনিটগুলি পরিবর্তন করাও একজনকে একটি খুব আলাদা ক্লাস্টারিং কাঠামো দেখতে পারে। উদাহরণস্বরূপ, চারটি কাল্পনিক ব্যক্তির বয়স (বছরগুলিতে) এবং উচ্চতা (সেন্টিমিটারে) টেবিল 3 এ দেওয়া হয়েছে এবং চিত্র 3 তে প্লট করা হয়েছে এটি প্রদর্শিত হয় যে {এ, বি) এবং {সি, 0) দুটি ভাল বিচ্ছিন্ন গুচ্ছ । অন্যদিকে, যখন উচ্চতায় পায়ে প্রকাশ করা হয় তখন সারণি 4 এবং চিত্র 4 পাওয়া যায়, যেখানে সুস্পষ্ট ক্লাস্টারগুলি এখন {এ, সি} এবং {বি, ডি}} এই বিভাগটি প্রথম থেকে সম্পূর্ণ আলাদা কারণ প্রতিটি বিষয় অন্য সহকর্মী পেয়েছে। (চিত্র 4 যদি বয়স কয়েক দিনের মধ্যে পরিমাপ করা হত তবে আরও চ্যাপ্টা হত))

পরিমাপ ইউনিটগুলির পছন্দের উপর এই নির্ভরতা এড়াতে, কোনওটির কাছে ডেটা মানক করার বিকল্প রয়েছে। এটি মূল পরিমাপকে ইউনিটলেস ভেরিয়েবলগুলিতে রূপান্তর করে।

কাউফম্যান এট আল। কিছু আকর্ষণীয় বিবেচনার সাথে অবিরত (পৃষ্ঠা 11):

দার্শনিক দৃষ্টিকোণ থেকে, মানীকরণ আসলেই সমস্যার সমাধান করে না। প্রকৃতপক্ষে, পরিমাপের ইউনিটগুলির পছন্দগুলি ভেরিয়েবলগুলির আপেক্ষিক ওজনকে বাড়িয়ে তোলে। ছোট ইউনিটগুলিতে ভেরিয়েবল প্রকাশ করা হলে সেই ভেরিয়েবলের জন্য বৃহত্তর পরিসীমা বাড়ে, যার ফলে ফলাফলের কাঠামোর উপর একটি বড় প্রভাব পড়বে। অন্যদিকে, উদ্দেশ্যপ্রণালী অর্জনের প্রত্যাশায়, একটিকে সমস্ত ভেরিয়েবলকে সমান ওজন দেয়ার প্রয়াসকে মানক করে। এর মতো, এটি কোনও অনুশীলনকারী দ্বারা ব্যবহার করা যেতে পারে যার কোনও পূর্ব জ্ঞান নেই। তবে এটি ভালভাবে হতে পারে যে কোনও নির্দিষ্ট প্রয়োগের ক্ষেত্রে কিছু পরিবর্তনশীল অন্যদের চেয়ে অভ্যন্তরীণভাবে আরও বেশি গুরুত্বপূর্ণ এবং তারপরে ওজনের কার্যনির্বাহী বিষয় সম্পর্কিত জ্ঞানের উপর ভিত্তি করে হওয়া উচিত (দেখুন, উদাহরণস্বরূপ, আব্রাহামোভিজ, 1985)। অন্য দিকে, ক্লাস্টারিং কৌশলগুলি তৈরি করার চেষ্টা করা হয়েছে যা ভেরিয়েবলগুলির স্কেলের চেয়ে পৃথক (ফ্রেডম্যান এবং রুবিন, 1967)। হার্ডি এবং রাসনের প্রস্তাব (1982) ক্লাস্টারগুলির উত্তল হালগুলির মোট পরিমাণকে হ্রাস করে এমন একটি পার্টিশন অনুসন্ধান করা। নীতিগতভাবে এই জাতীয় পদ্ধতিটি ডেটাগুলির রৈখিক রূপান্তরগুলির সাথে সম্পর্কিত, তবে দুর্ভাগ্যক্রমে এর বাস্তবায়নের জন্য কোনও অ্যালগরিদম বিদ্যমান নেই (দুটি মাত্রায় সীমাবদ্ধ এমন একটি আনুমানিক ব্যতীত)। অতএব, বর্তমানে মানকতার দ্বিধাটি অপরিহার্য বলে মনে হয় এবং এই বইয়ে বর্ণিত প্রোগ্রামগুলি ব্যবহারকারীকে পছন্দ পর্যন্ত ছেড়ে দেয়। হার্ডি এবং রাসনের প্রস্তাব (1982) ক্লাস্টারগুলির উত্তল হালগুলির মোট পরিমাণকে হ্রাস করে এমন একটি পার্টিশন অনুসন্ধান করা। নীতিগতভাবে এই জাতীয় পদ্ধতিটি ডেটাগুলির রৈখিক রূপান্তরগুলির সাথে সম্পর্কিত, তবে দুর্ভাগ্যক্রমে এর বাস্তবায়নের জন্য কোনও অ্যালগরিদম বিদ্যমান নেই (দুটি মাত্রায় সীমাবদ্ধ এমন একটি আনুমানিক ব্যতীত)। সুতরাং, মানীকরণের দ্বিধা বর্তমানে অপ্রয়োজনীয় বলে মনে হয় এবং এই বইয়ে বর্ণিত প্রোগ্রামগুলি ব্যবহারকারীকে পছন্দ ছেড়ে দেয়। হার্ডি এবং রাসনের প্রস্তাব (1982) ক্লাস্টারগুলির উত্তল হালগুলির মোট পরিমাণকে হ্রাস করে এমন একটি পার্টিশন অনুসন্ধান করা। নীতিগতভাবে এই জাতীয় পদ্ধতিটি ডেটাগুলির রৈখিক রূপান্তরগুলির সাথে সম্পর্কিত, তবে দুর্ভাগ্যক্রমে এর বাস্তবায়নের জন্য কোনও অ্যালগরিদম বিদ্যমান নেই (দুটি মাত্রায় সীমাবদ্ধ এমন একটি আনুমানিক ব্যতীত)। সুতরাং, মানীকরণের দ্বিধা বর্তমানে অপ্রয়োজনীয় বলে মনে হয় এবং এই বইয়ে বর্ণিত প্রোগ্রামগুলি ব্যবহারকারীকে পছন্দ ছেড়ে দেয়।

Answer 4

বৈশিষ্ট্য স্কেলিং কেন কাজ করে? আমি আপনাকে একটি উদাহরণ দিতে পারি ( কোওড়া থেকে )

$30000-$

Comments

যদি আপনি কোওড়া থেকে একটি পোস্ট উদ্ধৃত করছেন, আপনার উত্সটির সাথে লিঙ্কটি করা দরকার।

— ম্যাথু ড্রুরি

Answer 5

দুটি পৃথক সমস্যা রয়েছে:

ক) সঠিক ফাংশন শেখা যেমন কে-মানে: ইনপুট স্কেলটি মূলত সাদৃশ্যটি নির্দিষ্ট করে, সুতরাং প্রাপ্ত ক্লাস্টারগুলি স্কেলিংয়ের উপর নির্ভর করে। নিয়ন্ত্রণ - যেমন l2 ওজন নিয়মিতকরণ - আপনি ধরে নিয়েছেন যে প্রতিটি ওজন "সমানভাবে ছোট" হওয়া উচিত - যদি আপনার ডেটা "যথাযথভাবে" স্কেল না করা হয় তবে এটি হবে না case

খ) অনুকূলকরণ, যথা গ্রেডিয়েন্ট বংশোদ্ভূত (যেমন সর্বাধিক নিউরাল নেটওয়ার্ক)। গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার জন্য, আপনার শিখার হারটি বেছে নেওয়া দরকার ... তবে একটি ভাল শিক্ষার হার (কমপক্ষে ১ ম লুকানো স্তরের উপর) ইনপুট স্কেলিংয়ের উপর নির্ভর করে: ছোট [প্রাসঙ্গিক] ইনপুটগুলির জন্য সাধারণত বড় ওজন প্রয়োজন হয়, সুতরাং আপনি আরও বৃহত্তর শিখতে চান এই ওজনগুলির জন্য হার (সেখানে দ্রুত পৌঁছানোর জন্য), এবং বড় ইনপুটগুলির জন্য ভিভি ... আপনি যেহেতু কেবলমাত্র একটি একক শিক্ষার হার ব্যবহার করতে চান, আপনি আপনার ইনপুটগুলি পুনরুদ্ধার করবেন। (এবং ঝকঝকে করা অর্থাত্ ডেকোরোলেটিং একই কারণে গুরুত্বপূর্ণ)

Answer 6

আমি জেফ্রি হিন্টনের নিউরাল নেটওয়ার্কস মেশিন লার্নিং ফর কোরসেরে সমাপ্ত করছি , এবং তিনি 6 বি লেকচারে এটি ব্যাখ্যা করেছেন: "মিনি ব্যাচের গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার জন্য একটি ব্যাগ কৌশল।" আপনি সাইন আপ বা সাইন ইন না করে ভিডিওটি পূর্বরূপ দেখতে পারেন ।

Answer 7

এই কাগজটি কেবলমাত্র কে-অর্থ সম্পর্কে আলোচনা করে তবে এটি যথেষ্ট সুন্দরভাবে ডেটার প্রিপ্রোসেসিংয়ের প্রয়োজনীয়তা ব্যাখ্যা করে এবং প্রমাণ করে।

স্ট্যান্ডার্ডাইজেশন হ'ল ডেটা মাইনিংয়ের কেন্দ্রীয় প্রাকপ্রসেসিং পদক্ষেপ, বিভিন্ন গতিশীল পরিসর থেকে একটি নির্দিষ্ট পরিসরে বৈশিষ্ট্য বা বৈশিষ্ট্যের মানগুলিকে মানিক করে তোলার জন্য। এই গবেষণাপত্রে, আমরা প্রচলিত কে-মানে অ্যালগরিদমের তিনটি মানক পদ্ধতির পারফরম্যান্স বিশ্লেষণ করেছি। সংক্রামক রোগের ডেটাসেটের ফলাফলগুলির তুলনা করে, এটি সন্ধান করা হয়েছিল যে জেড-স্কোর মানককরণ পদ্ধতি দ্বারা প্রাপ্ত ফলাফলটি ন্যূনতম-সর্বোচ্চ এবং দশমিক স্কেলিং মানককরণ পদ্ধতির চেয়ে কার্যকর এবং দক্ষ is

।

... বড় আকার বা দুর্দান্ত পরিবর্তনশীলতার সাথে যদি কিছু বৈশিষ্ট্য থাকে তবে এই ধরণের বৈশিষ্ট্যগুলি ক্লাস্টারিংয়ের ফলাফলকে দৃ strongly়ভাবে প্রভাবিত করবে। এক্ষেত্রে ডেটাসেটের ভেরিয়েবিলিটি স্কেল বা নিয়ন্ত্রণ করার জন্য ডেটা মান নির্ধারণ একটি গুরুত্বপূর্ণ প্রাকপ্রসেসিং টাস্ক হবে।

।

... বৈশিষ্ট্যগুলি মাত্রাবিহীন হওয়া প্রয়োজন যেহেতু মাত্রিক বৈশিষ্ট্যগুলির পরিসীমাগুলির সংখ্যাগত মানগুলি পরিমাপের এককগুলির উপর নির্ভর করে এবং তাই, পরিমাপের এককগুলির একটি নির্বাচন ক্লাস্টারিংয়ের ফলাফলগুলিকে উল্লেখযোগ্যভাবে পরিবর্তন করতে পারে। অতএব, ডেটা সেটগুলিকে সাধারণীকরণ না করে ইউক্লিডিয়ান দূরত্বের মতো দূরত্ব ব্যবস্থা গ্রহণ করা উচিত নয়

সূত্র: http://maxwellsci.com/print/rjaset/v6-3299-3303.pdf

Answer 8

প্রাক-প্রক্রিয়াজাতকরণ প্রায়শই কাজ করে কারণ এটি এমন ডেটার বৈশিষ্ট্যগুলি সরিয়ে দেয় যা আপনি সমাধান করার চেষ্টা করছেন এমন শ্রেণিবিন্যাস সমস্যার সাথে সম্পর্কিত নয়। বিভিন্ন স্পিকারের শব্দ ডেটা শ্রেণিবদ্ধ করার জন্য উদাহরণস্বরূপ চিন্তা করুন। জোরে (প্রশস্ততা) মধ্যে ওঠানামা অপ্রাসঙ্গিক হতে পারে, যখন ফ্রিকোয়েন্সি বর্ণালী সত্যই প্রাসঙ্গিক দিক। সুতরাং এই ক্ষেত্রে, প্রশস্ততা স্বাভাবিক করা বেশিরভাগ এমএল অ্যালগরিদমগুলির জন্য সত্যই সহায়ক হবে কারণ এটি ডেটার এমন একটি দিককে অপসারণ করে যা অপ্রাসঙ্গিক এবং স্নায়ুবিক নেটওয়ার্ককে জালিয়াতিপূর্ণ নিদর্শনগুলির সাথে মানিয়ে নিতে পারে।

Answer 9

আমি মনে করি যে এটি এত সহজে করা হয়েছে যাতে কোনও বৃহত্তর মান সহ বৈশিষ্ট্যটি কোনও শ্রেণিবদ্ধ শেখার সময় কোনও ছোট মান সহ বৈশিষ্ট্যের প্রভাবগুলিকে ছায়া না দেয়। এটি বিশেষত গুরুত্বপূর্ণ হয়ে ওঠে যদি ছোট মানগুলির বৈশিষ্ট্যটি আসলে শ্রেণি পৃথককরণের ক্ষেত্রে অবদান রাখে log .এলগোরিদিমকে আরও ভাল রূপান্তর করতে সহায়তা করে। সুতরাং এগুলিকে আমাদের অ্যালগরিদমে কোড করার সময় আমরা কোনও সম্ভাবনা গ্রহণ করি না। শ্রেণিবদ্ধকারীদের পক্ষে এই জাতীয় বৈশিষ্ট্যগুলির অবদান (ওজন) শিখতে এটি অনেক সহজ। কে এর ক্ষেত্রে সত্যিকার অর্থে ইউক্লিডিয়ান নীতিগুলি ব্যবহার করার সময় (স্কেলের কারণে বিভ্রান্তি)। কিছু অ্যালগরিদমও স্বাভাবিক না করে কাজ করতে পারে।