এসভিএমের পাশাপাশি ফিচার স্কেলিংয়ের জন্য কোন অ্যালগরিদমগুলির প্রয়োজন?


17

আমি অনেক অ্যালগরিদম নিয়ে কাজ করছি: র‌্যান্ডমফোরস্ট, ডিসিশনট্রিজ, নাইভবেইস, এসভিএম (কার্নেল = লিনিয়ার এবং আরবিএফ), কেএনএন, এলডিএ এবং এক্সজিবিস্ট। এসভিএম বাদে সকলেই বেশ দ্রুত ছিল। এটি যখন আমি জানতে পারলাম দ্রুত কাজ করার জন্য এটির বৈশিষ্ট্য স্কেলিং প্রয়োজন। তারপরে আমি ভাবতে শুরু করি যে অন্য অ্যালগরিদমের জন্য আমারও একই করা উচিত।



উত্তর:


21

সাধারণভাবে, কে-এনএন এবং এসভিএম এর মতো ডেটা নমুনাগুলির মধ্যে দূরত্ব বা সাদৃশ্যগুলি (যেমন স্কেলারের পণ্য আকারে) শোষণ করে এমন অ্যালগরিদমগুলি বৈশিষ্ট্য পরিবর্তনের ক্ষেত্রে সংবেদনশীল।

গ্রাফিকাল-মডেল ভিত্তিক শ্রেণিবদ্ধ, যেমন ফিশার এলডিএ বা নাইভ বেইস, পাশাপাশি ডিসিশন ট্রি এবং ট্রি-ভিত্তিক এনসেম্বল পদ্ধতিগুলি (আরএফ, এক্সজিবি) বৈশিষ্ট্য স্কেলিংয়ের জন্য অবিচ্ছিন্ন, তবে এখনও আপনার ডেটা পুনরুদ্ধার / স্ট্যান্ডার্ডাইজ করা ভাল ধারণা হতে পারে ।


3
+1 টি। কেবল লক্ষ্য করুন যে এক্সজিবিস্ট লিনিয়ার বৃদ্ধির উপর ভিত্তি করে একটি দ্বিতীয় অ্যালগরিদমও বাস্তবায়ন করে। স্কেলিং সেখানে একটি পার্থক্য তৈরি করবে।
usεr11852 22

2
আপনি কি আরএফ এবং এক্সজিবি-র জন্য ডেটা পুনরুদ্ধার / স্ট্যান্ডার্ডাইজিং সম্পর্কে আরও বিস্তারিত বলতে পারেন? আমি দেখতে পাচ্ছি না এটি কীভাবে মডেলের মানকে প্রভাবিত করতে পারে।
টোমেক তারকজেনস্কি

17

Http://www.dataschool.io/compering-supervised-learning-algorithms/ এ আমি খুঁজে পেয়েছি এমন একটি তালিকা যা নির্দেশ করে যে কোন শ্রেণিবদ্ধকে বৈশিষ্ট্য স্কেলিংয়ের প্রয়োজন :

এখানে চিত্র বর্ণনা লিখুন

পূর্ণ টেবিল:

এখানে চিত্র বর্ণনা লিখুন

ইন K-মানে ক্লাস্টারিং আপনার কাছে আপনার ইনপুট স্বাভাবিক প্রয়োজন

ক্লাসিফায়ার ইয়েল বন্ডের উল্লেখ অনুসারে দূরত্ব বা মিলগুলি ব্যবহার করে কিনা তা বিবেচনা করার পাশাপাশি স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত বৈশিষ্ট্য স্কেলিংয়ের প্রতিও সংবেদনশীল (যেহেতু স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত আপডেট সমীকরণের শিক্ষার হার প্রতিটি প্যারামিটারের জন্য একই is 1}):

এখানে চিত্র বর্ণনা লিখুন


তথ্যসূত্র:


এই উত্তর থেকে কী অভাব হয় তার কিছু ব্যাখ্যা কেন !! তার জন্য আমার উত্তর দেখুন।
কেজেটিল বি হালওয়ারসেন 21

2
@ কেজেটিভালভর্সেন ভালভাবে আমি কে-ইন্সগুলি এবং এসজিডির জন্য ব্যাখ্যা করেছি, তবে আরও অনেক অ্যালগরিদম এবং মডেল রয়েছে। স্ট্যাক এক্সচেঞ্জে 30k-চর সীমা রয়েছে :)
ফ্রাঙ্ক ডারনকোর্ট

কিছুটা সম্পর্কিত: stats.stackexchange.com/questions/231285/…
kjetil b halvorsen

@ ফ্র্যাঙ্কডেরননকোর্ট আমি কি আপনাকে এই বিষয়ে একটি প্রশ্ন ভবন জিজ্ঞাসা করতে পারি? আমার কাছে শ্রেণিবদ্ধ এবং অবিচ্ছিন্ন উভয় ডেটার একটি ডেটাসেট রয়েছে যার জন্য আমি একটি এসভিএম তৈরি করছি। অবিচ্ছিন্ন তথ্য উচ্চ স্কু (দীর্ঘ লেজ)) একটানা উপর রূপান্তরের আমি কি করা উচিত log transformation / Box-Coxএবং তারপর আরো normalise the resultant data to get limits between 0 and 1? সুতরাং আমি লগ মানগুলি স্বাভাবিক করব। তারপরে অবিচ্ছিন্ন এবং শ্রেণিবদ্ধ (0-1) ডেটা একসাথে এসভিএম গণনা করবেন? আপনি যে কোনও সহায়তা দিতে পারেন তা চিয়ার্স।
চক

7

ওয়াইআমি=β0+ +β1এক্সআমি+ +β2z- রআমি+ +εআমি
আমি=1,...,এন
এক্সআমি*=(এক্সআমি-এক্স¯)/SD(এক্স)z- রআমি*=(z- রআমি-z- র¯)/SD(z- র)
ওয়াইআমি=β0*+ +β1*এক্সআমি*+ +β2*z- রআমি*+ +εআমি
তারপরে লাগানো প্যারামিটার (বিটা) পরিবর্তন হবে তবে সেগুলি এমনভাবে পরিবর্তিত হবে যা প্রয়োগ করা রূপান্তর থেকে আপনি সাধারণ বীজগণিত দ্বারা গণনা করতে পারেন। সুতরাং আমরা যদি রূপান্তরিত ভবিষ্যদ্বাণী ব্যবহার করে মডেল থেকে অনুমান করা বিটাগুলিকে কল করিβ1,2* এবং অপরিবর্তিত মডেলটির সাহায্যে বিটাগুলি বোঝান β^1,2, ভবিষ্যদ্বাণীকারীদের উপায় এবং মানক বিচ্যুতিগুলি জেনে আমরা অন্যটি থেকে বিতার একটি সেট গণনা করতে পারি। ওএলএসের উপর ভিত্তি করে রূপান্তরিত এবং অপ্রত্যাশিত পরামিতিগুলির মধ্যে রিয়েলশনশিপটি তাদের অনুমানের মধ্যে একই। কিছু বীজগণিত হিসাবে সম্পর্ক দেবে
β0=β0β1x¯sd(x)β2z¯sd(z),β1=β1sd(x),β2=β2sd(z)
So standardization is not a necessary part of modelling. (It might still be done for other reasons, which we do not cover here). This answer depends also upon us using ordinary least squares. For some other fitting methods, such as ridge or lasso, standardization is important, because we loose this invariance we have with least squares. This is easy to see: both lasso and ridge do regularization based on the size of the betas, so any transformation which change the relative sizes of the betas will change the result!

And this discussion for the case of linear regression tells you what you should look after in other cases: Is there invariance, or is it not? Generally, methods which depends on distance measures among the predictors will not show invariance, so standardization is important. Another example will be clustering.


1
Can you explicitly show how one calculates one set of betas from the other in this particular example of scalings you have applied?
Mathews24

@kjetil আমি কি আপনাকে এই বিষয়ে একটি প্রশ্ন ভবন জিজ্ঞাসা করতে পারি? আমার কাছে শ্রেণিবদ্ধ এবং অবিচ্ছিন্ন উভয় ডেটার একটি ডেটাসেট রয়েছে, যার জন্য আমি একটি এসভিএম তৈরি করছি। অবিচ্ছিন্ন তথ্য উচ্চ স্কু (দীর্ঘ লেজ)) অবিচ্ছিন্ন রূপান্তরের জন্য আমার কি লগ ট্রান্সফর্মেশন / বক্স-কক্স করা উচিত এবং তারপরে 0 এবং 1 এর মধ্যে সীমা পেতে ফলাফল তথ্যকেও স্বাভাবিক করা উচিত? সুতরাং আমি লগ মানগুলি স্বাভাবিক করব। তারপরে অবিচ্ছিন্ন এবং শ্রেণিবদ্ধ (0-1) ডেটা একসাথে এসভিএম গণনা করবেন? আপনার যে কোনও সহায়তা সরবরাহের জন্য চিয়ার্স
চক

1
আপনি কি এটি একটি নতুন প্রশ্ন হিসাবে যুক্ত করতে পারেন? এখানে আবার রেফারেন্স সহ!
কেজেটিল বি হালওয়ারসেন
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.