সমস্ত মেশিন লার্নিং অ্যালগরিদমগুলি লাইনগতভাবে আলাদা আলাদা ডেটা করে?

আমি প্রোগ্রামিং এবং মেশিন লার্নিংয়ের উত্সাহী। মাত্র কয়েক মাস আগে আমি মেশিন লার্নিং প্রোগ্রামিং সম্পর্কে শিখতে শুরু করি। যাদের পরিমাণগত বিজ্ঞানের পটভূমি নেই তাদের মতো আমিও বহুল ব্যবহৃত এমএল প্যাকেজের (ক্যারেট আর) অ্যালগরিদম এবং ডেটাসেটগুলির সাথে টিঙ্কারিং করে এমএল সম্পর্কে শিখতে শুরু করি।

কিছুক্ষণ আগে আমি একটি ব্লগ পড়েছিলাম যেখানে লেখক এমএলগুলিতে লিনিয়ার রিগ্রেশন ব্যবহারের বিষয়ে কথা বলেন। যদি আমি সঠিক মনে রাখছি তবে তিনি লিনিয়ার বা অ-রৈখিক সমস্যার জন্য এমনকি সমস্ত মেশিন লার্নিং কীভাবে একরকম "লিনিয়ার রিগ্রেশন" ব্যবহার করেন (নিশ্চিত যে তিনি এই সঠিক শব্দটি ব্যবহার করেছেন কিনা তা নিশ্চিত নয়) সে সম্পর্কে তিনি কথা বলেছেন। এই সময়টির অর্থ তিনি কী বোঝাতে চেয়েছিলেন তা আমি বুঝতে পারি নি।

অ-রৈখিক ডেটার জন্য মেশিন লার্নিংয়ের ব্যবহার সম্পর্কে আমার বোঝা হ'ল ডেটা পৃথক করার জন্য একটি লিনিয়ার অ্যালগোরিদম ব্যবহার করা।

এই আমার চিন্তা ছিল

লিনিয়ার ডেটা শ্রেণিবদ্ধ করতে বলি আমরা লিনিয়ার সমীকরণ এবং অ লিনিয়ার ডেটার জন্য আমরা অ-রৈখিক সমীকরণটি বলি $y=mx+c$ $y=sin(x)$

এই চিত্রটি সহায়তা ভেক্টর মেশিনের সিকিট লার্নিং ওয়েবসাইট থেকে নেওয়া হয়েছে। এসভিএম-এ আমরা এমএল উদ্দেশ্যে বিভিন্ন কার্নেল ব্যবহার করেছি। সুতরাং আমার প্রাথমিক চিন্তা ছিল লিনিয়ার কার্নেল একটি লিনিয়ার ফাংশন ব্যবহার করে ডেটা পৃথক করে এবং আরবিএফ কার্নেল ডেটা পৃথক করতে একটি অ-লিনিয়ার ফাংশন ব্যবহার করে।

তবে তখন আমি এই ব্লগটি দেখেছি যেখানে লেখক নিউরাল নেটওয়ার্কগুলি সম্পর্কে কথা বলেছেন।

বাম সাবপ্লোটে অ-রৈখিক সমস্যাটিকে শ্রেণিবদ্ধ করার জন্য, নিউরাল নেটওয়ার্ক তথ্যটিকে এমনভাবে রূপান্তরিত করে যে শেষ পর্যন্ত আমরা ডান উপ-প্লটের রূপান্তরিত তথ্যে সাধারণ রৈখিক পৃথকীকরণটি ব্যবহার করতে পারি

আমার প্রশ্নটি হচ্ছে যে সমস্ত মেশিন লার্নিং অ্যালগরিদমগুলি শেষ পর্যন্ত শ্রেণিবদ্ধের (লিনিয়ার / অ-লিনিয়ার ডেটাসেট) রৈখিক বিভাজন ব্যবহার করে?

machine-learning

— Eka থেকে
সূত্র

সম্পর্কিত: stats.stackexchange.com/questions/164048/…

— সাইকোরাক্স

\sin (x)

$\sin(x)$

s = \sin (x)

$s=\sin(x)$

y = θ_{0} + θ_{1} s

$y=\theta_0+\theta_1 s$

আমি এই থ্রেডে এমবিকিউর উত্তরও পছন্দ করি, আমাকে সমর্থন ভেক্টর মেশিনগুলি বুঝতে সহায়তা করুন ।

— অ্যান্ডি ডাব্লু

উত্তর:

উত্তর নং। ইউজার ২০১201০-এর একটি সঠিক উত্তর রয়েছে, আমি ধারণাটি চিত্রিত করার জন্য ভিজ্যুয়ালাইজেশনের সাথে 3 টি উদাহরণ যুক্ত করব। দ্রষ্টব্য, এই চক্রান্তগুলি "চূড়ান্ত সিদ্ধান্ত" লিনিয়ার আকারে রয়েছে কিনা তা দেখার জন্য আপনার পক্ষে সহায়ক নাও হতে পারে তবে গাছ, উত্সাহ এবং কেএনএন সম্পর্কে আপনাকে কিছু ধারণা দেয়।

আমরা সিদ্ধান্ত গাছ দিয়ে শুরু করব। অনেকগুলি বিভাজন সহ, এটি একটি অ-রৈখিক সিদ্ধান্তের সীমানা। এবং আমরা ভাবতে পারি না পূর্ববর্তী সমস্ত বিভাজনগুলি "বৈশিষ্ট্য রূপান্তর" এবং শেষে একটি চূড়ান্ত সিদ্ধান্তের লাইন রয়েছে।

আরেকটি উদাহরণ হ'ল বুস্টিং মডেল, যা অনেকগুলি "দুর্বল শ্রেণিবদ্ধ "কে একত্রিত করে এবং চূড়ান্ত সিদ্ধান্তের সীমানা রৈখিক নয়। চূড়ান্ত পূর্বাভাস দেওয়ার জন্য আপনি এটি একটি জটিল কোড / অ্যালগোরিদম সম্পর্কে ভাবতে পারেন।

পরিশেষে, কে নিকটস্থ প্রতিবেশীদের (কেএনএন) সম্পর্কে চিন্তা করুন। এটি শেষ স্তরের লিনিয়ার সিদ্ধান্তের কাজ নয়। তদতিরিক্ত, কেএনএন-তে কোনও "বৈশিষ্ট্য রূপান্তর" নেই।

এখানে 2 ডি স্পেসে তিনটি ভিজ্যুয়ালাইজেশন রয়েছে (গাছ, বুস্টিং এবং কেএনএন উপরে থেকে নীচে)। গ্রাউন্ড ট্রুথ 2 স্পাইরাল দুটি শ্রেণির প্রতিনিধিত্ব করে এবং বাম সাবপ্লট মডেল থেকে ভবিষ্যদ্বাণী এবং ডান সাবপ্লট হ'ল মডেল থেকে সিদ্ধান্তের সীমানা।

সম্পাদনা: এই পোস্টে @ এসএসডেকট্রোলের উত্তরটি অন্য একটি দৃষ্টিকোণ দেয়।

এটি কীভাবে আমরা "রূপান্তর" সংজ্ঞায়িত করি তার উপর নির্ভর করে ।

যে কোনও ক্রিয়াকলাপ যা ডাটাকে দুটি টুকরো করে বিভক্ত করে সেটিকে এই ফর্মের একটি রৈখিক মডেলে রূপান্তরিত করা যেতে পারে, একটি বিরতি এবং একক ইনপুট (যা একটি বিভাগ যা "পার্টিশনের" পাশ "এর উপাত্তে তথ্য বিন্দুতে রয়েছে) দ্বারা রূপান্তরিত হতে পারে। সিদ্ধান্তের কার্য এবং সিদ্ধান্তের সীমার মধ্যে পার্থক্যটি নোট করা গুরুত্বপূর্ণ।

— হাইতাও ডু
সূত্র

আমি সমালোচনা করতে চাই না, তবে বুস্টিং কিছুটা রুক্ষ মনে হচ্ছে, না? বিভিন্ন পরামিতিগুলির সাথে কি মসৃণ ফলাফল পাওয়া সম্ভব নয়? নৈমিত্তিক হওয়ার জন্য দুঃখিত, কারণ আমি সমস্ত ব্যাখ্যা খুব ভাল খুঁজে।

— ওয়াইসিআর

@ ওয়াইসিআর আমি মনে করি যে এটি আপনার উত্সাহের সিদ্ধান্তের সীমানা যেখানে বাড়াতে হবে। রুক্ষতা অনেকগুলি দুর্বল শ্রেণিবদ্ধকে একত্রিত করার কারণে ঘটে (উদাহরণস্বরূপ, তারা গাছ)। তবে আমি আপনার সাথে একমত যে দ্বিতীয় উদাহরণটি একটি ভাল মডেল নয়, এবং এটি অত্যধিক উপযোগী :)

— হাইতাও ডু

(+1) দুর্দান্ত দর্শন (আমি spiralsআমার পরীক্ষাগুলিতেও প্রচুর ব্যবহার করি)। কোনো প্রস্তাবনা: যেমন সিদ্ধান্ত গণ্ডি প্লটে বিভক্ত image, এবং সম্ভবত probabiliity মাত্রায় (যদি আপনি সম্ভাব্য আউটপুট ব্যবহার করছেন) যোগ contour।

— ফায়ারব্যাগ

@ ফায়ারবাগ দুর্দান্ত পরামর্শ! এই প্লটটি গ্রিডে উত্পন্ন এবং কেবলমাত্র আপনাকে চূড়ান্ত লেবেল বলতে পারে। কনট্যুর অনেক ভাল।

— হাইতাও ডু

আমার উত্তর এখানে দেখুন: stats.stackexchange.com/a/218578/60613

— ফায়ারব্যাগ

কিছু অ্যালগরিদম ডেটা আলাদা করতে হাইপারপ্লেন (অর্থাত্ লিনিয়ার ফাংশন) ব্যবহার করে। একটি প্রধান উদাহরণ লজিস্টিক রিগ্রেশন। অন্যরা ননলাইনার ট্রান্সফর্মেশন (যেমন নিউরাল নেটওয়ার্ক এবং ননলাইনার কার্নেল সহ ভেক্টর মেশিন সমর্থন করে) এর পরে ডেটা পৃথক করতে হাইপারপ্লেন ব্যবহার করে। এই ক্ষেত্রে, সিদ্ধান্তের সীমানাটি মূল ডেটা স্পেসে ননলাইনার, তবে বৈশিষ্ট্য স্পেসে লিনিয়ার যেখানে ডেটা ম্যাপ করা হয়। এসভিএমগুলির ক্ষেত্রে, কার্নেল সূত্রটি এই ম্যাপিংটিকে অন্তর্নিহিতভাবে সংজ্ঞায়িত করে। অন্যান্য অ্যালগরিদমগুলি ডেটা স্পেসের স্থানীয় অঞ্চলে একাধিক বিভক্ত হাইপারপ্লেন ব্যবহার করে (যেমন সিদ্ধান্তের গাছ)। এই ক্ষেত্রে, সিদ্ধান্তের সীমানাটি টুকরোচক লিনিয়ার (তবে সামগ্রিকভাবে ননলাইনার)।

তবে অন্যান্য অ্যালগরিদমের ননলাইন সংক্রান্ত সিদ্ধান্তের সীমানা রয়েছে এবং হাইপারপ্লেনের ক্ষেত্রে এটি তৈরি করা হয় না। একটি সুস্পষ্ট উদাহরণ k নিকটতম প্রতিবেশীদের শ্রেণিবিন্যাস। এনসেম্বল ক্লাসিফায়ারগুলি (যেমন উত্সাহিতকরণ বা অন্যান্য শ্রেণিবদ্ধকারীদের ব্যাগিং দ্বারা উত্পাদিত) সাধারণত ননলাইনার।

— user20160
সূত্র

নিউরালার নেটওয়ার্ক ননলাইনার রূপান্তরের পরে হাইপারপ্লেন ব্যবহার করে এমন একটি মডেল শ্রেণির একটি ভাল উদাহরণ নয়। আউটপুট স্তরটি সিগময়েড অ্যাক্টিভেশন হতে পারে (বেশিরভাগ ক্ষেত্রে) আপনি পূর্ববর্তী স্তরগুলিকে কোনও বৈশিষ্ট্যের জায়গায় অ-রৈখিক রূপান্তর হিসাবে ধরে নেন given

— ক্যাগডাস ওজজেঙ্ক

@ ক্যাগডাস ওজেনসিঙ্ক আপনার পরামর্শ হিসাবে বাইনারি শ্রেণিবদ্ধকরণ এবং একটি নেটওয়ার্ক ডাব্লু / সিগময়েডাল আউটপুট কেস বিবেচনা করুন। এটি পূর্ববর্তী স্তরের অ্যাক্টিভেশনগুলিতে লজিস্টিক রিগ্রেশনের সমতুল্য (সফটম্যাক্স আউটপুট ব্যবহার বহুজাতিক লজিস্টিক রিগ্রেশনের সমতুল্য)। সুতরাং, সিদ্ধান্তের সীমানা বৈশিষ্ট্য জায়গার একটি হাইপারপ্লেন। মূল প্রশ্নের চিত্রটি এর দুর্দান্ত উদাহরণ দেখায়।

— ব্যবহারকারী20160

আমি বুঝতে পারি যে যখন f (Ax) = 0 এবং f এক থেকে এক হয় আপনি কেবল (Ax) = f ^ -1 (0) => Ax = 0 (বা কিছু ধ্রুবক সি) এর f ^ -1 করতে পারেন। সুতরাং সিগময়েডের ক্ষেত্রে, আপনি একটি লিনিয়ার সিদ্ধান্তের সীমানা পান। মূলত আমরা কেসগুলি যখন অদলবদল না করে সেগুলি সম্পর্কে কথা বলছি?

— ক্যাগডাস ওজগেনেক

চ কি আউটপুট নিউরনের অ্যাক্টিভেশন ফাংশন এবং x পূর্ববর্তী স্তরটির আউটপুট x? আপনি কী জিজ্ঞাসা করছেন তা আমি নিশ্চিত তা নিশ্চিত নই Not

— ব্যবহারকারী20160

x হ'ল পূর্ববর্তী স্তরের নিউরোন থেকে আগত ভেক্টর এবং এফ আউটপুট অ্যাক্টিভেশন ফাংশন।

— ক্যাগডাস ওজগেনেক