এসভিএম অ্যালগরিদমের পিছনে পরিসংখ্যানের মডেলটি কী?

Question

আমি শিখেছি যে, মডেল-ভিত্তিক পদ্ধতির ব্যবহার করে ডেটা নিয়ে কাজ করার সময়, প্রথম পদক্ষেপটি একটি পরিসংখ্যানের মডেল হিসাবে ডেটা প্রক্রিয়াটিকে মডেলিং করা হয়। তারপরে পরবর্তী পদক্ষেপটি এই পরিসংখ্যানের মডেলের উপর ভিত্তি করে দক্ষ / দ্রুত সূচনা / শেখার অ্যালগরিদম বিকাশ করছে। সুতরাং আমি জিজ্ঞাসা করতে চাই কোন সমর্থন সংক্রান্ত ভেক্টর মেশিন (এসভিএম) অ্যালগরিদমের পিছনে কোন পরিসংখ্যানের মডেল রয়েছে?

Answer 1

আপনি প্রায়শই একটি মডেল লিখতে পারেন যা ক্ষতির ফাংশনের সাথে সামঞ্জস্য করে (এখানে আমি এসভিএম-শ্রেণিবিন্যাসের চেয়ে এসভিএম রিগ্রেশন সম্পর্কে কথা বলতে যাচ্ছি; এটি বিশেষত সহজ)

উদাহরণস্বরূপ, লিনিয়ার মডেলটিতে, যদি আপনার ক্ষতির ফাংশনটি তবে তা হ্রাস করুন যা f ∝ এক্সপ্রেসের সম্ভাব্যতার সাথে সামঞ্জস্য করবে ( - $\sum_i g(\varepsilon_i) = \sum_i g(y_i-x_i'\beta)$= exp ( - $f\propto \exp(-a\,g(\varepsilon))$ । (এখানে আমার একটি লিনিয়ার কার্নেল রয়েছে)$= \exp(-a\,g(y-x'\beta))$

যদি আমি সঠিকভাবে স্মরণ করি তবে এসভিএম-রিগ্রেশনটির এইরকম একটি ক্ষতির কার্যকারিতা রয়েছে:

এটি ঘনত্বের সাথে মিলে যায় যা ঘন ঘন লেজের সাথে মাঝখানে সমান (যেমন আমরা এর নেতিবাচক বা আরও কিছুটিকে নেতিবাচকভাবে দেখি)।

এর একটি 3 টি প্যারামিটার পরিবার রয়েছে: কোণার-অবস্থান (আপেক্ষিক সংবেদনশীলতা প্রান্তিক) প্লাস অবস্থান এবং স্কেল।

এটি একটি আকর্ষণীয় ঘনত্ব; যদি আমি কয়েক দশক আগে সেই নির্দিষ্ট বিতরণটি দেখে সঠিকভাবে মনে করি, তবে এটির জন্য অবস্থানের জন্য একটি ভাল অনুমানকারী যেখানে দুটি কোণ রয়েছে সেখানে যথাক্রমে দুটি প্রতিসাম্যযুক্ত-কোয়ান্টাইলগুলি যথাযথভাবে হয় (যেমন: মিডহিনজ এমএলইতে একটি বিশেষের জন্য একটি ভাল অনুমান দিতে পারে) এসভিএম ক্ষতিতে ধ্রুবক পছন্দ); স্কেল প্যারামিটারের জন্য একই ধরণের অনুমানকটি তাদের পার্থক্যের উপর ভিত্তি করে তৈরি করা হবে, তৃতীয় প্যারামিটারটি মূলত কোন পারসেন্টাইল কোণে রয়েছে তা নির্ধারণের সাথে মিল রাখে (এটি প্রায়শই এসভিএমের জন্য হয় বলে অনুমানের চেয়ে পছন্দ করা যেতে পারে)।

সুতরাং অন্তত এসভিএম রিগ্রেশনের জন্য এটি বেশ সোজা মনে হয়, কমপক্ষে যদি আমরা আমাদের সম্ভাবনা সর্বাধিক সম্ভাবনার দ্বারা নির্ধারণ করি choosing

(আপনি যদি জিজ্ঞাসা করতে চলেছেন ... এসভিএমের সাথে এই বিশেষ সংযোগের জন্য আমার কাছে কোনও রেফারেন্স নেই: আমি এখনই এটি কাজ করেছি however তবে এটি এতই সহজ যে, কয়েক ডজন লোক আমার আগে এটি কাজ করেছিল তাই কোনও সন্দেহ নেই এর জন্য উল্লেখ রয়েছে - আমি কখনই দেখিনি))

Comments

(আমি এর আগে অন্যত্র উত্তর দিয়েছিলাম তবে আমি এখানে মুছে ফেলেছি এবং আমি এখানে সরিয়ে নিয়েছি যখন আপনি এখানে জিজ্ঞাসা করেছিলেন; গণিত লেখার এবং ছবি অন্তর্ভুক্ত করার দক্ষতা এখানে আরও ভাল - এবং অনুসন্ধানের কাজটি আরও ভাল, সুতরাং এটি সন্ধান করা আরও সহজ কয়েক মাস)

— Glen_b -Rininstate Monica

$\ell_2$

ওপি যদি এসভিএম সম্পর্কে জিজ্ঞাসা করে তবে তিনি সম্ভবত শ্রেণিবদ্ধকরণে আগ্রহী (যা এসভিএমগুলির সর্বাধিক সাধারণ প্রয়োগ)। সেক্ষেত্রে ক্ষতি হিন্জ লস যা কিছুটা আলাদা (আপনার ক্রমবর্ধমান অংশ নেই)। মডেলটি সম্পর্কে, আমি শিক্ষাবিদদের সম্মেলনে বলতে শুনেছি যে সম্ভাব্য কাঠামো ব্যবহার না করেই এসভিএমগুলি শ্রেণিবিন্যাস সম্পাদনের জন্য প্রবর্তিত হয়েছিল । সম্ভবত সে কারণেই আপনি উল্লেখ খুঁজে পাচ্ছেন না। অন্যদিকে, আপনি

— জিম্মিক

কেবলমাত্র আপনার সম্ভাব্য কাঠামো থাকতে হবে না ... এর অর্থ এই নয় যে আপনি যা করছেন তার সাথে সামঞ্জস্য হয় না। কেউ স্বাভাবিকতা ধরে না নিয়ে সর্বনিম্ন স্কোয়ার করতে পারে তবে এটি বোঝা যায় যে এটি কী ভাল করছে ... এবং আপনি যখন এর কাছাকাছি কোথাও নেই যা এটি খুব কম ভাল করছে doing

— গ্লেন_বি -রিনস্টেট মনিকা

হয়তো icml-2011.org/papers/386_icmlpaper.pdf এই জন্য একটি রেফারেন্স (আমি শুধু এটা টানা করেছি)?

— লিন্ডন হোয়াইট

Answer 2

আমি মনে করি কেউ ইতিমধ্যে আপনার আক্ষরিক প্রশ্নের উত্তর দিয়েছে, তবে আমাকে একটি সম্ভাব্য বিভ্রান্তি পরিষ্কার করতে দিন।

আপনার প্রশ্নটি কিছুটা নীচের মতো:

$f(x) = \ldots$

অন্য কথায়, এটা অবশ্যই হয়েছে একটি বৈধ উত্তর (সম্ভবত এমনকি একটি অনন্য এক যদি আপনি নিয়মানুবর্তিতা সীমাবদ্ধতার আরোপ), কিন্তু এটা বরং একটি অদ্ভুত প্রশ্ন জিজ্ঞাসা করতে যেহেতু এটি একটি ডিফারেনশিয়াল সমীকরণ যে প্রথম স্থানে যে ফাংশন বৃদ্ধি দিয়েছেন ছিল না।
(অন্যদিকে, ডিফারেনশিয়াল সমীকরণ দেওয়া, এটা হল প্রাকৃতিক তার সমাধান জন্য জিজ্ঞাসা করতে, যে সাধারণত যেহেতু তুমি কেন সমীকরণ লিখুন!)

এখানে কেন: আমি মনে করি আপনি ডেটা থেকে যৌথ এবং শর্তসাপেক্ষ সম্ভাবনার অনুমানের ভিত্তিতে বিশেষত জেনারেটরি এবং বৈষম্যমূলক মডেলগুলি — বিশেষত, সম্ভাব্য / পরিসংখ্যান সংক্রান্ত মডেলগুলির বিষয়ে ভাবছেন ।

এসভিএম হয় না। এটি সম্পূর্ণ ভিন্ন ধরণের মডেল — এমন একটি যা সেগুলি ছাড়িয়ে যায় এবং চূড়ান্ত সিদ্ধান্তের সীমানা সরাসরি মডেল করার চেষ্টা করে, সম্ভাব্যতাগুলি দোষী করা যায়।

যেহেতু এটি সিদ্ধান্তের সীমানার আকৃতি সন্ধান করার বিষয়ে, এর পিছনে অন্তর্নিহিততা জ্যামিতিক (বা সম্ভবত আমাদের অপটিমাইজেশন-ভিত্তিক বলতে হবে) সম্ভাব্য বা পরিসংখ্যানের তুলনায় নয়।

প্রদত্ত সম্ভাবনাগুলি সত্যই যে পথে কোথাও বিবেচনা করা হয় না, তারপরে, এটি সম্পর্কিত সম্ভাব্য মডেল কী হতে পারে তা জিজ্ঞাসা করা বরং অস্বাভাবিক, এবং বিশেষত যেহেতু পুরো লক্ষ্যটি সম্ভাবনার বিষয়ে চিন্তা করা এড়ানো ছিল । সুতরাং আপনি কেন লোকেরা তাদের সম্পর্কে কথা বলতে দেখেন না।

Comments

আমি মনে করি আপনি আপনার পদ্ধতির অন্তর্নিহিত পরিসংখ্যানের মডেলগুলির মূল্য ছাড় দিচ্ছেন। এটি দরকারী কারণ হ'ল এটি আপনাকে জানায় যে কোনও পদ্ধতির পিছনে কী অনুমান রয়েছে। আপনি যদি এগুলি জানেন তবে আপনি বুঝতে পারবেন যে এটি কোন পরিস্থিতিতে লড়াই করবে এবং কখন এটি সাফল্য লাভ করবে। আপনি যদি অন্তর্নিহিত মডেলটি থাকেন তবে আপনি মূলতঃ এসভিএমকে সাধারণভাবে বাড়াতে ও সক্ষম করতে পারেন।

— সম্ভাব্যতাব্লোগিক

@ প্রব্যাবিলিসিলোগিক: "আমি মনে করি আপনি আপনার পদ্ধতির অন্তর্নিহিত পরিসংখ্যানের মডেলগুলির মূল্য ছাড় করছেন।" ... আমি মনে করি আমরা একে অপরের অতীত কথা বলছি। আমি কি বলতে চাইছি সেখানে যে নয় পদ্ধতি পিছনে একটি পরিসংখ্যানগত মডেল। আমি বলছি না যে এটি পোস্টেরিয়েরির সাথে খাপ খায় এমন কোনও ব্যক্তির সাথে আসা সম্ভব নয়, তবে আমি এটি বোঝানোর চেষ্টা করছি যে এটি কোনওভাবেই "পিছনে" নয়, বরং সত্যের পরে এটি "ফিট" রয়েছে । আমি এও বলছি না যে এ জাতীয় কাজ করা নিরর্থক; আমি আপনার সাথে একমত যে এটি দুর্দান্ত মূল্য দিয়ে শেষ হতে পারে। দয়া করে এই ভিন্নতাগুলি মনে রাখবেন।

— মেহরদাদ

@ মেহরদাদ: আমি বলছি না যে এটি পূর্ববর্তী হিসাবে উপযুক্ত তার সাথে উপস্থিত হওয়া সম্ভব নয়, আমরা যে এসভিএমকে 'মেশিন' বলি তার ক্রমগুলি একত্রিত করা হয়েছিল (এটি তৈরি করা মানুষেরা মূলত চেষ্টা করছিল এমন সমস্যাটি সমাধান করা) বিজ্ঞানের দৃষ্টির ইতিহাস থেকে আকর্ষণীয়। তবে আমরা সবাই জানি যে 200 বছর আগে এসভিএম ইঞ্জিনের বিবরণ সম্বলিত কোনও গ্রন্থাগারে এখনও একটি অজানা পাণ্ডুলিপি থাকতে পারে যা অন্বেষণকৃত কোণ Glen_b থেকে আক্রমণ করে। হয়তো এর ধারণার আরোহী এবং ঘটনার পরে বিজ্ঞান কম নির্ভরযোগ্য হয়।

— ব্যবহারকারী 60

@ ইউজার 603: সমস্যাটি এখানে কেবল সমস্যা নয়। .তিহাসিক দিকটি এর অর্ধেক মাত্র। অন্যান্য অর্ধেকটি কীভাবে এটি বাস্তবে বাস্তবে উদ্ভূত হয়। এটি জ্যামিতির সমস্যা হিসাবে শুরু হয় এবং একটি অপ্টিমাইজেশান সমস্যার সাথে শেষ হয়। সম্ভাব্য মডেল দিয়ে ডাইরিভেশনটি কেউ শুরু করে না, যার অর্থ সম্ভাব্য মডেলটি কোনও ফলতেই "পিছনে" ছিল না। এটি দাবি করার মতো ল্যাঙ্গরজিয়ান যান্ত্রিকগুলি "পিছনে" এফ = মাএর মতো। হতে পারে এটি এটির দিকে পরিচালিত করতে পারে, এবং হ্যাঁ এটি দরকারী, তবে না, এটি এটি কখনও নয় এবং এটি এর ভিত্তিও ছিল না। আসলে পুরো লক্ষ্যটি ছিল সম্ভাবনা এড়ানো ।

— মেহরদ্দাদ