কার্নেলাইজড কে নিকটবর্তী নিকটবর্তী

Question

আমি কার্নেলগুলিতে নতুন এবং কার্নেলাইজ কেএনএন করার চেষ্টা করার সময় একটি ছিনতাই করেছি।

preliminaries

আমি একটি বহুবর্ষীয় কার্নেল ব্যবহার করছি:
$K(\mathbf{x},\mathbf{y}) = (1 + \langle \mathbf{x},\mathbf{y} \rangle)^d$

আপনার সাধারণ ইউক্লিডিয়ান কেএনএন নীচের দূরত্বের মেট্রিক ব্যবহার করে:
$d(\mathbf{x}, \mathbf{y}) = \vert\vert \mathbf{x} - \mathbf{y} \vert\vert$

যাক মানচিত্র কিছু উচ্চ মাত্রিক বৈশিষ্ট্য মহাকাশ। তারপরে হিলবার্ট স্পেসে উপরের দূরত্বের মেট্রিকের বর্গক্ষেত্র অভ্যন্তরীণ পণ্য দ্বারা প্রকাশ করা যেতে পারে: $f(\mathbf{x})$$\mathbf{x}$$d^2(f(x), f(y)) = K(\mathbf{x},\mathbf{x}) - 2K(\mathbf{x}, \mathbf{y}) + K(\mathbf{y} ,\mathbf{y})$

মনে রাখবেন যে আমরা উপরের দিলে আপনার মান ইউক্যালিডিয়ান দূরত্ব হ্রাস পাবে।$d = 1$

প্রশ্নটি

আমার প্রধান সমস্যাটি হ'ল আমি দেখতে পাচ্ছি না যে কর্নেলাইজিং কেএনএন কীভাবে পরীক্ষামূলকভাবে দেখানো হয়েছে যেমন উদাহরণস্বরূপ, এই কাগজটি (সতর্কতা, সরাসরি পিডিএফ লিঙ্ক!) দ্বারা আরও ভাল ফলাফল দেয় ।

Answer 1

কভারের উপপাদ্য: মোটামুটিভাবে বলা হয়েছে, এটি বলেছে যে কোনও সীমাবদ্ধ বিন্দু (যথেচ্ছ লেবেল সহ) এলোমেলো সেট দেওয়া হয়েছে, তবে উচ্চ সম্ভাবনার সাথে এই পয়েন্টগুলিকে একটি উচ্চ মাত্রায় ম্যাপিংয়ের মাধ্যমে লিনিয়ারে পৃথকযোগ্য [1] করা যেতে পারে [২]।

প্রভাব: দুর্দান্ত, এই উপপাদ্যটি আমাকে যা বলেছে তা হ'ল আমি যদি আমার ডেটাসেটটি গ্রহণ করি এবং এই পয়েন্টগুলিকে একটি উচ্চ মাত্রায় মানচিত্র করি তবে আমি সহজেই একটি লিনিয়ার শ্রেণিবদ্ধের সন্ধান করতে পারি। যাইহোক, বেশিরভাগ শ্রেণিবদ্ধদের ডট পণ্যগুলির মতো কিছু ধরণের মিলের গণনা করা প্রয়োজন এবং এর অর্থ একটি শ্রেণিবদ্ধকরণ অ্যালগরিদমের সময় জটিলতা ডেটা পয়েন্টের মাত্রার সাথে সমানুপাতিক। সুতরাং, উচ্চ মাত্রা মানে বৃহত্তর সময় জটিলতা (সেই বৃহত মাত্রিক পয়েন্টগুলি সঞ্চয় করার জন্য স্থান জটিলতার উল্লেখ না করা)।

কার্নেল কৌশলের: আসুন ডাটা পয়েন্টের মূল মাত্রা হতে হবে এবং চ মানচিত্র যা মাত্রা একটি স্থান থেকে এই পয়েন্ট মানচিত্র হতে এন ( > > এন ) । এখন, আছে যদি একটি ফাংশন কে যা লাগে ইনপুট এক্স এবং ওয়াই মূল স্থান থেকে এবং নির্ণয় কে ( এক্স , Y ) = ⟨ চ ( এক্স ) , চ ( Y ) ⟩ , তারপর আমি উচ্চতর মধ্যে ডট পণ্য গনা সক্ষম মাত্রিক স্থান কিন্তু জটিলতায় O $n$$f$$N (>> n)$$K$$x$$y$$K(x, y) = \langle f(x), f(y) \rangle$ পরিবর্তে হে ( এন ) ।$O(n)$$O(N)$

সংশ্লেষ: সুতরাং, যদি শ্রেণীবিন্যাস অ্যালগরিদম শুধুমাত্র ডট পণ্যের উপর নির্ভরশীল এবং প্রকৃত মানচিত্র কোন নির্ভরতা রয়েছে , আমি কার্নেল কৌতুক প্রায় কোন অতিরিক্ত খরচ সঙ্গে উচ্চ মাত্রিক স্থান অ্যালগরিদম চালানোর জন্য ব্যবহার করতে পারেন।$f$

লিনিয়ার বিচ্ছিন্নতাটি কি বোঝায় যে একই শ্রেণি থেকে পয়েন্ট বিভিন্ন শ্রেণীর পয়েন্টগুলির চেয়ে আরও কাছাকাছি আসবে? না, এর মতো কোনও গ্যারান্টি নেই। লিনিয়ার বিচ্ছিন্নতা প্রকৃতপক্ষে বোঝায় না যে একই শ্রেণি থেকে পয়েন্টটি আরও কাছে এসে গেছে বা দুটি ভিন্ন শ্রেণির পয়েন্টগুলি আরও এগিয়ে গেছে।

তাহলে কেন কেএনএন কাজ করবে? এটা দরকার নেই! যাইহোক, যদি এটি করে, তবে এটি খাঁটি কারণেই খাঁটি।

$x = (x_1, x_2)$$x$$(x_1^2, \sqrt{2} x_1x_2, x_2^2)$

তাহলে কার্নেল কেএনএন ব্যবহার করবেন কেন? আমরা দেখিয়েছি যে কার্নেলগুলি ব্যবহারের গণনা জটিলতা স্বাভাবিক কেএনএন থেকে কিছুটা বেশি এবং যদি কার্নেলগুলি ব্যবহার করে ডেটা উপকৃত হয় তবে কেন সেগুলি ব্যবহার করবেন না?

কেএনএন-এর কার্নেলগুলি থেকে কোন শ্রেণীর ডেটা উপার্জন করতে পারে এমন কোন গবেষণামূলক গবেষণা রয়েছে? যতদূর আমি জানি, না

[1] http://en.wikedia.org/wiki/Linear_separability
[2] http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=4038449&tag=1