একটি এলোমেলো রান্নাঘর সিঙ্ক কিভাবে কাজ করে?


18

গত বছর এনআইপিএস 2017 সালে আলী রহিমি এবং বেন রেক্ট তাদের কাগজ "বড়-স্কেল কার্নেল মেশিনগুলির জন্য র‌্যান্ডম বৈশিষ্ট্যগুলি" যেখানে র্যান্ডম বৈশিষ্ট্যগুলি প্রবর্তন করে, পরে এলোমেলো রান্নাঘরের সিংক অ্যালগরিদম হিসাবে কোডযুক্ত হিসাবে সময় পুরষ্কারের পরীক্ষায় জিতেছিল । তাদের কাগজ প্রচারের অংশ হিসাবে, তারা দেখিয়েছেন যে তাদের মডেলটি মাতলাব 5 টি লাইনে প্রয়োগ করা যেতে পারে।

% Approximates Gaussian Process regression
%     with Gaussian kernel of variance gamma^2
% lambda: regularization parameter
% dataset: X is dxN, y is 1xN
% test: xtest is dx1
% D: dimensionality of random feature

% training
w = randn(D,d);
b = 2 * pi * rand(D, 1);
Z = cos(gamma * w * X + b * ones(1,N));

alpha = (lambda * eye(D) +Z * Z') \ (Z * y);

% testing
ztest = alpha' * cos(gamma * w * xtest + b);

উপরের অ্যালগরিদম কীভাবে কিছু শিখেছে তা আমার কাছে অস্পষ্ট। একটি এলোমেলো রান্নাঘর সিঙ্ক কিভাবে কাজ করে? কীভাবে এটি আনুমানিক গাউসিয়ান প্রক্রিয়াগুলি এবং ভেক্টর মেশিনগুলিকে সমর্থন করে?

সম্পাদন করা

রহিমির আলোচনার পুনঃনির্দেশনা, এলোমেলো রান্নাঘরের ডু শব্দটি কাগজে প্রবর্তিত হয়নি যার জন্য তারা পুরস্কারটি জিতেছে, বরং কাগজপত্রের ট্রিলজি শেষে "বড় আকারের কার্নেল মেশিনগুলির জন্য র্যান্ডম ফিচারস" দিয়ে শুরু হয়েছিল। অন্যান্য কাগজপত্রগুলি হ'ল:

রহিমি, আলী, এবং বেনজমিন রেচেট। "এলোমেলো বেসগুলির সাথে ফাংশনগুলির সমান আনুমানিকতা" " যোগাযোগ, নিয়ন্ত্রণ, এবং কম্পিউটিং, ২০০ 46-এর 46 তম বার্ষিক অ্যালারটন সম্মেলন। আইইইই, ২০০৮।

রহিমি, আলী, এবং বেনজমিন রেচেট। "এলোমেলো রান্নাঘর ডুবে ওজনের ভারসাম্য: শিক্ষার ক্ষেত্রে র্যান্ডমাইজেশনের সাথে সংক্ষিপ্তকরণের স্থান পরিবর্তন করা হচ্ছে।" নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমগুলিতে অগ্রগতি। 2009।

আমি মনে করি উপরের কোড স্নিপেটটি শেষ কাগজে আলগোরিদিম 1 এর একটি বিশেষীকরণ।


লিঙ্কিত কাগজে "ডুবুন" শব্দটি বা আপনার উদ্ধৃত কোডটি নয়। আপনি কি রেফারেন্স মিস করছেন?
কোডিওলজিস্ট

2
আপনি ঠিক বলেছেন, ধন্যবাদ। 2017 আলাপের প্রসঙ্গ ছাড়াই, প্রশ্নটি কিছুটা বিরক্ত বলে মনে হচ্ছে! ধারণাটি প্রথম গবেষণাপত্রে তৈরি হয়েছিল, আমি মনে করি তবে এলোমেলো রান্নাঘর সিঙ্ক শব্দটি কেবল পরেই চালু হয়েছিল। কোড স্নিপেট কাগজটির জন্য প্রকাশিত ২০০ 2007 এর পোস্টার সেশনে বিতরণ করা হয়েছিল। আমি nips 2017. এ Rahimi এর আলাপ থেকে এটা প্রতিলিপি
MachineEpsilon

উত্তর:


15

এলোমেলো রান্নাঘর ডুবে (বা র্যান্ডম ফিউরির বৈশিষ্ট্যগুলি) এবং অন্যান্য সম্পর্কিত পদ্ধতিগুলি অনুশীলন সম্পাদন করার চেষ্টা করে না বরং তারা কার্নেলের উপর ভিত্তি করে আনফারেন্স পদ্ধতির বাধা হ্রাস করার চেষ্টা করে।

এন×এনহে(এন3)

র‌্যান্ডম ফুরিয়ার বৈশিষ্ট্যগুলি (রেহিমি এবং রেচ্ট 2007) কেবল কার্নেল ফিউরিয়ার উপাদানগুলির একটি এলোমেলো উপসেট নমুনা করে শিফট ইনভারিয়েট কার্নেলের নিম্ন স্তরের আনুমানিকতা তৈরি বিবেচনা করে। ফুরিয়ার স্পেসটি শিফট ইনগ্রিয়েন্ট হিসাবে, এই সম্পত্তিটি সংরক্ষণ করা হয়েছিল তবে এখন এই ফুরিয়ার উপাদানগুলির সমন্বয়ে একটি স্পষ্ট সসীম মাত্রিক প্রজনন কার্নেল হিলবার্ট স্পেস গঠিত হয়েছিল। একবারের অসীম মাত্রিক আরকেএইচএস অবনমিত আনুমানিক কার্নেল দ্বারা সজ্জিত।

কোড স্নিপেট নোট: 5 টি লাইনে কয়েকটি বিবরণ রয়েছে। সর্বাধিক গুরুত্বপূর্ণটি হ'ল গাউসিয়ান ফাংশনটিও ফুরিয়ার স্পেসে একটি গাউসিয়ান ফাংশন, কেবল বৈকল্পিকটি উল্টানো হয়। এ কারণেই তারা এলোমেলো থেকে নমুনা নিচ্ছে এবং তারপরে বৈকল্পিক দ্বারা গুণমান। তারপরে তারা আলফা উত্পাদন করে যা টেস্ট খুঁজে পাওয়ার জন্য কেবলমাত্র একটি উপ-প্রক্রিয়া। মূলত স্বাভাবিক কার্নেলের পূর্বাভাসটি দেখে মনে হয়,

z- রটিগুলিটি=কে(এক্সটিগুলিটি,এক্স)(কে(এক্স,এক্স)+ +λআমি)-1Y

z- রটিগুলিটি=Φ(এক্সটিগুলিটি)টিΦ(এক্স)(Φ(এক্স)টিΦ(এক্স)+ +λআমি)-1Y

Φ()

পার্শ্ব মন্তব্য: আপনি এটি ব্যবহার করা উচিত? উত্তরটি একটি পরিষ্কার হ্যাঁ নয়। আপনি কী মডেলিং করছেন তার উপর এটি পুরোপুরি নির্ভর করে। ফুরিয়ার স্পেসের ব্যবহার অ-স্টেশনারি নন-শিফ্ট ইনগ্রিয়েন্ট কার্নেলের জন্য প্রয়োজনীয়ভাবে উপযুক্ত নয়। ছেলেরা কখনওই দাবি করতে পারে না যে এটি এই সেটিংটিতে কাজ করবে তবে আপনি যদি কেবলমাত্র সেই অঞ্চলে শুরু করেন তবে কখনও কখনও সংক্ষিপ্তসারগুলি সুস্পষ্ট হয় না।


5
আমাকে বুঝতে এক সেকেন্ড সময় নিয়েছে যে এখানে কম্পিউটারে আলফা রেগুলারাইজার ল্যাম্বদা সহ এক্স এবং ওয়াইয়ের রিজ রিগ্রেশন সমস্যাটি সমাধান করছে। আপনি যদি জিপি থেকে এসে থাকেন তবে আপনার সূত্রগুলি অনুসন্ধান করা এটি কিছুটা সুস্পষ্ট, কোনও এসভিএম কোণ থেকে আসা এটি সামান্য বিভ্রান্তিকর। আপনার "সাধারণ কর্নেল পূর্বাভাস" হ'ল জিপি হ'ল শব্দের সাথে যুক্ত, ওরফে কার্নেল রিজ রিগ্রেশন।
আন্দ্রেয়াস মুলার

1
@ আন্দ্রেসমুয়েলার হ্যাঁ দুঃখিত এটি সঠিক! আমি জিপি সম্প্রদায় থেকে অনেক বেশি আছি তাই মাঝে মাঝে এটিকে উপেক্ষা করি! খুশি হলাম আপনি যা
বুঝাতে

1
@ জে__, আপনার যদি সময় থাকে তবে আমার কাছে এখানে আরএফএফ সম্পর্কে একটি প্রশ্ন রয়েছে: stats.stackexchange.com/questions/440633 । দেখে মনে হচ্ছে আমার প্রশ্নের উত্তরটি আরকেএইচএস এবং উপস্থাপক উপপাদ্যকে আরও ভালভাবে বুঝতে হবে।
gwg
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.