এটি আমার প্রশিক্ষণের ডেটা: 200,000 উদাহরণ x 10,000 বৈশিষ্ট্য। সুতরাং আমার প্রশিক্ষণের ডেটা ম্যাট্রিক্স হ'ল - 200,000 x 10,000।
আমি প্রতিটি উদাহরণস্বরূপ বৈশিষ্ট্য উত্পন্ন করার সাথে সাথে প্রতিটি ডাট্যাসেটকে একে একে একের পর এক সংরক্ষণ করে মেমরি সমস্যা না করে একটি ফ্ল্যাট ফাইলে সংরক্ষণ করতে সক্ষম হয়েছি।
তবে, এখন আমি যখন দুধ , এসভিএম লাইট বা অন্য কোনও মেশিন লার্নিং অ্যালগরিদম ব্যবহার করি তখন সমস্ত কিছু একে একে প্রশিক্ষণের পরিবর্তে পুরো প্রশিক্ষণের ডেটা মেমরিতে লোড করার চেষ্টা করে। তবে আমার সবেমাত্র 8 জিবি র্যাম রয়েছে, তাই আমি এইভাবে এগিয়ে যেতে পারছি না।
আপনি কি জানেন যে কোনওভাবেই আমি অ্যালগরিদমকে একটি ডেটাसेट দ্বারা একটি ডেটাসেট প্রশিক্ষণ দিতে পারি? অর্থাত্, যাতে কোনও তাত্ক্ষণিক সময়ে আমি কেবল একটি প্রশিক্ষণ নেওয়ার সময় মেমরিতে লোড করি dat
1
"প্রতিটি ডাটাসেটকে একে একে সংরক্ষণ করুন" বলতে কী বোঝ? আপনি কি "ডেটার প্রতিটি লাইন" বলতে চান? আপনার যদি একাধিক ডেটাসেট থাকে, যা আপনি একে একে সংরক্ষণ করেন, কেন সেগুলি একে একে লোড করবেন না এবং প্রতিটিটির সাথে অ্যালগরিদম ফিট করবেন না কেন?
—
জাচ
"এক উপাত্তের দ্বারা একটি ডেটাসেট" কি লাইন দ্বারা লাইন বোঝায়? অর্থাত্ একটি ডেটাসেট = 10000 বৈশিষ্ট্য? যদি এটি হয় তবে অনলাইন অ্যালগরিদমগুলি এমন কিছু হতে পারে যা আপনি সন্ধান করছেন, দেখুন: en.wikedia.org/wiki/Online_algorithm এবং en.wikedia.org/wiki/Online_machine_learning । অনেকগুলি মেশিনের ধারক অ্যালগরিদমগুলির জন্য অনলাইন সংস্করণ বিদ্যমান রয়েছে, উদাহরণস্বরূপ এসভিএম এবং এলোমেলো বন।
—
হেরা হু
ধন্যবাদ .. জ্যাচ এবং হেরা। আমি আরও স্পষ্টভাবে একের পর এক সংজ্ঞা দেওয়ার জন্য প্রশ্নটি সম্পাদনা করেছি। এবং হ্যাঁ, আমি অনলাইন লার্নিংয়ের কথা ভাবছিলাম কিন্তু কখনও কখনও অনলাইন অ্যালগরিদমগুলি সম্পর্কে ভাবি নি, আমাকে এটি পড়তে দিন এবং এটি ব্যবহার করে দেখতে দিন।
—
ম্যাডকোড