মেশিন লার্নিং ব্যবহার করে সার্ভার লগ বিশ্লেষণ


10

আমার এই অ্যাপ্লিকেশনটির সার্ভার লগ বিশ্লেষণ করার জন্য আমাকে এই কাজটি অর্পণ করা হয়েছিল যাতে ব্যতিক্রম লগ, ডাটাবেস লগ ইভেন্ট লগ ইত্যাদি রয়েছে। আমি মেশিন লার্নিংয়ে নতুন, আমরা ইলাস্টিক অনুসন্ধান এবং স্পার্কস এমএলিব (বা প্রেডিকশন) এর সাথে স্পার্ক ব্যবহার করি A কোন ব্যবহারকারী পরবর্তী ব্যতিক্রম ঘটতে পারে এবং কোন বৈশিষ্ট্যটিতে (এবং অ্যাপ্লিকেশনটির অপ্টিমাইজেশান উন্নত করতে অন্যান্য স্টাফের গোছা) আরও বেশি সম্ভাবনা রয়েছে তা ভবিষ্যদ্বাণী করতে সক্ষম হয়ে সংগ্রহিত ব্যতিক্রম লগগুলির ভিত্তিতে ফলাফলটি পূর্বাভাস দিতে সক্ষম হবে।

আমি ইলাস্টিক অনুসন্ধান থেকে স্পার্কে ডেটা নিখরচায় এবং ডেটা ফ্রেমগুলি তৈরি করতে এবং প্রয়োজনীয় ডেটা ম্যাপ করতে সক্ষম হয়েছি। আমি যেটি জানতে চাই তা হ'ল আমি কীভাবে আমার বাস্তবায়নের মেশিন লার্নিংয়ের দিকটির কাছে যাই। আমি নিবন্ধ এবং কাগজগুলির মধ্যে দিয়েছি যা ডেটা প্রিপ্রোসেসিং, ডেটা মডেলগুলি প্রশিক্ষণ এবং লেবেল তৈরি এবং তারপরে পূর্বাভাস উত্পন্ন করার বিষয়ে কথা বলে।

আমার কাছে প্রশ্নগুলি

  • আমি কীভাবে বহির্গমন লগ ডেটাগুলিকে সংখ্যামূলক ভেক্টরগুলিতে রূপান্তর করতে পারি যা প্রশিক্ষণ নিতে ডেটাসেটগুলিতে ব্যবহার করা যেতে পারে।

  • আমার ডেটাসেটকে প্রশিক্ষণের জন্য আমি কোন অ্যালগরিদম ব্যবহার করি (আমি সীমিত জ্ঞানের সাথে গত কয়েকদিন জড়ো করেছি, লিনিয়ার রিগ্রেশন বাস্তবায়নের জন্য আমি ভাবছিলাম, অনুগ্রহ করে প্রস্তাবটি প্রয়োগ করা ভাল)

কীভাবে এই সমস্যাটির কাছে যেতে হবে সে সম্পর্কে পরামর্শগুলি সন্ধান করছি।

ধন্যবাদ.


আপনার যদি বিশ্বাস করার পূর্বাভাসযোগ্য ক্ষমতা থাকে তবে কোনও নির্দিষ্ট ব্যবহারকারীর ব্যতিক্রম হওয়ার উচ্চ সম্ভাবনা থাকলে আপনি কী করবেন? লক্ষ্যটি অ্যাপ্লিকেশনটি অপ্টিমাইজ করা। আপনি কি অ্যাপ্লিকেশনটিতে পরিচিত বাগগুলি ঠিক করার পরিবর্তে কোন বাগ ইঞ্জিনিয়ারদের তাদের সময় কাটাতে হবে তা পরিমার্জন করার চেষ্টা করছেন? ফিচার ইঞ্জিনিয়ারিং এই কাজের জন্য খুব গুরুত্বপূর্ণ হতে পারে। এছাড়াও, আপনি লজিস্টিক রিগ্রেশন বিবেচনা করতে চাইতে পারেন যা একটি 0..1 মান উত্পাদন করবে যা সম্ভাবনা হিসাবে ব্যাখ্যা করা যেতে পারে।

5
আমি মনে করি আপনি উদ্দেশ্যগুলি ওভারশুট করছেন। ম্যাজিক করার জন্য এমএলকে ব্ল্যাক বক্স হিসাবে ব্যবহার করবেন না। কোনও ফলাফল পেতে আপনাকে সঠিক প্রশ্ন জিজ্ঞাসা করতে হবে (এবং এর জন্য পর্যাপ্ত ডেটা থাকতে হবে)।
কিট আছে - অ্যানি-মুউস

আপনার সমস্যাটি কী পূর্ববর্তী ব্যতিক্রম এবং কোন বৈশিষ্ট্যটিতে (এবং অ্যাপ্লিকেশনটির অপ্টিমাইজেশান উন্নত করার জন্য অন্যান্য স্টাফের গুচ্ছ) তৈরি করার সম্ভাবনা বেশি তা ভবিষ্যদ্বাণী করার সমাধান হয়ে গেছে ? যদি হ্যাঁ হয় তবে আপনি দয়া করে আপনার সমাধানের পদ্ধতির ভাগ করতে পারেন বা অন্য কেউ ভাগ করতে পারেন?
আশীষ তায়াগি

উত্তর:


12

আমি মনে করি না যে অ্যালগোরিদম ব্যবহারের জন্য আপনাকে পৃথক লগ এন্ট্রিগুলিকে ভেক্টরগুলিতে রূপান্তর করতে হবে। আমি অনুমান করব যে আপনি যা আগ্রহী তা হ'ল লগ এন্ট্রিগুলির একটি ক্রম, যা সময়ের ক্রম অনুসারে বিভিন্ন ক্রিয়াকলাপের প্রতিনিধিত্ব করে, যা একসাথে 'কেস' সিরিজ তৈরি করে। এখানে সংগৃহীত লগ এন্ট্রিগুলির একটি সিরিজের মধ্যে সম্পর্ক গুরুত্বপূর্ণ।

যদি এটি হয় তবে আপনি প্রক্রিয়া খনন কৌশলগুলি ব্যবহার করে বিবেচনা করতে পারেন । এটি আপনাকে ত্রুটি এবং পুনরায় কাজের পদক্ষেপের পাশাপাশি আপনার প্রক্রিয়াটির মডেলগুলি (আপনার প্রয়োগের ব্যবহার) তৈরি করতে এবং প্রক্রিয়া ধাপগুলির ধরণগুলি নির্ধারণ করতে সহায়তা করে allows

সেখানে Coursera উপর একটি ভাল ভূমিকা অবশ্যই, হয় এখানে । বিশ্লেষণ এবং চাক্ষুষকরণে আপনাকে সহায়তা করতে এখানে 'ডিস্কো' এর মতো কিছু উন্নত, বাণিজ্যিক প্যাকেজ রয়েছে

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.