গ্যাস খরচ বহিরাগতদের সনাক্তকরণ - নিউরাল নেটওয়ার্ক প্রকল্প। খারাপ ফলাফল


10

আমি নিউরাল নেটওয়ার্কের মডেল তৈরি করে কিছু ডাচ বিল্ডিংয়ের জ্বালানী গ্যাস গ্রহণের ক্ষেত্রে আউটলিয়ারদের সনাক্ত করার চেষ্টা করেছি। আমার খুব খারাপ ফলাফল হয়েছে, তবে কারণ খুঁজে পাচ্ছি না।

আমি কোনও বিশেষজ্ঞ নই তাই আমি আপনাকে জিজ্ঞাসা করতে চাই আমি কী উন্নতি করতে পারি এবং আমি কী ভুল করছি। এটি সম্পূর্ণ বিবরণ: https://github.com/denadai2/Gas-consumption-outliers

নিউরাল নেটওয়ার্ক ব্যাক প্রচার সহ একটি ফিডফওয়ার্ড নেটওয়ার্ক। এখানে বর্ণিত হিসাবে আমি 41'000 সারি, 9 টি বৈশিষ্ট্যযুক্ত একটি "ছোট" ডেটাসেটে ডেটাसेटকে বিভক্ত করেছি এবং আমি আরও বৈশিষ্ট্য যুক্ত করার চেষ্টা করেছি।

আমি নেটওয়ার্কগুলি প্রশিক্ষণ দিয়েছি তবে ফলাফলগুলিতে 14.14 আরএমএসই রয়েছে, সুতরাং এটি গ্যাস ব্যয়গুলি এত ভালভাবে অনুমান করতে পারে না, ধারাবাহিকভাবে আমি একটি ভাল আউটলেট সনাক্তকরণ ব্যবস্থা চালাতে পারি না। আমি দেখতে পাচ্ছি যে কিছু কাগজপত্রগুলিতে তারা বৈদ্যুতিক বিদ্যুতের দৈনিক বা ঘণ্টায় ব্যয় করার পূর্বাভাস দিলেও, তাদের এমএসই = 0.01 এর মতো ত্রুটি রয়েছে।

আমি কী উন্নতি করতে পারি? আমি কি ভুল করছি? আপনি কি আমার বর্ণনাটি দেখতে পারেন?


2
খারাপ মানে কি? কেবল গিট সংগ্রহস্থলের সাথে লিঙ্ক না রেখে আপনার প্রক্রিয়া, ফলাফল এবং কীভাবে আপনি প্রত্যাশা করেছিলেন তার থেকে কীভাবে তার বর্ণনা দিন। অন্যথায় এই আলোচনা কারও কাজে আসবে না।
এয়ার

এটিও সত্য: ডি। আমি পৃষ্ঠায় বর্ণনাটি যুক্ত করেছি "ফলাফলগুলির মধ্যে একটি 14.14 আরএমএসই রয়েছে, সুতরাং এটি গ্যাসের কনসপশনগুলি এত ভালভাবে অনুমান করতে পারে না, নিঃসন্দেহে আমি একটি ভাল আউটলেট সনাক্তকরণ ব্যবস্থা চালাতে পারি না I আমি কিছু কাগজে দেখেছি যে এমনকি তারা ভবিষ্যদ্বাণী করলেও বৈদ্যুতিক বিদ্যুতের দৈনিক বা ঘন্টা সময় খরচ, তাদের এমএসই = 0.01 এর মতো ত্রুটি রয়েছে ""
মার্কোডেনা

1
@ মার্কোডেনা এটি একটি QA সাইট এবং অন্যদেরও আপনি কী সমাধান করতে চাইছেন তা জানতে হবে, যাতে তারা উত্তরগুলি বুঝতে পারে এবং আশা করি তারা তাদের নিজস্ব সমস্যায় তাদের ব্যবহার করতে সক্ষম হবে। এয়ার থমাস বলতে যা বোঝায় সেটাই হ'ল, এবং আপনি কী করছেন এবং ঠিক কী ভুল বলে আপনি যদি বর্ণনা করতে পারেন তবে তাও ভাল লাগবে। যদি আপনার গিট-হাব পৃষ্ঠার লিঙ্কটি পরিবর্তন হয় তবে এখানকার লিঙ্কটি অবৈধ হবে এবং অন্যরা সমস্যাটি কী তা বুঝতে সক্ষম হবে না। দয়া করে, আপনার প্রশ্নটি স্বনির্ভর করতে এক মিনিট সময় নিন। ধন্যবাদ।
রুবেন্স

1
যখন আপনি দেখতে পান যে আপনার সমস্যাটি ব্যাখ্যা করতে খুব দীর্ঘ সময় লাগে, তখন অন্যদের কাছে আপনার প্রশ্নটি ব্যাখ্যা করার জন্য স্পষ্টভাবে এবং প্রচুর বিবরণ এবং আপনার গবেষণা / প্রচেষ্টাগুলির প্রচুর আলোচনার সাথে সময় ব্যয় করা সবচেয়ে গুরুত্বপূর্ণ important প্রায়শই সেই প্রক্রিয়া চলাকালীন আপনি নিজেই কিছু না কিছু উত্তর খুঁজে পাবেন। শুধু যে দুর্দান্ত অনুভূতিই তা নয়, যদি আপনি যা খুঁজে পান তা অন্যের পক্ষে কার্যকর হয় তবে আপনি এখনও যে প্রশ্নটি এত বেশি সময় ব্যয় করতে পারেন এবং আপনি যে উত্তরটি দিয়েছিলেন তা পোস্ট করতে পারেন ।
এয়ার

1
কেবল একটি ব্যাখ্যা, যখন আপনি উল্লেখ করেন যে "কিছু কাগজে তাদের এমএসই = ০.০১ এর মতো ত্রুটি রয়েছে", আপনি কি একই ডেটাसेट ব্যবহার করছেন? নাকি এটি পুরোপুরি আলাদা ডেটাসেট?
insys

উত্তর:


8

কেবল একটি ধারণা - আপনার ডেটা অত্যন্ত মরসুমী: দৈনিক এবং সাপ্তাহিক চক্রগুলি যথেষ্ট উপলব্ধিযোগ্য। সুতরাং সবার আগে আপনার ভেরিয়েবলগুলি (গ্যাস এবং বিদ্যুতের খরচ, তাপমাত্রা এবং সৌর বিকিরণ) পচানোর চেষ্টা করুন। আর এর জন্য টাইম সিরিজের পচন নিয়ে একটি সুন্দর টিউটোরিয়াল এখানে is

প্রবণতা এবং মৌসুমী উপাদানগুলি পাওয়ার পরে, সবচেয়ে আকর্ষণীয় অংশটি শুরু হয়। এটি কেবল একটি অনুমান, তবে আমি মনে করি, সময় এবং সিরিজ বিশ্লেষণের মাধ্যমে গ্যাস এবং বিদ্যুতের খরচ ভেরিয়েবলগুলি বেশ অনুমানযোগ্য হবে (যেমন, আরিমা মডেল )। আমার দৃষ্টিকোণ থেকে, এখানে সর্বাধিক বহির্গমন অংশটি উপলব্ধ ডেটা (তাপমাত্রার ব্যতিক্রমীতা, সৌর বিকিরণ, বাতাসের গতি) ব্যবহার করে পচে যাওয়ার পরে অবশিষ্টাংশের পূর্বাভাস দেওয়ার চেষ্টা করা হয়। আমার ধারণা, এই অবশিষ্টাংশগুলি বিদেশী হবে, আপনি সন্ধান করছেন। আশা করি, আপনি এটি দরকারী পাবেন।


3

আপনার প্রশিক্ষণ নোটবুকে আপনি 20 যুগের সাথে প্রশিক্ষণের ফলাফল উপস্থাপন করেন। আপনি কি সেই পরামিতিটি পরিবর্তনের চেষ্টা করেছেন, এটি দেখার জন্য যে এটি আপনার কার্য সম্পাদনকে প্রভাবিত করে? এটি পিছনে প্রচারের জন্য একটি গুরুত্বপূর্ণ পরামিতি।

আপনার মডেল প্যারামিটারগুলি অনুমান করার জন্য, যেমন ব্যবহারকারী টমাসকাজেমেকাস নির্দেশ করেছেন, লার্নিং কার্ভস প্লট করা খুব ভাল পদ্ধতির। এটির পাশাপাশি, আপনি একটি মডেল প্যারামিটার ব্যবহার করে একটি প্লট তৈরি করতে পারেন (উদাহরণস্বরূপ প্রশিক্ষণ পর্ব বা গোপন স্তরের আকার) বনাম প্রশিক্ষণ এবং বৈধকরণ ত্রুটি। এটি আপনাকে পক্ষপাত / বৈকল্পিক ট্রেড অফ বুঝতে এবং আপনার পরামিতিগুলির জন্য একটি ভাল মান বাছাই করতে সহায়তা করবে। কিছু তথ্য এখানে পাওয়া যাবে । স্বাভাবিকভাবেই, কোনও (তৃতীয়) টেস্ট সেটটির জন্য আপনার ডেটার একটি ছোট শতাংশ রাখা ভাল ধারণা।

পার্শ্ব নোট হিসাবে, মনে হচ্ছে আপনার মডেলটিতে নিউরনের সংখ্যা বৃদ্ধি আপনার আরএমএসইয়ের জন্য কোনও উল্লেখযোগ্য উন্নতি দেখায় না। এটি প্রস্তাব দেয় যে আপনি একটি সহজ মডেল, অর্থাত্ কম নিউরনের সাহায্যেও চেষ্টা করতে পারেন এবং দেখুন আপনার মডেলটি কী আচরণ করে।

প্রকৃতপক্ষে, আমি প্রস্তাব দেব (যদি আপনি ইতিমধ্যে এটি না করে থাকেন) তবে প্রথমে কয়েকটি বা কোনও প্যারামিটার সহ সাধারণ মডেল চেষ্টা করে যেমন লিনিয়ার রিগ্রেশন, এবং আপনার ফলাফলগুলি সাহিত্যের সাথে তুলনা করুন, ঠিক তেমনি একটি স্যানিটি চেক হিসাবে।


আমি অনেকগুলি গ্রাফ যুক্ত করেছি, মডেল এ লট উন্নত করার পরে। গিথুবে রয়েছে নতুন পদক্ষেপ। আমি কি আপনাকে জিজ্ঞাসা করতে পারি যে আমি কীভাবে টাইম সিরিজের সমস্যার ক্ষেত্রে লিনিয়ার রিগ্রেশন প্রয়োগ করতে পারি? :(
মার্কোডেনা

2

এখানে মূল সমস্যাটি হ'ল অসাধারণ সনাক্তকরণ অ্যালগরিদমগুলি প্রয়োগ করার চেষ্টা করার আগেও, আপনি নিউরাল নেটওয়ার্কগুলি ব্যবহার করে গ্যাস গ্রহণের যথেষ্ট পরিমাণ পূর্বাভাস পাচ্ছেন না।

যদি এখানে মূল লক্ষ্যটি পর্যায়ে পৌঁছানো হয় যখন অসাধারণ সনাক্তকরণ অ্যালগরিদমগুলি ব্যবহার করা যেতে পারে এবং আপনি বলে থাকেন যে এই সমস্যার জন্য রৈখিক প্রতিরোধের সফল প্রয়োগের উদাহরণগুলিতে আপনার অ্যাক্সেস রয়েছে, তবে এই পদ্ধতিটি আরও উত্পাদনশীল হতে পারে। সফল মেশিন লার্নিং অ্যাপ্লিকেশনটির একটি নীতি ফলাফলের ভিত্তিতে চূড়ান্ত নির্বাচনের আগে বেশ কয়েকটি বিভিন্ন অ্যালগরিদমের চেষ্টা করা যেতে পারে।

এটি আপনার নিউরাল নেটওয়ার্কের পারফরম্যান্স টিউন করতে বেছে নিয়েছে, ত্রুটি হারের ভিত্তিতে বিভিন্ন হাইপারপ্যারামিটারে পরিবর্তনের প্রভাবের পরিকল্পনাটি বদ্ধ শিখতে ব্যবহার করা যেতে পারে। সংশোধন করা যায় এমন হাইপারপ্যারামিটারগুলি হ'ল:

  • বৈশিষ্ট্য সংখ্যা
  • বহুবর্ষের ক্রম
  • নিয়মিতকরণ পরামিতি
  • নেটওয়ার্কে স্তর সংখ্যা

ক্রস বৈধতা সেট উপর পারফরম্যান্স দ্বারা সেরা সেটিংস নির্বাচন করা যেতে পারে।


আমি কিছু গ্রাফ যুক্ত করেছি এবং আপনি এখন প্যারামিটারগুলি সম্পর্কেও পরীক্ষা করতে পারেন :)
মার্কোডেনা

2

আপনার নোটবুকগুলিতে আমি আপনার নিউরাল নেটওয়ার্কের মডেলটি দেখতে পাইনি, আপনি কী লাইব্রেরিটি ব্যবহার করছেন, আপনার কত স্তর রয়েছে এবং আপনি কোন ধরণের নিউরাল নেটওয়ার্ক ব্যবহার করছেন তা আপনি চিহ্নিত করতে পারেন?

আপনার নোটবুকগুলিতে, মনে হচ্ছে আপনি স্নায়বিক এবং আউটিলার ডেটাসেটটি নিউরাল নেটওয়ার্কটি প্রশিক্ষণের জন্য ব্যবহার করছেন, আমার মনে হয় আপনার ডেটাসেটের নিউরাল নেটওয়ার্কটি প্রশিক্ষণ করা উচিত যাতে আপনার কোনও বহিরাগত না থাকে যাতে আপনি ভবিষ্যদ্বাণী থেকে পর্যবেক্ষণের দূরত্ব দেখতে পারেন স্নায়বিক নেটওয়ার্ক পর্যবেক্ষণ লেবেল হয় না হয় বহিরাগত বা না।

আমি লিখেছি দম্পতি এর কিছু সময়-সিরিজ সংকেত Outlier সনাক্তকরণ উপর, আপনার ডেটা অত্যন্ত মৌসুমি হয় sobach উল্লেখ এবং আপনি FFT (উপরে প্রথম লিঙ্ক) ব্যবহার করতে পারে সংকেত সামগ্রিক প্রবণতা পেতে পারে। আপনি গ্যাস ব্যবহারে ফ্রিকোয়েন্সি উপাদানটি পাওয়ার পরে, আপনি বহিরাগতদের পেতে উচ্চ ফ্রিকোয়েন্সি উপাদানগুলির দিকে নজর দিতে পারেন।

এছাড়াও আপনি যদি মৌসুমী ডেটার জন্য নিউরাল নেটওয়ার্ক ব্যবহারের জন্য জোর করতে চান, তবে আপনি পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলি খুঁজে বের করতে পারেন কারণ তারা ভ্যানিলা নিউরাল নেটওয়ার্কের চেয়ে অতীতের পর্যবেক্ষণকে আরও ভালভাবে সংযুক্ত করতে পারে এবং সম্ভবত আপনার যে ডেটা রয়েছে তার জন্য আরও ভাল ফলাফল সরবরাহ করতে পারে ।


আমি আপনার এফএফটি পদ্ধতি চেষ্টা করেছিলাম কিন্তু কীভাবে আমার ডেটা দিয়ে ফ্রিকোয়েন্সি থ্রেশহোল্ড এবং প্রশস্ততা সেট করতে পারি তা সত্যিই পাই না। আমি তাকাতে থাকব, তবে আপনি যদি আমাকে সহায়তা করতে পারেন ...
মারকোডেনা

আমি উত্সগুলিও জুড়ে দিয়েছি
মারকোডেনা
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.