গভীর শেখার মডেলগুলিকে এখন ব্যাখ্যাযোগ্য বলা যায় না? নোডের বৈশিষ্ট্যগুলি কি?

Question

পরিসংখ্যান এবং মেশিন লার্নিং মডেলের জন্য, ব্যাখ্যার একাধিক স্তর রয়েছে: 1) সামগ্রিকভাবে অ্যালগরিদম, 2) সাধারণভাবে অ্যালগরিদমের অংশ 3) নির্দিষ্ট ইনপুটগুলিতে অ্যালগরিদমের অংশ এবং এই তিনটি স্তর প্রতিটি অংশে দুটি ভাগে বিভক্ত হয়, প্রশিক্ষণ জন্য একটি এবং ফাংশন eval জন্য। শেষের দুটি অংশ প্রথমটির চেয়ে অনেক বেশি কাছাকাছি। আমি # 2 সম্পর্কে জিজ্ঞাসা করছি যা সাধারণত # 3 এর আরও ভাল বোঝার দিকে পরিচালিত করে)। (যদি সেগুলি 'ব্যাখ্যাযোগ্যতার' মানে না হয় তবে আমার কী চিন্তা করা উচিত?)

যতদূর ব্যাখ্যাযোগ্যতা যায়, লজিস্টিক রিগ্রেশন ব্যাখ্যা করার পক্ষে অন্যতম সহজ। কেন এই দৃষ্টান্তটি দোরগোড়াটি পেরিয়ে গেল? কারণ সেই উদাহরণটিতে এই বিশেষ ইতিবাচক বৈশিষ্ট্য ছিল এবং এটির মডেলটিতে এটি আরও বৃহত্তর সহগ রয়েছে। এটা খুব স্পষ্ট!

একটি নিউরাল নেটওয়ার্ক এমন মডেলটির ক্লাসিক উদাহরণ যা ব্যাখ্যা করা শক্ত। এই সমস্ত সহগ বলতে কী বোঝায় ? তারা সকলেই এই জাতীয় জটিল ক্রেডিট পদ্ধতিতে যুক্ত হয় যে কোনও বিশেষ সহগ সত্যই কি করছে তা বলা শক্ত hard

তবে সমস্ত গভীর স্নায়ুবহুল জাল বেরিয়ে আসার সাথে মনে হচ্ছে জিনিসগুলি আরও স্পষ্ট হয়ে উঠছে। ডিএল মডেলগুলি (দেখার জন্য দৃষ্টিভঙ্গি) প্রারম্ভিক স্তরগুলিতে প্রান্ত বা ওরিয়েন্টেশনের মতো জিনিসগুলি ক্যাপচার করে বলে মনে হয় এবং পরবর্তী স্তরগুলিতে মনে হয় কিছু নোড আসলে শব্দার্থক (প্রবাদক 'দাদী সেল'র মতো )। উদাহরণ স্বরূপ:

( 'ডিপ লার্নিং সম্পর্কে শেখা' থেকে )

এটি উপস্থাপনের জন্য হাতে তৈরি একটি গ্রাফিক ( সেখানে অনেকেরই ) তাই আমি খুব সংশয়ী। তবে এটি প্রমাণ করে যে কেউ মনে করে যে এটি কীভাবে কাজ করে।

সম্ভবত অতীতে আমাদের সনাক্তকরণযোগ্য বৈশিষ্ট্যগুলি খুঁজে পাওয়ার জন্য পর্যাপ্ত স্তর ছিল না; মডেলগুলি সফল হয়েছিল, নির্দিষ্ট নির্দিষ্ট বিশদ বিশ্লেষণ করা সহজ নয়।

তবে গ্রাফিকটি কেবল ইচ্ছাকৃত চিন্তাভাবনা। হয়তো এনএনগুলি সত্যই অনির্বচনীয়।

তবে তাদের নোডগুলি সহ ছবিযুক্ত লেবেলযুক্ত অনেকগুলি গ্রাফিক্সও সত্যই বাধ্যযোগ্য।

ডিএল নোডগুলি কি আসলেই বৈশিষ্ট্যের সাথে মিল রাখে?

Comments

আমি এই প্রশ্নের ভিত্তি দেখতে পাচ্ছি না। নিউরাল জাল আরও জটিল হয়ে উঠেছে এবং আরও ভাল পূর্বাভাস দেয় তাদের আরও ব্যাখ্যাযোগ্য করে তোলে না। বিপরীতটি সাধারণত: সত্য / জটিল ভবিষ্যদ্বাণী <-> সরলতা / আরও ভাল ব্যাখ্যা interpretation

— অ্যাডামো

@ অ্যাডামো ঠিক ঠিক। এর কারণে, রিগ্রেশন ট্রি (পুনরাবৃত্তির বিভাজন) কেবল ব্যাখ্যাযোগ্য কারণ ফলাফলগুলি ভুল । তারা ভুল কারণ তারা অস্থির; একটি নতুন নমুনা পান এবং গাছটি নির্বিচারে আলাদা হতে পারে। এবং একক গাছ ভবিষ্যদ্বাণীমূলক বৈষম্যের ক্ষেত্রে প্রতিযোগিতামূলক নয়। পার্সিমনি প্রায়শই ভবিষ্যদ্বাণীমূলক বৈষম্যের শত্রু। এবং মূল প্রশ্নের কাছে, বায়োমেডিক্যাল ক্ষেত্রে, এআই / এমএল ফলাফল ব্যাখ্যাযোগ্য নয়।

— ফ্র্যাঙ্ক হ্যারেল

এই নিবন্ধটি দেখুন এআই গবেষকরা অভিযোগ করেছেন যে মেশিন লার্নিংটি অ্যালেমি সায়েন্সমাগ.অর্গ

— মাইক হান্টার

শরীরের সাহসী প্রশ্ন এবং আপনার শিরোনামের প্রশ্নটি খুব আলাদা। দেখে মনে হচ্ছে আমার সহ সমস্ত উত্তর শিরোনামে প্রশ্নটিকে সম্বোধন করছে। সম্ভবত আপনি তার নিজস্ব থ্রেডে নোড এবং বৈশিষ্ট্যগুলি সম্পর্কে সঙ্কীর্ণ প্রশ্ন জিজ্ঞাসা করতে পারেন? তবে আপনি এটি করার আগে বিবেচনা করুন যে আপনি ইতিমধ্যে এমন একটি কাগজের সাথে লিঙ্ক করেছেন যা আপনার সাহসী প্রশ্নের উত্তরটি ইতিবাচকভাবে জবাব দেয়, তাই জিজ্ঞাসার আগে একটি উত্তরে আপনি কী শিখতে চান তা অবশ্যই বিবেচনা করুন।

— সাইকোরাক্স বলছে মনিকা পুনরায় ইনস্টল করুন

@ সাইকোরাক্স আমি যে লিঙ্কটি সবে যুক্ত করেছি তা একটি কাগজ নয়, একটি ব্লগ পোস্টের সাথে সম্পর্কিত এবং তাই আমি দৃir়চিত্ত দৃ .়তা সম্পর্কে সন্দেহবাদী। আমি শিরোনামে ডিএল সম্পর্কে বিভিন্ন ধরণের ব্যাখ্যাযোগ্যতা যা আমি টেক্সটে সাহসী হিসাবে বিবেচনা করি।

— মিচ 5'18

Answer 1

গভীর মডেলগুলির ব্যাখ্যা এখনও চ্যালেঞ্জিং ing

1. আপনার পোস্টে কেবল কম্পিউটার দর্শন অ্যাপ্লিকেশনগুলির জন্য সিএনএন উল্লেখ করেছে, তবে (গভীর বা অগভীর) ফিড-ফরোয়ার্ড নেটওয়ার্কগুলি এবং পুনরাবৃত্ত নেটওয়ার্কগুলি বুঝতে চ্যালেঞ্জিং রয়ে গেছে remain

2. এমনকি সিএনএন-এর ক্ষেত্রে যেমন স্পষ্টত "বৈশিষ্ট্য সনাক্তকারী" কাঠামো রয়েছে যেমন পিক্সেল প্যাচগুলির প্রান্ত এবং অভিমুখীকরণ, এটি নিম্নোক্ত স্তরের বৈশিষ্ট্যগুলি কীভাবে উপরের দিকে একত্রিত করা হয়, বা এই ভিশন বৈশিষ্ট্যগুলি কীভাবে ঘটে চলেছে তা সম্পূর্ণভাবে স্পষ্ট নয় not সম্পূর্ণ-সংযুক্ত স্তরে একত্রিত হয়।

3. প্রতিকূল উদাহরণগুলি দেখায় যে নেটওয়ার্কটির ব্যাখ্যা কীভাবে কঠিন। একটি বিদ্বেষমূলক উদাহরণ এটিতে কিছু ক্ষুদ্রতর পরিবর্তন সাধিত হয়, তবে মডেলের সিদ্ধান্তে নাটকীয় পরিবর্তন হয়। চিত্রের শ্রেণিবিন্যাসের প্রসঙ্গে, একটি চিত্রের সাথে সংশ্লেষিত একটি অল্প পরিমাণে শব্দ একটি টিকটিকিটির চিত্রটিকে একটি অন্য প্রাণী, যেমন (প্রজাতির) কুকুরের মতো অত্যন্ত আত্মবিশ্বাসী শ্রেণিবিন্যাসের জন্য পরিবর্তন করতে পারে।

শ্রেণিবিন্যাসের সিদ্ধান্তে (স্বল্প) পরিমাণের আওয়াজ এবং (বৃহত্তর) শিফটের মধ্যে একটি দৃ ,়, অবিশ্বাস্য সম্পর্ক রয়েছে এই অর্থে এটি ব্যাখ্যার সাথে সম্পর্কিত। এই নেটওয়ার্কগুলি কীভাবে পরিচালিত হয় সে সম্পর্কে চিন্তাভাবনা করার ফলে এটি কিছুটা অর্থপূর্ণ হয়: পূর্ববর্তী স্তরগুলিতে গণনাগুলি এগিয়ে প্রচার করা হয়, যাতে একটি সংখ্যার ত্রুটি - একটি ছোট ছোট, গুরুত্বহীন ত্রুটিগুলি - আরও বেশি সংখ্যক গণনাগুলি ব্যবহার করে সঞ্চালিত হওয়ার সাথে সাথে সংখ্যায় ত্রুটি বৃদ্ধি পায় এবং জমা হয় "দূষিত" ইনপুট।

অন্যদিকে, বিদ্বেষমূলক উদাহরণগুলির অস্তিত্ব দেখায় যে কোনও বিশেষ নোডের নির্দিষ্ট বৈশিষ্ট্য বা শ্রেণি হিসাবে কোনও নোডের ব্যাখ্যা করা কঠিন, যেহেতু নোডটি সক্রিয় হয়েছে এর মূল চিত্রের আসল বিষয়বস্তুর সাথে খুব কমই সম্পর্ক থাকতে পারে এবং মূল সম্পর্কের ক্ষেত্রে এই সম্পর্কটি সত্যই অনুমানযোগ্য নয়। তবে নীচের উদাহরণের চিত্রগুলিতে কোনও মানুষই চিত্রগুলির বিষয়বস্তু সম্পর্কে প্রতারিত হয় না: আপনি কোনও কুকুরের জন্য পতাকাটির খুঁটিটিকে বিভ্রান্ত করবেন না। আমরা কীভাবে এই সিদ্ধান্তগুলি ব্যাখ্যা করতে পারি, হয় সামগ্রিকভাবে (একটি ছোট শব্দ প্যাটার্নটি "টিকটিকি" কুকুরের মধ্যে রূপান্তরিত করে ", বা একটি ফ্ল্যাগপোল একটি কুকুর মধ্যে রূপান্তরিত করে) বা ছোট টুকরোয় (যে বেশ কয়েকটি বৈশিষ্ট্য সনাক্তকারী প্রকৃত চিত্রের তুলনায় শব্দ শৈলীর চেয়ে আরও সংবেদনশীল) বিষয়বস্তু)?

হ্যামনিক ফাংশনগুলি ব্যবহার করে অ্যাডভারসিয়াল ইমেজ উত্পন্ন করার জন্য হ্যাম একটি প্রতিশ্রুতিবদ্ধ নতুন পদ্ধতি। ("হারমোনিক অ্যাডভারসিয়াল অ্যাটাকের পদ্ধতি" ওয়েইন হেং, শুচাং চিউ, টিংটিং জিয়াং।) এই পদ্ধতিটি ব্যবহার করে তৈরি করা চিত্রগুলি আলোক / ছায়ার প্রভাব অনুকরণ করতে ব্যবহার করা যেতে পারে এবং সাধারণত পরিবর্তিত হয়েছে বলে সনাক্তকরণের জন্য এটি আরও বেশি চ্যালেঞ্জিং মানুষ।

উদাহরণ হিসাবে, এই চিত্রটি দেখুন, " ইউনিভার্সাল অ্যাডভারসিয়াল পার্টবুরেশনস" থেকে নেওয়া , সাইয়েদ-মোহসেন মুসাভি-দেজফুলি, আলহুসেইন ফওজী, ওমর ফওজি, এবং পাস্কাল ফরাসার্ড। আমি এই চিত্রটি বেছে নিয়েছিলাম কারণ এটি আমার প্রথম প্রতিকূল চিত্রগুলির মধ্যে একটি। এই চিত্রটি প্রতিষ্ঠিত করে যে কোনও বিশেষ শব্দ শৈলীর চিত্রের শ্রেণিবিন্যাসের সিদ্ধান্তের উপর এক অদ্ভুত প্রভাব রয়েছে, বিশেষত আপনি কোনও ইনপুট ইমেজে একটি ছোট্ট পরিবর্তন করতে পারেন এবং শ্রেণিবদ্ধকে ভাবতে পারেন যে ফলাফলটি একটি কুকুর is মনে রাখবেন যে অন্তর্নিহিত, মূল চিত্রটি এখনও সুস্পষ্ট: সব ক্ষেত্রেই, কোনও মানুষ কুকুরবিহীন চিত্র নয় এমন ভেবে বিভ্রান্ত হবে না।

আয়ান জে গুডফেলো, জনাথন শ্লেইনস এবং ক্রিশ্চান সিজেদী-র আরও বিস্তৃত কাগজটির দ্বিতীয় উদাহরণ, " ব্যাখ্যা ও সুদর্শন অ্যাডভারসারিয়াল উদাহরণ "। যুক্ত শব্দটি ফলাফলের চিত্রটিতে সম্পূর্ণ পৃথকীকরণযোগ্য, তবুও ফলাফলটি খুব আত্মবিশ্বাসের সাথে ভুল ফলাফল হিসাবে শ্রেণীবদ্ধ করা হয়েছে, পান্ডার পরিবর্তে একটি গিবন। এই ক্ষেত্রে, অন্ততপক্ষে, দুটি শ্রেণীর মধ্যে কমপক্ষে একটি উত্তীর্ণ মিল রয়েছে, কারণ গিবন এবং পান্ডা বিস্তৃত অর্থে কমপক্ষে কিছুটা জৈবিক এবং নান্দনিকভাবে সমান।

এই তৃতীয় উদাহরণটি জোও মন্টিরিও, জাহিদ আক্তার এবং টিয়াগো এইচ ফালকের " দ্বি-মডেল সিদ্ধান্তের উপর নির্ভর করে জেনারাইজযোগ্য অ্যাডভারসারিয়াল উদাহরণ সনাক্তকরণ " থেকে নেওয়া হয়েছে । এটি প্রতিষ্ঠিত করে যে শব্দটির প্যাটার্নটি কোনও মানুষের কাছে পৃথক হতে পারে তবে এখনও শ্রেণিবদ্ধকে বিভ্রান্ত করে।

রেফারেন্সের জন্য, একটি মুডপ্প্পি একটি গা dark় বর্ণের প্রাণী যার চারটি অঙ্গ এবং একটি লেজ রয়েছে, তাই এটি সোনার ফিশের সাথে সত্যিই তেমন সাদৃশ্য রাখে না।

4. আমি এই কাগজটি সবেমাত্র পেয়েছি। ক্রিশ্চিয়ান সেজেগেদি, ভোজসিচ জারেম্বা, ইলিয়া সুটসকিভার, জোয়ান ব্রুনা, দুমিত্রু এরহান, আয়ান গুডফেলো, রব ফার্গুস। " নিউরাল নেটওয়ার্কগুলির আকর্ষণীয় বৈশিষ্ট্য "। বিমূর্তে এই আকর্ষণীয় উক্তিটি অন্তর্ভুক্ত রয়েছে:

প্রথমত, আমরা দেখতে পাই যে ইউনিট বিশ্লেষণের বিভিন্ন পদ্ধতি অনুসারে পৃথক উচ্চ স্তরের ইউনিট এবং উচ্চ স্তরের ইউনিটের এলোমেলো রৈখিক সংমিশ্রণের মধ্যে কোনও পার্থক্য নেই। এটি সুপারিশ করে যে এটি পৃথক ইউনিটগুলির চেয়ে বরং স্থানটি হ'ল স্নায়বিক নেটওয়ার্কগুলির উচ্চ স্তরের শব্দার্থক তথ্য রয়েছে।

সুতরাং, উচ্চ স্তরে 'বৈশিষ্ট্য সনাক্তকারী' না হয়ে, নোডগুলি কেবল কোনও বৈশিষ্ট্য ব্যবস্থায় স্থানাঙ্কের প্রতিনিধিত্ব করে যা নেটওয়ার্ক ডেটা মডেল করার জন্য ব্যবহার করে।

Comments

ভাল দিক. তবে মনে রাখবেন যে সহজতম মডেলগুলিতে (লজিস্টিক, সিদ্ধান্তের গাছগুলি) এটি কোনও অস্পষ্ট কারণ কেন কোনও নির্দিষ্ট গুণাগুণ / থ্রিলসিল্ড এটি হ'ল (তবে এটি আমি ব্যাখ্যা করার মতো একই ব্যাখ্যা নয়)। সম্পূর্ণ অপ্রাসঙ্গিকভাবে নয়, ভাষা / আরএনএন / এলএসটিএম এর জন্য কি কোনও ভাল প্রতিকূল গবেষণা / উদাহরণ রয়েছে?

— মিচ

আমি আরও উল্লেখ করতে চাই যে লজিস্টিক রিগ্রেশন এর মতো সাধারণ মডেলগুলিও প্রতিকূল আক্রমণগুলির পক্ষে ঝুঁকির মধ্যে রয়েছে। আসলে গুডফেলো এট। অল। এটি নির্দেশ করে যে এটি অগভীর মডেল যা এরকম আক্রমণ প্রতিরোধ করার ক্ষমতা অভাবী। তবুও আমরা এখনও লজিস্টিক রিগ্রেশনটির ব্যাখ্যা করতে সক্ষম বলে দাবি করি।

— shimao

ভাল উত্তর, পয়েন্ট 3 ব্যতীত যা দুটি কারণে মোট। 1) এটি খুব কম ক্ষেত্রেই দেখা যায় যে কোনও মানুষের প্রতিদ্বন্দ্বী চিত্রটি "একটি মানুষের কাছে, একটি সংশোধিত চিত্র থেকে পৃথক নয়", যদি না মানুষের গুরুতর দৃষ্টি প্রতিবন্ধকতা থাকে। প্রায় সর্বদা আপনি খেয়াল করতে পারেন যে চিত্রটিতে কিছু শব্দের প্যাটার্ন যুক্ত হয়েছে, বিশেষত ব্যাকগ্রাউন্ডে, নান্দনিকভাবে তথাকথিত জেপিইজি-গোলমালের সাথে সাদৃশ্যযুক্ত (কেবল দৃশ্যমান: পার্টেরথিউজের আসল পরিসংখ্যানগত বৈশিষ্ট্যগুলি আলাদা)। কি বিস্ময়কর যে ক্লাসিফায়ার অনিশ্চিত এটি একটি কিনা নয় প্রকৃত বিড়াল বদলে, বলো, একটি দূষিত 1 /

— DeltaIV

2 / চিত্র, তবে এটি প্রায় নিশ্চিত যে এটি একটি বাস। 2) বিদ্বেষমূলক উদাহরণগুলি ব্যাখ্যার সাথে সম্পর্কিত কীভাবে? লিনিয়ার মডেল, সাধারণ রৈখিক মডেল এবং সিদ্ধান্ত গাছগুলি প্রতিকূল উদাহরণগুলিতে সংবেদনশীল। এটা আসলে এর সহজ একটি adversarial উদাহরণ যা লজিস্টিক রিগ্রেশন বোকা লোকদের সহিত বদলে এক যা নির্বোধের ResNet খুঁজে। তবুও, আমরা সাধারণত (জি) এলএমকে ব্যাখ্যাযোগ্য মডেল হিসাবে বিবেচনা করি, তাই আমি কোনও মডেলের ব্যাখ্যার সাথে বিদ্বেষমূলক উদাহরণগুলির অস্তিত্বকে সংযুক্ত করব না।

— ডেল্টাভ

@ দেলতাভ পয়েন্ট হ'ল আপনি শব্দটি লক্ষ্য করতে পারবেন না। প্রত্যেকটি জেপিগ যা খুব বেশি হ্রাস পেয়েছে তাতে শব্দ আছে। মুল বক্তব্যটি হ'ল ডিএনএনকে পাগল করার জন্য শব্দটি চালিত করা যেতে পারে, যা এমন কোনও শব্দ যা কোনও পর্যবেক্ষকের কাছে বোধ হয় না এমনকি যদি গোলমালটি নিজেই দেখা যায়।

— হংক ওয়

Answer 2

স্তরগুলি আমাদের পছন্দ মতো পরিষ্কারভাবে আরও বিমূর্ত বৈশিষ্ট্যগুলিতে মানচিত্র দেয় না। এটি দেখার একটি ভাল উপায় হ'ল দুটি অত্যন্ত জনপ্রিয় স্থাপত্যের তুলনা করা compare

ভিজিজি 16 এ মাঝে মাঝে পুলিং লেয়ারের সাথে একে অপরের উপরে সজ্জিত অনেকগুলি কনভ্যুশনাল স্তরগুলি নিয়ে গঠিত - এটি একটি প্রচলিত architect তিহ্যবাহী আর্কিটেকচার।

সেই থেকে লোকেরা অবশেষ আর্কিটেকচার ডিজাইনের দিকে এগিয়ে চলেছে, যেখানে প্রতিটি স্তর কেবল পূর্ববর্তী স্তরটিই নয়, মডেলের আরও একটি স্তর (বা সম্ভবত আরও) স্তরগুলির সাথে সংযুক্ত থাকে। রেসনেট এটি করার মধ্যে প্রথম একজন এবং এটিতে আপনি কোন বৈকল্পিক ব্যবহার করেন তার উপর নির্ভর করে আপনার প্রায় 100 স্তর রয়েছে।

যখন ভিজিজি 16 এবং অনুরূপ নেটওয়ার্কগুলিতে স্তরগুলি আরও বা কম ব্যাখ্যাযোগ্য পদ্ধতিতে কাজ করে - উচ্চ এবং উচ্চ স্তরের বৈশিষ্ট্যগুলি শিখছে, রেজনেটগুলি এটি করে না। পরিবর্তে, লোকেরা প্রস্তাব দিয়েছে যে তারা হয় আরও সঠিক করে তুলতে বৈশিষ্ট্যগুলিকে পরিমার্জন করে রাখবে বা তারা কেবল ছদ্মবেশে অগভীর নেটওয়ার্কগুলির একগুচ্ছ , যার মধ্যে দুটিও গভীর মডেলগুলি কী শিখছে তার "traditionalতিহ্যগত দৃষ্টিভঙ্গি "গুলির সাথে মিলে না।

ইমেজ শ্রেণিবদ্ধকরণ এবং অবজেক্ট সনাক্তকরণে রেসনেট এবং অনুরূপ আর্কিটেকচারগুলি ভিজিজিকে হস্তান্তরিতভাবে সম্পাদন করার সময়, কিছু অ্যাপ্লিকেশন রয়েছে যার জন্য ভিজিজির সরল নীচের বৈশিষ্ট্যটির স্তরক্রম খুব গুরুত্বপূর্ণ। একটি ভাল আলোচনার জন্য এখানে দেখুন ।

সুতরাং আরও আধুনিক আর্কিটেকচারগুলি আর ছবিতে ফিট করার মতো মনে হচ্ছে না, তাই আমি বলব যে আমরা সিএনএনগুলি এখনও ব্যাখ্যামূলক বলে বলতে পারি না।

Comments

সম্ভবত কোনও ডিএল নেটওয়ার্কের সম্পূর্ণ অপরিকল্পিত / অনির্ধারিত টপোলজি হ'ল একটি বিশাল এলোমেলোভাবে আংশিক অর্ডারযুক্ত সেট, সেন্সরগুলি ইনপুট করে দেয় এবং কাঙ্ক্ষিত ফাংশন আউটপুট করে (এটি কোনওভাবেই লেয়ারিংয়ের চেষ্টা করে না, প্রশিক্ষণটি এটি বের করে দেয়)। এখানে নোডগুলি খুব অনির্বচনীয় হবে। তবে কি এই ধরণের বোঝা যায় না যে টপোলজিটি আরও বেশি নকশাকৃত, এর কিছুটা ব্যাখ্যা করার সম্ভাবনা তত বেশি?

— মিচ

@ মিচ সাম্প্রতিক কিছু আর্কিটেকচার যেমন ডেনসনেট ধীরে ধীরে প্রতিটি স্তরকে প্রতিটি অন্যান্য স্তরের সাথে সংযুক্ত করার সীমাটির দিকে ধীরে ধীরে ক্রপ করা হচ্ছে - অনেকটা আপনার "অদ্বিতীয় নেটওয়ার্ক" এর মতো। তবে অবশ্যই, রেজিনিট এবং ডেনসেটের ভিজিজি 16 এর চেয়ে আরও পরিশীলিত নকশা রয়েছে, তবে কেউ বলতে পারেন যে তারা কম ব্যাখ্যাযোগ্য - তাই না, আমি মনে করি না আরও ডিজাইনের অর্থ আরও ব্যাখ্যাযোগ্য। সম্ভাব্য, স্পারসার সংযোগগুলির অর্থ আরও ব্যাখ্যাযোগ্য।

— শিমাও

Answer 3

আমার পিএইচডি গবেষণার বিষয়টি হ'ল এক বা দুটি লুকানো স্তর সহ নিউরাল নেটওয়ার্কগুলির ব্ল্যাক-বক্স বৈশিষ্ট্যগুলি বিশেষত ফিড-ফরোয়ার্ড নিউরাল নেটওয়ার্কগুলি প্রকাশ করা।

ওয়ান এবং বায়াস শর্তাবলী কী বোঝায় তা এক স্তরের ফিড-ফরোয়ার্ড নিউরাল নেটওয়ার্কে প্রত্যেককে বোঝানোর জন্য আমি চ্যালেঞ্জটি গ্রহণ করব। দুটি পৃথক দৃষ্টিকোণকে সম্বোধন করা হবে: একটি প্যারামেট্রিক এবং একটি সম্ভাব্য।

নিম্নলিখিতটিতে, আমি ধরে নিচ্ছি যে প্রতিটি ইনপুট নিউরনের সরবরাহ করা ইনপুট মানগুলি সমস্ত ( ) দ্বারা ব্যবধানে (0,1) স্বাভাবিক করা হয়েছে , যেখানে দুটি সহগ এবং প্রতিটি ইনপুট ভেরিয়েবল হিসাবে বেছে নেওয়া হয়, যেমন । আমি আসল-সংখ্যাযুক্ত ভেরিয়েবল এবং গণিত ভেরিয়েবলগুলির মধ্যে একটি বিশেষ পার্থক্য তৈরি করেছি (একটি বিশেষ ক্ষেত্রে উল্লিখিত ভেরিয়েবল হিসাবে বুলিয়ান ভেরিয়েবল সহ):$x_{input}=\alpha \cdot x + \beta$$\alpha$$\beta$$x_{input} \in (0,1)$

• লিনিয়ার স্কেলিংয়ের পরে একটি আসল সংখ্যাযুক্ত ভেরিয়েবল এবং মধ্যে দশমিক সংখ্যা হিসাবে সরবরাহ করা হয় ।$0$$1$
• একটি গণিত পরিবর্তনশীল, সপ্তাহের দিন (সোমবার, মঙ্গলবার, ইত্যাদি) দ্বারা প্রতিনিধিত্ব করা হয় নিতে সঙ্গে, ইনপুট নোড , enurable ফলাফল সংখ্যা, অর্থাত হচ্ছে এক সপ্তাহের মধ্যে দিনের সংখ্যা জন্য।$v$$v$$7$

ইনপুট স্তরের ওজনগুলির (পরম মান) আকারটি ব্যাখ্যা করতে সক্ষম হওয়ার জন্য আপনার ইনপুট ডেটার যেমন প্রতিনিধিত্ব প্রয়োজন।

প্যারামেট্রিক অর্থ:

• বৃহত্তর পরম মান ওজন একটি ইনপুট স্নায়ুর এবং একটি লুকানো স্নায়ুর মধ্যে, আরো গুরুত্বপূর্ণ পরিবর্তনশীল যে, ঐ বিশেষ লুকানো নোডের 'fireing' এর জন্য। কাছাকাছি ওজন নির্দেশ করে যে একটি ইনপুট মান অপেক্ষাকৃত ভাল। $0$
• কোনও আড়াল নোড থেকে আউটপুট নোড পর্যন্ত ওজন নির্দেশ করে যে ইনপুট ভেরিয়েবলগুলির ভারিত প্রশস্তকরণ যা নিখুঁত অর্থে সেই লুকানো নিউরনের দ্বারা প্রসারিত হয়, তারা নির্দিষ্ট আউটপুট নোডকে প্রচার বা স্যাঁতসেঁতে দেয়। ওজনের চিহ্নটি পদোন্নতি (ধনাত্মক) বা বাধা (negativeণাত্মক) নির্দেশ করে।
• নিউরাল নেটওয়ার্কের প্যারামিটারগুলিতে স্পষ্টভাবে প্রতিনিধিত্ব না করা তৃতীয় অংশটি হ'ল ইনপুট ভেরিয়েবলগুলির মাল্টিভারিয়েট বিতরণ। এটি হ'ল কতবার ঘটে যায় যে ইনপুট নোড - লুকানো নোড সত্যই বড় ওজন সহ ?$1$$3$$2$
• পক্ষপাতিত্ব শব্দটি কেবল একটি অনুবাদ ধ্রুবক যা কোনও লুকানো (বা আউটপুট) নিউরনের গড় পরিবর্তন করে। এটি উপরে উপস্থাপিত শিফট- মতো কাজ করে ।$\beta$

একটি আউটপুট নিউরন থেকে ফিরে যুক্তি : কোন লুকানো নিউরনগুলির আউটপুট নিউরনের সংযোগের ক্ষেত্রে সর্বাধিক পরম ওজনের মান রয়েছে? প্রতিটি লুকানো নোডের সক্রিয়তা কত ঘন ঘন কাছাকাছি হয়ে যায় (সিগময়েড অ্যাক্টিভেশন কার্যগুলি গ্রহণ করে)। আমি ফ্রিকোয়েন্সি সম্পর্কে বলছি, প্রশিক্ষণের সেট উপর পরিমাপ। ভালো হবে: ফ্রিকোয়েন্সি যা দিয়ে লুকানো নোড কি এবং , ইনপুট ভেরিয়েবল বড় ওজন সঙ্গে এবং , যে এই গোপন নোড এবং কাছাকাছি$1$$i$$l$$t$$s$$i$$l$$1$? প্রতিটি লুকানো নোড সংজ্ঞা অনুসারে এর ইনপুট মানগুলির একটি ভারিত গড় প্রচার করে। প্রতিটি লুকানো নোড মূলত কোন ইনপুট ভেরিয়েবলগুলি প্রচার করে - বা বাধা দেয়? এছাড়াও অনেক কিছু ব্যাখ্যা করে, ওজনগুলির মধ্যে পার্থক্যের পার্থক্য যা লুকানো নোড থেকে দুটি আউটপুট নোডে ফ্যান আউট এবং ।$\Delta_{j,k}=\mid w_{i,j} - w_{i,k}\mid$$i$$j$$k$

আরও গুরুত্বপূর্ণ লুকানো নোডগুলি একটি আউটপুট নোডের জন্য (ট্রেনিংয়ের উপর দিয়ে ফ্রিকোয়েন্সিতে কথা বলা), কোন 'ইনপুট ওয়েটের বার ইনপুট ফ্রিকোয়েন্সি' সবচেয়ে গুরুত্বপূর্ণ? তারপরে আমরা ফিড-ফরোয়ার্ড নিউরাল নেটওয়ার্কগুলির পরামিতিগুলির তাত্পর্যটি বন্ধ করে দিই।

সম্ভাব্য ব্যাখ্যা:

সম্ভাব্য দৃষ্টিভঙ্গির অর্থ একটি শ্রেণিবিন্যাস নিউরাল নেটওয়ার্ককে বয়েস শ্রেণিবদ্ধ হিসাবে বিবেচনা করা (তাত্ত্বিকভাবে সংজ্ঞায়িত সর্বনিম্ন ত্রুটি-হার সহ অনুকূল শ্রেণিবদ্ধ)। কোন ইনপুট ভেরিয়েবলের নিউরাল নেটওয়ার্কের ফলাফলের উপর প্রভাব রয়েছে - এবং কতবার? এটি একটি সম্ভাব্য সংবেদনশীলতা বিশ্লেষণ হিসাবে বিবেচনা করুন। একটি ইনপুট ভেরিয়েবলের পরিবর্তিতকরণের ফলে কতগুলি পৃথক শ্রেণিবিন্যাস হতে পারে? কতবার করে ইনপুট স্নায়ুর আছে সম্ভাব্য প্রভাব যা শ্রেণীবিন্যাস ফলাফল, সম্ভবত হয়ে implying যে সংশ্লিষ্ট আউটপুট স্নায়ুর সর্বোচ্চ মান অর্জন করা?$x_{input}$

স্বতন্ত্র কেস - প্যাটার্ন

যখন একটি আসল সংখ্যাযুক্ত ইনপুট নিউরন পরিবর্তিত হয় খুব সম্ভবত শ্রেণিবিন্যাস পরিবর্তিত হতে পারে, আমরা বলি যে এই পরিবর্তনশীলটির সম্ভাব্য প্রভাব রয়েছে । একটি গণিত ভেরিয়েবলের ফলাফলের পরিবর্তনের সময় (সোমবার থেকে মঙ্গলবার বা অন্য কোনও সপ্তাহের দিন পরিবর্তনের জন্য) ), এবং সর্বাধিক সম্ভাব্য ফলাফল পরিবর্তন হয়, তারপরে সেই গণিতের পরিবর্তনশীল শ্রেণিবিন্যাসের ফলাফলের উপর সম্ভাব্য প্রভাব ফেলে।$x_{input}$$[1,0,0,0,0,0,0]$$[0,1,0,0,0,0,0]$

যখন আমরা এখন সেই পরিবর্তনের সম্ভাবনাটি অ্যাকাউন্টে নিয়ে যাই, তখন আমরা প্রত্যাশিত প্রভাবের কথা বলি । অন্যান্য ইনপুটগুলির মানগুলি দিয়ে একটি ইনপুট কেস পরিবর্তিত ফলাফল পরিবর্তিত ইনপুট ভেরিয়েবল করার সম্ভাবনা কী ? প্রত্যাশিত প্রভাব বোঝায় প্রত্যাশিত মান , এর , যথা । এখানে সমস্ত ইনপুট মান ভেক্টর, ইনপুট থেকে ছাড়া হয় । মনে রাখবেন যে একটি এনুমারেটেড ভেরিয়েবলটি বেশ কয়েকটি ইনপুট নিউরন দ্বারা প্রতিনিধিত্ব করা হয়। এই সম্ভাব্য ফলাফলগুলি এখানে একটি পরিবর্তনশীল হিসাবে বিবেচিত হয়। এক্স আমি এন পি ইউ টি ই ( এক্স আমি এন পি ইউ টি | এক্স - আমি এন পি ইউ টি ) এক্স - আমি এন পি ইউ টি এক্স আমি এন পি ইউ $x_{input}$$x_{input}$$E(x_{input} \mid {\bf x}_{-input})$${\bf x}_{-input}$$x_{input}$

গভীর হেলান দেওয়া - এবং এনএন পরামিতিগুলির অর্থ

কম্পিউটার দর্শনে প্রয়োগ করা হলে, নিউরাল নেটওয়ার্কগুলি গত দশকে উল্লেখযোগ্য অগ্রগতি দেখিয়েছে। 1989 সালে লেকন দ্বারা প্রবর্তিত কনভোলশনাল নিউরাল নেটওয়ার্কগুলি চিত্রের স্বীকৃতির ক্ষেত্রে অবশেষে সত্যই দুর্দান্ত পারফরম্যান্সে পরিণত হয়েছে। জানা গেছে যে তারা বেশিরভাগ কম্পিউটার-ভিত্তিক স্বীকৃতি পদ্ধতিকে ছাড়িয়ে যেতে পারে।

আকর্ষণীয় উত্থাপিত বৈশিষ্ট্যগুলি উপস্থিত হয় যখন কনভ্যুশনাল নিউরাল নেটওয়ার্কগুলি অবজেক্টের স্বীকৃতির জন্য প্রশিক্ষণ দেওয়া হয়। লুকানো নোডগুলির প্রথম স্তরটি নিম্ন-স্তরের বৈশিষ্ট্য সনাক্তকারীকে উপস্থাপন করে, স্কেল-স্পেস অপারেটর টি। লিন্ডবার্গের মতো, স্বয়ংক্রিয় স্কেল নির্বাচনের সাথে বৈশিষ্ট্য সনাক্তকরণ, 1998 । এই স্কেল-স্পেস অপারেটরগুলি সনাক্ত করে

• লাইন,
• কোণ,
• টি-সংযোগস্থলের

এবং কিছু অন্যান্য প্রাথমিক চিত্র বৈশিষ্ট্য।

আরও মজার বিষয়টি হ'ল স্তন্যপায়ী মস্তিষ্কের অনুধাবনকারী নিউরনগুলি (জৈবিক) চিত্র প্রক্রিয়াকরণের প্রথম ধাপগুলিতে এই ধরণের কাজ করার অনুরূপ বলে দেখা গেছে। সিএনএন-এর সাথে বৈজ্ঞানিক সম্প্রদায় কীভাবে মানুষের উপলব্ধি এতটাই অভূতপূর্ব করে তোলে তা বন্ধ করে দিচ্ছে। এটি গবেষণার এই লাইনটি আরও অনুসরণ করা খুব সার্থক করে তোলে।

Comments

এটি আকর্ষণীয় - এটি কি সংযুক্ত বৈশিষ্ট্যগুলির ক্ষেত্রে অনেক বেশি ব্যাখ্যাযোগ্যতা সরবরাহ করবে বলে মনে হচ্ছে না?

— খোল

প্রত্যাশিত ভলিউ ই (।) শর্তসাপেক্ষ বিতরণের গড় হিসাবেও পরিচিত, এক্স_ ইনপুট প্রদত্ত এক্স_-ইনপুট, অন্যান্য সমস্ত ভেরিয়েবল। সুতরাং, পারস্পরিক সম্পর্কগুলি এই প্রত্যাশিত প্রভাব ধারণার সাথে পুরোপুরি সংহত incor নোট করুন যে সম্ভাব্য স্বাধীনতার 'পারস্পরিক সম্পর্ক' এর চেয়েও বিস্তৃত সংজ্ঞা রয়েছে - পরে গাউসীয় বিতরণ করা তথ্যের জন্য মূলত সংজ্ঞা দেওয়া হচ্ছে।

— ম্যাচ মেকার EE

খুশী হলাম। এই ধরণের কি স্ট্রাকড রিগ্রেশন মডেলগুলির একটি সেটকে লজিস্টিক রিগ্রেশনের ব্যাখ্যার সাধারণীকরণ করা হয়, একটিতে পরের দিকে খাওয়ানো হয়?

— মিচ

লুকানো নোডের একটি উপসেট আউটপুট নিউরনের জন্য একটি লজিক্যাল 'ওআর' বা আরও অনেকগুলি লজিকাল 'এবং' এর মতো কাজ করতে পারে। অথবা ঘটে যখন একটি লুকানো নোড অ্যাক্টিভেশন আউটপুট নিউরনকে 1 এর কাছাকাছি রূপায়িত করার জন্য যথেষ্ট হয় এবং যখন ঘটে তখন কেবল সংক্ষিপ্ত নোড সক্রিয়করণের ফলে আউটপুট নোড অ্যাক্টিভেশনটি 1 এর কাছাকাছি হতে পারে can 'আর' বা আরও বেশি ' এবং ', এটি আউটপুট নোডের' ফ্যান ইন 'এর প্রশিক্ষিত ওজন ভেক্টরের উপর নির্ভর করে।

— ম্যাচ মেকার EE