এখানে সমস্ত উত্তর দুর্দান্ত, তবে কোনও কারণে, এই প্রভাবটি আপনাকে অবাক করে না কেন সে সম্পর্কে এখনও কিছু বলা হয়নি । খালি পূরণ করব।
এই কাজ করার জন্য একেবারে অপরিহার্য যে একটি প্রয়োজনীয়তাটি আমার সাথে শুরু করা যাক: আক্রমণকারীকে অবশ্যই নিউরাল নেটওয়ার্ক আর্কিটেকচার (স্তরগুলির সংখ্যা, প্রতিটি স্তরের আকার ইত্যাদি) জানতে হবে। তদুপরি, আমি নিজে যা যা পরীক্ষা করেছি সে সব ক্ষেত্রে আক্রমণকারী সেই মডেলটির স্ন্যাপশট জানেন যা উত্পাদনে ব্যবহৃত হয়, অর্থাৎ সমস্ত ওজন। অন্য কথায়, নেটওয়ার্কের "উত্স কোড" কোনও গোপন বিষয় নয়।
আপনি যদি নিউরাল নেটওয়ার্কটিকে একটি ব্ল্যাক বক্সের মতো আচরণ করেন তবে আপনি বোকা বানাতে পারবেন না। এবং আপনি বিভিন্ন নেটওয়ার্কের জন্য একই বোকা চিত্রটি পুনরায় ব্যবহার করতে পারবেন না। প্রকৃতপক্ষে, আপনাকে লক্ষ্য নেটওয়ার্কটি নিজেই "প্রশিক্ষণ" দিতে হবে এবং এখানে প্রশিক্ষণের অর্থ আমি এগিয়ে এবং ব্যাকপ্রপ পাসগুলি চালিয়ে যেতে চাইছি তবে বিশেষভাবে অন্য উদ্দেশ্যে সজ্জিত।
কেন এটা আদৌ কাজ করছে?
এখন, অন্তর্নিহিত এখানে। চিত্রগুলি খুব উচ্চ মাত্রিক: এমনকি ছোট 32x32 রঙের চিত্রের জায়গারও 3 * 32 * 32 = 3072মাত্রা রয়েছে। তবে প্রশিক্ষণের ডেটা সেট তুলনামূলকভাবে ছোট এবং বাস্তব চিত্রগুলি রয়েছে, যার মধ্যে কিছু কাঠামো এবং সুন্দর পরিসংখ্যানগত বৈশিষ্ট্য রয়েছে (যেমন রঙের স্বচ্ছতা)। সুতরাং প্রশিক্ষণের ডেটা সেটটি এই বিশাল আকারের চিত্রের একটি ক্ষুদ্র বহু গুণে অবস্থিত।
কনভ্যুশনাল নেটওয়ার্কগুলি এই বহুগুণে চূড়ান্তভাবে কাজ করে তবে মূলত বাকী স্থানটি সম্পর্কে কিছুই জানে না। বহুগুণের বাইরে পয়েন্টগুলির শ্রেণিবিন্যাস হ'ল বহুগুণের ভিতরে থাকা পয়েন্টগুলির উপর ভিত্তি করে কেবল একটি রৈখিক এক্সট্রোপোলেশন। আশ্চর্যের কিছু নেই যে কিছু নির্দিষ্ট পয়েন্টগুলি ভুলভাবে এক্সট্রপোলটেড হয়। আক্রমণকারীটির কেবলমাত্র এই পয়েন্টগুলির নিকটতম স্থানে নেভিগেট করার জন্য একটি উপায় প্রয়োজন।
উদাহরণ
একটি নিউরাল নেটওয়ার্ককে কীভাবে বোকা বানাতে হয় তার একটি দৃ concrete় উদাহরণ আমি আপনাকে দিই। এটি কমপ্যাক্ট তৈরি করতে, আমি একটি অ লাইনলাইটি (সিগময়েড) সহ একটি খুব সাধারণ লজিস্টিক রিগ্রেশন নেটওয়ার্ক ব্যবহার করতে যাচ্ছি। এটি একটি 10-মাত্রিক ইনপুট লাগে x, একক সংখ্যার গণনা করে p=sigmoid(W.dot(x)), যা 1 ম শ্রেণির (বনাম 0 0) সম্ভাবনা।
মনে করুন আপনি জানেন W=(-1, -1, 1, -1, 1, -1, 1, 1, -1, 1)এবং একটি ইনপুট দিয়ে শুরু করেন x=(2, -1, 3, -2, 2, 2, 1, -4, 5, 1)। একটি ফরোয়ার্ড পাস দেয় sigmoid(W.dot(x))=0.0474বা 95% সম্ভাব্যতা যা xক্লাস 0 উদাহরণ।
আমরা অন্য একটি উদাহরণ খুঁজতে চাই y, যা খুব কাছাকাছি অবস্থিত xতবে 1 দ্বারা নেটওয়ার্ক দ্বারা শ্রেণিবদ্ধ করা হয়েছে Note দ্রষ্টব্য যে x10-মাত্রিক, তাই আমাদের 10 মানকে টেনে তোলার স্বাধীনতা আছে যা অনেক বেশি।
যেহেতু W[0]=-1নেতিবাচক, তাই y[0]মোটের মোট y[0]*W[0]ছোট অবদান রাখার জন্য আরও ভাল । সুতরাং, আসুন তৈরি করা যাক y[0]=x[0]-0.5=1.5। অনুরূপভাবে, W[2]=1ইতিবাচক, তাই এটি বৃদ্ধি ভালো y[2]করতে y[2]*W[2]বড়: y[2]=x[2]+0.5=3.5। ইত্যাদি।
ফলাফল y=(1.5, -1.5, 3.5, -2.5, 2.5, 1.5, 1.5, -3.5, 4.5, 1.5), এবং sigmoid(W.dot(y))=0.88। এই এক পরিবর্তনের মাধ্যমে আমরা ক্লাস 1 সম্ভাব্যতা 5% থেকে 88% এ উন্নত করেছি!
সাধারণীকরণ
পূর্ববর্তী উদাহরণটি যদি আপনি নিবিড়ভাবে লক্ষ্য করেন তবে আপনি লক্ষ্য করবেন যে xটার্গেট ক্লাসে স্থানান্তরিত করার জন্য আমি কীভাবে টুইট করতে হবে ঠিক জানি , কারণ আমি নেটওয়ার্ক গ্রেডিয়েন্ট জানতাম knew আমি যা করেছি তা হ'ল ব্যাকপ্রোপেশন , তবে ওজনের পরিবর্তে উপাত্তের প্রতি শ্রদ্ধা রেখে।
সাধারণভাবে, আক্রমণকারী লক্ষ্য বন্টন দিয়ে শুরু করে (0, 0, ..., 1, 0, ..., 0)(যে শ্রেণীর দ্বারা এটি অর্জন করতে চায় সে বাদে সর্বত্র শূন্য), ডেটাতে ব্যাকপ্যাজেট করে এবং সেই দিকে একটি ছোট পদক্ষেপ করে। নেটওয়ার্কের অবস্থা আপডেট করা হয়নি।
এখন এটি পরিষ্কার হওয়া উচিত যে এটি ফিড-ফরোয়ার্ড নেটওয়ার্কগুলির একটি সাধারণ বৈশিষ্ট্য যা একটি ছোট ডেটা বহুগুণে ডিল করে, এটি যত গভীর হয় বা তথ্যের প্রকৃতি (চিত্র, অডিও, ভিডিও বা পাঠ্য) বিবেচনা করে না।
Potection
সিস্টেমটিকে বোকা বানানো থেকে রোধ করার সহজতম উপায় হ'ল নিউরাল নেটওয়ার্কগুলির একটি এনামেবল ব্যবহার করা, অর্থাৎ এমন একটি সিস্টেম যা প্রতিটি অনুরোধে বেশ কয়েকটি নেটওয়ার্কের ভোটকে একত্রিত করে। এক সাথে বেশ কয়েকটি নেটওয়ার্কের সাথে ব্যাকপ্রপাগেট করা আরও বেশি কঠিন। আক্রমণকারীটি এটি ক্রমানুসারে করার চেষ্টা করতে পারে, একবারে একটি নেটওয়ার্ক, তবে একটি নেটওয়ার্কের আপডেটটি অন্য নেটওয়ার্কের জন্য প্রাপ্ত ফলাফলগুলির সাথে সহজেই গণ্ডগোল করতে পারে। যত বেশি নেটওয়ার্ক ব্যবহৃত হয় তত আক্রমণ আরও জটিল হয়।
আর একটি সম্ভাবনা হ'ল ইনপুটটিকে নেটওয়ার্কে যাওয়ার আগে মসৃণ করা।
একই ধারণা ইতিবাচক ব্যবহার
আপনার ভাবতে হবে না যে চিত্রটিতে ব্যাকপ্রসারণের কেবল নেতিবাচক অ্যাপ্লিকেশন রয়েছে। ডেকনভলিউশন নামে পরিচিত একটি খুব অনুরূপ কৌশলটি নিউরনরা কী শিখেছে তা দৃশ্যধারণ এবং আরও ভাল করে বোঝার জন্য ব্যবহৃত হয়।
এই কৌশলটি এমন একটি চিত্র সংশ্লেষের অনুমতি দেয় যা একটি নির্দিষ্ট নিউরনকে আগুনের কারণ করে তোলে, মূলত দৃষ্টিভঙ্গিটি "নিউরন কী খুঁজছেন" দেখুন যা সাধারণভাবে কনভোলজিকাল নিউরাল নেটওয়ার্কগুলিকে আরও ব্যাখ্যাযোগ্য করে তোলে।
