পেরমুটেশন ইনগ্রিয়েন্ট নিউরাল নেটওয়ার্কগুলি

Question

একটি নিউরাল নেটওয়ার্ক যা ইনপুট ডেটা পয়েন্ট হিসাবে গ্রহণ করবে : । আমরা বলি হ'ল পারমিটেশন ইনগ্রিটারেট if$f$$n$$x_1, \dots, x_n$$f$

$$f(x_1 ... x_n) = f(pi(x_1 ... x_n))$$

কোনো বিন্যাস জন্য ।$pi$

কেউ কি আঞ্চলিক ইনগ্রিয়েন্ট নিউরাল নেটওয়ার্কগুলির জন্য কোনও প্রারম্ভিক বিন্দু (নিবন্ধ, উদাহরণ বা অন্য কাগজ) সুপারিশ করতে পারে?

Comments

আকর্ষণীয় প্রশ্ন। আপনি ইনপুটগুলিকে ভেক্টরের চেয়ে সেট হিসাবে বিবেচনা করতে চান। আপনার ইনপুটগুলি স্কেলার বা অন্যথায় তুলনামূলক বলে ধরে নিচ্ছেন, আপনি কি কোনও ক্রম-বিস্মরণীয় আধ্যাত্মিক উপস্থাপনা তৈরি করার জন্য আপনার ইনপুটগুলি বাছাই এবং একটি নিয়মিত নেটওয়ার্কে খাওয়ানোর কথা বিবেচনা করেছেন?

— mjul

@ এমজুল আমার ইনপুটগুলি ক্লায়েন্টদের বেটের সিরিজ (প্রতিটি বাজি কিছু ক্যাথেগোরিকাল এবং অবিচ্ছিন্ন ভেরিয়েবলের ভেক্টর দ্বারা উপস্থাপিত হয়)। উদাহরণস্বরূপ আমি তাদের কালানুক্রমিকভাবে অর্ডার করতে পারলাম, তবে প্রতিটি ক্লায়েন্টের জন্য বেটের মধ্যে সময় ব্যবধানটি খুব আলাদা, এটি খুব বেশি অর্থবোধ করে না। এটি সম্ভবত প্রতিটি বাটের জন্য সহগগুলি ক্ষয়কারী সময়ের কিছু ফাংশন (স্থির বা শিখেছি) ব্যবহার করে সমাধান করা যেতে পারে। তবে আমি মনে করি এই ক্ষেত্রে অর্ডারিংটি আসলেই কিছু যায় আসে না তাই আমি প্রথমে অর্ডারড করা ডেটা চেষ্টা করতে চেয়েছিলাম, যা অবশ্যই প্রতিটি ক্লায়েন্টের জন্য প্রতিসাম্যপূর্ণভাবে বেটের চিকিত্সা করা দরকার।

— জোসেফ ওঁদ্রেজ

নেটওয়ার্ক আউটপুট কি? নেটওয়ার্কটি যদি ক্রমাগতভাবে আক্রমণকারী হয় তবে ইনপুটগুলির যে কোনও ক্রমের জন্য আউটপুট একই হবে। এই কমান্ডের সাহায্যে আপনি চান কি?

— ব্লুমুন93

@ ব্লুমুন93 হ্যাঁ, এটি হ'ল আমি যা চাই। যতক্ষণ না ইনপুটগুলির ক্রমের উপর নির্ভর করে না আউটপুটটি কোনও কিছু (সংখ্যা, ভেক্টর) হতে পারে।

— জোসেফ ওন্দ্রেজ

আপনি কেন পরোয়ানা আক্রমণকারী নিউরাল নেটওয়ার্ক চান?

— কেসি সাইজ 'কেসি সয়েজ'

Answer 1

যতদূর আমি জানি, নেটওয়ার্কটি স্ট্রাকচারিত হওয়ার কারণে কেউ এটি চেষ্টা করে নি। প্রতিটি ইনপুটটিতে ওজনের একটি সেট থাকে, যা আরও ইনপুটগুলির সাথে সংযুক্ত থাকে। যদি ইনপুটগুলি স্যুইচ হয় তবে আউটপুটটিও কার্যকর হবে ।

তবে, আপনি এমন একটি নেটওয়ার্ক তৈরি করতে পারেন যা এই আচরণের দিকে এগিয়ে যায়। আপনার প্রশিক্ষণ সেটে ব্যাচ লার্নিং এবং প্রতিটি প্রশিক্ষণের নমুনার জন্য ব্যবহার করুন, নেটওয়ার্ককে এমন সমস্ত সম্ভাব্য অনুমতি দিন যাতে এটি পরবর্তীতে আগত হতে পারে। এটি কখনই ঠিক আক্রমণাত্মক হবে না, এটি কেবল নিকটেই হতে পারে ।

এটি করার আরেকটি উপায় হ'ল সমস্ত ইনপুটগুলির জন্য ওজনগুলি প্রতিলিপি করা। উদাহরণস্বরূপ, ধরে নেওয়া যাক আপনার কাছে 3 ইনপুট (i0, i1, i2) রয়েছে এবং পরবর্তী লুকানো স্তরে 2 টি নোড (এইচএল 0, এইচএল 1) এবং অ্যাক্টিভেশন ফাংশন এফ রয়েছে। সম্পূর্ণরূপে সংযুক্ত স্তর ধরে ধরে আপনার 2 টি ওজন ডাব্লু 0 এবং ডাব্লু 1 রয়েছে। লুকানো স্তরের নোডগুলি এইচএল 0 এবং এইচএল 1 যথাক্রমে দ্বারা দেওয়া হয়

• hl0 = F (i0w0 + i1w0 + i2w0)

• hl1 = F (i0w1 + i1w1 + i2w1)

এইভাবে আপনাকে এমন একটি গোপন স্তর প্রদান করা হচ্ছে যার মানগুলি ইনপুট থেকে ক্রমবর্ধমান অদম্য are এখন থেকে, আপনি যথাযথ দেখতে দেখতে আপনি বাকী নেটওয়ার্কটি শিখতে এবং তৈরি করতে পারবেন। এটি কনভোলজিনাল স্তরগুলি থেকে প্রাপ্ত একটি পদ্ধতি।

---

অফ-টপিক, এটি দুর্দান্ত প্রকল্পের মতো মনে হচ্ছে। আপনি যদি কিছু গবেষণা প্রকল্পে সহযোগিতা করতে চান তবে আমার সাথে যোগাযোগ করুন (আমার প্রোফাইলটি দেখুন)

Comments

গণ্য জটিলতার কারণে প্রস্তাবিত প্রথম পদ্ধতির বিষয়টি আমার ক্ষেত্রে অপরিহার্য হবে। অন্যদিকে দ্বিতীয়টি সম্ভবত খুব সীমাবদ্ধ বলে মনে হচ্ছে। তবে এটি অবশ্যই একটি ভাল শুরু। আমি এ পর্যন্ত যা নিয়ে এসেছি তা হল এই গবেষণাপত্রের সাথে পাওয়া অনুরূপ: arxiv.org/pdf/1612.04530.pdf । প্রথমে আমি ইনপুটগুলির সমস্ত জোড় (সাধারণত সমস্ত কে-টিপলস) বিবেচনা করি x_i, x_j, i, j in 0 ... n এবং তাদের সকলের জন্য (প্রতিটি জোড়া একই এনএন) কিছু নিউরাল নেটওয়ার্ক প্রয়োগ করি। এটি আমাকে এন ** 2 আউটপুট এফ (x_i, x_j) দেয় এবং তারপরে আমি এগুলিকে গড় করি (বা সর্বাধিক গ্রহণ করি) এবং ফলাফলের উপরে anoter nn প্রয়োগ করি।

— জোসেফ ওন্দ্রেজ

আমি এ পর্যন্ত এটি নিয়ে এসেছি: github.com/josefondrej/Smetmet- লেয়ার্স

— জোসেফ

Answer 2

এখানে কয়েকটি যা আপনি যা খুঁজছেন তা হতে পারে:

• গভীর সেট, https://papers.nips.cc/paper/6931- दीप- sets.pdf
• ব্রুনো: এক্সচেঞ্জযোগ্য ডেটাগুলির জন্য একটি গভীর পুনরাবৃত্তি মডেল, https://arxiv.org/pdf/1802.07535.pdf
• সেট এবং পয়েন্ট মেঘের সাথে গভীর শিখন, https://openreview.net/pdf?id=HJF3iD9xe
• পারমিটেশন-সমতুল্য নিউরাল নেটওয়ার্কগুলি ডায়নামিক্স পূর্বাভাস, https://arxiv.org/pdf/1612.04530.pdf এ প্রয়োগ করা হয়েছে

Answer 3

আমি কেরাস ব্যবহার করে এখানে পেরুমুটেশনাল স্তরটি প্রয়োগ করেছি: https://github.com/off99555/superkeras/blob/master/permutational_layer.py

আপনি কল করতে পারেন PermutationalModuleএটি ব্যবহার ফাংশনটি করতে পারেন।

এই কাগজ অনুসরণ করে বাস্তবায়িত: https://arxiv.org/pdf/1612.04530.pdf

ধারণাটি হ'ল এন ইনপুট থেকে সমস্ত জোড়া এন ^ 2 জোড়া তুলনা করা , ভাগ করা ওজনযুক্ত মডেলটি ব্যবহার করুন, তারপরে এন ইনপুটগুলিতে পুলিং ফাংশন N বার ব্যবহার করুন । আউটপুট আপনি আবার পুলিং ব্যবহার করতে পারেন তবে কাগজে, তারা অন্য পুলিংয়ের কথা উল্লেখ করেন না।