নির্দিষ্ট স্টাইলে ছবি আঁকতে কি নিউরাল নেটওয়ার্ককে প্রশিক্ষণ দেওয়া সম্ভব?


10

নির্দিষ্ট স্টাইলে ছবি আঁকতে কি নিউরাল নেটওয়ার্ককে প্রশিক্ষণ দেওয়া সম্ভব? (সুতরাং এটি একটি চিত্র নেয় এবং এটি এমন স্টাইলে পুনরায় আঁকেন যার জন্য প্রশিক্ষণ দেওয়া হয়েছিল))

এই জাতীয় কোনও জিনিসের জন্য কি কোনও অনুমোদিত প্রযুক্তি রয়েছে? আমি ডিপআর্ট অ্যালগরিদম সম্পর্কে জানি। নির্দিষ্ট চিত্রের সাথে প্রধান চিত্রটি পূরণ করা ভাল (উদাহরণস্বরূপ, ভ্যানগোফিফাই চিত্র), তবে আমি আলাদা কিছু খুঁজছি - উদাহরণস্বরূপ, ইনপুট প্রতিকৃতি থেকে নির্দিষ্ট শৈলীতে কার্টুন তৈরি করা।


3
ফটোগ্রাফি থেকে কার্টুন নিউরাল নেট প্রশিক্ষণের ক্ষেত্রে একটি বাধা ট্রেনিং ডেটাসেট সন্ধান করতে পারে। দেখে মনে হচ্ছে যে ডেটাসেটে এমন ফটোগ্রাফ এবং কার্টুনগুলি থাকতে হবে যা মানুষ সেই ছবিগুলির উপর ভিত্তি করে আঁকা। আমি এই জাতীয় কোনও ডেটাসেট সম্পর্কে সচেতন নই।
ট্যানার সোয়েট

@ ট্যাননারস্বট এই জাতীয় প্রশিক্ষণের জন্য কতটা চিত্রের প্রয়োজন তা আপনি কীভাবে ভাবেন?
zavg

আমি কোনও বিশেষজ্ঞ নই, তাই আমি কেবল একটি বন্য অনুমান করতে পারি। আমি মনে করি আপনার কমপক্ষে এক হাজার চিত্রের প্রয়োজন হবে। এর চেয়ে আপনার আরও অনেক বেশি প্রয়োজন হতে পারে। যাইহোক, আমি এই সরঞ্জামটি দেখার পরামর্শ দিচ্ছি: github.com/hardmaru/sketch-rnn এই সরঞ্জামটি চীনা অক্ষরের অনুকরণ তৈরি করতে ব্যবহৃত হয়েছে; সম্ভবত একটি অনুরূপ সরঞ্জাম কার্টুনের অনুকরণ তৈরি করতে পারে।
ট্যানার সোয়েট

কিছুটা আগে আমার এনএন প্রশিক্ষণ ছিল বলে আমি কিছুটা পুরানো হতে পারি তবে আপনি যদি কয়েক হাজার ছবি সহ কোনও নেটওয়ার্ককে প্রশিক্ষণ দেওয়ার কথা ভাবছেন এবং এটি এমন স্টাইলে ছবি রেন্ডার করতে সক্ষম হবেন বলে আপনি আশা করছেন - আপনি যদি ভাবছেন যে এটি একটি ভাল স্টার্টার প্রকল্প তবে তা করবেন না। আপনি যা বর্ণনা করেছেন তা অর্জন করতে ম্যানুয়াল ফিডিংয়ের একটি 'প্রচুর' প্রয়োজন হবে। কেবল চিত্রের মিল নয়, একটি চিত্রের ব্যাখ্যা দেওয়ার জন্য প্রয়োজনীয় জ্ঞানের কথা চিন্তা করুন।
পিটার স্কট

উত্তর:


12

একটি প্রাসঙ্গিক কাগজ রয়েছে: এল এ গ্যাটাস, এএস একার, এম বেথজ, 2015, আর্টিকাল স্টাইলের একটি নিউরাল অ্যালগরিদম । বিমূর্ত থেকে উদ্ধৃতি,

এখানে আমরা একটি ডিপ নিউরাল নেটওয়ার্ক ভিত্তিক একটি কৃত্রিম সিস্টেম প্রবর্তন করি যা উচ্চ উপলব্ধিযোগ্য মানের শৈল্পিক চিত্র তৈরি করে। শৈল্পিক চিত্র তৈরির জন্য একটি নিউরাল অ্যালগরিদম সরবরাহ করে সিস্টেমটি স্বেচ্ছাসেবী চিত্রগুলির স্টাইল এবং পুনঃসংযোগের জন্য স্নায়বিক উপস্থাপনা ব্যবহার করে।

এই কাগজ থেকে চিত্র 2 এখানে:

এখানে চিত্র বর্ণনা লিখুন

এখানে একটা হয় খুব জনপ্রিয় ওপেন সোর্স মশাল উপর ভিত্তি করে বাস্তবায়ন এখানে যা বেশ সহজ ব্যবহার করা হয়। আরও উদাহরণের জন্য লিঙ্কটি দেখুন।

মনে রাখবেন, গণনাগুলি ভারী এবং তাই একক চিত্রের প্রক্রিয়াকরণ হ'ল এই কাজের সুযোগ।

সম্পাদনা: আপনার উল্লিখিত ডিপআর্ট প্রকল্পটি যাচাই করার পরে মনে হচ্ছে এটি একই কৌশল ব্যবহার করছে। আমি নিশ্চিত না যে আপনি যা চান তা কেন এটি নয়, কারণ স্টাইল-ট্রান্সফার ধারণাটি যতটা সাধারণ।


4
কার্টুনগুলি যা চিত্রিত করছে তার বৈশিষ্ট্যগুলি অতিরঞ্জিত করে এবং সরল করে, এমন একটি আকার তৈরি করে যা কোনও ফটোগ্রাফের আকারগুলির চেয়ে অনেক বেশি আলাদা। আমি বিশ্বাস করি না যে বিদ্যমান স্টাইল ট্রান্সফার নিউরাল নেটগুলি এটি কখনও করেছে।
ট্যানার সোয়েট

@ ট্যাননারস্বট এখানে উদাহরণগুলি দেখুন: imgur.com/a/ue6ap । এর মধ্যে কয়েকটি বেশ কার্টুন-ইশ are
অ্যামিবা

@ অ্যামিবা এগুলি কার্টুনিশ দেখায়, হ্যাঁ, তবে তাদের কারওরই বেশিরভাগ আসল কার্টুনের বিকৃত অনুপাত নেই।
ট্যানার সোয়েট

আমরা এখানে স্টাইল-ট্রান্সফার সম্পর্কে কথা বলছি। সমস্ত উদাহরণ উদাহরণস্বরূপ কিছু প্রাক-পূর্বনির্ধারিত শৈলীর ব্যবহার করে, যেখানে এগুলির কোনওটি কার্টুনিশ ছিল না (কেন ভ্যান গগ-এ শিখলে আউটপুট কার্টুনিশ হওয়া উচিত)। সম্ভবত আপনি কেবল ওপেন সোর্স প্রকল্পটি চালানোর জন্য পেতে পারেন (আমার অতীতে কোনও সমস্যা ছিল না) এবং কার্টুন-ইনপুট দিয়ে চেষ্টা করে দেখতে পারেন।
সাসাচ

7

এটি সমাধান করা বেশ কঠিন সমস্যা। কার্টুন স্টাইল যেমন সিম্পসন থেকে কোনও ইমেজ প্রয়োগ করা হয়েছে সে সম্পর্কে আপনি এখানে কয়েকটি উদাহরণ দেখতে পাচ্ছেন

একটি কার্টুন চিত্রের সাধারণত কাঠামো থাকে না যা এই আর্টসির প্রভাব দেয় । এটি কোনও উপায়ে প্রয়োগ করার চেষ্টা করার সবচেয়ে সহজ উপায় হ'ল মুখোমুখি ট্র্যাকার রাখা এবং তারপরে দুটি মুখ সারিবদ্ধ করার চেষ্টা করুন, উদাহরণস্বরূপ একটি কার্টুন চেহারা এবং একটি মানুষের মুখ এবং তারপরে এটি প্রয়োগ করুন। এটি আপনাকে কোথাও পেতে পারে তবে এটি অদ্ভুত দেখাচ্ছে। এরপরে আপনি আরও সাহায্যের জন্য চিত্রগুলির মধ্যে ল্যান্ডমার্কগুলি টীকায়িত করতে পারেন এবং এর আগে একটি অনমনীয় নিবন্ধকরণ করতে পারেন। এটি এখনও কিছুটা শিটমিক্স সমাধান, তবে আমি এটির সবচেয়ে কাছেরটি ভাবতে পারি যে এটি মুখগুলির জন্য কাজ করতে পারে।

সম্পাদনা:

@ ট্যাননারস্বেটের মন্তব্যটি এতে কিছু যুক্ত করেছে, কিছু শিল্পীর ওয়েবপৃষ্ঠায় যেতে এবং তাদের চিত্রগুলির সন্ধান করার চেষ্টা করতে এবং "তাদের" স্টাইলটি শেখার চেষ্টা করার সম্ভাবনা রয়েছে। আমি এখনও মনে করি না যে এটি সন্তোষজনক হবে বা যথেষ্ট পরিমাণে ডেটা দেবে, তবে এটি পরীক্ষা করা একটি আকর্ষণীয় বিষয় হবে। এখনই কোনও সাধারণভাবে উপলভ্য সমাধান নেই, তবে আমি মনে করি যে এটি অবশ্যই কিছু লোক এতে কাজ করছে এবং আমরা শীঘ্রই আরও ভাল ফলাফল দেখতে পাব।

আমি মনে করি সম্ভবত যাওয়ার উপায়টি শৈল্পিক স্নায়ু নেটওয়ার্কের পদ্ধতির নয়। এমন একটি নেটওয়ার্ক থাকা আরও ভাল যা একটি ছবিতে অবজেক্টগুলিকে শ্রেণিবদ্ধ করতে পারে এবং তারপরে অবজেক্ট এবং তাদের কার্টুন সহযোগীদের মধ্যে চিঠিপত্রগুলি শিখতে পারে, তারপরে ফলাফলগুলি কিছু অর্থপূর্ণ উপায়ে মিশ্রিত করে।


1
এই সিম্পসন উদাহরণটি আমার কাছে খুব সুন্দর দেখাচ্ছে @ গুমেও
ফ্যাব্রিকিও

1

এটি করা খুব জটিল হওয়া উচিত নয়। উল্লিখিত নিবন্ধটি পড়েনি, এখানে আমার রেসিপিটি রয়েছে:

ভেরিয়েশনাল অটো এনকোডার্স

মরফিং মুখগুলির সাথে অনলাইন ডেমো: http://vdumoulin.github.io/morphing_faces/online_demo.html

এবং https://jmetzen.github.io/2015-11-27/vae.html Teh codez জন্য।

মূলত, এটি আপনাকে আপনার ক্ষেত্রে 'স্টাইল' প্যারাম্যাট্রাইজ করার একটি উপায় দেয়, উদাহরণস্বরূপ বলা যাক ব্রাশ স্ট্রোকটি কত প্রশস্ত বা अस्पष्ट হওয়া উচিত। স্টাফ যা নির্দিষ্ট শৈলীর উপর নির্ভর করে আপনি অনুকরণ করার চেষ্টা করছেন।

উপরের উদাহরণে বিভিন্ন 'মোরফিড' বা 'কল্পিত' মুখগুলি সুপ্ত স্থানের পরামিতিগুলির একটি ফাংশন। নীচের চিত্রটিতে এটি 'কোড' স্তরে স্টাফ পরিবর্তন করে আপনি কী পাবেন।

এখানে মূল ধারণাটি রয়েছে: মূল চিত্র বাম, ডানদিকে একই চিত্রের স্টাইলাইজড সংস্করণ:

এখানে চিত্র বর্ণনা লিখুন

এখন, তত্ত্বের ভিত্তিতে, আপনি যদি এই জাতীয় কোনও মডেল এবং স্টাইলাইজড চিত্রকে লক্ষ্য হিসাবে প্রশিক্ষণ এবং কনভোলশান যুক্ত করেন তবে শিল্পীর দ্বারা ব্যবহৃত "ব্রাশ স্ট্রোক" এর সাথে সম্পর্কিত কার্নেল ফিল্টারগুলি আপনার শিখতে হবে should ।

অবশ্যই, এর অর্থ হল যে আপনার দুটি মূল এবং স্টাইলাইজড সংস্করণে কয়েকটি উদাহরণ থাকা দরকার। এই জাতীয় ডেটাসেটটি সম্প্রদায়ের জন্য অনুদান হিসাবে দারুণ হবে - আপনি যদি এই কাজটি শেষ করেন তবে আমি এই ধরণের কাজটি দেখতে আগ্রহী।

শুভকামনা!

অটো এনকোডারগুলিতে উইকি নিবন্ধটি একটি ভাল প্রারম্ভিক পয়েন্ট হবে: https://en.wikedia.org/wiki/Autoencoder

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.