অনুমানের জন্য আমার কি জিপিইউ বা সিপিইউ ব্যবহার করা উচিত?


13

আমি একটি গভীর শিখন নিউরাল নেটওয়ার্ক চালাচ্ছি যা জিপিইউ দ্বারা প্রশিক্ষিত হয়েছিল। অনুমানের জন্য আমি এখন এটি একাধিক হোস্টে স্থাপন করতে চাই। প্রশ্নটি হল জিপিইউ বা সিপিইউ অনুমানের জন্য ব্যবহার করা উচিত কিনা তা সিদ্ধান্ত নেওয়ার শর্তগুলি কী?


নীচে মন্তব্যগুলি থেকে আরও বিশদ যুক্ত করা হচ্ছে।

আমি এটিতে নতুন তাই গাইডেন্স প্রশংসা করা হয়।

  • স্মৃতি : জিপিইউ কে 80

  • ফ্রেমওয়ার্ক : চুদা এবং cUDNN

  • কাজের চাপে ডেটার আকার : 20 জি

  • গ্রাস করার জন্য নোডগুলি গণনা : প্রতি চাকরির জন্য একটি, যদিও স্কেল বিকল্প বিবেচনা করতে চায়

  • ব্যয় : কারণগুলি যদি বুদ্ধিমান হয় তবে আমি একটি জিপিইউ বিকল্প বহন করতে পারি

  • স্থাপনা : মেঘের মধ্যে নয়, নিজস্ব হোস্টেড বেয়ার মেটাল সার্ভারে চলছে।

এই মুহুর্তে আমি সিপিইউতে চলেছি কেবল কারণ অ্যাপ্লিকেশন ঠিক আছে। তবে সেই কারণের বাইরে, আমি নিশ্চিত নই যে কেন কেউ জিপিইউ বিবেচনা করবে।


দুটি সম্ভাব্য পদ্ধতির মধ্যে তুলনার বিষয়ে পরামর্শ দেওয়ার জন্য, আপনার কাজের কিছু বিশদ জানতে অন্যের পক্ষে সহায়ক হবে। উদাহরণস্বরূপ, আপনার ডেটার আকার কী, আপনার জিপিইউর মেমরির ক্ষমতা কত, আপনার ব্যবহারের জন্য পরিকল্পনা করা কম্পিউটিং নোডগুলির সংখ্যা এবং সম্ভবত আপনার ম্যাপে কী মানচিত্র-হ্রাস কাঠামো রয়েছে।
ডায়নামিক স্টারডাস্ট

@ ডায়নামিক স্টার্ডস্ট ... এবং ব্যয়। সস্তা ইসি 2 সিপিইউ নোড বা ব্যয়বহুল ইসিডাব্লু জিপিইউ নোড? এটি একটি প্রশ্ন খুব অস্পষ্ট।
স্পেসডম্যান

উত্তর:


8

@ ড্যান @ স্মলচেস, আমি সম্পূর্ণরূপে একমত হই না। এটি সত্য যে প্রশিক্ষণের জন্য প্যারালালাইজেশন অনেকগুলি জিপিইউ দ্বারা ব্যবহার করা যেতে পারে, যার ফলে আরও দ্রুত প্রশিক্ষণ আসে training অনুমানের জন্য, এই প্যারালালাইজেশনটি আরও কম হতে পারে, তবে সিএনএন এর ফলে আরও দ্রুততর অনুমানের ফলে সুবিধা পাবে। এখন আপনাকে কেবল নিজেকে জিজ্ঞাসা করতে হবে: দ্রুত অনুমান গুরুত্বপূর্ণ? আমি কি এই অতিরিক্ত নির্ভরতা (একটি ভাল জিপিইউ, সঠিক ফাইল ইনস্টল করা ইত্যাদি) চাই?

গতি যদি কোনও সমস্যা না হয় তবে সিপিইউতে যান। তবে নোট করুন যে জিপিইউগুলি এটিকে আমার অভিজ্ঞতায় দ্রুততর আকারের আদেশ করতে পারে।


আপনি যে আকর্ষণীয় বিষয়টি উত্থাপন করেছেন, সিএনএন কেন অনুমানের সময় সমান্তরাল প্রক্রিয়াকরণ থেকে উপকৃত হবে?
ড্যান

1
প্রশিক্ষণের মাধ্যমে সমান্তরাল গণনাগুলি সুস্পষ্ট হতে পারে: আপনার একাধিক ইনপুট রয়েছে যা প্রতিটিকেই ফিড-ফরওয়ার্ড করতে হবে, একে অপরের থেকে সম্পূর্ণ স্বাধীন। কনভলিউশনের জন্য, কার্নেলটি একাধিক ইনপুট 'প্যাচগুলি' দিয়ে গুণিত হয়। এগুলি সমান্তরালভাবেও করা যায়। এটিই সিএনএনকে এত শক্তিশালী করে তোলে: কেবল প্রশিক্ষণের জন্য তাদের কম প্যারামিটারের প্রয়োজন হয় না, এটি আরও সমান্তরাল, তাই জিপিইউকে এত শক্তিশালী করে তোলে। আপনি কী কাজ করছেন তা আমি জানি না, তবে আমি চিত্রগুলির সেগমেন্টেশন (পিক্সেলওয়াই শ্রেণিবিন্যাস) নিয়ে কাজ করি এবং জিপিইউকে অনুমানের জন্য ব্যবহার করার সময় আমি একটি বিশাল গতির উন্নতি (> x10) পাই।
লরেন্স মিউস

@ লরেনস মিয়াস আমিও এই বর্ণালীতে নতুন এবং ক্লাউড ভিএমগুলির মূল্য বিশ্লেষণ করছি। আমি কি কেবলমাত্র পাঠ্য বিশ্লেষণকে প্রশিক্ষণ দিচ্ছি এবং চিত্রগুলি না করে প্রশিক্ষণের জন্য কি জিপিইউ ব্যবহার করব?
Squ1rr3lz

2
@ Squ1rr3lz আপনার 95% হওয়া উচিত। সমান্তরাল কম্পিউটিংয়ের প্রতিটি ফর্মের জিপিইউতে একটি সুবিধা পাওয়া উচিত। আমি এই ক্ষেত্রে কোনও বিশেষজ্ঞ নই, তবে পাঠ্য বিশ্লেষণটিও কনভোলজিনাল স্তরগুলির সাথে রয়েছে (এটি 2D এর পরিবর্তে 1D হোক), এটি ইতিমধ্যে এটি দ্রুত / হওয়া উচিত could যদি সম্ভব হয় তবে কেবল নিজের জন্য চেষ্টা করুন জিপিইউকে কীভাবে সক্ষম / অক্ষম করতে হবে তার প্রভাব।
লরেন্স মিউস

6

সিপিইউ এর পরিবর্তে জিপিইউতে অনুক্রম চালানো আপনাকে প্রশিক্ষণের ক্ষেত্রে যেমন স্পিডআপের কাছাকাছি পৌঁছে দেবে, মেমরির ওভারহেডের চেয়ে কম হবে।

তবে আপনি যেমনটি বলেছেন, অ্যাপ্লিকেশনটি সিপিইউতে ঠিক আছে। আপনি যদি এমন বিন্দুতে পৌঁছান যেখানে অনুমানের গতি অ্যাপ্লিকেশনটিতে একটি অন্তরায়, একটি জিপিইউতে আপগ্রেড করা সেই বাধাটিকে হ্রাস করবে lev


সম্পূর্ণ একমত. সিপিইউ পোস্ট কেন শীর্ষে রয়েছে তা এখনও পান না।
লরেন্স মিইস

1
জিফোর্স জিটিএক্স টাইটান এক্স 16-কোর ইন্টেল সিওন ই 5 সিপিইউর তুলনায় 5.3 থেকে 6.7 গুণ বেশি পারফরম্যান্স সরবরাহ করে - এটি এনভিডিয়ার নিজস্ব ব্লগ থেকে: ডেভলগস.এনভিডিয়া.com/…
সানহাল

4

আপনি কেবলমাত্র প্রশিক্ষণের জন্য জিপিইউ ব্যবহার করতেন কারণ গভীর শিক্ষার জন্য সর্বোত্তম সমাধানে পৌঁছানোর জন্য প্রচুর গণনা প্রয়োজন। তবে মোতায়েনের জন্য আপনার জিপিইউ মেশিনের দরকার নেই ।

উদাহরণস্বরূপ অ্যাপলের নতুন আইফোন এক্সকে নেওয়া যাক। নতুন আইফোন এক্সে ফিকাল সনাক্তকরণের জন্য একটি উন্নত মেশিন লার্নিং অ্যালগরিদম রয়েছে। প্রশিক্ষণ এবং বৈধতার জন্য অ্যাপল কর্মীদের অবশ্যই মেশিনগুলির একটি ক্লাস্টার থাকতে হবে। তবে কেবলমাত্র মডেলটি চালানোর জন্য আপনার আইফোন এক্সকে জিপিইউ লাগবে না।


এই ব্যাখ্যার জন্য ধন্যবাদ। যা আমি তখন বুঝতে পারি না তা হল সিপিইউ যদি এটি সূক্ষ্মভাবে করতে পারে তবে এনভিডিয়া জিপিইউর ব্যবহারকে উত্সাহ দেওয়ার জন্য সর্বোত্তম সমাধান হিসাবে কেন প্রচার করছে। এছাড়াও গুগল কেন টিপিইউকে সিপিইউ দিয়ে এটি করার জন্য অনুমিত করার জন্য চাপ দিচ্ছে? এটি কি সমান্তরাল কম্পিউটিংয়ের সাথে কিছু করার আছে?
ড্যান

3
@ স্মলচেস আইফোন এক্স এর নিখুঁত অনুক্রমের জন্য কোনও উন্নত টিপিইউ-এর মতো প্রসেসর রাখেনি? এক্সট্রেটেক.com/মোবাইল /
লরেন্স মিউস

3
@ স্মলচেস তবে কেন এটি হতে পারে না? হয়তো আমি পুরোপুরি বুঝতে পারি না। আপনি কি এখনও গতিতে কিছু উন্নতি পাবেন না?
লরেন্স মিউস

2
সত্যিই, এনভিডিয়ায় একটি দুর্দান্ত বিপণন বিভাগ রয়েছে এবং এনভিডিয়া জিপিইউ অনুমানের জন্য ব্যবহার করা তাদের পক্ষে সবচেয়ে ভাল আগ্রহ। এটি তাদের নয়, তাদের পক্ষে সবচেয়ে বেশি আগ্রহী।
সানহলে

1
এনভিডিয়া ব্লগ থেকে: এনভিডিআইএ
সানহাললে
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.