চুদা এবং দেরী এমবিপি 2016 সহ বাহ্যিক জিপিইউতে মেশিন লার্নিং?


31

আমি জানতে চাই যে 2016 সালের শেষের দিকে ম্যাকবুক প্রো সহ ম্যাকোসের জন্য বাহ্যিক জিপিইউ (ইজিপিইউ) বিকল্পগুলি কী।

আমি আমার গবেষণাটি করেছি, তবে ইন্টারনেটে আমি প্রচুর বিভ্রান্তিকর তথ্য পেয়েছি। কেউ কেউ বলেন এটি কাজ করতে পারে তবে এটির জন্য উইন্ডোজ (ডুয়াল-বুট) প্রয়োজন। অন্যরা বলছেন, এটি কেবলমাত্র পুরানো গ্রাফিক্স কার্ডগুলির জন্য কাজ করতে পারে কারণ নতুন গ্রাফিক্স কার্ডগুলির জন্য জিইডিএক্স সমর্থিত নয় (জিটিএক্স 1080)। আদর্শভাবে, আমি এনভিডিআইএর 1080 জিটিএক্স চালাতে চাই। আমার একমাত্র উদ্দেশ্য এর সাথে কেরাস এবং টেনসরফ্লো ব্যবহার করা। তবে এটি কাজ করার জন্য গুরুত্বপূর্ণ যে বিষয়গুলি আমি জানি না। সুতরাং আমার প্রশ্নটি হ'ল, কি দেরী ম্যাকবুক প্রো 2016 (15 ") তে সিইডিএ এবং ইজিপিইউ দিয়ে টেনসরফ্লো ব্যবহার করা সম্ভব? আমি ম্যাকোজে গ্রাফিক্স কার্ডটি (দেরী ম্যাকবুক প্রো 15" সহ) ইজিপিইউ হিসাবে ব্যবহার করতে চাই (কোন দ্বৈত- বুট / উইন্ডোজ / লিনাক্স পার্টিশন)।

পার্শ্ব দ্রষ্টব্য: আমি ব্যবহারকারীরা ম্যাকবুকের আগে (রেজার কোর, একেপিও নোড) ইজিপিইউ ব্যবহার করতে দেখেছি, তবে কখনও সিউডিএ এবং মেশিন লার্নিংয়ের (অথবা এই বিষয়ে 1080 জিটিএক্স) একত্রিত হয় নি। লোকেরা পরিবর্তে সার্ভারের স্থান ভাড়া দেওয়া বা উইন্ডোজ (আরও ভাল গ্রাফিক্স কার্ড সমর্থন) বা এমনকি একই দামের জন্য একটি নতুন পিসি তৈরির পরামর্শ দেয় যা আপনাকে ম্যাকের উপর একটি ইজিপিইউ ব্যবহার করতে দেয়। (আমি সেই বিকল্পটি পছন্দ করি না))


1080 এ চুদা অবশ্যই কাজ করে। টেনসরফ্লো ব্যাকএন্ড (উবুন্টুতে, তবে এখনও) দিয়ে কেরাস ব্যবহার করে আমি আজ সকালে একটি 1080 এ একটি নেটওয়ার্ক প্রশিক্ষণ দিচ্ছিলাম।
ব্রেন্ডন-এআই

উত্তর:


19

আমি অবশেষে এনভিডিয়া টাইটান এক্সপি + ম্যাকবুক প্রো + আকিটিও নোড + টেনসরফ্লো + কেরাস ইনস্টল করতে পারি

আমি পদ্ধতিটি সহ একটি সংক্ষেপ লিখেছিলাম, আশা করি এটি সাহায্য করবে

https://gist.github.com/jganzabal/8e59e3b0f59642dd0b5f2e4de03c7687

আমি যা করেছি তা এখানে:

এই কনফিগারেশনটি আমার পক্ষে কাজ করেছে, আশা করি এটি সহায়তা করবে

এটি উপর ভিত্তি করে: https://becominghuman.ai/ প্রদীপ-বিসর্জন- গেমিং- বিল্ড-উইথ-এনভিডিয়া- টাইটান- এক্সপ- এবং- ম্যাকবুক -প্রো-উইথ-থুন্ডারবোল্ট 2-5ceee7167f8b

এবং চালু: https://stackoverflow.com/questions/44744737/tensorflow-mac-os-gpu-support

হার্ডওয়্যারের

সফ্টওয়্যার সংস্করণ

  • ম্যাকোস সিয়েরা সংস্করণ 10.12.6
  • জিপিইউ ড্রাইভার সংস্করণ: 10.18.5 (378.05.05.25f01)
  • কুডা ড্রাইভার সংস্করণ: 8.0.61
  • cuDNN v5.1 (জানুয়ারী 20, 2017), কুডা 8.0 এর জন্য: নিবন্ধ এবং ডাউনলোড করতে হবে
  • টেনসরফ্লো-জিপিইউ 1.0.0
  • কেরাস ২.০.৮

পদ্ধতি:

জিপিইউ ড্রাইভার ইনস্টল করুন

  1. আপনার সিস্টেমটি শাটডাউন করুন, এটিকে আবার চাপ দিয়ে (⌘ এবং আর) কীগুলি you না দেখার আগ পর্যন্ত চাপিয়ে দিন, এটি আপনাকে রিকভারি মোডে ছাড়িয়ে দেবে।
  2. মেনু বার থেকে ইউটিলিটিস> টার্মিনাল ক্লিক করুন এবং লিখুন 'csrutil অক্ষম; এই কমান্ডটি সম্পাদন করতে পুনরায় বুট করুন 'এন্টার টিপুন।
  3. যখন আপনার ম্যাকটি পুনরায় চালু হবে, টার্মিনালে এই কমান্ডটি চালান:

    cd ~/Desktop; git clone https://github.com/goalque/automate-eGPU.git
    chmod +x ~/Desktop/automate-eGPU/automate-eGPU.sh
    sudo ~/Desktop/automate-eGPU/./automate-eGPU.sh
    
  4. আপনার ম্যাক থেকে আপনার ইজিপিইউ আনপ্লাগ করুন এবং পুনরায় চালু করুন। এটি গুরুত্বপূর্ণ যদি আপনি আপনার ইজিপিইউ প্লাগ না করেন তবে পুনরায় চালু করার পরে আপনি কালো পর্দাতে শেষ করতে পারেন।

  5. যখন আপনার ম্যাকটি পুনরায় চালু হবে, টার্মিনালটি খুলুন এবং এই আদেশটি কার্যকর করুন:

    sudo ~/Desktop/automate-eGPU/./automate-eGPU.sh -a
    
    1. আপনার ইজিপিইউ আপনার ম্যাকের সাথে TH2 এর মাধ্যমে প্লাগ করুন।
    2. আপনার ম্যাকটি পুনরায় চালু করুন।

CUDA, cuDNN, টেনসরফ্লো এবং কেরাস ইনস্টল করুন

এই মুহুর্তে, কেরাস 2.08 এর টেনসরফ্লো 1.0.0 প্রয়োজন। টেনস্রোফ্লো-জিপিইউ 1.0.0 এর CUDA 8.0 প্রয়োজন এবং cuDNN v5.1 আমার জন্য কাজ করেছে। আমি অন্যান্য সংমিশ্রণ চেষ্টা করেছি কিন্তু মনে হয় এটি কাজ করে না

  1. CUDA 8.0 CUDA Toolkit 8.0 GA2 ডাউনলোড করুন এবং ইনস্টল করুন (ফেব্রুয়ারী 2017)
  2. এটি ইনস্টল করুন এবং নির্দেশাবলী অনুসরণ করুন
  3. এনভ ভেরিয়েবল সেট করুন

    vim ~/.bash_profile
    export CUDA_HOME=/usr/local/cuda
    export DYLD_LIBRARY_PATH="$CUDA_HOME/lib:$CUDA_HOME:$CUDA_HOME/extras/CUPTI/lib"
    export LD_LIBRARY_PATH=$DYLD_LIBRARY_PATH
    

(যদি আপনার বাশ_প্রোফাইলে বিদ্যমান না থাকে তবে এটি তৈরি করুন every

  1. CuDNN ডাউনলোড এবং ইনস্টল করা (cudnn-8.0-osx-x64-v5.1) এটি ডাউনলোড করার আগে নিবন্ধন করতে হবে
  2. CUDN- র cuDNN ফাইলগুলি অনুলিপি করুন

    cd ~/Downloads/cuda
    sudo cp include/* /usr/local/cuda/include/
    sudo cp lib/* /usr/local/cuda/lib/
    
  3. এনভায়রমেন্ট তৈরি করুন এবং টেনসরফ্লো ইনস্টল করুন

    conda create -n egpu python=3
    source activate egpu
    pip install tensorflow-gpu==1.0.0
    
  4. এটি কাজ করে যাচাই করুন

নিম্নলিখিত স্ক্রিপ্ট চালান:

import tensorflow as tf
with tf.device('/gpu:0'):
    a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
    b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
    c = tf.matmul(a, b)

with tf.Session() as sess:
    print (sess.run(c))
  1. এনভায়রমেন্টে কেরাস ইনস্টল করুন এবং টেনসরফ্লো ব্যাকএন্ড হিসাবে সেট করুন:

    pip install --upgrade --no-deps keras # Need no-deps flag to prevent from installing tensorflow dependency
    KERAS_BACKEND=tensorflow python -c "from keras import backend"
    

    আউটপুট:

    Using TensorFlow backend.
    I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcublas.8.0.dylib locally
    I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcudnn.5.dylib locally
    I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcufft.8.0.dylib locally
    I tensorflow/stream_executor/dso_loader.cc:126] Couldn't open CUDA library libcuda.1.dylib. LD_LIBRARY_PATH: /usr/local/cuda/lib:/usr/local/cuda:/usr/local/cuda/extras/CUPTI/lib
    I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcuda.dylib locally
    I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcurand.8.0.dylib locally
    

এর জন্য আপনার কি বাহ্যিক মনিটর দরকার? না আপনি না?
অভিমন্যু আর্য

@ অভিমন্যু আরিয়ান, বাহ্যিক মনিটরের দরকার নেই। এটি কেবল টেনসরল্ফ এবং / বা কেরাস সহ ইজিপিইউ ব্যবহার করতে হবে
জুলিয়ান

এটি ম্যাক ওএস 10.13 এর সাথেও কাজ করে। আমি দেখতে পাচ্ছি যে তারা কেবল 10.13 এর জন্য চুদা 9 আপডেট করেছে এবং চুদা 8 কেবল 10.12 এর জন্য। আমি জিপিইউতে টুরিক্রিয়াট চালানোর জন্য এটি পেতে পারার চেষ্টা করছি।
নিক্লাস

আপনি পিসির বিরুদ্ধে পারফরম্যান্স তুলনা করেছেন?
অ্যাঙ্গাস টেই

ব্ল্যাকম্যাগিক ইজিপিইউ দিয়ে কেউ এটি চেষ্টা করেছে?
প্রতীক খাদলোয়া

9

আমি আমার আইম্যাক (2013 এর শেষ দিকে) আকিতিও নোডে কাজ করে একটি এনভিআইডিএ জিটিএক্স 1080 টি পেতে সক্ষম হয়েছি। আমি একটি থান্ডারবোল্ট 2> 3 অ্যাডাপ্টার ব্যবহার করছি, যদিও নতুন ম্যাকগুলিতে আপনি দ্রুত টিবি 3 সরাসরি ব্যবহার করতে পারেন।

EGPU.io এ বর্ণিত বিভিন্ন ইজিপিইউ সেট আপ রয়েছে এবং আপনার কম্পিউটার / ঘের / কার্ডটিকে বিশদভাবে বর্ণনা করে এমন একটি সন্ধান করতে পারেন। এই টিউটোরিয়ালগুলি বেশিরভাগ একটি ইজিপিইউ দিয়ে একটি ডিসপ্লে ত্বরান্বিত করার জন্য, যদিও এনএনগুলির প্রশিক্ষণের জন্য আপনাকে অবশ্যই সমস্ত পদক্ষেপগুলি অনুসরণ করার দরকার নেই।

এখানে আমি মোটামুটি যা করেছি:

  • অফিসিয়াল ডকুমেন্টেশন অনুযায়ী CUDA ইনস্টল করুন
  • এসআইপি অক্ষম করুন (একটি টিউটোরিয়ালের জন্য গুগল)। এটি eGPU.sh স্ক্রিপ্ট এবং পরে টেনসরফ্লো দ্বারাও প্রয়োজন।
  • EGPU.io এ প্রত্যেকে নির্ভর করে বলে মনে হচ্ছে স্বয়ংক্রিয়- eGPU.sh স্ক্রিপ্টটি (sudo সহ) চালান ।
  • CuDNN ইনস্টল করুন। এনভিআইডিআইএর ওয়েবসাইটগুলি থেকে /usr/local/cudaআপনার বাকী CUDA লাইব্রেরি অন্তর্ভুক্ত থাকা উচিত এবং এতে অন্তর্ভুক্ত রয়েছে।
  • সিপিইউ-কেবলমাত্র টেনসরফ্লো আনইনস্টল করুন এবং জিপিইউ সমর্থন সহ একটি ইনস্টল করুন। এর সাথে ইনস্টল করার সময় pip install tensorflow-gpu, আমার কোনও ইনস্টলেশন ত্রুটি ছিল না, তবে পাইথনে টেনসরফ্লো প্রয়োজন হলে একটি সেগফল্ট পেয়েছিলাম। দেখা যাচ্ছে যে কিছু পরিবেশের ভেরিয়েবল সেট করতে হবে (সিউডিএ ইনস্টলারের পরামর্শের চেয়ে কিছুটা আলাদা), যা একটি গিটহাব ইস্যু মন্তব্যে বর্ণিত হয়েছিল ।
  • আমি উত্স থেকে টেনসরফ্লোও সংকলনের চেষ্টা করেছি, যা পূর্ববর্তী পদক্ষেপে বর্ণিত এনভ ভার্সার সেট করার আগে কাজ করে নি।

আইস্ট্যাট মেনু থেকে আমি যাচাই করতে পারি যে আমার বাহ্যিক জিপিইউ প্রশিক্ষণের সময় সত্যই ব্যবহৃত হয়েছিল। এই টেনসরফ্লো ইনস্টলেশনটি জুপিটারের সাথে কাজ করে নি, তবে আশা করি এটির জন্য একটি কার্যকর পরিকল্পনা রয়েছে।

পারফরম্যান্স বৃদ্ধি (বা ব্যান্ডউইথ সীমাবদ্ধতা) সম্পর্কে নিশ্চিত না হয়ে আমি এই সেট-আপটি ব্যবহার করি নি, তবে ইজিপিইউ + টেনসরফ্লো / সিইডিএ অবশ্যই এখনই সম্ভব, যেহেতু এনভিআইডিআইএ ম্যাকোসের জন্য যথাযথ ড্রাইভারগুলি প্রকাশ শুরু করেছিল।


সতর্কতার শব্দ: টেনসরফ্লো ১.২ থেকে, তারা সরকারী টেনসরফ্লো-জিপিইউ পাইপ প্যাকেজ সরবরাহ করছে না। এর অর্থ আমাদের উত্স থেকে এটি তৈরি করা দরকার যা আমার অভিজ্ঞতায় কখনও এখুনি কার্যকর হয় না। আশা করা যায় যে কীভাবে বড় রিলিজগুলি সংকলন করা যায় সে সম্পর্কে তৃতীয় পক্ষের টিউটোরিয়াল থাকবে, তবে আমি এখনও আমার জিপিইউ ব্যবহার করতে চাইলে উদাহরণস্বরূপ আমি 1.2 বা 1.3 এ আপগ্রেড করতে পারি না।
ম্যাটিয়াস অ্যারো

3
উত্স থেকে টেনসরফো ১.২ সংকলন পরিচালিত। এটিতে একটি ছোট টিউটোরিয়াল লিখেছিলেন: माध्यम.com/@mattias.arro/…
ম্যাটিয়াস অ্যারো

3

ম্যাকোস-এ ইজিপিইউ সমর্থন একটি কঠিন বিষয়, তবে আমি আপনার প্রশ্নের উত্তর দেওয়ার জন্য যথাসাধ্য চেষ্টা করব।

গ্রাফিক্স কার্ড দিয়ে শুরু করা যাক! সময়ের স্বার্থে এবং আমরা সিউডিএ-তে কথা বলার কারণে আমরা এনভিডিয়া কার্ডগুলি ব্যবহার করব। যে কোনও গ্রাফিক্স কার্ড উইন্ডোজে যথাযথ ড্রাইভারদের সাথে কাজ করবে। অ্যাপল অবশ্য আনুষ্ঠানিকভাবে কয়েকটি এনভিডিয়া গ্রাফিক্স কার্ড সমর্থন করে, মূলত খুব পুরানো। তবে এনভিডিয়া গ্রাফিক্স ড্রাইভাররা একটি বড় ব্যতিক্রম ব্যতীত এনভিদিয়ার প্রায় সমস্ত জিফর্স এবং কোয়াড্রো কার্ডে কাজ করে। জিটিএক্স 10 এক্সএক্সএক্স কার্ডগুলি কাজ করবে না। যে কোনও ম্যাক অপারেটিং সিস্টেমে। সময়কাল। এনভিডিয়ার ড্রাইভাররা এই কার্ডটি সমর্থন করে না। আপনি যদি পাওয়ার খুঁজছেন, আপনি জিটিএক্স 980 টিআই বা টাইটান এক্স দেখতে চাইবেন (অনেক ভাল কোয়াড্রো কার্ডও ভাল কাজ করবে)।

এখন আমরা এটি কভার করেছি, আসুন eGPU ঘেরগুলিতে সরানো যাক। আমি ধরে নিচ্ছি, কারণ আপনি নির্দিষ্টভাবে ইজিপিইউ উল্লেখ করেছেন, যে আপনি একটি প্রকৃত ইজিপিইউ ঘের জন্য বাজেট করেছেন (আসুন উদাহরণ হিসাবে একিটিও নোডটি ব্যবহার করুন), পরিবর্তে একটি পিসিআই এক্সপেনশন চেসিসের পরিবর্তে বাহ্যিক বিদ্যুৎ সরবরাহ রয়েছে, কারণ এটি নয় খুবই ভালো ধারনা.

সুতরাং এখন আমাদের একটি ইজিপিইউ এনক্লোজার (একেপিও নোড) এ একটি গ্রাফিক্স কার্ড (জিটিএক্স 980 টিআই) আছে এবং আমরা এটি কাজ করতে চাই। ঠিক আছে, এটি করা সম্পন্ন চেয়ে সহজ। ২০১ 2016 সালের শেষের দিকে আমি কিছুটা ইজিপিইউ গবেষণা করেছি এবং আমার কাছে পাওয়া তথ্য তুলনামূলক বিভ্রান্তিকর ছিল, তাই কারও যদি কোনও মন্তব্য বা সংশোধন থাকে তবে দয়া করে আমাকে জানান। আমি যা বুঝতে পেরেছি তা থেকে, ইজিপিইউর শক্তিটি ব্যবহার করতে, আপনাকে একটি বাহ্যিক মনিটরকে ইজিপিইউতে প্লাগ করতে হবে। আমি বিশ্বাস করি না আপনি ম্যাকোজে কোনও বহিরাগত মনিটর ছাড়াই ইজিপিইউ চালাতে পারবেন। আপনি ইজিপিইউ-সংযুক্ত মনিটরে অ্যাপলের বুট স্ক্রিনটিও দেখতে পাবেন না (যদি না আপনি ম্যাকভিডকার্ডস থেকে ফ্ল্যাশড কার্ড কিনে থাকেন) তবে আপনার গ্রাফিক্স চালনার জন্য আপনাকে ইজিপিইউ ব্যবহার করতে সক্ষম হওয়া উচিত।

ধরে নিই যে আপনি এই সবগুলি সফলভাবে করেন, আপনার একটি খুব উচ্চ চালিত CUDA- সক্ষম গ্রাফিক্স পাওয়ার হাউস থাকা উচিত।


তথ্যের জন্য আপনাকে ধন্যবাদ. একটি ইজিপিইউ এনক্লোজারের সাথে 980 টিয়ের সংমিশ্রণটি একটি কার্যকর বিকল্প হিসাবে মনে হচ্ছে। একমাত্র বিষয় হ'ল, আকিতিও নোড (3) বন্ধ হয়ে গেছে বলে মনে হচ্ছে এবং রেজার কোরটি জাহাজে পাঠায় না। কোন ইজিপিইউ ঘেরটি আসলেই কেনা যায়? আকিতিও নোড 2?
জোপ

2
ওয়েল বিজন বক্স এটির জন্য ডিজাইন করা হয়েছে তবে এটি 500 ডলারের মতো। আমাকে কিছু খুঁজছেন ...
নোএলএল

1
এই লিঙ্কটি কিছু ভাল পড়ার জন্যও তৈরি করতে পারে: আপেলিনসাইডার
আর্টিকেলস /

"10 এক্সএক্স" সিরিজটি কি আসলে ম্যাকের জন্য কাজ করছে না? আমি অন্যকে শুনেছি (এখানে অন্য উত্তর সহ) ম্যাকে 1080ti ব্যবহার করেছেন ...
ব্লেজার্ড

এই উত্তর হিসাবে, একেবারে। কার্ডগুলি হওয়ার পরে 10xx সিরিজের ম্যাক ড্রাইভারগুলি পুরো বছর পর্যন্ত মুক্তি পায়নি (2017 সালের শেষের দিকে বা 2018 সালের শুরুর দিকে, যদি আমি সঠিকভাবে মনে করি)
নোএইচএল


1

আপনি যদি ম্যাকোস 10.13.3 ব্যবহার করছেন তবে এই লিঙ্কটি পরীক্ষা করুন । এটি ইজিপিইউ সেটআপ থেকে টেনসরফ্লো সংকলন পর্যন্ত সমস্ত কিছু কভার করে।

  • ম্যাকোস: 10.13.3
  • ওয়েবড্রাইভার: 387.10.10.10.25.156
  • চুদা টুলকিট: 9.1.128
  • cuDNN: 7
  • এনভিডিএইগপুসি সমর্থন: 6
  • এক্সকোড: 8.2
  • বাজেল: 0.9.0
  • ওপেনএমপি: সর্বশেষ
  • পাইথন: 3.6
  • টেনসরফ্লো: 1.5.0
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.