গুগল কোলাবোটারি: এর জিপিইউ সম্পর্কে বিভ্রান্তকারী তথ্য (কিছু ব্যবহারকারীর জন্য কেবল 5% র‌্যাম উপলব্ধ)

Question

আপডেট: এই প্রশ্নটি গুগল কুলাবের "নোটবুক সেটিংস: হার্ডওয়্যার এক্সিলারেটর: জিপিইউ" সম্পর্কিত। "টিপিইউ" বিকল্পটি যুক্ত করার আগে এই প্রশ্নটি লেখা হয়েছিল।

গুগল কোলাবোটারি বিনামূল্যে টেেসলা কে 80 জিপিইউ সরবরাহ করার বিষয়ে একাধিক উত্তেজিত ঘোষণাপত্রগুলি পড়ে, আমি এটির দ্রুত চালনার চেষ্টা করেছি aiএই পাঠটি কখনই সম্পূর্ণ না হয় - দ্রুত স্মৃতিশক্তি ছাড়ছে । আমি কেন তদন্ত শুরু করেছি।

মূল কথাটি হ'ল "ফ্রি টেসলা কে 80" সবার জন্য "ফ্রি" নয় - কারও কারও জন্য এটির একটি ছোট টুকরো "ফ্রি"।

আমি ওয়েস্ট কোস্ট কানাডা থেকে গুগল কুলাবের সাথে সংযুক্ত হয়েছি এবং 24 গিগাবাইটের জিপিইউ র‌্যাম হওয়ার মাত্র 0.5 গিগাবাইট পাই। অন্যান্য ব্যবহারকারীরা 11 গিগাবাইট জিপিইউ র‍্যামের অ্যাক্সেস পান।

স্পষ্টতই 0.5 এমবি জিপিইউ র‌্যাম বেশিরভাগ এমএল / ডিএল কাজের জন্য অপর্যাপ্ত।

আপনি কী পান তা যদি নিশ্চিত না হন তবে এখানে আমি একসাথে স্ক্র্যাপ করা সামান্য ডিবাগ ফাংশন (কেবলমাত্র নোটবুকের জিপিইউ সেটিংয়ের সাথে কাজ করে):

# memory footprint support libraries/code
!ln -sf /opt/bin/nvidia-smi /usr/bin/nvidia-smi
!pip install gputil
!pip install psutil
!pip install humanize
import psutil
import humanize
import os
import GPUtil as GPU
GPUs = GPU.getGPUs()
# XXX: only one GPU on Colab and isn’t guaranteed
gpu = GPUs[0]
def printm():
 process = psutil.Process(os.getpid())
 print("Gen RAM Free: " + humanize.naturalsize( psutil.virtual_memory().available ), " | Proc size: " + humanize.naturalsize( process.memory_info().rss))
 print("GPU RAM Free: {0:.0f}MB | Used: {1:.0f}MB | Util {2:3.0f}% | Total {3:.0f}MB".format(gpu.memoryFree, gpu.memoryUsed, gpu.memoryUtil*100, gpu.memoryTotal))
printm()

অন্য কোনও কোড চালানোর আগে এটি একটি জ্যুপির নোটবুকে কার্যকর করা আমাকে দেয়:

Gen RAM Free: 11.6 GB  | Proc size: 666.0 MB
GPU RAM Free: 566MB | Used: 10873MB | Util  95% | Total 11439MB

ভাগ্যবান ব্যবহারকারীরা যারা পুরো কার্ডটিতে অ্যাক্সেস পান তারা দেখতে পাবেন:

Gen RAM Free: 11.6 GB  | Proc size: 666.0 MB
GPU RAM Free: 11439MB | Used: 0MB | Util  0% | Total 11439MB

জিপিইটিয়েল থেকে ধার করা জিপিইউ র‌্যাম প্রাপ্যতার আমার গণনায় কোনও ত্রুটি দেখতে পাচ্ছেন?

আপনি যদি গুগল কোলাব নোটবুকটিতে এই কোডটি চালান তবে আপনি অনুরূপ ফলাফল পেয়েছেন তা নিশ্চিত করতে পারবেন?

যদি আমার গণনাগুলি সঠিক হয় তবে ফ্রি বাক্সে আরও কিছু জিপিইউ র‌্যাম পাওয়ার উপায় আছে কি?

আপডেট: আমি নিশ্চিত না যে কেন আমাদের কিছু লোক অন্য ব্যবহারকারীরা যা পান তার 1/20 তম পান। উদাহরণস্বরূপ, যিনি আমাকে এই ডিবাগ করতে সহায়তা করেছিলেন তিনি হলেন ভারত থেকে এবং তিনি পুরো জিনিসটি পান!

দ্রষ্টব্য : দয়া করে জিপিইউর কিছু অংশ গ্রাসকারী সম্ভাব্য আটকে যাওয়া / পলাতক / সমান্তরাল নোটবুকগুলি কীভাবে হত্যা করতে হবে সে সম্পর্কে আর কোনও পরামর্শ প্রেরণ করবেন না। আপনি এটি কীভাবে টুকরো টুকরো টুকরো টানুন, আপনি যদি আমার মতো একই নৌকায় বসে থাকেন এবং ডিবাগ কোডটি চালাচ্ছিলেন তবে আপনি দেখতে পাবেন যে আপনি এখনও মোট জিপিইউ র্যামের 5% পেয়েছেন (এখনও এই আপডেট হিসাবে)।

Comments

এর কোন সমাধান? কেন আমি বিড়াল /

— প্রকোপ

হ্যাঁ, একই সমস্যা, জিপিইউ র্যামের প্রায় 500 এমবি ... বিভ্রান্তিমূলক বর্ণনা :(

— নবীন

আইবিএম ওপেন সোর্স ডেটা বিজ্ঞান সরঞ্জামগুলি (কগনিটিভ্লাস.ইই) চেষ্টা করুন কারণ তাদের কাছেও রয়েছে জপিটার নোটবুক সহ একটি ফ্রি জিপিইউ।

— একিউ

আমি এই প্রশ্নটি এমন একটি পরিস্থিতিতে ফিরিয়ে দিয়েছি যেখানে এটিতে আসলে একটি প্রশ্ন রয়েছে। আপনি যদি আরও গবেষণা করে উত্তর খুঁজে পেয়ে থাকেন তবে এর উপযুক্ত স্থানটি উত্তর বক্সে রয়েছে। সমাধানটি দিয়ে প্রশ্নটি আপডেট করা ভুল।

— ক্রিস হেইস

@ ক্রিসহেস, আমি আপনার উদ্দেশ্যটি বুঝতে পেরেছি, তবে এটি ঠিক নয়, কারণ আপনার রোলব্যাকটি এখন সমস্ত প্রাসঙ্গিক বিবরণ মুছে ফেলে। আপনি যদি আরও ভাল শব্দটির পরামর্শ দিতে চান যা এই সম্প্রদায়ের নিয়মগুলির সাথে আরও ভাল ফিট করে তবে দয়া করে এটি করুন তবে অন্যথায় দয়া করে আপনার রোলব্যাকটি ফিরিয়ে দিন। ধন্যবাদ. PS আমি ইতিমধ্যে উত্তর পোস্ট করেছি ।

— গতকাল

Answer 1

সুতরাং এই থ্রেডের পরামর্শের প্রসঙ্গে অবৈধ পরামর্শ দেওয়ার জন্য আরও কয়েক ডজন জবাব আটকাতে!-মেরুন -9 -1, আসুন এই থ্রেডটি বন্ধ করুন:

উত্তরটি সহজ:

এই লেখার মতো গুগল কেবল আমাদের কিছুকে জিপিইউয়ের মাত্র 5% দেয় অন্যদিকে 100% লোককে। সময়কাল।

dec-2019 আপডেট: সমস্যাটি এখনও বিদ্যমান - এই প্রশ্নের উত্সগুলি এখনও অবিরত রয়েছে।

মার্চ -২০১৮ আপডেট: এক বছর পরে গুগল কর্মচারী @ অ্যামিএফ বিষয়গুলির স্থিতিতে মন্তব্য করে বলেছিলেন যে সমস্যাটি নেই, এবং যে কেউ এই সমস্যায় আছে বলে মনে হচ্ছে কেবল স্মৃতি পুনরুদ্ধার করার জন্য তাদের রানটাইম পুনরায় সেট করা দরকার। তবুও, উত্সগুলি অব্যাহত রয়েছে, যা আমার কাছে এটি জানিয়েছে যে @ অ্যামিএফ এর বিপরীত পরামর্শের পরেও সমস্যাটি এখনও রয়েছে।

dec-2018 আপডেট: আমার একটি তত্ত্ব আছে যে গুগলের নির্দিষ্ট অ্যাকাউন্টগুলির একটি ব্ল্যাকলিস্ট থাকতে পারে, বা ব্রাউজারের ফিঙ্গারপ্রিন্টগুলি থাকতে পারে, যখন এর রোবটগুলি একটি মানহীন আচরণ সনাক্ত করে। এটি সম্পূর্ণ কাকতালীয় হতে পারে, তবে বেশিরভাগ সময় ধরে গুগল রি-ক্যাপচায় যে কোনও ওয়েবসাইটেই এটির প্রয়োজন হয়েছিল আমার কাছে একটি সমস্যা হয়েছিল, যেখানে প্রায়শই আমার অনুমতি পাওয়ার আগে আমাকে কয়েক ডজন ধাঁধা দিয়ে যেতে হত often আমাকে 10+ মিনিট সময় নিচ্ছে। এটি বেশ কয়েক মাস স্থায়ী ছিল। হঠাৎ করে এই মাসে আমি কোনও ধাঁধা পাচ্ছি না এবং কোনও গুগল রি-ক্যাপচা কেবল একটি একক মাউস ক্লিক দিয়ে সমাধান হয়ে যায়, কারণ এটি প্রায় এক বছর আগে ব্যবহৃত হত।

আর আমি কেন এই গল্পটি বলছি? ঠিক আছে, কারণ একই সাথে আমাকে কলাবতে জিপিইউ র্যামের 100% দেওয়া হয়েছিল । এ কারণেই আমার সন্দেহ হ'ল আপনি যদি কোনও তাত্ত্বিক গুগল কালো তালিকায় থাকেন তবে আপনাকে নিখরচায় প্রচুর সংস্থান দেওয়ার বিষয়ে বিশ্বাস করা হচ্ছে না। আমি অবাক হই যে আপনারা কেউ যদি সীমিত জিপিইউ অ্যাক্সেস এবং পুনরায় ক্যাপচা দুঃস্বপ্নের মধ্যে একই সম্পর্ক খুঁজে পান। আমি যেমন বলেছি, এটি সম্পূর্ণরূপে কাকতালীয়ও হতে পারে।

Comments

আপনার এই বক্তব্য "এই লেখার মতো গুগল কেবল আমাদের মধ্যে কিছুকে কেবল 5% জিপিইউ দেয়, অন্যদিকে 100% অন্যদেরকে। সময়কাল।" ভুল - কোলাব কখনও এইভাবে কাজ করেনি। সমস্ত জিপিইউ র‌্যামের সম্পূর্ণ পরিপূরকের চেয়ে কম ব্যবহারকারীরা প্রাপ্ত জিপিইউর র‌্যাম ব্যবহার করে অন্য প্রসেসে (সম্ভবত একই ব্যবহারকারী দ্বারা শুরু করা হয়েছে, সম্ভবত অন্য নোটবুকে) সেদ্ধ হয়েছে All

— অমি এফ

ভবিষ্যতের পাঠকগণ: আপনি যদি ভাবেন যে আপনি এই বা জিপিইউ র‍্যামের অপ্রাপ্যতার লক্ষণগুলি দেখতে পেয়েছেন, রানটাইম মেনুতে "সমস্ত রানটাইমগুলি পুনরায় সেট করুন" আপনাকে জিপিইউ র‌্যামের কোনও বাসি প্রক্রিয়া এখনও ধরে রাখার গ্যারান্টি সহ একটি নতুন ভিএম পাবেন। আপনি যদি এখনও এই মেনু বিকল্পটি ব্যবহার করার পরে অবিলম্বে এই লক্ষণটি দেখতে পান তবে দয়া করে github.com/googlecolab/colabtools/issues

— অমি এফ

আপনার বাস্তবতা অন্য অনেকের বাস্তবের থেকে স্পষ্টতই পৃথক যারা এই পোস্টটি তৈরি হওয়ার এক বছর পরে এই পোস্টে ভোট দিয়ে চলেছে। এটি সম্ভবত খুব সম্ভবত কিছু ব্যবহারকারী আপনার বর্ণিত বিষয়গুলির মুখোমুখি হন, তবে এটি সবার ক্ষেত্রে নয়। সুতরাং আমি নিশ্চিত না যে আপনার বিবৃতিটি এখানে কীভাবে সহায়তা করে। আপনার প্রস্তাবিত রেপোতে

— Stason

যদি এটি অস্পষ্ট ছিল: তবে আমি বাস্তবায়নটি একজন ব্যবহারকারী হিসাবে সিস্টেমের আচরণ পর্যবেক্ষণের ভিত্তিতে বিশ্বাস করি তা বর্ণনা করছি না। আমি সরাসরি যা বাস্তবায়ন হতে জানি তা বর্ণনা করছি। আমি আশাবাদী পোস্ট করেছিলাম যে সম্পূর্ণ প্রাপ্যতার তুলনায় কম ব্যবহারকারীরা উপরের ভুল বিবৃতিগুলি পড়ার পরিবর্তে এবং বিষয়গুলি লক্ষ্য হিসাবে কাজ করছে বলে ধরে নিচ্ছেন তা ইস্যু হিসাবে রিপোর্ট করেছেন (ব্যবহারকারী ত্রুটি বা সিস্টেম বাগ)।

— অমি এফ

না, জিপিইউগুলি কখনই ভাগ করা যায় নি, এবং আপনি যে উদাহরণটি সংযুক্ত করেছেন তার কোনও মিথ্যা নেই (লক্ষণটির লক্ষণটির সবচেয়ে দূর-দূরান্তের সবচেয়ে সাধারণ কারণ সম্পর্কে অনুমান এবং ব্যাখ্যা)।

— অমি এফ

Answer 2

গত রাতে আমি আপনার স্নিপেট চালিয়েছিলাম এবং ঠিক যা পেয়েছি তা পেয়েছি:

Gen RAM Free: 11.6 GB  | Proc size: 666.0 MB
GPU RAM Free: 566MB | Used: 10873MB | Util  95% | Total 11439MB

কিন্তু আজ:

Gen RAM Free: 12.2 GB  I Proc size: 131.5 MB
GPU RAM Free: 11439MB | Used: 0MB | Util   0% | Total 11439MB

আমি মনে করি সবচেয়ে সম্ভাব্য কারণ হ'ল জিপিইউগুলি ভিএমএসের মধ্যে ভাগ করা হয়েছে, তাই প্রতিবার আপনি যখন রানটাইমটি পুনরায় চালু করবেন আপনার জিপিইউ স্যুইচ করার সুযোগ রয়েছে এবং অন্যান্য ব্যবহারকারীরা যেটি ব্যবহার করছেন তার কোনওটিতে স্যুইচ করার সম্ভাবনাও রয়েছে।

আপডেট হয়েছে: দেখা যাচ্ছে যে জিপিইউ র‌্যাম ফ্রি 504 এমবি থাকা সত্ত্বেও আমি সাধারণত জিপিইউ ব্যবহার করতে পারি, যা আমি গতরাতে রিসোর্সএক্সেস্টেড এরর এর কারণ হিসাবে ভেবেছিলাম।

Comments

আমি মনে করি আমি কয়েক দিনের মধ্যে সম্ভবত 50 বার পুনরায় সংযোগ করেছি এবং শুরু করার জন্য আমি সর্বদা একই 95% ব্যবহার পাচ্ছিলাম। কেবল একবার আমি 0% দেখেছি। একবারে এটি 100% এর কাছাকাছি আসার পরে আমি এই সমস্ত চেষ্টায় স্মৃতি ত্রুটি থেকে চুদা পেয়েছিলাম getting

— সোমবার

আপনার আপডেটের অর্থ কী? আপনি এখনও 500Mb দিয়ে স্টাফ চালাতে পারেন? আমার একই সমস্যা আছে, আমি পাচ্ছিRuntimeError: cuda runtime error (2) : out of memory at /pytorch/torch/lib/THC/generated/../THCTensorMathCompare.cuh:84

— ivan_bilan

Answer 3

যদি আপনি কেবলমাত্র একটি ঘর এতে কার্যকর করেন
! এতে -9 -1 হত্যা করুন
, যা আপনার রানটাইমের সমস্ত রাজ্যের (মেমরি, ফাইল সিস্টেম এবং জিপিইউ সহ) পরিষ্কার এবং পুনরায় চালু করার কারণ হবে। 30-60s অপেক্ষা করুন এবং পুনরায় সংযোগ করার জন্য উপরের ডানদিকে সংযোগ বোতামটি টিপুন।

Comments

আপনাকে ধন্যবাদ, তবে আপনার পরামর্শটি কোনও পরিবর্তন করে না। আমি এখনও জিপিইউ র‌্যামের 5% পাচ্ছি।

— স্ট্রোন

এই সাহায্য করে না। হত্যা এবং পুনঃসংযোগের পরে, জিপিইউ মেমরিটি এখনও 12 গিগাবাইটের মধ্যে 500 এমবিতে রয়েছে।

— ivan_bilan

Answer 4

গুগলের পক্ষ থেকে বিভ্রান্তিকর বর্ণনা। আমি এটি সম্পর্কে খুব উত্তেজিত পেয়েছি, আমার ধারণা। সবকিছু সেট আপ করুন, ডেটা লোড হয়েছে এবং আমার নোটবুকটিতে কেবল 500 এমবি মেমরি বরাদ্দ থাকার কারণে এখন আমি এটি দিয়ে কিছুই করতে পারছি না।

Answer 5

গুগল কোলাবকে কেবল একটি ভারী কাজ দিন, এটি আমাদের 25 জিবি র‌্যামে পরিবর্তন করতে বলবে।

উদাহরণস্বরূপ এই কোডটি দুইবার চালান:

import numpy as np
from keras.layers import Conv2D, MaxPooling2D, AveragePooling2D
from keras.layers import Dropout, Flatten, Dense
from keras.models import Sequential
from keras.layers.advanced_activations import LeakyReLU
from keras.datasets import cifar10
(train_features, train_labels), (test_features, test_labels) = cifar10.load_data()
model = Sequential()

model.add(Conv2D(filters=16, kernel_size=(2, 2), padding="same", activation="relu", input_shape=(train_features.shape[1:])))
model.add(MaxPooling2D(pool_size=(2, 2), padding='same'))

model.add(Conv2D(filters=32, kernel_size=(3, 3), padding="same", activation="relu"))
model.add(MaxPooling2D(pool_size=(2, 2), padding='same'))

model.add(Conv2D(filters=64, kernel_size=(4, 4), padding="same", activation="relu"))
model.add(MaxPooling2D(pool_size=(2, 2), padding='same'))

model.add(Flatten())

model.add(Dense(25600, activation="relu"))
model.add(Dense(25600, activation="relu"))
model.add(Dense(25600, activation="relu"))
model.add(Dense(25600, activation="relu"))
model.add(Dense(10, activation="softmax"))

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

model.fit(train_features, train_labels, validation_split=0.2, epochs=10, batch_size=128, verbose=1)

তারপরে আরও র্যাম পেতে ক্লিক করুন :)

Comments

আমি এটি নিশ্চিত করতে পারি। আমার বেশিরভাগই এইচডি ছবিগুলির 15 গিগের ডেটাসেট ছিল (আমার ড্রাইভটিতে 15 গিগের পরিবর্তে 30 জিগ রয়েছে) এবং আমি ইমেজটি ডেটাসেটটির আকারটি 224,224,3 এ পরিবর্তন করতে আমার কোড চালিয়েছিলাম এবং আমি একটি উচ্চ র‌্যাম রানটাইমটিতে স্যুইচ করেছিলাম। তারপরে যখন আমি প্রশিক্ষণ দেওয়া শুরু করি তখন র‍্যামের ব্যবহার 31.88gigs পর্যন্ত চলে গেছে।

— আনুষুমান কুমার

তবে আমি এটি যুক্ত করতে চাই যে একবার আমি এই কাজটি শেষ করার পরে, আমি গত 24 ঘন্টা অন্য কোনও জিপিইউ / টিপিইউ অ্যাক্সেস করতে পারিনি। এটা সম্ভব যে আমাকে কালো তালিকাভুক্ত করা হয়েছিল।

— আনুষুমান কুমার

@ অংশুমানকুমার, অন্যদিকে কনফিগারেশন পরিবর্তন করার সময় প্রারম্ভিক সময়ে উচ্চ লোড দিন যা আপনি এর আগে সম্পন্ন কাজ হারাবেন। আমি 24 ঘন্টা উচ্চ কনফিগারেশন ব্যবহার করি নি তাই আমি কালো তালিকাভুক্তি সম্পর্কে জানি না।

— জৈনিল প্যাটেল

হ্যাঁ, আমার সাথে তা ঘটেছিল। তবে কাজটি হয়ে গেল।

— অঙ্কুশুমান কুমার

Answer 6

পাইথন 3 পিডটি সন্ধান করুন এবং পিডটি মেরে ফেলুন। দয়া করে নীচের চিত্রটি দেখুন

দ্রষ্টব্য: কেবল পাইথন 3 (পিড = 130) কে জুপিটার পাইথন নয় (122) kill

Comments

এই মেমরি সমস্যা সাহায্য করবে? আপনি কি তখন অন্য সকল লোকের রান মারছেন না?

— ivan_bilan

এটি সহায়তা করে না, একই সমস্যা পেয়েছে:GPU RAM Free: 564MB

— ivan_bilan

Answer 7

জুপিটার আইপিথন কার্নেল পুনরায় চালু করুন:

!pkill -9 -f ipykernel_launcher

Comments

বন্ধ, তবে সিগার নেই:GPU RAM Free: 564MB

— ivan_bilan

কার্নেলটি পুনরায় চালু করার সহজ পদ্ধতি হিসাবে, আপনি কেবল রানটাইম | ক্লিক করতে পারেন রানটাইম পুনরায় চালু করুন ... বা শর্টকাটCMD/CTRL+M

— Agile বিন

Answer 8

এই ব্ল্যাকলিস্টিংটি সত্য কিনা তা আমি নিশ্চিত নই! এটি বরং সম্ভব, যে ব্যবহারকারীদের মধ্যে করগুলি ভাগ করা হয়েছে। আমি পরীক্ষাও চালিয়েছি এবং আমার ফলাফলগুলি নিম্নলিখিত:

জেনার র‌্যাম ফ্রি: 12.9 গিগাবাইট | প্রোকের আকার: 142.8 মেগাবাইট জিপিইউ র‌্যাম ফ্রি: 11441 এমবি | ব্যবহৃত: 0 এমবি | ব্যবহার 0% | মোট 11441MB

মনে হচ্ছে আমি পুরো কোর পেয়ে যাচ্ছি। তবে আমি কয়েকবার দৌড়েছি এবং একই ফলাফল পেয়েছি। কোনও পরিবর্তন হয়েছে কিনা তা দেখার জন্য হয়তো আমি দিনের মধ্যে কয়েকবার এই চেকটি পুনরাবৃত্তি করব।

Answer 9

আমি বিশ্বাস করি যদি আমাদের একাধিক নোটবুক খোলা থাকে। এটি বন্ধ করা আসলে প্রক্রিয়াটি থামায় না। কীভাবে এটি বন্ধ করা যায় তা আমি বুঝতে পারি নি। তবে আমি পাইথন 3 এর পিআইডি সন্ধান করতে শীর্ষস্থান ব্যবহার করেছি যা দীর্ঘকাল চলছিল এবং বেশিরভাগ স্মৃতি ব্যবহার করেছিলাম এবং আমি এটি মেরে ফেলেছিলাম। সবকিছু এখন স্বাভাবিক।