গুগল কোলাবোরেটরিতে ডেটা আমদানি করুন

Question

গুগল কোলাবোটারি নোটবুকগুলিতে ব্যক্তিগত ডেটা আমদানির সাধারণ উপায়গুলি কী কী? অ-সর্বজনীন গুগল শিটটি কি আমদানি করা সম্ভব? আপনি সিস্টেম ফাইল থেকে পড়তে পারবেন না। প্রারম্ভিক ডক্স বিগকোয়ারি ব্যবহারের জন্য একটি গাইডের সাথে লিঙ্ক করেছে তবে এটি কিছুটা ... অনেক বেশি মনে হচ্ছে।

Answer 1

স্থানীয় ফাইল আপলোড / ডাউনলোড এবং ড্রাইভ এবং পত্রকগুলির সাথে একীকরণ প্রদর্শনের জন্য একটি সরকারী উদাহরণ নোটবুক এখানে উপলভ্য: https://colab.research.google.com/notebooks/io.ipynb

ফাইলগুলি ভাগ করার সবচেয়ে সহজ উপায় হ'ল আপনার Google ড্রাইভকে মাউন্ট করা।

এটি করতে, একটি কোড কক্ষে নিম্নলিখিতগুলি চালান:

from google.colab import drive
drive.mount('/content/drive')

এটি আপনাকে আপনার ড্রাইভ অ্যাক্সেস করতে "গুগল ফাইলস স্ট্রিম" এর সমস্ত লিঙ্কটিতে যেতে বলবে। এরপরে একটি দীর্ঘ বর্ণমুখে লিখিত কোডটি প্রদর্শিত হবে যা আপনার কুলাবের নোটবুকে প্রবেশ করা দরকার।

এর পরে, আপনার ড্রাইভ ফাইলগুলি মাউন্ট হবে এবং আপনি পার্শ্ব প্যানেলে ফাইল ব্রাউজারের সাহায্যে সেগুলি ব্রাউজ করতে পারেন।

এখানে একটি সম্পূর্ণ উদাহরণ নোটবুক

Comments

একটি শীট উদাহরণটি এখন একটি বান্ডিল উদাহরণ নোটবুকের সাথে অন্তর্ভুক্ত করা হয়েছে যাতে এতে ড্রাইভ এবং গুগল ক্লাউড স্টোরেজের রেসিপিগুলিও রয়েছে: colab.research.google.com/notebook#fileId=/v2/external/…

— বব স্মিথ

আমি কি আমার ড্রাইভে একটি নির্দিষ্ট ফোল্ডার আমদানি করতে পারি? আমি এই কোলাবটি অন্য কারও সাথে ভাগ করছি, এবং আমি আমার সমস্ত Google ড্রাইভে অ্যাক্সেস দিতে চাই না যেখানে সংবেদনশীল তথ্য রয়েছে

— হলুদ 01

আপনি যদি নোটবুকটি ভাগ করেন তবে আপনার ড্রাইভে থাকা ফাইলগুলি ভাগ করা হবে না। ব্যবহারকারীর এখনও তাদের নিজস্ব ড্রাইভ মাউন্ট করতে হবে যা পৃথক। প্রয়োজনে আপনি সেই ব্যবহারকারীর সাথে ফাইলগুলি ভাগ করতে পারেন তবে সেগুলি সবই ড্রাইভ এসিএল দ্বারা নিয়ন্ত্রিত। কোনও কলাব নোটবুক ভাগ করে নেওয়া কেবল নোটবইকেই ভাগ করে দেয়, ড্রাইভ ফাইলগুলি সেই নোটবুকটিতে উল্লিখিত নয়।

— বব স্মিথ

আমার মাউন্টটি সফল তবে আমি ফাইলগুলির নীচে বাম পাশে থাকা ফাইলগুলি দেখতে পাচ্ছি না। কোনও পরামর্শ?

— স্বপ্নিল বি

মাউন্ট করা গুগল ড্রাইভে থাকা ডেটা সম্পর্কে প্রশিক্ষণ দেবেন না। প্রথমে লোকাল ড্রাইভে ডেটা অনুলিপি করুন এবং তারপরে প্রশিক্ষণ দিন। এটি প্রায় 10 গুণ দ্রুত হবে। দ্রুত অনুলিপির জন্য, নিশ্চিত করুন যে ডেটা ফাইলগুলি বড় সংরক্ষণাগার বা কয়েকটি ছোট ছোট ফাইল। উদাহরণস্বরূপ: - 100000 চিত্র ফাইল ব্যবহার করবেন না। প্রতিটি 1000 টি চিত্রের 100 সংরক্ষণাগার ব্যবহার করুন। ড্রাইভ Google- এ এই পথ আপলোড এছাড়াও দ্রুত এবং তাই colab Google ড্রাইভ থেকে কপি হয়

— saurabheights

Answer 2

আপলোড

from google.colab import files
files.upload()

ডাউনলোড

files.download('filename')

তালিকা ডিরেক্টরি

files.os.listdir()

Comments

ব্যবহারকারীর গুগল ড্রাইভে বা যে সার্ভারের সাথে নোটবুকটি সংযুক্ত আছে সেগুলিতে আপলোড করা ফাইলগুলি সংরক্ষণ করা আছে?

— রড্রিক দ্য রিডার

এই ফাইলগুলি কি সংক্ষিপ্ত নয়?

— একিউম্যানাস

আপলোডের জন্য কোনও যুক্তি?

— ব্যবহারকারী 25004

এই উত্তরটি শীর্ষে থাকা উচিত। প্রশ্নটি গুগল ড্রাইভ মাউন্ট না করে ডেটা আমদানি নিয়ে not

— ফার্নান্দো উইটম্যান

Answer 3

আপনার গুগলড্রাইভ থেকে ডেটা আমদানির সহজ উপায় - এটি করে মানুষের সময় সাশ্রয় করা (কেন গুগল কেবল ধাপে ধাপে এই পদক্ষেপটি তালিকাভুক্ত করে না তা জানেন না)।

ইনস্টল এবং লেখক পিড্রাইভ

     !pip install -U -q PyDrive ## you will have install for every colab session

     from pydrive.auth import GoogleAuth
     from pydrive.drive import GoogleDrive
     from google.colab import auth
     from oauth2client.client import GoogleCredentials

     # 1. Authenticate and create the PyDrive client.
     auth.authenticate_user()
     gauth = GoogleAuth()
     gauth.credentials = GoogleCredentials.get_application_default()
     drive = GoogleDrive(gauth)

আপলোড হচ্ছে

আপনার যদি স্থানীয় ড্রাইভ থেকে ডেটা আপলোড করতে হয়:

    from google.colab import files

    uploaded = files.upload()

    for fn in uploaded.keys():
       print('User uploaded file "{name}" with length {length} bytes'.format(name=fn, length=len(uploaded[fn])))

সম্পাদন করুন এবং এটি একটি চয়ন করুন ফাইল বোতাম প্রদর্শন করবে - আপনার আপলোড ফাইলটি সন্ধান করুন - ওপেন ক্লিক করুন

আপলোড করার পরে, এটি প্রদর্শিত হবে:

    sample_file.json(text/plain) - 11733 bytes, last modified: x/xx/2018 - %100 done
    User uploaded file "sample_file.json" with length 11733 bytes

নোটবুকের জন্য ফাইল তৈরি করুন

যদি আপনার ডেটা ফাইলটি ইতিমধ্যে আপনার জিডিড্রাইভে থাকে তবে আপনি এই পদক্ষেপে যেতে পারেন।

এখন এটি আপনার গুগল ড্রাইভে। আপনার গুগল ড্রাইভে ফাইলটি সন্ধান করুন এবং ডান ক্লিক করুন। 'ভাগ করার যোগ্য লিঙ্ক' ক্লিক করুন। আপনি একটি উইন্ডো পাবেন:

    https://drive.google.com/open?id=29PGh8XCts3mlMP6zRphvnIcbv27boawn

অনুলিপি করুন - '29PGh8XCts3MLMP6zRphvnIcbv27boawn' - এটি ফাইল আইডি।

তোমার নোটবুকের মধ্যে:

    json_import = drive.CreateFile({'id':'29PGh8XCts3mlMP6zRphvnIcbv27boawn'})

    json_import.GetContentFile('sample.json') - 'sample.json' is the file name that will be accessible in the notebook.

নোটবুকের মধ্যে ডেটা আমদানি করুন

আপনি নোটবুকটিতে আপলোড করা ডেটা আমদানি করতে (এই উদাহরণে একটি জসন ফাইল - আপনি কীভাবে লোড করবেন তা ফাইল / ডেটা টাইপের উপর নির্ভর করবে - .txt, .csv ইত্যাদি):

    sample_uploaded_data = json.load(open('sample.json'))

এখন আপনি ডেটা আছে তা দেখতে মুদ্রণ করতে পারেন:

    print(sample_uploaded_data)

Comments

এটি উল্লেখ করার মতো যে আপলোডিং পরামর্শটি google.colab.files.upload()কেবল ফায়ারফক্স বা সাফারি, ক্রোম উভয়ই কাজ করে না বলে মনে হচ্ছে। এখানে

— 5agado

Answer 4

পদক্ষেপ 1- আপনার গুগল ড্রাইভকে সহযোগিতায় মাউন্ট করুন

from google.colab import drive
drive.mount('/content/gdrive')

পদক্ষেপ 2- এখন আপনি আপনার Google ড্রাইভের ফাইলগুলি বাম ফলকে (ফাইল এক্সপ্লোরার) দেখতে পাবেন। আপনার যে ফাইলটি আমদানি করতে হবে এবং çওপি পথটি নির্বাচন করতে হবে তার ডানদিকে ক্লিক করুন। তারপরে এই অনুলিপি করা পথটি ব্যবহার করে প্যান্ডাসে যথারীতি আমদানি করুন।

import pandas as pd
df=pd.read_csv('gdrive/My Drive/data.csv')

সম্পন্ন!

Comments

স্পষ্টতা এবং সংকোচনের উপর জিত এবং সমান কার্যকারিতা রয়েছে। আমি এর থেকে বেশি জড়িত উপায়গুলির কোনও সুবিধা দেখছি না।

— এলরোচ

Answer 5

আমি যে সহজ উপায়টি তৈরি করেছি তা হ'ল:

1. আপনার ডেটাসেটের সাহায্যে গিথুবে সংগ্রহস্থল তৈরি করুন
2. সাথে আপনার ভান্ডার ক্লোন করুন! গিট ক্লোন - রেকর্ডিং [গিথব লিংক রেপো]
3. আপনার ডেটা (! Ls কমান্ড) কোথায় রয়েছে তা সন্ধান করুন
4. পান্ডাস দিয়ে ফাইলটি খুলুন আপনি সাধারণ জুপির নোটবুকে যেমন করেন তেমন।

Comments

হাই, এই ফাঁকফোঁটা দিয়ে = পিডি.ড্রেড_সিএসভি ("ডেটা-অ্যানালাইসিস / পেয়ারপ্লটস / ডেটা / গ্যাপমিন্ডার_ডাটাসিএসভি") আমি কেবল "সংস্করণ https: // .." কেবল 2 টি পর্যবেক্ষণ সহ ভেরিয়েবল পাচ্ছি

— মুকুল শর্মা

যদি কোনও একক ফাইলের আকার গিথুব অনুমোদিত মীমাংসার চেয়ে বেশি হয় তবে এই সমাধানটি কার্যকর হবে না, যদি আমি 20MB মুক্ত সংস্করণে অনুমান করি।

— অক্ষয় সোম

Answer 6

এটি আপনাকে Google ড্রাইভের মাধ্যমে আপনার ফাইলগুলি আপলোড করতে দেয়।

নীচের কোডটি চালান (এটি আগে কোথাও পাওয়া গেছে তবে আমি উত্সটি আর খুঁজে পাচ্ছি না - যারাই লিখেছেন তার কৃতিত্ব!):

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse

from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass

!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

সামনে আসা প্রথম লিঙ্কটিতে ক্লিক করুন যা আপনাকে গুগলে সাইন ইন করার জন্য অনুরোধ করবে; এর পরে আর একজন উপস্থিত হবে যা আপনার Google ড্রাইভে অ্যাক্সেসের অনুমতি চাইবে।

তারপরে, এটি চালান যা 'ড্রাইভ' নামে একটি ডিরেক্টরি তৈরি করে এবং আপনার Google ড্রাইভকে এটিতে লিঙ্ক করে:

!mkdir -p drive
!google-drive-ocamlfuse drive

আপনি যদি !lsএখনই করেন তবে একটি ডিরেক্টরি ড্রাইভ থাকবে এবং আপনি যদি !ls driveএটি করেন তবে আপনার Google ড্রাইভের সমস্ত সামগ্রী দেখতে পাবেন।

সুতরাং উদাহরণস্বরূপ, আমি যদি আমার গুগল ড্রাইভে abc.txtডাকা ফোল্ডারে কল করা আমার ফাইলটি সংরক্ষণ করি তবে আমি ColabNotebooksএখন এটি কোনও পথ দিয়ে অ্যাক্সেস করতে পারিdrive/ColabNotebooks/abc.txt

Comments

সূত্র

— করণ সিং

Answer 7

যে কোনও কোলবোরেটরির বাম বারে "ফাইলস" নামে একটি বিভাগ রয়েছে। সেখানে আপনার ফাইলগুলি আপলোড করুন এবং এই পথটি ব্যবহার করুন

"/content/YourFileName.extension"

উদা: pd.read_csv('/content/Forbes2015.csv');

Comments

নিশ্চিত হয়ে নিন যে আপনি সরাসরি ডিরেক্টরিতে আপলোড করেছেন এবং 'নমুনা_ডেটা' ডিরেক্টরিতে নেই Make এছাড়াও, আপনি "সামগ্রী" মুছে ফেলতে পারেন এবং কেবল ফাইলের নাম লিখতে পারেন:pd.read_csv('Forbes2015.csv');

— বিবেক সোলঙ্কি

যদি এখনও কাজ না করে তবে আপনি আমাকে ত্রুটি বার্তা বলতে পারেন?

— বিবেক সোলঙ্কি

নিবন্ধন করুন এটি '/' ছাড়াও কাজ করে। আপনি এটি কোলাবে পরীক্ষা করতে পারেন।

— বিবেক সোলঙ্কি 21

Answer 8

আমি এখনও অবধি খুঁজে পেয়েছি সবচেয়ে সহজ সমাধান যা ছোট থেকে মাঝারি আকারের সিএসভি ফাইলগুলির জন্য নিখুঁতভাবে কাজ করে তা হল:

1. Gist.github.com এ একটি গোপন টুকরো তৈরি করুন এবং আপনার ফাইল আপলোড করুন (বা এর কন্টেন্টটি অনুলিপি করুন)-
2. কাঁচা ভিউতে ক্লিক করুন এবং কাঁচা ফাইলের URL টি অনুলিপি করুন।
3. আপনি যখন কল করবেন তখন ফাইলের ঠিকানা হিসাবে অনুলিপি করা URL টি ব্যবহার করুন pandas.read_csv(URL)

এটি লাইন বা বাইনারি ফাইল দ্বারা একটি পাঠ্য ফাইল লাইন পড়ার জন্য বা নাও কাজ করতে পারে।

Comments

এটি লক্ষ করা গুরুত্বপূর্ণ যে গোপন সংকেতগুলি গোপনীয়তার সাথে আবিষ্কার করা যে তারা ব্যক্তিগত নয় ততই অসুবিধা হয় , সুতরাং যে কেউ এই পদ্ধতির ব্যবহার করছেন তাদের যত্নবান হওয়া উচিত।

— গ্রে

Answer 9

ড্রপবক্স থেকে দ্রুত এবং সহজ আমদানি:

!pip install dropbox
import dropbox
access_token = 'YOUR_ACCESS_TOKEN_HERE' # https://www.dropbox.com/developers/apps
dbx = dropbox.Dropbox(access_token)

# response = dbx.files_list_folder("")

metadata, res = dbx.files_download('/dataframe.pickle2')

with open('dataframe.pickle2', "wb") as f:
  f.write(res.content)

Answer 10

যারা আমার মতো, গুগল থেকে "আপলোড ফাইল কোলাব" শব্দটির জন্য এসেছিলেন:

from google.colab import files
uploaded = files.upload()

Answer 11

আপনি আমার বাস্তবায়নগুলি google.colab এবং পাইড্রাইভ https://github.com/ruelj2/Google_drive এ ব্যবহার করতে পারেন যা এটি অনেক সহজ করে তুলেছে ।

!pip install - U - q PyDrive  
import os  
os.chdir('/content/')  
!git clone https://github.com/ruelj2/Google_drive.git  

from Google_drive.handle import Google_drive  
Gd = Google_drive()  

তারপরে, আপনি যদি কোনও Google ড্রাইভ ডিরেক্টরিতে সমস্ত ফাইল লোড করতে চান তবে ঠিক

Gd.load_all(local_dir, drive_dir_ID, force=False)  

অথবা সাথে একটি নির্দিষ্ট ফাইল

Gd.load_file(local_dir, file_ID)

Comments

এই ক্ষেত্রে "ড্রাইভ_ডির_আইডি" কী?

— পার্সেলটাঙ্গয়ে

গিট রেপোতে উল্লিখিত হিসাবে, ড্রাইভ_ডির_আইডি অনুরোধ করা ডিরেক্টরিটির সংশ্লিষ্ট Google ড্রাইভ আইডি। আরও তথ্যের জন্য, দয়া করে github.com/ruelj2/Google_drive পরীক্ষা করুন । ব্যবহারের একটি স্পষ্ট উদাহরণ রয়েছে।

— জিন-ক্রিস্টোফ

Answer 12

@ বিবেক সোলঙ্কি উল্লিখিত হিসাবে, আমি আমার ফাইল "ফাইল" বিভাগের অধীন কোলাবোরেটরি ড্যাশবোর্ডেও আপলোড করেছি। ফাইলটি কোথায় আপলোড হয়েছে তা কেবল একটি নোট নিন। আমার জন্য, train_data = pd.read_csv('/fileName.csv')কাজ।

Answer 13

গুগল কোলাবগুলিতে যদি এটি আপনার প্রথমবার হয়,

from google.colab import drive
drive.mount('/content/drive')

এই কোডগুলি চালাও এবং আউটপুট লিঙ্কটি পেরো এবং তারপরে বাক্সে পাস-প্রেস পেরো

আপনি যখন অনুলিপি করেন নিচের মতো করে অনুলিপি করতে পারেন, ডান ক্লিক করুন এবং পথটি অনুলিপি করুন *** "/ সামগ্রী" অপসারণ করতে ভুলবেন না

f = open("drive/My Drive/RES/dimeric_force_field/Test/python_read/cropped.pdb", "r")

Answer 14

এটি সমাধান হয়ে গেছে, এখানে বিশদটি সন্ধান করুন এবং দয়া করে নীচের ফাংশনটি ব্যবহার করুন: https://stackoverflow.com -colaboratory / 49467113 # 49467113

from google.colab import files
import zipfile, io, os

    def read_dir_file(case_f):
        # author: yasser mustafa, 21 March 2018  
        # case_f = 0 for uploading one File and case_f = 1 for uploading one Zipped Directory
        uploaded = files.upload()    # to upload a Full Directory, please Zip it first (use WinZip)
        for fn in uploaded.keys():
            name = fn  #.encode('utf-8')
            #print('\nfile after encode', name)
            #name = io.BytesIO(uploaded[name])
        if case_f == 0:    # case of uploading 'One File only'
            print('\n file name: ', name)
            return name
        else:   # case of uploading a directory and its subdirectories and files
            zfile = zipfile.ZipFile(name, 'r')   # unzip the directory 
            zfile.extractall()
            for d in zfile.namelist():   # d = directory
                print('\n main directory name: ', d)
                return d
    print('Done!')

Answer 15

গুগল ড্রাইভ থেকে নোটবুকগুলিতে ফাইলগুলি আমদানির একটি উপায় এখানে।

জুপিটার নোটবুক খুলুন এবং নীচের কোডটি চালান এবং প্রমাণীকরণ প্রক্রিয়াটি সম্পূর্ণ করুন

!apt-get install -y -qq software-properties-common python-software-properties   module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret=  {creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

উপরের কোডটি একবার সম্পন্ন করার পরে, গুগল ড্রাইভ মাউন্ট করতে নীচের কোডটি চালান

!mkdir -p drive
!google-drive-ocamlfuse drive

গুগল ড্রাইভ থেকে নোটবুকগুলিতে ফাইলগুলি আমদানি করা হচ্ছে (উদা: কোলাব_নোটবুক / db.csv)

কোলাব_নোটবুকস ফোল্ডারে আপনার ডেটাসেট ফাইলটি বলতে দিন এবং এর নামটি db.csv

import pandas as pd
dataset=pd.read_csv("drive/Colab_Notebooks/db.csv")

আমি আসা করি এটা সাহায্য করবে

Answer 16

আপনি যদি কোড ছাড়াই এটি করতে চান তবে এটি বেশ সহজ। আমার ফোল্ডারটি আমার ক্ষেত্রে জিপ করুন

dataset.zip

তারপরে কোলাবে আপনি যে ফোল্ডারে এই ফাইলটি রাখতে চান সেখানে ডান ক্লিক করুন এবং আপলোড টিপুন এবং এই জিপ ফাইলটি আপলোড করুন। তারপরে এই লিনাক্স কমান্ডটি লিখুন।

!unzip <your_zip_file_name>

আপনি দেখতে পাচ্ছেন যে আপনার ডেটা সফলভাবে আপলোড হয়েছে।

Answer 17

যদি ডেটা-সেট আকারটি 25 মিমি কম হয় তবে কোনও সিএসভি ফাইল আপলোড করার সহজ উপায়টি আপনার গিটহাব সংগ্রহশালা থেকে।

1. সংগ্রহস্থলের ডেটা সেট ক্লিক করুন
2. ভিউ র বাটনে ক্লিক করুন
3. লিঙ্কটি অনুলিপি করুন এবং এটি একটি ভেরিয়েবলে সঞ্চয় করুন
4. ডেটাফ্রেম পেতে পান্ডাস রিড_সিএসভিতে ভেরিয়েবলটি লোড করুন

উদাহরণ:

import pandas as pd
url = 'copied_raw_data_link'
df1 = pd.read_csv(url)
df1.head()

Answer 18

1. আপনি নিম্নলিখিতটি চালিয়ে গুগল ড্রাইভে মাউন্ট করতে পারেন

   from google.colab import drive drive.mount('/content/drive')

2. পরে প্রশিক্ষণের জন্য জিডিড্রাইভ থেকে কোলাব রুট ফোল্ডারে ডেটা অনুলিপি করুন।

!cp -r '/content/drive/My Drive/Project_data' '/content'

যেখানে প্রথম পাথ হ'ল জিড্রাইভ পাথ এবং দ্বিতীয়টি হল কোলাব রুট ফোল্ডার।

এই উপায়ে প্রশিক্ষণ বড় ডেটার জন্য দ্রুত।