বোটো 2 এ, আপনি এই পদ্ধতিগুলি ব্যবহার করে কোনও এস 3 অবজেক্টে লিখতে পারেন:
বোটো 3 সমমান কি আছে? এস 3 এ সঞ্চিত কোনও অবজেক্টে ডেটা সংরক্ষণের বোটো 3 পদ্ধতি কী?
উত্তর:
বোটো 3 এ, 'কী.সেট_কন্টেন্টস_ফর্ম_' পদ্ধতিগুলি প্রতিস্থাপিত হয়েছিল
উদাহরণ স্বরূপ:
import boto3
some_binary_data = b'Here we have some data'
more_binary_data = b'Here we have some more data'
# Method 1: Object.put()
s3 = boto3.resource('s3')
object = s3.Object('my_bucket_name', 'my/key/including/filename.txt')
object.put(Body=some_binary_data)
# Method 2: Client.put_object()
client = boto3.client('s3')
client.put_object(Body=more_binary_data, Bucket='my_bucket_name', Key='my/key/including/anotherfilename.txt')বিকল্পভাবে, বাইনারি ডেটা কোনও ফাইল পড়া থেকে আসতে পারে, যেমন বোটো 2 এবং বোটো 3 এর তুলনা করে অফিসিয়াল ডক্সে বর্ণিত :
তথ্য সংরক্ষণ
কোনও ফাইল, স্ট্রিম বা স্ট্রিং থেকে ডেটা সঞ্চয় করা সহজ:
# Boto 2.x from boto.s3.key import Key key = Key('hello.txt') key.set_contents_from_file('/tmp/hello.txt') # Boto 3 s3.Object('mybucket', 'hello.txt').put(Body=open('/tmp/hello.txt', 'rb'))
s3.Object().put()করি তখন শূন্যের সাথে একটি বিষয় শেষ করি content-length। আমার জন্য put()কেবল স্ট্রিং ডেটা গ্রহণ করে তবে put(str(binarydata)) মনে হয় কিছু এনকোডিংয়ের সমস্যা রয়েছে। আমি মূল অবধি প্রায় 3 গুণ আকারের একটি অবজেক্ট দিয়ে শেষ করি যা এটি আমার পক্ষে অকেজো করে তোলে।
boto3 এর সরাসরি ফাইল আপলোড করার জন্য একটি পদ্ধতিও রয়েছে:
s3.Bucket('bucketname').upload_file('/local/file/here.txt','folder/sub/path/to/s3key')http://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Bucket.upload_file
s3.Bucket(...).upload_fileobj()পরিবর্তে পদ্ধতিটি ব্যবহার করতে পারেন ।
এস 3-তে ফাইল লেখার আগে আপনাকে আর সামগ্রীগুলি বাইনারিতে রূপান্তর করতে হবে না। নিম্নলিখিত উদাহরণটি স্ট্রিংয়ের বিষয়বস্তু সহ একটি এস 3 বালতিতে একটি নতুন পাঠ্য ফাইল (যাকে newfile.txt বলা হয়) তৈরি করে:
import boto3
s3 = boto3.resource(
's3',
region_name='us-east-1',
aws_access_key_id=KEY_ID,
aws_secret_access_key=ACCESS_KEY
)
content="String content to write to a new S3 file"
s3.Object('my-bucket-name', 'newfile.txt').put(Body=content)prefix? মানে, আপনি যদি ফাইলটি স্টোর করতে চান my-bucket-name/subfolder/?
এস 3 থেকে জেএসএন পড়ার জন্য এখানে একটি দুর্দান্ত কৌশল:
import json, boto3
s3 = boto3.resource("s3").Bucket("bucket")
json.load_s3 = lambda f: json.load(s3.Object(key=f).get()["Body"])
json.dump_s3 = lambda obj, f: s3.Object(key=f).put(Body=json.dumps(obj))এখন আপনি json.load_s3এবং json.dump_s3হিসাবে একই API ব্যবহার করতে পারেন loadanddump
data = {"test":0}
json.dump_s3(data, "key") # saves json to s3://bucket/key
data = json.load_s3("key") # read json from s3://bucket/key...["Body"].read().decode('utf-8')।
একটি ক্লিনার এবং সংক্ষিপ্ত সংস্করণ যা আমি ফ্লাইতে প্রদত্ত এস 3 বালতি এবং সাব-ফোল্ডারে ফাইল আপলোড করতে ব্যবহার করি -
import boto3
BUCKET_NAME = 'sample_bucket_name'
PREFIX = 'sub-folder/'
s3 = boto3.resource('s3')
# Creating an empty file called "_DONE" and putting it in the S3 bucket
s3.Object(BUCKET_NAME, PREFIX + '_DONE').put(Body="")নোট : আপনি সবসময় আপনার ডেস্কটপ AWS শংসাপত্রের (করা উচিত aws_access_key_idএবং aws_secret_access_keyএকটি পৃথক ফাইলে) নিদর্শন জন্য~/.aws/credentials
~
C:\Users\username\.aws\credentials
এটি স্মার্ট- ওপেনটি উল্লেখ করার boto3মতো যা ব্যাক-এন্ড হিসাবে ব্যবহার করে ।
smart-openপাইথন এর জন্য একটি ড্রপ ইন প্রতিস্থাপন openযে থেকে ফাইল খুলতে পারে s3এবং সেইসাথে, ftp, httpএবং অনেক অন্যান্য প্রোটোকল।
উদাহরণ স্বরূপ
from smart_open import open
import json
with open("s3://your_bucket/your_key.json", 'r') as f:
data = json.load(f)আউস শংসাপত্রগুলি বোটো 3 শংসাপত্রগুলির মাধ্যমে লোড হয় , সাধারণত একটি ফাইল ~/.aws/ডিয়ার বা পরিবেশের পরিবর্তনশীল।
আপনি লিখতে নীচের কোডটি ব্যবহার করতে পারেন, উদাহরণস্বরূপ 2019 এ S3 তে একটি চিত্র S S3 এর সাথে সংযোগ স্থাপন করতে আপনাকে কমান্ড ব্যবহার করে AWS CLI ইনস্টল করতে হবে pip install awscli, তারপরে কমান্ডটি ব্যবহার করে কয়েকটি শংসাপত্র লিখুন aws configure:
import urllib3
import uuid
from pathlib import Path
from io import BytesIO
from errors import custom_exceptions as cex
BUCKET_NAME = "xxx.yyy.zzz"
POSTERS_BASE_PATH = "assets/wallcontent"
CLOUDFRONT_BASE_URL = "https://xxx.cloudfront.net/"
class S3(object):
def __init__(self):
self.client = boto3.client('s3')
self.bucket_name = BUCKET_NAME
self.posters_base_path = POSTERS_BASE_PATH
def __download_image(self, url):
manager = urllib3.PoolManager()
try:
res = manager.request('GET', url)
except Exception:
print("Could not download the image from URL: ", url)
raise cex.ImageDownloadFailed
return BytesIO(res.data) # any file-like object that implements read()
def upload_image(self, url):
try:
image_file = self.__download_image(url)
except cex.ImageDownloadFailed:
raise cex.ImageUploadFailed
extension = Path(url).suffix
id = uuid.uuid1().hex + extension
final_path = self.posters_base_path + "/" + id
try:
self.client.upload_fileobj(image_file,
self.bucket_name,
final_path
)
except Exception:
print("Image Upload Error for URL: ", url)
raise cex.ImageUploadFailed
return CLOUDFRONT_BASE_URL + id