বাসে স্টডআউট করার জন্য ফাইলগুলি ডাম্প করতে কীভাবে AWS S3 CLI ব্যবহার করবেন?

Question 1

আমি একটি বাশ স্ক্রিপ্ট শুরু করছি যা এস 3-তে একটি পথ নেবে ( ls কমান্ডের জন্য নির্দিষ্ট হিসাবে ) এবং ফাইলের সমস্ত বস্তুর সামগ্রীতে ডাম্প করবে stdout। মূলত আমি cat /path/to/files/*এস 3 বাদে অনুলিপি করতে চাই , যেমন s3cat '/bucket/path/to/files/*'। অপশনগুলির দিকে নজর দেওয়া আমার প্রথম প্রবণতা হ'ল cpঅস্থায়ী ফাইলের কমান্ডটি ব্যবহার করা এবং তারপরে cat।

কেউ কি এটির অনুরূপ চেষ্টা করেছে বা ইতিমধ্যে কোনও আদেশ রয়েছে যা আমি খুঁজে পাচ্ছি না যা এটি করে?

Question 2

stdout এ সমস্ত ফাইলের সামগ্রীর বিষয়বস্তু ফেলে দিন।

আপনি যদি কমান্ডের -গন্তব্যের জন্য পাস করেন তবে আপনি এটি সম্পাদন করতে পারেন aws s3 cp। উদাহরণস্বরূপ $ aws s3 cp s3://mybucket/stream.txt -,।

আপনি যা করার চেষ্টা করছেন তা কি এরকম কিছু? ::

#!/bin/bash

BUCKET=YOUR-BUCKET-NAME
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/ | jq -r '.Contents[].Key'`
do
  echo $key
  aws s3 cp s3://$BUCKET/$key - | md5sum
done

Question 3

আপনি যদি AWS CLI এর এমন কোনও সংস্করণ ব্যবহার করছেন যা "-" অনুলিপি সমর্থন করে না আপনি / dev / stdout ব্যবহার করতে পারেন:

$ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout

আপনি --quietনীচের মতো একটি সারসংক্ষেপ রেখাটিকে আপনার আউটপুটে সংযোজন থেকে আটকাতে পতাকাটিও পেতে চাইতে পারেন :

ডাউনলোড: s3: //mybucket/stream.txt থেকে ../../dev/stdout

Question 4

আপনি s3streamcat ব্যবহার করে দেখতে পারেন , এটি bzip, gzip এবং xz ফর্ম্যাটগুলিকেও সমর্থন করে।

সাথে ইনস্টল করুন

sudo pip install s3streamcat

ব্যবহার:

s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something

Question 5

আহ হা!

https://pypi.python.org/pypi/s3cat/1.0.8

দৈর্ঘ্যের প্রয়োজনীয়তা মেটানোর জন্য আমি আরও চরিত্র লিখছি।

Question 6

আপনি যদি BASH ব্যবহার করে এটি সম্পাদন করতে চান তবে আপনাকে বাহ্যিক অ্যাপ্লিকেশন যেমন AWS কমান্ড-লাইন ইন্টারফেসের (সিএলআই) কল করতে হবে। এটিতে একটি ক্যাটের সমতুল্য নেই, সুতরাং আপনার স্থানীয়ভাবে ফাইলটি অনুলিপি করতে হবে এবং তারপরে এটি ক্যাট করতে হবে।

বিকল্পভাবে, আপনি এমন একটি অ্যাপ্লিকেশন ব্যবহার করতে / লিখতে পারেন যা AWS SDK কে সরাসরি কল করে, যা পাইথন, পিএইচপি, জাভা প্রভৃতি ভাষার জন্য উপলভ্য। এসডিকে ব্যবহার করে ফাইলের সামগ্রীগুলি মেমোরিতে পুনরুদ্ধার করা যায় এবং তারপরে স্টডআউটে প্রেরণ করা যায়।