কোনও এস 3 অবজেক্টে ডেটা যুক্ত করুন

Question 1

ধরা যাক যে আমার কাছে একটি মেশিন রয়েছে যা আমি একটি এস 3 বালতিতে সঞ্চিত একটি নির্দিষ্ট লগ ফাইলটিতে লিখতে সক্ষম হতে চাই।

সুতরাং, সেই বালতিটিতে মেশিনের লেখার দক্ষতা থাকা দরকার, তবে আমি সেই বালতির কোনও ফাইল ওভাররাইট বা মুছে ফেলার ক্ষমতা রাখতে চাই না (যার সাথে আমি এটি লিখতে চাই সেগুলি সহ)।

সুতরাং মূলত, আমি চাই যে আমার মেশিনটি ওভাররাইড না করে বা ডাউনলোড না করে কেবল সেই লগ ফাইলটিতে ডেটা যুক্ত করতে সক্ষম হবে।

আমার এস 3 এর মতো কাজ করার জন্য কি কোনও উপায় আছে? সম্ভবত কিছু আইএএম নীতি আছে যা আমি এটির সাথে সংযুক্ত করতে পারি তাই এটি আমার পছন্দ মতো কাজ করবে?

Question 2

দুর্ভাগ্যক্রমে, আপনি পারবেন না।

এস 3 এর "অ্যাপেন্ড" অপারেশন নেই। ^* একবার কোনও জিনিস আপলোড হয়ে গেলে, এটির জায়গায় পরিবর্তন করার কোনও উপায় নেই; আপনার একমাত্র বিকল্প হ'ল এটি প্রতিস্থাপন করতে একটি নতুন অবজেক্ট আপলোড করা, যা আপনার প্রয়োজনীয়তা পূরণ করে না।

*: হ্যাঁ, আমি জানি এই পোস্টটি কয়েক বছরের পুরনো। যদিও এটি এখনও সঠিক।

Question 3

গৃহীত উত্তর হিসাবে, আপনি পারবেন না। আমি সচেতন যে সর্বোত্তম সমাধানটি হ'ল ব্যবহার করা:

এডাব্লুএস কিনেসিস ফায়ারহোজ

https://aws.amazon.com/kinesis/firehose/

তাদের কোড নমুনা জটিল দেখায় কিন্তু আপনার সত্যিই সহজ হতে পারে। আপনি আপনার অ্যাপ্লিকেশনের (এডাব্লুএস এসডিকে ব্যবহার করে) কেইনিস ফায়ারহোজ বিতরণ প্রবাহে PUT (বা ব্যাচ পুট) ক্রিয়াকলাপ চালিয়ে যাচ্ছেন এবং আপনার পছন্দসই AWS S3 বালতিতে আপনার স্ট্রিমযুক্ত ডেটা প্রেরণের জন্য আপনি কিনসিস ফায়ারহোজ বিতরণ প্রবাহটি কনফিগার করেছেন ( এডাব্লুএস কিনেসিস ফায়ারহোজ কনসোল)।

এটি এখনও >>লিনাক্স কমান্ড লাইনের মতো সুবিধাজনক নয় , কারণ আপনি একবার এস 3-তে একটি ফাইল তৈরি করার পরে আপনাকে নতুন ফাইলটি ডাউনলোড, সংযোজন এবং আপলোড করতে হবে তবে আপনি কেবল একবার লাইন প্রতি ব্যাচেই এটি করতে হবে rather প্রতিটি লাইন ডেটার তুলনায় যাতে আপনাকে অতিরিক্ত চার্জ সম্পর্কে উদ্বিগ্ন হওয়ার দরকার নেই কারণ অ্যাপেন্ড অপারেশনগুলির পরিমাণ বেশি volume হতে পারে এটি করা যেতে পারে তবে কনসোল থেকে এটি কীভাবে করব তা আমি দেখতে পাচ্ছি না।

Question 4

এস 3-তে অবজেক্টস সক্ষম নয়। এক্ষেত্রে আপনার 2 টি সমাধান রয়েছে:

সমস্ত এস 3 ডেটা একটি নতুন অবজেক্টে অনুলিপি করুন, নতুন সামগ্রী যুক্ত করুন এবং এস 3 এ আবার লিখুন।

function writeToS3(input) {
    var content;
    var getParams = {
        Bucket: 'myBucket', 
        Key: "myKey"
    };

    s3.getObject(getParams, function(err, data) {
        if (err) console.log(err, err.stack);
        else {
            content = new Buffer(data.Body).toString("utf8");
            content = content + '\n' + new Date() + '\t' + input;
            var putParams = {
                Body: content,
                Bucket: 'myBucket', 
                Key: "myKey",
                ACL: "public-read"
             };

            s3.putObject(putParams, function(err, data) {
                if (err) console.log(err, err.stack); // an error occurred
                else     {
                    console.log(data);           // successful response
                }
             });
        }
    });  
}

দ্বিতীয় বিকল্পটি হ'ল কেনেসিস ফায়ারহোজ ব্যবহার করা। এটি মোটামুটি সোজা। আপনাকে আপনার ফায়ারহোজ বিতরণ প্রবাহ তৈরি করতে হবে এবং গন্তব্যটিকে এস 3 বালতিতে লিঙ্ক করতে হবে। এটাই!

function writeToS3(input) {
    var content = "\n" + new Date() + "\t" + input;
    var params = {
      DeliveryStreamName: 'myDeliveryStream', /* required */
      Record: { /* required */
        Data: new Buffer(content) || 'STRING_VALUE' /* Strings will be Base-64 encoded on your behalf */ /* required */
      }
    };

    firehose.putRecord(params, function(err, data) {
      if (err) console.log(err, err.stack); // an error occurred
      else     console.log(data);           // successful response
    }); 
}

Question 5

অন্যরা যেমন আগেই বলেছে, এস 3 অবজেক্টগুলি অ্যাপেন্ড-সক্ষম নয়।
তবে, আরও একটি সমাধান হ'ল ক্লাউডওয়াচ লগগুলিতে লেখা এবং তারপরে আপনি যে লগগুলি S3 তে রফতানি করে তা রফতানি করা । এটি যে কোনও আক্রমণকারীকে আপনার সার্ভার অ্যাক্সেস করে আপনার এস 3 বালতি থেকে মুছে ফেলা থেকেও বাধা দিতে পারে, যেহেতু লাম্বডাকে কোনও এস 3 অনুমতি লাগবে না।

Question 6

যদি কেউ এস 3-এর মতো পরিষেবা সহ কোনও বস্তুর ডেটা যুক্ত করতে চায় তবে আলিবাবা ক্লাউড ওএসএস (অবজেক্ট স্টোরেজ সার্ভিস) এটিকে স্থানীয়ভাবে সমর্থন করে ।

ওএসএস অ্যাপেন্ড আপলোড সরবরাহ করে (অ্যাপেন্ডোবজেক্ট এপিআই এর মাধ্যমে), যা আপনাকে কোনও সামগ্রীর শেষে সরাসরি সামগ্রীতে সংযোজন করতে দেয়। এই পদ্ধতিটি ব্যবহার করে আপলোড করা অবজেক্টগুলি অ্যাপেন্ডেবল অবজেক্টস, অন্য পদ্ধতিগুলি ব্যবহার করে আপলোড করা অবজেক্টগুলি সাধারণ বস্তু। সংযুক্ত ডেটা তাত্ক্ষণিকভাবে পঠনযোগ্য।

Question 7

আমার অনুরূপ সমস্যা ছিল এবং এটিই আমি জিজ্ঞাসা করেছি

এডাব্লুএস ল্যাম্বদা ব্যবহার করে কীভাবে ফাইলের ডেটা যুক্ত করতে হয়

উপরের সমস্যাটি সমাধান করার জন্য আমি এখানে যা এলাম:

বিদ্যমান ফাইলটি থেকে পুনরুদ্ধার করতে getObject ব্যবহার করুন

   s3.getObject(getParams, function(err, data) {
   if (err) console.log(err, err.stack); // an error occurred
   else{
       console.log(data);           // successful response
       var s3Projects = JSON.parse(data.Body);
       console.log('s3 data==>', s3Projects);
       if(s3Projects.length > 0) {
           projects = s3Projects;
       }   
   }
   projects.push(event);
   writeToS3(); // Calling function to append the data
});

ফাইলটিতে সংযুক্ত করতে ফাংশন লিখুন Write

   function writeToS3() {
    var putParams = {
      Body: JSON.stringify(projects),
      Bucket: bucketPath, 
      Key: "projects.json",
      ACL: "public-read"
     };

    s3.putObject(putParams, function(err, data) {
       if (err) console.log(err, err.stack); // an error occurred
       else     console.log(data);           // successful response
        callback(null, 'Hello from Lambda');
     });
}

এই সাহায্য আশা করি !!