কীভাবে সমস্ত হিমবাহ ডেটা মুছবেন?


29

আমি আমার ডেটা ব্যাকআপ করার জন্য আরক নামক ম্যাক ওএস এক্সে একটি সরঞ্জাম ব্যবহার করছিলাম তবে আমার সমস্ত জিনিস আপলোড করা আমার পক্ষে এত কঠিন ছিল যেহেতু এটির পক্ষে পর্যাপ্ত ইন্টারনেট সংযোগ নেই এবং এটির পক্ষে আমার পক্ষে খুব দ্রুত গতি নেই।

সুতরাং আমি আমার সমস্ত ব্যাকআপগুলি মুছে ফেলার সিদ্ধান্ত নিয়েছি, কিন্তু যখনই আমি নিজেই সফ্টওয়্যার থেকে চেষ্টা করি তবে এটি কিছুই করে না।

আমি আমার অন্যান্য উইন্ডোজ মেশিনেও ফাস্টগ্লিসিয়ার চেষ্টা করেছিলাম, এটি স্তব্ধ হয়ে যায় এবং প্রচুর সংস্থান গ্রহণ করে।

আমি ভাবছিলাম যে এটি করার কোনও সহজ উপায় আছে কিনা।

পিএস আমার হিমবাহের 341907 সংরক্ষণাগারগুলিতে 450 জিবি রয়েছে


আরক ব্যবহারকারীদের জন্য নোট - নীচের দিকে আরক বিকাশকারী স্টেফান রিশ্যাশারের উত্তর দেখুন। এমটিগ্লেসিয়ার স্থাপনের মাথাব্যথা এড়ান এবং কেবল আরকের মধ্যে নির্মিত সরঞ্জামটি ব্যবহার করুন!
জোউইজ

উত্তর:


26

এই প্রকল্পের শুদ্ধি-ভল্টটি দুর্দান্তভাবে কাজ করে: https://github.com/vsespb/mt-aws-glacier

ইনস্টল করুন, তারপরে এই কমান্ডগুলি চালান (আপনার ভল্টের নামের সাথে ভল্ট-নাম প্রতিস্থাপন করুন):

mtglacier retrieve-inventory --config glacier.cfg --vault vault-name

প্রায় 2 ঘন্টা অপেক্ষা করুন, এবং তারপরে

mtglacier download-inventory --config glacier.cfg --vault vault-name --new-journal vault-name.log
mtglacier purge-vault --config glacier.cfg --vault vault-name --journal vault-name.log

এর জন্য আপনাকে অনেক ধন্যবাদ, কিন্তু দুঃখের সাথে আমার এটি পরীক্ষা করার জন্য কোনও হিমবাহ স্টোর নেই, সুতরাং দয়া করে যদি কেউ এটি পরীক্ষা করে তবে আমাকে সঠিক উত্তরটি চিহ্নিত করতে আমাকে জানান।
শেরিফ মারজৌক

@ কমিলোনাভা প্রতিক্রিয়াটির জন্য ধন্যবাদ আমি আপনার প্রতিক্রিয়ার ভিত্তিতে এটি সেরা উত্তর হিসাবে বেছে নিয়েছি ^ _ ^
শেরিফ মারজুক

ডাউনলোড-ইনভেন্টরিটি সক্ষম হতে আমাকে প্রায় 4 ঘন্টা অপেক্ষা করতে হয়েছিল
প্যারাগ

1
এই পদ্ধতির তুলনায় অনেক দ্রুত বলে মনে হচ্ছে glacier-vault-remove। এই পদ্ধতিটি কয়েক ঘন্টাের মধ্যে 350GB ডেটা সরাতে সক্ষম হয়েছিল, যখন glacier-vault-removeপ্রতি 12 ঘন্টা প্রায় 30GB ডেটা অপসারণ করে।
gbmhunter

আমি বুঝতে পারি যে এই উত্তরটি নিশ্চিত হওয়া সমাধান হিসাবে চিহ্নিত হয়েছে, তবে আরক ব্যবহারকারীদের জন্য মূল পোস্টারটির মতো, নীচে স্টিফান রিইশামারের উত্তর সবচেয়ে ভাল, হাতছাড়া করা। আরকের কাছে হিমবাহ ভল্টস মোছার জন্য অন্তর্নির্মিত সরঞ্জাম রয়েছে। এমটিগ্ল্যাসিয়ারের সাথে গোলমাল করার দরকার নেই। শুধু উত্তরটি পড়ুন, এবং আপনি সম্পন্ন করেছেন।
জোউইজ

15

https://github.com/leeroybrun/glacier-vault-remove এই সঠিক উদ্দেশ্যে তৈরি করা হয়েছিল।

একটি ভল্ট অপসারণ করতে, প্রথমে নির্ভরতা ইনস্টল করুন:

$ git clone https://github.com/leeroybrun/glacier-vault-remove.git
$ cd glacier-vault-remove
$ python setup.py install

তারপরে credentials.jsonএকই ডিরেক্টরিতে একটি শংসাপত্র ফাইল তৈরি করুন :

{
  "AWSAccessKeyId": "YOURACCESSKEY",
  "AWSSecretKey":   "YOURSECRETKEY"
}

তারপরে স্ক্রিপ্টটি চালান

$ python removeVault.py REGION-NAME VAULT-NAME

উদাহরণ:

$ python removeVault.py us-east-1 my_vault

1
এই স্ক্রিপ্টটি বর্তমান সময়ে এমটি-আউজ-হিমবাহের চেয়ে অনেক ধীর
ড্যান পোলতাউস্কি

এছাড়াও, এটি প্রচুর র‍্যাম খায় । আমি প্রায় 120.000 সংরক্ষণাগার মুছে ফেলার চেষ্টা করছি - 125413 এর 1142-তে এটি ইতিমধ্যে 1 জিবি-র বেশি মেমরি ব্যবহার করে (এবং এটি প্রতিটি আর্কাইভের সাথে বাড়ছে))
aaronk6

7

আপনি যদি আরকে কোনও হিমবাহ-ব্যাকযুক্ত ফোল্ডারটি সরিয়ে ফেলেন তবে এটি আরকের ট্র্যাশে যাবে। আপনি যদি এটি আরকের ট্র্যাশে নির্বাচন করেন এবং "স্থায়ীভাবে মুছুন" ক্লিক করেন, আরক সমস্ত গ্লাসিয়ার সংরক্ষণাগার মুছে ফেলবেন এবং গ্লেসিয়ার ভল্টটি মোছার চেষ্টা করবেন। ভল্ট মুছতে ব্যর্থ হতে পারে কারণ অ্যামাজনকে তার "ইনভেন্টরি" আপডেট করতে হবে যা এটি একবার / দিনে করে। পরের দিন, আরকের "অন্যান্য ব্যাকআপ সেট" এর নীচে ব্রাউজ করুন, সেই ভল্টটি সন্ধান করুন, এটি নির্বাচন করুন এবং এটি মুছতে "মুছুন" ক্লিক করুন।

আপনার যদি কোনও ভল্ট রয়েছে যা কোনও আরকের ব্যাকআপের সাথে সম্পর্কিত নয়, আরকের মেনু থেকে "লিগ্যাসি গ্লেসিয়ার ভল্টস" চয়ন করুন, ভল্টটি নির্বাচন করুন এবং মুছতে বোতামটি ক্লিক করুন।


ধন্যবাদ, স্টিফান! আমি আমার আরক ভোল্টগুলি কীভাবে মুছে ফেলতে পারি তা নির্ধারণের জন্য কয়েকদিন ধরে সংগ্রাম করেছি - এমটিগ্ল্যাসিয়ার চালানোর জন্য একটি ড্রপক্লুড উবুন্টু উদাহরণ তৈরি করে this এবং পুরো সময়টিতে, সমাধানটি ঠিক সেখানে ছিল আরকের মধ্যে।
জোউইজ

5

আপনি ক্লাউডবেরি এক্সপ্লোরার যেমন একটি ফ্রিওয়্যার পণ্য ব্যবহার করতে পারেন http://www.cloudberrylab.com/free

দ্রষ্টব্য, হিমবাহ ডেটা অবিলম্বে উপলব্ধ হয় না। অ্যামাজনে বিশ্বব্যাপী জায়টি হওয়ার জন্য আপনার 24 ঘন্টা অপেক্ষা করতে হবে, তারপরে আপনার ইনভেন্টরিটি বোতামটি ক্লিক করুন এবং আপনার অ্যাকাউন্টের জন্য জায়টি পেতে আরও 5 ঘন্টা অপেক্ষা করতে হবে wait

ধন্যবাদ


সেই অ্যাকাউন্টে আমার কাছে হিমবাহ ছাড়া আর কিছুই ছিল না, তাই আমি আমার আওস অ্যাকাউন্টটি সরিয়ে দিয়েছি, এটিকে সঠিক উত্তর হিসাবে চিহ্নিত করব, আমার ধারণা আমি যদি এটি চেষ্টা করে থাকি তবে এটি কার্যকর হত।
শেরিফ মারজুক

আসলেই খুব ভাল উত্তর নয় কারণ এই পণ্যটি ওএসএক্সে চলে না।
ব্যবহারকারী3353

1

আমি জানি এই প্রশ্নের উত্তর কিছুক্ষণ আগে দেওয়া হয়েছে, তবে আমি মনে করি এটি কিছু লোককে সাহায্য করতে পারে যেহেতু গ্লেসিয়ার ডেটা মুছে ফেলা এখনও চরম জটিল।

আমি এই প্রস্তাবটি কোথাও দেখতে পাইনি ... তবে আপনি যদি কেবল হিমবাহের জন্য AWS ব্যবহার করেন (যা আমি মনে করি অনেকের ক্ষেত্রে অবশ্যই হবে), আপনি কেবল আপনার এইডাব্লুএস অ্যাকাউন্টটি বন্ধ করার বিষয়টি বিবেচনা করতে পারেন! বিভিন্ন সরঞ্জামের সাহায্যে ডেটা মুছে ফেলার জন্য অকার্যকর চেষ্টা করার কয়েক দিন পরে আমি এটি করেছি।

আপনি যখন আপনার অ্যাকাউন্টটি বন্ধ করেন, অ্যামাজন আপনার ডেটা মুছে ফেলবে (ধারণা করা যায় যে তারা শেষ পর্যন্ত ডিস্কের স্থানটি পুনরায় দাবি করতে পারে) এবং আপনি মাসের জন্য একটি চূড়ান্ত রসিদ পাবেন। বিদায় আমাজন!


আমি অন্যান্য অনেক অ্যামাজন পরিষেবা ব্যবহার করছিলাম এবং সেগুলি হারাতে চাই নি, এবং আমার ধারণা অনেকগুলি স্টাফ কেনার জন্য অ্যামাজন ব্যবহার করে, তবে এটি অন্য কোথাও কখনও কখনও অ্যামাজন ব্যবহার না করে এমন লোকদের জন্য এটি লেখা ভাল
শেরিফ মারজুক

@ শরিফমারজুক ওয়েল, আপনি যখন এডাব্লুএস কন্ট্রোল প্যানেলে আপনার অ্যাকাউন্টটি বন্ধ করেন, এটি আসলে আপনার AWS অ্যাকাউন্ট যা আপনি বন্ধ করছেন, আপনার অ্যামাজন অ্যাকাউন্ট নয় যা আপনি ক্রয় করতে ব্যবহার করছেন। সুতরাং আপনি এখনও যথারীতি অন্যান্য অ্যামাজন পরিষেবা (যতক্ষণ না তারা এডাব্লুএস-এর অংশ না হন) ব্যবহার করতে সক্ষম হবেন।
ফর্ম

0

কীভাবে ভল্ট (এডাব্লুএস হিমবাহ) মুছবেন

এই গিস্ট এডাব্লুএস সি AWS Glacier Vaultএল এল (যেমন https://aws.amazon.com/en/cli/ ) দিয়ে সরাতে কিছু টিপস দেয় ।

পদক্ষেপ 1 / পুনরুদ্ধার ইনভেন্টরি

$ aws glacier initiate-job --job-parameters "{\"Type\": \"inventory-retrieval\"}" --vault-name YOUR_VAULT_NAME --account-id YOUR_ACCOUNT_ID --region YOUR_REGION

3/5 ঘন্টা সময় অপেক্ষা করুন ... :-(

নতুন পদক্ষেপের জন্য আপনার এটি নেওয়া দরকার JobId। পুনরুদ্ধার তালিকা তৈরি হয়ে গেলে আপনি নিম্নলিখিত আদেশটি সহ এটি পেতে পারেন:aws glacier list-jobs --vault-name YOUR_VAULT_NAME --region YOUR_REGION

পদক্ষেপ 2 / আর্কাইভসগুলি পান

$ aws glacier get-job-output --job-id YOUR_JOB_ID --vault-name YOUR_VAULT_NAME --region YOUR_REGION ./output.json

দেখুন। অ্যামাজন গ্লেসিয়ারে একটি ভল্ট ইনভেন্টরি ডাউনলোড করা

আপনি সমস্ত পেতে পারেন ArchiveId./output.jsonফাইল।

পদক্ষেপ 3 / সংরক্ষণাগার মুছুন

শক্তির উৎস

@ ভিনিয়ার থেকে

$input_file_name = 'output.json'
$vault_name = 'my_vault'
# $account_id = 'AFDKFKEKF9EKALD' #not used. using - instead

$a = ConvertFrom-Json $(get-content $input_file_name)

$a.ArchiveList.archiveid | %{
write "executing: aws glacier delete-archive --archive-id=$_ --vault-name $vault_name --account-id -"
aws glacier delete-archive --archive-id=$_ --vault-name $vault_name --account-id - }

পাইথন

@রোববার থেকে

আইজসন , যা পরিবর্তে স্ট্রিম হিসাবে ফাইলে পড়ে। আপনি এটি পাইপ দিয়ে ইনস্টল করতে পারেন

import ijson, subprocess

input_file_name = 'output.json'
vault_name = ''
account_id = ''

f = open(input_file_name)
archive_list = ijson.items(f,'ArchiveList.item')

for archive in archive_list:
    print("Deleting archive " + archive['ArchiveId'])
    command = "aws glacier delete-archive --archive-id='" + archive['ArchiveId'] + "' --vault-name " + vault_name + " --acc$
    subprocess.run(command, shell=True, check=True)

f.close()

পিএইচপি

@ রেমিআই থেকে

<?php

$file = './output.json' ;
$accountId = 'YOUR_ACCOUNT_ID' ;
$region = 'YOUR_REGION' ;
$vaultName = 'YOUR_VAULT_NAME' ;

$string = file_get_contents ( $file ) ;
$json = json_decode($string, true ) ;
foreach ( $json [ 'ArchiveList' ] as $jsonArchives )
{
    echo 'Delete Archive: ' . $jsonArchives [ 'ArchiveId' ] . "\n" ;
    exec ( 'aws glacier delete-archive --archive-id="' . $jsonArchives [ 'ArchiveId' ] . '" --vault-name ' . $vaultName . ' --account-id ' . $accountId . ' --region ' . $region , $output ) ;
    echo $output ;
}

চিহ্নিত করুন: আপনি কোনও সংরক্ষণাগার মুছে ফেলার পরে, আপনি অবিলম্বে ভল্টের তালিকাটি ডাউনলোড করেন, এটি মুছে ফেলা আর্কাইভটিকে তালিকায় অন্তর্ভুক্ত করতে পারে কারণ অ্যামাজন গ্লেসিয়ার কেবলমাত্র একবারের মধ্যে ভল্টের তালিকা প্রস্তুত করে।

দেখুন। অ্যামাজন হিমবাহে একটি সংরক্ষণাগার মোছা হচ্ছে

পদক্ষেপ 4 / একটি ভল্ট মুছুন

$ aws glacier delete-vault --vault-name YOUR_VAULT_NAME --account-id YOUR_ACCOUNT_ID --region YOUR_REGION

মূলত @Remiii লিখেছেন

ঠিক আছে কয়েক বছর আগে আমি আমার অ্যাকাউন্টটি বন্ধ করে দিয়েছিলাম এবং কয়েক মাস আগে এটি পুনরায় চালু করেছি এবং অনুমান করুন যে আমার অ্যাকাউন্টে এখনও অ্যামাজন আমার 3 টিবি রয়েছে এবং আমি গত কয়েক মাস ধরে তাদের জন্য বিল পেয়েছি।

সুতরাং আমি এই প্রশ্নে ফিরে এসে দেখলাম যে:

  • এমটি-আউজ-হিমবাহটি সর্বশেষতম উবুন্টুতে সেটআপ করা প্রায় অসম্ভব তারপর 12.04 এ গিয়েছিল সেখানে এসএসসি নেই, তারপর যখন 14.04 এ আমার স্বাক্ষর সম্পর্কে ত্রুটি পেল ...
  • আরক উত্তর আরক 5-এ আর প্রাসঙ্গিক নয়
  • তারপরে আমি উপরের কথাটি খুঁজে পেয়েছি এবং এটি এখানে অনুলিপি করেছি কারণ এটি সম্প্রদায়ের পক্ষে ভাল
  • ক্লাউডবেরি চেষ্টা করা হয়েছে এবং দেখে মনে হচ্ছে এটি কাজ করা উচিত আমি 4 hours 10 ঘন্টার মধ্যে এখানে আপডেট করব

-1

ম্যাকের জন্য আপনি ফোর্কলিফ্ট অ্যাপটি ব্যবহার করার চেষ্টা করতে পারেন (মূল্যায়নের জন্য বিনামূল্যে) যা অ্যামাজন এস 3 এর সাথে সংযোগ করতে পারে connect


আমি অ্যামাজন এস 3 এর সাথে সংযুক্ত হয়েছি তবে এটি আমাকে কিছুই দেখায় না। হিমবাহ অ্যাক্সেস করতে আমাকে কি s3.amazonaws.com ব্যতীত অন্য কোনও সার্ভার নির্দিষ্ট করতে হবে?
কেভিন

দুঃখিত এটি আমার জন্য এখন অনেক আগে ছিল ... আমি শেষ পর্যন্ত কীভাবে এটি স্থির করেছি তা আমি পুরোপুরি মনে করতে পারি না ... আমি মনে করি এটি অন্য কোনও পোস্টে তালিকাভুক্ত এই কমান্ড-লাইন সরঞ্জামগুলির মাধ্যমে হয়ে থাকতে পারে।
মারিয়াস

1
হিমবাহটি এস 3 নয়। এগুলি উভয়ই অ্যামাজন ওয়েব পরিষেবাদির অংশ এবং এটি উভয়ই ফাইল সঞ্চয় করতে ব্যবহৃত হয় তবে তাদের ব্যবহারের ক্ষেত্রে বিভিন্ন ক্ষেত্রে, পেমেন্ট স্ট্রাকচার, বিধিনিষেধ এবং এপিআই রয়েছে। এর কারণে, এস 3 টি সরঞ্জাম হিমবাহের সাথে কাজ করে না এবং গ্লেসিয়ার সরঞ্জামগুলি এস 3 এর সাথে কাজ করে না (যদিও এটি বলা যায় না যে সেখানে কোনও সরঞ্জাম নেই যা এস 3- এবং হিমবাহ-সামঞ্জস্যপূর্ণ, পৃথক নেটওয়ার্ক হ্যান্ডলারের সাথে লিখিত এবং প্রতিটি পরিষেবার জন্য অ্যাপ লজিক)
স্লিপ ডি থম্পসন
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.