Amazon S3.

O AWS S3 é o serviço de armazenamento em nuvem da Amazon, permitindo armazenar arquivos individuais como objetos em um balde. Você pode fazer upload de arquivos da linha de comando no servidor Linux ou até sincronizar diretórios inteiros no S3.

Se você deseja apenas compartilhar arquivos entre instâncias do EC2, pode usar um volume EFS e montá-lo diretamente em vários servidores, cortando a “nuvem” completamente. Mas você não deve usá-lo para tudo, porque é muito mais caro que o S3, mesmo com o Acesso pouco frequente ativado.

Limitar o acesso do S3 a um usuário do IAM

Seu servidor provavelmente não precisa de acesso root completo à sua conta da AWS; portanto, antes de fazer qualquer tipo de sincronização de arquivos, você deve criar um novo usuário do IAM para o seu servidor usar. Com um usuário do IAM, você pode limitar seu servidor a gerenciar apenas seus buckets S3.

No IAM Management Console, crie um novo usuário e ative o "Acesso programático".

Defina o menu Detalhes do usuário.

Você será solicitado a escolher permissões para esse usuário. Faça um novo grupo e atribua a permissão "AmazonS3FullAccess".

Atribuindo permissões de grupo.

Depois disso, você receberá uma chave de acesso e uma chave secreta. Anote isso; você precisará deles para autenticar seu servidor.

Você também pode atribuir manualmente permissões S3 mais detalhadas, como permissão para usar um bucket específico ou apenas fazer upload de arquivos, mas limitar o acesso apenas ao S3 deve ser bom na maioria dos casos.

Sincronização de arquivos com s3cmd

s3cmd é um utilitário projetado para facilitar o trabalho com o S3 a partir da linha de comando. Como não faz parte da CLI da AWS, você deverá instalá-la manualmente a partir do gerenciador de pacotes da sua distribuição. Para sistemas baseados no Debian como o Ubuntu, isso seria:

sudo apt-get install s3cmd

Uma vez s3cmd estiver instalado, será necessário vinculá-lo ao usuário do IAM que você criou para gerenciar o S3. Execute a configuração com:

s3cmd --configure

Você será solicitado a chave de acesso e a chave secreta que o Console de Gerenciamento do IAM lhe forneceu. Cole aqueles aqui. Existem mais algumas opções, como alterar os pontos de extremidade do S3 ou ativar a criptografia, mas você pode deixar todos eles padrão e selecionar "Y" no final para salvar a configuração.

Para fazer upload de um arquivo, use:

s3cmd colocar arquivo s3: // bucket

Substituindo "bucket" pelo nome do seu bucket. Para recuperar esses arquivos, execute:

s3cmd get s3: // bucket / remotefile localfile

E, se você deseja sincronizar em um diretório inteiro, execute:

diretório de sincronização s3cmd s3: // bucket /

Isso copiará o diretório inteiro para uma pasta no S3. Na próxima vez em que você o executar, ele copiará apenas os arquivos que foram alterados desde a última execução. Ele não excluirá nenhum arquivo, a menos que você o execute com o --delete-removido opção.

sincronização s3cmd não será executado automaticamente, portanto, se você deseja manter este diretório atualizado regularmente, precisará executar este comando regularmente. Você pode automatizar isso com cron; Abra seu crontab com crontab -ee adicione este comando para finalizar:

0 0 * * * diretório de sincronização s3cmd s3: // bucket> / dev / null 2> & 1

Isso sincronizará o diretório com o balde uma vez por dia. A propósito, se crontab -e você ficou preso vim, você pode alterar o editor de texto padrão com exportar VISUAL = nano;ou o que você preferir.

s3cmd tem muitos subcomandos; você pode copiar entre baldes com cp, mova arquivos com mve até criar e remover buckets da linha de comando com mb e rb, respectivamente. Usar s3cmd -h para uma lista completa.

Outra opção: AWS CLI

Além s3cmd, existem algumas outras opções de linha de comando para sincronizar arquivos no S3. A AWS fornece suas próprias ferramentas com a CLI da AWS. Você precisará do Python 3+ e pode instalar a CLI a partir de pip3 com:

pip3 instala o awscli --upgrade --user

Isso instalará o aws comando, que você pode usar para interagir com os serviços da AWS. Você precisará configurá-lo da mesma maneira que o s3cmd, o que pode ser feito com:

aws configure

Você será solicitado a inserir a chave de acesso e a chave secreta do seu usuário do IAM.

A sintaxe da AWS CLI é semelhante a s3cmd. Para fazer upload de um arquivo, use:

arquivo aws s3 cp s3: // bucket

Para sincronizar uma pasta inteira, use:

pasta de sincronização do aws s3 s3: // bucket

Você pode copiar e até sincronizar entre os buckets com os mesmos comandos. Você pode usar aws ajuda para obter uma lista completa de comandos ou leia a referência de comando no site deles.

Backups completos: Restic, Duplicity

Se você deseja fazer backups grandes, use outra ferramenta, em vez de um simples utilitário de sincronização. Quando você sincroniza com o S3 com s3cmd ou a CLI da AWS, quaisquer alterações feitas substituirão os arquivos atuais. Como a principal preocupação do armazenamento de arquivos na nuvem geralmente não causa falhas, mas a exclusão acidental sem acesso ao histórico de revisões, isso é um problema.

A AWS oferece suporte à versão de arquivo, o que resolve um pouco esse problema, mas você ainda pode usar um programa de backup mais poderoso para lidar com isso sozinho, especialmente se estiver fazendo backups de unidade completa.

Duplicity é um utilitário simples que faz backup de arquivos na forma de volumes TAR criptografados. O primeiro arquivo é um backup completo e, em seguida, os arquivos subseqüentes são incrementais, armazenando apenas as alterações feitas desde o último arquivo.

Isso é muito eficiente, mas a restauração de um backup é menos eficiente, pois o processo de restauração precisará seguir a cadeia de alterações para chegar ao estado final dos dados. A Restic resolve esse problema armazenando dados em blocos criptografados com desduplicação e mantém um instantâneo de cada versão para restauração. Dessa forma, o estado atual dos arquivos é facilmente referenciável e cada revisão ainda está acessível.

As duas ferramentas podem ser configuradas para funcionar com o AWS S3, bem como vários outros provedores de armazenamento. Como alternativa, se você quiser apenas fazer backup de instâncias do EC2 baseadas no EBS, poderá usar snapshots incrementais do EBS, embora seja mais caro do que fazer o backup manual no S3.

Adicione ao Google Notícias
Neste artigo
  1. Limitar o acesso do S3 a um usuário do IAM
  2. Sincronização de arquivos com s3cmd
  3. Outra opção: AWS CLI
  4. Backups completos: Restic, Duplicity