
Os dados são uma das mercadorias mais valiosas do mundo e não é difícil entender o porquê. Do marketing à genômica, a análise de grandes conjuntos de dados leva a modelos preditivos, que levam a resultados favoráveis para os negócios. Quanto mais dados você usar, melhores serão esses modelos, o que significa os melhores resultados que eles podem produzir. Obviamente, isso significa que mover dados de um lugar para outro é uma habilidade crucial para qualquer engenheiro, mas nem sempre é tão fácil quanto parece.
Por exemplo, se você usar o armazenamento de bucket do AWS S3, mover dados para outro bucket do S3 será um único comando da CLI, aws s3 cp s3: // SourceBucket / * s3: // DestinationBucket /. Mover esses mesmos arquivos para um provedor de nuvem diferente, como Microsoft Azure ou Google Cloud Platform, requer uma ferramenta totalmente diferente.
No final deste tutorial, você poderá sincronizar arquivos de um bucket do AWS S3 para um contêiner de armazenamento de blob do Azure usando o rclone, uma ferramenta de sincronização de dados de código aberto que funciona com a maioria dos provedores de nuvem e sistemas de arquivos locais.
Pré-requisitos
Para acompanhar, você precisará do seguinte:
- Um bucket do AWS S3
- Um contêiner de armazenamento de blob do Azure
- Chaves de acesso da AWS e chaves de acesso à conta de armazenamento do Azure
- Um computador executando qualquer sistema operacional moderno
- As capturas de tela são do Windows 10 com WSL
- Alguns arquivos para copiar
Como configurar o rclone
A instalação do rclone é diferente para cada sistema operacional, mas uma vez instalado, as instruções são as mesmas: execute configuração do rclone

A execução do comando config solicitará que você vincule as contas dos seus provedores de nuvem ao rclone. O termo rclone para isso é um controlo remoto. Ao executar o comando config, digite n para criar um novo controle remoto. Você precisará de um para a AWS e o Azure, mas também existem vários outros provedores.

Azure
Depois de escolher o armazenamento de blobs do Azure, você precisará:
- Um nome para o controle remoto. (Nesta demonstração, é "Azure".)
- O nome da conta de armazenamento
- Uma das chaves de acesso da conta de armazenamento
Você será solicitado a fornecer um URL de assinatura de acesso compartilhado e, embora seja possível configurar usando isso, esta demonstração está apenas usando uma chave de acesso. Depois de inserir o padrão para o restante dos valores pressionando Entrar durante o restante da instalação, você poderá começar a usar o controle remoto.
Para listar os controles remotos configurados em seu sistema, digite rclone listremotes, que mostrará os controles remotos disponíveis. Você também pode listar qualquer contêiner de armazenamento de blobs executando rclone lsd . Certifique-se de incluir um : no final do controle remoto ao executar esses comandos, porque é assim que o rclone determina se você deseja usar um controle remoto ou não. Você pode correr rclone --help a qualquer momento para obter a lista de comandos disponíveis.
<img class = "imgchk9 alignnone wp-image-4853 size-full" data-pagespeed-lazy-src = "https://www.cloudsavvyit.com/thumbcache/0/0/7c73c39006798be82422861eb6df6c9/p/uploads/2020/05 /x01b3601c.png.pagespeed.gp+jp+jw+pj+ws+js+rj+rp+rw+ri+cp+md.ic.JlP0aLUGY-.png "alt =" Listar qualquer contêiner de armazenamento de blobs executando rclone lsd
Usando o ls e gato comandos com um controle remoto rclone.
AWS S3
A configuração do controle remoto para um bucket S3 é muito semelhante ao contêiner de armazenamento de blobs do Azure, apenas com algumas pequenas diferenças. Como existem outros provedores de armazenamento em nuvem que são considerados compatíveis com S3 pelo rclone, você também pode receber alguns avisos extras ao executar configuração do rclone. Você precisará:
- Um nome para o controle remoto. (Nesta demonstração, é "AWS".)
- Uma chave de acesso da AWS e a chave de acesso secreta correspondente
- A região da AWS em que o bucket está
O restante dos prompts pode ser configurado para criar outros buckets ou executar outras operações, mas, para cópia, você pode pular o restante deles pressionando Entrar.
Se o usuário ao qual as chaves de acesso pertencem tiver acesso ao bloco, você terá acesso a ele com os mesmos comandos usados para acessar o controle remoto do Azure.

Você pode confirmar o tipo de controle remoto adicionando o --longo sinalizar para o rclone listremotes comando.
Executando o rclone
Agora que os controles remotos foram configurados, você pode transferir arquivos, criar novos buckets ou manipular os arquivos da maneira que precisar, usando um conjunto de comandos padrão. Em vez de confiar em saber como trabalhar com a AWS S3 CLI ou o Azure PowerShell, você pode se comunicar entre os dois buckets de armazenamento com o rclone.
Alguns comandos úteis comuns para você começar são:
árvore rclone- lista o conteúdo do balde em formato de árvore. Adicione o: -Csinalizador para adicionar cor à saída.tamanho rclone- Exibe o número de arquivos no balde e seu tamanho total.: sincronização rclone- Faz o destino corresponder à origem, mas apenas modifica o destino. A origem e o destino podem ser caminhos de arquivos locais ou caminhos remotos rclone. Adicione o-Psinalizador para visualizar o progresso interativamente.
No exemplo a seguir, o bucket do AWS S3 é sincronizado com o remoto do Azure, que exclui o arquivo existente no Azure e copia os dados do S3. Se você precisar manter os arquivos na pasta de destino, use o rclone copyto comando.

Sumário
Até agora, você deve se sentir confortável em instalar o rclone e configurar controles remotos, além de usá-los para copiar dados entre nuvens diferentes. O rclone é uma ferramenta extremamente flexível e não se limita apenas à AWS e ao Azure; portanto, se você usar outro provedor de nuvem, tente configurar controles remotos para eles também.



