Os formatos colunares, como o Apache Parquet, oferecem grande economia de compactação e são muito mais fáceis de digitalizar, processar e analisar do que outros formatos, como CSV. Neste artigo, mostramos como converter seus dados CSV em Parquet usando o AWS Glue.

O que é um formato colunar?

Arquivos CSV, arquivos de log e qualquer outro arquivo delimitado por caracteres, todos efetivamente armazenam dados em colunas. Cada linha de dados possui um determinado número de colunas, todas separadas pelo delimitador, como vírgulas ou espaços. Mas, por baixo do capô, esses formatos ainda são apenas linhas de cordas. Não há uma maneira fácil de digitalizar apenas uma única coluna de um arquivo CSV.

Isso pode ser um problema com serviços como o AWS Athena, que são capazes de executar consultas SQL em dados armazenados em CSV e outros arquivos delimitados. Mesmo se você estiver apenas consultando uma única coluna, Atenas tem que verificar o inteiro conteúdo do arquivo. A única cobrança do Athena é o GB dos dados processados, portanto, aumentar a conta processando dados desnecessários não é a melhor ideia.

A solução é um verdadeiro formato colunar. Os formatos colunares armazenam dados em colunas, como um banco de dados relacional tradicional. As colunas são armazenadas juntas e os dados são muito mais homogêneos, o que os torna mais fáceis de compactar. Eles não são exatamente legíveis por humanos, mas são compreendidos pelo aplicativo que os processa perfeitamente. Na verdade, como há menos dados para verificar, eles são muito mais fáceis de processar.

Como o Athena só precisa escanear uma coluna para fazer uma seleção por coluna, ele reduz drasticamente os custos, especialmente para conjuntos de dados maiores. Se você tiver 10 colunas em cada arquivo e digitalizar apenas uma, terá uma economia de 90% apenas com a mudança para o Parquet.

Converter automaticamente usando o AWS Glue

AWS Glue é uma ferramenta da Amazon que converte conjuntos de dados entre formatos. Ele é usado principalmente como parte de um pipeline para processar dados armazenados em formatos delimitados e em outros formatos, e os injeta em bancos de dados para uso no Athena. Embora possa ser configurado para ser automático, você também pode executá-lo manualmente e, com alguns ajustes, pode ser usado para converter arquivos CSV para o formato Parquet.

Vá até o AWS Glue Console e selecione “Get Started”. Na barra lateral, clique em “Adicionar rastreador” e crie um novo rastreador. O rastreador é configurado para procurar dados de S3 Buckets e importar os dados em um banco de dados para uso na conversão.

Criando um rastreador.

Dê um nome ao seu rastreador e opte por importar dados de um armazenamento de dados. Selecione S3 (embora DynamoDB seja outra opção) e insira o caminho para uma pasta que contém seus arquivos. Se você tiver apenas um arquivo que deseja converter, coloque-o em sua própria pasta.

Escolher o armazenamento de dados para importar dados para o seu rastreador.

Em seguida, você deve criar uma função IAM para o seu rastreador operar. Crie a função e escolha-a na lista. Você pode ter que apertar o botão de atualização próximo a ele para que ele apareça.

Escolha e função de IAM para seu rastreador.

Escolha um banco de dados para o rastreador enviar; se você já usou o Athena antes, pode usar seu banco de dados personalizado, mas se não o padrão deve funcionar bem.

Configurando o banco de dados de saída do seu rastreador.

Se você deseja automatizar o processo, pode dar ao seu rastreador uma programação para que ele seja executado regularmente. Caso contrário, escolha o modo manual e execute-o você mesmo no console.

Depois de criado, vá em frente e execute o rastreador para importar os dados para o banco de dados que você escolheu. Se tudo funcionar, você deverá ver seu arquivo importado com o esquema adequado. Os tipos de dados para cada coluna são atribuídos automaticamente com base na entrada de origem.

Arquivos importados com o esquema adequado.

Assim que seus dados estiverem no sistema AWS, você pode convertê-los. No Glue Console, mude para a guia “Trabalhos” e crie um novo trabalho. Dê a ele um nome, adicione sua função IAM e selecione “Um script proposto gerado pelo AWS Glue” como o trabalho executado.

Nomeie seu novo trabalho, adicione a função IAM e selecione "Um script proposto gerado por AWS Glue".

Selecione sua tabela na próxima tela e escolha “Alterar esquema” para especificar que este trabalho executa uma conversão.

Escolher "Alterar Esquema" para especificar que seu trabalho executa uma conversão.

Em seguida, você deve selecionar “Criar tabelas em seu destino de dados”, especificar Parquet como o formato e inserir um novo caminho de destino. Certifique-se de que este seja um local vazio sem quaisquer outros arquivos.

Escolha um alvo de dados selecionando "Crie tabelas em seu destino de dados", especificando Parquet como o formato e inserindo um novo caminho de destino.

Em seguida, você pode editar o esquema do seu arquivo. O padrão é um mapeamento individual de colunas CSV para colunas Parquet, que é provavelmente o que você deseja, mas você pode modificá-lo se precisar.

Editando o esquema do seu arquivo.

Crie o trabalho e você será levado a uma página que permite editar o script Python que ele executa. O script padrão deve funcionar bem, então clique em “Salvar” e volte para a guia de trabalhos.

Em nosso teste, o script sempre falhou, a menos que a função IAM recebesse permissão específica para gravar no local para o qual especificamos a saída para ir. Você pode ter que editar manualmente as permissões do console de gerenciamento IAM se você tiver o mesmo problema.

Caso contrário, clique em “Executar” e seu script deve iniciar. O processamento pode demorar um ou dois minutos, mas você deverá ver o status no painel de informações. Quando terminar, você verá um novo arquivo criado no S3.

Este trabalho pode ser configurado para ser executado a partir de gatilhos definidos pelo rastreador que importa os dados, de forma que todo o processo possa ser automatizado do início ao fim. Se você estiver importando logs do servidor para o S3 dessa forma, este pode ser um método fácil de convertê-los em um formato mais utilizável.

Adicione ao Google Notícias
Neste artigo
  1. O que é um formato colunar?
  2. Converter automaticamente usando o AWS Glue