O GitLab tem um proxy de dependência integrado que armazena em cache as imagens do Docker upstream. Anteriormente um recurso premium, o Dependency Proxy foi de código aberto e disponibilizado para todas as versões do GitLab em novembro de 2020 como parte do GitLab 13.6.

O Dependency Proxy se comporta como um cache pull-through para imagens Docker armazenadas no Docker Hub. Configurar o Dependency Proxy pode acelerar seus pipelines e ajudá-lo a permanecer dentro dos limites de taxa do Docker.

Ativando o proxy de dependência

A disponibilidade do Dependency Proxy é controlada por uma configuração no nível da instância. Habilitar o Dependency Proxy requer que o GitLab seja reconfigurado. Isso causará um breve período de inatividade.

Para habilitar o recurso, adicione a seguinte linha ao de sua instalação /etc/gitlab/gitlab.rb Arquivo:

gitlab_rails["dependency_proxy_enabled"] = true

Salve o arquivo e execute o seguinte comando em seu terminal:

sudo gitlab-ctl reconfigure

As instruções acima são para instalações GitLab Omnibus. Se você instalou da fonte, o proxy de dependência deve ser habilitado em seu config/gitlab.yml Arquivo.

Usando o proxy de dependência

O Dependency Proxy só funciona com grupos GitLab. Atualmente, você não pode usá-lo com projetos pessoais independentes.

O recurso é normalmente usado em scripts de pipeline de CI. Ao fazer referência a uma imagem dentro de um pipeline, prefixe o nome do Docker Hub da imagem com o CI_DEPENDENCY_PROXY_GROUP_IMAGE_PREFIX variável. Essa variável é resolvida automaticamente para o URL do proxy de dependência para seu grupo GitLab ativo.

image: ${CI_DEPENDENCY_PROXY_GROUP_IMAGE_PREFIX}/nodejs:latest

Este pipeline executará seu trabalho dentro de um nodejs:latest recipiente. A imagem será obtida por meio do proxy de dependência. As execuções subsequentes do pipeline não precisarão atingir o Docker Hub, a menos que a imagem upstream realmente mude.

Você também pode acessar o Proxy de dependência manualmente, fora do GitLab CI. Você deve se autenticar com docker login primeiro. Você precisará usar seu nome de usuário e senha do GitLab ou seu nome de usuário e um token de acesso pessoal.

docker login gitlab.example.com --username username --password password

Uma vez autenticado, você pode docker pull usando o proxy de dependência GitLab. Substituir example-group no URL abaixo com o nome do grupo que deseja usar. A imagem extraída será armazenada em cache no proxy de dependência desse grupo.

docker pull gitlab.example.com/example-group/dependency_proxy/containers/nodejs:latest

Se você também usa o Container Registry do GitLab (para armazenar imagens tu build), observe que o Dependency Proxy é totalmente separado e tem um URL diferente. Enquanto o Container Registry é normalmente exposto em seu próprio subdomínio (por exemplo, registry.example.com), O proxy de dependência é acessado por meio do mesmo nome de host que a IU da Web do GitLab.

Como funciona o proxy de dependência

O Dependency Proxy se apresenta como outro registro do Docker. Quando você quiser usar o proxy, você docker login para isso e então docker pull como normal.

Se o Dependency Proxy já tiver armazenado em cache a imagem, ele a retornará diretamente sem usar o Docker Hub. Caso contrário, a imagem é extraída do Docker Hub, armazenada em cache no proxy e retornada ao Docker CLI.

O GitLab tentará entrar em contato com o Docker Hub para cada docker pull, mesmo se uma imagem em cache estiver disponível. Isso ocorre porque o proxy deve verificar se a imagem foi atualizada no Docker Hub.

Este procedimento não afeta a limitação de taxa do Docker. Docker permite gratuitamente HEAD solicitações para comparar versões de manifesto de imagem. Se o Docker indicar que a imagem em cache está desatualizada, o GitLab puxará a versão nova (incorrendo em um limite de taxa atingido). Caso contrário, a imagem em cache será retornada, sem adicionar à contagem de limite de taxa do Docker Hub.

Essas características tornam o Proxy de dependência ideal para pipelines de CI. Ao fazer login no proxy, você pode com segurança docker pull em cada pipeline executado, sem atingir o limite de taxa do Docker Hub.

Definição de configurações de proxy de dependência

O proxy de dependência pode usar uma quantidade substancial de armazenamento ao longo do tempo. Você está armazenando imagens em cache do Docker Hub; essas imagens podem ser muito grandes, dependendo do que você está usando.

GitLab permite personalizar o local de armazenamento. Colocou o dependency_proxy_storage_path assentando em /etc/gitlab/gitlab.rb se você quiser usar uma unidade de armazenamento dedicada.

gitlab_rails["dependency_proxy_storage_path"] = "/mnt/my-storage-drive"

As instalações de origem devem definir o storage_path propriedade dentro do dependency_proxy Seção de config/gitlab.yml em vez de.

Você também pode armazenar suas imagens em cache em um serviço de armazenamento de objetos, como o Amazon S3. Aqui está um exemplo de configuração Omnibus em /etc/gitlab/gitlab.rb:

gitlab_rails["dependency_proxy_object_store_enabled"] = true   # This is the S3 bucket name gitlab_rails["dependency_proxy_object_store_remote_directory"] = "gitlab-dependency-proxy"   gitlab_rails["dependency_proxy_object_store_connection"] = { "provider" => "AWS", "region" => "eu-west-1", "aws_access_key_id" => "AWS_ACCESS_KEY_ID", "aws_secret_access_key" => "AWS_SECRET_ACCESS_KEY" }

Para melhorar o desempenho, o GitLab armazenará as imagens em cache localmente e, em seguida, fará o upload delas para o S3 em segundo plano. Se você preferir fazer upload diretamente para S3, defina o dependency_proxy_object_store_direct_upload configuração para true.

Você deve reconfigurar o GitLab (sudo gitlab-ctl reconfigure) depois de fazer alterações nas configurações de armazenamento. O Dependency Proxy irá então armazenar imagens em cache usando sua nova configuração.

Liberando Armazenamento

O GitLab nunca exclui dados do proxy de dependência em cache. Você pode visualizar o conteúdo de um cache de grupos selecionando Packages & Registries> Dependency Proxy em sua barra lateral. Esta tela permite habilitar ou desabilitar o Dependency Proxy para o grupo e ver o tamanho total dos dados armazenados. No entanto, você não pode usar a IU para limpar blobs antigos.

Se você precisar liberar espaço de armazenamento, deverá usar a API GitLab. Há um único endpoint que permite limpar todos os dados do Dependency Proxy armazenados para um grupo específico.

Crie um token de acesso pessoal clicando em seu perfil no canto superior direito, clicando em “Tokens de acesso” na barra lateral esquerda e adicionando um novo token de acesso com o api alcance.

Em seguida, use curl para excluir o cache do proxy de dependência de um grupo:

curl --request DELETE --header "PRIVATE-TOKEN: <Access-Token>" https://gitlab.example.com/api/v4/groups/<Group-Id>/dependency_proxy/cache

Para encontrar o ID do seu grupo, visite a página inicial do grupo que deseja limpar. O ID do grupo será mostrado ao lado de seu nome.

Conclusão

Ativar o proxy de dependência é uma etapa direta que melhora a resiliência de seus pipelines. Se o Docker Hub ficar inativo, o proxy ainda fornecerá ao pipeline versões de imagens em cache.

O Dependency Proxy também ajuda você a se manter dentro dos limites de taxa do Docker Hub. Você só precisará extrair imagens do Docker Hub quando elas realmente mudarem. Para uma equipe ativa executando muitos pipelines a cada dia, isso pode ajudá-lo a evitar a necessidade de atualizar para um plano premium do Docker Hub.

Adicione ao Google Notícias