Depois que as plataformas de realidade aumentada móvel ARKit e ARCore moveram o Projeto Tango (a plataforma AR que nos deu os primeiros smartphones com sensores de profundidade) do Google para a obsolescência em 2018, vimos um pequeno ressurgimento do que era então um nicho componente para dispositivos principais.
A Samsung reviveu o sensor de tempo de voo com seu Galaxy Note 10 e Galaxy S10 5G, embora tenha descartado o sensor em seus modelos da geração atual. Radar fez uma breve participação através do Project Soli no Google Pixel 4. Mais recentemente, a Apple implementou sensores LiDAR na linha do iPhone 12 Pro e iPad Pro depois de avançar com a câmera frontal TrueDepth que inaugurou a era do Notch.
Agora, a equipe de pesquisa de IA do Google disponibilizou um conjunto de ferramentas para que os desenvolvedores aproveitem os dados 3D gerados por esses sensores.
Esta semana, o Google adicionou o TensorFlow 3D (TF 3D), uma biblioteca de modelos de aprendizado de profundidade 3D, incluindo segmentação semântica 3D, detecção de objetos 3D e segmentação de instâncias 3D, ao repositório TensorFlow para uso em carros e robôs autônomos, bem como para experiências de RA móvel para dispositivos com compreensão de profundidade 3D.

"O campo da visão computacional começou recentemente a fazer um bom progresso na compreensão da cena 3D, incluindo modelos para detecção de objetos 3D móveis, detecção de objetos transparentes e muito mais, mas entrar no campo pode ser desafiador devido à disponibilidade limitada de ferramentas e recursos que podem ser aplicado a dados 3D ", disse Alireza Fathi (um cientista pesquisador) e AI Rui Huang (um residente de IA do Google Research) em um post oficial do blog. "TF 3D fornece um conjunto de operações populares, funções de perda, ferramentas de processamento de dados, modelos e métricas que permitem que a comunidade de pesquisa mais ampla desenvolva, treine e implante modelos de compreensão de cena 3D de última geração."
O modelo de segmentação semântica 3D permite que os aplicativos diferenciem entre o objeto ou objetos de primeiro plano e o plano de fundo da cena, como acontece com os planos de fundo virtuais no Zoom. O Google implementou tecnologia semelhante com fundos de vídeo virtuais para o YouTube.
Por outro lado, o modelo de segmentação de instância 3D identifica um grupo de objetos como objetos individuais, como acontece com as lentes Snapchat que podem colocar máscaras virtuais em mais de uma pessoa na visualização da câmera.

Finalmente, o modelo 3D Object Detection leva a segmentação de instâncias um passo adiante, também classificando os objetos em vista. A biblioteca TF 3D está disponível no GitHub.
Embora esses recursos tenham sido demonstrados com câmeras de smartphone padrão, a disponibilidade de dados de profundidade do LiDAR e outros sensores de tempo de voo abre novas possibilidades para experiências de RA avançadas.
Mesmo sem o repositório 3D, o TensorFlow contribuiu para algumas experiências interessantes de AR. A Wannaby aproveitou o TensorFlow para sua ferramenta de teste de esmalte e também ajudou o Capital One com um recurso de aplicativo móvel que pode identificar carros e sobrepor informações sobre eles em RA. Na categoria mais estranha e selvagem, um desenvolvedor independente usou o TensorFlow para transformar um pedaço de papel enrolado em um sabre de luz com o InstaSaber.

Nos últimos anos, o Google aproveitou o aprendizado de máquina por meio do TensorFlow também para outras finalidades de AR. Em 2017, a empresa lançou seu repositório MobileNets para detecção de imagem à la Google Lens. E o TensorFlow também é a tecnologia por trás de sua API Augmented Faces (que também funciona no iOS) que traz filtros de selfie semelhantes ao Snapchat para outros aplicativos móveis.
Também não é a primeira vez que o Google aproveita dados do sensor de profundidade para experiências de RA. Enquanto a API Depth para ARCore permite a oclusão, a capacidade de conteúdo virtual aparecer na frente e atrás de objetos do mundo real, para aplicativos móveis por meio de câmeras de smartphone padrão, a tecnologia funciona melhor com sensores de profundidade.
O aprendizado de máquina provou ser indispensável na criação de experiências de RA avançadas. Com base em seu foco apenas na pesquisa de IA, o Google desempenha um papel tão crucial para o futuro da RA quanto Apple, Facebook, Snap e Microsoft.
Fonte Adicione ao Google Notícias


