À medida que a IA começa a executar tarefas para as pessoas, esperar que ela termine de pensar pode se tornar uma pequena ocorrência repetida ao longo do dia. Pesquisar, ler código, acionar ferramentas e conferir resultados: para uma tarefa avançar, muitas vezes é preciso esperar a etapa anterior terminar. Receber uma resposta mais rápida e concluir o trabalho inteiro mais cedo são experiências diferentes.

Em 4 de setembro, a Gimlet Labs anunciou uma rodada Série B de US$ 300 milhões, liderada pela a16z. Segundo a Bloomberg, a rodada atribuiu à empresa um valor de US$ 3 bilhões. O negócio que ela pretende construir consiste em organizar chips de arquiteturas diferentes em um serviço de inferência, permitindo que cada um execute o trabalho ao qual é mais adequado. Anúncio da rodada[1] e reportagem da Bloomberg[2]

Fonte da imagem: anúncio desta rodada de investimento pela Gimlet Labs.

A proposta levanta uma pergunta que merece atenção: quando os modelos já conseguem executar o trabalho, o próximo investimento vai para modelos mais capazes ou para sistemas que os façam esperar menos?

Mesmo chips caros têm tarefas para as quais não são ideais

À primeira vista, acelerar a IA pode parecer uma questão de comprar mais GPUs de alto desempenho. Mas, em uma tarefa de inferência, calcular, ler dados e transmitir resultados intermediários exigem coisas diferentes do hardware. Colocar todas as etapas no mesmo tipo de chip facilita a gestão, mas também pode deixar componentes caros esperando que outras etapas terminem.