Custos de treinamento de IA: uma análise dos últimos anos

Segundo o AI Index Report 2024 de Stanford, as empresas de IA não costumam abrir os custos envolvidos no treinamento de seus modelos, mas acredita-se que eles estejam na casa dos milhões de dólares - o que tem tirado as universidades do jogo de pesquisa com os grandes modelos de IA.

O CEO da OpenAI, Sam Altman, chegou a dizer que o custo de treinamento do GPT-4 foi superior a 100 milhões de dólares.

O AI Index, segundo o próprio report, foi um dos primeiros a estimar esses custos em 2023 e, este ano, se uniu ao Epoch AI, instituto de pesquisa, para aprimorar as estimativas.

A equipe do Epoch analisou a duração do treinamento, tipo, quantidade e taxa de utilização de hardware de treinamento, através de informações de publicações, comunicados à imprensa ou relatórios técnicos relacionados aos modelos.

O infográfico que trouxemos aqui mostra como o custo de treinamento estimado aumentou para os principais modelos de IA nos últimos anos. 

Em 2017, o Transformer, que introduziu a arquitetura de base dos LLM modernos, custava cerca de 900 dólares para treinar.

O treinamento do RoBERTa Large, lançado em 2019, custou cerca de 160.000 dólares.

Em 2023, os valores de treinamento para o GPT-4 da OpenAI e o Gemini Ultra do Google são estimados em cerca de 78 milhões e 191 milhões de dólares, respectivamente - custos diretamente relacionados à capacidade computacional exigida.

Leitura recomendada

Agora, garanta o seu ingresso para a 2° edição do AI DAY, evento de inteligência artificial da StartSe. Nesta edição, você verá 10 estudos de caso reais de grandes empresas que estão na vanguarda na implementação e utilização da IA com escala nos resultados. Saiba mais aqui.