Meta enfrenta reação negativa sobre o lançamento do Llama 4

Em vez de definir um novo padrão, o lançamento do Llama 4 da Meta destacou como a manipulação de benchmarks corre o risco de enganar a comunidade de IA.

No último fim de semana, a Meta surpreendeu o mercado de inteligência artificial ao anunciar dois novos modelos Llama 4: o Scout, uma versão mais leve, e o Maverick, uma versão intermediária. Segundo a empresa, o Maverick supera modelos líderes como o GPT-4o da OpenAI e o Gemini 2.0 Flash do Google em diversos benchmarks de desempenho em IA.

Rapidamente, o Maverick conquistou destaque ao atingir a segunda colocação no LMArena, uma plataforma reconhecida por avaliações humanas de modelos de IA. O modelo obteve pontuação ELO de 1417, ficando atrás apenas do Gemini 2.5 Pro e ultrapassando concorrentes de renome.

No entanto, especialistas em IA detectaram um ponto controverso: a versão do Maverick usada para alcançar essa pontuação não é a mesma disponibilizada ao público. De acordo com a documentação da própria Meta, a empresa utilizou uma versão experimental otimizada para conversas, e não o modelo padrão lançado oficialmente.

A LMArena criticou a falta de transparência, afirmando que a Meta não deixou claro que o modelo avaliado era personalizado. Em resposta, a plataforma atualizou suas políticas para garantir avaliações mais justas e reproduzíveis no futuro.

A Meta admitiu o uso de variantes experimentais e alegou que testar diferentes configurações é parte do processo. Apesar de não ter violado regras da LMArena, o episódio levantou dúvidas sobre a credibilidade dos rankings de IA quando empresas testam versões otimizadas, inacessíveis ao público em geral.

O pesquisador independente de IA, Simon Willison, expressou sua frustração: “A classificação perdeu o sentido quando descobrimos que ninguém pode usar essa mesma versão do modelo”, comentou.

Essa controvérsia surge em um momento de acirrada competição no mercado de IA de código aberto, especialmente com a ascensão de modelos como o DeepSeek da China. Em vez de um lançamento convencional, a Meta optou por divulgar os modelos Llama 4 em pleno sábado, uma escolha que Mark Zuckerberg justificou com um simples: “foi quando ele ficou pronto”.

Para muitos no setor, no entanto, o lançamento gerou mais incertezas sobre o verdadeiro desempenho dos modelos Llama 4, e reforçou a necessidade de transparência nas avaliações de inteligência artificial.