O LMArena revelou que o modelo da Meta foi ajustado para atrair eleitores humanos, e não para uso típico.
A Meta está enfrentando críticas após submeter uma versão experimental do modelo de inteligência artificial Llama 4 à tabela de classificação do LMArena, plataforma onde usuários comparam e votam em respostas de chatbots. A decisão levantou questionamentos sobre competição justa em rankings de IA.
A variante, nomeada Llama-4-Maverick-03-26-Experimental, conquistou o segundo lugar em popularidade, ficando atrás apenas do Gemini 2.5 Pro, modelo da Google. Apesar de a Meta ter identificado o modelo como “experimental”, muitos usuários interpretaram que se tratava da versão pública oficial.
Quando o Llama 4 oficial foi finalmente lançado, os usuários notaram diferenças significativas — a versão pública entregava respostas mais curtas e menos expressivas, sem o uso de emojis e do estilo envolvente visto no modelo experimental.
O LMArena afirmou que a versão enviada pela Meta parecia otimizada para agradar aos usuários, potencialmente distorcendo os resultados. A plataforma compartilhou mais de 2.000 comparações diretas entre as versões, destacando que o modelo experimental oferecia respostas mais longas e carismáticas, o que poderia ter influenciado a popularidade.
Em resposta à polêmica, a LMArena atualizou suas políticas para aumentar a transparência nas submissões, declarando que o envio da Meta não atendia às diretrizes esperadas para rankings oficiais.
A Meta se defendeu, alegando que o modelo experimental foi claramente rotulado e criado para explorar novas técnicas de otimização de conversas em IA. Executivos da empresa negaram má conduta ou uso indevido de dados de teste, mas admitiram que há inconsistências no desempenho entre diferentes versões do modelo.
Ahmad Al-Dahle, chefe da área de GenAI da Meta, afirmou que a estabilização do desempenho do Llama 4 em todas as plataformas levará tempo. Enquanto isso, a LMArena planeja incluir a versão oficial do Llama 4 em seu ranking, promovendo uma comparação mais precisa e justa no futuro.
