Novo modelo de linguagem da Microsoft, com 2 bilhões de parâmetros e treinado em 4 trilhões de tokens, oferece desempenho superior com menor consumo de recursos, operando eficientemente em CPUs padrão.
A Microsoft apresentou o BitNet b1.58 2B4T, o maior modelo de linguagem de 1 bit já desenvolvido, projetado para operar eficientemente em CPUs padrão, eliminando a dependência de GPUs de alto desempenho. Com 2 bilhões de parâmetros e treinado em um impressionante conjunto de 4 trilhões de tokens — equivalente a cerca de 33 milhões de livros — o BitNet b1.58 2B4T destaca-se por sua eficiência e desempenho superiores.
Utilizando quantização ternária, onde os pesos do modelo assumem apenas os valores -1, 0 ou 1, o BitNet b1.58 2B4T reduz significativamente o uso de memória e o consumo de energia, sem comprometer a precisão. Essa abordagem permite que o modelo opere com uma média de 1,58 bits por peso, em contraste com os 16 bits utilizados em modelos tradicionais, resultando em operações computacionais mais simples e rápidas.
Em benchmarks rigorosos, o BitNet b1.58 2B4T superou modelos de tamanho semelhante, como o LLaMA 3.2B da Meta, o Gemma 3B da Google e o Qwen 2.5B da Alibaba, especialmente em tarefas de raciocínio matemático e físico. Além disso, o modelo demonstrou ser até duas vezes mais rápido, consumindo significativamente menos memória, o que o torna ideal para dispositivos com recursos limitados ou que exigem baixo consumo de energia.
Uma das inovações associadas ao BitNet b1.58 2B4T é o framework bitnet.cpp, desenvolvido pela Microsoft para otimizar a inferência do modelo em CPUs. Este framework proporciona acelerações de até 6,17 vezes em CPUs x86 e até 5,07 vezes em CPUs ARM, tornando possível a execução eficiente do modelo em uma ampla gama de dispositivos, incluindo os chips M2 da Apple.
O BitNet b1.58 2B4T está disponível sob a licença MIT, com os pesos do modelo acessíveis via Hugging Face e implementações de inferência open-source para arquiteturas GPU e CPU. Esta iniciativa da Microsoft representa um avanço significativo na democratização da inteligência artificial, permitindo que modelos de linguagem avançados sejam executados em dispositivos mais acessíveis e com menor impacto ambiental.
