Os pesquisadores da Microsoft afirmam que desenvolveram o maior modelo de IA de 1 bit de escala, também conhecido como “BitNet” até o momento. Chamado BitNet B1.58 2B4T, é disponível abertamente Sob uma licença do MIT e pode ser executado nas CPUs, incluindo o M2 da Apple.
Os BitNets são essencialmente modelos compactados projetados para ser executado em hardware leve. Nos modelos padrão, pesos, os valores que definem a estrutura interna de um modelo, são frequentemente quantizados para que os modelos tenham um bom desempenho em uma ampla gama de máquinas. A quantização dos pesos reduz o número de bits – as unidades menores que um computador pode processar – necessário para representar esses pesos, permitindo que os modelos funcionem em chips com menos memória, mais rápido.
Os Nets de bits quantizam pesos em apenas três valores: -1, 0 e 1. Em teoria, isso os torna muito mais eficientes em termos de memória e computação do que a maioria dos modelos atualmente.
Os pesquisadores da Microsoft dizem que o BitNet B1.58 2B4T é o primeiro BitNet com 2 bilhões de parâmetros, “parâmetros” sendo amplamente sinônimos de “pesos”. Treinado em um conjunto de dados de 4 trilhões de tokens – equivalente a cerca de 33 milhões de livros, por uma estimativa – BitNet B1.58 2B4T supera os modelos tradicionais de tamanhos semelhantes, afirmam os pesquisadores.
O BitNet B1.58 2B4T não varre o chão com modelos rivais de 2 bilhões de parâmetros, para ser claro, mas aparentemente se mantém. De acordo com os testes dos pesquisadores, o modelo supera o LLAMA 3.2 1B do Meta, o Gemma 3 1B do Google e o QWEN 2.5 1,5B do Alibaba em benchmarks, incluindo GSM8K (uma coleção de problemas matemáticos no nível do ensino médio) e PIQA (que testam as habilidades de raciocínio físico).
Talvez de maneira mais impressionante, o BitNet B1.58 2B4T é mais rápido do que outros modelos de seu tamanho – em alguns casos, duas vezes a velocidade – enquanto usa uma fração da memória.
Há um problema, no entanto.
Conseguir que o desempenho requer o uso da estrutura personalizada da Microsoft, o bitnet.cpp, que funciona apenas com determinado hardware no momento. Ausente da lista de chips suportados estão as GPUs, que dominam o cenário da infraestrutura de IA.
Isso é tudo para dizer que as Nets de Bits podem ter promessa, principalmente para dispositivos com restrição de recursos. Mas a compatibilidade é – e provavelmente permanecerá – um grande ponto de discórdia.
Deixe um comentário