No último dia 5, a Meta anunciou o lançamento da versão 4 de seus modelos de linguagem open source da família Llama, marcando um avanço significativo em modelos nativamente multimodais de pesos abertos. Esses modelos representam a primeira implementação da Meta de uma arquitetura de mistura de especialistas (MoE), permitindo uma computação mais eficiente ao ativar apenas uma fração do total de parâmetros durante o processamento. O Llama 4 Scout contém 17 bilhões de parâmetros ativos com 16 especialistas, enquanto o Llama 4 Maverick possui 17 bilhões de parâmetros ativos com 128 especialistas, oferecendo desempenho sem precedentes em suas respectivas classes.
A inovação vai além dos parâmetros brutos para incluir melhorias dramáticas na capacidade de comprimento de contexto, com o Llama 4 Scout suportando 10 milhões de tokens, liderando o setor — um aumento substancial em relação ao limite de 128 mil do Llama 3. Essa capacidade expandida permite sumarização de múltiplos documentos, raciocínio extensivo sobre bases de código e outras tarefas complexas que requerem compreensão de contexto longo. Ambos os modelos apresentam multimodalidade nativa com tecnologia de fusão precoce, integrando perfeitamente tokens de texto e visão em uma estrutura de modelo unificada.
A Meta também apresentou uma prévia de seu modelo mais poderoso até agora, o Llama 4 Behemoth, que contém 288 bilhões de parâmetros ativos, 16 especialistas e quase dois trilhões de parâmetros totais. Embora ainda esteja em treinamento e não tenha sido lançado, este modelo já demonstrou desempenho superior em comparação com concorrentes como GPT-4.5, Claude Sonnet 3.7 e Gemini 2.0 Pro em vários benchmarks de STEM. O Behemoth serve como um modelo professor para os modelos menores do Llama 4 através de um processo de destilação inovador.
No desenvolvimento desses modelos, a Meta implementou melhorias substanciais em sua metodologia de treinamento, incluindo uma nova técnica chamada MetaP para definir de forma confiável hiperparâmetros críticos do modelo, precisão FP8 para treinamento eficiente do modelo, e um pipeline de pós-treinamento aprimorado com fine-tuning supervisionado leve, aprendizado por reforço online e otimização direta de preferência. A empresa também abordou problemas anteriores de viés, reduzindo significativamente as taxas de recusa em tópicos políticos e sociais debatidos de 7% no Llama 3.3 para menos de 2%.
Mantendo seu compromisso com o desenvolvimento de código aberto, a Meta disponibilizou o Llama 4 Scout e o Llama 4 Maverick para download em llama.com e Hugging Face, com disponibilidade em grandes plataformas de nuvem, silício de borda e integradores de serviços globais a seguir. A Meta AI, alimentada por esses novos modelos, agora pode ser experimentada através do WhatsApp, Messenger, Instagram Direct e no site Meta.AI, promovendo a visão da Meta de democratizar recursos avançados de IA.
Post Views: 2
Deixe um comentário