OpenAI e Broadcom Revelam Jalapeño

OpenAI e Broadcom Apresentam Jalapeño

A OpenAI, em parceria com a Broadcom, lançou o Jalapeño, um processador de inferência desenvolvido sob medida para modelos de linguagem grandes (LLMs) modernos e futuras cargas de trabalho de IA agente.

Este chip promete uma eficiência energética superior ao hardware de ponta atual e marca a primeira incursão estratégica da OpenAI no desenvolvimento de hardware de inferência.

Design Otimizado para Inferência

• Jalapeño é um ASIC de inferência construído com um propósito específico, não um acelerador de treinamento adaptado.
• Sua arquitetura foi projetada com base no entendimento do comportamento de LLMs, visando superar gargalos práticos em inferência em escala, como movimentação de dados, balanceamento de recursos de computação e memória, e eficiência de rede.
• O design busca alta produtividade com baixa latência, ideal para cargas de trabalho de raciocínio e IA agente, utilizando um chiplet de computação massivo e memória HBM.

Alta Eficiência e Utilização

OpenAI e Broadcom afirmam que o Jalapeño foi construído para entregar uma utilização efetiva maior do que os aceleradores de IA convencionais, aproximando-se do máximo teórico de desempenho. Isso se traduz em alta eficiência de custos e energia.

Apesar das amostras de engenharia já estarem operacionais, detalhes específicos de desempenho não foram divulgados.

Testes internos iniciais indicam um desempenho por watt substancialmente superior ao hardware atual, embora sem dados concretos para validação independente.

Visão Interna do Chip e Desenvolvimento Rápido

• Imagens do wafer e do encapsulamento revelam um grande chiplet de computação cercado por seis módulos HBM e um chiplet adicional para interfaces de E/S.
• O tamanho aproximado do chiplet de computação é de 840 mm², um tamanho considerável que se aproxima do limite de retículo dos sistemas de litografia EUV, indicando um alto poder de computação.
• O chip alcançou o “tape-out” em apenas nove meses, um tempo de desenvolvimento excepcionalmente rápido para um ASIC, com implantação prevista para o final de 2026.
• A OpenAI utilizou seus próprios modelos para acelerar partes do design e otimização do chip.

Compromisso com a Infraestrutura de IA

Richard Ho, líder do programa de hardware da OpenAI, destaca que Jalapeño foi otimizado para os padrões de kernel, movimentação de memória e rede mais cruciais para modelos de IA de ponta.

Hock Tan, CEO da Broadcom, enfatiza que esta colaboração é um compromisso fundamental para escalar a infraestrutura física necessária para a próxima década da IA, com um roteiro de múltiplas gerações.

Jalapeño foi projetado para suportar não apenas as cargas de trabalho da OpenAI, mas também LLMs da indústria em geral, sugerindo um potencial de vendas para terceiros.

A implantação em data centers em escala de gigawatts com Microsoft e outros parceiros está prevista para começar em 2026.