Clusters de IA Locais: Desvendando o Potencial do Dell Pro Max GB10

Descubra como conectar dois sistemas Nvidia Grace Blackwell (GB10) para escalar o poder de computação de IA em casa, superando os limites de memória de modelos grandes.

A Necessidade de Escalar a IA Local

• Modelos Maiores, Mais Memória: Embora modelos menores de LLM se encaixem em 128GB, muitos avançados exigem mais.
• Desafios das GPUs Discretas: Construir servidores de GPU com mais de 128GB de VRAM é caro, complexo e exige muita energia e refrigeração.
• Alternativa Inteligente: O agrupamento de sistemas GB10 oferece uma solução mais eficiente e acessível.

Dell Pro Max GB10: A Solução de Cluster

• 256GB de RAM Unificada: Dois sistemas Dell Pro Max com GB10 oferecem 256GB de RAM para seu ambiente de IA local.
• Conectividade Avançada: As placas ConnectX 7 200Gbps NICs suportam RoCE para clustering distribuído.
• Custo-Benefício: Um cluster de dois Pro Max GB10 custa menos do que GPUs discretas para obter a mesma quantidade de VRAM.

Desafios e Soluções na Configuração

• Configuração de Rede: A topologia de rede deve ser configurada cuidadosamente para aproveitar a largura de banda total de 200Gbps.
• Atualizações de Firmware: Mantenha o firmware de ambos os sistemas atualizado para garantir o desempenho ideal do RDMA.
• Ferramentas da Comunidade: Projetos como spark-vllm-docker e sparkrun simplificam a distribuição de modelos e o gerenciamento do cluster.

Desempenho com Modelos Exigentes

• DeepSeek v4 Flash: Modelo de 284 bilhões de parâmetros com bom desempenho de decodificação mesmo com longas janelas de contexto.
• MiniMax M2.7 (quantizado): Modelo de 230 bilhões de parâmetros que, apesar da quantização, mostra uma queda de desempenho com o aumento do contexto.
• Conclusão: O cluster GB10, embora não seja o mais rápido, oferece tokens por segundo suficientes para ser útil com modelos exigentes.

Benefícios Adicionais do Cluster GB10

• Baixo Consumo de Energia: Pico de consumo de 375W a 415W para todo o cluster, menos do que uma única RTX 5080.
• Baixo Nível de Ruído: Aproximadamente 40 dBA a 45cm, tornando-o adequado para ambientes de escritório.
• Escalabilidade Simples: Fácil de expandir com mais sistemas Spark-alikes.

Considerações de Custo e Disponibilidade

• Investimento Inicial: Um par de Dell Pro Max com GB10 custa cerca de US$ 12.664, mais o cabo QSFP.
• Alternativas: É possível construir um cluster similar com Asus Ascent GX10 por menos de US$ 10.000.
• Disponibilidade: Os sistemas GB10 estão mais disponíveis e com preços razoáveis em comparação com outras opções de memória de IA local.

Conclusão

Para entusiastas de IA que buscam expandir seus ambientes locais de IA além de 128GB de VRAM, o agrupamento de sistemas Nvidia GB10, como o Dell Pro Max, oferece uma solução eficiente, econômica e com bom suporte da comunidade, superando as limitações de servidores de GPU tradicionais e alternativas como AMD Strix Halo ou Apple Mac Studio.