Desbloqueio Revolucionário de GPUs Nvidia RTX

Modders descobriram um exploit de firmware capaz de remover os limites de desempenho de IA de meia velocidade impostos pela Nvidia em suas GPUs das séries RTX 20, 30 e 40, conforme reportado pelo VideoCardz.

🚀 Ganhos de Desempenho Impressionantes

• A RTX 4090 pode dobrar sua taxa de tensor de pico.
• A matemática de matriz pode melhorar em até 80% para a RTX 3090 Ti.
• Outras placas também apresentam ganhos variados.
• Importante: Aplicações reais e velocidades de chatbot não veem o mesmo aumento, pois dependem mais da largura de banda da memória.

⚙️ O Limite da Nvidia e a Solução

A Nvidia impôs um limite que, por suas próprias especificações, executa a matemática FP32-acumulada na metade da taxa FP16-acumulada dessas placas. Este limite não se aplica às suas placas profissionais Turing e Ampere. O desbloqueio restaura a taxa de transferência nativa da matemática de matriz, acelerando o processamento de prompts e a geração de imagens.

🛠️ Projetos de Desbloqueio Atuais

Três projetos distintos oferecem os desbloqueios, cada um com seu módulo não oficial para Linux, enquanto builds experimentais para Windows exploram abordagens diferentes. A cobertura das placas varia por geração:

• gpu-unlock: Lida com Ampere (GA102/GA103/GA104/GA106).
• gpu-unlock-ada: Cobre a RTX 4090 e, experimentalmente, a 4090 D, 4070 Ti Super e 4060 Ti 16GB.
• turing-unlock: Adaptado de gpu-unlock, funciona com a RTX 2080 Ti.

📊 Detalhes dos Benchmarks

Os ganhos de desempenho variam, mas são notáveis em cenários específicos:

• RTX 4090 (Ada fork): De 165.6 para 331.6 TFLOPS em FP16 e 165.5 para 330.6 TFLOPS em BF16. Em benchmarks de multiplicação de matriz, melhorias de 12-34%.
• RTX 3090 Ti: +35% para FP16, +80% para BF16 e +94% para TF32 com driver modificado.
• RTX 3090: Ganhos de BF16 entre +25% e +67%.
• RTX 3080 10GB: +70% a +73% em BF16.
• RTX 2080 Ti: Melhorias de +36% a +64% em FP16, dependendo do tamanho.
• Impacto da Energia: Limites de energia (W) afetam significativamente os resultados.

⚠️ Riscos e Advertências

Os desenvolvedores alertam sobre os riscos:

• O mod “pode danificar seu hardware”.
• Pode “travar a GPU ou o host, impedir a inicialização, corromper dados ou danificar o hardware”.

A cautela é fundamental ao considerar essas modificações.

🔎 Como o Exploit Funciona

O limite de taxa está em dois registros de “seleção de velocidade” que o driver do host não consegue escrever. No entanto, o firmware SEC2 “Booter” assinado da Nvidia possui um estouro de buffer de pilha (stack buffer overflow) que pode ser explorado para executar código em modo “heavy secure”. Uma gravação de 4 bytes com o payload V67 abre a máscara de privilégios para que o host possa definir a taxa total, e o módulo então reinicia a placa antes que o driver da Nvidia a vincule.

🌍 Origem e Créditos

O bug subjacente foi descrito por Jon Pry. As constantes V67 vêm de WildFlash1st/cmp90hx-unlock. Zagitta, mantenedor do gpu-unlock, afirma que o projeto é seu trabalho, mas os exploits “não são de forma alguma minhas ideias”.

🛣️ Futuro e Limitações

• O suporte para RTX 40 está em andamento, e forks já estão desbloqueando essas placas.
• Placas Hopper e Blackwell estão “fora do escopo para esta abordagem”, pelo menos por enquanto.
• Lacunas permanecem para cartões GA103 e a maioria dos cartões Ada e Turing não testados.