Nvidia RTX Neural Texture Compression: Redução de VRAM de até 80%

Introdução à Compressão de Textura Neural RTX da Nvidia

Descubra a tecnologia RTX Neural Texture Compression (NTC) da Nvidia, uma inovação impulsionada por IA que utiliza Tensor Cores para otimizar o uso de VRAM, reduzindo os requisitos de memória em até 80%. Esta análise aprofundada explora seus mecanismos e desempenho.

O Paradigma do Neural Shading

• As placas de vídeo RTX série 50 introduziram tecnologias de renderização neural para melhorar materiais e compressão.
• O Neural Shading torna o pipeline gráfico treinável, usando pequenas redes neurais em shaders.
• Permite treinar modelos de IA para estimar resultados de shaders complexos, resolvendo desafios de renderização.

Modos de Operação da NTC

A NTC funciona através de aprendizado de máquina para compressão e descompressão de texturas, operando em diferentes modos:

• Inference on Load: Descomprime NTC para BCn durante o carregamento do jogo. Sem ganho de VRAM, mas otimiza espaço em disco e tráfego PCIe.
• Inference on Sample: Descompressão em tempo real, texel por texel, usando uma rede MLP. Oferece a maior redução de VRAM (até 85%).
• Inference on Feedback (somente DirectX 12): Compromisso entre os modos, descomprimindo apenas os blocos de textura necessários para a visão atual, com boa redução de VRAM.

Descompressão e Filtragem de Textura Estocástica (STF)

No modo Inference on Sample, a descompressão ocorre lendo dados latentes e passando-os por uma rede MLP. A NTC é determinística. Para minimizar artefatos visuais, a Filtragem Estocástica de Textura (STF) introduz aleatoriedade, sendo especialmente eficiente em GPUs Blackwell.

Aceleração de Hardware e Vantagens da NTC

A NTC aproveita a aceleração de hardware via unidades de IA (Nvidia Tensor Cores, AMD AI Accelerators, Intel XMX engines) graças às extensões Cooperative Vector, melhorando o throughput da inferência. Oferece:

• Taxas de compressão superiores a formatos como BCn.
• Suporte a materiais com até 16 canais (BCn suporta 1-4 canais).

Qualidade de Imagem vs. Redução de VRAM

Testes mostram que o modo Inference on Sample proporciona uma redução de 85% na memória de textura necessária e uma qualidade de imagem ligeiramente superior às texturas transcodificadas em BCn, quase idêntica à referência não comprimida.

Considerações sobre STF e Anti-Aliasing

O STF, essencial para o Inference on Sample, pode introduzir ruído visível sem anti-aliasing. O DLSS é a solução ideal para limpar completamente esse ruído, enquanto o TAA o atenua em grande parte. Portanto, o uso de anti-aliasing, preferencialmente DLSS, é recomendado para a melhor experiência visual.

Desempenho da NTC em GPUs Nvidia

Os benchmarks no Intel Sponza com Colorful Curtains, usando frametimes, revelam:

• Inference on Load: Custo de desempenho zero, pois transcodifica para BCn no carregamento.
• Inference on Sample: Incorre em um custo de desempenho, mas é considerado baixo para GPUs de alto desempenho (RTX 5090, 5070, 5060) em resoluções apropriadas, ficando geralmente abaixo de 1 ms.
• Em GPUs de gama média (ex: RTX 4060 Laptop), o custo se aproxima de 1 ms, mas ainda pode ser benéfico se a VRAM for a principal limitação, permitindo texturas de maior qualidade.

Percepções de Alexey Panteleev (Nvidia)

Alexey Panteleev, engenheiro da Nvidia, explica:

• Inference on Sample é mais viável em GPUs rápidas; Inference on Load foca em redução de tamanho em disco.
• Jogos podem oferecer seleção de modos (On Load/Feedback vs. On Sample) para os usuários.
• NTC pode ser aplicada seletivamente a texturas, não obrigatoriamente a todas.
• O custo de desempenho do On Sample em jogos reais pode ser menor devido a múltiplos render passes.

Conclusão

A Compressão de Textura Neural é uma tecnologia promissora que oferece compressão massiva sem comprometer a qualidade da imagem, e até aprimorando-a em certos casos. Embora o STF exija anti-aliasing para evitar ruído, a flexibilidade da NTC com diferentes modos (incluindo suporte a GPUs AMD e Intel) a posiciona como um pilar fundamental para o futuro dos gráficos em tempo real, com potencial para evoluir significativamente.