AMD apresenta novo método de transferência de iluminação indireta para um modelo de geração de imagem: a solução ‘quadro a quadro’ pode algum dia fazer parte da resposta da AMD ao DLSS 5

A AMD prometeu que a renderização neural está chegando às placas e consoles Radeon com FSR Diamond, e estamos começando a ver sinais dessa nova abordagem em andamento pela equipe vermelha. A equipe técnica da empresa acaba de publicar um artigo sobre como está usando a geração de imagens para substituir a iluminação global em tempo real.

O artigo descreve uma técnica para gerar uma iluminação de aparência mais realista quadro a quadro. É intitulado “Iluminação generativa temporalmente estável com um modelo de difusão de uma etapa”. Os modelos de difusão criam imagens trabalhando em uma imagem com ruído, geralmente em várias etapas; no entanto, os pesquisadores da AMD estão usando um que produz uma imagem em uma etapa de remoção de ruído, usando os detalhes e a iluminação incorporados em uma cena para gerar uma nova. Isso é importante para poder executá-lo rapidamente.

A ideia é produzir algo que se pareça com iluminação global – luz indireta refletida em objetos e iluminando coisas próximas – por meio da geração de imagens, em vez de técnicas computacionalmente intensivas, como rastreamento de caminho.

“No nosso trabalho, tentamos resolver a iluminação global como um problema de geração de imagens”, diz SungYe Kim numa apresentação de vídeo no artigo. Kim é um dos autores. “A iluminação global é o que faz uma cena renderizada parecer real e também é a parte mais cara da renderização.”

O método proposto utiliza um quadro com iluminação direta – luz direta de uma fonte para um objeto sem mais reflexos – como uma ‘dica’ inicial de iluminação para o modelo de difusão, Stable Diffusion 2.1 Turbo.

O modelo em si é treinado em um conjunto de dados sintético de 31.000 quadros de cenas internas renderizadas no Blender Cycles, que é o renderizador de produção de ray tracing do Blender. Cada um tem de 1 a 30 luzes e objetos que se movem. Dessa forma, “o modelo vê uma ampla gama de condições de iluminação”. O treinamento compreende a execução deste conjunto de dados 50 vezes em GPUs AMD Instinct MI210.

‘Sinais’ esparsos de iluminação, brilho, material e geometria são usados ​​​​para “manter a geração alinhada à geometria e à iluminação”. O quadro que alimenta o modelo de difusão é processado de forma a forçar o modelo a focar na iluminação, em vez de quaisquer outros detalhes. Esse será um passo muito importante caso essa técnica chegue ao oeste selvagem dos videogames; a reação do público a esse tipo de ferramenta de IA pode ser bastante desagradável.

Os pesquisadores também usam o que é chamado de VAE temporal, ou TVAE, para melhorar a consistência. Isso usa vetores de movimento para alinhar o quadro atual com os anteriores. Ele armazena um histórico de saídas anteriores para garantir que a iluminação não pisque ou fique estranha entre as gerações. Isso pode se tornar um problema com esses tipos de modelos: execute a mesma tarefa repetidamente e eles produzirão resultados ligeiramente diferentes a cada vez, e um ser humano perceberá isso prontamente quando estiver sendo executado em tempo real, quadro a quadro.

O resultado final é composto com o quadro original usando apenas iluminação direta, o que provavelmente suaviza um pouco qualquer erro. A postagem do blog diz que o método é “adequado para casos de uso de renderização em tempo real com geração quadro a quadro”.

Comparado a outros modelos generativos, “nosso método recupera as sombras suaves e a iluminação refletida, enquanto o RGB↔X alucina o conteúdo que não está presente na cena e o DiffusionRenderer distorce a geometria”, diz Kim na apresentação.

Diz-se que o modelo roda a 0,29 segundos por quadro, o que equivale a aproximadamente 3,45 quadros por segundo, com uma resolução de 512 x 512. Isso também ocorre em um RTX 3090, que é considerado muito rápido em comparação com as outras técnicas nomeadas, mas mostra que há um longo caminho a percorrer para jogos. Todo o processo também requer cerca de 8–9 GB de VRAM. Lembre-se, esta é apenas a etapa de iluminação global, não todo o pipeline para renderizar um quadro.

Portanto, não é apenas a Nvidia que está olhando para a renderização neural como uma nova fronteira para a computação gráfica, embora já soubéssemos disso. No início deste ano, Jack Huynh da AMD anunciou um novo conjunto de tecnologias FSR chamado FSR Diamond. Isso inclui “renderização neural de última geração”, na qual esta nova pesquisa se enquadra; junto com upscaling aprimorado baseado em ML, geração de vários quadros baseada em ML, regeneração de raios e rastreamento de caminho.

A maneira como a AMD vende esse tipo de tecnologia para nós, jogadores, quando eles estiverem prontos, será algo a ser observado. Tenho certeza de que a equipe vermelha está observando atentamente a tempestade que irrompeu do anúncio descuidado do DLSS 5 da Nvidia – e subsequente retrocesso e reformulação para torná-lo menos flagrante para os jogadores e mais uma ferramenta para desenvolvedores – e pensando, ‘eesh, como podemos evitar que enquanto ainda faz uso de toda essa pesquisa?’

Já circulam rumores sobre uma aplicação de iluminação neural da AMD, como o vazador Kepler_L2 nos fóruns da Anandtech (via Overclock3D). Se isso se refere em parte a isto, ou a algo mais adiante no processo de desenvolvimento, não podemos ter certeza, mas está claro que a renderização neural não está sendo trabalhada exclusivamente pela Nvidia.