“神经纹理压缩”演示显示,在占用 6.5GB 显存与 970MB 显存时的视觉效果几乎无异
随着游戏变得愈发复杂和逼真,该行业越来越依赖图像放大技术来满足不断增长的硬件需求。由此带来的一大问题是显存(VRAM)占用大幅增加,近年来尤为明显。
为了解决这个问题,英伟达开发了名为“神经纹理压缩”(NTC)的技术,并在今天的 GTC 演讲中再次提及了这一技术。高端显卡将能够利用英伟达的 NTC 来显著降低显存占用。
与传统的块状压缩方法不同,NTC 允许开发者在任何场景中用小型神经网络解码纹理。这样不仅能大幅缩小纹理体积,让游戏安装更省空间,还能在运行时显著降低显存占用。渲染出的纹理也更清晰,英伟达称最终画面分辨率最多可提升约 4 倍。
在演示中,英伟达运行了一个托斯卡纳别墅场景,该场景在使用标准块压缩时占用 6.5GB 的显存,但切换到 NTC 后,显存占用量仅降至 970MB,而且图像看起来完全一致。
此前,英伟达在另一个演示中展示了一个飞行头盔,其未压缩纹理占用 272MB 的空间——块压缩将其减至 98MB,但 NTC 将其进一步压缩至仅 11.37MB,比原始大小减少了约 24 倍。
英伟达还演示了“神经材质”,采用相同思路:用神经网络来评估并解压材料纹理数据,而不是依赖计算量大的 BRDF 数学。通常一个材质会叠加多张纹理贴图,GPU 在渲染管线中需要同时计算光线与每一层的相互作用。
神经材质通过让神经网络预测光线在特定场景中的表现来对像素着色。该神经网络是基于所有纹理数据进行训练的,因此它已经知道在给定光线和角度的情况下会得到什么样的结果。因此,在演示场景中,Nvidia 在 1080p 分辨率下实现了最高 7.7 倍的渲染加速,同时图像质量没有下降。