Adobe令人印象深刻的AI升级项目使模糊视频看起来高清

Adobe研究人员开发了一种名为VideoGigaGAN的新型生成式AI模型，可以将模糊视频的分辨率提升至原始分辨率的八倍。Adobe在4月18日发表的一篇论文中介绍，VideoGigaGAN优于其他视频超分辨率(VSR)方法，因为它可以提供更细粒度的细节，而不会给视频带来任何“AI怪异”。

简而言之，生成对抗网络(GAN)可以有效地将静态图像升级到更高的分辨率，但很难在不引入闪烁和其他不需要的伪影的情况下对视频进行同样的操作。其他放大方法可以避免这种情况，但结果不那么清晰或详细。VideoGigaGAN旨在提供两全其美的方案——GAN模型具有更高的图像/视频质量，同时输出帧中的闪烁或失真问题更少。该公司在此提供了几个示例，以完整分辨率展示其工作。

Adobe提供的演示剪辑中的一些更精细的细节似乎完全是人造的，例如下面示例中的皮肤纹理和折痕，但结果看起来非常自然。很难说生成式人工智能是用来提高分辨率的，这可能会将“什么是照片”的争论扩展到包括视频。

这只是一个研究预览，因此不能保证Adob​​e会通过PremierePro等CreativeCloud软件向消费者提供VideoGigaGAN。该公司此前在2023年10月的MAX活动期间预览了一项单独的基于扩散的上采样实验ProjectRes-Up，该实验同样提高了低分辨率GIF和视频片段的质量。Adobe并不是唯一从事这项工作的公司，微软和Nvidia也开发了自己的VSR升级技术。