Adobe发布了视频超分项目VideoGigaGAN
视频超分辨率（VSR）方法在上采样视频中表现出了令人印象深刻的时间一致性。
然而，这些方法往往会产生比其图像对应物更模糊的结果，因为它们的生成能力有限。
这就提出了一个基本问题：能否将生成图像上采样器的成功扩展到 VSR 任务，同时保持时间一致性？介绍 VideoGigaGAN，这是一种新的生成 VSR 模型，可以生成具有高频细节和时间一致性的视频。
VideoGigaGAN 基于大规模图像上采样器——GigaGAN。简单地通过添加时间模块将 GigaGAN 扩展到视频模型会产生严重的时间闪烁。
确定了几个关键问题，并提出了显着提高上采样视频的时间一致性的技术。
实验表明，与之前的 VSR 方法不同，VideoGigaGAN 生成时间一致的视频，具有更细粒度的外观细节。
通过将 VideoGigaGAN 与公共数据集上最先进的 VSR 模型进行比较并展示 8 倍超分辨率的视频结果来验证 VideoGigaGAN 的有效性。
视频超分辨率 (VSR) 模型建立在图像 GigaGAN 上采样器的非对称 U-Net 架构之上。
为了强制时间一致性，首先通过将时间注意层添加到解码器块中，将图像上采样器膨胀为视频上采样器。
还通过结合流引导传播模块的功能来增强一致性。
为了抑制混叠伪影，在编码器的下采样层中使用抗混叠块。
最后，通过跳跃连接直接将高频特征传输到解码器层，以补偿 BlurPool 过程中细节的损失。
从演示效果来看相当牛批，支持8倍视频放大，可以适应不同风格的视频。
更多详细介绍：
该模型能够生成既保持时间连贯性又具有高频细节的视频。VideoGigaGAN基于一个先进的大规模图像放大模型GigaGAN进行设计和优化。
如果简单地将GigaGAN扩展为视频处理模型，并增加处理时间信息的模块，会引起视频中的严重闪烁问题。为解决这一问题，我们识别并改进了几个关键技术点，显著提升了视频的时间稳定性。
通过在公开数据集上与其他先进的VSR模型对比，并展示8倍超分辨率的视频效果，我们验证了VideoGigaGAN的高效性。
如果想详细了解，可以点开视频下方的链接。
谢谢观看本视频。要是喜欢，请订阅、点赞。谢谢
