視頻超解析度（VSR）方法在上採樣視頻中顯示出令人印象深刻的時間一致性。
然而，由於生成能力有限，這些方法往往會產生比圖像對應方法更模糊的結果。
這提出了一個基本問題：生成圖像上採樣器的成功能否擴展到VSR任務，同時保持時間一致性？引入VideoGigaGAN，這是新一代VSR模型，可以生成具有高頻細節和時間一致性的視頻。
VideoGigaGAN基於GigaGAN，一種大規模圖像上採樣器。簡單地通過添加時間模塊將GigaGAN擴展到視頻模型可能會產生嚴重的時間閃爍。
確定了幾個關鍵問題，並提出了技術，以顯著提高時間一致性的上採樣視頻。
實驗表明，與之前的VSR方法不同，VideoGigaGAN生成具有更細粒度外觀細節的時間一致的視頻。
通過將VideoGigaGAN與公共數據集上最先進的VSR模型進行比較並以8倍超解析度顯示視頻結果來驗證VideoGigaGAN的有效性。
視頻超解析度（VSR）模型建立在GigaGAN圖像上採樣器的非對稱U-Net架構之上。
為了強制實現時間一致性，首先通過向解碼器塊添加時間關注層來將圖像上採樣器擴展為視頻上採樣器。
一致性還通過合併流引導傳播模塊的功能來增強。
為了抑制混疊偽影，在編碼器的下採樣層中使用抗混疊塊。
最後，高頻特徵通過跳過連接直接傳輸到解碼器層，以補償BlurPool過程中的細節損失。
從呈現效果來看，相當令人印象深刻。支持8倍視頻放大，可適應不同風格的視頻。
更詳細的居間：
該模型能夠生成保持時間連續性同時具有高頻細節的視頻。VideoGigaGAN基於先進的大規模圖像放大模型GigaGAN設計和優化。
如果GigaGAN簡單地擴展到媒體處理服務模型並添加模塊來處理時間信息，就會導致視頻中出現嚴重的閃爍問題。為了解決這個問題，我們確定並改進了幾個關鍵技術點，顯著提高了視頻的時間穩定性。
通過將其與公共數據集上的其他高級VSR模型進行比較並演示8倍超解析度視頻效果，我們驗證了VideoGigaGAN的效率。
如果您想了解更多信息，可以單擊視頻下方的連結。
感謝您觀看此視頻。如果您喜歡，請訂閱並點讚。謝謝
項目地址：https://videogigagan.github.io
視頻：