你只能做變形的時間延續的視頻,比如花開花落,冰融化等等,你可以學習並應用現實世界的物理定律。
代碼實現已發布。
詳細居間:
首先,開發了一套名為MagicAdaptor的技術。通過分別處理空間和時間訓練,它可以從變形視頻中提取更多物理知識,並使預訓練的T2 V模型能夠生成此類視頻。
然後,引入了動態幀提取策略,該策略特別適合變形時間連續視頻,因為此類視頻變化範圍廣泛,涵蓋了對象的急劇變化過程,從而包含了更豐富的物理知識。
還設計了一款名為Magic Text-Encoder的工具來提高對此類變形視頻提示的理解。
此外,還專門創建了一個名為ChronoMagic的時間擴展視頻文本數據集,以提高生成變形視頻的能力。
如果您想了解更多信息,可以單擊視頻下方的連結。
感謝您觀看此視頻。如果您喜歡,請訂閱並點讚。謝謝
Github:https://github.com/PKU-YuanGroup/MagicTime? tab= readme-over-file
視頻: