繁中

Open Sora團隊發布了另一個視頻生成項目MagicTime

你只能做變形的時間延續的視頻,比如花開花落,冰融化等等,你可以學習並應用現實世界的物理定律。

代碼實現已發布。

詳細居間:

首先,開發了一套名為MagicAdaptor的技術。通過分別處理空間和時間訓練,它可以從變形視頻中提取更多物理知識,並使預訓練的T2 V模型能夠生成此類視頻。

然後,引入了動態幀提取策略,該策略特別適合變形時間連續視頻,因為此類視頻變化範圍廣泛,涵蓋了對象的急劇變化過程,從而包含了更豐富的物理知識。

還設計了一款名為Magic Text-Encoder的工具來提高對此類變形視頻提示的理解。

此外,還專門創建了一個名為ChronoMagic的時間擴展視頻文本數據集,以提高生成變形視頻的能力。

如果您想了解更多信息,可以單擊視頻下方的連結。
感謝您觀看此視頻。如果您喜歡,請訂閱並點讚。謝謝

Github:https://github.com/PKU-YuanGroup/MagicTime? tab= readme-over-file

視頻:

返回頂端