PhysDreamer：與麻省理工學院、史丹福大學、哥倫比亞大學和康奈爾大學等多所大學合作開發。
真實對象交互對於創建沉浸式虛擬體驗至關重要，但合成真實3D對象動態以響應新穎的交互仍然是一個重大挑戰。與無條件或文本條件動態生成不同，動作的條件動態需要感知對象的物理材料屬性，並根據這些屬性（例如對象硬度）進行3D運動預測。
然而，由於缺乏有關材料的真實數據，估計物理材料性質是一個懸而未決的問題，因為測量真實物體的這些性質非常困難。我們提出了PhysDreamer，這是一種基於物理的方法，通過使用從視頻生成模型中學習到的對象動態先驗，為靜態3D對象提供交互動態。
通過完善這些先驗知識，物理夢想家能夠綜合現實生活中的對象對新穎互動（例如外部力量或代理操作）的反應。我們在彈性物體的不同示例上展示了我們的方法，並通過用戶研究評估了合成交互的真實性。
PhysDreamer使靜態3D對象能夠以物理上合理的方式動態響應交互式刺激，是邁向更引人入勝、更真實的虛擬體驗的一步。
如果您想了解更多信息，可以單擊視頻下方的連結。
感謝您觀看此視頻。如果您喜歡，請訂閱並點讚。謝謝
項目頁面：https://physdreamer.github.io/
擁抱臉：https://huggingface.co/papers/2404.13026
Github：https://github.com/a1600012888/PhysDreamer
視頻：