多媒体处理

FRESCO这个视频转绘项目的代码已经发布，也在项目页面发布了更多的演示，看起来相当稳定。

它可以通过文本提示将数学、物理问题转换成视频内容
它会自动生成包括图表、图示、动画原理，还包含讲解内容的2分钟左右的视频。
能非常直观的帮助你了解一些知识和原理。

Google也弄了一个：一张照片+音频即可生成会说话唱歌的视频的项目

VLOGGER：基于文本和音频驱动，从单张照片生成会说话的人类视频

能够通过文字提示创造出适用于各种场景的声音和音效

如游戏中的射击和跳跃声音、动画中的雨声环境以及视频中的地铁到站声音等。

它可以根据文字描述来生成视频。但它不是基于扩散模型，而本身就是个LLM，可以理解和处理多模态信息，并将它们融合到视频生成过程中。
不仅能生成视频，还能给视频加上风格化的效果，还可修复和扩展视频，甚至从视频中生成音频。
一条龙服务…
例如，VideoPoet 可以根据文本描述生成视频，或者将一张静态图片转换成动态视频。它还能理解和生成音频，甚至是编写用于视频处理的代码。