分类： 开源项目

OpenAI推出的一音乐生成模型：Jukebox

314
AI项目, OpenAI

OpenAI在2019年8月份就推出了他们的一音乐生成模型：Jukebox Jukebox能够根据提供的歌词、艺术家和流派信息生成多种流派和艺术家风格的完整音乐和人声歌曲。 最牛P的是，3年前的质量就已经这样了... 而且据说Jukebox 2即将发布

AnyGPT：任意模态到任意多模态的大语言模型

310
AI项目, 开源项目

通过连接大语言模型与多模态适配器和扩散解码器，AnyGPT实现了对各种模态输入的理解和能够在任意模态中生成输出的能力。 也就是可以处理任何组合的模态输入（如文本、图像、视频、音频），并生成任何模态的输出... 实现了真正的多模态通信能力。 这个项目之前叫NExT-GPT

PixelPlayer：MIT研究团队开发的项目

278
AI项目, 开源项目

能自动从视频中识别和分离出不同的声音源，并与画面位置匹配。 例如，它可以识别出视频中哪个人物正在说话或哪个乐器正在被演奏。 而且还能够分别提取和分离这些声音源的声音。 PixelPlayer能自我学习分析，无需人工标注数据。...

UFO：由微软开发的专注于Windows操作系统交互的UI代理

294
AI项目, 开源项目

它可以通过理解用户的自然语言指令和屏幕的视觉内容，自动执行一系列复杂的任务。 比如“删除Word文档中的所有图片”或“在PowerPoint文稿中添加一个新幻灯片”。 它结合了GPT 4-V，能够理解和Windows应用程序的图形用户界面（GUI）并执行操作。 ...

OS-Copilot：能够与操作系统（OS）进行交互

362
AI项目, MicroSoft

完成一系列广泛且复杂的计算机任务的智能代理框架。 它能够自我学习和改进，处理各种操作系统级别的任务。 包括但不限于文件管理、数据处理、环境设置、多媒体操作、网页浏览、代码编写、第三方应用交互、自动化测试等。 该项目由上海AI实验室、华东师范大学、普林斯顿大学和香港大学的研究人员共同开发。

Anything in Any Scene：在现有动态视频中无缝插入任何物体

326
AI项目, 开源项目

1、物体的准确放置：确保新插入的物体在视频中的位置看起来自然、合理，与视频场景的其他元素和空间布局协调一致。 2、光照和阴影的真实模拟：通过分析和模拟视频中的光照条件及其对物体的影响，生成看起来自然的阴影和光照效果，增强物体与环境的整合度。...

Media2Face：通过语音合成3D面部画面

287
AI项目, 开源项目

Media2Face能够根据声音来生成与语音同步的、表现力丰富的3D面部动画。 同时允许用户对生成的面部动画进行更细致的个性化调整，如情感调整，“快乐”或“悲伤”等。 它还能理解多种类型的输入信息（音频、文本、图像），并将这些信息作为生成面部动画的指引。

MedSAM：通用医学影像分割模型

553
AI项目, 医疗AI

MedSAM是一种医学影像分割工具，它能够自动识别和描绘医学影像中的重要区域，比如肿瘤或其他组织的病变。 通过学习大量医学影像和对应的掩模（即正确的分割结果），它能够处理各种不同的医学影像和复杂情况。 它可以帮助医生更快、更准确地诊断疾病。

vx. dev：v0.dev的开源替代品

638
AI项目, 开源项目

vx. dev与GitHub无缝集成，你只需在GitHub上提交一个新的Issue，vx. dev就可以你的需求生成React、Vue或Svelte等UI代码。 支持用户自定义代码生成模式，生成的代码通过拉取请求呈现，方便用户查看和修改。

WhisperSpeech：一个开源的文本到语音系统

429
AI项目, 多媒体处理

是通过对OpenAI的Whisper语音识别模型反向工程来实现的。 通过这种反转过程，WhisperSpeech能够接收文本输入，并利用修改后的Whisper模型生成听起来自然的语音输出。 输出的语音在发音准确性和自然度方面都非常的优秀。

BakedAvatar：实时创建和渲染逼真的动态 3D头像

284
AI项目, 开源项目

只需要一个简短的视频，BakedAvatar就能从这个视频中复制出该人物3D头部模型。同时精确捕捉其面部特征，模拟表情和头部运动。 而且它还能对3D头部进行实时渲染，编辑和调整头像的表情、姿势等。 即使是在普通的移动设备上也能实现。