分类： 多媒体处理

Adobe发布了视频超分项目VideoGigaGAN

205
Adobe, AI项目

VideoGigaGAN，这是一种新的生成 VSR 模型，可以生成具有高频细节和时间一致性的视频。 VideoGigaGAN 基于大规模图像上采样器——GigaGAN。简单地通过添加时间模块将 GigaGAN 扩展到视频模型会产生严重的时间闪烁。...

Vidu：可生成16秒、1080P视频的模型

142
AI项目, 多媒体处理

这款模型被视为国内首个达到Sora级别的视频模型。 Vidu 不仅能模拟真实物理世界，还具备丰富的想象力，支持多镜头生成和高时空一致性。 Vidu 模型融合了 Diffusion 与 Transformer 技术，创新性地开发了 U-ViT 架构。

SpeechAlign：利用人类反馈改变语音合成，以增强技术交互的自然性和表现力

240
AI项目, 多媒体处理

复旦大学的一个研究团队开发了 SpeechAlign，这是一个针对语音合成核心的创新框架，使生成的语音与人类偏好保持一致。与优先考虑技术准确性的传统模型不同，SpeechAlign 通过直接将人类反馈纳入语音生成而引入了巨大转变。这个反馈循环确保产生的语音在技术上是合理的并且在人类层面上产生共鸣。

SAM模型视频分割项目

186
AI项目, 多媒体处理

本项目的目标是运动分割——发现并分割视频中的运动对象。这是一个被广泛研究的领域，有许多仔细的、有时甚至是复杂的方法和训练方案，包括：自监督学习、从合成数据集学习、以对象为中心的表示、非模态表示等等。对本文的兴趣是确定 Segment Anything 模型 (SAM) 是否有助于完成此任务。

Google的一个新的视频模型：VideoPoet

226
AI行业应用, AI项目

它可以根据文字描述来生成视频。但它不是基于扩散模型，而本身就是个LLM，可以理解和处理多模态信息，并将它们融合到视频生成过程中。 不仅能生成视频，还能给视频加上风格化的效果，还可修复和扩展视频，甚至从视频中生成音频。 一条龙服务... 例如，VideoPoet...

AzureOpenAIService宣布了一系列新功能

181
AI项目, OpenAI

包括公开预览的Assistants API、新的文本到语音（TTS）功能、即将推出的GPT-4 Turbo和GPT-3.5 Turbo模型更新、新的嵌入模型以及微调API的更新。 与之前的聊天完成API相比，Assistants API能够记住之前的对话内容，创建持久化和无限长的线程。 ...