ToonCrafter：自动生成卡通动画的中间帧
你只需提供一张或两张参考图像，系统将根据参考图像的颜色和风格，对输入的草图进行上色处理。
ToonCrafter 能够适应不同的动画风格，无论是简单的线条动画还是复杂的卡通场景，它都能轻松处理。
以下内容来自原文翻译
我们介绍了 ToonCrafter，这是一种超越传统基于通信的卡通视频插值的新方法，为生成插值铺平了道路。传统方法隐含地假设线性运动，并且没有像消遮挡这样的复杂现象，经常与卡通中常见的夸张的非线性和带有遮挡的大运动作斗争，导致插值结果难以置信甚至失败。
为了克服这些局限性，我们探索了在生成框架内调整真人视频先验以更好地适应卡通插值的潜力。ToonCrafter 有效地解决了将真人视频运动先验应用于生成卡通插值时面临的挑战。
首先，我们设计了一种卡通整改学习策略，将真人视频先验无缝适配到卡通领域，解决了领域差距和内容泄露问题。接下来，我们引入了一个基于双参考的3D解码器，以补偿由于高度压缩的潜在先验空间而丢失的细节，确保在插值结果中保留精细的细节。最后，我们设计了一种灵活的草图编码器，使用户能够对插值结果进行交互式控制。实验结果表明，所提方法不仅能产生视觉上令人信服、更自然的动态效果，而且能有效处理去遮挡。比较评估表明，我们的方法明显优于现有竞争对手。
如果想详细了解，可以点开视频下方的链接。
谢谢观看本视频。要是喜欢，请订阅、点赞。谢谢
GitHub：https://github.com/ToonCrafter/ToonCrafter
原文：https://doubiiu.github.io/projects/ToonCrafter
Arxiv：https://arxiv.org/abs/2405.17933v1
