ZeST：从单个图像进行零次材料传输
ZeST（Zero-Shot Material Transfer）是一种基于零样本的方法
介绍 ZeST，这是一种零样本、免训练的方法，用于
(a) 图像到图像的材料传输。
(b) ZeST 可以轻松扩展以在单个图像中执行多种材质编辑，以及
(c) 对纹理网格的渲染执行隐式照明感知编辑。
抽象的
提出了 ZeST，一种在给定材料样本图像的情况下将零样本材料转移到输入图像中的对象的方法。 ZeST 利用现有的扩散适配器从示例图像中提取隐式材料表示。该表示用于使用输入图像中的对象上的预先训练的修复扩散模型来传输材质，使用深度估计作为几何提示和灰度对象着色作为照明提示。该方法适用于真实图像，无需任何训练，从而实现零样本方法。真实和合成数据集的定性和定量结果都表明，ZeST 可以输出带有转移材料的真实感图像。 % 我们对我们的方法对一组真实图像进行定性和定量评估。我们还展示了 ZeST 在不同照明下执行多次编辑和强大的材质分配的应用。
方法概述
方法包括 3 个分支。给定材料样本 M 和输入图像 I，我们首先使用图像编码器（例如 IP-Adaptor）对材料样本进行编码。同时，我们将输入图像转换为深度图和前景灰度图像，以分别输入几何和潜在照明引导分支。通过将两种引导源与材料编码的潜在特征相结合，ZeST 可以将材料属性转移到输入图像中的对象上，同时保留所有其他属性。
结果图库
如果想详细了解，可以点开视频下方的链接。
谢谢观看本视频。要是喜欢，请订阅、点赞。谢谢
原文：https://ttchengab.github.io/zest/
Paper：https://arxiv.org/abs/2404.06425
