分享给你的邻居跨实例一致性的单视图重构

导读 人类可以很容易地看到2D图像背后的3D世界。在计算机视觉中,单视图重建(从单个2D图像推断3D)仍然需要昂贵的监督。最近发表在arXiv org上的

人类可以很容易地看到2D图像背后的3D世界。在计算机视觉中,单视图重建(从单个2D图像推断3D)仍然需要昂贵的监督。最近发表在arXiv.org上的一篇论文提出了一种数据驱动的替代方法来替代这种重建,它对不同的数据集具有竞争力。研究人员建议利用不同实例之间的一致性来消除其他方法所需的假设和监督。

首先,通过在训练开始时强烈限制形状、纹理和背景的可变性并逐渐允许更多多样性来鼓励模型在图像之间共享元素。引入交换重建损失以强制来自不同视点的相邻实例共享相同的形状或纹理模型。

该系统演示了通用对象形状和真实图像的高质量和逼真的纹理3D重建。

单视图重建的方法通常依赖于视点注释、轮廓、没有背景、同一实例的多个视图、模板形状或对称性。我们通过明确利用不同对象实例的图像之间的一致性来避免所有这些监督和假设。因此,我们的方法可以从描绘相同对象类别的大量未标记图像中学习。我们的主要贡献是利用跨实例一致性的两种方法:(i)渐进式条件反射,一种以课程学习方式逐渐将模型从类别专业化到实例的训练策略;(ii)交换重建,在具有相似形状或纹理的实例之间执行一致性的损失。我们方法成功的关键还包括:我们的结构化自动编码架构将图像分解为明确的形状、纹理、姿势和背景;差分渲染的调整公式,以及;一种在3D和姿势学习之间交替的新优化方案。我们比较了我们的方法UNICORN,在多样化的合成ShapeNet数据集(需要多个视图作为监督的方法的经典基准)和标准真实图像基准(Pascal3D+Car,CUB-200)上,大多数方法都需要已知模板和轮廓注释。我们还展示了对更具挑战性的现实世界系列(CompCars、LSUN)的适用性,其中轮廓不可用,并且图像未在对象周围裁剪。一种在3D和姿势学习之间交替的新优化方案。我们比较了我们的方法UNICORN,在多样化的合成ShapeNet数据集(需要多个视图作为监督的方法的经典基准)和标准真实图像基准(Pascal3D+Car,CUB-200)上,大多数方法都需要已知模板和轮廓注释。我们还展示了对更具挑战性的现实世界系列(CompCars、LSUN)的适用性,其中轮廓不可用,并且图像未在对象周围裁剪。一种在3D和姿势学习之间交替的新优化方案。我们比较了我们的方法UNICORN,在多样化的合成ShapeNet数据集(需要多个视图作为监督的方法的经典基准)和标准真实图像基准(Pascal3D+Car,CUB-200)上,大多数方法都需要已知模板和轮廓注释。我们还展示了对更具挑战性的现实世界系列(CompCars、LSUN)的适用性,其中轮廓不可用,并且图像未在对象周围裁剪。CUB-200),大多数方法都需要已知的模板和轮廓注释。我们还展示了对更具挑战性的现实世界系列(CompCars、LSUN)的适用性,其中轮廓不可用,并且图像未在对象周围裁剪。CUB-200),大多数方法都需要已知的模板和轮廓注释。我们还展示了对更具挑战性的现实世界系列(CompCars、LSUN)的适用性,其中轮廓不可用,并且图像未在对象周围裁剪。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢