针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在...针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在挑战性区域特征的表征能力以进行鲁棒的特征匹配。其次在代价体正则化3D CNN部分引入注意力机制,使网络注意于代价体中的重要区域以进行平滑处理。另外建立一个神经渲染网络,该网络利用渲染参考损失精确地解析辐射场景表达的几何外观信息,并引入深度一致性损失保持多视图立体网络与神经渲染网络之间的几何一致性,有效地缓解有噪声代价体对多视图立体网络的不利影响。该算法在室内DTU数据集中测试,点云重建的完整性和整体性指标分别为0.289和0.326,与基准方法CasMVSNet相比,分别提升24.9%和8.2%,即使在挑战性区域也得到高质量的重建效果;在室外Tanks and Temples中级数据集中,点云重建的平均F-score为60.31,与方法UCS-Net相比提升9.9%,体现出较强的泛化能力。展开更多
基于深度学习的目标检测算法已广泛应用,与此同时最近的一系列研究表明现有的目标检测算法容易受到对抗性攻击的威胁,造成检测器失效.然而,聚焦于自动驾驶场景下对抗攻击的迁移性研究较少,并且鲜有研究关注该场景下对抗攻击的隐蔽性.针...基于深度学习的目标检测算法已广泛应用,与此同时最近的一系列研究表明现有的目标检测算法容易受到对抗性攻击的威胁,造成检测器失效.然而,聚焦于自动驾驶场景下对抗攻击的迁移性研究较少,并且鲜有研究关注该场景下对抗攻击的隐蔽性.针对现有研究的不足,将对抗样本的优化类比于机器学习模型的训练过程,设计了提升攻击迁移性的算法模块.并且通过风格迁移的方式和神经渲染(neural rendering)技术,提出并实现了迁移隐蔽攻击(transferable and stealthy attack,TSA)方法.具体来说,首先将对抗样本进行重复拼接,结合掩膜生成最终纹理,并将其应用于整个车辆表面.为了模拟真实的环境条件,使用物理变换函数将渲染的伪装车辆嵌入逼真的场景中.最后,通过设计的损失函数优化对抗样本.仿真实验表明,TSA方法在攻击迁移能力上超过了现有方法,并在外观上具有一定的隐蔽性.此外,通过物理域实验进一步证明了TSA方法在现实世界中能够保持有效的攻击性能.展开更多
将神经网络用于场景几何材质的高效表达,结合逆向渲染在二维光度图的监督下重建高质量的网格和材质贴图,为现有的图形学流水线提供服务——神经渲染已成为近年来计算机图形学新的研究热点。在IRON(inverse rendering by optimizing neur...将神经网络用于场景几何材质的高效表达,结合逆向渲染在二维光度图的监督下重建高质量的网格和材质贴图,为现有的图形学流水线提供服务——神经渲染已成为近年来计算机图形学新的研究热点。在IRON(inverse rendering by optimizing neural SDFs and materials from photometric images)神经渲染模型基础上,通过引入多分辨率哈希编码,采用冻结训练等方法提高原始模型的训练速度。在多个数据集上的对比实验表明,优化后的IRON逆渲染模型训练速度提升了约40%,且重建结果中包含更多细节。展开更多
文摘针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在挑战性区域特征的表征能力以进行鲁棒的特征匹配。其次在代价体正则化3D CNN部分引入注意力机制,使网络注意于代价体中的重要区域以进行平滑处理。另外建立一个神经渲染网络,该网络利用渲染参考损失精确地解析辐射场景表达的几何外观信息,并引入深度一致性损失保持多视图立体网络与神经渲染网络之间的几何一致性,有效地缓解有噪声代价体对多视图立体网络的不利影响。该算法在室内DTU数据集中测试,点云重建的完整性和整体性指标分别为0.289和0.326,与基准方法CasMVSNet相比,分别提升24.9%和8.2%,即使在挑战性区域也得到高质量的重建效果;在室外Tanks and Temples中级数据集中,点云重建的平均F-score为60.31,与方法UCS-Net相比提升9.9%,体现出较强的泛化能力。
文摘基于深度学习的目标检测算法已广泛应用,与此同时最近的一系列研究表明现有的目标检测算法容易受到对抗性攻击的威胁,造成检测器失效.然而,聚焦于自动驾驶场景下对抗攻击的迁移性研究较少,并且鲜有研究关注该场景下对抗攻击的隐蔽性.针对现有研究的不足,将对抗样本的优化类比于机器学习模型的训练过程,设计了提升攻击迁移性的算法模块.并且通过风格迁移的方式和神经渲染(neural rendering)技术,提出并实现了迁移隐蔽攻击(transferable and stealthy attack,TSA)方法.具体来说,首先将对抗样本进行重复拼接,结合掩膜生成最终纹理,并将其应用于整个车辆表面.为了模拟真实的环境条件,使用物理变换函数将渲染的伪装车辆嵌入逼真的场景中.最后,通过设计的损失函数优化对抗样本.仿真实验表明,TSA方法在攻击迁移能力上超过了现有方法,并在外观上具有一定的隐蔽性.此外,通过物理域实验进一步证明了TSA方法在现实世界中能够保持有效的攻击性能.
文摘将神经网络用于场景几何材质的高效表达,结合逆向渲染在二维光度图的监督下重建高质量的网格和材质贴图,为现有的图形学流水线提供服务——神经渲染已成为近年来计算机图形学新的研究热点。在IRON(inverse rendering by optimizing neural SDFs and materials from photometric images)神经渲染模型基础上,通过引入多分辨率哈希编码,采用冻结训练等方法提高原始模型的训练速度。在多个数据集上的对比实验表明,优化后的IRON逆渲染模型训练速度提升了约40%,且重建结果中包含更多细节。
