基于视觉的三维重建技术通过图像特征匹配计算相机的姿态信息以及提取稀疏点云,然后利用多视图精细化匹配技术重建真实环境中物体表面的三维模型,然而对于特殊区域如弱纹理区域和无纹理区域,三维重建技术很难提取特征信息,这导致在稠密...基于视觉的三维重建技术通过图像特征匹配计算相机的姿态信息以及提取稀疏点云,然后利用多视图精细化匹配技术重建真实环境中物体表面的三维模型,然而对于特殊区域如弱纹理区域和无纹理区域,三维重建技术很难提取特征信息,这导致在稠密重建中出现空洞现象,三维重建结果的可视效果差且实用价值受限。针对传统摄影测量三维重建方法在弱纹理区域的重建效果差、后期人工修模工序复杂且工作量大的问题,提出一种基于AI智能识别的三维重建弱纹理区域模型修复方法。首先,向YOLOv8分割网络中添加具有双水平路由注意的视觉变压器注意力机制BiFormer、基于最小点距离的边界框相似度比较度量MPDIoU(Minimum Point Distance Intersection over Union)和遗传编程自动发现神经网络优化器Lion,以优化改进YOLOv8网络,即提高网络对弱纹理的识别精度,用于弱纹理场景的训练与智能推理;其次,基于智能识别的弱纹理区域掩膜,对PatchMatch稠密化的深度图进行弱纹理填补和优化,从而自动补全场景弱纹理区域的点云,并生成整平的弱纹理区域模型,且无需任何后期的人工干预就能得到高完整度、高质量的三维模型成果。实验结果表明,所提方法的弱纹理识别效率提升了15%,识别精度提升了10%,且使弱纹理区域三角网空洞填补完整,验证了所提方法针对弱纹理区域场景修复的有效性。展开更多
基于图像的物体三维重建一直是计算机视觉领域的研究热点.与二维人脸图像相比,三维人脸模型能够承载更多的信息从而具有更广泛的应用前景,如更精准的身份信息识别标志、更准确的情感表达媒介等.为了从单幅大视角的二维人脸图像中重建出...基于图像的物体三维重建一直是计算机视觉领域的研究热点.与二维人脸图像相比,三维人脸模型能够承载更多的信息从而具有更广泛的应用前景,如更精准的身份信息识别标志、更准确的情感表达媒介等.为了从单幅大视角的二维人脸图像中重建出具有真实感的三维彩色人脸模型,提出一种结构简单但有效的算法.首先设计一个编码-解码网络,从原始RGB图像生成并记录完整的三维人脸信息的二维UV位置图;然后使用一个卷积神经网络从中重塑出三维人脸;最后考虑人脸大视角时的自遮挡情况,进一步通过条件生成对抗网络补全UV纹理图的缺失.使用Stirling/ESRC 3D Face Database与其他三维人脸重建的算法进行对比实验,结果表明,所提算法能够实现更高的重建精度,特别是在大视角人脸图像重建应用中,即使在复杂环境下也可以获得完整和真实的三维人脸模型.展开更多
文摘基于视觉的三维重建技术通过图像特征匹配计算相机的姿态信息以及提取稀疏点云,然后利用多视图精细化匹配技术重建真实环境中物体表面的三维模型,然而对于特殊区域如弱纹理区域和无纹理区域,三维重建技术很难提取特征信息,这导致在稠密重建中出现空洞现象,三维重建结果的可视效果差且实用价值受限。针对传统摄影测量三维重建方法在弱纹理区域的重建效果差、后期人工修模工序复杂且工作量大的问题,提出一种基于AI智能识别的三维重建弱纹理区域模型修复方法。首先,向YOLOv8分割网络中添加具有双水平路由注意的视觉变压器注意力机制BiFormer、基于最小点距离的边界框相似度比较度量MPDIoU(Minimum Point Distance Intersection over Union)和遗传编程自动发现神经网络优化器Lion,以优化改进YOLOv8网络,即提高网络对弱纹理的识别精度,用于弱纹理场景的训练与智能推理;其次,基于智能识别的弱纹理区域掩膜,对PatchMatch稠密化的深度图进行弱纹理填补和优化,从而自动补全场景弱纹理区域的点云,并生成整平的弱纹理区域模型,且无需任何后期的人工干预就能得到高完整度、高质量的三维模型成果。实验结果表明,所提方法的弱纹理识别效率提升了15%,识别精度提升了10%,且使弱纹理区域三角网空洞填补完整,验证了所提方法针对弱纹理区域场景修复的有效性。
文摘基于图像的物体三维重建一直是计算机视觉领域的研究热点.与二维人脸图像相比,三维人脸模型能够承载更多的信息从而具有更广泛的应用前景,如更精准的身份信息识别标志、更准确的情感表达媒介等.为了从单幅大视角的二维人脸图像中重建出具有真实感的三维彩色人脸模型,提出一种结构简单但有效的算法.首先设计一个编码-解码网络,从原始RGB图像生成并记录完整的三维人脸信息的二维UV位置图;然后使用一个卷积神经网络从中重塑出三维人脸;最后考虑人脸大视角时的自遮挡情况,进一步通过条件生成对抗网络补全UV纹理图的缺失.使用Stirling/ESRC 3D Face Database与其他三维人脸重建的算法进行对比实验,结果表明,所提算法能够实现更高的重建精度,特别是在大视角人脸图像重建应用中,即使在复杂环境下也可以获得完整和真实的三维人脸模型.
