三维人体姿态和形状估计的分层注意力时空特征融合算法

1

作者 闫卓越 刘骊 +2 位作者 付晓东 刘利军 彭玮 《图学学报》 北大核心 2025年第4期746-755,共10页

基于单目视频的三维人体姿态和形状估计在虚拟试衣和影视特效制作等领域具有重要作用。针对基于单目视频的三维人体姿态和形状估计中的人体建模不充分、时空表征较单一、估计精准性受限的问题,提出三维人体姿态和形状估计的分层注意力... 基于单目视频的三维人体姿态和形状估计在虚拟试衣和影视特效制作等领域具有重要作用。针对基于单目视频的三维人体姿态和形状估计中的人体建模不充分、时空表征较单一、估计精准性受限的问题,提出三维人体姿态和形状估计的分层注意力时空特征融合算法。首先使用分层注意力对人体部位进行分层空间建模,得到可学习的人体姿态空间特征;然后将可学习的人体姿态空间特征与参数人体模板结合,共同指导人体运动时序特征进行时空建模,实现时空特征融合;最后提出三维人体姿态和形状联合优化方法,使用多层感知机回归更加精准且平滑的三维人体网格。在Human3.6M数据集上的实验结果表明,该方法在评估指标MPJPE和ACC-ERR上的数值分别为56.1 mm和3.4 mm/s^(2),较现有方法相比降低了0.5%和5.6%,能够提高三维人体姿态和形状估计的精度,生成精准且平滑的三维人体网格。此外,在3DPW数据集和互联网视频的测试结果表明,在面对快速运动等场景时,也具有一定的鲁棒性。 展开更多

关键词 三维人体姿态和形状估计 分层注意力 时空建模 时空特征融合 姿态和形状联合优化

在线阅读 下载PDF 职称材料

基于半监督学习的单视角点云三维人体姿态与形状估计

2

作者 方程浩 王康侃 《图学学报》 北大核心 2025年第2期393-401,共9页

在有限标签样本的条件下,单视角点云的三维人体姿态和形状估计一直存在模型估计精度低、泛化能力弱等问题。现有的方法通常采用微调方法优化模型,但对新样本的微调步骤大大增加了运行复杂度,本质上没有提高模型的泛化能力。为解决以上问... 在有限标签样本的条件下,单视角点云的三维人体姿态和形状估计一直存在模型估计精度低、泛化能力弱等问题。现有的方法通常采用微调方法优化模型,但对新样本的微调步骤大大增加了运行复杂度,本质上没有提高模型的泛化能力。为解决以上问题,提出了一种基于半监督学习的三维人体姿态与形状估计方法,在有限的标签数据条件下,利用大量无标签人体点云数据提高模型估计精度和泛化能力。具体地,首先对无标签数据进行弱增强和强增强,同时估计2种增强样本的三维人体参数模型。然后对弱增强样本的预测结果进行伪标签准确性判断,并基于一致性正则化思想约束强增强样本的预测结果,以迭代方式逐步优化伪标签质量和增加用于训练的伪标签数量,进而提升模型的估计精度。该算法在多种公开数据集上做了充分的定量和定性实验,实验结果证明该算法在有限标签样本的条件下提高了三维人体姿态和形状的估计精度,并增强了模型的泛化性能。 展开更多

关键词 三维人体姿态与形状估计 单视角点云 半监督学习 伪标签 点云数据增强

在线阅读 下载PDF 职称材料

三维人体姿态估计中的多尺度时空特征融合

3

作者 张宇 刘骊 +2 位作者 付晓东 刘利军 彭玮 《计算机辅助设计与图形学学报》 北大核心 2025年第1期75-88,共14页

针对视频输入的单人三维人体姿态估计中表征不精确、融合不充分、结果不平滑的问题,提出三维人体姿态估计的多尺度时空特征融合方法.首先在空域定义关节点、肢体和上/下身人体标记并通过位置嵌入表示人体的空间多尺度特征;然后结合自注... 针对视频输入的单人三维人体姿态估计中表征不精确、融合不充分、结果不平滑的问题,提出三维人体姿态估计的多尺度时空特征融合方法.首先在空域定义关节点、肢体和上/下身人体标记并通过位置嵌入表示人体的空间多尺度特征;然后结合自注意力机制和多层感知机构建空间多尺度特征融合模块,融合关节点、肢体和上/下身三个空间多尺度特征,得到初步姿态特征序列;最后建立时序多尺度编码进行时序特征融合获得最终姿态特征序列,并通过时序解码,优化生成细化的三维人体姿态.在Human3.6M数据集上的实验结果表明,所提方法的平均每关节位置P-MPJPE和速度误差MPJVE分别为33.6和2.4,较对比方法降低了2.3%和4.0%,能够降低计算复杂度,提高三维人体姿态估计精度,生成准确、平滑的三维人体姿态估计结果.此外,在HumanEva-I数据集的测试结果表明,所提方法也具有一定的泛化性. 展开更多

关键词 三维人体姿态估计 多尺度特征 自注意力机制 时空特征融合 时序编码

在线阅读 下载PDF 职称材料

基于平行多尺度时空图卷积网络的三维人体姿态估计算法

4

作者 杨红红 刘泓希 +1 位作者 张玉梅 吴晓军 《软件学报》 北大核心 2025年第5期2151-2166,共16页

针对基于图卷积神经网络(GCN)的人体姿态估计方法不能充分聚合关节点时空特征、限制判别性特征提取的问题,构造基于平行多尺度时空图卷积的网络模型(PMST-GNet),提高三维人体姿态估计的性能.该模型首先设计对角占优的时空注意力图卷积(D... 针对基于图卷积神经网络(GCN)的人体姿态估计方法不能充分聚合关节点时空特征、限制判别性特征提取的问题,构造基于平行多尺度时空图卷积的网络模型(PMST-GNet),提高三维人体姿态估计的性能.该模型首先设计对角占优的时空注意力图卷积(DDA-STGConv),构建跨域时空邻接矩阵,对骨架关节点信息进行基于自约束和注意力机制约束的建模,增强节点间的信息交互;然后,通过设计图拓扑聚合函数构造不同的图拓扑结构,以DDA-STGConv为基本单元构建平行多尺度子网络模块(PM-SubGNet);最后,为了更好地提取骨架关节的上下文信息,设计多尺度特征交叉融合模块(MFEB),实现平行子图网络之间多尺度信息的交互,提高GCN的特征表示能力.在主流3D姿态估计数据集Human3.6M和MPI-INF-3DHP数据集上的对比实验结果表明,所提PMST-GNet模型在三维人体姿态估计中具有较好的效果,优于Sem-GCN、GraphSH、UGCN等当前基于GCN网络的主流算法. 展开更多

关键词 三维人体姿态估计 对角占优的时空注意力图卷积 平行多尺度子网络 多尺度特征交叉融合

在线阅读 下载PDF 职称材料

自调节图卷积UNet的三维人体姿态估计方法

5

作者 马金林 崔琦磊 +2 位作者 马自萍 武江涛 曹浩杰 《北京航空航天大学学报》 北大核心 2025年第1期63-74,共12页

基于图卷积网络的三维人体姿态估计方法无法提取关节点的多尺度特征和未充分利用相邻节点的拓扑关系问题,提出自调节图卷积UNet的三维人体姿态估计方法M-Joint-UNet。M-Joint-UNet方法由Joint-UNet、自调节图卷积和融合损失3部分组成:Jo... 基于图卷积网络的三维人体姿态估计方法无法提取关节点的多尺度特征和未充分利用相邻节点的拓扑关系问题,提出自调节图卷积UNet的三维人体姿态估计方法M-Joint-UNet。M-Joint-UNet方法由Joint-UNet、自调节图卷积和融合损失3部分组成:Joint-UNet通过关节点池化与去池化改变特征图大小,以提取关节点的不同尺度特征;自调节图卷积通过可学习矩阵自动调节相邻节点或人体骨架结构的关系;使用L_(1)和L_(2)融合的损失缓解梯度爆炸。对比实验表明:所提方法在参数量和估计性能方面均获得了最优的结果,以Human3.6M的二维真实关节点作为输入的参数量仅为0.54×10^(6),MPJPE和P-MPJPE值分别为37.81 mm和30.21 mm。 展开更多

关键词 三维人体姿态估计 图卷积 Graph-UNet 关节点池化 权重矩阵

在线阅读 下载PDF 职称材料

基于关节结构依赖的三维人体姿态估计与优化策略

6

作者 汪彬姿 宁欣 +1 位作者 疏洋 丁友东 《计算机应用研究》 北大核心 2025年第4期1268-1273,共6页

由于面临着固有的深度模糊和潜在的遮挡,单目三维人体姿态估计仍充满着挑战。为了缓解不确定性,提出了一个轻量高效的三维人体姿态估计模型,充分利用人体关节的结构依赖关系,通过两个局部约束增强策略对高自由度关节施加额外约束;设计... 由于面临着固有的深度模糊和潜在的遮挡,单目三维人体姿态估计仍充满着挑战。为了缓解不确定性,提出了一个轻量高效的三维人体姿态估计模型,充分利用人体关节的结构依赖关系,通过两个局部约束增强策略对高自由度关节施加额外约束;设计了一个基于扩散模型的后处理框架,通过对多假设结果逐步去噪并加以骨长约束,优化带噪声的三维姿态。该方法在Human3.6M数据集上相比同类方法,在两个常用指标上分别提升了3%和4.5%,验证了其优越性。 展开更多

关键词 扩散模型 三维人体姿态估计 图卷积神经网络 TRANSFORMER

在线阅读 下载PDF 职称材料

基于中心点注意力的多视角多人三维人体姿态估计

7

作者 江以恒 李洋 +1 位作者 刘春颜 赵蕴龙 《计算机科学》 北大核心 2025年第3期68-76,共9页

多视角多人三维人体姿态估计被广泛应用于各类计算机视觉任务中。当前基于空间体素的方法由于需要消耗巨大的资源难以实现在边缘计算设备上的实时性运算;而回归方法因缺乏几何约束导致泛化能力有限,在新的环境中无法直接应用而需要采集... 多视角多人三维人体姿态估计被广泛应用于各类计算机视觉任务中。当前基于空间体素的方法由于需要消耗巨大的资源难以实现在边缘计算设备上的实时性运算;而回归方法因缺乏几何约束导致泛化能力有限,在新的环境中无法直接应用而需要采集数据进行微调。通过结合空间体素方法与基于回归的姿态估计方法并融合二者的特点,提出了基于中心点注意力回归的多视角多人三维人体姿态估计模型。该模型通过一个小规模的体素网络粗略估计人体中心点位置,并以此构建初始姿态,随后在人体中心点的范围内进行回归预测得到更精确的人体姿态。本研究通过结合空间关键点位置,使得模型的回归预测更加准确,在大尺度上平均准确率提升1.16%,同时使得模型非常容易训练,在小样本微调中准确率最多提升了12%。这使得基于回归的模型可以在新的场景下通过小数据量的训练快速部署而实现泛化性能和通用性的大幅提升。 展开更多

关键词 三维人体姿态估计 多视角 中心点预测网络 中心点注意力 TRANSFORMER 体素网络

在线阅读 下载PDF 职称材料

基于时空图卷积网络与多层次特征融合的快递员3D人体姿态估计

8

作者 丁德波 史耀群 《传感技术学报》 北大核心 2025年第8期1457-1462,共6页

将快递员的人体动作数字化,赋能物流行业的智能化转型,从提升效率、保障健康到推动人机协作,具有广泛的应用潜力。提出了一种新方法,融合了时空图卷积网络与多层次特征融合技术。该方法首先利用时空图卷积网络对人体骨架序列进行建模,... 将快递员的人体动作数字化,赋能物流行业的智能化转型,从提升效率、保障健康到推动人机协作,具有广泛的应用潜力。提出了一种新方法,融合了时空图卷积网络与多层次特征融合技术。该方法首先利用时空图卷积网络对人体骨架序列进行建模,有效提取关节间的空间关系及时序依赖性。接着,通过引入多层次特征融合模块,融合来自不同网络层的特征信息,包括低层次的细节特征和高层次的抽象特征,从而更全面地捕捉快递员的人体关节动态变化和运动模式。为了验证所提方法的性能,在公开数据集Human3.6M上进行了实验。该数据集由视觉传感器采集得到,包含了丰富的人体姿态信息。仿真实验结果表明,所提出的方法能够显著提高三维姿态估计的精度。 展开更多

关键词 三维人体姿态估计 时空图卷积网络 多层次特征融合

在线阅读 下载PDF 职称材料

基于Transformer的三维人体姿态估计及其动作达成度评估 被引量：3

9

作者 杨傲雷 周应宏 +1 位作者 杨帮华 徐昱琳 《仪器仪表学报》 EI CAS CSCD 北大核心 2024年第4期136-144,共9页

针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于Transformer的三维人体姿态估计及其动作达成度评估方法。首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出并构建了... 针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于Transformer的三维人体姿态估计及其动作达成度评估方法。首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出并构建了一个基于Transformer的三维人体姿态估计模型(TPEM),Transformer的引入能够更好的提取人体姿态的长时序特征;其次,利用TPEM模型对三维人体姿态估计结果,设计了基于加权3D关节角的动态时间规整算法,在时序上对不同人物同一动作的姿态进行姿态关键帧的规整匹配,并据此提出了动作达成度评估方法,用于给出动作的达成度分数;最后,通过在不同数据集上进行实验验证,TPEM在Human3.6 M数据集上实现了平均关节点误差为37.3 mm,而基于加权3D关节角的动态时间规整算法在Fit3D数据集上的平均误差帧数为5.08,展现了本文所提方法在三维人体姿态估计与动作达成度评估方面的可行性和有效性。 展开更多

关键词 三维人体姿态估计 深度学习 动态时间规整 动作评估

在线阅读 下载PDF 职称材料

预加权调制密集图卷积网络三维人体姿态估计 被引量：4

10

作者 马金林 崔琦磊 +3 位作者 马自萍 闫琦 曹浩杰 武江涛 《计算机科学与探索》 CSCD 北大核心 2024年第4期963-977,共15页

图卷积网络(GCN)日益成为三维人体姿态估计(3D HPE)的主要研究热点之一,使用GCN对人体关节点之间的关系建模的方法使三维人体姿态估计获得了良好的性能。然而,基于GCN的三维人体姿态估计方法存在过平滑和未区分关节点与相邻关节点重要... 图卷积网络(GCN)日益成为三维人体姿态估计(3D HPE)的主要研究热点之一,使用GCN对人体关节点之间的关系建模的方法使三维人体姿态估计获得了良好的性能。然而,基于GCN的三维人体姿态估计方法存在过平滑和未区分关节点与相邻关节点重要性的问题。为解决这些问题,设计了调制密集连接模块(MDC)和预加权图卷积模块,并基于这两个模块提出了预加权调制密集图卷积网络的三维人体姿态估计方法(WMDGCN)。针对过平滑问题,调制密集连接通过超参数α和β更好地实现特征重用(超参数α表示第l层和之前各层总特征的权重比例,超参数β表示之前各层特征到第l层的传播策略),从而有效地提高特征的表达能力。针对未区分关节点与相邻关节点重要性的问题,使用预加权图卷积为当前关节点赋予更高的权重,并对当前关节点及其相邻关节点使用不同的权重矩阵,更有效地捕获人体关节点特征。Human3.6M数据集上的对比实验结果表明,该方法在参数量和性能上均取得了最佳性能,WMDGCN的参数量、MPJPE和P-MPJPE值分别为0.27 MB、37.46 mm和28.85 mm。 展开更多

关键词 三维人体姿态估计 图卷积网络 预加权

在线阅读 下载PDF 职称材料

空间注意力与位置优化的三维人体姿态估计域适应算法 被引量：2

11

作者 姜友鹏 华阳 宋晓宁 《计算机科学与探索》 CSCD 北大核心 2024年第9期2384-2394,共11页

现有三维人体姿态估计器在单个数据集上表现较好,但受限于训练数据姿态结构的单一,其在跨域实验上的泛化性不足。现有方法通过增加姿态多样性来弥补该缺陷,然而这些方法生成的新姿态缺乏真实有效性且姿态全局位置的分布与目标数据集仍... 现有三维人体姿态估计器在单个数据集上表现较好,但受限于训练数据姿态结构的单一,其在跨域实验上的泛化性不足。现有方法通过增加姿态多样性来弥补该缺陷,然而这些方法生成的新姿态缺乏真实有效性且姿态全局位置的分布与目标数据集仍存在显著差距。针对上述问题,提出一种基于生成对抗网络(GAN)的空间注意力与全局位置优化的三维人体姿态估计域适应算法。算法引入空间节点注意力模块约束生成器产生更自然的人体姿态,并结合姿态位置修正模块促使生成姿态向目标数据域对齐,从而解决以上域适应问题。此外,为了提升估计器训练的稳定性,提出一种端到端随机混合的训练策略,使姿态估计器可兼顾新旧数据信息的学习。作为一种生成式的域适应方法,该算法可以高效地应用于各种二阶段三维人体姿态估计器。通过跨场景实验与跨数据集实验,结果表明所提算法在多个基准数据集上的表现均达到当前最佳。其中在3DHP数据集中,该方法MPJPE与AUC指标相比最优工作优化了1.7%和1.4%,验证了所提算法可有效提高三维人体姿态估计器的泛化性。 展开更多

关键词 三维人体姿态估计 无监督域适应 生成对抗网络(GAN) 注意力机制

在线阅读 下载PDF 职称材料

基于双循环Transformer的三维人体姿态估计 被引量：1

12

作者 刘星 王宇晶 《传感技术学报》 CAS CSCD 北大核心 2024年第7期1236-1243,共8页

针对视觉传感器采集到的图像进行三维人体姿态估计,提出一种双循环Transformer网络模型,有效地从二维关键关节点中提取时空维度高相关性特征,增大感受野,从而提高三维姿态估计的精度。通过在视觉传感器采集得到的公开数据集Human3.6M上... 针对视觉传感器采集到的图像进行三维人体姿态估计,提出一种双循环Transformer网络模型,有效地从二维关键关节点中提取时空维度高相关性特征,增大感受野,从而提高三维姿态估计的精度。通过在视觉传感器采集得到的公开数据集Human3.6M上的仿真实验,验证了双循环Transformer算法的性能。分析结果表明,最终估计得到的三维人体关节点的平均关节点位置偏差MPJPE(Mean Per Joint Position Error)为41.6 mm,相比于现有方法有一定提升,可以应用到许多下游相关工作中,有着较强的应用价值。 展开更多

关键词 信号与信号处理 三维人体姿态估计 双循环Transformer 时空相关性 视觉传感器

在线阅读 下载PDF 职称材料

多视角下结合形状和运动信息的三维人体姿态估计

13

作者 沈建锋 杨文明 廖庆敏 《电子与信息学报》 EI CSCD 北大核心 2011年第11期2658-2664,共7页

该文以多视角同步视频为输入,提出综合利用形状和运动信息的3维人体姿态估计方法。该方法将人体分为头、躯干和四肢等3部分,每部分利用运动信息来预测当前的状态,并以形状信息作为检测器来确定姿态。这种在姿态估计中使用互补信息的方... 该文以多视角同步视频为输入,提出综合利用形状和运动信息的3维人体姿态估计方法。该方法将人体分为头、躯干和四肢等3部分,每部分利用运动信息来预测当前的状态,并以形状信息作为检测器来确定姿态。这种在姿态估计中使用互补信息的方式极大地解决了漂移和收敛到局部极小的问题,也使系统能自动初始化和失败后重初始化。同时,多视角数据的使用也解决了自遮挡问题和运动歧义性。在包含多种运动类型的序列上的测试结果说明了该方法的有效性,对比实验结果也优于Condensation算法和退火粒子滤波。 展开更多

关键词 人体姿态估计 体素数据 形状特征 运动信息

在线阅读 下载PDF 职称材料

基于全连接神经网络的三维人体姿态估计 被引量：10

14

作者 孟琭 高恒上 +1 位作者 张含光 刘阳 《仪器仪表学报》 EI CAS CSCD 北大核心 2020年第10期165-177,共13页

人体姿态估计是计算机视觉领域的重要分支,在实践中有广泛应用,例如:智能交通、安防监控、影视娱乐、司法分析等。现有的三维人体姿态估计算法大多来源于二维人体姿态估计算法的扩展,其识别结果是以三维关节点、线的形式来体现,无法展... 人体姿态估计是计算机视觉领域的重要分支,在实践中有广泛应用,例如:智能交通、安防监控、影视娱乐、司法分析等。现有的三维人体姿态估计算法大多来源于二维人体姿态估计算法的扩展,其识别结果是以三维关节点、线的形式来体现,无法展示更多的人体细节信息,且表达形式比较抽象,难于理解。为解决这个问题,本文引入了参数化人体模型(SMPL),该模型可以实体化的展示三维人体姿态。本文通过二维图像预测人体的三维姿态,该过程分为3个阶段,首先从多角度二维图像中预测人体关节点的二维坐标,然后基于全连接神经网络实现二维关节点到SMPL模型参数的映射,最后根据这些参数构建三维SMPL模型,以展示三维人体姿态。实验表明,本文通过从图像中提取二维关节点坐标,并以此为全连接神经网络的输入,可以快速、准确的估计出人体三维姿态。相比从二维图像直接估计三维人体姿态的方法,本文的模型降低了训练参数,简化了网络结构,加快了模型训练的速度,节约了训练成本。 展开更多

关键词 三维人体姿态估计 全连接神经网络 沙漏型网络 SMPL网格模型

在线阅读 下载PDF 职称材料

基于单-多视图优化的足球球员三维姿态和体型估计 被引量：1

15

作者 谢欢 刘纯平 季怡 《计算机工程》 CAS CSCD 北大核心 2024年第3期200-207,共8页

足球比赛场景的三维重建有助于观众自由切换视角,增加了互动性和沉浸感。针对足球比赛场景中的足球球员,提出一种三维姿态和体型估计方法。对球员的多视图图像使用训练好的部分注意力回归的三维人体估计(PARE)模型生成初始的三维姿态和... 足球比赛场景的三维重建有助于观众自由切换视角,增加了互动性和沉浸感。针对足球比赛场景中的足球球员,提出一种三维姿态和体型估计方法。对球员的多视图图像使用训练好的部分注意力回归的三维人体估计(PARE)模型生成初始的三维姿态和体型估计,并使用人工标注的二维关节点作为优化目标。单-多视图优化操作利用蒙皮多人线性模型(SMPL)和正交投影的可微性,将球员的三维姿态和体型参数映射到二维关节点,计算其与人工标注之间的差异,再使用神经网络的反向传播算法更新三维姿态和体型参数,持续这些过程直到差异最小化。在自建的足球球员多视图数据集上的实验结果表明,该方法能够有效估计足球球员的三维姿态和体型,与人体网格恢复、在循环中优化SMPL、PARE等方法相比,二维关节点精度在单视图上提高了9.2%~37.5%,在多视图交叉验证中提高了34.9%~54.1%。 展开更多

关键词 三维姿态和体型估计 参数化人体模型 单-多视图优化 反向传播 蒙皮多人线性模型

在线阅读 下载PDF 职称材料

基于3D heatmap的人体三维姿态估计方法 被引量：2

16

作者 严曲 李由 甘叔玮 《载人航天》 CSCD 北大核心 2022年第1期16-21,共6页

针对肢体间自遮挡和物体遮挡造成的关节位置信息缺失问题,提出了一种基于3D heatmap的三维姿态估计方法。首先,采用卷积神经网络对人体二维关节点热图heatmap进行提取,并根据各摄像头间的外参数构建人体各关节点的初始3D heatmap;然后,... 针对肢体间自遮挡和物体遮挡造成的关节位置信息缺失问题,提出了一种基于3D heatmap的三维姿态估计方法。首先,采用卷积神经网络对人体二维关节点热图heatmap进行提取,并根据各摄像头间的外参数构建人体各关节点的初始3D heatmap;然后,利用人体扫描与建模获得的人体模型先验信息,采用期望最大化算法,迭代优化获得最符合人体模型的关节点在空间的位置分布。最后利用Human3.6M数据集进行验证。结果表明:在部分视图存在遮挡的情况下,可获得高精度的三维关节点位置。 展开更多

关键词 三维人体姿态估计 人体模型 3D heatmap 期望最大化算法

在线阅读 下载PDF 职称材料

深度学习的三维人体姿态估计综述 被引量：16

17

作者 王仕宸 黄凯 +1 位作者 陈志刚 张文东 《计算机科学与探索》 CSCD 北大核心 2023年第1期74-87,共14页

三维人体姿态估计的目的是预测出人体关节点的三维坐标位置和角度等信息,构建人体表示(如人体骨骼),以便进一步分析人体姿态。随着深度学习方法的不断推进,越来越多的基于深度学习的高性能三维人体姿态估计方法被提出。然而由于图片的... 三维人体姿态估计的目的是预测出人体关节点的三维坐标位置和角度等信息,构建人体表示(如人体骨骼),以便进一步分析人体姿态。随着深度学习方法的不断推进,越来越多的基于深度学习的高性能三维人体姿态估计方法被提出。然而由于图片的人体遮挡、训练规模需求较大等原因,三维人体姿态估计仍然存在挑战。该研究目的是通过对近年来的多篇研究论文进行回顾,分析和比较这些方法的推理过程和核心要素,从不同输入的角度入手,全面阐述近年来基于深度学习的三维人体姿态估计方法。此外,还介绍了相关数据集和评价指标,在Human3.6M、Campus和Shelf数据集上对部分模型进行实验数据比对,分析对比实验结果。最后,根据本次调查的结果,讨论目前三维人体姿态估计所面临的困难和挑战,对三维人体姿态估计的未来发展进行了探讨。 展开更多

关键词 三维人体姿态估计 深度学习 神经网络 关键点检测

在线阅读 下载PDF 职称材料

三维人体姿态估计研究综述 被引量：16

18

作者 王发明 李建微 陈思喜 《计算机工程与应用》 CSCD 北大核心 2021年第10期26-38,共13页

三维人体姿态估计在本质上是一个分类问题和回归问题,主要通过图像估计人体的三维姿态。基于传统方法和深度学习方法的三维人体姿态估计是当前研究的主流方法。按照传统方法到深度学习方法的顺序对近年来三维人体姿态估计方法进行系统介... 三维人体姿态估计在本质上是一个分类问题和回归问题,主要通过图像估计人体的三维姿态。基于传统方法和深度学习方法的三维人体姿态估计是当前研究的主流方法。按照传统方法到深度学习方法的顺序对近年来三维人体姿态估计方法进行系统介绍,从而了解传统方法通过生成和判别等方法得到人体姿态的众多要素完成三维人体姿态的估计。基于深度学习的三维人体姿态估计方法主要通过构建神经网络,从图像特征中回归出人体姿态信息,大致可以分为基于直接回归方法、基于2D信息方法和基于混合方法的三维人体姿态估计这三类。最后对当前三维人体姿态估计研究所面临的困难与挑战进行阐述,并对未来的研究趋势做出展望。 展开更多

关键词 三维人体姿态估计 神经网络 深度学习 关键点检测 回归与检测

在线阅读 下载PDF 职称材料

三维人体模型姿态与形状重构 被引量：10

19

作者 曾志超 李桂清 +2 位作者 邹歆仪 王宇攀 聂勇伟 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2019年第9期1485-1493,共9页

为了解决单张照片人体重构出现的姿态翻转问题,提高重构模型的准确度,提出相邻帧姿态约束和人体轮廓线匹配的姿态与形状序列同时重构算法.对视频中的每一帧,首先估计出图像中人物的二维关节点、人物脸部特征点及其边缘轮廓线;然后将参... 为了解决单张照片人体重构出现的姿态翻转问题,提高重构模型的准确度,提出相邻帧姿态约束和人体轮廓线匹配的姿态与形状序列同时重构算法.对视频中的每一帧,首先估计出图像中人物的二维关节点、人物脸部特征点及其边缘轮廓线;然后将参数化模型SMPL所表达的三维人体投影到二维平面上,使得投影后的二维信息与对应的视频帧二维信息相匹配;最后通过调整SMPL的姿态与形状参数来最小化匹配能量函数,从而重构出与视频帧中人物具有相似姿态与形状的三维人体模型.此外,为了使重构结果显得更真实,也对图像帧中人体的头部姿态进行了检测和匹配.该算法在MPI-INF-3DHP数据集、Youku视频和自拍视频帧上均进行了实验,实验结果表明,与SMPLify算法等相比,该算法能有效地避免重构结果中出现姿态翻转的现象,且能在保证模型整体姿态相似性的前提下重构出准确的头部姿态和相似的模型形状. 展开更多

关键词 三维人体重构 三维人体形状 人体姿态估计 视频重构

在线阅读 下载PDF 职称材料

基于单视图的带纹理三维人体网格参数化重建 被引量：1

20

作者 邢燕 徐冬 +1 位作者 洪沛霖 檀结庆 《合肥工业大学学报（自然科学版）》 CAS 北大核心 2024年第3期347-353,共7页

针对计算机视觉中的三维人体重建问题,文章提出一种端到端的的网络框架,在三维和二维混合监督下,从单幅彩色图像重建带纹理信息的精准三维人体网格。使用4个编码器分别提取形状姿态特征、纹理特征、光照参数和像机参数,得到的图像特征... 针对计算机视觉中的三维人体重建问题,文章提出一种端到端的的网络框架,在三维和二维混合监督下,从单幅彩色图像重建带纹理信息的精准三维人体网格。使用4个编码器分别提取形状姿态特征、纹理特征、光照参数和像机参数,得到的图像特征被送入三维回归模块,迭代推断出三维人体参数;纹理参数送入纹理解码器网络得到纹理图;学习到的人体参数可转化为三维人体网格;对于损失函数的设置,预测的人体网格顶点与真实顶点的差值用来进行三维监督;通过预测的像机参数、光照参数和纹理计算二维渲染损失;通过三维关节投射得到的二维关节与图像上的二维关节真值计算二维关节重投影损失;生成对抗网络的鉴别器使得渲染图像更加真实。该文方法与现有的三维人体重建方法相比具有竞争力,而且重建的三维人体网格带有纹理信息。 展开更多

关键词 三维人体重建 深度学习 蒙皮多人线性(SMPL)模型 形状姿态 纹理

在线阅读 下载PDF 职称材料