从单张RGB图像中实现双手的3D交互式网格重建是一项极具挑战性的任务。由于双手之间的相互遮挡以及局部外观相似性较高,导致部分特征提取不够准确,从而丢失了双手之间的交互信息并使重建的手部网格与输入图像出现不对齐等问题。为了解...从单张RGB图像中实现双手的3D交互式网格重建是一项极具挑战性的任务。由于双手之间的相互遮挡以及局部外观相似性较高,导致部分特征提取不够准确,从而丢失了双手之间的交互信息并使重建的手部网格与输入图像出现不对齐等问题。为了解决上述问题,本文首先提出一种包含两个部分的特征交互适应模块,第一部分特征交互在保留左右手分离特征的同时生成两种新的特征表示,并通过交互注意力模块捕获双手的交互特征;第二部分特征适应则是将此交互特征利用交互注意力模块适应到每只手,为左右手特征注入全局上下文信息。其次,引入三层图卷积细化网络结构用于精确回归双手网格顶点,并通过基于注意力机制的特征对齐模块增强顶点特征和图像特征的对齐,从而增强重建的手部网格和输入图像的对齐。同时提出一种新的多层感知机结构,通过下采样和上采样操作学习多尺度特征信息。最后,设计相对偏移损失函数约束双手的空间关系。在InterHand2.6M数据集上的定量和定性实验表明,与现有的优秀方法相比,所提出的方法显著提升了模型性能,其中平均每关节位置误差(Mean Per Joint Position Error,MPJPE)和平均每顶点位置误差(Mean Per Vertex Position Error,MPVPE)分别降低至7.19 mm和7.33 mm。此外,在RGB2Hands和EgoHands数据集上进行泛化性实验,定性实验结果表明所提出的方法具有良好的泛化能力,能够适应不同环境背景下的手部网格重建。展开更多
为了提高锂离子电池健康状态(state of health,SOH)估计的精确度,本研究结合卷积神经网络(convolutional neural networks,CNN)强大的局部特征提取能力和Transformer的序列处理能力,提出了基于多项式特征扩展的CNN-Transformer融合模型...为了提高锂离子电池健康状态(state of health,SOH)估计的精确度,本研究结合卷积神经网络(convolutional neural networks,CNN)强大的局部特征提取能力和Transformer的序列处理能力,提出了基于多项式特征扩展的CNN-Transformer融合模型。该方法提取了与电池容量高度相关的增量容量(incremental capacity,IC)曲线峰值、IC曲线对应电压、面积及充电时间作为健康因子,然后将其进行多项式扩展,增加融合模型对输入特征的非线性处理能力。引入主成分分析法(principal component analysis,PCA)对特征空间进行降维,有利于捕获数据有效信息,减少模型训练时间。采用美国国家宇航局(National Aeronautics and Space Administration,NASA)数据集和马里兰大学数据集,通过加入多项式特征前后的CNN-Transformer模型对比、加入多项式特征的CNN-Transformer模型和单一模型算法对比,验证了加入多项式特征的CNN-Transformer融合算法的有效性和精确度,结果表明提出模型的SOH估计精度相较于未加入多项式特征的CNN-Transformer模型,对于B0005、B0006、B0007、B0018数据集分别提高了38.71%、50.28%、4.71%、17.58%。展开更多
文摘从单张RGB图像中实现双手的3D交互式网格重建是一项极具挑战性的任务。由于双手之间的相互遮挡以及局部外观相似性较高,导致部分特征提取不够准确,从而丢失了双手之间的交互信息并使重建的手部网格与输入图像出现不对齐等问题。为了解决上述问题,本文首先提出一种包含两个部分的特征交互适应模块,第一部分特征交互在保留左右手分离特征的同时生成两种新的特征表示,并通过交互注意力模块捕获双手的交互特征;第二部分特征适应则是将此交互特征利用交互注意力模块适应到每只手,为左右手特征注入全局上下文信息。其次,引入三层图卷积细化网络结构用于精确回归双手网格顶点,并通过基于注意力机制的特征对齐模块增强顶点特征和图像特征的对齐,从而增强重建的手部网格和输入图像的对齐。同时提出一种新的多层感知机结构,通过下采样和上采样操作学习多尺度特征信息。最后,设计相对偏移损失函数约束双手的空间关系。在InterHand2.6M数据集上的定量和定性实验表明,与现有的优秀方法相比,所提出的方法显著提升了模型性能,其中平均每关节位置误差(Mean Per Joint Position Error,MPJPE)和平均每顶点位置误差(Mean Per Vertex Position Error,MPVPE)分别降低至7.19 mm和7.33 mm。此外,在RGB2Hands和EgoHands数据集上进行泛化性实验,定性实验结果表明所提出的方法具有良好的泛化能力,能够适应不同环境背景下的手部网格重建。
文摘为了提高锂离子电池健康状态(state of health,SOH)估计的精确度,本研究结合卷积神经网络(convolutional neural networks,CNN)强大的局部特征提取能力和Transformer的序列处理能力,提出了基于多项式特征扩展的CNN-Transformer融合模型。该方法提取了与电池容量高度相关的增量容量(incremental capacity,IC)曲线峰值、IC曲线对应电压、面积及充电时间作为健康因子,然后将其进行多项式扩展,增加融合模型对输入特征的非线性处理能力。引入主成分分析法(principal component analysis,PCA)对特征空间进行降维,有利于捕获数据有效信息,减少模型训练时间。采用美国国家宇航局(National Aeronautics and Space Administration,NASA)数据集和马里兰大学数据集,通过加入多项式特征前后的CNN-Transformer模型对比、加入多项式特征的CNN-Transformer模型和单一模型算法对比,验证了加入多项式特征的CNN-Transformer融合算法的有效性和精确度,结果表明提出模型的SOH估计精度相较于未加入多项式特征的CNN-Transformer模型,对于B0005、B0006、B0007、B0018数据集分别提高了38.71%、50.28%、4.71%、17.58%。
