-
题名面向单目可见光环境的自适应双手重建网络
- 1
-
-
作者
廖国琼
黄龙杰
李清新
辜勇
李海波
-
机构
江西财经大学虚拟现实(vr)现代产业学院
江西财经大学信息管理与数学学院
江西财经大学软件与物联网工程学院
瑞典皇家理工学院
-
出处
《图学学报》
北大核心
2025年第4期837-846,共10页
-
基金
江西省研究生创新专项(YC2024-S392)。
-
文摘
准确重建双手手部网格对于自然的人机交互体验来说是一个至关重要的过程,但由于双手的遮挡、户外收集双手交互数据集的复杂性和复杂的光照环境干扰等因素导致双手手部重建任务仍极具挑战性。目前已有的工作大多是在环境干扰比较小的实验室等场景下取得的的良好效果,而在复杂的光照场景中的重建效果仍不佳。为了解决上述问题,提出一种面向单目可见光环境的自适应手部重建网络。通过引入单手检测框和使用2D复杂光照场景数据集进行弱监督等策略使得模型得以对复杂光照场景产生泛化性;设计的双手特征交互器得以有效建立左右手特征的远距离依赖关系,缓解了单手检测框缺乏双手交互信息的问题;针对如何有效融合交互特征与单手特征的问题,设计了自适应融合的策略,增强了模型的鲁棒性。实验结果表明,在包含多个复杂光照场景的HIC数据集中取得了最佳的效果。
-
关键词
复杂光照场景
手部网格
双手交互
弱监督
特征融合
-
Keywords
complex lighting
hand mesh
two-hand interaction
weak supervision
feature fusion
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于样本内外协同表示和自适应融合的多模态学习方法
被引量：1
- 2
-
-
作者
黄学坚
马廷淮
王根生
-
机构
江西财经大学虚拟现实(vr)现代产业学院
南京信息工程大学计算机学院
江西财经大学信息管理学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2024年第5期1310-1324,共15页
-
基金
国家自然科学基金项目(62372243,72061015,62102187)。
-
文摘
多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,该多模态学习方法在多个评价指标上优于基线方法.
-
关键词
多模态表示
多模态融合
多模态学习
协同表示
自适应融合
-
Keywords
multimodal representation
multimodal fusion
multimodal learning
collaborative representation
adaptive fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
