基于时空卷积神经网络的数据缺失交通流预测 被引量：8

1

作者 张壮壮 屈立成 +2 位作者 李翔 张明皓 李昭璐 《计算机工程与应用》 CSCD 北大核心 2022年第7期259-265,共7页

针对数据连续缺失情况下交通流预测精度下降甚至失效的问题,提出了一种时空卷积神经网络预测模型,根据横向分布的时间相关性和纵向分布的空间相关性,构建路网交通数据时空矩阵,引入掩码矩阵标记数据的缺失状况,利用卷积操作提取路网中... 针对数据连续缺失情况下交通流预测精度下降甚至失效的问题,提出了一种时空卷积神经网络预测模型,根据横向分布的时间相关性和纵向分布的空间相关性,构建路网交通数据时空矩阵,引入掩码矩阵标记数据的缺失状况,利用卷积操作提取路网中各检测器之间隐含的非线性关联,建立当前时刻与未来交通状态的映射关系,实现数据缺失情况下的交通流预测。使用公开数据集,在3个时间尺度上的验证结果表明,所提出的模型在平均误差和预测精度两个方面均优于长短期记忆网络、门控循环单元、扩散卷积神经网络和图马尔可夫网络模型,在交通数据随机缺失和连续缺失两种情况下,均表现出了良好的稳定性和健壮性。 展开更多

关键词 智能交通系统 交通流预测 深度学习 时空卷积神经网络 连续数据缺失

在线阅读 下载PDF 职称材料

基于深度时空卷积神经网络的人群异常行为检测和定位 被引量：16

2

作者 胡学敏 陈钦 +2 位作者 杨丽 余进 童秀迟 《计算机应用研究》 CSCD 北大核心 2020年第3期891-895,共5页

针对公共场合人群异常行为检测准确率不高和训练样本缺乏的问题,提出一种基于深度时空卷积神经网络的人群异常行为检测和定位的方法。首先针对监控视频中人群行为的特点,综合利用静态图像的空间特征和前后帧的时间特征,将二维卷积扩展... 针对公共场合人群异常行为检测准确率不高和训练样本缺乏的问题,提出一种基于深度时空卷积神经网络的人群异常行为检测和定位的方法。首先针对监控视频中人群行为的特点,综合利用静态图像的空间特征和前后帧的时间特征,将二维卷积扩展到三维空间,设计面向人群异常行为检测和定位的深度时空卷积神经网络;为了定位人群异常行为,将视频分成若干子区域,获取视频的子区域时空数据样本,然后将数据样本输入设计的深度时空卷积神经网络进行训练和分类,实现人群异常行为的检测与定位。同时,为了解决深度时空卷积神经网络训练时样本数量不足的问题,设计一种迁移学习的方法,利用样本数量多的数据集预训练网络,然后在待测试的数据集中进行微调和优化网络模型。实验结果表明,该方法在UCSD和subway公开数据集上的检测准确率分别达到了99%和93%以上。 展开更多

关键词 人群异常行为检测 深度时空卷积神经网络 迁移学习 数据扩充

在线阅读 下载PDF 职称材料

基于时空图卷积神经网络的强迫振荡定位与传播预测 被引量：6

3

作者 冯双 彭祥佳 +5 位作者 陈佳宁 陆友文 陈力 洪希 雷家兴 汤奕 《中国电机工程学报》 EI CSCD 北大核心 2024年第4期1298-1309,I0005,共13页

振荡源定位与传播预测是抑制强迫振荡和保证电力系统稳定的关键。现有方法未能充分利用电网的空间拓扑信息和振荡的时序特征,限制了定位和预测的精度。因此,该文提出一种基于时空图卷积神经网络的强迫振荡定位与传播预测方法。首先,根... 振荡源定位与传播预测是抑制强迫振荡和保证电力系统稳定的关键。现有方法未能充分利用电网的空间拓扑信息和振荡的时序特征,限制了定位和预测的精度。因此,该文提出一种基于时空图卷积神经网络的强迫振荡定位与传播预测方法。首先,根据节点特征和拓扑信息构建图数据,考虑到强迫振荡传播的快速性,通过切比雪夫多项式扩大节点空间感受野,提取振荡空间特征。同时,利用门控循环单元网络提取多个节点振荡数据的时序关联,通过时空图卷积单元融合空间和时序特征。然后,将定位与传播预测分别建模为分类和回归问题,训练时空图卷积神经网络模型。算例分析表明,所提方法具有更高的准确率,且在噪声和部分节点数据缺失的情况下依然具有较好的性能。 展开更多

关键词 强迫振荡 振荡源定位 振荡传播 时空图卷积神经网络

在线阅读 下载PDF 职称材料

基于时空关联的时空图卷积神经网络城市轨道交通进站客流预测

4

作者 王润祺 郝妍熙 +2 位作者 胡华 方勇 刘志钢 《城市轨道交通研究》 北大核心 2024年第9期91-96,共6页

[目的]准确的短时客流预测对于提高超大规模城市轨道交通线网的运营和管理效率具有重要意义,而目前现有研究对于深度挖掘时空关联性仍不够充分,为此基于短时客流的时空规律提出了基于客流时空关联特征的STGCN(时空图卷积神经网络)模型。... [目的]准确的短时客流预测对于提高超大规模城市轨道交通线网的运营和管理效率具有重要意义,而目前现有研究对于深度挖掘时空关联性仍不够充分,为此基于短时客流的时空规律提出了基于客流时空关联特征的STGCN(时空图卷积神经网络)模型。[方法]首先,通过切比雪夫图卷积网络捕捉超大规模城市轨道交通网络的空间相关性,借助门控循环单元挖掘多时空关联特征下客流的时间相关性;然后,分析待预测车站历史客流数据相关性及OD(起讫点)客流数据相关性,以深入提取时空相关性;最后,结合客流时空关联特征建立STGCN模型。[结果及结论]以上海地铁江苏路站为例,进行短时进站客流预测,结果表明采用时空关联特征参数的预测结果较未加入特征参数的预测精度提高了16%,预测效果较优。 展开更多

关键词 城市轨道交通 短时进站客流预测 时空关联性 时空图卷积神经网络

在线阅读 下载PDF 职称材料

基于可拓展自注意力时空图卷积神经网络的用户轨迹识别模型

5

作者 雷天亮 吉立新 +2 位作者 王庚润 刘树新 巫岚 《电子学报》 EI CAS CSCD 北大核心 2024年第11期3741-3750,共10页

用户轨迹识别作为一项重要的时空数据挖掘任务,广泛应用于基于位置的个性化服务推荐、行程规划、犯罪行为检测和目标跟踪等领域,但依然面临预测精度不高的问题,主要原因是轨迹数据低采样且稀疏、轨迹类别数量巨大等.针对上述问题提出了... 用户轨迹识别作为一项重要的时空数据挖掘任务,广泛应用于基于位置的个性化服务推荐、行程规划、犯罪行为检测和目标跟踪等领域,但依然面临预测精度不高的问题,主要原因是轨迹数据低采样且稀疏、轨迹类别数量巨大等.针对上述问题提出了基于可拓展自注意力时空图卷积神经网络的用户轨迹识别模型(Expandable Self-Attention Spatio-Temporal Graph Convolutional Neural Networks,ESAST-GCNN),该模型采用时空图卷积神经网络方式,深度挖掘时序特征与空间特征关系,并进行预测与拓展,结合自注意力机制获取用户轨迹特征向量内部相关性,最终根据该特征向量进行用户轨迹身份识别.在两个真实数据集上进行测试后发现,ESAST-GCNN相较于TULER-GRU(TUL via Embedding and RNN)在Geolife与Gowalla中准确率分别提高了13.95%、10.63%,实验结果表明ESAST-GCNN优于其他模型,识别效果更好,适用范围更广. 展开更多

关键词 用户轨迹识别 时空图卷积神经网络 自注意力机制 深度学习 时空序列

在线阅读 下载PDF 职称材料

基于深度时空残差卷积神经网络的课堂教学视频中多人课堂行为识别 被引量：23

6

作者 黄勇康 梁美玉 +2 位作者 王笑笑 陈徵 曹晓雯 《计算机应用》 CSCD 北大核心 2022年第3期736-742,共7页

针对课堂教学场景遮挡严重、学生众多,以及目前的视频行为识别算法并不适用于课堂教学场景,且尚无学生课堂行为的公开数据集的问题,构建了课堂教学视频库以及学生课堂行为库,提出了基于深度时空残差卷积神经网络的课堂教学视频中实时多... 针对课堂教学场景遮挡严重、学生众多,以及目前的视频行为识别算法并不适用于课堂教学场景,且尚无学生课堂行为的公开数据集的问题,构建了课堂教学视频库以及学生课堂行为库,提出了基于深度时空残差卷积神经网络的课堂教学视频中实时多人学生课堂行为识别算法。首先,结合实时目标检测和跟踪,得到每个学生的实时图片流;接着,利用深度时空残差卷积神经网络对每个学生行为的时空特征进行学习,从而实现课堂教学场景中面向多学生目标的课堂行为的实时识别;此外,构建了智能教学评估模型,并设计实现了基于学生课堂行为识别的智能教学评估系统,助力教学质量的提升,以实现智慧教育。通过在课堂教学视频数据集上进行实验对比与分析,验证了提出的课堂教学视频中实时多人学生课堂行为识别模型能够达到88.5%的准确率,且所构建的基于课堂行为识别的智能教学评估系统在课堂教学视频数据集上也已取得较好的运行效果。 展开更多

关键词 深度时空残差卷积神经网络 目标检测 目标跟踪 多人课堂行为识别 智能教学评估

在线阅读 下载PDF 职称材料

基于时空图卷积神经网络的教师教学行为识别方法 被引量：2

7

作者 庞世燕 郝京京 +1 位作者 胡瀚淳 杨玉芹 《华中师范大学学报（自然科学版）》 CAS CSCD 北大核心 2023年第5期715-723,共9页

教师课堂教学行为是课堂教学活动的重要组成部分,而进行教师的教学行为识别对评价课堂教学质量有着重要意义.该文提出了一种基于时空图卷积神经网络的教师教学行为识别方法,此方法首先以教师教学视频中的单帧影像为单元提取人体骨架点信... 教师课堂教学行为是课堂教学活动的重要组成部分,而进行教师的教学行为识别对评价课堂教学质量有着重要意义.该文提出了一种基于时空图卷积神经网络的教师教学行为识别方法,此方法首先以教师教学视频中的单帧影像为单元提取人体骨架点信息,然后以时空图卷积神经网络为框架聚合多帧影像信息,对教师教学行为类别进行识别.为了验证方法的有效性,文章构建了两组包含6大类教师日常教学行为的视频数据集,并进行了对比实验.实验结果表明,基于时空图卷积神经网络的教师教学行为识别方法可以有效排除教室场景内无关信息的干扰,充分利用多帧影像中骨架点间产生的时空信息,来准确识别教师典型教学行为,具有更高准确率和更强的鲁棒性.该文相关研究可以及时、有效地反应教师的教学状态,有助于教师及时优化教学行为,助力智慧教学. 展开更多

关键词 行为识别 教师教学行为 时空图卷积神经网络 骨架信息提取

在线阅读 下载PDF 职称材料

时空图卷积网络的骨架识别硬件加速器设计

8

作者 谭会生 严舒琪 杨威 《电子测量技术》 北大核心 2024年第11期36-43,共8页

随着人工智能技术的不断发展,神经网络的数据规模逐渐扩大,神经网络的计算量也迅速攀升。为了减少时空图卷积神经网络的计算量,降低硬件实现的资源消耗,提升人体骨架识别时空图卷积神经网络(ST-GCN)实际应用系统的处理速度,利用现场可... 随着人工智能技术的不断发展,神经网络的数据规模逐渐扩大,神经网络的计算量也迅速攀升。为了减少时空图卷积神经网络的计算量,降低硬件实现的资源消耗,提升人体骨架识别时空图卷积神经网络(ST-GCN)实际应用系统的处理速度,利用现场可编程门阵列(FPGA),设计开发了一个基于时空图卷积神经网络的骨架识别硬件加速器。通过对原网络模型进行结构优化与数据量化,减少了FPGA实现约75%的计算量;利用邻接矩阵稀疏性的特点,提出了一种稀疏性矩阵乘加运算的优化方法,减少了约60%的乘法器资源消耗。经过对人体骨架识别实验验证,结果表明,在时钟频率100 MHz下,相较于CPU,FPGA加速ST-GCN单元,加速比达到30.53;FPGA加速人体骨架识别,加速比达到6.86。 展开更多

关键词 人体骨架识别 时空图卷积神经网络(ST-GCN) 硬件加速器 现场可编程门阵列(FPGA) 稀疏矩阵乘加运算硬件优化

在线阅读 下载PDF 职称材料

基于多尺度时空图卷积网络与Transformer融合的多节点短期电力负荷预测方法 被引量：10

9

作者 孟衡 张涛 +3 位作者 王金 张晋源 李达 时光蕤 《电网技术》 EI CSCD 北大核心 2024年第10期4297-4305,I0113-I0117,I0112,共15页

深度学习的发展为处理电力系统中海量的负荷数据提供了良好的基础。然而,现有的负荷预测方法大多采用历史负荷序列的时间相关性构建模型,没有同时考虑相邻节点之间存在的空间耦合特性和外部因素的影响。由于图卷积神经网络在挖掘电力系... 深度学习的发展为处理电力系统中海量的负荷数据提供了良好的基础。然而,现有的负荷预测方法大多采用历史负荷序列的时间相关性构建模型,没有同时考虑相邻节点之间存在的空间耦合特性和外部因素的影响。由于图卷积神经网络在挖掘电力系统拓扑结构中的空间特征上具有巨大潜力,因此,该文提出一种基于属性增强的多尺度时空图卷积神经网络与Transformer融合的电力系统多节点负荷预测方法。首先,将外部因素建模为动态属性和静态属性,设计属性增强单元对这些因素进行编码,并利用快速最大互信息系数量化各节点负荷的动态耦合信息。其次,采用多尺度时空图卷积网络挖掘节点间的短期时空特征,同时采用Transformer补充挖掘各节点负荷的长期时域特征。最后,使用门控融合层对两个模型进行融合。在纽约公开负荷数据集上的实验结果表明,所提方法能够充分挖掘多节点负荷数据中的时空耦合特性,具有更高的预测精度和稳定性。 展开更多

关键词 多节点负荷预测 多尺度时空图卷积神经网络 属性增强 TRANSFORMER

在线阅读 下载PDF 职称材料

多尺度全局自适应注意力图神经网络 被引量：1

10

作者 苟茹茹 杨文柱 +1 位作者 罗梓菲 原云峰 《计算机科学与探索》 CSCD 北大核心 2023年第12期3039-3051,共13页

针对动态多尺度图神经网络的编解码网络中存在的身体部位内部关节点间关联度不高和感受野受限制导致运动预测误差偏高的问题,提出了一种用于人体运动预测的多尺度全局自适应注意力图神经网络,降低运动预测误差。提出了一种划分骨架关节... 针对动态多尺度图神经网络的编解码网络中存在的身体部位内部关节点间关联度不高和感受野受限制导致运动预测误差偏高的问题,提出了一种用于人体运动预测的多尺度全局自适应注意力图神经网络,降低运动预测误差。提出了一种划分骨架关节点的多距离分区策略,用于提高身体部位关节点信息在时间和空间上的关联程度;提出了全局自适应注意力时空卷积神经网络,以动态地加强网络对某一动作有贡献的时空关节点的关注度;将上述两处改进集成到图卷积神经网络门控循环单元中,以增强解码网络的状态传播性能,并降低预测误差。实验表明,与最新方法相比,该方法在Human 3.6M、CMU Mocap和3DPW数据集上的预测误差都有所下降。 展开更多

关键词 运动预测 多距离分区策略 全局自适应注意力 时空图卷积神经网络 门控循环单元

在线阅读 下载PDF 职称材料

应用STGCN时空建模的地震波阻抗反演方法

11

作者 王泽峰 赵海波 +3 位作者 杨懋新 王团 许辉群 毛伟建 《石油地球物理勘探》 北大核心 2025年第1期43-53,共11页

现今,深度学习地震波阻抗反演方法通常是通过低维度的时序建模,忽略了空间构造拓扑结构信息,导致反演精度较低。针对此问题,提出了一种基于STGCN(时空图卷积神经网络)时空建模的地震波阻抗反演方法。该方法考虑到地震数据的空间构造拓... 现今,深度学习地震波阻抗反演方法通常是通过低维度的时序建模,忽略了空间构造拓扑结构信息,导致反演精度较低。针对此问题,提出了一种基于STGCN(时空图卷积神经网络)时空建模的地震波阻抗反演方法。该方法考虑到地震数据的空间构造拓扑结构及互相关性,使用马氏距离对地震数据进行空间邻近度的加权处理建立邻接矩阵;进一步通过切比雪夫多项式扩大空间感受野的同时减少参数量,高效地提取地震数据的空间构造特征,同时利用门控循环单元捕获其时序相关性;最后构建时空图卷积单元实现基于STGCN的地震数据与波阻抗在时间和空间两个维度的映射。模型测试及实际资料反演结果表明,该方法在提高反演精度的同时对噪声具有一定的适应性,并可以很好的体现地层的横向变化。 展开更多

关键词 地震波阻抗反演 深度学习 时空建模 时空图卷积神经网络

在线阅读 下载PDF 职称材料

计及时空特性的变压器油中溶解气体预测模型 被引量：1

12

作者 李紫豪 何怡刚 +1 位作者 周亚中 雷蕾潇 《电子测量与仪器学报》 北大核心 2025年第3期1-12,共12页

针对电力变压器复杂运行环境下油中溶解气体随时间呈现非平稳和非线性特性,仅考虑时间维度关联特征的神经网络预测模型难以满足高准确性、高可靠性需求,且在数据采集过程中不可避免的存在异常值,导致数据质量下降,进而影响预测模型精度... 针对电力变压器复杂运行环境下油中溶解气体随时间呈现非平稳和非线性特性,仅考虑时间维度关联特征的神经网络预测模型难以满足高准确性、高可靠性需求,且在数据采集过程中不可避免的存在异常值,导致数据质量下降,进而影响预测模型精度。因此首先采用基于密度的噪声应用空间聚类(DBSCAN)对油中溶解气体数据清洗,然后提出自适应非线性权重和莱维飞行策略改进鲸鱼优化算法,提高其局部及全局寻优能力,利用改进的鲸鱼优化算法优化DBSCAN中超参数提高数据清洗效果,最后分析气体成分间复杂关联关系,构建时空耦合卷积神经网络模型挖掘气体的时空特征,实现油中溶解气体时间序列预测。通过某电站变压器油中溶解气体实测数据验证,结果表明数据清洗后预测拟合优度(R^(2))提高0.727,在6种特征气体预测中R2都在0.9以上。相较于其他模型,所提模型在特征气体预测中均取得了最佳的预测结果,充分证明所提模型的有效性。 展开更多

关键词 改进的鲸鱼优化算法 数据清洗 时空耦合卷积神经网络 油中溶解气体预测

在线阅读 下载PDF 职称材料

一种改进STGCN的深地时空域地震子波提取方法 被引量：1

13

作者 戴永寿 孙家钊 +3 位作者 李泓浩 颜廷尚 孙伟峰 左琳 《石油物探》 CSCD 北大核心 2024年第6期1111-1125,1137,共16页

地震子波的准确提取可有效提高全波形反演和偏移成像等方法的准确性,对储层预测和油气分析具有重要意义。由于深层能量衰减和复杂地质构造,地震子波不仅具有时变特性,同时也具有不可忽略的空变特性。而传统时变子波提取方法仅通过单道... 地震子波的准确提取可有效提高全波形反演和偏移成像等方法的准确性,对储层预测和油气分析具有重要意义。由于深层能量衰减和复杂地质构造,地震子波不仅具有时变特性,同时也具有不可忽略的空变特性。而传统时变子波提取方法仅通过单道地震记录提取时变子波,忽略了多道地震记录之间子波的空间变化。同时,传统时空域子波提取方法,如经验模态分解(EMD)方法,对测井资料等先验信息依赖程度较高,实际应用范围受限。深度学习为时空域子波提取提供了新的思路,针对以上问题,提出了一种改进时空图卷积神经网络(STGCN)的时空域子波提取方法。首先,根据目标区地震数据分布特征与非平稳性质,建立以非平稳地震剖面为输入,时空域子波为标签的合成训练数据,再利用传统EMD时变子波提取方法逐道提取目标区子波,有针对性地构建以目标区地震剖面为输入,目标区时空域子波为标签的实际训练数据。最后,利用两种训练数据对改进后的STGCN进行训练,使其能够融合提取的子波时空特征,从而实现目标区时空域子波的有效提取。合成数据和实际地震数据的处理结果表明,该方法对于深地时空域子波的提取有效且准确,相较于传统方法更具优越性,具有较好的实际应用价值。 展开更多

关键词 深度学习 时空域子波提取 时空图卷积神经网络 时空特征

在线阅读 下载PDF 职称材料

基于多特征融合的唇语识别模型

14

作者 张甜愉 吕博 +2 位作者 周蓉 王琳 蒲梦杨 《电子测量技术》 北大核心 2025年第12期166-175,共10页

在单词级唇语识别研究中,使用三维卷积神经网络与残差网络的主流模型往往难以捕捉唇运动的几何动态,并且对细节依赖性高。为了缓解该问题,本文提出了一种基于多特征融合的端到端单词级唇语识别模型,该模型集成了像素级纹理细节特征、几... 在单词级唇语识别研究中,使用三维卷积神经网络与残差网络的主流模型往往难以捕捉唇运动的几何动态,并且对细节依赖性高。为了缓解该问题,本文提出了一种基于多特征融合的端到端单词级唇语识别模型,该模型集成了像素级纹理细节特征、几何级轮廓形状特征和词边界特征,实现了从时间和空间、像素级与几何级等多个维度的特征融合。其中,纹理细节特征提供精细化的局部信息;轮廓形状特征反应唇部几何结构及动态变化;词边界特征则引导模型关注有效时间帧。此外,本文将空间通道注意力机制整合到3D CNN和ResNet-18中以增强纹理细节特征提取,并利用全局上下文网络对时空图卷积网络进行改进后将其引入模型以捕捉几何级轮廓形状特征。实验表明,输入为灰度视频时,本文模型在公开的大规模单词级唇语识别数据集LRW上的准确率达到89.3%,相较于相同条件下单一或部分特征模型提升1.3%~3.9%,且高于大部分现有模型,验证了所提模型的有效性;同时,实验发现,使用彩色视频作为输入时,模型准确率进一步提高,为89.7%,验证了色彩信息对唇语识别的影响。 展开更多

关键词 单词级唇语识别 多特征融合 像素级纹理细节特征 几何级轮廓形状特征 时空图卷积神经网络

在线阅读 下载PDF 职称材料

基于新分区策略的ST-GCN人体动作识别 被引量：6

15

作者 杨世强 李卓 +3 位作者 王金华 贺朵 李琦 李德信 《计算机集成制造系统》 EI CSCD 北大核心 2023年第12期4040-4050,共11页

人体动作识别是智能监控、人机交互、机器人等领域的一项重要技术,基于人体骨架序列的动作识别方法在面对复杂背景以及人体尺度、视角和运动速度等变化时具有先天优势。时空图卷积神经网络模型(ST-GCN)在人体行为识别中具有卓越的识别性... 人体动作识别是智能监控、人机交互、机器人等领域的一项重要技术,基于人体骨架序列的动作识别方法在面对复杂背景以及人体尺度、视角和运动速度等变化时具有先天优势。时空图卷积神经网络模型(ST-GCN)在人体行为识别中具有卓越的识别性能,针对ST-GCN网络模型中的分区策略只关注局部动作的问题,设计了一种新的分区策略,通过关联根节点与更远节点,加强身体各部分信息联系和局部运动之间的联系,将根节点的相邻区域划分为根节点本身、向心群、远向心群、离心群和远离心群等5个区域,同时为各区域赋予不同的权重,提升了模型对整体动作的感知能力。最后,分别在公开数据集和真实场景下进行实验测试,结果表明,在大规模数据集Kinetics-skeleton上获得了31.1%的Top-1分类准确率,相比原模型提升了0.4%;在NTU-RGB+D的两个子数据集上分别获得了83.7%和91.6%的Top-1性能指标,相比原模型提升了2.3%和3.3%;在真实场景下,所提模型对动作变化明显且区别大的动作如俯卧撑和慢跑识别率高,对局部运动和动作变化相近的动作如鼓掌和摇头识别率偏低,尚有进一步提高的空间。 展开更多

关键词 动作识别 深度学习 时空图卷积神经网络模型 分区策略 骨架序列

在线阅读 下载PDF 职称材料

基于多步态特征融合的情感识别 被引量：1

16

作者 彭涛 唐经 +3 位作者 何凯 胡新荣 刘军平 何儒汉 《广西师范大学学报（自然科学版）》 CAS 北大核心 2022年第3期104-111,共8页

在情感计算、心理治疗、机器人、监视和观众理解等方面,基于步态特征的情感识别有着广泛的应用前景。已有方法表明,考虑手势位置等上下文信息可以显著提高情绪识别性能,且时空信息能显著提高情绪识别精度。但是单纯使用骨骼空间信息无... 在情感计算、心理治疗、机器人、监视和观众理解等方面,基于步态特征的情感识别有着广泛的应用前景。已有方法表明,考虑手势位置等上下文信息可以显著提高情绪识别性能,且时空信息能显著提高情绪识别精度。但是单纯使用骨骼空间信息无法充分表达步态中的情绪信息。为了充分利用步态特征,本文提出自适应融合的方法,将骨骼时空信息与骨骼旋转角度结合,提升了现有模型的情感识别精度。本文模型利用自编码器,学习人类行走时的骨骼旋转信息,利用时空图卷积神经网络提取骨骼点时空信息,将骨骼旋转信息与时空信息输入自适应融合网络,得到最终特征进行分类。模型在Emotion-Gait数据集上测试,实验结果显示:悲伤、愤怒和中立情绪的AP值比最新HAP方法分别提升5、8、5个百分点;总体分类的平均MAP值提高了5个百分点。 展开更多

关键词 步态特征 时空图卷积神经网络 特征融合 情感识别 自编码器

在线阅读 下载PDF 职称材料

基于视角转换的多视角步态识别方法 被引量：1

17

作者 瞿斌杰 孙韶媛 +1 位作者 Samah A.F.Manssor 赵国顺 《计算机工程》 CAS CSCD 北大核心 2021年第6期210-216,共7页

针对步态识别中步态视角变化、步态数据样本量少及较少利用步态时间信息等问题,提出一种基于视角转换的步态识别方法。通过VTM-GAN网络,将不同视角下的步态能量图及含有步态时间信息的彩色步态能量图,统一映射到保留步态信息最丰富的侧... 针对步态识别中步态视角变化、步态数据样本量少及较少利用步态时间信息等问题,提出一种基于视角转换的步态识别方法。通过VTM-GAN网络,将不同视角下的步态能量图及含有步态时间信息的彩色步态能量图,统一映射到保留步态信息最丰富的侧视图视角,以此突破步态识别中多视角的限制,在视角转换的基础上,通过构建侧视图下的步态正负样本对来扩充用于网络训练的数据,并采用基于距离度量的时空双流卷积神经网络作为步态识别网络。在CASIA-B数据集上的实验结果表明,该方法在各状态、各角度下的平均识别准确率达到92.5%,优于3DCNN、SST-MSCI等步态识别方法。 展开更多

关键词 步态识别 视角转换 VTM-GAN网络 时空双流卷积神经网络 CASIA-B数据集

在线阅读 下载PDF 职称材料