基于双流-非局部时空残差卷积神经网络的人体行为识别 被引量：4

1

作者 钱惠敏 陈实 皇甫晓瑛 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第3期1100-1108,共9页

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残... 3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。 展开更多

关键词 人体行为识别 双流卷积神经网络 3维卷积神经网络 网络剪枝 非局部模块

在线阅读 下载PDF 职称材料

基于3D双流卷积神经网络和GRU网络的人体行为识别 被引量：7

2

作者 陈颖 来兴雪 +2 位作者 周志全 秦晓宏 池亚平 《计算机应用与软件》 北大核心 2020年第5期164-168,218,共6页

针对基于双流卷积神经网络的人体行为识别准确率不高,不能充分利用时间维度的信息问题,提出一种基于3D双流卷积和门控循环单元(GRU)网络的人体行为识别模型。将3D卷积神经网络引入到双流卷积神经网络中,在双流卷积神经网络的空间流和时... 针对基于双流卷积神经网络的人体行为识别准确率不高,不能充分利用时间维度的信息问题,提出一种基于3D双流卷积和门控循环单元(GRU)网络的人体行为识别模型。将3D卷积神经网络引入到双流卷积神经网络中,在双流卷积神经网络的空间流和时间流中分别使用3D卷积神经网络提取视频的时空信息;融合3D双流卷积神经网络提取到的时空特征,形成有时间顺序的时空特征流;将时空特征流输入到具有记忆信息能力的GRU网络中递归学习时间维度的长时序列特征并利用线性SVM分类器进行人体行为识别。在行为识别数据集UCF101上的实验结果表明,该模型充分地利用了视频的时间维度信息,识别率为92.2%,优于其他人体行为识别算法。 展开更多

关键词 人体行为识别 3D卷积神经网络 双流卷积神经网络 门控循环单元

在线阅读 下载PDF 职称材料

3维卷积递归神经网络的高光谱图像分类方法 被引量：9

3

作者 关世豪 杨桄 +1 位作者 李豪 付严宇 《激光技术》 CAS CSCD 北大核心 2020年第4期485-491,共7页

为了针对高光谱图像中空间信息与光谱信息的不同特性进行特征提取,提出一种3维卷积递归神经网络(3-D-CRNN)的高光谱图像分类方法。首先采用3维卷积神经网络提取目标像元的局部空间特征信息,然后利用双向循环神经网络对融合了局部空间信... 为了针对高光谱图像中空间信息与光谱信息的不同特性进行特征提取,提出一种3维卷积递归神经网络(3-D-CRNN)的高光谱图像分类方法。首先采用3维卷积神经网络提取目标像元的局部空间特征信息,然后利用双向循环神经网络对融合了局部空间信息的光谱数据进行训练,提取空谱联合特征,最后使用Softmax损失函数训练分类器实现分类。3-D-CRNN模型无需对高光谱图像进行复杂的预处理和后处理,可以实现端到端的训练,并且能够充分提取空间与光谱数据中的语义信息。结果表明,与其它基于深度学习的分类方法相比,本文中的方法在Pavia University与Indian Pines数据集上分别取得了99.94%和98.81%的总体分类精度,有效地提高了高光谱图像的分类精度与分类效果。该方法对高光谱图像的特征提取具有一定的启发意义。 展开更多

关键词 光谱学 高光谱图像分类 3维卷积神经网络 双向循环神经网络 空谱联合特征

在线阅读 下载PDF 职称材料

基于三维卷积神经网络的工作流识别方法 被引量：7

4

作者 胡海洋 丁佳民 +2 位作者 胡华 陈洁 李忠金 《计算机集成制造系统》 EI CSCD 北大核心 2018年第7期1747-1757,共11页

鉴于传统的依赖于目标物体检测与跟踪的动作识别方法很难适用于复杂的生产制造环境,为了实现有效的工作流识别,从运动物体的检测与分割、视频序列中多视图特征向量的提取及工人生产动作的分类识别3方面入手,提出基于3D卷积神经网络的工... 鉴于传统的依赖于目标物体检测与跟踪的动作识别方法很难适用于复杂的生产制造环境,为了实现有效的工作流识别,从运动物体的检测与分割、视频序列中多视图特征向量的提取及工人生产动作的分类识别3方面入手,提出基于3D卷积神经网络的工作流识别框架。给出计算模型与相应的算法,并进行了系统的对比实验。通过实验发现,该方法比传统的隐Markov方法和其他方法在识别速度上提升了32%,在识别率上也提升了9%。 展开更多

关键词 智能制造 工作流 行为识别 帧间差分 3维卷积神经网络

在线阅读 下载PDF 职称材料

三维卷积神经网络及其在视频理解领域中的应用研究 被引量：6

5

作者 白静 杨瞻源 +1 位作者 彭斌 李文静 《电子与信息学报》 EI CSCD 北大核心 2023年第6期2273-2283,共11页

3维卷积神经网络(3D CNN)是近几年来深度学习研究中的热点,在计算机视觉领域取得了诸多成就。虽然研究多年且成果丰富,但目前仍缺少关于此内容全面、细致的综述。基于此,该文从以下几个方面对其进行综述:首先阐述3维卷积神经网络的基本... 3维卷积神经网络(3D CNN)是近几年来深度学习研究中的热点,在计算机视觉领域取得了诸多成就。虽然研究多年且成果丰富,但目前仍缺少关于此内容全面、细致的综述。基于此,该文从以下几个方面对其进行综述:首先阐述3维卷积神经网络的基本原理和模型结构,接着从网络结构、网络内部和优化方法总结3维卷积神经网络的相关改进工作,然后对3维卷积神经网络在视频理解领域中的应用进行总结,最后总结全文内容并对未来发展方向进行展望。该文针对3维卷积神经网络的最新研究进展以及在视频理解领域中的应用进行了系统的综述,对3维卷积神经网络的研究发展具有一定的积极意义。 展开更多

关键词 视频理解 深度学习 3维卷积神经网络 网络结构

在线阅读 下载PDF 职称材料

基于深度卷积神经网络和深度视频的人体行为识别 被引量：7

6

作者 刘智 冯欣 张杰 《重庆大学学报（自然科学版）》 EI CAS CSCD 北大核心 2017年第11期99-106,共8页

传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。以深度视频为研究对象,构建了3维卷积深度神经网络自动学习人体行为的时空特征,使用Softmax分类器进行人体行为的分类识别。实验结果表明,... 传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。以深度视频为研究对象,构建了3维卷积深度神经网络自动学习人体行为的时空特征,使用Softmax分类器进行人体行为的分类识别。实验结果表明,提出的方法能够有效提取人体行为的潜在特征,不但在MSR-Action3D数据集上能够获得与当前最好方法一致的识别效果,在UTKinect-Action3D数据集也能够获得与基准项目相当的识别效果。本方法的优势是不需要人工提取特征,特征提取和分类识别构成一个端到端的完整闭环系统,方法更加简单。同时,研究方法也验证了深度卷积神经网络模型具有良好的泛化性能,使用MSR-Action3D数据集训练的模型直接应用于UTKinect-Action3D数据集上行为的分类识别,同样获得了良好的识别效果。 展开更多

关键词 深度学习 人体行为识别 深度卷积神经网络 深度视频 3维卷积

在线阅读 下载PDF 职称材料

融合双流三维卷积和注意力机制的动态手势识别 被引量：26

7

作者 王粉花 张强 +1 位作者 黄超 张苒 《电子与信息学报》 EI CSCD 北大核心 2021年第5期1389-1396,共8页

得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改... 得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改进了I3D网络模型的相关参数和结构,为了提高模型的收敛速度和稳定性,使用了批量归一化(BN)技术优化网络,使优化后网络的训练时间缩短。同时与多种双流3D卷积方法在开源中国手语数据集(CSL)上进行了实验对比,实验结果表明,该文所提方法能很好地识别动态手势,识别率达到了90.76%,高于其他动态手势识别方法,验证了所提方法的有效性和可行性。 展开更多

关键词 动态手势识别 深度学习 双流3维卷积神经网络 注意力机制 BN层

在线阅读 下载PDF 职称材料

近场毫米波三维成像与异物检测方法 被引量：13

8

作者 师君 阙钰佳 +3 位作者 周泽南 周远远 张晓玲 孙铭芳 《雷达学报（中英文）》 CSCD 北大核心 2019年第5期578-588,共11页

主动式毫米波阵列3维成像系统是人体安检成像系统的研究热点,该文对主动式毫米波阵列3维系统工作模式、信号模型和成像算法进行了介绍,并将深度学习中的卷积神经网络(CNN)热图检测方法和边框回归检测技术应用于人体安检成像异物检测。... 主动式毫米波阵列3维成像系统是人体安检成像系统的研究热点,该文对主动式毫米波阵列3维系统工作模式、信号模型和成像算法进行了介绍,并将深度学习中的卷积神经网络(CNN)热图检测方法和边框回归检测技术应用于人体安检成像异物检测。研究表明,基于热图的检测方法和基于YOLO的检测方法均可实现异物检测。基于热图的检测方法网络结构简单、易训练,但由于需要遍历整幅待检测图像,运算时间长,且生成的检测框尺寸固定,无法适应异物尺寸变化。基于YOLO的检测算法网络结构复杂、训练耗时长,但该方法在检测速度与检测框精度上优势明显,更利于机场安检等对实时性要求较高的检测应用。 展开更多

关键词 近场毫米波3维成像 后向投影 卷积神经网络 图像检测 边框回归

在线阅读 下载PDF 职称材料

基于曲面类型与深度学习融合的三维掌纹识别技术

9

作者 张宗华 王晟贤 +1 位作者 高楠 孟召宗 《电子与信息学报》 EI CSCD 北大核心 2022年第4期1469-1475,共7页

传统的2维掌纹识别在图像采集时容易受到干湿度、残影和压力等影响,使得其鲁棒性和准确性降低。为解决这些问题,3维掌纹识别技术应运而生。现有的3维掌纹身份认证技术需要将掌纹的特征提取与匹配识别分开进行,不仅延缓了识别时间,更增... 传统的2维掌纹识别在图像采集时容易受到干湿度、残影和压力等影响,使得其鲁棒性和准确性降低。为解决这些问题,3维掌纹识别技术应运而生。现有的3维掌纹身份认证技术需要将掌纹的特征提取与匹配识别分开进行,不仅延缓了识别时间,更增加了不同方法优化组合的难度。该文提出一种基于曲面类型(ST)与深度学习融合的3维掌纹识别方法。该方法利用ST图像表示3维掌纹特征,并将其作为卷积神经网络(CNN)的输入,实现网络的训练。测试图像可自行提取掌纹图像特征信息并在网络中直接完成识别。实验结果表明,该文方法在公开数据集上得到了99.43%的准确率和28 ms的识别时间,与传统3维掌纹识别方法相比均有提高,实现了3维掌纹的快速高精度识别。 展开更多

关键词 3维掌纹识别 曲面类型 深度学习 卷积神经网络

在线阅读 下载PDF 职称材料

基于视点差异和多分类器的三维模型分类

10

作者 丁博 范宇飞 +1 位作者 高源 何勇军 《电子与信息学报》 EI CSCD 北大核心 2022年第11期3977-3986,共10页

基于视图的3维模型分类方法与深度学习融合能有效提升模型分类的准确率。但目前的方法将相同类别的3维模型所有视点上的视图归为一类,忽略了不同视点上的视图差异,导致分类器很难学习到一个合理的分类面。为解决这一问题,该文提出一个... 基于视图的3维模型分类方法与深度学习融合能有效提升模型分类的准确率。但目前的方法将相同类别的3维模型所有视点上的视图归为一类,忽略了不同视点上的视图差异,导致分类器很难学习到一个合理的分类面。为解决这一问题,该文提出一个基于深度神经网络的3维模型分类方法。该方法在3维模型的周围均匀设置多个视点组,为每个视点组训练1个视图分类器,充分挖掘不同视点组下的3维模型深度信息。这些分类器共享1个特征提取网络,但却有各自的分类网络。为了使提取的视图特征具有区分性,在特征提取网络中加入注意力机制;为了对非本视点组的视图建模,在分类网络中增加了附加类。在分类阶段首先提出一个视图选择策略,从大量视图中选择少量视图用于分类,以提高分类效率。然后提出一个分类策略通过分类视图实现可靠的3维模型分类。在ModelNet10和ModelNet40上的实验结果表明,该方法在仅用3张视图的情况下分类准确率高达93.6%和91.0%。 展开更多

关键词 3维模型分类 卷积神经网络 视点差异 分类器 注意力机制

在线阅读 下载PDF 职称材料

基于图像数据耦合识别的输电线路安全风险评估方法 被引量：13

11

作者 徐昌前 王东 +3 位作者 苏峰 张钧 边海峰 李龙 《计算机科学》 CSCD 北大核心 2023年第S01期793-798,共6页

位于高海拔、高覆冰风险地区的输电线路在极端气候下面临大面积断线和倒塔风险,传统人工巡线识别速度慢、准确度低,造成大量人力成本开销。提出一种考虑多维图像耦合驱动的输电线路安全风险评估方法,将关键设备覆冰图像与电网运行状态... 位于高海拔、高覆冰风险地区的输电线路在极端气候下面临大面积断线和倒塔风险,传统人工巡线识别速度慢、准确度低,造成大量人力成本开销。提出一种考虑多维图像耦合驱动的输电线路安全风险评估方法,将关键设备覆冰图像与电网运行状态等高线图像进行融合识别,以实现相关输电线路安全风险快速准确辨识。首先将输电线路电气数据和环境数据耦合生成多维热力图像,生成可反映全系统内输电线路电压偏移度、线路负载率、环境温度和线路覆冰程度的多维图像数据,并根据电气数据和环境数据计算线路安全风险指标。之后,搭建基于MobileNet-V3框架的卷积神经网络模型,并将生成的多维图像数据作为该模型的输入,输电线路安全风险指标作为输出,对模型进行训练,生成输电线路安全风险快速评估模型。最后在某省500 kV输电线路上对该模型进行测试,测试结果表明,该方法可实现输电线路安全风险快速准确评估。 展开更多

关键词 多维数据耦合 MobileNet-V3 卷积神经网络 环境温度 线路覆冰 输电线路安全风险评估

在线阅读 下载PDF 职称材料