基于双流神经网络的个性化联邦学习方法 被引量：1

1

作者 沈哲远 杨珂珂 李京 《计算机应用》 CSCD 北大核心 2024年第8期2319-2325,共7页

经典的联邦学习(FL)算法在数据高度异构的场景下难以取得较好的效果。个性化联邦学习(PFL)针对数据异构问题,提出新的解决方案,即为每个客户端“量身定做”专属模型,这样模型会拥有较好的性能;然而同时会引出难以将FL扩展到新客户端上... 经典的联邦学习(FL)算法在数据高度异构的场景下难以取得较好的效果。个性化联邦学习(PFL)针对数据异构问题,提出新的解决方案,即为每个客户端“量身定做”专属模型,这样模型会拥有较好的性能;然而同时会引出难以将FL扩展到新客户端上的问题。针对PFL中的性能与扩展的难题展开研究,提出基于双流神经网络结构的联邦学习模型,简称FedDual。双流神经网络模型通过增加一个用于分析客户端个性化特征的编码器,既能拥有个性化模型的性能,又便于扩展到新客户端。实验结果表明,相较于经典联邦平均(FedAvg)算法,FedDual在MNIST和FashionMNIST等数据集上的准确率有明显提升,而在CIFAR10数据集上的准确率提升了10个百分点以上,且面对新客户端保持准确率不下降,实现了“即插即用”,解决了新客户端难以扩展的问题。 展开更多

关键词 联邦学习 个性化联邦学习 数据异构 双流神经网络 新客户端问题

在线阅读 下载PDF 职称材料

一种风向监督双流神经网络--以一维Burgers方程求解为例

2

作者 耿浩冉 田浩 +5 位作者 王成龙 宋宁 魏志强 冯毅雄 郭景任 聂婕 《中国海洋大学学报（自然科学版）》 CAS CSCD 北大核心 2024年第2期134-141,共8页

针对一维Burgers方程下单一建模方式难以充分考虑不同阶段风向对系数的影响比重,无法有效获得各节点间的关联信息的问题,本文提出了一种风向监督双流神经网络分别预测上下风向的有限差分系数。同时设计了一种风向判断模块,实现了对预测... 针对一维Burgers方程下单一建模方式难以充分考虑不同阶段风向对系数的影响比重,无法有效获得各节点间的关联信息的问题,本文提出了一种风向监督双流神经网络分别预测上下风向的有限差分系数。同时设计了一种风向判断模块,实现了对预测得到有限差分系数的权重融合。通过风向监督双流神经网络,并结合先验知识对学得的系数分配一定的权重,以突出上下风向对预测结果的不同影响,可以有效实现对不同风向上的点分别进行预测,使得空间结构特征信息挖掘更加充分,从而提高差分系数预测的精度。在比传统数值求解方法网格分辨率粗4~8倍的同时,提高了谷歌团队工作的精度,以此提高了计算的速度。 展开更多

关键词 风向监督双流神经网络 BURGERS方程 机器学习 迎风格式 数据驱动离散化

在线阅读 下载PDF 职称材料

基于双流神经网络的颈动脉粥样硬化斑块稳定性区分方法 被引量：4

3

作者 宁彬 李璐 +3 位作者 于腾飞 童挥 何文 赵明昌 《中国卒中杂志》 2019年第5期437-443,共7页

目的训练双流神经网络自动区分颈动脉粥样硬化斑块的稳定性。方法使用颈动脉内膜剥脱术后经病理证实的115例稳定颈动脉粥样硬化斑块患者和110例易损颈动脉粥样硬化斑块患者的844段超声造影视频,将其中744段视频作为训练集,训练双流神经... 目的训练双流神经网络自动区分颈动脉粥样硬化斑块的稳定性。方法使用颈动脉内膜剥脱术后经病理证实的115例稳定颈动脉粥样硬化斑块患者和110例易损颈动脉粥样硬化斑块患者的844段超声造影视频,将其中744段视频作为训练集,训练双流神经网络,得到在训练集上区分效果最佳的神经网络。将剩余的100段视频作为测试集,测试该神经网络自动区分颈动脉粥样硬化斑块稳定性的价值。结果神经网络在训练集上区分颈动脉斑块稳定性的准确率、敏感度、特异度、阳性预测值、阴性预测值、阳性似然比、阴性似然比分别为93%、87%、97%、96%、90%、29和0.13,在测试集上相应的结果分别为80%、70%、90%、88%、75%、7和0.33。受试者工作特征曲线上,训练集和测试集中双流神经网络判断斑块易损性的曲线下面积分别为0.99和0.84,均P<0.001。结论利用已知病理结果的超声造影视频,将其输入到双流神经网络进行训练,能得到较好的自动区分颈动脉粥样硬化斑块稳定性的模型。 展开更多

关键词 颈动脉 斑块 超声造影 双流神经网络

在线阅读 下载PDF 职称材料

基于双流神经网络的煤矿井下人员步态识别方法 被引量：8

4

作者 刘晓阳 刘金强 郑昊琳 《矿业科学学报》 CSCD 2021年第2期218-227,共10页

人脸、指纹和虹膜等生物识别方法在井下复杂环境限制下常常比较模糊,导致基于这些生物特征的煤矿井下人员身份识别率不高。本文在残差神经网络和栈式卷积自动编码器的基础上,提出了一种基于双流神经网络(TS-GAIT)的步态识别方法。主要... 人脸、指纹和虹膜等生物识别方法在井下复杂环境限制下常常比较模糊,导致基于这些生物特征的煤矿井下人员身份识别率不高。本文在残差神经网络和栈式卷积自动编码器的基础上,提出了一种基于双流神经网络(TS-GAIT)的步态识别方法。主要利用残差神经网络提取步态模式中包含时空信息的动态特征,利用栈式卷积自动编码器提取包含生理信息的静态特征,并采用一种新颖的特征融合方法实现动态特征和静态特征的融合表征。提取的特征对角度、衣着和携带条件具有鲁棒性。在CASIA-B步态数据集和采集的煤矿工人步态数据集(CM-GAIT)上对该方法进行实验评估。结果表明,采用该方法进行煤矿井下人员步态识别是有效可行的,与其他步态识别方法相比准确率有显著提高。 展开更多

关键词 煤矿井下人员 步态识别 栈式卷积自动编码器 残差神经网络 双流神经网络

在线阅读 下载PDF 职称材料

基于双流-非局部时空残差卷积神经网络的人体行为识别 被引量：4

5

作者 钱惠敏 陈实 皇甫晓瑛 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第3期1100-1108,共9页

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残... 3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。 展开更多

关键词 人体行为识别 双流卷积神经网络 3维卷积神经网络 网络剪枝 非局部模块

在线阅读 下载PDF 职称材料

基于3D双流卷积神经网络和GRU网络的人体行为识别 被引量：7

6

作者 陈颖 来兴雪 +2 位作者 周志全 秦晓宏 池亚平 《计算机应用与软件》 北大核心 2020年第5期164-168,218,共6页

针对基于双流卷积神经网络的人体行为识别准确率不高,不能充分利用时间维度的信息问题,提出一种基于3D双流卷积和门控循环单元(GRU)网络的人体行为识别模型。将3D卷积神经网络引入到双流卷积神经网络中,在双流卷积神经网络的空间流和时... 针对基于双流卷积神经网络的人体行为识别准确率不高,不能充分利用时间维度的信息问题,提出一种基于3D双流卷积和门控循环单元(GRU)网络的人体行为识别模型。将3D卷积神经网络引入到双流卷积神经网络中,在双流卷积神经网络的空间流和时间流中分别使用3D卷积神经网络提取视频的时空信息;融合3D双流卷积神经网络提取到的时空特征,形成有时间顺序的时空特征流;将时空特征流输入到具有记忆信息能力的GRU网络中递归学习时间维度的长时序列特征并利用线性SVM分类器进行人体行为识别。在行为识别数据集UCF101上的实验结果表明,该模型充分地利用了视频的时间维度信息,识别率为92.2%,优于其他人体行为识别算法。 展开更多

关键词 人体行为识别 3D卷积神经网络 双流卷积神经网络 门控循环单元

在线阅读 下载PDF 职称材料

一种基于双流卷积神经网络跌倒识别方法 被引量：13

7

作者 袁智 胡辉 《河南师范大学学报（自然科学版）》 CAS 北大核心 2017年第3期96-101,共6页

针对跌倒行为的视觉特征难以提取的问题,提出一种由两路卷积神经网络和模型融合部分组成的双流卷积神经网络(Two-Stream CNN)的跌倒识别方法.该方法的一路对视频帧的运动人加框标记后,送三维卷积神经网络(3D-CNN)处理来消除视频背景的干... 针对跌倒行为的视觉特征难以提取的问题,提出一种由两路卷积神经网络和模型融合部分组成的双流卷积神经网络(Two-Stream CNN)的跌倒识别方法.该方法的一路对视频帧的运动人加框标记后,送三维卷积神经网络(3D-CNN)处理来消除视频背景的干扰;另一路从相邻视频帧获取光流图后,送VGGNet-16卷积神经网络处理;最后将3D-CNN和VGGNet-16的Softmax输出识别概率加权融合作为Two-Stream CNN输出结果.实验结果表明:标记运动人并经3D-CNN处理有效地消除了视频背景的干扰;Two-Stream CNN跌倒识别率为96%,比3D-CNN提高了4%,比VGGNet-16网络提高了3%. 展开更多

关键词 跌倒识别 双流卷积神经网络 视频帧 光流图

在线阅读 下载PDF 职称材料

用于微表情识别的改进双流浅层卷积神经网络

8

作者 李昆仑 陈栋 +1 位作者 王珺 王怡辉 《小型微型计算机系统》 CSCD 北大核心 2021年第6期1219-1226,共8页

在微表情自动识别任务中,浅层卷积神经网络和深层网络相比更好地改善了网络训练过拟合的情况,但是多数浅层卷积神经网络存在输入特征单一和提取高维有效特征能力不足的问题.针对上述问题本文同时使用图像的灰度特征和运动特征表征原图像... 在微表情自动识别任务中,浅层卷积神经网络和深层网络相比更好地改善了网络训练过拟合的情况,但是多数浅层卷积神经网络存在输入特征单一和提取高维有效特征能力不足的问题.针对上述问题本文同时使用图像的灰度特征和运动特征表征原图像,并且提出了一种改进双流浅层卷积神经网络(Enhanced Dual-stream Shallow Convolutional Neural Network,EDSSNet)用于微表情的识别.本文首先使用欧拉视频放大算法和TV-L1光流法对视频关键帧处理,提取图像的灰度特征和运动特征,然后用空洞卷积和注意力模块改进双流浅层卷积网络模型,提高网络提取有效特征的能力,最后将两种特征输入网络训练后进行分类.理论分析及在CASMEⅡ、SMIC-HS和SAMM微表情数据库上的实验结果均表明了改进模型的有效性. 展开更多

关键词 微表情识别 双流卷积神经网络 欧拉视频放大算法 TV-L1光流法 空洞卷积 注意力机制

在线阅读 下载PDF 职称材料

基于改进双流网络的光伏漏电故障检测算法 被引量：1

9

作者 谢小诚 杨文呈 +3 位作者 赵彦宏 丁毅 李王宏 杨晨 《电网与清洁能源》 北大核心 2025年第1期146-154,共9页

针对含光伏电源的低压配电台区中剩余电流受多种因素影响,使正常泄漏电流波动,造成漏电流故障难以被准确识别的问题,提出基于改进双流神经网络的含光伏电源的低压配电台区漏电故障检测算法。首先,通过改进的卷积神经网络结构提取漏电故... 针对含光伏电源的低压配电台区中剩余电流受多种因素影响,使正常泄漏电流波动,造成漏电流故障难以被准确识别的问题,提出基于改进双流神经网络的含光伏电源的低压配电台区漏电故障检测算法。首先,通过改进的卷积神经网络结构提取漏电故障波形的空间特征;然后,基于长短期记忆神经网络提取漏电故障波形的时序特征,通过CBAM(convolutional block attention module,CBAM)注意力机制从空间角度提取关键信息,并增强每个通道的特征表达以提取重要特性,从而实现漏电故障精确识别;最后,通过仿真模型进行仿真分析与验证。实验结果表明,该文提出方法可实现漏电故障的高精度检测,且与常用方法相比,所提方法的故障检测准确率和稳定性更高、抗干扰能力更强。 展开更多

关键词 双流神经网络 注意力机制 漏电故障 剩余电流 光伏电源

在线阅读 下载PDF 职称材料

基于双流卷积神经网络的人体动作识别研究 被引量：5

10

作者 吕淑平 黄毅 王莹莹 《实验技术与管理》 CAS 北大核心 2021年第8期144-148,共5页

针对双流卷积神经网络存在的网络结构较浅、时间流及空间流网络均为独立训练学习、并未学习到时空网络之间关联信息等问题,文章设计了基于双流卷积神经网络的人体动作识别改进算法。采用ResNet-34对原网络进行替换,加深网络结构;将时间... 针对双流卷积神经网络存在的网络结构较浅、时间流及空间流网络均为独立训练学习、并未学习到时空网络之间关联信息等问题,文章设计了基于双流卷积神经网络的人体动作识别改进算法。采用ResNet-34对原网络进行替换,加深网络结构;将时间流、空间流网络提前进行特征图融合,加强时空网络信息融合的充分性。文章还对具体的融合方式和融合位置进行了实验研究,确定了网络最佳融合策略,在UCF-101数据集上的识别率为91.5%,相较于原网络以及其他相关识别方法有更高的识别精度。 展开更多

关键词 动作识别 深度学习 双流卷积神经网络

在线阅读 下载PDF 职称材料

一种双流卷积神经网络的黑烟车检测算法 被引量：7

11

作者 吴丙芳 叶兵 汪仕铭 《合肥工业大学学报（自然科学版）》 CAS 北大核心 2022年第2期198-202,共5页

针对目前人工监测机动车黑烟行为费时费力的问题,文章提出一种双流卷积神经网络的机动车黑烟检测方法。该方法首先使用Vibe背景模型提取运动前景目标,然后对前景图像使用霍夫直线检测,获取候选黑烟区域,减少了路面环境和机动车车身对黑... 针对目前人工监测机动车黑烟行为费时费力的问题,文章提出一种双流卷积神经网络的机动车黑烟检测方法。该方法首先使用Vibe背景模型提取运动前景目标,然后对前景图像使用霍夫直线检测,获取候选黑烟区域,减少了路面环境和机动车车身对黑烟检测的影响。双流卷积神经网络分为空间流卷积神经网络和时间流卷积神经网络,空间流提取黑烟图像的空间域特征,时间流通过光流图片获取黑烟图像的动态信息,将2个网络的输出结果融合得到最后分类结果。实验结果表明,该文提出的黑烟检测模型的识别率高达93.7%,为行驶中的机动车黑烟监控提供了一种有效方案。 展开更多

关键词 黑烟检测 直线检测 空间信息 动态信息 双流卷积神经网络

在线阅读 下载PDF 职称材料

基于双流残差卷积神经网络的养殖鳗鲡(Anguilla)摄食强度评估研究 被引量：1

12

作者 李凯 江兴龙 +1 位作者 许志扬 林茜 《海洋与湖沼》 CAS CSCD 北大核心 2023年第4期1207-1216,共10页

为实现对养殖鳗鲡(Anguilla)摄食强度的准确评估,提出了一种基于双流残差卷积神经网络的鳗鲡摄食强度评估方法,该方法针对传统双流网络(Two-stream)中存在的问题做出了相应的改进。首先针对传统双流网络存在网络结构较浅,无法提取到充... 为实现对养殖鳗鲡(Anguilla)摄食强度的准确评估,提出了一种基于双流残差卷积神经网络的鳗鲡摄食强度评估方法,该方法针对传统双流网络(Two-stream)中存在的问题做出了相应的改进。首先针对传统双流网络存在网络结构较浅,无法提取到充分的鳗鲡摄食行为特征的问题,选择使用ResNet50网络进行替换,以提取到更具代表性的特征。其次针对传统双流网络最后的分类结果是把空间流和时间流的得分取平均值融合而获得,这种方式较为简单,且其空间流和时间流网络为独立进行训练,容易导致网络出现学习不到鳗鲡摄食行为的时空关联特征的问题,选择使用特征层融合方式对空间流和时间流网络提取获得的特征进行融合,让网络能够并行进行训练,以提取到时空信息间的关联特征。试验结果表明:文内提出的基于双流残差卷积神经网络的鳗鲡摄食强度评估方法准确率达到98.6%,与单通道的空间流和时间流网络相比,准确率分别提升了5.8%和8.5%,与传统的双流网络相比准确率也提升了3.2%。 展开更多

关键词 鳗鲡 摄食强度 双流残差卷积神经网络 ResNet50 并行训练 特征层融合

在线阅读 下载PDF 职称材料

基于双谱与双流卷积神经网络的断路器故障诊断 被引量：2

13

作者 林穿 徐启峰 《电子测量技术》 北大核心 2021年第23期165-172,共8页

高压断路器操动机构的振动信号包含了断路器运行状态的重要信息,对操动机构工作状态的诊断辨识十分重要。针对振动信号随机、非平稳的复杂特性,提出了一种基于双谱分析和双通道流浅层卷积神经网络的断路器故障诊断方法。对振动信号进行... 高压断路器操动机构的振动信号包含了断路器运行状态的重要信息,对操动机构工作状态的诊断辨识十分重要。针对振动信号随机、非平稳的复杂特性,提出了一种基于双谱分析和双通道流浅层卷积神经网络的断路器故障诊断方法。对振动信号进行双谱分析和小波分析,分别提取2D双谱矩阵以及1D小波频带能量作为双流卷积神经网络的双通道特征;对断路器模拟实验采集到的5种工况下的振动信号进行有监督训练。结果表明,双谱分析能够抑制高斯噪声、保留操动机构不同工况下主要峰值形态特征并融合小波频带能量特征,所提模型训练迭代5次即可达到98.33%的高识别精度,实现断路器操动机构的故障诊断辨识。 展开更多

关键词 振动信号 双谱分析 双流卷积神经网络 故障诊断 断路器

在线阅读 下载PDF 职称材料

基于双流卷积神经网络的肌电信号手势识别方法 被引量：12

14

作者 卫文韬 李亚军 《计算机集成制造系统》 EI CSCD 北大核心 2022年第1期124-131,共8页

面向高性能的肌电控制系统,提出一种基于双流卷积神经网络的肌电信号手势识别方法,其从原始表面肌电信号中提取离散小波变换系数,与原始表面肌电信号分别作为双流卷积神经网络两个分支的输入进行高层特征学习,最终通过一个高层特征融合... 面向高性能的肌电控制系统,提出一种基于双流卷积神经网络的肌电信号手势识别方法,其从原始表面肌电信号中提取离散小波变换系数,与原始表面肌电信号分别作为双流卷积神经网络两个分支的输入进行高层特征学习,最终通过一个高层特征融合模块对两个分支学习得到的高层特征进行融合。所提方法在3个包含50~52类手势动作表面肌电信号的大规模基准数据集中,识别所有手势动作的投票准确率分别达到97.9%,81.3%,82.4%,且在3个数据集中基于不同长度滑动采样窗口的手势识别准确率均显著超越了近年来本领域相关研究工作所提出的深度神经网络模型。 展开更多

关键词 手势识别 双流卷积神经网络 离散小波变换 表面肌电信号 肌电控制系统

在线阅读 下载PDF 职称材料

基于时空融合卷积神经网络的异常行为识别 被引量：8

15

作者 王泽伟 高丙朋 《计算机工程与设计》 北大核心 2020年第7期2052-2056,共5页

为解决基于RGB图像的异常行为识别无法有效利用帧间运动信息的问题,采用深度学习思想,提出一种基于时空融合方法的双流卷积神经网络对异常行为进行识别。使用VGGNet16构建双流模型,以RGB图片和连续光流帧作为网络的输入,有效利用视频流... 为解决基于RGB图像的异常行为识别无法有效利用帧间运动信息的问题,采用深度学习思想,提出一种基于时空融合方法的双流卷积神经网络对异常行为进行识别。使用VGGNet16构建双流模型,以RGB图片和连续光流帧作为网络的输入,有效利用视频流信息。使用UCF101数据集预训练网络模型,将模型迁移学习到CASIA数据集上并微调网络。实验结果表明,与Multi-resolution CNN方法和Two-stream CNN (AlexNet)方法相比,该方法具有更高的准确率。 展开更多

关键词 时空融合 双流卷积神经网络 异常行为识别 迁移学习 模型微调

在线阅读 下载PDF 职称材料

基于scSE非局部双流ResNet网络的行为识别 被引量：3

16

作者 李占利 王佳莹 +1 位作者 靳红梅 李洪安 《计算机应用与软件》 北大核心 2024年第8期319-325,共7页

针对双流网络对包含冗余信息的视频帧存在识别率低的问题,在双流网络的基础上引入scSE(Spatial and Channel Squeeze&Excitation Block)和非局部操作,构建SC_NLResNet行为识别框架。该框架将视频划分为等分不重叠的时序段并在每段... 针对双流网络对包含冗余信息的视频帧存在识别率低的问题,在双流网络的基础上引入scSE(Spatial and Channel Squeeze&Excitation Block)和非局部操作,构建SC_NLResNet行为识别框架。该框架将视频划分为等分不重叠的时序段并在每段上稀疏采样,提取RGB帧以及光流图作为scSE模块的输入;将经过scSE处理的特征输入非局部双流ResNet网络中,融合各分段得到最终的预测结果。在UCF101以及Hmdb51数据集上实验准确率分别达到96.9%和76.2%,结果表明,非局部操作与scSE模块结合可以增强特征时空上以及通道间的信息提高准确率,验证了SC_NLResNet网络的有效性。 展开更多

关键词 双流卷积神经网络 scSE模块 残差网络 非局部操作 行为识别

在线阅读 下载PDF 职称材料

基于段帧特征图的双流CNN噪声识别模型

17

作者 李春腾 黄智 +2 位作者 李诠娜 魏海礁 徐松岩 《海军工程大学学报》 北大核心 2025年第5期44-49,72,共7页

鉴于噪声抑制算法对不同类型激励源生成的运动感应噪声处理效果不同,为进一步提高算法对运动感应噪声的适配性,提出了一种基于段帧特征图的双流卷积神经网络噪声识别模型。首先,通过设计能够描述运动感应噪声特征的段帧特征图,为噪声识... 鉴于噪声抑制算法对不同类型激励源生成的运动感应噪声处理效果不同,为进一步提高算法对运动感应噪声的适配性,提出了一种基于段帧特征图的双流卷积神经网络噪声识别模型。首先,通过设计能够描述运动感应噪声特征的段帧特征图,为噪声识别模型提供有效的全局特征和细节特征,并构造了一种双流卷积神经网络以充分提取段帧特征图提供的噪声特征;然后,在实验室环境下搭建噪声识别模型性能测试平台,结合Quick Sounds数据库引入复杂水下激励源类型,设置了多组对照实验。结果表明:段帧特征图可以有效表征运动感应噪声类型,能够弥补神经网络识别能力的不足,从而使所提噪声识别模型展现出良好的性能。 展开更多

关键词 运动感应噪声 段特征图 帧特征图 双流卷积神经网络

在线阅读 下载PDF 职称材料

基于改进双流卷积网络的火灾图像特征提取方法 被引量：7

18

作者 徐登 黄晓东 《计算机科学》 CSCD 北大核心 2019年第11期291-296,共6页

基于图像处理技术的火灾监测,是近年来火灾监控领域的重要分支。对于开阔场景的火灾监测,利用火灾发生时产生的烟雾和火焰的动、静特性,以双流(Two-Stream)卷积神经网络作为理论基础对火灾进行检测识别。双流卷积神经网络采用空间流与... 基于图像处理技术的火灾监测,是近年来火灾监控领域的重要分支。对于开阔场景的火灾监测,利用火灾发生时产生的烟雾和火焰的动、静特性,以双流(Two-Stream)卷积神经网络作为理论基础对火灾进行检测识别。双流卷积神经网络采用空间流与时序流分别提取视频中的空间信息与时序信息,然而火灾初期的信息较为微弱,特征不够明显。为进一步提高初期的识别率,提出一种空间增强网络作为双流卷积神经网络的空间流来提取并增强视频的空间信息。空间增强网络同时对当前帧图片V t和上一帧图片V t-1做卷积,用V t的卷积特征与V t-1的卷积特征做减法,保留卷积特征差异性,再将卷积特征差与当前帧V t的卷积特征相加,从而增强对V t的空间特征卷积;双流卷积网络的时间卷积流对当前帧的光流图片V t′进行时序特征卷积;最后将增强后的空间特征与时序特征融合进行分类。实验结果表明,改进后的双流卷积网络的识别率比原始的双流卷积网络提高了6.2%,且在公开数据集上的测试准确率达到了92.15%,从而证明了该方法的有效性和优越性。此外,与其他方法相比,该网络具有低深度、高识别率的特征,不仅能提高火灾和烟雾的识别率,而且实现了火灾的早期发现,缩短了检测时间。 展开更多

关键词 开阔空间火灾监测 空间特征增强网络 双流卷积神经网络 时空特征融合 光流法

在线阅读 下载PDF 职称材料

特征图组合的双流CNN手指关节角度连续运动预测方法研究

19

作者 武岩 曹崇莉 +2 位作者 李奇 姬鹏辉 张航 《重庆理工大学学报（自然科学）》 CAS 北大核心 2024年第11期119-128,共10页

针对基于表面肌电(surface electromyography,sEMG)信号手指关节角度连续运动预测时序信息提取不足、预测准确率较低的问题,提出了一种基于特征图组合(feature map combinations,FMC)的双流卷积神经网络(dual-stream convolutional neur... 针对基于表面肌电(surface electromyography,sEMG)信号手指关节角度连续运动预测时序信息提取不足、预测准确率较低的问题,提出了一种基于特征图组合(feature map combinations,FMC)的双流卷积神经网络(dual-stream convolutional neural network,DCNN)预测方法。提取sEMG信号的特征信息,采用滑动窗方式将特征信息进行特征图组合,表达特征的时间连贯性以提取sEMG信号的时序信息,通过DCNN网络在时间、空间维度对组合后的特征图提取深层特征,提高手指关节角度连续运动预测效果。在NinaPro-DB8数据集上进行实验,结果表明:在3类不同自由度(18个、5个、3个)的相关方法比较中,健康受试者的R2值分别提高了7.9%、16.8%和17.8%;截肢受试者的R2值分别提高了9.6%、14.3%和10.3%。 展开更多

关键词 SEMG 连续运动预测 特征图组合 双流卷积神经网络

在线阅读 下载PDF 职称材料

基于双流非局部残差网络的行为识别方法 被引量：7

20

作者 周云 陈淑荣 《计算机应用》 CSCD 北大核心 2020年第8期2236-2240,共5页

针对传统卷积神经网络(CNN)对人体行为动作仅能提取局部特征易导致相似行为动作识别准确率不高的问题,提出了一种基于双流非局部残差网络(NL-ResNet)的行为识别方法。首先提取视频的RGB帧和密集光流图,分别作为空间流和时间流网络的输入... 针对传统卷积神经网络(CNN)对人体行为动作仅能提取局部特征易导致相似行为动作识别准确率不高的问题,提出了一种基于双流非局部残差网络(NL-ResNet)的行为识别方法。首先提取视频的RGB帧和密集光流图,分别作为空间流和时间流网络的输入,并通过角落裁剪和多尺度相结合的预处理方法进行数据增强;其次分别利用残差网络的残差块提取视频的局部表观特征和运动特征,再通过在残差块之后接入的非局部CNN模块提取视频的全局信息,实现网络局部特征和全局特征的交叉提取;最后将两个分支网络分别通过A-softmax损失函数进行更精细的分类,并输出加权融合后的识别结果。该方法能充分利用局部和全局特征提高模型的表征能力。在UCF101数据集上,NL-ResNet取得了93.5%的识别精度,与原始双流网络相比提高了5.5个百分点。实验结果表明,所提模型能更好地提取行为特征,有效提高行为识别的准确率。 展开更多

关键词 行为识别 双流卷积神经网络 非局部 特征提取 A-softmax

在线阅读 下载PDF 职称材料