针对双流网络对包含冗余信息的视频帧存在识别率低的问题,在双流网络的基础上引入scSE(Spatial and Channel Squeeze&Excitation Block)和非局部操作,构建SC_NLResNet行为识别框架。该框架将视频划分为等分不重叠的时序段并在每段...针对双流网络对包含冗余信息的视频帧存在识别率低的问题,在双流网络的基础上引入scSE(Spatial and Channel Squeeze&Excitation Block)和非局部操作,构建SC_NLResNet行为识别框架。该框架将视频划分为等分不重叠的时序段并在每段上稀疏采样,提取RGB帧以及光流图作为scSE模块的输入;将经过scSE处理的特征输入非局部双流ResNet网络中,融合各分段得到最终的预测结果。在UCF101以及Hmdb51数据集上实验准确率分别达到96.9%和76.2%,结果表明,非局部操作与scSE模块结合可以增强特征时空上以及通道间的信息提高准确率,验证了SC_NLResNet网络的有效性。展开更多
视频动作识别是计算机视觉领域一个十分具有挑战性的课题,主要任务是利用深度学习等视频智能分析技术识别的深层信息推导出视频人体行为动作。通过结合双流卷积神经网络和三维卷积神经网络的结构特点,提出了一种面向时空特征融合的GSTIN...视频动作识别是计算机视觉领域一个十分具有挑战性的课题,主要任务是利用深度学习等视频智能分析技术识别的深层信息推导出视频人体行为动作。通过结合双流卷积神经网络和三维卷积神经网络的结构特点,提出了一种面向时空特征融合的GSTIN(GoogLeNet based on spatio-temporal intergration network)。GSTIN中设计了时空特征融合模块InBST(inception blend spatio-temporal feature),提升网络对空间特征与时间特征的利用能力;在时空特征融合模块InBST基础上,构建了适合动作识别的多流网络结构。GSTIN在动作识别数据集UCF101、HMDB51上识别精度分别达到了93.8%和70.6%,这表明GSTIN与其他动作识别网络相比具有较好的识别性能。展开更多
自动调制方式识别技术在通信领域有着不可或缺的作用,针对传统的卷积神经网络在信号分类问题中特征提取能力不足的问题,本文研究了一种利用多维度特征的端到端双流膨胀卷积神经网络来对调制信号进行分类的方法。该方法不仅利用原始采样...自动调制方式识别技术在通信领域有着不可或缺的作用,针对传统的卷积神经网络在信号分类问题中特征提取能力不足的问题,本文研究了一种利用多维度特征的端到端双流膨胀卷积神经网络来对调制信号进行分类的方法。该方法不仅利用原始采样信号,还利用输入信号的瞬时幅度和相位信息;原始IQ(In-phase and Quadrature,IQ)数据输入进神经网络后,网络首先通过内置的数据预处理模块对输入的IQ信号进行预处理,提取原始信号的幅度和相位信息,再将原始IQ信号和幅度相位两种特征信息分别通过两个并行的卷积神经网络结构分别进行特征提取;本文所设计的双流卷积神经网络模型中的膨胀残差网络分支利用卷积核的膨胀卷积特性,将膨胀卷积与残差网络结构相结合,在网络参数不变的情况下使得卷积核具有更大的感受野,同时也能够更好地结合上下文信息,另一个网络分支是将卷积神经网络与长短期记忆神经网络相串联,然后将两个并行卷积神经网络的输出特征向量进行矩阵相乘达到两种特征信息融合的目的。整个识别过程是基于端到端的,数据预处理模块内嵌到神经网络内部,由神经网络完成对数据的预处理,只需将原始的IQ数据直接送入神经网络即可;仿真实验结果显示相比较于单分支结构的卷积神经网络模型或者循环神经网络模型,本文所提出的基于残差膨胀卷积的双流网络结构在数据集RML2016.10a上识别准确率有了极大地提升,识别准确率最高能够达到85%,同时对于单分支结构无法识别的16QAM和64QAM两种信号,本文模型也具有一定的分类能力。展开更多
文摘针对双流网络对包含冗余信息的视频帧存在识别率低的问题,在双流网络的基础上引入scSE(Spatial and Channel Squeeze&Excitation Block)和非局部操作,构建SC_NLResNet行为识别框架。该框架将视频划分为等分不重叠的时序段并在每段上稀疏采样,提取RGB帧以及光流图作为scSE模块的输入;将经过scSE处理的特征输入非局部双流ResNet网络中,融合各分段得到最终的预测结果。在UCF101以及Hmdb51数据集上实验准确率分别达到96.9%和76.2%,结果表明,非局部操作与scSE模块结合可以增强特征时空上以及通道间的信息提高准确率,验证了SC_NLResNet网络的有效性。
文摘视频动作识别是计算机视觉领域一个十分具有挑战性的课题,主要任务是利用深度学习等视频智能分析技术识别的深层信息推导出视频人体行为动作。通过结合双流卷积神经网络和三维卷积神经网络的结构特点,提出了一种面向时空特征融合的GSTIN(GoogLeNet based on spatio-temporal intergration network)。GSTIN中设计了时空特征融合模块InBST(inception blend spatio-temporal feature),提升网络对空间特征与时间特征的利用能力;在时空特征融合模块InBST基础上,构建了适合动作识别的多流网络结构。GSTIN在动作识别数据集UCF101、HMDB51上识别精度分别达到了93.8%和70.6%,这表明GSTIN与其他动作识别网络相比具有较好的识别性能。
文摘自动调制方式识别技术在通信领域有着不可或缺的作用,针对传统的卷积神经网络在信号分类问题中特征提取能力不足的问题,本文研究了一种利用多维度特征的端到端双流膨胀卷积神经网络来对调制信号进行分类的方法。该方法不仅利用原始采样信号,还利用输入信号的瞬时幅度和相位信息;原始IQ(In-phase and Quadrature,IQ)数据输入进神经网络后,网络首先通过内置的数据预处理模块对输入的IQ信号进行预处理,提取原始信号的幅度和相位信息,再将原始IQ信号和幅度相位两种特征信息分别通过两个并行的卷积神经网络结构分别进行特征提取;本文所设计的双流卷积神经网络模型中的膨胀残差网络分支利用卷积核的膨胀卷积特性,将膨胀卷积与残差网络结构相结合,在网络参数不变的情况下使得卷积核具有更大的感受野,同时也能够更好地结合上下文信息,另一个网络分支是将卷积神经网络与长短期记忆神经网络相串联,然后将两个并行卷积神经网络的输出特征向量进行矩阵相乘达到两种特征信息融合的目的。整个识别过程是基于端到端的,数据预处理模块内嵌到神经网络内部,由神经网络完成对数据的预处理,只需将原始的IQ数据直接送入神经网络即可;仿真实验结果显示相比较于单分支结构的卷积神经网络模型或者循环神经网络模型,本文所提出的基于残差膨胀卷积的双流网络结构在数据集RML2016.10a上识别准确率有了极大地提升,识别准确率最高能够达到85%,同时对于单分支结构无法识别的16QAM和64QAM两种信号,本文模型也具有一定的分类能力。
