基于深度帧差卷积神经网络的运动目标检测方法研究 被引量：16

1

作者 欧先锋 晏鹏程 +4 位作者 王汉谱 涂兵 何伟 张国云 徐智 《电子学报》 EI CAS CSCD 北大核心 2020年第12期2384-2393,共10页

复杂场景中的运动目标检测是计算机视觉领域的重要问题,其检测准确度仍然是一大挑战.本文提出并设计了一种用于复杂场景中运动目标检测的深度帧差卷积神经网络(Deep Difference Convolutional Neural Network,DFDCNN).DFDCNN由Differenc... 复杂场景中的运动目标检测是计算机视觉领域的重要问题,其检测准确度仍然是一大挑战.本文提出并设计了一种用于复杂场景中运动目标检测的深度帧差卷积神经网络(Deep Difference Convolutional Neural Network,DFDCNN).DFDCNN由DifferenceNet和AppearanceNet组成,不需要后处理就可以预测分割前景像素.DifferenceNet具有孪生Encoder-Decoder结构,用于学习两个连续帧之间的变化,从输入(t帧和t+1帧)中获取时序信息;AppearanceNet用于从输入(t帧)中提取空间信息,并与时序信息融合;同时,通过多尺度特征图融合和逐步上采样来保留多尺度空间信息,以提高网络对小目标的敏感性.在公开标准数据集CDnet2014和I2R上的实验结果表明:DFDCNN不仅在动态背景、光照变化和阴影存在的复杂场景中具有更好的检测性能,而且在小目标存在的场景中也具有较好的检测效果. 展开更多

关键词 运动目标检测 复杂场景 深度帧差卷积神经网络 时序信息 空间信息 多尺度特征图融合

在线阅读 下载PDF 职称材料

基于注意力-残差双特征流卷积神经网络的深度图帧内编码单元快速划分算法

2

作者 贾克斌 吴岳珩 《北京工业大学学报》 北大核心 2025年第5期539-551,共13页

针对三维高效视频编码(three-dimensional high efficiency video coding,3D-HEVC)深度图编码单元(coding unit,CU)划分复杂度高的问题,提出一种基于卷积神经网络(convolutional neural networks,CNN)的算法来实现快速深度图帧内编码。... 针对三维高效视频编码(three-dimensional high efficiency video coding,3D-HEVC)深度图编码单元(coding unit,CU)划分复杂度高的问题,提出一种基于卷积神经网络(convolutional neural networks,CNN)的算法来实现快速深度图帧内编码。首先,提出一种具有3个分支的注意力-残差双特征流卷积神经网络(attention-residual bi-feature stream convolutional neural networks,ARBS-CNN)模型,其中基于残差模块(residual module,RM)和特征蒸馏(feature distill,FD)模块的2个分支用于提取全局图像特征,基于动态模块(dynamic module,DM)和卷积-卷积块注意力模块(convolutional-convolutional block attention module,Conv-CBAM)的分支用于提取局部图像特征;然后,将提取到的特征进行整合并输出,得到对深度图CU划分结构的预测;最后,将ARBS-CNN嵌入到3D-HEVC测试平台中,利用预测结果加速深度图帧内编码。与原始算法相比,提出的算法能在维持率失真性能几乎不受影响的条件下,平均减少74.2%的编码时间。实验结果表明,该算法能够在保持率失真性能的条件下,有效降低3D-HEVC的编码复杂度。 展开更多

关键词 三维高效视频编码(three-dimensional high efficiency video coding 3D-HEVC) 深度图 卷积神经网络(convolutional neural networks CNN) 编码单元(coding unit CU)划分 帧内编码 双特征流

在线阅读 下载PDF 职称材料

基于卷积神经网络的HEVC帧内预测算法优化 被引量：1

3

作者 李轩 冷雨馨 《现代电子技术》 北大核心 2024年第11期69-77,共9页

作为HEVC标准中最基础、最重要的技术之一,帧内预测对实现视频编码的高速、高质量和高压缩率具有重要的作用。文中针对帧内预测复杂性问题进行研究,提出一种基于深度卷积神经网络(CNN)的方法,通过学习来预测CTU的划分,从而减少HEVC帧内... 作为HEVC标准中最基础、最重要的技术之一,帧内预测对实现视频编码的高速、高质量和高压缩率具有重要的作用。文中针对帧内预测复杂性问题进行研究,提出一种基于深度卷积神经网络(CNN)的方法,通过学习来预测CTU的划分,从而减少HEVC帧内编码的复杂性。通过建立一个大规模的CTU划分数据库,并利用CNN的能力学习各种CTU划分模式,能够准确地预测CTU的划分,从而避免了传统的穷举搜索,实现了HEVC编码复杂性的显著降低,提高了编码效率。实验结果表明,提出的方法在测试序列和图像上分别将帧内编码时间减少了62.25%和69.06%,与其他最先进的方法相比,比特率分别仅增加了2.12%和1.13%,达到了优化的目的。 展开更多

关键词 高效视频编码 帧内预测编码 卷积神经网络 深度学习 编码单元 深度决策 编码块分割

在线阅读 下载PDF 职称材料

用于视频图像帧间运动补偿的深度卷积神经网络 被引量：3

4

作者 龙古灿 张小虎 于起峰 《国防科技大学学报》 EI CAS CSCD 北大核心 2016年第5期143-148,共6页

为探索深度学习理论在视频图像帧间运动补偿问题中的应用,提出一种用于视频图像帧间运动补偿的深度卷积神经网络。该网络由卷积模块和反卷积模块构成,可以处理不同分辨率输入图像并具备保持较完整图像细节的能力。利用具有时序一致性的... 为探索深度学习理论在视频图像帧间运动补偿问题中的应用,提出一种用于视频图像帧间运动补偿的深度卷积神经网络。该网络由卷积模块和反卷积模块构成,可以处理不同分辨率输入图像并具备保持较完整图像细节的能力。利用具有时序一致性的视频图像序列构造训练样本,采用随机梯度下降法对设计的深度卷积神经网络进行训练。视觉效果和数值评估实验表明,训练得到的网络较传统方法能更有效地进行视频图像帧间运动补偿。 展开更多

关键词 深度学习 卷积神经网络 时序一致性 运动补偿帧插值

在线阅读 下载PDF 职称材料

基于格拉姆角差场和卷积神经网络的宽频振荡分类方法 被引量：10

5

作者 赵妍 唐文石 +1 位作者 聂永辉 王泽通 《电网技术》 EI CSCD 北大核心 2022年第11期4364-4372,共9页

宽频振荡模式具有时变性和时空分布特性,对振荡分类方法在准确性、自适应性等方面提出了更高的要求。为此,该文提出一种基于格拉姆差场(gram difference field,GADF)和卷积神经网络(convolutional neural network,CNN)相结合的宽频振荡... 宽频振荡模式具有时变性和时空分布特性,对振荡分类方法在准确性、自适应性等方面提出了更高的要求。为此,该文提出一种基于格拉姆差场(gram difference field,GADF)和卷积神经网络(convolutional neural network,CNN)相结合的宽频振荡分类方法。首先,利用GADF将宽频振荡一维时间序列转换为二维特征图,保留了数据对时间的依赖性和数据间存在的潜在联系特征。然后,通过CNN对GADF特征图自适应地完成宽频振荡模态特征的检测和分类。仿真和实测数据分析结果表明,GADF-CNN方法可以有效检测宽频振荡类型,具有更高的分类检测准确率和自适应性。 展开更多

关键词 宽频振荡分类 格拉姆角差场 卷积神经网络 深度学习

在线阅读 下载PDF 职称材料

深度帧差CNN下激光雷达交通视频图像运动目标检测

6

作者 江雪芸 焦勇 郭丽君 《激光杂志》 北大核心 2025年第8期134-140,共7页

激光雷达交通视频图像检测中,传统帧差法在面对目标运动速度过快或过慢时,往往难以有效区分并准确捕捉运动目标。针对这一问题,提出深度帧差结合卷积神经网络(CNN)的激光雷达交通视频图像运动目标检测方法。首先通过帧差法捕捉连续帧之... 激光雷达交通视频图像检测中,传统帧差法在面对目标运动速度过快或过慢时,往往难以有效区分并准确捕捉运动目标。针对这一问题,提出深度帧差结合卷积神经网络(CNN)的激光雷达交通视频图像运动目标检测方法。首先通过帧差法捕捉连续帧之间的像素变化,采用CNN模型深度挖掘并提取这些变化中的关键目标特征矢量,通过CNN的平均池化层进一步精炼和压缩了特征表示,有效去除了冗余信息,同时保留了对于区分运动目标至关重要的特征。实验结果显示,相较于其他对比方法,该方法能够更精确地识别并跟踪不同速度下的运动目标,为智能交通系统的构建提供了强有力的技术支持。 展开更多

关键词 激光雷达 运动目标检测 深度卷积神经网络 帧差法 视频图像

在线阅读 下载PDF 职称材料

基于GADF与卷积神经网络的滚动轴承故障诊断研究 被引量：14

7

作者 刘红军 魏旭阳 《机电工程》 CAS 北大核心 2021年第5期587-591,622,共6页

为充分发挥深度学习识别二维图像在滚动轴承故障检测方面的优势,提出了一种格拉姆角差场(GADF)结合改进卷积神经网络(CNN)的智能故障诊断模型。首先,将一维时序振动信号通过格拉姆角差场转化为二维图像,提取了图像特征,并输入了改进后的... 为充分发挥深度学习识别二维图像在滚动轴承故障检测方面的优势,提出了一种格拉姆角差场(GADF)结合改进卷积神经网络(CNN)的智能故障诊断模型。首先,将一维时序振动信号通过格拉姆角差场转化为二维图像,提取了图像特征,并输入了改进后的CNN模型;其次,改进的CNN模型采用全局池化层替代了传统的全连接层,有效地解决了传统CNN模型参数爆炸的问题;最后,进行了试验研究,通过Adam小批量优化法进行了迭代训练,达到了理想的检测精度。试验与研究结果表明:该诊断方法在特征提取方面更快速、准确,充分展现了CNN模型的非线性表达能力,检测精度优于其他智能诊断算法。 展开更多

关键词 格拉姆角差场 故障诊断 卷积神经网络 深度学习

在线阅读 下载PDF 职称材料

基于深度学习的视频插帧研究进展

8

作者 吴晨阳 张勇 +3 位作者 韩树豪 郭春乐 李重仪 程明明 《自动化学报》 北大核心 2025年第8期1760-1776,共17页

视频插帧技术是视频处理领域的研究热点问题.它通过生成中间帧来提高视频的帧率,从而使视频播放更加流畅,在老视频修复、电影后期制作和慢动作生成等领域发挥着重要的作用.随着深度学习技术的迅猛发展,基于深度学习的视频插帧技术已经... 视频插帧技术是视频处理领域的研究热点问题.它通过生成中间帧来提高视频的帧率,从而使视频播放更加流畅,在老视频修复、电影后期制作和慢动作生成等领域发挥着重要的作用.随着深度学习技术的迅猛发展,基于深度学习的视频插帧技术已经成为主流.本文全面综述现有的基于深度学习的视频插帧工作,并且深入分析这些方法的优点与不足.随后,详细介绍视频插帧领域的常用数据集,这些数据集为视频插帧相关研究和算法训练提供重要支撑.最后,对当前视频插帧研究中仍然存在的挑战进行深入思考,并且从多个角度展望未来的研究方向,旨在为该领域后续的发展提供参考. 展开更多

关键词 视频插帧 深度神经网络 卷积神经网络

在线阅读 下载PDF 职称材料

基于过渡帧概念训练的微表情检测深度网络 被引量：5

9

作者 付晓峰 牛力 +2 位作者 胡卓群 李建军 吴卿 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2020年第11期2128-2137,共10页

为了更准确地从视频中检测面部微表情,针对微表情数据库样本规模较小的特点,采用迁移学习方法将深度卷积神经网络应用于微表情检测问题.选取预训练过的深度卷积神经网络模型,保留卷积层及预训练参数,添加全连接层和分类器,构造一个二分... 为了更准确地从视频中检测面部微表情,针对微表情数据库样本规模较小的特点,采用迁移学习方法将深度卷积神经网络应用于微表情检测问题.选取预训练过的深度卷积神经网络模型,保留卷积层及预训练参数,添加全连接层和分类器,构造一个二分类的微表情检测深度网络(MesNet).为了去除微表情数据库中影响网络训练的噪声标签,提出过渡帧的概念和自适应识别过渡帧算法. MesNet在CASME Ⅱ、SMIC-E-HS与CAS(ME)2数据库上的曲线下面积(AUC)分别达到0.955 6、0.933 8与0.785 3,其中在CASME Ⅱ短视频数据库和CAS(ME)2长视频数据库上均取得最优结果,表明MesNet具有高精度和广适用范围的特点;过渡帧对比实验结果表明,构造训练集时从原始视频中去除过渡帧能够有效提高MesNet微表情检测性能. 展开更多

关键词 微表情检测 迁移学习 深度卷积神经网络 二分类 过渡帧

在线阅读 下载PDF 职称材料

基于深度体素流的模糊视频插帧方法 被引量：6

10

作者 林传健 邓炜 +1 位作者 童同 高钦泉 《计算机应用》 CSCD 北大核心 2020年第3期819-824,共6页

针对视频运动模糊严重影响插帧效果的情况,提出了一种新型的模糊视频插帧方法。首先,提出一种多任务融合卷积神经网络,该网络结构由两个模块组成:去模糊模块和插帧模块。其中,去模糊模块采用残差块堆叠的深度卷积神经网络(CNN),提取并... 针对视频运动模糊严重影响插帧效果的情况,提出了一种新型的模糊视频插帧方法。首先,提出一种多任务融合卷积神经网络,该网络结构由两个模块组成:去模糊模块和插帧模块。其中,去模糊模块采用残差块堆叠的深度卷积神经网络(CNN),提取并学习深度模糊特征以实现两帧输入图像的运动模糊去除;插帧模块用于估计帧间的体素流,所得体素流将用于指导像素进行三线性插值以合成中间帧。其次,制作了大型模糊视频仿真数据集,并提出一种先分后合、由粗略至细致的训练策略,实验结果表明该策略促进了多任务网络有效收敛。最后,对比前沿的去模糊和插帧算法组合,实验指标显示所提方法合成中间帧时峰值信噪比最少提高1.41 dB,结构相似性提升0.020,插值误差降低1.99。视觉对比及重制序列展示表明,所提模型对于模糊视频有着显著的帧率上转换效果,即能够将两帧模糊视频帧端对端重制为清晰且视觉连贯的三帧视频帧。 展开更多

关键词 深度学习 卷积神经网络 去模糊 体素流 视频插帧

在线阅读 下载PDF 职称材料

基于T-CNN的3D-HEVC深度图帧内快速编码算法

11

作者 于源 贾克斌 《高技术通讯》 CAS 2023年第10期1068-1076,共9页

3D-HEVC标准中引入了具有大面积平坦区域、陡峭边缘和低纹理复杂度特性的深度图。针对深度图编码过程中编码单元(CU)率失真优化导致编码复杂度过高这一问题,本文在分析深度图编码所具有的特点的基础上,构建了深度图划分深度数据集,并提... 3D-HEVC标准中引入了具有大面积平坦区域、陡峭边缘和低纹理复杂度特性的深度图。针对深度图编码过程中编码单元(CU)率失真优化导致编码复杂度过高这一问题,本文在分析深度图编码所具有的特点的基础上,构建了深度图划分深度数据集,并提出了一种基于两通道特征传递卷积神经网络(T-CNN)的划分深度预测算法。使用本文提出的算法替换原始编码器中各视点下深度图CU划分模块,可以在一定的率失真性能损失下,将原始HTM-16.0编码器编码时间平均减少76%左右,编码效率得到了显著提升。 展开更多

关键词 3D-HEVC 深度图 帧内编码 卷积神经网络

在线阅读 下载PDF 职称材料

基于自适应帧采样算法和BLSTM的视频转文字研究 被引量：1

12

作者 张荣锋 宁培阳 +2 位作者 肖焕侯 史景伦 邱威 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2018年第1期103-111,共9页

针对视频转文字(video to text)存在的建模复杂和准确率低的问题,提出了基于自适应帧采样算法和双向长短时记忆模型的视频转文字方法.自适应帧采样算法能够动态地调整采样率,以提供尽量多的特征来训练模型;结合双向长短时记忆模型,能有... 针对视频转文字(video to text)存在的建模复杂和准确率低的问题,提出了基于自适应帧采样算法和双向长短时记忆模型的视频转文字方法.自适应帧采样算法能够动态地调整采样率,以提供尽量多的特征来训练模型;结合双向长短时记忆模型,能有效学习视频中前面帧和未来帧的相关信息;同时,用于训练的特征是来自深度卷积神经网络的特征,使得这种双深度的网络结构能够学习视频帧在时空上的关联表示及全局依赖信息;帧信息的融合又增加了特征的种类,从而提升了实验效果.结果显示,在M-VAD和MPIIMD两个数据集中,文中的方法在METEOR中的评分均值分别为7.8%和8.6%,相对原S2VT模型分别提高了16.4%和21.1%,也提升了视频转文字的语言效果. 展开更多

关键词 视频转文字 自适应帧采样 双向长短时记忆模型 深度卷积神经网络 帧信息的融合

在线阅读 下载PDF 职称材料

基于深度学习的视频超分辨率重构进展综述 被引量：6

13

作者 冷佳旭 王佳 +2 位作者 莫梦竟成 陈泰岳 高新波 《计算机科学》 CSCD 北大核心 2022年第2期123-133,共11页

视频超分辨率是根据给定的低分辨率视频序列恢复其对应的高分辨率视频帧的过程。近年来,VSR在深度学习的驱动下取得了重大突破。为了进一步促进VSR的发展,文中对基于深度学习的VSR算法进行了归类、分析和比较。首先,根据网络结构将现有... 视频超分辨率是根据给定的低分辨率视频序列恢复其对应的高分辨率视频帧的过程。近年来,VSR在深度学习的驱动下取得了重大突破。为了进一步促进VSR的发展,文中对基于深度学习的VSR算法进行了归类、分析和比较。首先,根据网络结构将现有方法分为两大类,即基于迭代网络的VSR和基于递归网络的VSR,并对比分析了不同网络模型的优缺点。然后,全面介绍了VSR数据集,并在一些常用的公共数据集上对已有算法进行了总结和比较。最后,对VSR算法中的关键问题进行了分析,并对其应用前景进行了展望。 展开更多

关键词 视频超分辨率 深度学习 卷积神经网络 帧间信息

在线阅读 下载PDF 职称材料

基于GADF-CNN的滚动轴承故障诊断方法 被引量：51

14

作者 仝钰 庞新宇 魏子涵 《振动与冲击》 EI CSCD 北大核心 2021年第5期247-253,260,共8页

针对一维信号作为卷积神经网络输入时无法充分利用数据间的相关信息的问题,提出GADF-CNN的轴承故障诊断模型。利用格拉姆角差域(GADF)对采集到的振动信号进行编码,可以很容易地进行角度透视,从而识别出不同时间间隔内的时间相关性并生... 针对一维信号作为卷积神经网络输入时无法充分利用数据间的相关信息的问题,提出GADF-CNN的轴承故障诊断模型。利用格拉姆角差域(GADF)对采集到的振动信号进行编码,可以很容易地进行角度透视,从而识别出不同时间间隔内的时间相关性并生产相应特征图,之后将其输入卷积神经网络(CNN)自适应的完成滚动轴承故障特征的提取与分类。为了验证模型性能,采用凯斯西储大学轴承数据集进行轴承故障诊断分析,同时引入常见神经网络作为对比,检验不同模型的分类性能。结果表明,相较于其他图像编码方式与神经网络,该模型在载荷变化以及噪声污染时,仍保持了良好的诊断性能。 展开更多

关键词 轴承故障诊断 深度学习 格拉姆角差域 卷积神经网络

在线阅读 下载PDF 职称材料