题名 基于特征增强和模态交互的视频异常行为检测
1
作者
吴沛宸 李文斌 郭放 刘钊
机构
中国人民公安大学信息网络安全学院 中国人民公安大学网络空间安全与法治协同创新中心
出处
《计算机辅助设计与图形学学报》
北大核心
2025年第3期407-413,共7页
基金
中国人民公安大学安全防范工程双一流创新研究专项(2023SYL08).
文摘
对比语言-图像预训练模型作为一种基于多模态对比训练的神经网络,通过预训练大量的语言-图像对提取具有判别性的图像特征.为了关注连续帧之间的时序关系,消除不同模态特征之间的信息分布差异,提出一种基于特征增强和模态交互的视频异常行为检测算法.首先针对对比语言-图像预训练模型在视频连续帧特征提取阶段时间依赖性差的问题,使用局部和全局时间适配器构建时间相关性增强模块,分别在局部和全局注意力层关注时序信息;然后针对不同模态特征存在域间信息差异的问题,设计一种基于窗口分区移位的多模态特征交互模块,通过滑动窗口控制特征内部交互,消除信息分布差异;最后通过对齐视觉特征和文本特征,得到帧级异常置信度.在UCF-Crime数据集上,所提算法取得87.20%的检测准确率,验证了其有效性.
关键词
对比语言-图像预训练 视频异常行为 检测时间相关性 特征增强 模态交互
Keywords
CLIP(contrastive language-image pre-training) video anomaly detection temporal correlation feature enhancement modal interaction
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
题名 骨架引导的多模态视频异常行为检测方法
被引量：3
2
作者
付荣华 刘成明 刘合星 高宇飞 石磊
机构
郑州大学网络空间安全学院 郑州市公安局科技通信管理处
出处
《郑州大学学报（理学版）》
CAS
北大核心
2024年第1期16-24,共9页
基金
国家重点研发计划项目(2018YFC0824402)。
文摘
视频异常行为检测是智能视频监控分析的一项重要且具有挑战性的任务,旨在自动发现异常事件。针对只采用单骨架模态导致部分相似运动模式的行为难以区分和缺乏时间全局信息的问题,提出骨架引导的多模态异常行为检测方法。为了充分利用RGB视频模态和骨架模态的优势进行相似行为下的异常行为检测,将从骨架模态中提取的动作行为特征作为引导,使用新的空间嵌入来加强RGB视频和骨架姿态之间的对应关系。同时使用时间自注意力提取相同节点的帧间关系,以捕获时间的全局信息,有效提取具有区分性的异常行为特征。在两个大型公开标准数据集上的实验结果表明所提方法能够有效加强骨架引导的多模态特征在空间和模态上的对应关系,并捕获时空图卷积缺乏的时间全局信息,使运动模式相似的异常行为实现更准确检测。
关键词
视频异常行为 检测骨架 多模态融合 时空自注意力增强图卷积 空间嵌入
Keywords
video abnormal behavior detection skeleton multimodal fusion spatiotemporal self-attention augmented graph convolution spatial embedding
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
题名 拓扑信息引导的视频异常行为检测方法
被引量：1
3
作者
陈明一 李洪均
机构
南通大学信息科学技术学院 南京大学计算机软件新技术国家重点实验室
出处
《计算机工程与应用》
CSCD
北大核心
2024年第16期228-235,共8页
基金
国家自然科学基金(61976120) 南京大学计算机软件新技术国家重点实验室基金(KFKT2019B015) +1 种基金 南通市科技计划资助项目(JC2021131) 江苏省研究生科研与实践创新计划项目(KYCX22_3340)。
文摘
在视频异常检测任务中,良好的特征提取能力在多帧预测方法中十分重要。然而当面对复杂的环境时,传统的基于空间特征的提取方法往往在多层卷积的过程中忽略了底层特征之间的全局依赖关系。为了更好地进行特征提取,提出一种依托拓扑强相关信息引导的视频异常检测方法。该方法针对底层特征序列进行全局相关性信息的提取,并以此初步增强特征中强关联的信息。将底层特征作为节点,裁剪后的相关性信息作为邻里矩阵,构建关键特征之间的拓扑结构关系图,有效地利用了关键特征的拓扑结构信息。将初步增强的特征与拓扑结构特征进行特征融合,帮助模型更深入更全面地筛选关键特征,提高了特征表达能力。该方法在Ped2、Avenue和ShanghaiTech三个公开数据集上取得了良好的视频帧预测效果,提高了模型的检测精度。
关键词
视频异常行为 检测相关性信息提取 拓扑关系网络构建 拓扑特征提取
Keywords
video abnormal behavior detection correlation information extraction construction of topological relationship network topological feature extraction
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 基于双尺度串行网络的视频异常行为检测
被引量：3
4
作者
吴德刚 赵利平 陈乾辉 张宇波
机构
商丘工学院机械工程学院 商丘工学院信息与电子工程学院 郑州大学电气与信息工程学院
出处
《广西科学》
CAS
北大核心
2023年第3期575-586,共12页
基金
河南省高等学校青年骨干教师培养计划项目(2018GGJS190) 商丘工学院2022科研项目(2022KYXM02)资助。
文摘
针对传统视频异常行为检测模型存在的性能不佳与时间开销较大的问题,从空间和时序维度构造双尺度串行网络的视频异常行为检测模型(Dual-Scale Serial Network,DSS-Net)。首先,利用深度可分离卷积对Vgg-16网络进行改进,并利用改进的特征提取器从空间维度提取特征,从而可以通过减少计算参数量来降低模型的时间开销。接着,在此基础上引入注意力机制,从而强化目标特征的表达能力。最后,利用长短期记忆(Long Short-Term Memory,LSTM)网络从时序维度提取运动视频每一帧之间的上下文时序关系。在当前主流的UCSD Ped1和Ped2数据集以及更具挑战性的UCF数据集上进行测试,结果表明,在3个数据集上DSS-Net的ROC(Receiver Operating Characteristic)线下面积(Area Under Curve,AUC)值分别达到95.30%、96.80%、80.60%,等错误率(Equal Error Rate,EER)分别达到10.60%、12.60%、18.50%,同时具有更强的实时性。相比经典的One-class Neural Network(ONN)和Aggregation of Ensembles(AOE)模型,DSS-Net在Ped1和Ped2数据集上的AUC值分别提升了0.42%和0.94%。此外,DSS-Net也在UMN、ShanghaiTech和CUHK Avenue等数据集上进行了泛化能力和鲁棒性的测试,结果与当前主流模型相比具有一定的竞争力。
关键词
视频异常行为 检测空间维度 时序维度 深度可分离卷积 注意力机制
Keywords
video abnormal behavior detection spatial dimensions temporal dimensions deeply separable convolution attention mechanism
分类号
TP393
[自动化与计算机技术—计算机应用技术]
题名 基于深度学习的视频异常行为识别算法
被引量：10
5
作者
聂豪 熊昕 郭原东 陈小辉 张上
机构
三峡大学计算机与信息学院
出处
《现代电子技术》
北大核心
2020年第24期110-112,116,共4页
基金
宜昌市基础科研项目(Z2018193/A18⁃302⁃a13) 中国教育网与互联网中心下一代互联网技术创新项目(NGII20161210)。
文摘
针对传统的异常行为检测算法仅使用RGB图像作为网络的输入,而未考虑到视频序列中隐藏运动信息的问题,文中提出一种基于双流卷积神经网络的视频异常行为检测算法。该算法分别使用RGB图像与视频帧间的光流信息作为两个网络分支的输入来学习空间维信息与时间维信息,并使用长短时神经网络来建模长时视频帧间的依赖关系,从而得到最终的行为分类结果。仿真测试结果表明,所提出的方法在UCSD Ped1、Shanghai Tech和Pedestrian 2数据集上均能取得较好的识别效果,且使用帧间运动信息能够显著提升异常行为检测性能。
关键词
视频异常行为 异常 行为 识别深度学习 行为 分类网络训练 仿真测试
Keywords
video abnormal behavior abnormal behavior identification deep learning behavior classification network training simulation testing
分类号
TN926-34
[电子电信—通信与信息系统]
TP391.4
[自动化与计算机技术—计算机应用技术]
