-
题名基于跨模态融合与双曲图注意力机制的视频异常检测
- 1
-
-
作者
姜迪
赖惠成
汪烈军
-
机构
新疆大学计算机科学与技术学院
新疆大学新疆维吾尔自治区信号检测与处理重点实验室
丝路多语言认知计算国际合作联合实验室
-
出处
《通信学报》
北大核心
2025年第6期136-152,共17页
-
基金
国家自然科学基金联合基金资助项目(No.U1903213)
新疆维吾尔自治区重点研发计划基金资助项目(No.2022B01008)。
-
文摘
针对视频异常检测中模态信息不平衡、视听噪声不平均以及模态异步等问题,提出了一个动态跨模态融合模块与双曲图注意力机制融合的多模态视频异常检测方法CM-HVAD,以准确检测异常行为。首先,提出了一种新的动态跨模态融合模块,动态压缩多模态数据特征,自主学习跨模态权重,动态平衡视觉特征和音视频特征并进行融合增强。然后,针对多模态数据中存在的模态异步问题,提出了模态一致性对齐模块,按时间帧序列对齐模态语义,确保多模态数据在时间和语义上的一致性。最后,引入了双曲图注意力机制,通过双曲空间的模式分离特性,有效捕捉正常和异常表示之间的层次关系,从而提高检测准确率。实验结果表明,所提方法在XD-Violence上AP达到了86.47%,在UCF-Crime上AUC达到了87.12%,性能优于基线方法。
-
关键词
视频异常检测
跨模态融合
双曲图注意力机制
多模态
-
Keywords
video anomaly detection
cross-modal fusion
hyperbolic graph attention mechanism
multi-modal
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
