-
题名深层注意力和两阶段融合的图文情感对比学习方法
- 1
-
-
作者
余本功
石中玉
-
机构
合肥工业大学管理学院
合肥工业大学过程优化与智能决策教育部重点实验室
-
出处
《计算机工程与应用》
北大核心
2025年第3期223-233,共11页
-
基金
国家自然科学基金(72071061)。
-
文摘
图文数据逐渐成为网络舆情的主流载体,图文情感分析利用多模态的信息互补效应提高情感分析效果,在人机对话、舆情监控等领域具备极大的应用潜能。以往的研究大多将图像和文本的特征拼接后再使用注意力进行融合,模态信息交互不充分,融合特征存在大量的噪声。提出了一种深层注意力和两阶段融合的图文情感对比学习方法。使用深层跨模态注意力网络进行模态交互,有助于提取不同模态的隐藏信息。设计的跨模态门控融合模块利用门控机制和注意力实现特征的两阶段融合,动态调整特征权重,降低数据噪声。模型通过对比学习和情感分类任务的联合训练,充分捕获与情感相关的跨模态共同特征,有利于提升模型的鲁棒性。方法在MVSA-Single、MVSA-Multiple和HFM等数据集上进行实验得到的准确率和F1值相较于基线模型的最优者平均提升了1.04和0.96个百分点。
-
关键词
图文情感分析
深层注意力
两阶段融合
门控注意力机制
对比学习
-
Keywords
image-text sentiment analysis
deep attention
two-stage fusion
gated-attention
contrastive learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于计算机视觉的地铁车站内乘客异常行为检测模型
- 2
-
-
作者
吴剑凡
谢征宇
秦勇
王力
王佳丽
-
机构
北京交通大学交通运输学院
-
出处
《交通运输系统工程与信息》
2025年第4期162-174,共13页
-
基金
国家重点研发计划项目(2022YFB4301305)。
-
文摘
为及时有效地应对地铁车站内乘客异常行为事件,本文提出一种基于计算机视觉的两阶段融合模型BiFuseNet(Bi-Fusion Network),该模型通过融合轻量级检测网络LMD(LCAB, MCAB, DyHead)-YOLO和基于EfficientformerV2的高效分类网络,实现高效且精准的异常行为检测。在模型第1阶段,通过引入轻量卷积聚合块(LCAB)、混合卷积聚合块(MCAB)和动态检测头(DyHead),有效减少模型的规模,同时,提升对小目标和遮挡目标的检测能力;在第2阶段,采用多层次加权融合策略优化检测和分类结果,进一步增强模型的鲁棒性。实验结果表明,BiFuseNet在自建的MetroAB数据集上取得了89.3%的准确率,较传统模型提高了6.1%,且实现了43.7 frame·s^(-1)的检测速度(FPS);在PASCAL VOC(Pattern Analysis, Statistical Modelling and Computational Learning Visual Object Classes)和VisDrone(Visual Detection of Drones)公开数据集上,分别提高了10.1%和2.7%的准确率,进一步验证了模型在小目标和遮挡目标检测方面的优势,以及其优异的泛化能力。通过以上设计,BiFuseNet显著提升了地铁车站内乘客异常行为检测的效率和精度。
-
关键词
智能交通
异常行为检测
两阶段融合
地铁车站
计算机视觉
-
Keywords
intelligent transportation
abnormal behavior detection
two-stage fusion
metro station
computer vision
-
分类号
U495
[交通运输工程]
-
