期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
基于选择状态空间的三模态适配器
1
作者 刘弘业 陈锡爱 曾涛 《计算机应用》 北大核心 2025年第2期411-420,共10页
预训练再微调范式广泛应用于各种单模态和多模态的任务中。然而,随着模型规模的指数级别增长,微调预训练模型的所有参数变得非常困难。为了解决这个问题,设计一种基于选择状态空间的三模态适配器,它可以冻结预训练模型,只针对少量额外... 预训练再微调范式广泛应用于各种单模态和多模态的任务中。然而,随着模型规模的指数级别增长,微调预训练模型的所有参数变得非常困难。为了解决这个问题,设计一种基于选择状态空间的三模态适配器,它可以冻结预训练模型,只针对少量额外的参数微调,并完成三模态间的密集交互。具体地,提出一个基于选择状态空间的长期语义选择模块和一个基于视觉或音频中心的短期语义交互模块,这两个模块被按顺序插入各顺序编码器之间,以完成三模态信息的密集交互。长期语义选择模块旨在抑制三模态中的冗余信息,短期语义交互模块则对短时间内的局部模态特征进行交互建模。与之前需要在大规模三模态数据集上进行预训练的方法相比,所提方法更灵活,它可以继承任意强大的单模态或双模态模型。在Music-AVQA三模态评测数据集上,所提方法取得了80.19%的平均准确率,较LAVISH提升了4.09个百分点。 展开更多
关键词 预训练再微调 选择状态空间 三模态 长期语义 短期语义
在线阅读 下载PDF
基于选择状态空间图神经网络的互联网应用用户画像分析
2
作者 滕岷军 孙腾中 +2 位作者 李彦辰 陈媛 宋沫飞 《计算机科学》 北大核心 2025年第S1期730-737,共8页
用户画像分析旨在深入挖掘用户在互联网应用中的偏好,对于推荐系统、个性化广告等众多实际应用具有十分重要的意义。近期的研究趋势是将用户及其互动对象视作图结构中的节点,从而将用户画像的构建转化为节点分类任务,并利用深度图神经... 用户画像分析旨在深入挖掘用户在互联网应用中的偏好,对于推荐系统、个性化广告等众多实际应用具有十分重要的意义。近期的研究趋势是将用户及其互动对象视作图结构中的节点,从而将用户画像的构建转化为节点分类任务,并利用深度图神经网络技术来实现用户特征的提取。然而,这些研究往往未能充分考虑到不同用户间不同交互类型的差异性和时序关系,限制了用户画像分析的准确性。对此,提出了基于选择状态空间的图神经网络方法来进行用户画像分析,以同时捕捉图结构关系所蕴含的多用户对比和时序规律等上下文信息。为有效构建用户操作长序列数据的长程依赖关系,在图神经网络中引入状态空间模型,并结合基于注意力机制的节点优先级排列策略,以增强上下文感知推理,从而提高了用户性别和年龄等显式用户属性的预测性能。在两个真实的互联网APP数据集上进行了实验验证,结果证明了所提方法的有效性。 展开更多
关键词 用户画像 图神经网络 选择状态空间 注意力机制 时序分析
在线阅读 下载PDF
基于多状态空间建模Mamba的电机故障诊断方法
3
作者 徐勇军 曾德灿 《包装工程》 北大核心 2025年第15期269-276,共8页
目的提升包装装备在高负荷连续化生产场景下电机系统多状态故障诊断的精度和效率,解决传统方法对复杂动态特征捕捉不足及模型轻量化不足等问题。方法基于时频域多模态信号特征融合,构建选择性状态空间模型(Mamba)。首先,采用快速傅里叶... 目的提升包装装备在高负荷连续化生产场景下电机系统多状态故障诊断的精度和效率,解决传统方法对复杂动态特征捕捉不足及模型轻量化不足等问题。方法基于时频域多模态信号特征融合,构建选择性状态空间模型(Mamba)。首先,采用快速傅里叶变换提取电机振动信号的全局频域特征,通过连续小波变换生成时频域图像,捕捉局部动态特性;然后,设计基于结构化状态空间建模的特征融合框架,建立电机健康状态动态演化轨迹的微分方程模型;最后,构建轻量化分类器,实现多模态特征协同推理。结果在CWRU和TBVD电机数据集上的实验结果表明,通过时频域特征融合,使得故障分类准确率达到99.88%,相较于单模态方法提升了7.2%;Mamba模型的参数量仅需2.7×10^(6),比传统诊断模型减少了39.3%以上,推理速度提升了3.8倍。结论提出的多状态空间建模方法有效实现了包装装备电机故障特征的动态表征与高效融合,在保持模型轻量化的同时,显著提升了诊断精度,为智能维护系统提供了可工程化部署的解决方案。 展开更多
关键词 时频域特征融合 包装装备故障诊断 选择状态空间模型 轻量化模型 智能化故障诊断
在线阅读 下载PDF
MTFuse:基于Mamba和Transformer的红外与可见光图像融合网络
4
作者 丁政泽 聂仁灿 +2 位作者 李锦涛 苏华平 徐航 《计算机科学》 北大核心 2025年第8期188-194,共7页
红外与可见光图像融合旨在保留红外图像的热辐射信息和可见光图像的纹理细节,以表示成像场景并全面促进下游视觉任务。基于卷积神经网络的融合模型由于专注于局部卷积运算,在捕获全局图像特征方面遇到限制。基于Transformer的模型虽然... 红外与可见光图像融合旨在保留红外图像的热辐射信息和可见光图像的纹理细节,以表示成像场景并全面促进下游视觉任务。基于卷积神经网络的融合模型由于专注于局部卷积运算,在捕获全局图像特征方面遇到限制。基于Transformer的模型虽然在全局特征建模方面表现出色,但也面临着二次复杂性带来的计算挑战。选择性结构化状态空间模型(Mamba)在具有线性复杂性的远程依赖建模方面表现出了巨大的潜力,为解决上述问题提供了一条有希望的路径。为了高效建模图像远程依赖,设计了一个残差选择性结构化状态空间模块(RMB)提取全局特征。同时,为了对多模态图像之间的关系进行建模,设计了一个跨模态查询融合注意力模块(CQAM)用于特征的自适应融合。此外,设计了一个由两项组成的损失函数,包括梯度损失和亮度损失,旨在以无监督的方式训练所提出的模型。与大量其他先进的方法在融合质量的对比实验和消融实验上证明了所提出的方法的有效性。 展开更多
关键词 选择性结构化状态空间模型 TRANSFORMER 无监督学习 红外与可见光图像融合
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部