期刊文献+
共找到93篇文章
< 1 2 5 >
每页显示 20 50 100
基于多模态特征对齐的弱对齐RGBT显著目标检测
1
作者 刘成壮 翟素兰 +1 位作者 刘海庆 王鲲鹏 《计算机科学》 北大核心 2025年第7期142-150,共9页
可见光和热红外(RGBT)显著目标检测(SOD)旨在从可见光和热红外图像中识别共同的显著物体。然而,现有技术大多在完全对齐的图像对上进行训练,忽略了实际成像过程中由传感器差异造成的“弱对齐”问题,即同一物体在不同模态中虽然结构相关... 可见光和热红外(RGBT)显著目标检测(SOD)旨在从可见光和热红外图像中识别共同的显著物体。然而,现有技术大多在完全对齐的图像对上进行训练,忽略了实际成像过程中由传感器差异造成的“弱对齐”问题,即同一物体在不同模态中虽然结构相关,但是它们的位置、尺度存在差异。因此,如果不经对齐处理,直接使用弱对齐RGBT图像训练模型,会导致检测性能严重下降。为应对这一挑战,提出了一个多模态特征对齐融合网络(AFNet),专门针对弱对齐RGBT SOD。该网络由3个主要模块组成:分布对齐模块(DAM)、注意力引导的可变形卷积对齐模块(AGDCM)和交叉融合模块(CAM)。DAM基于最优传输理论,使热红外和RGB特征的分布尽可能接近,实现特征的初步对齐。AGDCM基于可变形卷积,在学习特征偏移量的过程中引入注意力权重,使不同的区域可以学习到适合自身的偏移量,实现多模态特征的精准对齐。CAM通过交叉注意力机制融合对齐后的特征,增强融合特征的判别能力并提高计算效率。通过在对齐和弱对齐数据集上进行大量实验,证明了所提方法的高效性。 展开更多
关键词 弱对齐RGBT图像 显著目标检测 多模态特征对齐 多模态特征融合 注意力机制
在线阅读 下载PDF
多模态特征增强的双层融合知识推理方法 被引量:1
2
作者 荆博祥 王海荣 +1 位作者 王彤 杨振业 《计算机科学与探索》 北大核心 2025年第2期406-416,共11页
现有的多模态知识推理方法大多采用拼接或注意力的方式,将预训练模型提取到的多模态特征直接进行融合,往往忽略了不同模态之间的异构性和交互的复杂性。为此,提出了一种多模态特征增强的双层融合知识推理方法。结构信息嵌入模块采用自... 现有的多模态知识推理方法大多采用拼接或注意力的方式,将预训练模型提取到的多模态特征直接进行融合,往往忽略了不同模态之间的异构性和交互的复杂性。为此,提出了一种多模态特征增强的双层融合知识推理方法。结构信息嵌入模块采用自适应图注意力机制筛选并聚合关键的邻居信息,用来增强实体和关系嵌入的语义表达;多模态嵌入信息模块使用不同的注意力机制关注不同模态数据的独有特征,以及多模态数据间的共性特征,利用共性特征的互补信息进行模态交互,以减少模态间异构性差异;多模态特征融合模块采用将低秩多模态特征融合和决策融合相结合的双层融合策略,实现了多模态数据在模态间和模态内的动态复杂交互,并综合考虑每种模态在推理中的贡献度,得到更全面的预测结果。为了验证方法的有效性,分别在FB15K-237、DB15K和YAGO15K数据集上进行了实验。结果表明:该方法相比多模态推理方法,在FB15K-237数据集上MRR和Hits@1分别平均提升3.6%和2.2%;相比单模态推理方法,MRR和Hits@1分别平均提升13.7%和14.6%。 展开更多
关键词 多模态知识图谱 链接预测 知识推理 多模态特征融合
在线阅读 下载PDF
基于多模态特征融合的车辆网络波束赋形方法
3
作者 聂佳莉 崔原豪 +3 位作者 张迪 张荣辉 穆俊生 景晓军 《雷达学报(中英文)》 北大核心 2025年第4期994-1004,共11页
波束赋形技术通过向特定方向发射信号,提高了接收信号的功率。然而,在高速动态的车辆网络场景下,频繁的信道状态更新与波束调整导致系统开销过大;波束与用户位置难以实时对齐,易出现错位现象,影响通信稳定性;复杂路况中的遮挡和信道衰... 波束赋形技术通过向特定方向发射信号,提高了接收信号的功率。然而,在高速动态的车辆网络场景下,频繁的信道状态更新与波束调整导致系统开销过大;波束与用户位置难以实时对齐,易出现错位现象,影响通信稳定性;复杂路况中的遮挡和信道衰落进一步限制了波束赋形的效果。为了解决上述问题,该文提出了一种基于卷积神经网络和注意力机制模型的多模态特征融合波束赋形方法,以实现感知辅助的高可靠通信。模型首先对传感器采集的雷达、激光雷达数据分别定制数据转换和标准化策略,解决数据异构问题。然后使用三维卷积残差块提取多层次高阶多模态特征后,利用注意力机制模型融合特征并预测最佳波束,实现通信性能的优化。实验结果表明,该文所提方法在高速场景下可达到接近90%的平均Top-3波束预测精度,相比单模态方案性能显著提升,验证了其在提升通信性能和可靠性方面的优越性。 展开更多
关键词 感知辅助通信 多模态特征融合 雷达信号处理 波束赋形 注意力机制
在线阅读 下载PDF
基于多模态特征集成算法的CID患者识别研究
4
作者 周文俊 欧静 +1 位作者 龚亮 彭博 《计算机应用与软件》 北大核心 2025年第4期142-149,共8页
目前,慢性失眠障碍(CID)患者数量逐年增加,及时诊断能有效避免CID患者症状加重。利用磁共振成像(MRI)技术结合分类算法可对CID患者进行识别。传统MRI数据分类算法基于单模态特征SVM算法进行,但该算法对CID患者数据分类效果不佳,因此,提... 目前,慢性失眠障碍(CID)患者数量逐年增加,及时诊断能有效避免CID患者症状加重。利用磁共振成像(MRI)技术结合分类算法可对CID患者进行识别。传统MRI数据分类算法基于单模态特征SVM算法进行,但该算法对CID患者数据分类效果不佳,因此,提出一种多模态特征集成算法进行CID患者识别以取得更好效果。多模态特征集成算法基于静息态功能MRI技术映射多模态特征,利用集成算法进行分类对比实验。实验结果显示,相较于传统MRI分类算法,多模态特征集成算法对CID患者数据分类效果更好,能有效识别CID患者,进而进行相关医疗辅助诊断工作。 展开更多
关键词 慢性失眠 患者分类 MRI 多模态特征 集成分类器
在线阅读 下载PDF
多模态特征影响下辟谣短视频互动效果研究:基于意见氛围中介视角
5
作者 付少雄 曾源来 邓胜利 《情报学报》 北大核心 2025年第4期466-481,共16页
短视频辟谣的关键在于提升辟谣信息互动效果。为此,分析辟谣短视频多模态特征对互动效果的影响,可为辟谣短视频辟谣效果的提升以及短视频平台内容生态治理提供依据。本研究面向社会认知理论,基于意见氛围中介视角,构建多模态特征影响下... 短视频辟谣的关键在于提升辟谣信息互动效果。为此,分析辟谣短视频多模态特征对互动效果的影响,可为辟谣短视频辟谣效果的提升以及短视频平台内容生态治理提供依据。本研究面向社会认知理论,基于意见氛围中介视角,构建多模态特征影响下辟谣短视频互动效果研究模型。通过抓取抖音短视频平台上2846条有效辟谣短视频数据,采用回归分析,结合情感分析、图像识别与中介效应检验,探究辟谣短视频的发布者头像、内容及标题特征如何影响用户意见氛围,进而分析意见氛围对互动效果的影响。回归分析结果表明,关于外部环境因素与用户群体状态,头像清晰度显著负向影响用户意见氛围,头像真实性、短视频主题、短视频时长、辟谣主体、标题长度及标题情感极性显著正向影响用户意见氛围;关于用户群体状态与群体行为反应,用户意见氛围显著正向影响短视频互动效果。在外部环境因素对群体行为反应的影响中,用户意见氛围发挥完全/部分中介作用。本研究以意见氛围为中介,关联辟谣短视频多模态特征与互动效果,明晰了辟谣短视频互动效果的影响因素,延展了辟谣短视频的研究视角,拓展了社会认知理论的研究情境,丰富了信息行为研究的理论与实践体系。 展开更多
关键词 辟谣短视频 多模态特征 意见氛围 互动效果 社会认知理论
在线阅读 下载PDF
rtTorTIM:基于多模态特征融合和Stacking集成学习的实时Tor流量识别方法
6
作者 王宇飞 刘强 +3 位作者 张唯贞 伍晓洁 李佳雯 王煜恒 《计算机工程与科学》 北大核心 2025年第2期238-246,共9页
以Tor网络为代表的匿名网络在带来强隐私性保护的同时也为网络违法犯罪活动提供了温床,因此,开展实时、高精度的Tor网络流量识别研究具有重要的现实意义。为此,针对现有研究存在泛化性不强和实时性差等问题,提出了一种基于多模态特征融... 以Tor网络为代表的匿名网络在带来强隐私性保护的同时也为网络违法犯罪活动提供了温床,因此,开展实时、高精度的Tor网络流量识别研究具有重要的现实意义。为此,针对现有研究存在泛化性不强和实时性差等问题,提出了一种基于多模态特征融合和Stacking集成学习技术的Tor网络流量识别方法rtTorTIM。具体来讲,该方法首先提取Tor网络流量的主机级、流级和包级3种模态相关特征并构造特征数据集;随后,rtTorTIM选取随机森林、线性回归和K-近邻方法作为基学习器,并使用一个线性神经网络进行决策融合,从而构建起一个2层Stacking流量分类器。基于ISCX Tor 2016公开数据集的对比实验结果表明,rtTorTIM方法在Tor流量识别上的准确率、精确率和召回率均达到了99%,同时该方法在分类实时性上也展现出更优的性能。 展开更多
关键词 Tor匿名网络 多模态特征提取 实时流量识别 Stacking集成学习 机器学习
在线阅读 下载PDF
基于多模态特征小波分解的深度学习股价概率预测
7
作者 张永宇 郭晨娟 魏涵玥 《计算机科学》 北大核心 2025年第S1期758-768,共11页
构建了一种创新的基于多模态特征小波分解的深度学习股价概率预测模型(MWDPF)。该模型融合了动态连续特征、动态分类特征、静态连续特征和静态分类特征等多源异构信息,通过并行融合的策略充分挖掘不同特征子空间的互补信息,全面刻画影... 构建了一种创新的基于多模态特征小波分解的深度学习股价概率预测模型(MWDPF)。该模型融合了动态连续特征、动态分类特征、静态连续特征和静态分类特征等多源异构信息,通过并行融合的策略充分挖掘不同特征子空间的互补信息,全面刻画影响股价波动的多重维度。该模型采用自回归递归神经网络架构,能够直接输出股价变化的概率分布预测,而非单一确定值预测,更加贴近实际股价呈概率分布的特征。另外,该模型引入小波分解技术,对原始时间序列进行去噪,自适应地过滤掉不同尺度下的噪声成分,提高了对内在波动规律的捕捉能力。实证分析阶段,采集了来自金融数据库和互联网论坛的多模态数据,通过缺失值填充、去极值、时间对齐等一系列预处理,以及精心的特征工程和模型优化,实现了优秀的预测性能,显著优于传统的统计学模型和深度学习模型,评价指标均有大幅改善。该模型产生的预测结果被用于构建了一个多因子选股策略,在实际回测中取得了可观的超额收益,进一步验证了该模型在实际投资决策中的有效性。该研究为股价预测提供了一种行之有效的解决方案,丰富了量化投资的理论和方法,具有重要的理论意义和应用价值。 展开更多
关键词 概率密度预测 多模态异构特征融合 小波分解时频分析 自回归递归神经网络 投资组合超额收益
在线阅读 下载PDF
基于多模态特征工程和TSNet的心脏异常检测算法
8
作者 刘纪红 薛维 徐超 《东北大学学报(自然科学版)》 EI CAS CSCD 北大核心 2024年第10期1394-1400,1520,共8页
心电图(electrocardiogram,ECG)和心音图(phonocardiogram,PCG)是心脏疾病诊断中常用的图像,单一的方法进行心脏疾病诊断效果不佳.基于多模态特征工程,数据集经过切分和归一化预处理后,使用格拉姆角场(Gramian angle fields,GAF)进行时... 心电图(electrocardiogram,ECG)和心音图(phonocardiogram,PCG)是心脏疾病诊断中常用的图像,单一的方法进行心脏疾病诊断效果不佳.基于多模态特征工程,数据集经过切分和归一化预处理后,使用格拉姆角场(Gramian angle fields,GAF)进行时间序列数据重建,形成图像模型.提出一种适用于该图像模型的双流自融合网络(two‑stream self‑fusion network,TSNet),使用双流自融合(two‑stream self‑fusion,TS)模块替代底层卷积操作,更好地融合ECG和PCG的异构信息.经Physio Net Challenge 2016 a数据集测试,该算法的准确率、F1值、精确率和召回率最佳值分别达到95.3%,95.4%,96.2%,99.4%,相较其他心电和心音多模态卷积神经网络算法,精度更高. 展开更多
关键词 心电图 心音图 多模态特征工程 格拉姆角场 双流自融合网络
在线阅读 下载PDF
多模态特征分析的帕金森病辅助诊断方法 被引量:4
9
作者 强薇 杜宇 +5 位作者 李信金 范向民 苏闻 陈海波 孙伟 田丰 《软件学报》 EI CSCD 北大核心 2024年第5期2192-2207,共16页
帕金森病是一种常见的神经退行性疾病,会逐步破坏患者运动功能和部分认知功能,且发病隐匿、不可治愈,为患者及家人带来沉重负担.然而,帕金森病的临床诊断通常依赖主观评估量表,会同时受到评估者主观性、被评估者回忆偏差的影响.目前,有... 帕金森病是一种常见的神经退行性疾病,会逐步破坏患者运动功能和部分认知功能,且发病隐匿、不可治愈,为患者及家人带来沉重负担.然而,帕金森病的临床诊断通常依赖主观评估量表,会同时受到评估者主观性、被评估者回忆偏差的影响.目前,有大量研究从各个模态探索了帕金森病的生理特征,并借此提供了客观量化辅助诊断方法.但是,神经退行性疾病种类繁多、影响类似,从帕金森病表征出发的单模态方法特异性问题仍有待解决.为此,搭建一套包含帕金森病异常诱发范式的多模态辅助诊断系统.首先,根据正态分布检验结果进行特征的参数检验,构建具有统计学意义的特征集(p<0.05);其次,在临床环境中收集38例带有MDS-UPDRS评分量表的多模态数据;最后,基于步态和眼动模态,分析不同特征组合方式评估帕金森病的显著性;验证虚拟现实场景下高沉浸诱发型任务范式和多模态帕金森病辅助诊断系统的有效性;其中步态与眼动模态综合使用,只需要进行2–4个任务,平均AUC和平均准确率就分别能达到0.97和0.92. 展开更多
关键词 多模态特征分析 帕金森病辅助诊断 步态 眼动
在线阅读 下载PDF
一种基于多模态特征提取的医学视觉问答方法 被引量:2
10
作者 吴松泽 刘利军 +3 位作者 黄青松 孔凡彦 刘骊 付晓东 《小型微型计算机系统》 CSCD 北大核心 2024年第3期676-683,共8页
随着深度学习在医疗领域的快速发展,医学视觉问答(Med-VQA)吸引了研究人员的广泛关注.现有的Med-VQA方法大都使用权重参数共享的同一特征提取网络对多模态医学影像进行特征提取,在一定程度上忽略了不同模态医学影像的差异性特征,导致对... 随着深度学习在医疗领域的快速发展,医学视觉问答(Med-VQA)吸引了研究人员的广泛关注.现有的Med-VQA方法大都使用权重参数共享的同一特征提取网络对多模态医学影像进行特征提取,在一定程度上忽略了不同模态医学影像的差异性特征,导致对特定模态特征提取时引入其它模态的噪声特征,使得模型难以关注到不同模态医学影像中的关键特征.针对上述问题,本文提出一种基于多模态特征提取的医学视觉问答方法.首先,对医学影像进行模态识别,根据模态标签指导输入参数不共享的特征提取网络以获得不同模态影像的差异性特征;然后,设计了一种面向Med-VQA的卷积降噪模块以降低医学影像不同模态特征的噪声信息;最后,采用空间与通道注意力模块进一步增强不同模态差异性特征的关注度.在Med-VQA公共数据集Slake上得到的实验结果表明,本文提出方法能有效提高Med-VQA的准确率. 展开更多
关键词 医学视觉问答 多模态特征提取 卷积神经网络 注意力机制
在线阅读 下载PDF
基于多模态特征对齐的作物病害叶片检测 被引量:3
11
作者 周一帆 刘东洋 周宇平 《中国农机化学报》 北大核心 2024年第7期180-187,共8页
针对现有农作物病害叶片检测方法利用图像特征定位叶片病害区域精度不高的问题,提出一种基于多模态特征对齐的作物病害叶片检测新方法。在训练阶段,利用视觉编码器和文本编码器将农作物叶片集中的图片和文本进行编码,并根据视觉编码特... 针对现有农作物病害叶片检测方法利用图像特征定位叶片病害区域精度不高的问题,提出一种基于多模态特征对齐的作物病害叶片检测新方法。在训练阶段,利用视觉编码器和文本编码器将农作物叶片集中的图片和文本进行编码,并根据视觉编码特征定位给定图片中的病害区域,利用视觉和文本编码融合特征实现病害区域病害类型的细粒度分类。在推理阶段,利用预训练的病害区域定位模块定位给定测试图片中的病害区域,并将其提取的病害区域作为预训练分类模型的输入;通过计算预测文本值与文本集中原始标签之间的相似度值,快速给出病害区域的细粒度分类结果。在多个开源的农作物病害数据集上进行测试,所提出方法在马铃薯、番茄、苹果和草莓四种类型的病害叶片数据集上精准率分别为0.9574、0.9611、0.9580和0.9502,综合性能更优,具有较好实用价值。 展开更多
关键词 病害叶片检测 多模态特征 视觉编码特征 文本编码特征 细粒度分类
在线阅读 下载PDF
基于多模态特征交互的RGB-D显著性目标检测 被引量:2
12
作者 高悦 戴蒙 张晴 《计算机工程与应用》 CSCD 北大核心 2024年第2期211-220,共10页
现有的大多数RGB-D显著性目标检测方法利用深度图来提高检测效果,而忽视了其质量的影响。低质量的深度图会对最终显著目标预测结果造成污染,影响显著性检测的性能。为了消除低质量深度图带来的干扰,并准确突出RGB图像中的显著目标,提出... 现有的大多数RGB-D显著性目标检测方法利用深度图来提高检测效果,而忽视了其质量的影响。低质量的深度图会对最终显著目标预测结果造成污染,影响显著性检测的性能。为了消除低质量深度图带来的干扰,并准确突出RGB图像中的显著目标,提出了一个用于多模态特征交互的RGB-D显著性目标检测模型。在编码阶段,设计了一个特征交互模块,其包含三个子模块:用于增强特征表述能力的全局特征采集子模块、用于过滤低质量深度信息的深度特征精炼子模块和用于实现特征融合的多模态特征交互子模块。在解码阶段,逐层融合经过特征交互后的多模态特征,实现多层次特征融合。通过在五个基准数据集上与十二种先进方法进行的综合实验表明,该模型在NLPR、SIP和NJU2K数据集上的指标上均优于其他对比方法,其中在NJU2K数据集上,该模型的性能比第二名在平均F值上提升了0.008,加权F值上提升了0.014,E-measure上提升了0.007,表现出了较好的检测效果。 展开更多
关键词 RGB-D显著性检测 多模态特征 特征交互 特征融合
在线阅读 下载PDF
基于多模态特征融合的新闻故事单元分割 被引量:8
13
作者 刘嘉琦 封化民 闫建鹏 《计算机工程》 CAS CSCD 2012年第24期161-165,共5页
对新闻视频进行结构分析,提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流,选择静音区间为音频候选点,将镜头边界切变点作为视频候选点,做主持人镜头和主题字幕的探测,挑选主持人镜头为候选区间,并... 对新闻视频进行结构分析,提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流,选择静音区间为音频候选点,将镜头边界切变点作为视频候选点,做主持人镜头和主题字幕的探测,挑选主持人镜头为候选区间,并记录主题字幕的起始位置和结束位置,利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕,对新闻视频进行故事单元分割。实验结果表明,该方法的查全率为83.18%,查准率为83.92%。 展开更多
关键词 新闻视频 多模态特征 字幕 音频 故事单元分割
在线阅读 下载PDF
多模态特征融合与多任务学习的特种视频分类 被引量:6
14
作者 吴晓雨 顾超男 王生进 《光学精密工程》 EI CAS CSCD 北大核心 2020年第5期1177-1186,共10页
特种视频(本文特指暴力视频)的智能分类技术有助于实现网络信息内容安全的智能监控。针对现有特种视频多模态特征融合时未考虑语义一致性等问题,本文提出了一种基于音视频多模态特征融合与多任务学习的特种视频识别方法。首先,提取特种... 特种视频(本文特指暴力视频)的智能分类技术有助于实现网络信息内容安全的智能监控。针对现有特种视频多模态特征融合时未考虑语义一致性等问题,本文提出了一种基于音视频多模态特征融合与多任务学习的特种视频识别方法。首先,提取特种视频的表观信息和运动信息随时空变化的视觉语义特征及音频信息语义特征;然后,构建具有语义保持的共享特征子空间,以实现音视频多种模态特征的融合;最后,提出基于音视频特征的语义一致性度量和特种视频分类的多任务学习特种视频分类理论框架,设计了对应的损失函数,实现了端到端的特种视频智能识别。实验结果表明,本文提出的算法在Violent Flow和MediaEval VSD 2015两个数据集上平均精度分别为97.97%和39.76%,优于已有研究。结果证明了该算法的有效性,有助于提升特种视频监控的智能化水平。 展开更多
关键词 特种视频识别 特征提取 多模态特征融合 语义一致性度量 多任务学习
在线阅读 下载PDF
一种基于多模态特征的新闻视频语义提取框架 被引量:3
15
作者 闫建鹏 封化民 刘嘉琦 《计算机应用研究》 CSCD 北大核心 2012年第7期2725-2729,共5页
为提高视频语义信息提取准确率,提出了一种基于多模态特征的新闻视频语义提取框架。在视频中提取主题字幕信息,对音频进行分类和语音识别,根据主题字幕信息借助搜索引擎得到与新闻视频相关的网页;最后利用网页文本对语音识别的结果进行... 为提高视频语义信息提取准确率,提出了一种基于多模态特征的新闻视频语义提取框架。在视频中提取主题字幕信息,对音频进行分类和语音识别,根据主题字幕信息借助搜索引擎得到与新闻视频相关的网页;最后利用网页文本对语音识别的结果进行纠错,从而通过视频字幕信息和语音脚本的跨模态融合提高视频语义提取的准确率。在中等规模的新闻视频(含新闻网页)库测试表明了该方法的有效性,经纠错后的语音识别准确率达到了65%左右。 展开更多
关键词 多模态特征 语义分析 视频检索
在线阅读 下载PDF
基于多模态特征融合的行人穿越意图预测方法 被引量:1
16
作者 陈龙 杨晨 +2 位作者 蔡英凤 王海 李祎承 《汽车工程》 EI CSCD 北大核心 2023年第10期1779-1790,共12页
行人行为预测是城市环境智能汽车决策规划系统面临的主要挑战之一,提升行人穿越意图的预测准确率对于行车安全意义重大。针对现有方法过度依赖行人的边界框位置信息,且很少考虑交通场景中环境信息及交通对象间的交互关系等问题,本文提... 行人行为预测是城市环境智能汽车决策规划系统面临的主要挑战之一,提升行人穿越意图的预测准确率对于行车安全意义重大。针对现有方法过度依赖行人的边界框位置信息,且很少考虑交通场景中环境信息及交通对象间的交互关系等问题,本文提出一种基于多模态特征融合的行人过街意图预测方法。首先结合多种注意力机制构建了一种新型全局场景上下文信息提取模块和局部场景时空特征提取模块来增强其提取车辆周边场景时空特征的能力,并依赖场景的语义解析结果来捕获行人与其周围环境之间的交互关系,解决了交通环境上下文信息与交通对象之间的交互信息应用不充分的问题。此外,本文设计了一种基于混合融合策略的多模态特征融合模块,根据不同信息源的复杂程度实现了对视觉特征和运动特征的联合推理,为行人穿越意图预测模块提供可靠信息。基于JAAD数据集的测试表明,所提出方法的预测Accuracy为0.84,较基线方法提升了10.5%,相比于现有的同类型模型,所提出方法的综合性能最佳,且具有更广泛的应用场景。 展开更多
关键词 自动驾驶汽车 行人意图预测 多模态特征融合 注意力机制
在线阅读 下载PDF
基于多模态特征融合的Fast-Flux恶意域名检测方法 被引量:7
17
作者 郎波 谢冲 +1 位作者 陈少杰 刘宏宇 《信息网络安全》 CSCD 北大核心 2022年第4期20-29,共10页
Fast-Flux恶意域名是僵尸网络通信中的一种重要载体,通过快速变换域名解析的IP抵御检测。目前,恶意域名检测系统大多基于传统机器学习模型,需要对数据进行复杂处理和特征提取,并且需要借助大量第三方数据源,导致检测的实时性较差。域名... Fast-Flux恶意域名是僵尸网络通信中的一种重要载体,通过快速变换域名解析的IP抵御检测。目前,恶意域名检测系统大多基于传统机器学习模型,需要对数据进行复杂处理和特征提取,并且需要借助大量第三方数据源,导致检测的实时性较差。域名解析是一个复杂的过程,并且具有丰富的特征,文章设计了基于多模态特征融合的Fast-Flux恶意域名检测方法。首先利用GCN模块提取空间特征,采用BiLSTM模块提取域名文本特征,然后利用MLP模块提取侧信息特征,最后利用神经网络将这3种特征进行融合。在Fast-Flux-Attack-Datasets公开数据集上进行实验,实验结果表明,该方法的精确率达99.94%、召回率达99.76%、准确率达99.69%,总体效果优于当前同类方法。文章所提方法有效融合了域名解析的多模态特征,明显提升了检测效果,对于提高僵尸网络检测能力具有重要意义。 展开更多
关键词 Fast-Flux恶意域名检测 僵尸网络 GCN 多模态特征
在线阅读 下载PDF
基于深度神经网络的多模态特征自适应聚类方法 被引量:4
18
作者 敬明旻 《计算机应用与软件》 北大核心 2020年第10期262-269,共8页
深度神经网络学习单模态特征的能力较强,而学习多模态特征的难度较大。针对这种情况,提出基于深度神经网络的多模态特征自适应分类算法。在训练阶段以预定的概率从每个模态选择部分代表信息进行融合,并且建模模式间的相关性。设计基于... 深度神经网络学习单模态特征的能力较强,而学习多模态特征的难度较大。针对这种情况,提出基于深度神经网络的多模态特征自适应分类算法。在训练阶段以预定的概率从每个模态选择部分代表信息进行融合,并且建模模式间的相关性。设计基于聚类的特征剪枝策略,减小网络的计算复杂度,通过正则化防止学习程序过拟合。利用动态编码搜索对超参数进行自适应地优化处理。采用自编码器和卷积神经网络分别对该算法进行验证,实现了较好的多模态特征分类效果,并且对数据缺失具有鲁棒性。 展开更多
关键词 深度神经网络 多模态特征融合 模式识别 卷积神经网络 动态编码搜索
在线阅读 下载PDF
基于多模态特征的视频密集描述生成方法 被引量:1
19
作者 马苗 陈小秋 田卓钰 《中文信息学报》 CSCD 北大核心 2022年第11期156-168,共13页
根据视频内容自动生成文本序列的密集描述生成融合了计算机视觉与自然语言处理技术。现有密集描述生成方法多强调视频中的视觉与运动信息而忽略了其中的音频信息,关注事件的局部信息或简单的事件级上下文信息而忽略了事件间的时序结构... 根据视频内容自动生成文本序列的密集描述生成融合了计算机视觉与自然语言处理技术。现有密集描述生成方法多强调视频中的视觉与运动信息而忽略了其中的音频信息,关注事件的局部信息或简单的事件级上下文信息而忽略了事件间的时序结构和语义关系。为此,该文提出一种基于多模态特征的视频密集描述生成方法。该方法首先在动作提议生成阶段使用Timeception层作为基础模块以更好适应动作片段时间跨度的多样性,其次在动作提议生成和描述生成两阶段均利用音频特征增强提议和描述生成效果,最后使用时序语义关系模块建模事件间的时序结构和语义信息以进一步增强描述生成的准确性。特别地,该文还构建了一个基于学习场景的视频密集描述数据集SDVC以探究该文所提方法在学习场景现实应用中的有效性。在ActivityNet Captions和SDVC数据集上的实验结果表明,动作提议生成AUC值分别提升0.8%和6.7%;使用真实动作提议进行描述生成时,BLEU_3值分别提升1.4%和4.7%,BLEU_4值分别提升0.9%和5.3%;使用生成的动作提议进行描述生成时,SDVC数据集BLEU_3、BLEU_4值分别提升2.3%和2.2%。 展开更多
关键词 密集描述生成 多模态特征 时序结构 语义关系
在线阅读 下载PDF
融合多模态特征的社会多媒体谣言检测技术研究 被引量:10
20
作者 金志威 曹娟 +2 位作者 王博 王蕊 张勇东 《南京信息工程大学学报(自然科学版)》 CAS 2017年第6期583-592,共10页
以微博为代表的社会媒体的蓬勃发展在加速信息交流的同时,也促使虚假谣言信息迅速在社会网络上传播,造成严重的后果.自动谣言检测问题受到了国内外学术界、产业界的广泛关注.围绕社会多媒体谣言检测这一问题,本文总结了融合多模态特征... 以微博为代表的社会媒体的蓬勃发展在加速信息交流的同时,也促使虚假谣言信息迅速在社会网络上传播,造成严重的后果.自动谣言检测问题受到了国内外学术界、产业界的广泛关注.围绕社会多媒体谣言检测这一问题,本文总结了融合多模态特征的谣言检测相关技术.首先从基本概念出发,阐述了谣言的定义和社会多媒体的特点,给出了社会多媒体谣言检测问题的定义.针对谣言检测面临的多模态特征抽取和模型构建两大难点,分别总结和归纳了各种类型的特征及其提取方法和不同的机器学习检测模型.这些特征和算法是检测谣言的基本手段,也是接下来研究的基础,可为进一步谣言检测的研究提供参考. 展开更多
关键词 谣言检测 社会媒体计算 多媒体计算 深度学习 多模态特征融合 新闻认证
在线阅读 下载PDF
上一页 1 2 5 下一页 到第
使用帮助 返回顶部