基于文本和图像门控融合机制的多模态方面级情感分析 被引量：1

1

作者 张添植 周刚 +2 位作者 刘洪波 刘铄 陈静 《计算机科学》 CSCD 北大核心 2024年第9期242-249,共8页

多模态方面级情感分析是多模态情感分析领域的一项新兴任务,旨在对给定的方面实体在文本和图像中所体现的情感进行识别。尽管多模态方面级情感分析研究近年来取得了突破性的进展,但是现有的模型在多模态特征融合阶段大都仅采用简单的拼... 多模态方面级情感分析是多模态情感分析领域的一项新兴任务,旨在对给定的方面实体在文本和图像中所体现的情感进行识别。尽管多模态方面级情感分析研究近年来取得了突破性的进展,但是现有的模型在多模态特征融合阶段大都仅采用简单的拼接方法,而没有考虑图像中是否存在与文本语义不相关的信息,这在一定程度上可能会为模型引入额外的噪声。为了解决上述问题,提出了一种基于文本和图像门控融合机制的多模态方面级情感分析模型(TIGFM)。该模型在文本和图像进行交互的同时引入了从数据集图像中提取的形容词-名词对(ANPs),并将其中形容词的加权作为图像辅助信息;此外,在特征融合阶段,通过构建一种动态控制图像和图像辅助信息输入的门控机制实现多模态特征融合。实验结果表明,TIGFM模型在两个基于Twitter的数据集上取得了具有竞争力的结果,进而验证了所提方法的有效性。 展开更多

关键词 多模态方面级情感分析 门控融合机制 形容词-名词对 图像辅助信息 语义相关性

在线阅读 下载PDF 职称材料

结合门控融合网络和残差傅里叶变换重建太阳斑点图 被引量：1

2

作者 黄亚群 郑培煜 +2 位作者 蒋慕蓉 杨磊 罗俊 《计算机科学》 CSCD 北大核心 2023年第S02期266-272,共7页

使用现有深度学习算法重建云南天文台拍摄的高度模糊太阳斑点图像时,出现高频信息丢失、边缘模糊、重建难度大等问题。对此,提出一种结合门控融合网络与残差傅里叶变换的太阳斑点图重建算法,其中门控融合网络由一个生成器和两个鉴别器组... 使用现有深度学习算法重建云南天文台拍摄的高度模糊太阳斑点图像时,出现高频信息丢失、边缘模糊、重建难度大等问题。对此,提出一种结合门控融合网络与残差傅里叶变换的太阳斑点图重建算法,其中门控融合网络由一个生成器和两个鉴别器组成,生成器包含去模糊模块、高维特征提取模块、门控模块和重建模块。去模糊模块采用基于双注意力机制的U形网络框架,获取低分辨率图像去模糊后的特征;高维特征提取模块使用残差傅里叶变换的卷积块,提取包含图像空间细节的高维特征;门控模块将上述两个特征进行融合,得到权重图,与去模糊后的特征进行加权后,再与高维特征融合,得到融合特征;重建模块采用残差傅里叶变换的卷积块和像素混洗层,将门控模块得到的融合特征图进行重建,得到高分辨率图像。利用两个鉴别器分别鉴别去模糊模块产生的去模糊图像和重建模块产生的高分辨率图像的真实性。最后,设计包含像素内容损失、感知损失和对抗损失的组合训练损失函数,指导模型训练。实验结果显示,所提方法与现有深度学习重建方法相比,高频信息的恢复能力更强,边缘轮廓更清晰,结构相似性和峰值信噪比指标更高。 展开更多

关键词 太阳斑点图重建 门控融合网络 残差傅里叶变换 双注意力机制

在线阅读 下载PDF 职称材料

门控融合对抗网络的水下图像增强 被引量：2

3

作者 林森 刘旭 《图学学报》 CSCD 北大核心 2021年第6期948-956,共9页

针对水下成像中图像存在的色彩失真、对比度低和雾化严重等问题,提出一种门控融合对抗网络的水下图像增强方法。主要特点是使用生成网络将图像特征信息逐像素恢复,并通过门控融合形成清晰图像。首先,利用多个并行子网络对同幅图像的不... 针对水下成像中图像存在的色彩失真、对比度低和雾化严重等问题,提出一种门控融合对抗网络的水下图像增强方法。主要特点是使用生成网络将图像特征信息逐像素恢复,并通过门控融合形成清晰图像。首先,利用多个并行子网络对同幅图像的不同空间特征信息进行学习,提升网络对图像特征学习的多样性。然后,通过门控融合,将不同子网络学习到的图像特征相融合。利用生成网络与鉴别网络进行相互博弈,反复训练网络,获得增强的水下图像。最后,在EUVP数据集和U45测试集上进行实验对比。实验结果表明,该算法的关键点匹配与原图相比平均高19个匹配点,UCIQE平均值为0.6647,UIQM平均值为5.7237,与其他经典及最新算法相比具有优势,效果良好。 展开更多

关键词 图像处理 水下图像 生成对抗网络 多尺度输入 门控融合

在线阅读 下载PDF 职称材料

交叉门控融合的改进语义分割网络及应用 被引量：2

4

作者 陈海永 刘新如 《重庆理工大学学报（自然科学）》 北大核心 2023年第6期187-195,共9页

针对太阳能电池表面的断栅、划痕、黑斑等导致的缺陷分割精度差的问题,提出一种交叉门控融合的改进语义分割网络。使用门控机制选择性地融合网络中的多尺度信息,充分利用底层细节信息和高层语义信息,增强微小缺陷的特征表示,并结合上下... 针对太阳能电池表面的断栅、划痕、黑斑等导致的缺陷分割精度差的问题,提出一种交叉门控融合的改进语义分割网络。使用门控机制选择性地融合网络中的多尺度信息,充分利用底层细节信息和高层语义信息,增强微小缺陷的特征表示,并结合上下文模块提高获取全文信息的能力。为了进一步解决太阳能电池缺陷边缘信息弱的问题,引入PointRend模块对缺陷边缘的点进行采样,对边缘中不确定的点实行自适应细分策略,实现对缺陷边缘的精细分割。实验结果表明:所提方法在太阳能EL组件电池数据集上的mIoU达到了65.53%。和现有的语义分割算法相比,所提方法能够有效细化目标边界,更好地处理微小微弱缺陷。 展开更多

关键词 太阳能电池 缺陷分割 多尺度特征 门控融合 上下文注意力

在线阅读 下载PDF 职称材料

孪生注意力门控融合的遥感图像变化检测编解码网络 被引量：1

5

作者 陈海永 吕承杰 +1 位作者 杜春 陈鹏 《计算机工程与科学》 CSCD 北大核心 2023年第9期1593-1601,共9页

针对深度卷积神经网络中特征图分辨率降低,进而导致遥感图像小变化区域检测性能差以及难以有效区分外界干扰而产生伪变化等问题,提出了一种孪生注意力门控融合的遥感图像变化检测编解码网络。在编码部分引入了三重注意力网络模块,为进... 针对深度卷积神经网络中特征图分辨率降低,进而导致遥感图像小变化区域检测性能差以及难以有效区分外界干扰而产生伪变化等问题,提出了一种孪生注意力门控融合的遥感图像变化检测编解码网络。在编码部分引入了三重注意力网络模块,为进一步解决变化检测图中产生伪变化的问题,提出了注意力门控融合模块,从多个层次选择性地融合特征,在解码部分直接引入深度监督策略,增强了变化检测网络的特征提取能力。通过实验对本文所提网络的有效性进行了验证。 展开更多

关键词 图像处理 高分辨率遥感图像 变化检测 注意力机制 门控融合 深度监督

在线阅读 下载PDF 职称材料

基于全局残差注意力和门控特征融合的CNN-Transformer去雾算法 被引量：1

6

作者 李海燕 乔仁超 +1 位作者 李海江 陈泉 《东北大学学报(自然科学版)》 北大核心 2025年第1期26-34,共9页

为解决现有图像去雾算法因缺乏全局上下文信息、处理分布不均匀的雾时效果差且复用细节信息时引入噪声的缺陷,提出了基于全局残差注意力和门控特征融合的CNN-Transformer去雾算法.首先,引入全局残差注意力机制编码模块自适应地提取非均... 为解决现有图像去雾算法因缺乏全局上下文信息、处理分布不均匀的雾时效果差且复用细节信息时引入噪声的缺陷,提出了基于全局残差注意力和门控特征融合的CNN-Transformer去雾算法.首先,引入全局残差注意力机制编码模块自适应地提取非均匀雾区的细节特征,设计跨维度通道空间注意力优化信息权重.然后,提出全局建模Transformer模块加深编码器的特征提取过程,设计带有并行卷积的Swin Transformer捕捉特征之间的依赖关系.最后,设计门控特征融合解码模块复用图像重建所需的纹理信息,滤除不相关的雾噪声,提高去雾性能.在4个公开数据集上进行定性和定量实验,实验结果表明:所提算法能够有效地处理非均匀雾区域,重建纹理细腻且语义丰富的高保真无雾图像,其峰值信噪比和结构相似性指数都优于经典对比算法. 展开更多

关键词 图像去雾 全局残差注意力机制 CNN-Transformer架构 门控特征融合 图像重建

在线阅读 下载PDF 职称材料

双重细化门控自适应融合的道路裂缝检测算法

7

作者 冯永安 张紫扬 张旭 《计算机科学与探索》 北大核心 2025年第11期2981-2993,共13页

道路裂缝存在缺陷类型多样、异常区域复杂等特点,当前的目标检测算法在通道和空间维度存在冗余的特征处理、阶段信息的盲目式融合等问题,导致网络效率低、关键信息丢失。提出了一种双重细化门控自适应融合网络(DR-DETR),在潜在空间中实... 道路裂缝存在缺陷类型多样、异常区域复杂等特点,当前的目标检测算法在通道和空间维度存在冗余的特征处理、阶段信息的盲目式融合等问题,导致网络效率低、关键信息丢失。提出了一种双重细化门控自适应融合网络(DR-DETR),在潜在空间中实现特征在通道和空间维度上的双重精细化处理,解决上述问题的同时,也提高了道路裂缝的检测精度。构建一种通道-空间双重细化的信息蒸馏机制,分别对通道和空间维度内冗余的特征进行信息蒸馏,减少网络对特征的冗余处理,实现关键性特征的高效表征;针对阶段性特征的粗粒度融合,提出了特征信息门控自适应融合模块(FGAF-Fusion),利用增强型条带大核卷积获取全局信息,借助对比感知注意力实现通道间的交互和融合,同时利用门控自适应融合机制筛选出关键性的小目标语义信息;设计Res-DCNv3模块,利用DCNv3可变形卷积的灵活性来精确提取形态各异的道路裂缝特征。在RDD2022公开数据集中的实验结果显示,提出的DRDETR在mAP0.50和mAP0.50:0.95分别达到了51.7%和24.9%,相较于RT-DETR分别提升了4.2和3.3个百分点。在道路裂缝目标检测任务中,提出的DR-DETR可以有效检测出不同类型的道路缺陷,展现出极具竞争性的检测结果和良好的鲁棒性。 展开更多

关键词 缺陷检测 双重细化 门控自适应融合 RT-DETR 可变形卷积

在线阅读 下载PDF 职称材料

基于异构多图时空融合的长时域车辆轨迹预测

8

作者 陈峥 张景 +3 位作者 陈博闻 李春宇 郭凤香 魏福星 《交通运输系统工程与信息》 北大核心 2025年第4期126-136,共11页

车辆轨迹预测的准确率直接影响行车安全性。传统方法仅考虑车辆的运动特征数据,未能充分利用道路环境信息。此外,现有方法在长时域轨迹预测任务中常面临梯度消失等问题,导致预测精度显著下降。为有效解决这些问题,本文提出一种异构多图... 车辆轨迹预测的准确率直接影响行车安全性。传统方法仅考虑车辆的运动特征数据,未能充分利用道路环境信息。此外,现有方法在长时域轨迹预测任务中常面临梯度消失等问题,导致预测精度显著下降。为有效解决这些问题,本文提出一种异构多图时空融合的长时域车辆轨迹预测方法。首先,将历史交通信息解耦为道路环境信息与车辆交互信息,并通过图拓扑结构建模方法将上述两类信息分别建模为道路环境图与车辆交互信息图;其次,采用图注意力网络分别对道路环境图与车辆交互信息图进行卷积和池化操作,以获取各自的时空依赖信息;然后,引入门控融合机制,动态调节环境约束与交互行为的贡献权重,得到融合特征序列;最后,通过Mamba网络对融合特征序列解码,输出长时域预测轨迹。仿真结果表明:在5 s的预测时域上,本文模型相较于最优基线算法,预测轨迹的平均误差降低22.8%,终点误差降低32.6%,均方根误差降低了18.9%,显著提升了长时域预测精度。 展开更多

关键词 智能交通 轨迹预测 Mamba 时空轨迹 门控时空融合

在线阅读 下载PDF 职称材料

动态空间Transformer与多级融合的视网膜病变分级算法

9

作者 梁礼明 钟奕 +1 位作者 康婷 金家新 《计算机工程与科学》 北大核心 2025年第8期1459-1469,共11页

针对糖尿病视网膜病变图像存在误分级和病灶边缘信息关注较少的问题,提出一种动态空间Transformer与多级融合视网膜病变分级算法。该算法首先将视网膜图像经PVT v2主干网络实现对病灶信息的初步提取;其次在网络前3层引入轮廓增强模块,... 针对糖尿病视网膜病变图像存在误分级和病灶边缘信息关注较少的问题,提出一种动态空间Transformer与多级融合视网膜病变分级算法。该算法首先将视网膜图像经PVT v2主干网络实现对病灶信息的初步提取;其次在网络前3层引入轮廓增强模块,凸显病灶边缘特征,提高算法对病灶像素的定位感知能力;再次在网络底层设计动态空间注意力模块,有效联系全局和局部空间信息,以提升算法挖掘深层语义信息的能力;最后构建多级门控融合模块,实现非诊断信息的滤除,同时对可诊断信息进行多级融合,进一步提高视网膜病变分级准确率。在IDRID和APTOS 2019数据集上进行实验验证,其二次加权系数分别为91.71%和89.89%,IDRID数据集上准确率和APTOS 2019数据集ROC曲线下方面积的占比分别为79.61%和93.06%。实验结果表明,所提出算法在视网膜病变分级领域具有一定应用价值。 展开更多

关键词 视网膜病变分级 动态空间注意力 轮廓增强模块 多级门控融合模块

在线阅读 下载PDF 职称材料

基于多层的模态渐进交互融合的图文情感分析

10

作者 程艳 房成兴 +3 位作者 姚宇肖 詹勇鑫 俞恭成 陈彦滢 《中文信息学报》 北大核心 2025年第5期120-128,共9页

相较于单模态数据,多模态数据提供了更丰富的信息,使得模型能够从不同维度来分析数据的情感。以往的研究没有充分探索和利用文本与图像数据之间的信息关联。针对上述问题,该文提出一种基于多层的模态渐进交互融合(Multi-Layer Modal Pro... 相较于单模态数据,多模态数据提供了更丰富的信息,使得模型能够从不同维度来分析数据的情感。以往的研究没有充分探索和利用文本与图像数据之间的信息关联。针对上述问题,该文提出一种基于多层的模态渐进交互融合(Multi-Layer Modal Progressive Interaction Fusion,MLMPIF)的图文情感分析模型,以充分探索文本和图像数据之间的信息。该模型从文本和图像中提取到的文本特征、形容词名词对特征和图像特征进行多层渐进交互融合,即先从图像中提取的形容词名词对,增强图像语义理解,并通过门控多模态融合组件实现文本和图像模态的融合,最后,模型引入组合注意力互补组件,促进单模态与融合特征的深入交互,生成更全面的多模态情感特征信息。在MVSA-Single和MVSA-Multiple数据集上进行的实验表明,与主流方法相比,该文的方法对于多模态情感检测是有效的。 展开更多

关键词 图文情感分析 形容词名词对 门控多模态融合

在线阅读 下载PDF 职称材料

多尺度门控时空增强的唇语识别方法

11

作者 马金林 郭兆伟 +1 位作者 马自萍 吕鑫 《计算机辅助设计与图形学学报》 北大核心 2025年第7期1228-1238,共11页

针对唇语识别模型中的普通卷积对唇部形变缺乏鲁棒性和不能有效地提取时间信息的问题,提出时空增强与多尺度时间卷积网络(MSTCN)结合的唇语识别方法.首先设计沙漏型卷积块(FCB),增强网络对唇部形变的鲁棒性;然后使用门控时移融合(GSF)... 针对唇语识别模型中的普通卷积对唇部形变缺乏鲁棒性和不能有效地提取时间信息的问题,提出时空增强与多尺度时间卷积网络(MSTCN)结合的唇语识别方法.首先设计沙漏型卷积块(FCB),增强网络对唇部形变的鲁棒性;然后使用门控时移融合(GSF)模块提高前端网络的时间信息提取能力;再基于FCB和GSF设计混合3D和2D卷积的时空增强网络STABNet;最后将STABNet作为前端网络,MSTCN作为后端网络,设计唇语识别模型.在LRW数据集上的实验结果表明,与基线模型相比,所提方法的准确率提升4.15个百分点,达到89.45%,而模型的参数量仅增加3.17M.在GRID数据集上准确率达到97.45%,超过大部分对比模型. 展开更多

关键词 唇语识别 多尺度时间卷积网络 时空增强 门控时移融合模块

在线阅读 下载PDF 职称材料

基于门控金字塔融合的遥感影像海陆分割方法

12

作者 李忠伟 王晓政 +2 位作者 罗偲 刘旭阳 郭洪升 《电子测量技术》 北大核心 2023年第15期111-117,共7页

海陆分割是通过遥感影像进行海岸线变化分析、资源管理等应用的重要基础,由于遥感影像场景复杂、陆地大小形状分布不均,海陆分割面临着误分类和边界分割不清等问题。针对上述问题,提出了一种用于遥感影像海陆分割的门控金字塔融合网络... 海陆分割是通过遥感影像进行海岸线变化分析、资源管理等应用的重要基础,由于遥感影像场景复杂、陆地大小形状分布不均,海陆分割面临着误分类和边界分割不清等问题。针对上述问题,提出了一种用于遥感影像海陆分割的门控金字塔融合网络。首先通过基于注意力诱导的跨层聚合模块聚合两个深层特征,捕获全局上下文,准确而粗略地获取陆地的大小和形状信息。然后将聚合的全局特征送入门控融合模块,以全局信息为指导,在多尺度特征中选择有用的上下文信息,逐层优化边界细节并突出整个陆地区域。最后对每个侧输出进行全局监督。选取两组不同数据源的遥感影像进行实验,准确率分别为99.13%和98.98%,F1分数分别为99.03%和98.89%,mIoU分别为98.26%和97.97%。实验结果表明,与其他算法相比,该算法具有更好的分割效果。 展开更多

关键词 海陆分割 语义分割 遥感影像 深度学习 门控金字塔融合

在线阅读 下载PDF 职称材料

基于自适应门控信息融合的多模态情感分析 被引量：2

13

作者 陈真 普园媛 +2 位作者 赵征鹏 徐丹 钱文华 《计算机科学》 CSCD 北大核心 2023年第3期298-306,共9页

多模态情感分析的目标是使用由多种模态提供的互补信息来实现可靠和稳健的情感分析。近年来,通过神经网络提取深层语义特征,在多模态情感分析任务中取得了显著的效果。而多模态信息的不同层次的特征融合也是决定情感分析效果的重要环节... 多模态情感分析的目标是使用由多种模态提供的互补信息来实现可靠和稳健的情感分析。近年来,通过神经网络提取深层语义特征,在多模态情感分析任务中取得了显著的效果。而多模态信息的不同层次的特征融合也是决定情感分析效果的重要环节。因此,提出了一种基于自适应门控信息融合的多模态情感分析模型(AGIF)。首先,通过门控信息融合网络将Swin Transformer和ResNet提取的不同层次的视觉和色彩特征根据对情感分析的贡献进行有机融合。其次,由于情感的抽象性和复杂性,图像的情感往往由多个细微的局部区域体现,而迭代注意可以根据过去的信息精准定位这些情感判别区域。针对Word2Vec和GloVe无法解决一词多义的问题,采用了最新的ERNIE预训练模型。最后,利用自动融合网络“动态”融合各模态特征,解决了(拼接或TFN)确定性操作构建多模态联合表示所带来的信息冗余问题。在3个公开的真实数据集上进行了大量实验,证明了该模型的有效性。 展开更多

关键词 多模态情感分析 门控信息融合网络 迭代注意 ERNIE 自动融合网络

在线阅读 下载PDF 职称材料

融合源信息和门控图神经网络的谣言检测研究 被引量：13

14

作者 杨延杰 王莉 王宇航 《计算机研究与发展》 EI CSCD 北大核心 2021年第7期1412-1424,共13页

社交媒体在带给人们便利同时,也为谣言的发布和传播提供了平台.目前,大多数的谣言检测方法都是基于文本内容信息,但在社交媒体场景下,文本内容大多是短文本,这类方法往往会因为数据稀疏性的问题导致性能下降.社交网络上的消息传播可建... 社交媒体在带给人们便利同时,也为谣言的发布和传播提供了平台.目前,大多数的谣言检测方法都是基于文本内容信息,但在社交媒体场景下,文本内容大多是短文本,这类方法往往会因为数据稀疏性的问题导致性能下降.社交网络上的消息传播可建模为图结构,已有研究考虑消息传播结构特点,通过GCN等模型进行谣言检测.GCN依据结构信息聚合邻居来提升节点表示,但有些邻居聚合是无用的,甚至可能带来噪声,使得通过GCN得到的表示并不可靠.此外,这些研究不能有效的突出源帖信息的重要性.针对这些问题提出了一种融合门控的传播图卷积网络模型GUCNH,在GUCNH模型中,首先利用消息转发关系构建信息转发图,通过2个融合门控的图卷积网络模块来聚合邻居节点信息生成节点的表示,融合门控能够对图卷积之前的特征表示和之后的特征表示进行选择与组合,以得到更加可靠的表示.考虑到在转发图中,任意的帖子之间都可能存在相互影响,而不仅仅是基于邻接关系,因此在2个融合门控的图卷积网络模块之间引入多头自注意力模块来建模任意帖子之间的多角度影响.此外,在转发图中,源帖包含的信息往往是最原始、最丰富的,在生成各节点表示之后,选择性的增强了源节点的信息以增强根源信息的影响力.在3个真实数据集上进行的实验表明,提出的模型优于现有的方法. 展开更多

关键词 谣言检测 传播结构 融合门控的图卷积网络 多头注意力 源信息增强

在线阅读 下载PDF 职称材料

预测轴承寿命的gate递归单元特征融合域自适应模型 被引量：1

15

作者 曾玉海 程峰 +1 位作者 魏春虎 杨世飞 《机电工程》 CAS 北大核心 2024年第4期613-621,共9页

采用现有的数据驱动模型对不同工况下的轴承剩余使用寿命(RUL)进行预测时,精度会大幅下降。针对这一问题,提出了一种基于门控递归单元特征融合领域自适应(GFFDA)模型的轴承RUL预测方法。首先,采用信号分析方法对轴承振动信号进行了特征... 采用现有的数据驱动模型对不同工况下的轴承剩余使用寿命(RUL)进行预测时,精度会大幅下降。针对这一问题,提出了一种基于门控递归单元特征融合领域自适应(GFFDA)模型的轴承RUL预测方法。首先,采用信号分析方法对轴承振动信号进行了特征提取,并采用特征评价的方法选择出了5个最优特征,在最优特征的基础上,采用粒子群算法优化后的支持向量机的方法对轴承的健康阶段进行了划分;然后,选择目标域和源域退化阶段的最优特征子集作为GFFDA模型的输入,采用源域数据对特征提取器和寿命预测模块进行了预训练;最后,更新了目标特征提取器和寿命预测模块,对目标域的RUL进行了预测;并使用西安交通大学的轴承数据集对该GFFDA模型的有效性进行了验证。研究结果表明:相比于现有的数据驱动模型,GFFDA模型具有更好的跨工况分析能力和更出色的信息提取能力;同时,在对变工况的轴承寿命进行预测时,采用GFFDA模型具有更好的性能。 展开更多

关键词 滚动轴承 剩余使用寿命(RUL) 特征评价 对抗自适应 门控递归单元特征融合领域自适应(GFFDA)模型 数据驱动模型

在线阅读 下载PDF 职称材料

多域时空层次图神经网络的空气质量预测 被引量：4

16

作者 马汉达 吴亚东 《计算机应用》 北大核心 2025年第2期444-452,共9页

在协同融合气象、空间和时间三大信息的时空混合模型中,时间变化建模通常在一维空间中完成。针对一维序列局限于滑动窗口和缺乏对多尺度特征的灵活提取的问题,提出一种多域时空层次图神经网络(MST-HGNN)模型。首先,构建城市全局尺度和... 在协同融合气象、空间和时间三大信息的时空混合模型中,时间变化建模通常在一维空间中完成。针对一维序列局限于滑动窗口和缺乏对多尺度特征的灵活提取的问题,提出一种多域时空层次图神经网络(MST-HGNN)模型。首先,构建城市全局尺度和站点局部尺度的两级层次图,从而进行空间关系学习;其次,将一维空气质量序列转换为一组基于多个周期的二维张量,并在二维空间上通过多尺度卷积进行周期解耦以捕获频域特征;同时,在一维空间中利用长短期记忆(LSTM)网络拟合时域特征;最后,为避免聚合冗余信息,设计一种门控机制融合模块用于频域和时域特征的多域特征融合。在Urban-Air数据集和长三角城市群数据集上的实验结果表明,相较于多视图多任务时空图卷积网络模型(M2),所提模型在预测第1 h、3 h、6 h、12 h空气质量的平均绝对误差(MAE)和均方根误差(RMSE)均低于对比模型。可见,MST-HGNN能在频域上解耦复杂时间模式,利用频域信息弥补时域特征建模的局限性,并结合时域信息更全面地预测空气质量变化。 展开更多

关键词 空气质量预测 多域特征融合 时空特征 周期解耦 门控机制融合 图神经网络

在线阅读 下载PDF 职称材料

结构门控与纹理联合引导的生成对抗壁画修复 被引量：6

17

作者 陈永 陶美风 赵梦雪 《湖南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2023年第2期1-11,共11页

现有深度学习修复方法修复壁画时,受结构和纹理影响较大,修复结果易出现结构紊乱和纹理模糊等问题.针对这些问题,提出了一种结构门控融合与纹理联合引导的生成对抗壁画修复模型.首先,构建由结构引导编码子网络和纹理引导解码子网络构成... 现有深度学习修复方法修复壁画时,受结构和纹理影响较大,修复结果易出现结构紊乱和纹理模糊等问题.针对这些问题,提出了一种结构门控融合与纹理联合引导的生成对抗壁画修复模型.首先,构建由结构引导编码子网络和纹理引导解码子网络构成的生成网络,利用结构信息引导编码,并通过门控特征增强边缘轮廓信息.然后,设计纹理引导器和方向注意力模块提取分层纹理特征,引导解码器重构修复,提高壁画的纹理一致性.最后,采用跳跃连接促进结构和纹理的特征互补,并利用谱归一化马尔科夫判别模型对抗完成壁画修复.对真实敦煌壁画数字化修复实验的结果表明:所提方法主客观评价均优于比较算法,修复结果更加清晰、自然. 展开更多

关键词 图像处理 壁画修复 结构纹理引导 方向注意力 门控融合

在线阅读 下载PDF 职称材料

基于跨会话项目图的长短期兴趣推荐方法

18

作者 李雪 周军 +1 位作者 曲晨曦 张大俊 《计算机工程与设计》 北大核心 2025年第8期2193-2199,共7页

针对现有会话推荐方法主要关注用户当前会话内的短期兴趣,忽略了丰富的跨会话信息及长期兴趣信息的问题,提出了一种基于跨会话项目图的长短期兴趣推荐方法,该方法由构建跨会话项目图模块、长短期兴趣提取模块、长短期兴趣融合模块及预... 针对现有会话推荐方法主要关注用户当前会话内的短期兴趣,忽略了丰富的跨会话信息及长期兴趣信息的问题,提出了一种基于跨会话项目图的长短期兴趣推荐方法,该方法由构建跨会话项目图模块、长短期兴趣提取模块、长短期兴趣融合模块及预测模块4部分组成。该方法通过构建跨会话项目图,探索复杂的跨会话效应,采用图神经网络及多头注意力机制划分用户的长短期兴趣信息,解决偶然兴趣影响,采用门控融合机制将长短期兴趣融合为动态兴趣,预测层得到该节点的概率评分,并预测下一个点击的项目。实验在Diginetica、Yoochoose数据集上结果表明,相较于最优算法各项指标均有所提升,验证算法的有效性。 展开更多

关键词 会话推荐 跨会话 长短期兴趣 图神经网络 多头注意力机制 门控融合机制 动态兴趣

在线阅读 下载PDF 职称材料

基于KAN的多模态自动睡眠分期

19

作者 张昌涛 耿读艳 殷玥 《电子测量技术》 北大核心 2025年第16期54-59,共6页

当前的自动睡眠分期模型存在特征提取能力不足以及多模态特征融合效果欠佳的问题。为了更有效地处理非线性信号,本文利用科尔莫戈罗夫-阿诺德网络(KAN)动态学习非线性激活函数,采用基于KAN和迁移学习的特征提取网络分别提取睡眠状态下... 当前的自动睡眠分期模型存在特征提取能力不足以及多模态特征融合效果欠佳的问题。为了更有效地处理非线性信号,本文利用科尔莫戈罗夫-阿诺德网络(KAN)动态学习非线性激活函数,采用基于KAN和迁移学习的特征提取网络分别提取睡眠状态下的脑电和心电信号特征。利用外部注意力机制对不同模态分别施加注意力,通过结合外部注意力机制的多模态门控融合方案进行特征整合,缓解数据类不平衡对N1期精度的影响。在ISRUC-S3数据集上实现了85.6%的总体准确率、84.9%的宏平均F_(1)值,N1期的F_(1)分数为67.7%。相较于当前的其他先进方法,有效提升了自动睡眠分期算法的性能。 展开更多

关键词 自动睡眠分期 科尔莫戈罗夫-阿诺德网络 迁移学习 外部注意力机制 多模态门控融合

在线阅读 下载PDF 职称材料

基于多视角关系增强知识图谱的推荐方法

20

作者 甘轲 朱小飞 程佳玮 《计算机应用》 北大核心 2025年第11期3519-3528,共10页

基于知识图谱的推荐方法通过结合物品属性图和用户交互图中的关系连接学习用户和物品节点的表示,从而推荐合适的物品;然而,由于知识图谱同时包含噪声关系和优质关系,当前的主要挑战在于如何规避噪声关系并挖掘优质关系。现有方法通常基... 基于知识图谱的推荐方法通过结合物品属性图和用户交互图中的关系连接学习用户和物品节点的表示,从而推荐合适的物品;然而,由于知识图谱同时包含噪声关系和优质关系,当前的主要挑战在于如何规避噪声关系并挖掘优质关系。现有方法通常基于全局的重构策略,通过裁剪噪声关系或挖掘优质关系的单一方式优化知识图谱关系,以此学习用户和物品的表示。然而,基于全局视角难以充分捕捉局部信息的细节,并且容易忽略局部信息与全局信息之间的潜在互补性;此外,仅依赖裁剪或增补策略难以同时规避噪声关系的干扰并全面挖掘优质关系。针对上述问题,提出一种基于多视角关系增强知识图谱的推荐方法(RMPREKG)。该方法利用物品混合关系对齐模块和交互混合关系增强模块减少物品属性图和用户交互图中噪声关系的影响,同时深入挖掘优质高阶关系。物品混合关系对齐模块通过重要性裁剪策略和高阶关系挖掘方法分别提取局部与全局关系,并采用一种知识对齐的方法协同两类信息,可有效提炼优质物品辅助信息;交互混合关系增强模块构建了局部混合裁剪关系图和全局混合增补关系图,并通过跨通道和跨层对比学习增强两者之间的信息互补性,从而全面学习用户和物品的表示。最后,采用层级门控自适应的方法融合多组用户与物品嵌入用于推荐。当推荐长度为20时,与VRKG4Rec(Virtual Relational Knowledge Graphs for Recommendation)相比,RMPREKG在Last. FM数据集的归一化折损累计增益(NDCG)提升了10.17%,在MovieLens-1M数据集的NDCG提升了1.13%。 展开更多

关键词 知识图谱 多视角 知识对齐 对比学习 门控融合

在线阅读 下载PDF 职称材料