基于上下文细粒度信息修复的遥感变化检测

1

作者 杜乾刚 彭博 池明旻 《计算机科学》 北大核心 2025年第2期183-190,共8页

遥感变化检测在军事和民用领域都发挥着至关重要的作用。然而,由于变化检测图像对的数据采集存在巨大的时空差距,因此存在大量伪变化。现有的变化检测方法基于双流孪生网络学习物体特征,然后通过一系列专有网络进行伪变化消除。然而,这... 遥感变化检测在军事和民用领域都发挥着至关重要的作用。然而,由于变化检测图像对的数据采集存在巨大的时空差距,因此存在大量伪变化。现有的变化检测方法基于双流孪生网络学习物体特征,然后通过一系列专有网络进行伪变化消除。然而,这种相互独立的去噪方式缺乏捕捉图像对之间相互依存关系的能力,而且往往由于过度关注去噪设计而导致大量的细粒度信息丢失。所提CFIR利用图像对的数据结构特征来增强模型学习上下文依赖关系的能力,并弥补丢失的细粒度信息,缓解了细粒度信息丢失的问题。此外,CFIR采用一种门控机制,消除变化检测任务中的伪变化,并引导网络提取相关的变化特征,缓解了变化检测极端的数据不平衡对模型学习真实变化的影响。CFIR在多个变化检测基准中表现出了极具竞争力的性能,其中相较于变化检测最先进算法,在LEVIR-CD数据集上F1提高0.21%,IoU提高0.38%;在WHU-CD数据集上F1提高0.99%,IoU提高2.43%。 展开更多

关键词 遥感变化检测 细粒度信息重构 门控机制 噪声消除 有监督学习

在线阅读 下载PDF 职称材料

关键细粒度信息指导的多尺度遮挡行人重识别

2

作者 周玉 赵小锋 +2 位作者 汪一 孙彦景 李松 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第6期2578-2586,共9页

为了减轻背景和遮挡等干扰信息对行人身份重识别(ReID)准确率的影响以及充分利用细粒度和粗粒度信息之间的互补性,该文提出关键细粒度信息指导的多尺度遮挡行人重识别网络。首先,将图像划分为两种不同尺寸的重叠图像块,构建同时包含细... 为了减轻背景和遮挡等干扰信息对行人身份重识别(ReID)准确率的影响以及充分利用细粒度和粗粒度信息之间的互补性,该文提出关键细粒度信息指导的多尺度遮挡行人重识别网络。首先,将图像划分为两种不同尺寸的重叠图像块,构建同时包含细粒度和粗粒度信息提取分支的多尺度识别网络,以更好模拟人类观察图像时的多尺度特性以及观察相邻区域时的连续性特性。然后,考虑到细粒度分支能够提取更多的图像细节信息且细粒度和粗粒度信息之间存在一定的共性与差异,进一步通过细粒度注意力模块实现细粒度信息对粗粒度信息学习分支的指导。其中,参与指导的细粒度信息是通过干扰信息剔除(IIE)模块滤除干扰信息后保留的关键信息。最后,通过双次差分获取与行人身份识别相关的关键信息,并通过标签和特征等多维度的联合监督,实现行人身份的预测。在多个公开的行人重识别数据库进行的大量实验证明了该算法的性能优越性以及其中各个模块的有效性和必要性。 展开更多

关键词 遮挡行人重识别 多尺度 细粒度信息 粗粒度信息 干扰信息剔除

在线阅读 下载PDF 职称材料

局部细粒度信息引导的双循环一致性绝缘子缺陷样本生成 被引量：2

3

作者 赵潇 李仕林 +3 位作者 李凡 余正涛 张林华 杨勇 《计算机科学》 CSCD 北大核心 2021年第S01期581-586,602,共7页

针对绝缘子缺陷样本数据缺乏,现有生成方法又要求训练样本的规模庞大,且在生成过程中绝缘子缺陷的细节常常被丢失或扭曲,提出了一种基于局部细粒度信息引导的双循环一致性绝缘子缺陷样本生成方法。该方法利用粗糙绝缘子图像作为网络输入... 针对绝缘子缺陷样本数据缺乏,现有生成方法又要求训练样本的规模庞大,且在生成过程中绝缘子缺陷的细节常常被丢失或扭曲,提出了一种基于局部细粒度信息引导的双循环一致性绝缘子缺陷样本生成方法。该方法利用粗糙绝缘子图像作为网络输入,提出通过循环一致性生成对抗方法向精细缺陷绝缘子样本学习,生成较为逼真的缺陷样本。为使生成的样本具有丰富的缺陷特征,提出将生成图像中的缺陷区域图像作为判别网络的输入,并利用对抗约束的方式引导生成网络重点关注缺陷的细粒度信息,从而进一步提升生成绝缘子缺陷样本的真实性和多样性。与现有方法相比,所提方法构建的绝缘子缺陷样本数据集具有逼真、多样化等特点,为提升绝缘子缺陷自动识别的准确性提供了重要的数据基础。 展开更多

关键词 绝缘子 样本生成 局部细粒度信息 双循环一致性 对抗式网络

在线阅读 下载PDF 职称材料

基于双向语义嵌入的细粒度图文匹配方法

4

作者 尹晶晶 潘丽丽 +2 位作者 王朝 熊思宇 瞿栋梁 《南京大学学报(自然科学版)》 CSCD 北大核心 2024年第5期804-814,共11页

图像-文本匹配旨在实现图像与文本的高质量语义对齐,是计算机视觉与自然语言处理交叉领域的一种重要任务.图像与文本是两种不同的信息载体,其信息内容和数据分布的差异容易造成跨模态细粒度信息关联的不确定和模糊.为了解决上述问题,根... 图像-文本匹配旨在实现图像与文本的高质量语义对齐,是计算机视觉与自然语言处理交叉领域的一种重要任务.图像与文本是两种不同的信息载体,其信息内容和数据分布的差异容易造成跨模态细粒度信息关联的不确定和模糊.为了解决上述问题,根据图像-文本对的语义一致性,提出了基于双向语义嵌入的细粒度图文匹配方法(Bidirectional Semantic Embedding for Fine-Grained Image-Text Matching,BSEM-Net),通过图像到文本和文本到图像双向语义嵌入的方式来提升图像和文本细粒度对齐的准确性.第一,为了减少图像信息冗余,构造了图像语义嵌入模块,利用文本单词作为监督信号,引导模型限制不相关图像区域的表达;第二,为了减少模态间信息分布差异,更好地建立细粒度语义对齐,构造了文本语义嵌入模块,利用图像区域选择单词形成集合体,进而转化为与图像区域信息分布相似的短语.此外,两个模块分别利用图像区域关系连通图和短语关系连通图挖掘模态内特征之间的上下文信息,减少语义发散.在公开的跨模态检索数据集Flickr30k和MSCOCO上与现有方法进行对比实验,结果表明所提方法在图像-文本匹配任务上具有显著的优越性. 展开更多

关键词 图文匹配 跨模态 语义嵌入 细粒度信息关联 语义对齐

在线阅读 下载PDF 职称材料

跨媒体深层细粒度关联学习方法 被引量：14

5

作者 卓昀侃 綦金玮 彭宇新 《软件学报》 EI CSCD 北大核心 2019年第4期884-895,共12页

随着互联网与多媒体技术的迅猛发展,网络数据的呈现形式由单一文本扩展到包含图像、视频、文本、音频和3D模型等多种媒体,使得跨媒体检索成为信息检索的新趋势.然而,"异构鸿沟"问题导致不同媒体的数据表征不一致,难以直接进... 随着互联网与多媒体技术的迅猛发展,网络数据的呈现形式由单一文本扩展到包含图像、视频、文本、音频和3D模型等多种媒体,使得跨媒体检索成为信息检索的新趋势.然而,"异构鸿沟"问题导致不同媒体的数据表征不一致,难以直接进行相似性度量,因此,多种媒体之间的交叉检索面临着巨大挑战.随着深度学习的兴起,利用深度神经网络模型的非线性建模能力有望突破跨媒体信息表示的壁垒,但现有基于深度学习的跨媒体检索方法一般仅考虑图像和文本两种媒体数据之间的成对关联,难以实现更多种媒体的交叉检索.针对上述问题,提出了跨媒体深层细粒度关联学习方法,支持多达5种媒体类型数据(图像、视频、文本、音频和3D模型)的交叉检索.首先,提出了跨媒体循环神经网络,通过联合建模多达5种媒体类型数据的细粒度信息,充分挖掘不同媒体内部的细节信息以及上下文关联.然后,提出了跨媒体联合关联损失函数,通过将分布对齐和语义对齐相结合,更加准确地挖掘媒体内和媒体间的细粒度跨媒体关联,同时利用语义类别信息增强关联学习过程的语义辨识能力,提高跨媒体检索的准确率.在两个包含5种媒体的跨媒体数据集PKU XMedia和PKU XMediaNet上与现有方法进行实验对比,实验结果表明了所提方法的有效性. 展开更多

关键词 跨媒体检索 5种媒体 细粒度信息挖掘 跨媒体循环神经网络 跨媒体联合关联约束

在线阅读 下载PDF 职称材料

细粒度语义知识图谱增强的中文OOV词嵌入学习 被引量：2

6

作者 陈姝睿 梁子然 饶洋辉 《计算机科学》 CSCD 北大核心 2023年第3期72-82,共11页

随着信息化领域的范围不断扩大,许多特定领域的文本语料开始涌现。这些特定领域,如医疗、通信等,由于受到安全性和敏感性的影响,其数据规模通常较小,传统的词嵌入学习模型难以获得有效的结果。另一方面,直接应用现有的预训练语言模型时... 随着信息化领域的范围不断扩大,许多特定领域的文本语料开始涌现。这些特定领域,如医疗、通信等,由于受到安全性和敏感性的影响,其数据规模通常较小,传统的词嵌入学习模型难以获得有效的结果。另一方面,直接应用现有的预训练语言模型时会出现较多未登录词,这些词汇无法表示成向量,从而影响下游任务的性能表现。许多学者开始研究如何利用细粒度语义信息来得到较高质量的未登录词向量表示。然而,当前的未登录词嵌入学习模型大多针对英文语料,对中文词的细粒度语义信息只能进行简单的拼接或映射,难以在中文未登录词嵌入学习任务中得到有效的向量表示。针对上述问题,首先通过中文构字规则,即中文词所包含的汉字、汉字所包含的部件和拼音等,构建细粒度的知识图谱,使其不仅能涵盖汉字和单词之间的关联关系,还能对拼音和汉字、组件和汉字等细粒度语义信息之间的多元且复杂的关联关系进行表征。然后,在知识图谱上运行图卷积算法,从而对中文词的细粒度语义信息之间以及它们与词语义之间更深层次的关系进行建模。此外,文中通过在子图结构上构建图读出来进一步挖掘细粒度语义信息与词语义信息之间的组成关系,据此提升模型在未登录词嵌入推断中的精准度。实验结果表明,在面对未登录词占比较大的特定语料上的词配对、词相似任务,以及文本分类、命名实体识别等下游任务时,所提模型都取得了更好的性能。 展开更多

关键词 未登录词嵌入学习 中文细粒度语义信息 细粒度知识图谱 图卷积网络学习

在线阅读 下载PDF 职称材料

一种针对对话文本属性级情感信息抽取的词对关系建模方法

7

作者 曾涛 王晶晶 +1 位作者 张涵 刘一丁 《计算机工程与科学》 CSCD 北大核心 2024年第12期2239-2251,共13页

属性级情感分析旨在获取文本中包含的细粒度情感信息,因其应用广泛而备受关注。然而传统的属性级情感分析研究大多基于非交互场景下的普通评价文本,针对对话文本的交互式场景下属性级情感分析的研究工作则非常稀缺。基于此现状,提出了... 属性级情感分析旨在获取文本中包含的细粒度情感信息,因其应用广泛而备受关注。然而传统的属性级情感分析研究大多基于非交互场景下的普通评价文本,针对对话文本的交互式场景下属性级情感分析的研究工作则非常稀缺。基于此现状,提出了针对对话文本交互式场景下的属性级情感信息联合抽取任务,获取由目标属性、意见表达以及意见对应的情感极性构成的完整的细粒度情感信息三元组,旨在通过一个任务获取交互式对话中最后一条发言包含的完整细粒度情感信息。针对该任务设计了一种端到端的基于词对关系建模的抽取方法,对词对间关系进行建模后将对话文本映射成一个有向图,将解码过程转换为在有向图中寻找特定环结构的过程。为了提升词对关系建模的准确率,设计了一种新颖的模型结构,在构建词对关系表征时融合词对相对距离信息与对话轮次信息,并通过多粒度二维卷积加强词对间的信息交互。此外,设计了一种动态损失权重方法,有效缓解了对话文本中词对关系类别分布不平衡问题。实验结果显示,本文方法与选用的强基线方法对比,F 1分数平均提升了7.70%,最高提升了15.05%。 展开更多

关键词 属性级情感分析 细粒度情感信息抽取 对话文本 词对关系建模

在线阅读 下载PDF 职称材料

粒度不可区分的隐私保护方法 被引量：2

8

作者 杨茜 赵新辉 《计算机工程与设计》 北大核心 2019年第9期2456-2459,2477,共5页

针对攻击者可通过查询分块的粒度关联连续位置,使部分隐私保护方法失效,基于粒划分的粒度度量和粒层切换,提出一种粒度不可区分的隐私保护方法。将用户的查询信息划分为不可区分的细粒度信息,利用细粒度的不可区分降低属性之间的关联特... 针对攻击者可通过查询分块的粒度关联连续位置,使部分隐私保护方法失效,基于粒划分的粒度度量和粒层切换,提出一种粒度不可区分的隐私保护方法。将用户的查询信息划分为不可区分的细粒度信息,利用细粒度的不可区分降低属性之间的关联特性,从而为用户提供隐私保护服务。通过安全性分析和实验验证,分别在理论层面和实践层面对这种粒度不可区分算法进行分析验证,进一步验证所提算法相比其它同类算法的优越性。 展开更多

关键词 隐私保护 粒划分 细粒度信息 位置隐私 粒度不可区分

在线阅读 下载PDF 职称材料

大数据环境下面向决策全流程的应急信息融合研究 被引量：35

9

作者 操玉杰 李纲 +1 位作者 毛进 王晓 《图书情报知识》 CSSCI 北大核心 2018年第5期95-104,共10页

突发事件的爆发伴随着大量相关信息涌现,突发事件大数据虽然丰富了相关信息类型和规模,但造成了应急决策的信息利用障碍。面向应急决策全流程的信息需求进行突发事件大数据信息融合是提升突发事件大数据的应急决策支持力的有效途径。本... 突发事件的爆发伴随着大量相关信息涌现,突发事件大数据虽然丰富了相关信息类型和规模,但造成了应急决策的信息利用障碍。面向应急决策全流程的信息需求进行突发事件大数据信息融合是提升突发事件大数据的应急决策支持力的有效途径。本文以构建面向应急决策全流程信息需求的大数据融合框架及融合路径为目的,首先依据应急决策流程从信息内容、信息特征两个方面归纳突发事件应急决策信息需求,与大数据环境下可获得的应急信息进行对比,识别出应急信息融合的具体目标及问题;进而,构建以应急数据模型为桥梁、面向应急决策服务的信息融合服务整体框架;最后,从数据层、语义层和服务层逐层剖析应急信息融合中的具体问题,并提出相应的信息融合实现路径。研究结论有助于指导突发事件大数据融合系统构建,也为面向决策的信息分析提供实践参考依据。 展开更多

关键词 大数据 应急决策流程 应急信息需求 细粒度信息融合 语义融合

在线阅读 下载PDF 职称材料

基于FIPA模型的自适应协同优化的车型识别算法

10

作者 王开明 罗哲皓 +2 位作者 孙文琪 梁国远 梁勇 《计算机应用》 CSCD 北大核心 2024年第S2期267-273,共7页

针对车型识别任务中存在的问题,包括人为组合忽略了其他部位信息以及多网络融合时价值不一致导致的精度下降等,提出一种基于FIPA (Foundation for Intelligent Physical Agents)模型的自适应协同优化算法用于车型识别。首先,在特征提取... 针对车型识别任务中存在的问题,包括人为组合忽略了其他部位信息以及多网络融合时价值不一致导致的精度下降等,提出一种基于FIPA (Foundation for Intelligent Physical Agents)模型的自适应协同优化算法用于车型识别。首先,在特征提取过程中采用空间到深度卷积层(SPD-Conv)替代YOLOv8中的标准卷积层,以解决细粒度信息丢失和无效检测问题;其次,设计了一种自适应协同优化网络来挖掘携带有效信息的汽车部件,并解决多智能体无序竞争问题;最后,引入基于FIPA模型的加权对数极坐标投票模块来整合近距离和远距离位置上的细粒度信息,从而解决融合过程中多智能体价值不一致所导致的精度下降问题。在DeepCar5.0数据集上的实验结果表明,在目标检测阶段相较于YOLOv5,所提算法在交并比(IoU)为0.5时的平均精度均值(mAP)提高了1.80个百分点;在分类融合阶段,所提算法的分类准确率提高了6.48个百分点,并通过增加预处理块将分类准确率又提高了7.53个百分点。 展开更多

关键词 车型识别 协同优化 特征提取 对数极坐标投票 细粒度信息

在线阅读 下载PDF 职称材料

基于改进EfficientNet的木材识别研究 被引量：6

11

作者 戴天虹 翟冰 《森林工程》 北大核心 2023年第4期93-100,共8页

木材是一种常见的可再生资源,不同品种的木材有着不同的用途和商业价值。传统的木材分类工作主要依靠人工完成,工作效率较低。为提高木材识别效率,提出一种基于改进EfficientNet的木材识别方法。该方法以EfficientNet作为基准模型,采用... 木材是一种常见的可再生资源,不同品种的木材有着不同的用途和商业价值。传统的木材分类工作主要依靠人工完成,工作效率较低。为提高木材识别效率,提出一种基于改进EfficientNet的木材识别方法。该方法以EfficientNet作为基准模型,采用大核注意力模块代替部分移动翻转瓶颈卷积(Mobile Inverted Bottleneck Convolution,MBConv)模块中的压缩激励网络(squeeze-and-excitation networks,SENet),联合2种注意力机制使网络能更有效地提取木材细粒度信息。训练过程中引入渐进式学习策略,采用不同尺寸大小的图像和不同丢弃概率的Dropout层进行训练,进一步提升模型训练速度和识别准确率。试验结果表明,改进后的EfficientNet模型识别准确率达到99.83%,相比于未改进的EfficientNet模型提高了0.49%,且模型参数仅6.16 MB。该研究的模型能够很好地识别木材种类,为移动端部署木材种类识别模型提供参考。 展开更多

关键词 木材识别 EfficientNet 大核注意力 细粒度信息 渐进式学习

在线阅读 下载PDF 职称材料

改进场景坐标回归网络的室内相机重定位方法 被引量：2

12

作者 王静 胡少毅 +1 位作者 郭苹 金玉楚 《计算机工程与应用》 CSCD 北大核心 2023年第15期160-168,共9页

传统相机重定位依赖手工特征,场景的变化会影响其后续特征匹配,导致算法总体性能下降。然而,基于深度学习场景坐标回归的相机重定位方法在室内场景下有着较好的表现。针对复杂场景下定位精度低以及在特征提取过程中空间信息丢失的问题,... 传统相机重定位依赖手工特征,场景的变化会影响其后续特征匹配,导致算法总体性能下降。然而,基于深度学习场景坐标回归的相机重定位方法在室内场景下有着较好的表现。针对复杂场景下定位精度低以及在特征提取过程中空间信息丢失的问题,在场景坐标回归方法的基础上,提出一种基于深度过参化卷积与细粒度信息的相机定位方法。该方法在特征提取网络中,引入深度过参化卷积层取代传统的卷积层,使提取的特征更具有鲁棒性;在特征提取网络之后,增加细粒度信息,加强特征提取,解决特征提取带来的空间信息丢失问题;通过全连接层输出场景坐标,建立二维图像像素和三维场景坐标之间的关系,然后使用多点透视随机抽样一致性算法得到相机位姿。实验结果表明,改进后的方法与同类型算法相比有明显的提升,该方法能够将平均角度精度提高20.00%,对相机重定位有显著效果,验证了该方法在一定程度上能够克服视觉特征对相机重定位的影响。 展开更多

关键词 相机重定位 相机位姿 场景坐标回归 细粒度信息 特征提取

在线阅读 下载PDF 职称材料

基于语义融合的域内相似性分组行人重识别 被引量：7

13

作者 寇旗旗 黄绩 +2 位作者 程德强 李云龙 张剑英 《通信学报》 EI CSCD 北大核心 2022年第7期153-162,共10页

无监督跨域行人重识别旨在使有标签源域数据集上训练的模型适应目标域数据集。然而,基于聚类的无监督跨域行人重识别算法在网络特征学习过程中常因输入行人图片情况各异而产生噪声,从而影响聚类效果。针对这一问题,提出一种基于语义融... 无监督跨域行人重识别旨在使有标签源域数据集上训练的模型适应目标域数据集。然而,基于聚类的无监督跨域行人重识别算法在网络特征学习过程中常因输入行人图片情况各异而产生噪声,从而影响聚类效果。针对这一问题,提出一种基于语义融合的域内相似性分组行人重识别网络,首先在Baseline网络的基础上添加语义融合层,依次从空间和通道2个方面对中间特征图进行相似特征的语义融合,从而提升网络的自适应感知能力。此外,通过充分利用域内相似性细粒度信息,进而提高网络对全局和局部特征的聚类精准度。通过在DukeMTMC-ReID、Market1501和MSMT17这3个公开数据集上进行实验,结果表明,所提算法的均值平均精度(mAP)和Rank识别准确率与近年无监督跨域行人重识别算法相比有显著提升。 展开更多

关键词 无监督跨域 行人重识别 语义融合 自适应感知 细粒度信息

在线阅读 下载PDF 职称材料