一种有效的MPEG视频运动注意力区域提取方法

1

作者 尤隽永 刘贵忠 李宏亮 《西安交通大学学报》 EI CAS CSCD 北大核心 2005年第10期1135-1138,共4页

提出了一种直接从MPEG压缩码流中提取运动注意力区域的方法,其核心思想是根据运动注意力区域本身的特性,利用位置、清晰度和运动矢量3部分信息以及相应的数学表达形式,构造出一个运动注意力参数,并在此基础上进行注意力区域的提取.由于... 提出了一种直接从MPEG压缩码流中提取运动注意力区域的方法,其核心思想是根据运动注意力区域本身的特性,利用位置、清晰度和运动矢量3部分信息以及相应的数学表达形式,构造出一个运动注意力参数,并在此基础上进行注意力区域的提取.由于该方法同时考虑了运动注意力区域在空间和时间两方面的特性,并且直接在压缩域中进行操作,因此在提取准确度和运算效率上均有较大提高.模拟结果表明,与现有仅考虑运动信息的提取方法相比,采用该方法提取的准确度可提高30%以上,基本上与人眼实际观测的结果相吻合;与传统的像素域中运动对象提取方法相比,运算时间可减少1/2左右,而且提取出的目标区域更加符合基于内容的视频分析要求. 展开更多

关键词 运动注意力区域 压缩码流 运动对象提取

在线阅读 下载PDF 职称材料

CRAKUT:融合对比区域注意力机制与临床先验知识的U-Transformer用于放射学报告生成

2

作者 梁业东 朱雄峰 +3 位作者 黄美燕 张文聪 郭翰宇 冯前进 《南方医科大学学报》 北大核心 2025年第6期1343-1352,共10页

目的 提出一种对比区域注意力和先验知识融合的U型Transformer模型(CRAKUT),旨在解决文本分布不均衡、缺乏上下文临床知识以及跨模态信息转换等问题,提升生成报告的质量,辅助影像科医生诊断工作。方法 CRAKUT包括3个关键模块:对比注意... 目的 提出一种对比区域注意力和先验知识融合的U型Transformer模型(CRAKUT),旨在解决文本分布不均衡、缺乏上下文临床知识以及跨模态信息转换等问题,提升生成报告的质量,辅助影像科医生诊断工作。方法 CRAKUT包括3个关键模块:对比注意力图像编码器,利用数据集中常见的正常影像提取增强的视觉特征;外部知识注入模块,融合临床先验知识;U型Transformer,通过U型连接架构完成从视觉到语言的跨模态信息转换。在图像编码器中引入的对比区域注意力机制,通过强调正常与异常语义特征之间的差异,增强了异常区域的特征表示。此外,文本编码器中的临床先验知识注入模块结合了临床历史信息及由ChatGPT生成的知识图谱,从而提升了报告生成的上下文理解能力。U型Transformer在多模态编码器与报告解码器之间建立连接,融合多种类型的信息以生成最终的报告。结果 在2个公开的CXR数据集(IU-Xray和MIMIC-CXR)对CRAKUT模型进行评估,结果显示,CRAKUT在报告生成任务中实现了当前最先进的性能。在MIMIC-CXR数据集,CRAKUT取得了BLEU-4分数0.159、ROUGE-L分数0.353、CIDEr分数0.500;在IU-Xray数据集上,METEOR分数达到0.258,均优于以往模型的表现。结论 本文提出的方法在临床疾病诊断和报告生成中具有巨大的应用潜力。 展开更多

关键词 胸部X光 对比区域注意力 临床先验知识 跨模态交互 U-Transformer模型

在线阅读 下载PDF 职称材料

融入多尺度区域注意力的小样本遥感场景分类

3

作者 周立俭 赵志昂 +3 位作者 孟庆宇 王梦圆 郝思媛 赵锟 《计算机工程与应用》 北大核心 2025年第15期278-287,共10页

针对基于小样本的研究方法大都关注图像深层特征的提取、对于浅层信息的挖掘不充分,且忽视了遥感图像区域特征重要性的问题,提出一种融入多尺度区域注意力的小样本遥感场景分类方法。为了提取遥感场景包含细粒度及粗粒度信息的多尺度特... 针对基于小样本的研究方法大都关注图像深层特征的提取、对于浅层信息的挖掘不充分,且忽视了遥感图像区域特征重要性的问题,提出一种融入多尺度区域注意力的小样本遥感场景分类方法。为了提取遥感场景包含细粒度及粗粒度信息的多尺度特征,提出了基于ResNet-12的多尺度特征提取模块。由于在样本少的情况下,区域特征在场景分类中起着关键作用,为强调区域特征的重要性,提出区域注意力(patch attention,PAT)机制,构建基于PAT的特征增强模块。为充分利用多尺度特征信息,提出特征融合和分类模块,将来自不同尺度的增强特征进行融合,再通过计算样本间的余弦相似度完成分类任务。实验结果表明,提出的方法能够有效地提升分类准确率和对于新类别的识别能力。 展开更多

关键词 小样本学习 遥感场景分类 多尺度 区域注意力

在线阅读 下载PDF 职称材料

多区域注意力的细粒度图像分类网络 被引量：6

4

作者 白尚旺 王梦瑶 +1 位作者 胡静 陈志泊 《计算机工程》 CSCD 北大核心 2024年第1期271-278,共8页

目前细粒度图像分类的难点在于如何精准定位图像中高度可辨的局部区域以及其他辅助判别特征。提出一种多区域注意力的细粒度图像分类网络来解决这个问题。首先使用Inception-V3对图像特征进行提取,通过重复使用注意力擦除的方法使模型... 目前细粒度图像分类的难点在于如何精准定位图像中高度可辨的局部区域以及其他辅助判别特征。提出一种多区域注意力的细粒度图像分类网络来解决这个问题。首先使用Inception-V3对图像特征进行提取,通过重复使用注意力擦除的方法使模型关注次要特征;然后通过背景去除以及上采样的方法获取图像更精准的局部图像,对提取到的局部特征进行位置统计,并以矩形框的方式获取图像整体,减少细节信息丢失;最后对局部与整体图像进行更加细致的学习。此外,设计联合损失函数,通过动态平衡难易样本和缩小类内差距的方法改善模型的识别效果。实验结果表明,该方法在公开的细粒度图像数据集CUB-200-2011、Stanford-Cars和FGVC-Aircraft上的准确率分别达到89.2%、94.8%、94.0%,相较于对比方法性能更优。 展开更多

关键词 多区域注意力 细粒度图像分类 擦除策略 联合损失 深度学习 卷积神经网络

在线阅读 下载PDF 职称材料

一种交叉区域注意力的高分辨率遥感建筑物提取算法 被引量：1

5

作者 邓博文 徐胜军 +3 位作者 孟月波 刘光辉 韩九强 史亚 《小型微型计算机系统》 CSCD 北大核心 2024年第1期207-215,共9页

针对遥感图像中建筑物区域尺度跨度大且区域边界模糊导致分割精度低的问题,本文提出了一种基于交叉区域注意力的遥感建筑物分割算法.首先,设计了交叉自注意力模块和分组通道注意力模块用于建立遥感图像区域间和区域内特征的相关性表征,... 针对遥感图像中建筑物区域尺度跨度大且区域边界模糊导致分割精度低的问题,本文提出了一种基于交叉区域注意力的遥感建筑物分割算法.首先,设计了交叉自注意力模块和分组通道注意力模块用于建立遥感图像区域间和区域内特征的相关性表征,进而引导模型关注待分割目标的区域级细节特征与通道组选择能力;最后,针对分割结果缺乏空间相关性约束问题,提出一种区域一致性监督的损失函数,约束局部区域内像素标签分配的一致性.所提算法在WHU数据集上IoU、Precision、Recall、F1-score分别可达到91.2%、95.28%、95.4%和95.3%;在Massachusetts数据集上IoU、Precision、Recall、F1-score分别可达到74.6%、83.7%、86.9%和85.3%,各项指标均优于主流遥感图像建筑物分割算法. 展开更多

关键词 遥感图像 建筑物分割 交叉区域注意力 通道注意力

在线阅读 下载PDF 职称材料

基于孪生网络和区域注意力机制的球形爆炸破片毁伤效应识别研究 被引量：1

6

作者 李豪天 崔欣雨 +3 位作者 刘梦真 黄广炎 吕中杰 张宏 《兵工学报》 EI CAS CSCD 北大核心 2024年第12期4259-4271,共13页

在信息化战争中,爆炸物破片毁伤效应评估对实现精准打击具有重要意义,然而在毁伤实验中毁伤区域的分布和几何信息主要由人工统计,获取效率低下、精度不可控。为此,提出基于孪生网络和区域注意力机制的轻量化图像分割模型,实现小样本下... 在信息化战争中,爆炸物破片毁伤效应评估对实现精准打击具有重要意义,然而在毁伤实验中毁伤区域的分布和几何信息主要由人工统计,获取效率低下、精度不可控。为此,提出基于孪生网络和区域注意力机制的轻量化图像分割模型,实现小样本下对小目标球形爆炸破片毁伤区域的高效、精准识别功能。通过引入孪生结构、区域注意力模块和多尺度卷积模块提高模型对爆炸破孔的感知能力;加入多约束条件的损失函数,并筛选最佳优化器,使模型优化时更加聚焦有效信息,加速模型收敛;提出连通域融合分水岭算法的毁伤区域量化检测方法,实现爆炸破孔重叠情况下的精确识别。实验结果表明,相比目前主流模型,所提方法实现了更高的效率和精度,对毁伤区域面积和直径预测结平均误差分别为4.78%和3.79%;研究工作为实现含破片爆炸物毁伤智能化评估提供了参考。 展开更多

关键词 孪生网络 毁伤效应评估 损伤识别 区域注意力机制 多尺度卷积

在线阅读 下载PDF 职称材料

基于图嵌入和区域注意力的多标签文本分类 被引量：17

7

作者 王进 徐巍 +2 位作者 丁一 孙开伟 王利蕾 《江苏大学学报（自然科学版）》 CAS 北大核心 2022年第3期310-318,共9页

针对传统多标签文本分类模型未考虑标签之间以及标签与文本各个部分之间的相关性、低频标签预测效果不佳的问题,使用图嵌入和区域注意力技术来挖掘标签之间以及标签和文本之间的关系,提出了编码器图嵌入和区域注意力机制解码器模型来处... 针对传统多标签文本分类模型未考虑标签之间以及标签与文本各个部分之间的相关性、低频标签预测效果不佳的问题,使用图嵌入和区域注意力技术来挖掘标签之间以及标签和文本之间的关系,提出了编码器图嵌入和区域注意力机制解码器模型来处理多标签分类任务.采用Bi-LSTM作为编码器,使用图嵌入技术生成标签嵌入矩阵;利用区域注意力机制结合单词级别与区域级别的信息,使得模型在预测每个标签时考虑文本不同部分的信息,挖掘了文本与标签之间的潜在关联;使用循环神经网络和多层感知机作为解码器结合随机策略梯度算法,减少训练损失,改善多标签分类效果.在AAPD和RCV1-V2多标签文本分类数据集上进行试验,根据数据集特征设置相关参数,以micro-F1和Hamming Loss作为评价指标,对比所提出模型与LP、卷积神经网络等9个经典模型.结果表明,所提出模型能够根据高频标签预测出低频标签,在2个数据集上的micro-F1和Hamming Loss均优于经典模型. 展开更多

关键词 多标签 文本分类 序列到序列模型 图嵌入 区域注意力 循环神经网络

在线阅读 下载PDF 职称材料

基于区域注意力机制的有噪样本下中医舌色分类算法研究 被引量：5

8

作者 卓力 李艳萍 +3 位作者 张辉 李晓光 杨洋 魏玮 《世界科学技术-中医药现代化》 CSCD 北大核心 2023年第8期2873-2882,共10页

目的由于舌色标注样本中常常包含有错误标签,这些噪声样本会导致舌色分类性能不高、模型泛化能力差等问题。因此,需要建立自动舌色分类模型,提升有噪标注样本下舌色分类的准确率,促进中医(TCM)舌诊客观化研究。方法从中医舌色分类的特... 目的由于舌色标注样本中常常包含有错误标签,这些噪声样本会导致舌色分类性能不高、模型泛化能力差等问题。因此,需要建立自动舌色分类模型,提升有噪标注样本下舌色分类的准确率,促进中医(TCM)舌诊客观化研究。方法从中医舌色分类的特点出发,提出了一种基于区域注意力机制的有噪样本下中医舌色分类方法。本方法的创新性包括两点:一方面,根据中医医生舌诊的习惯,提出了一种区域注意力机制,增强网络对于舌尖和舌两侧等舌色区域的特征提取能力,而抑制其他区域的特征;另一方面,针对噪声标注样本下的分类网络训练问题,设计了一种对称修正的交叉熵损失函数,用于对舌色分类网络进行优化训练,抑制噪声样本对分类性能的影响。结果在3个自建中医舌色分类数据集上的分类结果显示,准确率分别达到了94.96%、93.36%和93.92%,mAP分别达到了94.53%、93.05%和93.38%,Macro-F1分别达到了94.67%、93.16%和92.43%。结论设计的舌色分类方法能以较低的模型复杂度,显著提升分类精度,提升有噪声样本标注情况下的分类鲁棒性。 展开更多

关键词 中医舌诊 舌色分类 深度学习 有噪样本学习 区域注意力机制

在线阅读 下载PDF 职称材料

基于视觉注意机制的彩色图像显著性区域提取 被引量：9

9

作者 孟琭 《计算机应用研究》 CSCD 北大核心 2013年第10期3159-3161,共3页

图像显著性区域提取是计算机视觉处理的重要步骤。结合人类视觉心理、生理模型,提出一种基于视觉注意机制的彩色图像显著性区域提取模型。通过改进的分水岭算法对彩色图像进行预分割,从而将原图像分成若干子区域,在此基础上运用提出的... 图像显著性区域提取是计算机视觉处理的重要步骤。结合人类视觉心理、生理模型,提出一种基于视觉注意机制的彩色图像显著性区域提取模型。通过改进的分水岭算法对彩色图像进行预分割,从而将原图像分成若干子区域,在此基础上运用提出的区域化空间注意力模型对各个子区域进行显著图计算,得到最终的显著性区域提取结果。实验结果表明,提出的显著性区域提取算法可以很好地从彩色图像中得到与视觉注意机制相一致的结果,且满足实时性要求,与传统方法相比,算法提取的区域更完整、更准确。 展开更多

关键词 显著性区域提取 视觉注意机制 分水岭 区域化空间注意力模型

在线阅读 下载PDF 职称材料

基于深度学习的快速长时视觉跟踪算法

10

作者 侯志强 马靖媛 +3 位作者 韩若雪 马素刚 余旺盛 范九伦 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第8期2391-2403,共13页

在目标尺寸变化、遮挡和出视场等复杂长时视觉跟踪环境下,现有基于深度学习的视觉跟踪算法很难对目标进行实时准确的跟踪。针对该问题,提出一种快速的长时视觉跟踪算法,该算法由一个快速短时视觉跟踪算法和一个快速全局重检测模块组成... 在目标尺寸变化、遮挡和出视场等复杂长时视觉跟踪环境下,现有基于深度学习的视觉跟踪算法很难对目标进行实时准确的跟踪。针对该问题,提出一种快速的长时视觉跟踪算法,该算法由一个快速短时视觉跟踪算法和一个快速全局重检测模块组成。在基准算法SiamRPN中加入二阶通道与区域空间融合的注意力模块作为短时视觉跟踪算法,在保证快速性的同时,提高算法的短时视觉跟踪精确度和成功率;为使改进后的短时视觉跟踪算法具有快速的长时视觉跟踪能力,在算法中加入提出的基于模板匹配的全局重检测模块,该模块使用轻量级网络和快速的相似度判断方法,加快重检测速率。在OTB100、LaSOT、UAV20L、VOT2018-LT、VOT2020-LT等5个数据集上进行测试,实验结果表明,所提算法在长时视觉跟踪中具有优越的跟踪性能,平均速度达104帧/s。 展开更多

关键词 长时视觉跟踪 深度学习 二阶通道注意力 区域空间注意力 全局重检测

在线阅读 下载PDF 职称材料

基于视觉信息积累的行人重识别网络 被引量：4

11

作者 耿圆 谭红臣 +1 位作者 李敬华 王立春 《图学学报》 CSCD 北大核心 2022年第6期1193-1200,共8页

在以往的行人重识别方法中,绝大部分的工作集中于图像注意力区域的学习,却忽视了非注意力区域对最终特征学习的影响,如果在关注图像注意力区域的同时加强非注意力区域的特征学习,可进一步丰富最终的行人特征,有利于行人身份信息的准确... 在以往的行人重识别方法中,绝大部分的工作集中于图像注意力区域的学习,却忽视了非注意力区域对最终特征学习的影响,如果在关注图像注意力区域的同时加强非注意力区域的特征学习,可进一步丰富最终的行人特征,有利于行人身份信息的准确识别。基于此,提出了视觉信息积累网络(VIA Net),该网络整体采用两分支结构,一个分支倾向于学习图像的全局特征,另一个分支则拓展为多分支结构,通过结合注意力区域和非注意力区域的特征逐步加强局部特征的学习,实现视觉信息的积累,进一步丰富特征信息。实验结果表明,在Market-1501等行人重识别数据集上,所提出的VIA Net网络达到了较高的实验性能;同时,在In-Shop Clothes Retrieval数据集上的实验证明:该网络也适用于一般的图像检索任务,具有一定的通用性。 展开更多

关键词 行人重识别 视觉信息 注意力区域 非注意力区域 度量学习

在线阅读 下载PDF 职称材料

基于图像-文本语义一致性的文本生成图像方法 被引量：8

12

作者 薛志杭 许喆铭 +3 位作者 郎丛妍 冯松鹤 王涛 李浥东 《计算机研究与发展》 EI CSCD 北大核心 2023年第9期2180-2190,共11页

近年来,以生成对抗网络(generative adversarial network,GAN)为基础的文本生成图像方法成为跨媒体融合研究的一大热门领域.文本生成图像方法旨在通过提取更具表征力的文本及图像特征,提升文本描述与生成图像之间的语义一致性.现有方法... 近年来,以生成对抗网络(generative adversarial network,GAN)为基础的文本生成图像方法成为跨媒体融合研究的一大热门领域.文本生成图像方法旨在通过提取更具表征力的文本及图像特征,提升文本描述与生成图像之间的语义一致性.现有方法大多针对在图像全局特征与初始文本语义特征之间进行建模,忽略了初始文本特征的局限性,且没有充分利用具有语义一致性的生成图像对文本特征的指导作用,因而降低了文本生成图像中文本信息的表征性.其次,由于没有考虑到生成目标区域间的动态交互,生成网络只能粗略地划分目标区域,且忽略了图像局部区域与文本语义标签的潜在对应关系.为解决上述问题,提出了一种基于图像-文本语义一致性的文本生成图像方法ITSC-GAN.该模型首先设计了一个文本信息增强模块(text information enhancement module,TEM),利用生成图像对文本信息进行增强,从而提高文本特征的表征能力.另外,该模型提出了一个图像区域注意力模块(image regional attention module,IRAM),通过挖掘图像子区域之间的关系,增强图像特征的表征能力.通过联合利用这2个模块,使得图像局部特征与文本语义标签之间具有更高的一致性.最后,该模型使用生成器与判别器损失函数作为约束,以提升生成图像的质量,促进图像与文本描述的语义一致.实验结果表明,在CUB数据集上,与当前主流方法AttnGAN模型相比,ITSC-GAN模型的IS(inception score)指标增长了约7.42%,FID(Fréchet inception distance)减少了约28.76%,R-precision增加了约14.95%.大量实验结果充分验证了ITSC-GAN模型的有效性及优越性. 展开更多

关键词 文本生成图像 生成对抗网络 图像区域注意力 文本信息增强 语义一致性

在线阅读 下载PDF 职称材料