-
题名基于对象关系网状转换器的图像描述模型
被引量：2
- 1
-
-
作者
李雅红
周海英
徐少伟
-
机构
中北大学大数据学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2021年第5期197-204,共8页
-
基金
国家自然科学基金(61672473)。
-
文摘
针对图像描述生成模型缺乏空间关系信息且图像特征利用不充分的问题,结合对象关系网状转换器,提出一种改进的图像描述模型。利用Faster R-CNN提取图像的外观和边界框特征,并将提取的特征输入到改进的转换器中经过编解码生成图像描述。通过将对象外观和边界框特征合并为关系特征的方式对编码器自我注意力层的注意力权值进行改进,以强化目标间的关联性。将编码器和解码器的连接设计为网状结构,从而充分利用图像特征。实验结果表明,与基于单一注意力的Top-down基线模型相比,该模型的BLUE@1和CIDEr评价指标值分别提高了7.6和3.7个百分点,显著提升了描述语句的准确性。
-
关键词
图像描述模型
注意力机制
编码器和解码器
对象关系
网状转换器
-
Keywords
image description model
attention mechanism
encoder and decoder
object relation
mesh transformer
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名基于IndRNN与BN的深层图像描述模型
被引量：1
- 2
-
-
作者
曹渝昆
魏健强
孙涛
徐越
-
机构
上海电力大学计算机科学与技术学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2021年第10期194-200,共7页
-
基金
国家自然科学基金青年基金项目“代理重加密在智能电网安全数据共享中的应用及关键技术研究”(61802249)。
-
文摘
现有图像描述模型存在解码端层次不深、训练效率低下的问题,且生成的描述语句在语言连贯性和内容多样性方面效果欠佳,为此,提出一种基于独立循环神经网络的深层图像描述模型Deep-NIC。采用独立循环神经元与批标准化方法构建解码单元,通过解码单元的多层叠加建立深层解码端。使用谷歌inception V3作为编码端,构建深层图像描述模型。在数据集MS COCO2014上进行对比实验,结果表明,与基线模型相比,Deep-NIC模型的BLEU-4、METEOR、CIDER评分分别提升3.2%、10.3%、8.18%,其更容易训练且具有更好的拟合效果。
-
关键词
图像描述
深层图像描述模型
深层解码端
独立循环神经网络
批标准化
-
Keywords
image description
deep image description model
deep decoder
Independent Recurrent Neural Network(IndRNN)
Batch Normalization(BN)
-
分类号
TP399
[自动化与计算机技术—计算机应用技术]
-
-
题名基于多级描述模型的渐进式图像内容理解
被引量：12
- 3
-
-
作者
高永英
章毓晋
-
机构
清华大学电子工程系
-
出处
《电子学报》
EI
CAS
CSCD
北大核心
2001年第10期1376-1380,共5页
-
文摘
针对目前基于内容的图像检索技术中低级特征无法准确全面地描述高级语义的问题 ,本文提出了一种基于多级图像描述模型的渐进式图像内容理解 .该图像描述模型在不同层次上对图像内容进行分析和提取 ,实现了图像内容的全方位描述 ,从底层向高层的过渡是渐进式的图像理解过程 .特别是从视觉感知层到目标层 ,体现了图像低级特征与高级语义之间的过渡 .本文给出了一种基于先验知识的上下文驱动的目标理解算法 ,实现了图像语义的提取 .作为一个应用实例 。
-
关键词
图像内容理解
图像描述模型
图像检索
-
Keywords
Algorithms
Content based retrieval
Feature extraction
Mathematical models
Object recognition
Semantics
-
分类号
TN919.85
[电子电信—通信与信息系统]
-
-
题名融合多重视觉特征与语义信息的图像描述生成
被引量：3
- 4
-
-
作者
傅煦嘉
周家乐
王慧锋
颜秉勇
-
机构
华东理工大学信息科学与工程学院
-
出处
《计算机工程与设计》
北大核心
2023年第4期1066-1072,共7页
-
基金
国家自然科学青年基金项目(61906068)。
-
文摘
针对图像描述模型中对语义信息考虑不足,循环神经网络收敛速度慢与精度低等问题,提出一种基于多注意力融合的深层图像描述模型。通过对图像中提取到的内容信息以及文本描述信息分配不同的权重,达到提升精度的效果,融合MOGRIFIER网络解决循环神经网络收敛速度缓慢的问题。使用改进模型与传统模型在数据集MSCOCO上进行对比实验,实验结果表明,该方法能够生成更加准确的描述,在BLEU与CIDEr等关键指标上有明显提升。
-
关键词
图像描述
多注意力融合
语义信息
深层图像描述模型
MOGRIFIER网络
收敛速度
精度
-
Keywords
image caption
multi-attention fusion
semantic information
deep image caption model
MOGRIFIER network
convergence speed
accuracy
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于图像描述算法的离线盲人视觉辅助系统
被引量：1
- 5
-
-
作者
陈悦
郭宇
谢圆琰
米振强
-
机构
北京科技大学计算机与通信工程学院
北京科技大学顺德研究生院
-
出处
《电信科学》
2022年第1期61-72,共12页
-
文摘
针对现有盲人视觉辅助设备存在的不便,探讨了基于模型剪枝的图像描述模型在便携式移动设备上运行的方法。回顾了图像描述模型和剪枝模型技术,重点提出了一种针对图像描述模型的改进剪枝算法。结果表明,在保证准确性的前提下,剪枝后的图像描述模型可以大幅降低工作时的处理时间和消耗的电源容量,能够随时随地快速准确地对环境信息进行描述及语音播报。
-
关键词
视觉辅助系统
图像描述模型
模型压缩和加速
模型剪枝算法
-
Keywords
visual assisted system
image captioning model
model compression and acceleration
model pruning al-gorithm
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于目标语义特征的图像检索系统
被引量：32
- 6
-
-
作者
高永英
章毓晋
罗云
-
机构
清华大学电子工程系
-
出处
《电子与信息学报》
EI
CSCD
北大核心
2003年第10期1341-1348,共8页
-
基金
国家自然科学基金(69672029
60172025)
-
文摘
为克服当前基于内容的图像检索技术中低级特征无法准确全面地描述高级语义的问题,该文设计和实现了一个基于目标高级语义特征的检索系统。该系统利用了一个多级图像描述模型将语义特征结合到图像检索技术中。该图像描述模型通过在不同层次上对图像内容进行分析和描述,实现了从低级特征到高级语义的过渡。在此模型的基础上还研究了相应的检索机制和反馈技术。该系统的检索机制定位于图像中目标的语义内容,与传统的图像检索系统相比更接近人对图像内容的理解,从而使检索过程更简便,检索效率也得到很大提高。基于目标描述的自适应相关反馈可针对不同用户的不同需求给出相应的检索方案,从而使检索结果得到优化。
-
关键词
基于内容检索
图像语义
图像描述模型
目标理解
相关反馈
目标语义特征
图像检索
-
Keywords
Content-based retrieval, Image semantics, Image description model, Object understanding, Relevance feedback
-
分类号
TN911.73
[电子电信—通信与信息系统]
-
-
题名基于改进DC元数据标准的图像编目研究
- 7
-
-
作者
李金凯
李治江
范婵媛
徐俊龙
-
机构
武汉大学
杭州电子科技大学
-
出处
《包装工程》
CAS
CSCD
北大核心
2014年第15期87-91,共5页
-
基金
国家科技支撑计划项目(2012BAH91F00
2012BAH91F03)
-
文摘
目的为了解决印刷企业中普遍存在的图像数量巨大、管理混乱以及利用率不高等问题,研究印刷图像的编目技术。方法首先分析DC元数据标准应用到印刷图像编目存在的优势与缺点,针对存在的问题,构建印刷图像的描述模型。在原DC元数据标准的基础上,根据印刷图像的特点增加印刷图像特有元数据项,修改原DC元数据内容描述项,引入语义层次模型对图像内容进行描述。对印刷图像的编目流程进行设计,并通过VS2012进行实现。结果以DC元数据标准为基础的图像编目框架,能够较为快速、准确地实现对图像的编目与检索。结论该描述模型与编目流程能够将图像与企业管理信息进行紧密关联,对图像内容的描述与表达更加全面,基本实现了对图像的规范化管理。
-
关键词
DC
图像编目
图像描述模型
元数据
-
Keywords
DC
image cataloging
image description model
metadata
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
