期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于依存句法的图像描述文本生成
被引量：
3
1
作者
毕健旗
刘茂福
+1 位作者
胡慧君
代建华
《北京航空航天大学学报》
EI
CAS
CSCD
北大核心
2021年第3期431-440,共10页
现有图像描述文本生成模型能够应用词性序列和句法树使生成的文本更符合语法规则,但文本多为简单句,在语言模型促进深度学习模型的可解释性方面研究甚少。将依存句法信息融合到深度学习模型以监督图像描述文本生成的同时,可使深度学习...
现有图像描述文本生成模型能够应用词性序列和句法树使生成的文本更符合语法规则,但文本多为简单句,在语言模型促进深度学习模型的可解释性方面研究甚少。将依存句法信息融合到深度学习模型以监督图像描述文本生成的同时,可使深度学习模型更具可解释性。图像结构注意力机制基于依存句法和图像视觉信息,用于计算图像区域间关系并得到图像区域关系特征;融合图像区域关系特征和图像区域特征,与文本词向量通过长短期记忆网络(LSTM),用于生成图像描述文本。在测试阶段,通过测试图像与训练图像集的内容关键词,计算2幅图像的内容重合度,间接提取与测试图像对应的依存句法模板;模型基于依存句法模板,生成多样的图像描述文本。实验结果验证了模型在改善图像描述文本多样性和句法复杂度方面的能力,表明模型中的依存句法信息增强了深度学习模型的可解释性。
展开更多
关键词
图像
描述
文本
生成
依存句法
图像
结构注意力
内容重合度
深度模型可解释性
在线阅读
下载PDF
职称材料
基于Transformer交叉注意力的文本生成图像技术
被引量：
6
2
作者
谈馨悦
何小海
+2 位作者
王正勇
罗晓东
卿粼波
《计算机科学》
CSCD
北大核心
2022年第2期107-115,共9页
近年来,以生成对抗网络为基础的从文本生成图像方法的研究取得了一定的进展。文本生成图像技术的关键在于构建文本信息和视觉信息间的桥梁,促进网络模型生成与对应文本描述一致的逼真图像。目前,主流的方法是通过预训练文本编码器来完...
近年来,以生成对抗网络为基础的从文本生成图像方法的研究取得了一定的进展。文本生成图像技术的关键在于构建文本信息和视觉信息间的桥梁,促进网络模型生成与对应文本描述一致的逼真图像。目前,主流的方法是通过预训练文本编码器来完成对输入文本描述的编码,但这些方法在文本编码器中未考虑与对应图像的语义对齐问题,独立对输入文本进行编码,忽略了语言空间与图像空间之间的语义鸿沟问题。为解决这一问题,文中设计了一种基于交叉注意力编码器的对抗生成网络(CAE-GAN),该网络通过交叉注意力编码器,将文本信息与视觉信息进行翻译和对齐,以捕捉文本与图像信息之间的跨模态映射关系,从而提升生成图像的逼真度和与输入文本描述的匹配度。实验结果表明,在CUB和coco数据集上,与当前主流的方法DM-GAN模型相比,CAE-GAN模型的IS(Inception Score)分数分别提升了2.53%和1.54%,FID (Fréchet Inception Distance)分数分别降低了15.10%和5.54%,由此可知,CAE-GAN模型生成图像的细节更加完整、质量更高。
展开更多
关键词
文本描述生成图像
生成
对抗网络
交叉注意力编码
图像
生成
计算机视觉
在线阅读
下载PDF
职称材料
题名
基于依存句法的图像描述文本生成
被引量：
3
1
作者
毕健旗
刘茂福
胡慧君
代建华
机构
武汉科技大学计算机科学与技术学院
武汉科技大学智能信息处理与实时工业系统湖北省重点实验室
湖南师范大学智能计算与语言信息处理湖南省重点实验室
出处
《北京航空航天大学学报》
EI
CAS
CSCD
北大核心
2021年第3期431-440,共10页
基金
国家社会科学基金重大研究计划(11&ZD189)
全军共用信息系统装备预先研究项目(31502030502)。
文摘
现有图像描述文本生成模型能够应用词性序列和句法树使生成的文本更符合语法规则,但文本多为简单句,在语言模型促进深度学习模型的可解释性方面研究甚少。将依存句法信息融合到深度学习模型以监督图像描述文本生成的同时,可使深度学习模型更具可解释性。图像结构注意力机制基于依存句法和图像视觉信息,用于计算图像区域间关系并得到图像区域关系特征;融合图像区域关系特征和图像区域特征,与文本词向量通过长短期记忆网络(LSTM),用于生成图像描述文本。在测试阶段,通过测试图像与训练图像集的内容关键词,计算2幅图像的内容重合度,间接提取与测试图像对应的依存句法模板;模型基于依存句法模板,生成多样的图像描述文本。实验结果验证了模型在改善图像描述文本多样性和句法复杂度方面的能力,表明模型中的依存句法信息增强了深度学习模型的可解释性。
关键词
图像
描述
文本
生成
依存句法
图像
结构注意力
内容重合度
深度模型可解释性
Keywords
image captioning
dependency syntax
image structure attention
content overlap
interpretability of deep learning model
分类号
TP37 [自动化与计算机技术—计算机系统结构]
在线阅读
下载PDF
职称材料
题名
基于Transformer交叉注意力的文本生成图像技术
被引量：
6
2
作者
谈馨悦
何小海
王正勇
罗晓东
卿粼波
机构
四川大学电子信息学院
出处
《计算机科学》
CSCD
北大核心
2022年第2期107-115,共9页
基金
国家自然科学基金(61871278,U1836118)
成都市重大科技应用示范项目(2019-YF09-00120-SN)
四川省科技计划项目(2018HH0143)。
文摘
近年来,以生成对抗网络为基础的从文本生成图像方法的研究取得了一定的进展。文本生成图像技术的关键在于构建文本信息和视觉信息间的桥梁,促进网络模型生成与对应文本描述一致的逼真图像。目前,主流的方法是通过预训练文本编码器来完成对输入文本描述的编码,但这些方法在文本编码器中未考虑与对应图像的语义对齐问题,独立对输入文本进行编码,忽略了语言空间与图像空间之间的语义鸿沟问题。为解决这一问题,文中设计了一种基于交叉注意力编码器的对抗生成网络(CAE-GAN),该网络通过交叉注意力编码器,将文本信息与视觉信息进行翻译和对齐,以捕捉文本与图像信息之间的跨模态映射关系,从而提升生成图像的逼真度和与输入文本描述的匹配度。实验结果表明,在CUB和coco数据集上,与当前主流的方法DM-GAN模型相比,CAE-GAN模型的IS(Inception Score)分数分别提升了2.53%和1.54%,FID (Fréchet Inception Distance)分数分别降低了15.10%和5.54%,由此可知,CAE-GAN模型生成图像的细节更加完整、质量更高。
关键词
文本描述生成图像
生成
对抗网络
交叉注意力编码
图像
生成
计算机视觉
Keywords
Text-to-Image generation
Generative adversarial networks
Cross-attention encoding
Image generation
Computer vision
分类号
TP391.41 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于依存句法的图像描述文本生成
毕健旗
刘茂福
胡慧君
代建华
《北京航空航天大学学报》
EI
CAS
CSCD
北大核心
2021
3
在线阅读
下载PDF
职称材料
2
基于Transformer交叉注意力的文本生成图像技术
谈馨悦
何小海
王正勇
罗晓东
卿粼波
《计算机科学》
CSCD
北大核心
2022
6
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
