期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
9
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
增强型深度确定策略梯度算法
被引量:
9
1
作者
陈建平
何超
+3 位作者
刘全
吴宏杰
胡伏原
傅启明
《通信学报》
EI
CSCD
北大核心
2018年第11期106-115,共10页
针对深度确定策略梯度算法收敛速率较慢的问题,提出了一种增强型深度确定策略梯度(E-DDPG)算法。该算法在深度确定策略梯度算法的基础上,重新构建两个新的样本池——多样性样本池和高误差样本池。在算法执行过程中,训练样本分别从多样...
针对深度确定策略梯度算法收敛速率较慢的问题,提出了一种增强型深度确定策略梯度(E-DDPG)算法。该算法在深度确定策略梯度算法的基础上,重新构建两个新的样本池——多样性样本池和高误差样本池。在算法执行过程中,训练样本分别从多样性样本池和高误差样本池按比例选取,以兼顾样本多样性以及样本价值信息,提高样本的利用效率和算法的收敛性能。此外,进一步从理论上证明了利用自模拟度量方法对样本进行相似性度量的合理性,建立值函数与样本相似性之间的关系。将E-DDPG算法以及DDPG算法用于经典的Pendulum问题和MountainCar问题,实验结果表明,E-DDPG具有更好的收敛稳定性,同时具有更快的收敛速率。
展开更多
关键词
深度强化学习
样本排序
自模拟度量
时间差分误差
在线阅读
下载PDF
职称材料
深度卷积神经网络图像实例分割方法研究进展
被引量:
16
2
作者
胡伏原
万新军
+3 位作者
沈鸣飞
徐江浪
姚睿
陶重犇
《计算机科学》
CSCD
北大核心
2022年第5期10-24,共15页
图像实例分割是图像处理和计算机视觉技术中关于图像理解的重要环节,随着深度学习和深层卷积神经网络日趋成熟,基于深度卷积神经网络的图像实例分割方法取得了跨越性进展。实例分割任务实际上是目标检测和语义分割两项任务的结合,可以...
图像实例分割是图像处理和计算机视觉技术中关于图像理解的重要环节,随着深度学习和深层卷积神经网络日趋成熟,基于深度卷积神经网络的图像实例分割方法取得了跨越性进展。实例分割任务实际上是目标检测和语义分割两项任务的结合,可以在像素层面完成识别图像中目标轮廓的任务。实例分割不仅可以定位图像中目标的位置,从像素层面上分割所有目标,还可以标注出图像中同一类别的不同个体,既是对图像的像素级分割,又是实例级理解。首先,阐述了图像实例分割产生的原因和深度卷积神经网络的作用。然后,根据图像实例分割方法的过程和特征,分别从两阶段和单阶段的角度介绍了图像实例分割的研究进展,详细阐述了两类方法的优势和不足,进而总结了各类实例分割方法对区域、特征提取和掩膜的设计思路。此外,归纳了图像实例分割方法的性能评价标准和常用的公开数据集,并在此基础上对比和评估了主流的图像实例分割模型的分割精度。最后,指出了当前图像实例分割存在的问题及解决思路,并对其未来发展进行了总结和展望。
展开更多
关键词
实例分割
深度卷积神经网络
目标检测
语义分割
两阶段
单阶段
在线阅读
下载PDF
职称材料
面向图像自动语句标注的注意力反馈模型
被引量:
5
3
作者
吕凡
胡伏原
+2 位作者
张艳宁
夏振平
盛胜利
《计算机辅助设计与图形学学报》
EI
CSCD
北大核心
2019年第7期1122-1129,共8页
图像自动语句标注利用计算机自动生成描述图像内容的语句,在服务机器人等领域有广泛应用.许多学者已经提出了一些基于注意力机制的算法,但是注意力分散问题以及由注意力分散引起的生成语句错乱问题还未得到较好解决.在传统注意力机制的...
图像自动语句标注利用计算机自动生成描述图像内容的语句,在服务机器人等领域有广泛应用.许多学者已经提出了一些基于注意力机制的算法,但是注意力分散问题以及由注意力分散引起的生成语句错乱问题还未得到较好解决.在传统注意力机制的基础上引入注意力反馈机制,利用关注信息的图像特征指导文本生成,同时借助生成文本中的关注信息进一步修正图像中的关注区域,该过程不断强化图像和文本中的关键信息匹配、优化生成的语句.针对常用数据集Flickr8k, Flickr30k 和MSCOCO 的实验结果表明,该模型在一定程度上解决了注意力分散和语句顺序错乱问题,比其他基于注意力机制方法标注的关注区域更加准确,生成语句更加通顺.
展开更多
关键词
图像自动语句标注
注意力机制
注意力反馈
在线阅读
下载PDF
职称材料
一种改进的Mask RCNN特征融合实例分割方法
被引量:
19
4
作者
温尧乐
李林燕
+1 位作者
尚欣茹
胡伏原
《计算机应用与软件》
北大核心
2019年第10期130-133,共4页
实例分割需要兼顾像素级的分类准确性和目标实例级的高级语义特性,非常具有挑战性。由于特征金字塔网络低层特征到高层特征的融合路径太长,导致低层特征在整个特征层次中的作用较弱。在特征金字塔网络的基础上,引入一条自下而上的路径...
实例分割需要兼顾像素级的分类准确性和目标实例级的高级语义特性,非常具有挑战性。由于特征金字塔网络低层特征到高层特征的融合路径太长,导致低层特征在整个特征层次中的作用较弱。在特征金字塔网络的基础上,引入一条自下而上的路径来增强整个特征层次,缩短较低层特征与顶部特征之间的融合路径,增强低层特征在整个特征层次中的作用;在卷积神经网络中引入空洞卷积算法扩大卷积感受域,进一步提升掩膜预测准确度。在MicrosoftCOCO数据集测试结果表明,该方法有效提高了实例分割的准确度。
展开更多
关键词
实例分割
特征融合
卷积神经网络
空洞卷积
在线阅读
下载PDF
职称材料
基于多重指数移动平均评估的DDPG算法
被引量:
1
5
作者
范晶晶
陈建平
+2 位作者
傅启明
陆悠
吴宏杰
《计算机工程与设计》
北大核心
2021年第11期3084-3090,共7页
针对深度确定性策略梯度算法中双网络结构的不稳定及单评论家评估不准确的问题,提出基于多重指数移动平均评估的DDPG算法。介绍EMA-Q网络和目标Q网络合作得出目标更新值,对多个评论家给出的Q值求平均,降低单评论家评估的不准确性。样本...
针对深度确定性策略梯度算法中双网络结构的不稳定及单评论家评估不准确的问题,提出基于多重指数移动平均评估的DDPG算法。介绍EMA-Q网络和目标Q网络合作得出目标更新值,对多个评论家给出的Q值求平均,降低单评论家评估的不准确性。样本池部分引入双重经验回放方法,采用两个样本池分别存储不同的经验,提高算法的收敛性能。将所提算法及原始DDPG算法分别实验于经典的Pendulum问题和Mountain Car问题中。实验结果表明,与传统的DDPG算法相比,所提算法准确性更好,稳定性更高,收敛速度明显提升。
展开更多
关键词
深度学习
强化学习
指数移动平均
平均评估
双重经验回放
在线阅读
下载PDF
职称材料
基于改进全局—局部注意网络的室内场景识别方法
被引量:
1
6
作者
徐江浪
万新军
+1 位作者
夏振平
胡伏原
《计算机应用研究》
CSCD
北大核心
2022年第1期316-320,共5页
由于卷积神经网络(CNN)大多侧重于全局特征学习,忽略了包含更多细节的局部特征信息,使得室内场景识别的准确率难以提高。针对这一问题,提出了基于改进全局—局部注意网络(GLANet)的室内场景识别方法。首先,利用GLANet捕捉场景图像的全...
由于卷积神经网络(CNN)大多侧重于全局特征学习,忽略了包含更多细节的局部特征信息,使得室内场景识别的准确率难以提高。针对这一问题,提出了基于改进全局—局部注意网络(GLANet)的室内场景识别方法。首先,利用GLANet捕捉场景图像的全局特征和局部特征,增加图像特征中的细节信息;然后,在局部网络中引入non-local注意力模块,通过注意力图和特征图的卷积来进一步保留图像的细节特征,最后融合网络不同阶段的多种特征进行分类。通过在MIT Indoor67和SUN397数据集上的训练和验证,所提方法的识别准确率与LGN方法相比分别提高了1.98%和3.07%。实验结果表明,该算法能够有效捕获全局语义信息和精细的局部细节,显著提高了识别准确率。
展开更多
关键词
深度学习
卷积神经网络
室内场景识别
全局特征
局部特征
在线阅读
下载PDF
职称材料
基于场景图的段落生成序列图像方法
被引量:
1
7
作者
张玮琪
汤轶丰
+1 位作者
李林燕
胡伏原
《计算机科学》
CSCD
北大核心
2022年第1期233-240,共8页
通过生成对抗网络进行段落生成序列图像的任务已经可以生成质量较高的图像。然而当输入的文本涉及多个对象和关系时,文本序列的上下文信息难以提取,生成图像的对象布局容易产生混乱,生成的对象细节不足。针对该问题,文中在StoryGAN的基...
通过生成对抗网络进行段落生成序列图像的任务已经可以生成质量较高的图像。然而当输入的文本涉及多个对象和关系时,文本序列的上下文信息难以提取,生成图像的对象布局容易产生混乱,生成的对象细节不足。针对该问题,文中在StoryGAN的基础上,提出了一种基于场景图的段落生成序列图像方法。首先,通过图卷积将段落转换为多个场景图,每个场景图包含对应文本的对象和关系信息;然后,预测对象的边界框和分割掩膜来计算生成场景布局;最后,根据场景布局和上下文信息生成更符合对象及其关系的序列图像。在CLEVR-SV和CoDraw-SV数据集上进行测试,该方法可以生成包含多个对象及其关系的64×64像素的序列图像。实验结果表明,在CLEVR-SV数据集上,所提方法的SSIM和FID比StoryGAN分别提升了1.34%和9.49%;在CoDraw-SV数据集上,所提方法的ACC比StoryGAN提高了7.40%。所提方法提高了生成场景的布局合理性,不仅可以生成包含多个对象和关系的图像序列,而且生成的图像质量更高,细节更清晰。
展开更多
关键词
生成对抗网络
图卷积神经网络
场景布局
文本生成图像
在线阅读
下载PDF
职称材料
基于布局图的多物体场景新视角图像生成网络
8
作者
高小天
张乾
+1 位作者
吕凡
胡伏原
《计算机应用研究》
CSCD
北大核心
2022年第8期2526-2531,共6页
新视角图像生成任务指通过多幅参考图像,生成场景新视角图像。然而多物体场景存在物体间遮挡,物体信息获取不全,导致生成的新视角场景图像存在伪影、错位问题。为解决该问题,提出一种借助场景布局图指导的新视角图像生成网络,并标注了...
新视角图像生成任务指通过多幅参考图像,生成场景新视角图像。然而多物体场景存在物体间遮挡,物体信息获取不全,导致生成的新视角场景图像存在伪影、错位问题。为解决该问题,提出一种借助场景布局图指导的新视角图像生成网络,并标注了全新的多物体场景数据集(multi-objects novel view synthesis,MONVS)。首先,将场景的多个布局图信息和对应的相机位姿信息输入到布局图预测模块,计算出新视角下的场景布局图信息;然后,利用场景中标注的物体边界框信息构建不同物体的对象集合,借助像素预测模块生成新视角场景下的各个物体信息;最后,将得到的新视角布局图和各个物体信息输入到场景生成器中构建新视角下的场景图像。在MONVS和ShapeNet cars数据集上与最新的几种方法进行了比较,实验数据和可视化结果表明,在多物体场景的新视角图像生成中,所提方法在两个数据集上都有较好的效果表现,有效地解决了生成图像中存在伪影和多物体在场景中位置信息不准确的问题。
展开更多
关键词
多物体场景
遮挡现象
图像伪影
布局图
新视角图像生成
在线阅读
下载PDF
职称材料
基于姿态编码器的2D/3D脊椎医学图像实时配准方法
被引量:
4
9
作者
徐少康
张战成
+2 位作者
姚浩男
邹智伟
张宝成
《计算机应用》
CSCD
北大核心
2023年第2期589-594,共6页
2D/3D医学图像配准是骨科手术三维实时导航中的一项关键技术,然而传统的基于优化迭代的2D/3D配准方法需要经过多次迭代计算,无法满足医生在手术过程中对于实时配准的要求。针对该问题,提出一种基于自编码器的姿态回归网络来通过隐空间...
2D/3D医学图像配准是骨科手术三维实时导航中的一项关键技术,然而传统的基于优化迭代的2D/3D配准方法需要经过多次迭代计算,无法满足医生在手术过程中对于实时配准的要求。针对该问题,提出一种基于自编码器的姿态回归网络来通过隐空间解码捕获几何姿态信息,从而快速地回归出术中X射线图像对应的术前脊椎位置的3D姿态,并经过重新投影生成最终的配准图像。通过引入新的损失函数,以“粗细”结合配准的方式对模型进行约束,保证了姿态回归的精确度。在CTSpine1K脊椎数据集中抽取100组CT扫描图像进行10折交叉验证,实验结果表明:所提出的模型所生成的配准结果图像与X射线图像的平均绝对误差(MAE)为0.04,平均目标配准误差(mTRE)为1.16 mm,单帧耗时1.7 s。与基于传统优化的方法相比,该模型配准时间大幅缩短。相较于基于学习的方法,该模型在快速配准的同时,保证了较高的配准精度。可见,所提模型可以满足术中实时高精配准的要求。
展开更多
关键词
2D/3D图像配准
自编码器
隐空间
姿态回归
骨科手术
在线阅读
下载PDF
职称材料
题名
增强型深度确定策略梯度算法
被引量:
9
1
作者
陈建平
何超
刘全
吴宏杰
胡伏原
傅启明
机构
苏州
科技
大学
电子与信息工程学院
苏州
科技
大学
江苏省建筑智慧节能
重点
实验室
苏州
科技
大学
苏州市
移动网络
技术
与
应用
重点
实验室
苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室
苏州
大学
计算机科学与
技术
学院
出处
《通信学报》
EI
CSCD
北大核心
2018年第11期106-115,共10页
基金
国家自然科学基金资助项目(No.61502329
No.61772357
+9 种基金
No.61750110519
No.61772355
No.61702055
No.61672371
No.61602334
No.61502323)
江苏省自然科学基金资助项目(No.BK20140283)
江苏省重点研发计划基金资助项目(No.BE2017663)
江苏省高校自然科学研究基金资助项目(No.13KJB520020)
苏州市应用基础研究计划工业部分基金资助项目(No.SYG201422)~~
文摘
针对深度确定策略梯度算法收敛速率较慢的问题,提出了一种增强型深度确定策略梯度(E-DDPG)算法。该算法在深度确定策略梯度算法的基础上,重新构建两个新的样本池——多样性样本池和高误差样本池。在算法执行过程中,训练样本分别从多样性样本池和高误差样本池按比例选取,以兼顾样本多样性以及样本价值信息,提高样本的利用效率和算法的收敛性能。此外,进一步从理论上证明了利用自模拟度量方法对样本进行相似性度量的合理性,建立值函数与样本相似性之间的关系。将E-DDPG算法以及DDPG算法用于经典的Pendulum问题和MountainCar问题,实验结果表明,E-DDPG具有更好的收敛稳定性,同时具有更快的收敛速率。
关键词
深度强化学习
样本排序
自模拟度量
时间差分误差
Keywords
deep reinforcement learning
sample ranking
bisimulation metric
temporal difference error
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
深度卷积神经网络图像实例分割方法研究进展
被引量:
16
2
作者
胡伏原
万新军
沈鸣飞
徐江浪
姚睿
陶重犇
机构
苏州
科技
大学
电子与信息工程学院
苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室
苏州
科技
大学
苏州市
大数据与信息服务
重点
实验室
中国矿业
大学
计算机科学与
技术
学院
出处
《计算机科学》
CSCD
北大核心
2022年第5期10-24,共15页
基金
国家自然科学基金(61876121,61801323)
江苏省重点研发计划项目(BE2017663)
江苏省高等教育自然科学研发项目(19KJB520054,19KJB110021,20KJB520018)。
文摘
图像实例分割是图像处理和计算机视觉技术中关于图像理解的重要环节,随着深度学习和深层卷积神经网络日趋成熟,基于深度卷积神经网络的图像实例分割方法取得了跨越性进展。实例分割任务实际上是目标检测和语义分割两项任务的结合,可以在像素层面完成识别图像中目标轮廓的任务。实例分割不仅可以定位图像中目标的位置,从像素层面上分割所有目标,还可以标注出图像中同一类别的不同个体,既是对图像的像素级分割,又是实例级理解。首先,阐述了图像实例分割产生的原因和深度卷积神经网络的作用。然后,根据图像实例分割方法的过程和特征,分别从两阶段和单阶段的角度介绍了图像实例分割的研究进展,详细阐述了两类方法的优势和不足,进而总结了各类实例分割方法对区域、特征提取和掩膜的设计思路。此外,归纳了图像实例分割方法的性能评价标准和常用的公开数据集,并在此基础上对比和评估了主流的图像实例分割模型的分割精度。最后,指出了当前图像实例分割存在的问题及解决思路,并对其未来发展进行了总结和展望。
关键词
实例分割
深度卷积神经网络
目标检测
语义分割
两阶段
单阶段
Keywords
Instance segmentation
Deep convolutional neural network
Object detection
Semantic segmentation
Two stage
Single stage
分类号
TP391.4 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
面向图像自动语句标注的注意力反馈模型
被引量:
5
3
作者
吕凡
胡伏原
张艳宁
夏振平
盛胜利
机构
苏州
科技
大学
电子与信息工程学院
苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室
西北工业
大学
计算机学院
Department of Computer Science
天津
大学
智能
与计算学部
江苏省建筑智慧节能
重点
实验室
出处
《计算机辅助设计与图形学学报》
EI
CSCD
北大核心
2019年第7期1122-1129,共8页
基金
国家自然科学基金(61876121,61472267,61728205,61502329)
江苏省重点研发计划(BE2017663)
文摘
图像自动语句标注利用计算机自动生成描述图像内容的语句,在服务机器人等领域有广泛应用.许多学者已经提出了一些基于注意力机制的算法,但是注意力分散问题以及由注意力分散引起的生成语句错乱问题还未得到较好解决.在传统注意力机制的基础上引入注意力反馈机制,利用关注信息的图像特征指导文本生成,同时借助生成文本中的关注信息进一步修正图像中的关注区域,该过程不断强化图像和文本中的关键信息匹配、优化生成的语句.针对常用数据集Flickr8k, Flickr30k 和MSCOCO 的实验结果表明,该模型在一定程度上解决了注意力分散和语句顺序错乱问题,比其他基于注意力机制方法标注的关注区域更加准确,生成语句更加通顺.
关键词
图像自动语句标注
注意力机制
注意力反馈
Keywords
image captioning
attention mechanism
attention feedback
分类号
TP391.41 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
一种改进的Mask RCNN特征融合实例分割方法
被引量:
19
4
作者
温尧乐
李林燕
尚欣茹
胡伏原
机构
苏州
科技
大学
电子与信息工程学院
苏州
经贸职业
技术
学院
苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室
苏州
科技
大学
苏州市
大数据与信息服务
重点
实验室
出处
《计算机应用与软件》
北大核心
2019年第10期130-133,共4页
基金
国家自然科学基金项目(61876121,61472267,61672371)
江苏省重点研发计划项目(BE2017663)
文摘
实例分割需要兼顾像素级的分类准确性和目标实例级的高级语义特性,非常具有挑战性。由于特征金字塔网络低层特征到高层特征的融合路径太长,导致低层特征在整个特征层次中的作用较弱。在特征金字塔网络的基础上,引入一条自下而上的路径来增强整个特征层次,缩短较低层特征与顶部特征之间的融合路径,增强低层特征在整个特征层次中的作用;在卷积神经网络中引入空洞卷积算法扩大卷积感受域,进一步提升掩膜预测准确度。在MicrosoftCOCO数据集测试结果表明,该方法有效提高了实例分割的准确度。
关键词
实例分割
特征融合
卷积神经网络
空洞卷积
Keywords
Instance segmentation
Feature fusion
Convolutional neural network(CNN)
Atrous convolution
分类号
TP391.41 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
基于多重指数移动平均评估的DDPG算法
被引量:
1
5
作者
范晶晶
陈建平
傅启明
陆悠
吴宏杰
机构
苏州
科技
大学
电子与信息工程学院
苏州
科技
大学
江苏省建筑智慧节能
重点
实验室
苏州
科技
大学
苏州市
移动网络
技术
与
应用
重点
实验室
苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室
珠海米枣
智能
科技
有限公司科研部
出处
《计算机工程与设计》
北大核心
2021年第11期3084-3090,共7页
基金
国家自然科学基金项目(61876217、61876121、61772357、61750110519、61772355、61702055、61672371)
江苏省重点研发计划基金项目(BE2017663)。
文摘
针对深度确定性策略梯度算法中双网络结构的不稳定及单评论家评估不准确的问题,提出基于多重指数移动平均评估的DDPG算法。介绍EMA-Q网络和目标Q网络合作得出目标更新值,对多个评论家给出的Q值求平均,降低单评论家评估的不准确性。样本池部分引入双重经验回放方法,采用两个样本池分别存储不同的经验,提高算法的收敛性能。将所提算法及原始DDPG算法分别实验于经典的Pendulum问题和Mountain Car问题中。实验结果表明,与传统的DDPG算法相比,所提算法准确性更好,稳定性更高,收敛速度明显提升。
关键词
深度学习
强化学习
指数移动平均
平均评估
双重经验回放
Keywords
deep learning
reinforcement learning
exponential moving average
average evaluation
double experience replay
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
基于改进全局—局部注意网络的室内场景识别方法
被引量:
1
6
作者
徐江浪
万新军
夏振平
胡伏原
机构
苏州
科技
大学
电子与信息工程学院
苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室
出处
《计算机应用研究》
CSCD
北大核心
2022年第1期316-320,共5页
基金
国家自然科学基金资助项目(61876121,62002254)
江苏省重点研发计划资助项目(BE2017663)
江苏省高等教育自然科学研发项目(19KJB520054)。
文摘
由于卷积神经网络(CNN)大多侧重于全局特征学习,忽略了包含更多细节的局部特征信息,使得室内场景识别的准确率难以提高。针对这一问题,提出了基于改进全局—局部注意网络(GLANet)的室内场景识别方法。首先,利用GLANet捕捉场景图像的全局特征和局部特征,增加图像特征中的细节信息;然后,在局部网络中引入non-local注意力模块,通过注意力图和特征图的卷积来进一步保留图像的细节特征,最后融合网络不同阶段的多种特征进行分类。通过在MIT Indoor67和SUN397数据集上的训练和验证,所提方法的识别准确率与LGN方法相比分别提高了1.98%和3.07%。实验结果表明,该算法能够有效捕获全局语义信息和精细的局部细节,显著提高了识别准确率。
关键词
深度学习
卷积神经网络
室内场景识别
全局特征
局部特征
Keywords
deep learning
convolutional neural network
indoor scene recognition
global features
local features
分类号
TP391.4 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
基于场景图的段落生成序列图像方法
被引量:
1
7
作者
张玮琪
汤轶丰
李林燕
胡伏原
机构
苏州
科技
大学
电子与信息工程学院
苏州
科技
大学
苏州市
大数据与信息服务
重点
实验室
苏州
经贸职业
技术
学院
苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室
出处
《计算机科学》
CSCD
北大核心
2022年第1期233-240,共8页
基金
国家自然科学基金(61876121)
江苏省重点研发计划项目(BE2017663)
+1 种基金
江苏省教育厅高等学校自然科学研究面上项目(19KJB520054)
江苏省研究生实践创新项目(SJCX20_1119)。
文摘
通过生成对抗网络进行段落生成序列图像的任务已经可以生成质量较高的图像。然而当输入的文本涉及多个对象和关系时,文本序列的上下文信息难以提取,生成图像的对象布局容易产生混乱,生成的对象细节不足。针对该问题,文中在StoryGAN的基础上,提出了一种基于场景图的段落生成序列图像方法。首先,通过图卷积将段落转换为多个场景图,每个场景图包含对应文本的对象和关系信息;然后,预测对象的边界框和分割掩膜来计算生成场景布局;最后,根据场景布局和上下文信息生成更符合对象及其关系的序列图像。在CLEVR-SV和CoDraw-SV数据集上进行测试,该方法可以生成包含多个对象及其关系的64×64像素的序列图像。实验结果表明,在CLEVR-SV数据集上,所提方法的SSIM和FID比StoryGAN分别提升了1.34%和9.49%;在CoDraw-SV数据集上,所提方法的ACC比StoryGAN提高了7.40%。所提方法提高了生成场景的布局合理性,不仅可以生成包含多个对象和关系的图像序列,而且生成的图像质量更高,细节更清晰。
关键词
生成对抗网络
图卷积神经网络
场景布局
文本生成图像
Keywords
Generative adversarial networks
Graph convolutional network
Scene layout
Text-to-image synthesis
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
基于布局图的多物体场景新视角图像生成网络
8
作者
高小天
张乾
吕凡
胡伏原
机构
苏州
科技
大学
电子与信息工程学院
苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室
苏州
科技
大学
苏州市
大数据与信息服务
重点
实验室
天津
大学
智能
与计算学部
出处
《计算机应用研究》
CSCD
北大核心
2022年第8期2526-2531,共6页
基金
国家自然科学基金资助项目(61876121)
江苏省重点研发计划项目(BE2017663)
江苏省教育厅高等学校自然科学研究面上项目(19KJB520054)。
文摘
新视角图像生成任务指通过多幅参考图像,生成场景新视角图像。然而多物体场景存在物体间遮挡,物体信息获取不全,导致生成的新视角场景图像存在伪影、错位问题。为解决该问题,提出一种借助场景布局图指导的新视角图像生成网络,并标注了全新的多物体场景数据集(multi-objects novel view synthesis,MONVS)。首先,将场景的多个布局图信息和对应的相机位姿信息输入到布局图预测模块,计算出新视角下的场景布局图信息;然后,利用场景中标注的物体边界框信息构建不同物体的对象集合,借助像素预测模块生成新视角场景下的各个物体信息;最后,将得到的新视角布局图和各个物体信息输入到场景生成器中构建新视角下的场景图像。在MONVS和ShapeNet cars数据集上与最新的几种方法进行了比较,实验数据和可视化结果表明,在多物体场景的新视角图像生成中,所提方法在两个数据集上都有较好的效果表现,有效地解决了生成图像中存在伪影和多物体在场景中位置信息不准确的问题。
关键词
多物体场景
遮挡现象
图像伪影
布局图
新视角图像生成
Keywords
multi-object scene
occlusion
image artifacts
layout
novel view synthesis
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
基于姿态编码器的2D/3D脊椎医学图像实时配准方法
被引量:
4
9
作者
徐少康
张战成
姚浩男
邹智伟
张宝成
机构
苏州
科技
大学
电子与信息工程学院
苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室
中部战区总医院骨科
出处
《计算机应用》
CSCD
北大核心
2023年第2期589-594,共6页
基金
国家自然科学基金资助项目(61772237)。
文摘
2D/3D医学图像配准是骨科手术三维实时导航中的一项关键技术,然而传统的基于优化迭代的2D/3D配准方法需要经过多次迭代计算,无法满足医生在手术过程中对于实时配准的要求。针对该问题,提出一种基于自编码器的姿态回归网络来通过隐空间解码捕获几何姿态信息,从而快速地回归出术中X射线图像对应的术前脊椎位置的3D姿态,并经过重新投影生成最终的配准图像。通过引入新的损失函数,以“粗细”结合配准的方式对模型进行约束,保证了姿态回归的精确度。在CTSpine1K脊椎数据集中抽取100组CT扫描图像进行10折交叉验证,实验结果表明:所提出的模型所生成的配准结果图像与X射线图像的平均绝对误差(MAE)为0.04,平均目标配准误差(mTRE)为1.16 mm,单帧耗时1.7 s。与基于传统优化的方法相比,该模型配准时间大幅缩短。相较于基于学习的方法,该模型在快速配准的同时,保证了较高的配准精度。可见,所提模型可以满足术中实时高精配准的要求。
关键词
2D/3D图像配准
自编码器
隐空间
姿态回归
骨科手术
Keywords
2D/3D image registration
autoencoder
latent space
pose regression
orthopedic surgery
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
增强型深度确定策略梯度算法
陈建平
何超
刘全
吴宏杰
胡伏原
傅启明
《通信学报》
EI
CSCD
北大核心
2018
9
在线阅读
下载PDF
职称材料
2
深度卷积神经网络图像实例分割方法研究进展
胡伏原
万新军
沈鸣飞
徐江浪
姚睿
陶重犇
《计算机科学》
CSCD
北大核心
2022
16
在线阅读
下载PDF
职称材料
3
面向图像自动语句标注的注意力反馈模型
吕凡
胡伏原
张艳宁
夏振平
盛胜利
《计算机辅助设计与图形学学报》
EI
CSCD
北大核心
2019
5
在线阅读
下载PDF
职称材料
4
一种改进的Mask RCNN特征融合实例分割方法
温尧乐
李林燕
尚欣茹
胡伏原
《计算机应用与软件》
北大核心
2019
19
在线阅读
下载PDF
职称材料
5
基于多重指数移动平均评估的DDPG算法
范晶晶
陈建平
傅启明
陆悠
吴宏杰
《计算机工程与设计》
北大核心
2021
1
在线阅读
下载PDF
职称材料
6
基于改进全局—局部注意网络的室内场景识别方法
徐江浪
万新军
夏振平
胡伏原
《计算机应用研究》
CSCD
北大核心
2022
1
在线阅读
下载PDF
职称材料
7
基于场景图的段落生成序列图像方法
张玮琪
汤轶丰
李林燕
胡伏原
《计算机科学》
CSCD
北大核心
2022
1
在线阅读
下载PDF
职称材料
8
基于布局图的多物体场景新视角图像生成网络
高小天
张乾
吕凡
胡伏原
《计算机应用研究》
CSCD
北大核心
2022
0
在线阅读
下载PDF
职称材料
9
基于姿态编码器的2D/3D脊椎医学图像实时配准方法
徐少康
张战成
姚浩男
邹智伟
张宝成
《计算机应用》
CSCD
北大核心
2023
4
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部