-
题名深度卷积神经网络图像实例分割方法研究进展
被引量：16
- 1
-
-
作者
胡伏原
万新军
沈鸣飞
徐江浪
姚睿
陶重犇
-
机构
苏州科技大学电子与信息工程学院
苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室
苏州科技大学苏州市大数据与信息服务重点实验室
中国矿业大学计算机科学与技术学院
-
出处
《计算机科学》
CSCD
北大核心
2022年第5期10-24,共15页
-
基金
国家自然科学基金(61876121,61801323)
江苏省重点研发计划项目(BE2017663)
江苏省高等教育自然科学研发项目(19KJB520054,19KJB110021,20KJB520018)。
-
文摘
图像实例分割是图像处理和计算机视觉技术中关于图像理解的重要环节,随着深度学习和深层卷积神经网络日趋成熟,基于深度卷积神经网络的图像实例分割方法取得了跨越性进展。实例分割任务实际上是目标检测和语义分割两项任务的结合,可以在像素层面完成识别图像中目标轮廓的任务。实例分割不仅可以定位图像中目标的位置,从像素层面上分割所有目标,还可以标注出图像中同一类别的不同个体,既是对图像的像素级分割,又是实例级理解。首先,阐述了图像实例分割产生的原因和深度卷积神经网络的作用。然后,根据图像实例分割方法的过程和特征,分别从两阶段和单阶段的角度介绍了图像实例分割的研究进展,详细阐述了两类方法的优势和不足,进而总结了各类实例分割方法对区域、特征提取和掩膜的设计思路。此外,归纳了图像实例分割方法的性能评价标准和常用的公开数据集,并在此基础上对比和评估了主流的图像实例分割模型的分割精度。最后,指出了当前图像实例分割存在的问题及解决思路,并对其未来发展进行了总结和展望。
-
关键词
实例分割
深度卷积神经网络
目标检测
语义分割
两阶段
单阶段
-
Keywords
Instance segmentation
Deep convolutional neural network
Object detection
Semantic segmentation
Two stage
Single stage
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
-
题名多层次结构生成对抗网络的文本生成图像方法
被引量：15
- 2
-
-
作者
孙钰
李林燕
叶子寒
胡伏原
奚雪峰
-
机构
苏州科技大学电子与信息工程学院
苏州市大数据与信息服务重点实验室
苏州经贸职业技术学院
江苏省建筑智慧节能重点实验室
苏州市虚拟现实智能交互及应用技术重点实验室
-
出处
《计算机应用》
CSCD
北大核心
2019年第11期3204-3209,共6页
-
基金
国家自然科学基金资助项目(61876121,61472267)
江苏省重点研发计划项目(BE2017663)
+1 种基金
苏州市科技发展计划项目(SZS201609)
江苏省研究生科研创新项目(KYCX18_2549)~~
-
文摘
近年来,生成对抗网络(GAN)在从文本描述到图像的生成中已经取得了显著成功,但仍然存在图像边缘模糊、局部纹理不清晰以及生成样本方差小等问题。针对上述不足,在叠加生成对抗网络模型(StackGAN++)基础上,提出了一种多层次结构生成对抗网络(MLGAN)模型,该网络模型由多个生成器和判别器以层次结构并列组成。首先,引入层次结构编码方法和词向量约束来改变网络中各层次生成器的条件向量,使图像的边缘细节和局部纹理更加清晰生动;然后,联合训练生成器和判别器,借助多个层次的生成图像分布共同逼近真实图像分布,使生成样本方差变大,增加生成样本的多样性;最后,从不同层次的生成器生成对应文本的不同尺度图像。实验结果表明,在CUB和Oxford-102数据集上MLGAN模型的Inception score分别达到了4.22和3.88,与StackGAN++相比,分别提高了4.45%和3.74%。MLGAN模型在解决生成图像的边缘模糊和局部纹理不清晰方面有了一定提升,其生成的图像更接近真实图像。
-
关键词
生成对抗网络
文本生成图像
多层次结构生成对抗网络
多层次图像分布
层次结构编码
-
Keywords
Generative Adversarial Network(GAN)
text-to-image synthesis
Multi-Level structure Generative Adversarial Networks(MLGAN)
multi-level image distribution
hierarchical coding
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名一种改进的Mask RCNN特征融合实例分割方法
被引量：19
- 3
-
-
作者
温尧乐
李林燕
尚欣茹
胡伏原
-
机构
苏州科技大学电子与信息工程学院
苏州经贸职业技术学院
苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室
苏州科技大学苏州市大数据与信息服务重点实验室
-
出处
《计算机应用与软件》
北大核心
2019年第10期130-133,共4页
-
基金
国家自然科学基金项目(61876121,61472267,61672371)
江苏省重点研发计划项目(BE2017663)
-
文摘
实例分割需要兼顾像素级的分类准确性和目标实例级的高级语义特性,非常具有挑战性。由于特征金字塔网络低层特征到高层特征的融合路径太长,导致低层特征在整个特征层次中的作用较弱。在特征金字塔网络的基础上,引入一条自下而上的路径来增强整个特征层次,缩短较低层特征与顶部特征之间的融合路径,增强低层特征在整个特征层次中的作用;在卷积神经网络中引入空洞卷积算法扩大卷积感受域,进一步提升掩膜预测准确度。在MicrosoftCOCO数据集测试结果表明,该方法有效提高了实例分割的准确度。
-
关键词
实例分割
特征融合
卷积神经网络
空洞卷积
-
Keywords
Instance segmentation
Feature fusion
Convolutional neural network(CNN)
Atrous convolution
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名基于联合注意与特征关联的实例分割算法
被引量：2
- 4
-
-
作者
周逸云
万新军
胡伏原
陈昊
-
机构
苏州科技大学电子与信息工程学院
苏州市虚拟现实智能交互及应用技术重点实验室
苏州市大数据与信息服务重点实验室
-
出处
《计算机工程》
CAS
CSCD
北大核心
2023年第6期217-226,共10页
-
基金
国家自然科学基金(61876121)。
-
文摘
针对现有实例分割算法因目标特征表示不充分、模型捕获信息不完整等因素导致分割精度较低的问题,提出一种基于联合注意和特征关联的实例分割算法。该算法采用联合注意力机制,沿通道和空间两个不同维度对感兴趣区域特征进行权重优化,聚焦关键对象位置,实现目标特征表示,抑制冗余信息对实例检测和分割结果干扰。在此基础上,在分割阶段建立特征关联关系,充分挖掘实例内部各像素点相似性,加强网络对实例部分的细节特征感知,实现高质量的掩膜预测。此外,通过引入协调损失函数监督检测中分类和回归任务产生一致预测,提高目标对象检测的准确性,进一步提升分割性能。在MS COCO 2017和Cityscapes两个数据集上进行实验验证,结果表明:该算法能够有效提高各现实场景下实例的检测和分割质量。当主干网络为ResNet-50/101时,该算法在COCO数据集上的掩膜平均精度分别达到37.5%和38.6%,较基线方法Mask R-CNN分别提高1.9和2.4个百分点;在Cityscapes验证集和测试集上,该算法较Mask R-CNN在主干网络为ResNet-50时分别提高2.4和2.5个百分点。
-
关键词
计算机视觉
实例分割
联合注意
特征关联
掩膜预测
-
Keywords
computer vision
instance segmentation
joint attention
feature association
mask prediction
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于布局图的多物体场景新视角图像生成网络
- 5
-
-
作者
高小天
张乾
吕凡
胡伏原
-
机构
苏州科技大学电子与信息工程学院
苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室
苏州科技大学苏州市大数据与信息服务重点实验室
天津大学智能与计算学部
-
出处
《计算机应用研究》
CSCD
北大核心
2022年第8期2526-2531,共6页
-
基金
国家自然科学基金资助项目(61876121)
江苏省重点研发计划项目(BE2017663)
江苏省教育厅高等学校自然科学研究面上项目(19KJB520054)。
-
文摘
新视角图像生成任务指通过多幅参考图像,生成场景新视角图像。然而多物体场景存在物体间遮挡,物体信息获取不全,导致生成的新视角场景图像存在伪影、错位问题。为解决该问题,提出一种借助场景布局图指导的新视角图像生成网络,并标注了全新的多物体场景数据集(multi-objects novel view synthesis,MONVS)。首先,将场景的多个布局图信息和对应的相机位姿信息输入到布局图预测模块,计算出新视角下的场景布局图信息;然后,利用场景中标注的物体边界框信息构建不同物体的对象集合,借助像素预测模块生成新视角场景下的各个物体信息;最后,将得到的新视角布局图和各个物体信息输入到场景生成器中构建新视角下的场景图像。在MONVS和ShapeNet cars数据集上与最新的几种方法进行了比较,实验数据和可视化结果表明,在多物体场景的新视角图像生成中,所提方法在两个数据集上都有较好的效果表现,有效地解决了生成图像中存在伪影和多物体在场景中位置信息不准确的问题。
-
关键词
多物体场景
遮挡现象
图像伪影
布局图
新视角图像生成
-
Keywords
multi-object scene
occlusion
image artifacts
layout
novel view synthesis
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于场景图的段落生成序列图像方法
- 6
-
-
作者
张玮琪
汤轶丰
李林燕
胡伏原
-
机构
苏州科技大学电子与信息工程学院
苏州科技大学苏州市大数据与信息服务重点实验室
苏州经贸职业技术学院
苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室
-
出处
《计算机科学》
CSCD
北大核心
2022年第1期233-240,共8页
-
基金
国家自然科学基金(61876121)
江苏省重点研发计划项目(BE2017663)
+1 种基金
江苏省教育厅高等学校自然科学研究面上项目(19KJB520054)
江苏省研究生实践创新项目(SJCX20_1119)。
-
文摘
通过生成对抗网络进行段落生成序列图像的任务已经可以生成质量较高的图像。然而当输入的文本涉及多个对象和关系时,文本序列的上下文信息难以提取,生成图像的对象布局容易产生混乱,生成的对象细节不足。针对该问题,文中在StoryGAN的基础上,提出了一种基于场景图的段落生成序列图像方法。首先,通过图卷积将段落转换为多个场景图,每个场景图包含对应文本的对象和关系信息;然后,预测对象的边界框和分割掩膜来计算生成场景布局;最后,根据场景布局和上下文信息生成更符合对象及其关系的序列图像。在CLEVR-SV和CoDraw-SV数据集上进行测试,该方法可以生成包含多个对象及其关系的64×64像素的序列图像。实验结果表明,在CLEVR-SV数据集上,所提方法的SSIM和FID比StoryGAN分别提升了1.34%和9.49%;在CoDraw-SV数据集上,所提方法的ACC比StoryGAN提高了7.40%。所提方法提高了生成场景的布局合理性,不仅可以生成包含多个对象和关系的图像序列,而且生成的图像质量更高,细节更清晰。
-
关键词
生成对抗网络
图卷积神经网络
场景布局
文本生成图像
-
Keywords
Generative adversarial networks
Graph convolutional network
Scene layout
Text-to-image synthesis
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
