近年来,生成对抗网络广泛应用于图像修复领域并取得了不错的效果。但目前的方法并没有考虑在高分辨率图像(512×512)中会产生模糊的结构以及纹理的问题,这些问题主要来源于缺乏有效特征信息。针对此问题,提出一种将图像特征与语义...近年来,生成对抗网络广泛应用于图像修复领域并取得了不错的效果。但目前的方法并没有考虑在高分辨率图像(512×512)中会产生模糊的结构以及纹理的问题,这些问题主要来源于缺乏有效特征信息。针对此问题,提出一种将图像特征与语义信息相结合的生成对抗网络。主要基于语义信息,提出一种上下文感知的图像修复模型,该模型自适应地将语义信息与图像特征融合,并且提出自适应卷积替代传统卷积,以及在解码器后增添一个多尺度上下文聚合模块捕捉远距离信息来进行上下文推理。在Places2、CelebA⁃HQ、Paris Street View和Openlogo数据集上进行实验,实验结果表明,在L1损失、峰值信噪比(PSNR)和结构相似度(SSIM)上所提方法与现有方法对比均有所提升。展开更多
基于与人交互的物体对人体行为识别的重要作用,本文提出了融合交互物体和能量信息等特征的三维复杂人体识别方法.首先提取手持物体的Hu矩作为交互物体特征,然后根据人体行为的生物学和运动学特征,从人体运动的能量角度提取人体骨架动能...基于与人交互的物体对人体行为识别的重要作用,本文提出了融合交互物体和能量信息等特征的三维复杂人体识别方法.首先提取手持物体的Hu矩作为交互物体特征,然后根据人体行为的生物学和运动学特征,从人体运动的能量角度提取人体骨架动能、姿态势能、关节点位置等构建了局部特征矩阵,并聚类为词袋(Bag Of Word,BOW),与交互物体特征构成最终的组合特征;为了自动分割交互物体,我们提出了基于Harris角点的种子区域生长法,快速完整地分割手持物体;最后利用RBFSVM方法进行人体行为识别.实验结果表明融合交互物体信息和能量特征的三维人体行为识别方法具有较高的识别率,尤其能够较大幅度降低易混淆复杂动作的误识别率.展开更多
本文提出一种新型的带有注意力模块的反卷积一阶检测器,简称做DSSDA(Deconvolutional Single Shot Detector with Attention Module).整个网络架构主要借鉴DSSD模型,在卷积层后加反卷积上采样进行特征融合,再在融合的特征后嵌入注意力模...本文提出一种新型的带有注意力模块的反卷积一阶检测器,简称做DSSDA(Deconvolutional Single Shot Detector with Attention Module).整个网络架构主要借鉴DSSD模型,在卷积层后加反卷积上采样进行特征融合,再在融合的特征后嵌入注意力模块,以帮助网络将注意力放在目标上并抑制不重要的信息.注意力模块包括通道注意力和空间注意力两个子模块,作用分别是识别物体类型,以及确定物体位置.两个子模块都分别采用最大池化和平均池化获取全局信息.子模块通过串联形式实现拼接.为了节约计算成本,省略原始的DSSD最后一个上采样过程.在PASCAL VOC和MS COCO公开数据集上验证本文提出的带有注意力模块的反卷积一阶检测器的有效性,结果表明所提模型在目标定位和分类上性能都提升显著.展开更多
本文提出一种自适应感受野卷积神经网络结构,简称ARFN(Adaptive Receptive Field Network).通过卷积核的自主选择机制来实现感受野的动态调整,更大程度上获取残差网络低层特征的空间信息并与高层特征进行自适应融合,弥补高层特征空间信...本文提出一种自适应感受野卷积神经网络结构,简称ARFN(Adaptive Receptive Field Network).通过卷积核的自主选择机制来实现感受野的动态调整,更大程度上获取残差网络低层特征的空间信息并与高层特征进行自适应融合,弥补高层特征空间信息不足的缺陷.同时,在残差块中加入一种轻量的新型注意力机制,通过一维空洞卷积实现特征通道间适当的非线性交互,有效地学习各通道特征的权重.相较于一些主流的注意力模块而言,在保证性能提升的同时大幅度缩减了参数量.通过在公开数据集上进行图像分类和目标检测实验验证网络的有效性,结果表明本文提出的网络结构在视觉任务上性能都有较大提升.展开更多
文摘近年来,生成对抗网络广泛应用于图像修复领域并取得了不错的效果。但目前的方法并没有考虑在高分辨率图像(512×512)中会产生模糊的结构以及纹理的问题,这些问题主要来源于缺乏有效特征信息。针对此问题,提出一种将图像特征与语义信息相结合的生成对抗网络。主要基于语义信息,提出一种上下文感知的图像修复模型,该模型自适应地将语义信息与图像特征融合,并且提出自适应卷积替代传统卷积,以及在解码器后增添一个多尺度上下文聚合模块捕捉远距离信息来进行上下文推理。在Places2、CelebA⁃HQ、Paris Street View和Openlogo数据集上进行实验,实验结果表明,在L1损失、峰值信噪比(PSNR)和结构相似度(SSIM)上所提方法与现有方法对比均有所提升。
文摘基于与人交互的物体对人体行为识别的重要作用,本文提出了融合交互物体和能量信息等特征的三维复杂人体识别方法.首先提取手持物体的Hu矩作为交互物体特征,然后根据人体行为的生物学和运动学特征,从人体运动的能量角度提取人体骨架动能、姿态势能、关节点位置等构建了局部特征矩阵,并聚类为词袋(Bag Of Word,BOW),与交互物体特征构成最终的组合特征;为了自动分割交互物体,我们提出了基于Harris角点的种子区域生长法,快速完整地分割手持物体;最后利用RBFSVM方法进行人体行为识别.实验结果表明融合交互物体信息和能量特征的三维人体行为识别方法具有较高的识别率,尤其能够较大幅度降低易混淆复杂动作的误识别率.
文摘本文提出一种新型的带有注意力模块的反卷积一阶检测器,简称做DSSDA(Deconvolutional Single Shot Detector with Attention Module).整个网络架构主要借鉴DSSD模型,在卷积层后加反卷积上采样进行特征融合,再在融合的特征后嵌入注意力模块,以帮助网络将注意力放在目标上并抑制不重要的信息.注意力模块包括通道注意力和空间注意力两个子模块,作用分别是识别物体类型,以及确定物体位置.两个子模块都分别采用最大池化和平均池化获取全局信息.子模块通过串联形式实现拼接.为了节约计算成本,省略原始的DSSD最后一个上采样过程.在PASCAL VOC和MS COCO公开数据集上验证本文提出的带有注意力模块的反卷积一阶检测器的有效性,结果表明所提模型在目标定位和分类上性能都提升显著.
文摘本文提出一种自适应感受野卷积神经网络结构,简称ARFN(Adaptive Receptive Field Network).通过卷积核的自主选择机制来实现感受野的动态调整,更大程度上获取残差网络低层特征的空间信息并与高层特征进行自适应融合,弥补高层特征空间信息不足的缺陷.同时,在残差块中加入一种轻量的新型注意力机制,通过一维空洞卷积实现特征通道间适当的非线性交互,有效地学习各通道特征的权重.相较于一些主流的注意力模块而言,在保证性能提升的同时大幅度缩减了参数量.通过在公开数据集上进行图像分类和目标检测实验验证网络的有效性,结果表明本文提出的网络结构在视觉任务上性能都有较大提升.
