-
题名基于深度学习的图像描述综述
被引量：18
- 1
-
-
作者
石义乐
杨文忠
杜慧祥
王丽花
王婷
理珊珊
-
机构
新疆大学软件工程技术重点实验室
新疆大学信息科学与工程学院
-
出处
《电子学报》
EI
CAS
CSCD
北大核心
2021年第10期2048-2060,共13页
-
基金
国家自然科学基金(No.U1603115)
新疆维吾尔自治区自然科学基金(No.2017D01C042)。
-
文摘
图像描述旨在通过提取图像的特征输入到语言生成模型中最后输出图像对应的描述,来解决人工智能中自然语言处理与计算机视觉的交叉领域问题——智能图像理解.现对2015—2020年间图像描述方向有代表性的论文进行汇总与分析,以不同核心技术作为分类标准将图像描述大致划分为基于Encoder-Decoder框架的图像描述、基于注意力机制的图像描述、基于强化学习的图像描述、基于生成对抗网络的图像描述和基于新融合数据集的图像描述五大类.使用NIC、Hard-Attention和Neural Talk三个模型在真实数据集MS-COCO数据集上进行实验,并从BLEU1、BLEU2、BLEU3、BLEU4四处平均评分对比分析,展示三个模型效果.本文点明了未来图像描述的发展趋势,并指出了图像描述将要面临的挑战和可深入挖掘的研究方向.
-
关键词
智能图像理解
Encoder-Decoder框架
注意力机制
强化学习
-
Keywords
intelligence-image understanding
encoder-decoder framework
attention mechanism
reinforcement learning
-
分类号
TP391.2
[自动化与计算机技术—计算机应用技术]
-
-
题名基于成对标签的深度哈希图像检索方法
被引量：4
- 2
-
-
作者
李雪
于炯
李梓杨
陈嘉颖
蒲勇霖
-
机构
新疆大学软件学院
新疆大学信息科学与工程学院
新疆大学软件工程技术重点实验室
-
出处
《计算机工程与设计》
北大核心
2021年第7期1981-1988,共8页
-
基金
国家自然科学基金项目(61862060、61562078、61462079、61562086)
国家科技部科技支撑基金项目(2015BAH02F01)。
-
文摘
针对采用松弛-量化策略的深度哈希方法面临的二值码离散优化的难题,提出一种端到端的基于成对标签的哈希方法来学习更具有判别力的哈希码,通过优化损失函数来解决离散优化丢失信息的问题。引入锚点哈希码概念,以汉明空间中的锚点作为监督信息训练AlexNet网络,将表示图片的二值码拟合至各锚点附近,使用优化后的损失函数计算分类误差和锚点误差,使哈希函数生成具有强判别力的哈希码。在CIFOR-10数据集和ImageNet-100数据集上实验,检索精度优于当前主流方法。
-
关键词
成对标签
深度哈希
图像检索
哈希学习
卷积神经网络
-
Keywords
pairwise label
deep hashing
image retrieval
hash learning
convolutional neural network
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名基于均方误差的8位深度神经网络量化
被引量：3
- 3
-
-
作者
冯鹏程
禹龙
田生伟
耿俊
龚国良
-
机构
新疆大学信息科学与工程学院
新疆大学网络中心
新疆大学软件学院
新疆大学软件工程技术重点实验室
中国科学院半导体研究所高速电路与神经网络实验室
-
出处
《计算机工程与设计》
北大核心
2022年第5期1258-1264,共7页
-
基金
新疆维吾尔自治区科技援疆基金项目(2020E0234)
国家自然科学基金项目(U2003208、61962057、U19A2080、61563051、61662074)
+2 种基金
北京市科技计划基金项目(Z181100001518006)
中国科学院STS计划基金项目(KFJ-STS-ZDTP-070)
新疆自治区科技人才培养基金项目(QN2016YX0051)。
-
文摘
为模型量化后具有更高的准确度,提出以量化均方误差(QMSE)为指标的确定量化系数的方法,针对量化后性能损失严重的小型网络,进一步提出更新统计参数(USP)的方法。QMSE将量化过程中的舍入和截断操作产生的噪声相结合,以此作为选取合适量化系数的指标;USP通过更新批次归一化层中的均值和方差,矫正模型量化产生的均值和方差偏移。实验结果表明,在不进行重训练的情况下,使用QMSE+USP对常见的深度神经网络量化,模型性能优于其它算法。
-
关键词
深度神经网络
模型压缩
量化
卷积神经网络
均方误差
-
Keywords
deep neural network
model compression
quantization
convolutional neural network
mean square error
-
分类号
TP305
[自动化与计算机技术—计算机系统结构]
-
-
题名面向边-端协同的并行解码器图像修复方法
被引量：2
- 4
-
-
作者
霍相佐
张文东
田生伟
侯树祥
-
机构
新疆大学软件学院
新疆大学软件工程技术重点实验室
-
出处
《计算机工程与应用》
CSCD
北大核心
2022年第16期257-264,共8页
-
基金
国家自然科学基金重点项目(U2003208)
新疆维吾尔自治区自然科学基金(2020D01C033)。
-
文摘
针对现有神经网络图像修复方法在移动终端设备上部署存在效果差、响应时间长、高能耗的问题,提出了一种面向边-端协同的并行解码器图像修复方法及计算卸载策略。结合移动边缘计算(mobile edge computing,MEC)技术边-端协同的特性,提出一种面向边-端协同的并行解码器门控卷积图像修复网络ETG-Net(edge-terminal gated convolution network)。通过边-端共享权值的方式,提升图像修复及训练效率,并保留移动终端的独立工作能力。基于计算卸载决策,将图像修复部分计算任务有选择地卸载至边缘云,进一步降低终端节点的计算时延和能耗。实验结果表明,与近年来先进的模型相比,所提模型在保证图像修复质量的同时,解决了移动终端设备上部署图像修复模型存在的问题,降低了任务的响应时延。
-
关键词
图像修复
深度学习
生成对抗网络
移动边缘计算
门控卷积
权值共享
-
Keywords
image inpainting
deep learning
generative adversarial network
mobile edge computing
gated convolution
weight sharing
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于特征融合卷积神经网络的端到端加密流量分类
被引量：16
- 5
-
-
作者
薛文龙
于炯
郭志琦
李梓杨
-
机构
新疆大学软件学院
新疆大学软件工程技术重点实验室
新疆大学信息科学与工程学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2021年第18期114-121,共8页
-
基金
国家自然科学基金(61862060,61462079,61562086,61562078)
国家科技部科技支撑项目(2015BAH02F01)。
-
文摘
针对现有人工神经网络方法在网络加密流量分类应用中结构复杂且计算量大的问题,首次提出了一种基于特征融合的轻量级网络模型Inception-CNN,用于端到端加密流量的分类,在显著提高分类结果准确性的同时,大大降低了网络计算复杂度。利用Inception模块1×1卷积进行降维,减少了计算参数;从不同的感受野中做到不同级别上的特征提取,将多种不同尺寸滤波器卷积的特征进行融合,从而在原始数据中提取到更加丰富的特征自动学习原始输入和预期输出之间的非线性关系;利用池化操作没有参数的特性,防止产生过拟合。选择使用国际公开ISCX VPN-nonVPN数据集作为实验数据,采用softmax作为分类器,实现了对加密流量的准确分类。实验结果表明,该模型分类准确率达到97.3%、精确率达到97.2%、召回率达到97.7%、F1-score达到97.5%,并且对不同类别的加密流量识别效果也更加均衡。
-
关键词
人工神经网络
INCEPTION
端对端
加密流量分类
特征融合
-
Keywords
artificial neural network
Inception
end-to-end
encrypted traffic classification
feature fusion
-
分类号
TP393.08
[自动化与计算机技术—计算机应用技术]
-
-
题名无人机平台下的行人与车辆目标实时检测
被引量：5
- 6
-
-
作者
黄梓桐
阿里甫·库尔班
-
机构
新疆大学软件学院
新疆大学软件工程技术重点实验室
-
出处
《计算机工程与应用》
CSCD
北大核心
2021年第17期169-174,共6页
-
基金
国家自然科学基金(61562084)。
-
文摘
在无人机图像中快速准确地检测行人和车辆是一项有意义但又极具挑战的任务,其广泛应用于军事侦察、交通管制以及偏远地区救援等任务中。然而,由于无人机属于小型移动设备,其内存和计算能力非常有限,使得如何保证其检测实时性一直是难题。针对SSD算法模型过大、运行内存占用量过高、很难在无人机设备上运行的问题,精心设计了轻量级的基准网络,通过削减原始网络的通道数目以及卷积数目来降低网络的参数量;针对无人机场景下目标小、场景复杂等问题,提出轻量级感受野模块来增强网络特征表示能力,并结合上下文信息来进一步提高小型目标的检测精度。实验结果表明,提出的方法在基于无人机的行人与车辆目标检测任务上有较高的准确性和实时性。
-
关键词
无人机图像
SSD
目标检测
-
Keywords
Unmanned Aerial Vehicle(UAV)images
Single-Shot Detector(SSD)
object detection
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
-
题名基于多注意力机制的维吾尔语人称代词指代消解
- 7
-
-
作者
杨启萌
禹龙
田生伟
艾山·吾买尔
-
机构
新疆大学软件学院
新疆大学软件工程技术重点实验室
新疆大学信号与信息处理重点实验室
新疆大学网络中心
新疆大学信息科学与工程学院
-
出处
《自动化学报》
EI
CAS
CSCD
北大核心
2021年第6期1412-1421,共10页
-
基金
国家自然科学基金(61563051,61662074,61962057)
国家自然科学基金重点项目(U2003208)
+1 种基金
自治区重大科技项目(2020A03004-4)
新疆自治区科技人才培养项目(QN2016YX0051)资助。
-
文摘
针对深度神经网络模型学习照应语和候选先行语的语义信息忽略了每一个词在句中重要程度,且无法关注词序列连续性关联和依赖关系等问题,提出一种结合语境多注意力独立循环神经网络(Contextual multi-attention independently recurrent neural network,CMAIR)的维吾尔语人称代词指代消解方法.相比于仅依赖照应语和候选先行语语义信息的深度神经网络,该方法可以分析上下文语境,挖掘词序列依赖关系,提高特征表达能力.同时,该方法结合多注意力机制,关注待消解对多层面语义特征,弥补了仅依赖内容层面特征的不足,有效识别人称代词与实体指代关系.该模型在维吾尔语人称代词指代消解任务中的准确率为90.79%,召回率为83.25%,F值为86.86%.实验结果表明,CMAIR模型能显著提升维吾尔语指代消解性能.
-
关键词
注意力机制
语境
独立循环神经网络
指代消解
-
Keywords
Attention mechanism
context
independently recurrent neural network
anaphora resolution
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
