基于坐标重要性池化和解耦类别对齐蒸馏的图像分类算法

1

作者 刘颖 薛家昊 +1 位作者 张伟东 许志杰 《电子学报》 北大核心 2025年第3期962-973,共12页

为提高卷积神经网络图像分类精度的同时实现网络轻量化,本文提出一种基于坐标重要性池化和解耦类别对齐蒸馏的图像分类算法.首先,设计一种坐标重要性池化模块并将其嵌入ResNet34,充分利用图像像素的位置信息,以增强其判别重要性特征的能... 为提高卷积神经网络图像分类精度的同时实现网络轻量化,本文提出一种基于坐标重要性池化和解耦类别对齐蒸馏的图像分类算法.首先,设计一种坐标重要性池化模块并将其嵌入ResNet34,充分利用图像像素的位置信息,以增强其判别重要性特征的能力;其次,采用BlurPool缓解在下采样过程中移位等变性丢失对网络性能的影响,以此构建教师网络;最后,构造一种解耦类别对齐蒸馏算法,分别考虑目标类和非目标类的知识并引入类别之间的关联信息,以高效地将分类知识从教师网络迁移到轻量级MobileNetV3学生网络.在不同数据集上的实验结果表明,本文提出的教师网络有效提高了分类性能,且蒸馏训练后的学生网络明显优于其他同量级网络,实现了更优越的综合性能,能够更好地应用于计算和内存资源受限的实际场景. 展开更多

关键词 图像分类 轻量化 知识蒸馏 ResNet34 坐标重要性池化

在线阅读 下载PDF 职称材料

基于小样本学习的图像分类技术综述 被引量：100

2

作者 刘颖 雷研博 +3 位作者 范九伦 王富平 公衍超 田奇 《自动化学报》 EI CAS CSCD 北大核心 2021年第2期297-315,共19页

图像分类的应用场景非常广泛,很多场景下难以收集到足够多的数据来训练模型,利用小样本学习进行图像分类可解决训练数据量小的问题.本文对近年来的小样本图像分类算法进行了详细综述,根据不同的建模方式,将现有算法分为卷积神经网络模... 图像分类的应用场景非常广泛,很多场景下难以收集到足够多的数据来训练模型,利用小样本学习进行图像分类可解决训练数据量小的问题.本文对近年来的小样本图像分类算法进行了详细综述,根据不同的建模方式,将现有算法分为卷积神经网络模型和图神经网络模型两大类,其中基于卷积神经网络模型的算法包括四种学习范式:迁移学习、元学习、对偶学习和贝叶斯学习;基于图神经网络模型的算法原本适用于非欧几里得结构数据,但有部分学者将其应用于解决小样本下欧几里得数据的图像分类任务,有关的研究成果目前相对较少.此外,本文汇总了现有文献中出现的数据集并通过实验结果对现有算法的性能进行了比较.最后,讨论了小样本图像分类技术的难点及未来研究趋势. 展开更多

关键词 迁移学习 元学习 对偶学习 贝叶斯学习 图神经网络

在线阅读 下载PDF 职称材料

深度学习跨模态图文检索研究综述 被引量：23

3

作者 刘颖 郭莹莹 +3 位作者 房杰 范九伦 郝羽 刘继明 《计算机科学与探索》 CSCD 北大核心 2022年第3期489-511,共23页

随着深度神经网络的兴起,多模态学习受到广泛关注。跨模态检索是多模态学习的重要分支,其目的在于挖掘不同模态样本之间的关系,即通过一种模态样本来检索具有近似语义的另一种模态样本。近年来,跨模态检索逐渐成为国内外学术界研究的前... 随着深度神经网络的兴起,多模态学习受到广泛关注。跨模态检索是多模态学习的重要分支,其目的在于挖掘不同模态样本之间的关系,即通过一种模态样本来检索具有近似语义的另一种模态样本。近年来,跨模态检索逐渐成为国内外学术界研究的前沿和热点,是信息检索领域未来发展的重要方向。首先,聚焦于深度学习跨模态图文检索研究的最新进展,对基于实值表示学习和基于二进制表示学习方法的发展动态进行了详细介绍,其中,基于实值表示的方法用于提升跨模态语义相关性,进而提高跨模态检索准确度,基于二进制表示学习的方法用于提升跨模态图文检索效率,减小存储空间;其次,总结了跨模态检索领域常用的公开数据集,对比了不同算法在不同数据集上的性能表现;此外,总结并分析了跨模态图文检索技术在公安、传媒及医学等领域的具体应用情况;最后,结合现有技术探讨了该领域的发展趋势及未来研究方向。 展开更多

关键词 跨模态检索 深度学习 特征学习 图文匹配 实值表示 二进制表示

在线阅读 下载PDF 职称材料

基于融合特征的现勘图像检索结果优化算法 被引量：10

4

作者 刘颖 胡丹 +2 位作者 范九伦 王富平 李大湘 《电子学报》 EI CAS CSCD 北大核心 2019年第2期296-301,共6页

刑侦现勘图像数据库是具有保密性高、图像内容罕见等极具行业特色的图像数据库.针对现勘图像内容复杂、目标物体不明确的特点,提出了DCT-DCT波纹理特征,并与HSV颜色直方图特征、GIST特征相融合构成融合特征.与常用的图像特征相比,DCT-DC... 刑侦现勘图像数据库是具有保密性高、图像内容罕见等极具行业特色的图像数据库.针对现勘图像内容复杂、目标物体不明确的特点,提出了DCT-DCT波纹理特征,并与HSV颜色直方图特征、GIST特征相融合构成融合特征.与常用的图像特征相比,DCT-DCT波纹理特征能够得到较高的检索效率,而融合特征的平均检索查准率高于构成其本身的三种特征的平均检索查准率.最后,将语义分析技术引入到检索过程中,提出基于检索结果优化的现勘图像检索算法,利用支持向量机(Support Vector Machine,SVM)分类器对查询图像进行语义提取,并对初次检索的结果进行语义分析,根据初检结果中语义类别的占比选择二次检索方案,该算法能在按例查询的基础上进一步提高平均检索查准率. 展开更多

关键词 刑侦现勘图像 现勘图像检索 多特征融合 检索方法 支持向量机

在线阅读 下载PDF 职称材料

基于迁移学习及特征融合的轮胎花纹图像分类 被引量：9

5

作者 刘颖 张帅 范九伦 《计算机工程与设计》 北大核心 2019年第5期1401-1406,共6页

为提高图像分类性能,解决因训练数据不足导致卷积神经网络模型过拟合的问题,提出一种基于迁移学习和特征融合的轮胎花纹图像分类算法。将HSV颜色直方图、GIST描述子与方向梯度直方图结合作为轮胎图像低层特征;将迁移学习引入卷积神经网... 为提高图像分类性能,解决因训练数据不足导致卷积神经网络模型过拟合的问题,提出一种基于迁移学习和特征融合的轮胎花纹图像分类算法。将HSV颜色直方图、GIST描述子与方向梯度直方图结合作为轮胎图像低层特征;将迁移学习引入卷积神经网络模型训练中,通过轮胎图像数据集对预训练模型参数微调,获得适用于轮胎花纹图像的新模型,提取全连接层特征作为图像高层特征;将低层和高层特征融合作为轮胎图像最终特征用于训练SVM分类器,实现高效分类。实验结果表明了所提算法的有效性。 展开更多

关键词 轮胎花纹图像分类 迁移学习 卷积神经网络 高层特征 特征融合

在线阅读 下载PDF 职称材料

现勘图像检索综述 被引量：21

6

作者 刘颖 胡丹 范九伦 《电子学报》 EI CAS CSCD 北大核心 2018年第3期761-768,共8页

现勘图像检索是进行证据图像比对以获取物证信息的重要手段.本文基于目前应用广泛的现勘图像数据库,根据图像内容将图像分为鞋印、指纹、纹身等种类.并通过对现勘图像的两项关键技术即低层数字特征提取和高层语义分析的总结,从颜色特征... 现勘图像检索是进行证据图像比对以获取物证信息的重要手段.本文基于目前应用广泛的现勘图像数据库,根据图像内容将图像分为鞋印、指纹、纹身等种类.并通过对现勘图像的两项关键技术即低层数字特征提取和高层语义分析的总结,从颜色特征、纹理特征、边缘提取等方面综述了现勘图像低层数字特征提取技术,从利用语义模板和数据库本体结构、机器学习算法、引入人工反馈三大类高层语义提取技术综述了现勘图像高层语义分析的研究成果.最后,结合公安行业利用现勘图像获取物证线索的实际应用需求,指出了通过引入公安行业先验知识来提高检索效率等研究方向. 展开更多

关键词 现勘图像检索 现勘图像数据库 低层数字特征 高层语义特征

在线阅读 下载PDF 职称材料

基于主动学习的图像分类技术:现状与未来 被引量：6

7

作者 刘颖 庞羽良 +2 位作者 张伟东 李大湘 许志杰 《电子学报》 EI CAS CSCD 北大核心 2023年第10期2960-2984,共25页

图像分类作为计算机视觉领域中的重要研究方向之一,应用领域非常广泛.基于深度学习的图像分类技术取得的成功,依赖大量的已标注数据,然而数据的标注成本往往是昂贵的.主动学习作为一种机器学习方法,旨在以尽可能少的高质量标注数据达到... 图像分类作为计算机视觉领域中的重要研究方向之一,应用领域非常广泛.基于深度学习的图像分类技术取得的成功,依赖大量的已标注数据,然而数据的标注成本往往是昂贵的.主动学习作为一种机器学习方法,旨在以尽可能少的高质量标注数据达到期望的模型性能,缓解监督学习任务中存在的标注成本高、标注信息难以大量获取的问题.主动学习图像分类算法根据样本选择策略,从未标记样本数据集合中选择出信息量丰富,对分类模型训练贡献更高的样本进行标注,以更新已标注训练数据池,如此循环直至满足给定的停止条件或模型标注预算耗尽.本文对近年来提出的主动学习图像分类算法进行了详细综述,并根据所用样本数据处理及模型优化方案,将现有算法分为三类:基于数据增强的算法,包括利用图像增广来扩充训练数据,或者根据图像特征插值后的差异性来选择高质量的训练数据;基于数据分布信息的算法,根据数据分布的特点来优化样本选择策略;优化模型预测的算法,包括优化获取和利用深度模型预测信息的方法、基于生成对抗网络和强化学习来优化预测模型的结构,以及基于Transformer结构提升模型预测性能,以确保模型预测结果的可靠性.此外,本文还对各类主动学习图像分类算法下的重要学术工作进行了实验对比,并对各算法在不同规模数据集上的性能和适应性进行了分析.另外,本文探讨了主动学习图像分类技术所面临的挑战,并指出了未来研究的方向. 展开更多

关键词 图像分类 主动学习 数据增强 数据分布 模型预测信息 模型结构优化

在线阅读 下载PDF 职称材料

融合局部聚合描述符和全局特征的现勘图像分类算法 被引量：5

8

作者 刘颖 倪天宇 +2 位作者 王富平 刘卫华 艾达 《科学技术与工程》 北大核心 2020年第3期1118-1124,共7页

针对低层特征对图像内容描述不够精确而导致现勘图像分类准确率不高的不足,提出一种融合局部聚合描述符(vector of locally aggregated descriptors,VLAD)和全局特征的现勘图像分类算法。首先,分别提取HSV颜色直方图和局部二值模式(loca... 针对低层特征对图像内容描述不够精确而导致现勘图像分类准确率不高的不足,提出一种融合局部聚合描述符(vector of locally aggregated descriptors,VLAD)和全局特征的现勘图像分类算法。首先,分别提取HSV颜色直方图和局部二值模式(local binary pattern,LBP)特征作为图像全局特征;然后,对现勘图像进行密集采样,提取每个子区域的尺度不变特征变换(scale-invariant feature transform,SIFT)特征,利用VLAD方法对提取的密集SIFT特征进行编码;最后,将全局特征和VLAD特征融合,并采用直方图相交核函数的支持向量机(support vector machine,SVM)进行分类。针对现勘5K、轮胎5K和Corel-1K数据集,比较提出算法与基于低层特征、基于词袋模型、基于空间金字塔模型特征分类方法的性能。结果表明:提出的算法分类精度优于对比算法。 展开更多

关键词 图像全局特征 尺度不变特征变换特征 局部聚合描述符 支持向量机 现勘图像分类

在线阅读 下载PDF 职称材料

图像超分辨率技术的回顾与展望 被引量：24

9

作者 刘颖 朱丽 +3 位作者 林庆帆 李莹华 王富平 卢津 《计算机科学与探索》 CSCD 北大核心 2020年第2期181-199,共19页

图像超分辨率(SR)是计算机视觉中提高图像和视频分辨率的一类重要技术。近年来,得益于神经网络的成功,基于深度学习的图像超分辨率技术正在蓬勃发展,这无疑是超分辨率技术研究的主流方向。对超分辨率工作进行综述。首先,总结目前已有的... 图像超分辨率(SR)是计算机视觉中提高图像和视频分辨率的一类重要技术。近年来,得益于神经网络的成功,基于深度学习的图像超分辨率技术正在蓬勃发展,这无疑是超分辨率技术研究的主流方向。对超分辨率工作进行综述。首先,总结目前已有的超分辨率技术,根据其输入输出进行分类介绍;其次,将基于深度学习的单图像超分辨率技术分为有监督学习和无监督学习两类进行论述,并对部分具有代表性的最新超分辨率重建技术进行总结分类介绍;然后,讨论了超分辨率技术的相关问题,即性能评价指标、标准数据集,进而对几种典型算法进行实验对比;最后,对图像超分辨率算法未来的研究趋势进行展望。 展开更多

关键词 深度学习 图像超分辨率 有监督学习 无监督学习

在线阅读 下载PDF 职称材料

人脸去遮挡新技术研究综述 被引量：9

10

作者 刘颖 张艺轩 +2 位作者 佘建初 王富平 林庆帆 《计算机科学与探索》 CSCD 北大核心 2021年第10期1773-1794,共22页

刑侦工作中,若犯罪嫌疑人的人脸图像存在遮挡,人脸特征点遭到破坏,精确去除遮挡区域成为提高人脸识别技术的重要一步。因此,人脸去遮挡有着重要的研究意义。对人脸去遮挡技术最新进展进行阐述,并基于2016年首次提出的基于深度学习图像... 刑侦工作中,若犯罪嫌疑人的人脸图像存在遮挡,人脸特征点遭到破坏,精确去除遮挡区域成为提高人脸识别技术的重要一步。因此,人脸去遮挡有着重要的研究意义。对人脸去遮挡技术最新进展进行阐述,并基于2016年首次提出的基于深度学习图像修复算法,介绍从2017年至今学者们提出的各类人脸去遮挡融合算法。首先根据遮挡方式的不同将现有算法分类为随机遮挡和规则遮挡的人脸修复,接着根据算法中预测生成网络的不同,进一步分为基于卷积神经网络(CNN)和基于生成式对抗网络(GAN),并对各类融合算法从模型网络特点、优缺点以及适用场景进行分析,给出一些融合算法的选择建议,从网络结构和适用范围方面对比总结规则遮挡算法和随机遮挡算法。然后介绍并汇总常用的图像修复效果评价指标和数据集,通过列举各类修复算法的实验结果,提炼并分析其定量指标和视觉效果,说明了近年来的人脸去遮挡技术取得了较大的进展。最后结合现有算法和实际需求,从数据集、算法、评价指标等五方面指出人脸去遮挡技术的未来发展趋势。 展开更多

关键词 人脸去遮挡 深度学习 卷积神经网络(CNN) 生成式对抗网络(GAN)

在线阅读 下载PDF 职称材料

基于图网络优化及标签传播的小样本图像分类算法 被引量：6

11

作者 刘颖 车鑫 《信号处理》 CSCD 北大核心 2022年第1期202-210,共9页

近年来,虽然深度学习技术在图像分类任务中取得了有竞争力的表现,但实际应用中,往往存在缺乏大量训练样本的情况,易于产生过拟合现象。小样本学习技术为此提供了解决方案。由于图神经网络在表示类内和类间样本关系上的优势,已被用于小... 近年来,虽然深度学习技术在图像分类任务中取得了有竞争力的表现,但实际应用中,往往存在缺乏大量训练样本的情况,易于产生过拟合现象。小样本学习技术为此提供了解决方案。由于图神经网络在表示类内和类间样本关系上的优势,已被用于小样本图像分类任务。现有算法是通过几个卷积块获取图像特征作为节点特征输入图网络,为了更好的表示图节点之间的关系,本文算法通过引入卷积块注意力模块(CBAM)来增强目标显著性区域特征,用更具表征力的特征来优化图网络。该方法通过图网络信息传播隐式地增强样本间关系以达到优化节点关系的目的,并采用标签传播机制对未知样本进行分类。大量实验表明,本算法在小样本监督和半监督学习任务上具有优异的表现,验证了算法的有效性。 展开更多

关键词 图像分类 小样本学习 图神经网络 卷积块注意力 标签传播

在线阅读 下载PDF 职称材料

基于颜色通道融合特征的现勘图像分类算法 被引量：1

12

作者 刘颖 张倩楠 +3 位作者 王富平 雷研博 公衍超 杨凡超 《现代电子技术》 北大核心 2020年第4期67-72,共6页

针对单一特征难以精确地表达复杂图像内容的问题,提出基于颜色通道融合特征的现勘图像分类算法。首先,分别在H,S和V三个颜色通道上提取图像的LBP特征和GIST特征,并利用颜色空间信息进行加权融合;然后,将融合的LBP和GIST特征串联形成新... 针对单一特征难以精确地表达复杂图像内容的问题,提出基于颜色通道融合特征的现勘图像分类算法。首先,分别在H,S和V三个颜色通道上提取图像的LBP特征和GIST特征,并利用颜色空间信息进行加权融合;然后,将融合的LBP和GIST特征串联形成新的特征描述向量,并用于训练分类器以实现精确地现勘图像分类。在现勘图像数据库上,大量实验结果显示提出的现勘图像分类算法优于基于单一特征的图像分类正确率。 展开更多

关键词 现勘图像分类 颜色通道 特征提取 特征融合 训练分类器 实验分析

在线阅读 下载PDF 职称材料

轮胎花纹图像检索技术综述

13

作者 刘颖 张帅 +2 位作者 葛瑜祥 王富平 李大湘 《计算机科学》 CSCD 北大核心 2018年第12期52-60,共9页

轮胎花纹图像检索在交通事故处理及刑事案件侦破中是获取破案信息的重要手段,虽然基于内容的图像检索技术已发展数十年,但由于轮胎花纹图像数据的来源及应用场景特殊等因素,目前这方面的研究文献并不多。在研究近年来轮胎花纹图像检索... 轮胎花纹图像检索在交通事故处理及刑事案件侦破中是获取破案信息的重要手段,虽然基于内容的图像检索技术已发展数十年,但由于轮胎花纹图像数据的来源及应用场景特殊等因素,目前这方面的研究文献并不多。在研究近年来轮胎花纹图像检索领域相关文献的基础上,对该领域的技术现状进行总结分析。首先,围绕轮胎花纹纹理特征提取和高层语义特征提取两项关键技术描述了该领域的主要研究成果,并总结了轮胎花纹数据库以及检索性能评价指标。然后,分别针对轮胎花纹低层特征和高层特征提取进行实验对比并分析结果。最后,结合现有技术及实际应用需求,分析了该领域的技术发展趋势并指出了未来的研究方向。 展开更多

关键词 轮胎花纹图像检索 纹理特征 高层语义特征 轮胎花纹数据库

在线阅读 下载PDF 职称材料

基于深度学习的小目标检测研究与应用综述 被引量：107

14

作者 刘颖 刘红燕 +4 位作者 范九伦 公衍超 李莹华 王富平 卢津 《电子学报》 EI CAS CSCD 北大核心 2020年第3期590-601,共12页

目标检测在基于传统手工特征及深度学习算法上已经取得较大发展,然而针对小目标检测的研究近几年才开始出现,研究成果较少,且大都是在已有目标检测算法基础上进行改进,以提高小目标检测的检测精度.小目标像素点少,本身携带的特征少,多... 目标检测在基于传统手工特征及深度学习算法上已经取得较大发展,然而针对小目标检测的研究近几年才开始出现,研究成果较少,且大都是在已有目标检测算法基础上进行改进,以提高小目标检测的检测精度.小目标像素点少,本身携带的特征少,多次下采样后就更难进行特征提取,因而小目标检测面临极大挑战.小目标检测在自动驾驶、遥感图像检测、刑侦等领域都有广泛应用需求,对于小目标检测技术的研究有重要的实用价值.本文对小目标检测的现有研究成果进行了详细综述.首先,将现有算法按照检测需要的阶段数分为一阶段、二阶段、多阶段,描述了RetinaNet、CornerNet-Lite、特征金字塔网络(Feature Pyramid Network,FPN)等算法的原理并进行了对比分析.其次,本文描述了小目标检测技术在不同领域的应用情况,并汇总了MS COCO、PASCAL VOC、DOTA、KITTI等数据集及算法性能评价指标.最后,总结了小目标检测面临的挑战,并展望了未来的研究方向. 展开更多

关键词 小目标检测 尺度变换 特征金字塔 深度学习 特征提取 卷积神经网络

在线阅读 下载PDF 职称材料

基于边缘学习的低分辨率图像识别算法 被引量：3

15

作者 刘颖 刘玉霞 毕萍 《计算机应用》 CSCD 北大核心 2020年第7期2046-2052,共7页

由于受光照条件、拍摄角度、传输设备以及周围环境的影响,刑侦视频图像中的目标物体往往分辨率较低,难以识别。针对低分辨率图像识别问题,在经典LeNet-5识别网络的基础上,提出了一种基于边缘学习的低分辨率图像识别算法。首先由边缘生... 由于受光照条件、拍摄角度、传输设备以及周围环境的影响,刑侦视频图像中的目标物体往往分辨率较低,难以识别。针对低分辨率图像识别问题,在经典LeNet-5识别网络的基础上,提出了一种基于边缘学习的低分辨率图像识别算法。首先由边缘生成对抗网络生成低分辨率图像的幻想边缘,该边缘与高分辨率图像边缘相近;再将该低分辨图像的生成边缘信息作为先验信息融合到识别网络中对低分辨率图像进行识别。在MNIST、EMNIST和Fashion-mnist三个数据集上分别进行实验,结果表明,将低分辨图像的幻想边缘信息融合到识别网络中可以提高低分辨率图像的识别率。 展开更多

关键词 图像识别 低分辨率图像 对抗性边缘学习 生成对抗网络 LeNet-5识别网络

在线阅读 下载PDF 职称材料

结合边缘信息和门卷积的人脸修复算法 被引量：6

16

作者 王富平 李文楼 +2 位作者 刘颖 卢津 公衍超 《计算机科学与探索》 CSCD 北大核心 2021年第1期150-162,共13页

针对任意形状遮挡下人脸修复,现有方法容易产生边缘模糊和恢复结果失真等问题。提出了一种结合边缘信息和门卷积的人脸修复算法。首先,通过先验人脸知识产生遮挡区域的边缘图,以约束人脸修复过程。其次,利用门卷积在部分像素缺失下的精... 针对任意形状遮挡下人脸修复,现有方法容易产生边缘模糊和恢复结果失真等问题。提出了一种结合边缘信息和门卷积的人脸修复算法。首先,通过先验人脸知识产生遮挡区域的边缘图,以约束人脸修复过程。其次,利用门卷积在部分像素缺失下的精确局部特征描述能力,设计面向图像修复的门卷积深度生成对抗网络(GAN)。该模型由边缘连接生成对抗网络和图像修复生成对抗网络两部分组成。边缘连接网络利用二值遮挡图和待修复图像及其边缘图的多源信息进行训练,实现对缺失边缘图像的自动补全和连接。图像修复网络以补全的边缘图为引导信息,联合遮挡图像进行缺失区域修复。实验结果表明:相比其他算法,该算法修复效果更好,其评价指标比当前基于深度学习的图像修复算法更优。 展开更多

关键词 人脸修复 Canny边缘 门卷积 深度学习 生成对抗网络(GAN)

在线阅读 下载PDF 职称材料

基于图文融合的多模态舆情分析 被引量：11

17

作者 刘颖 王哲 +3 位作者 房杰 朱婷鸽 李琳娜 刘继明 《计算机科学与探索》 CSCD 北大核心 2022年第6期1260-1278,共19页

由于互联网以及移动手机的不断普及,人们逐渐进入到一个参与式的网络时代,越来越多的人们喜欢在网络上通过文本和图像的方式发布自己的观点、评论以及情感。对于这些文本和图像信息进行有效分析,不仅可以帮助企业更好地提高产品的质量,... 由于互联网以及移动手机的不断普及,人们逐渐进入到一个参与式的网络时代,越来越多的人们喜欢在网络上通过文本和图像的方式发布自己的观点、评论以及情感。对于这些文本和图像信息进行有效分析,不仅可以帮助企业更好地提高产品的质量,而且有利于为政府决策和社会生产生活提供指导。对基于多模态图文融合的网络舆情情感分析进行了综述。首先对舆情分析的基本概念进行了概括;其次对社交媒体上单模态的文本和视觉舆情情感分析的过程进行了说明;然后对基于图文融合的舆情分析算法进行了总结,并按照不同融合策略,将其分为特征层融合、决策层融合和线性回归模型;另外总结了针对社交媒体的多模态情感分析的常用数据集;最后讨论了网络舆情分析的难点以及未来研究方向。 展开更多

关键词 网络舆情分析 图文融合 情感分析 多模态

在线阅读 下载PDF 职称材料

多注意力域的稠密连接人脸超分算法 被引量：3

18

作者 刘颖 董占龙 +1 位作者 卢津 王富平 《计算机工程与应用》 CSCD 北大核心 2020年第20期179-185,共7页

人脸超分辨率重建是一种对低分辨率人脸处理获取对应高分辨率人脸的低成本技术,又称人脸幻生。为了使重建的人脸图像有更清晰的细节纹理,通过对基于深度学习的人脸超分算法的研究,提出了基于注意力机制的稠密连接人脸超分算法。该算法... 人脸超分辨率重建是一种对低分辨率人脸处理获取对应高分辨率人脸的低成本技术,又称人脸幻生。为了使重建的人脸图像有更清晰的细节纹理,通过对基于深度学习的人脸超分算法的研究,提出了基于注意力机制的稠密连接人脸超分算法。该算法主要由特征提取和图像重建两个部分组成,通过同时关注特征通道域和空间域的信息,创建了多注意力域模块MADM(Multi Attention Domain Module)。其中,通过改变信道和空间上的相互关系和权重,自适应地对特征进行加权重组,并且使用密集的稠密连接和长短连接将不同层的特征融合在一起,实现提升网络性能。实验结果验证了该算法的正确性;并与现有算法比较,表明了该算法的优越性能,重建的人脸图像具有更清晰的纹理细节特征。 展开更多

关键词 注意力机制 稠密连接 人脸超分 特征融合 神经网络

在线阅读 下载PDF 职称材料

学习小波超分辨率系数的人脸超分算法 被引量：2

19

作者 刘颖 孙定华 公衍超 《计算机应用研究》 CSCD 北大核心 2020年第12期3830-3835,共6页

目前基于卷积神经网络的超分方法虽然在峰值信噪比和结构相似性评价指标上能取得优异的结果,但是得到的超分图像视觉质量较差,会丢失人脸五官区域的细节信息。针对这一现象,设计了一种新的深度神经网络来预测超分小波系数以获得信息丰... 目前基于卷积神经网络的超分方法虽然在峰值信噪比和结构相似性评价指标上能取得优异的结果,但是得到的超分图像视觉质量较差,会丢失人脸五官区域的细节信息。针对这一现象,设计了一种新的深度神经网络来预测超分小波系数以获得信息丰富的超分辨率人脸图像。首先利用人脸图像的先验知识手动地给予五官区域更多的关注,然后在网络中引入线性低秩卷积运算,最后利用长距离依赖的思想补充超分图像的细节。实验验证该算法可以在获得较高的峰值信噪比和结构相似性的同时,使超分人脸图像五官区域更加清晰、视觉质量更优。 展开更多

关键词 深度学习 卷积神经网络 小波 超分辨率重建

在线阅读 下载PDF 职称材料

多模态的情感分析技术综述 被引量：42

20

作者 刘继明 张培翔 +2 位作者 刘颖 张伟东 房杰 《计算机科学与探索》 CSCD 北大核心 2021年第7期1165-1182,共18页

情感分析是指利用计算机自动分析确定人们所要表达的情感,其在人机交互和刑侦破案等领域都能发挥重大作用。深度学习和传统特征提取算法的进步为利用多种模态进行情感分析提供了条件。结合多种模态进行情感分析可以弥补单模态情感分析... 情感分析是指利用计算机自动分析确定人们所要表达的情感,其在人机交互和刑侦破案等领域都能发挥重大作用。深度学习和传统特征提取算法的进步为利用多种模态进行情感分析提供了条件。结合多种模态进行情感分析可以弥补单模态情感分析的不稳定性以及局限性等缺点,能够有效提高准确度。近年来,研究者多用面部表情信息、文本信息以及语音信息三种模态进行情感分析。主要从这三种模态对多模态情感分析技术进行综述:首先对多模态情感分析的基本概念以及研究现状进行简要介绍;其次总结了常用的多模态情感分析数据集;然后分别对现有的基于面部表情信息、文本信息和语音信息的单模态情感分析技术进行简要叙述;接下来详细介绍了模态融合技术,并依据不同的模态融合方式对多模态情感分析技术的现有成果进行重点描述;最后讨论了多模态情感分析存在的问题以及未来的发展方向。 展开更多

关键词 多模态 情感分析 模态融合

在线阅读 下载PDF 职称材料