引入多尺度特征图融合的人脸关键点检测网络 被引量：6

1

作者 齐国强 姚剑敏 +2 位作者 胡海龙 严群 林志贤 《计算机应用研究》 CSCD 北大核心 2020年第12期3825-3829,共5页

人脸关键点的精确检测对于人脸姿态矫正、表情识别、疲劳监测等任务具有重要意义。针对当前人脸关键点检测算法对于网络的设计越来越复杂、对计算资源的需求越来越大,网络整体速度变慢,不利于移动端部署的问题,提出了一种基于多尺度关... 人脸关键点的精确检测对于人脸姿态矫正、表情识别、疲劳监测等任务具有重要意义。针对当前人脸关键点检测算法对于网络的设计越来越复杂、对计算资源的需求越来越大,网络整体速度变慢,不利于移动端部署的问题,提出了一种基于多尺度关键点热度图融合的人脸关键点检测网络。通过特征图与关键点热度图的融合使网络更多地关注关键点及其周边像素的信息,同时引入了多尺度的关键点热度图融合不断加强网络对于关键点相关信息的学习能力,使用较浅的网络结构就可实现好的检测效果。实验表明该网络在WFLW数据集上取得的检测精度和速度均达到较好的效果。 展开更多

关键词 深度学习 人脸关键点检测 热度图融合 关键点热度图

在线阅读 下载PDF 职称材料

基于神经网络与卡尔曼滤波的手部实时追踪方法 被引量：7

2

作者 曾公任 姚剑敏 +3 位作者 严群 林志贤 郭太良 林畅 《液晶与显示》 CAS CSCD 北大核心 2020年第5期464-470,共7页

针对传统的手部跟踪算法存在实时性差、识别精度低、易受环境影响等问题,提出了一种基于神经网络与卡尔曼滤波的手部实时追踪方法。该方法首先通过神经网络对视频中出现的检测目标进行定位,接着用卡尔曼滤波对目标运动进行估计,将估计... 针对传统的手部跟踪算法存在实时性差、识别精度低、易受环境影响等问题,提出了一种基于神经网络与卡尔曼滤波的手部实时追踪方法。该方法首先通过神经网络对视频中出现的检测目标进行定位,接着用卡尔曼滤波对目标运动进行估计,将估计的结果与下一帧图像中检测到的目标进行比对;然后对检测到的目标进行跟踪,将手部运动的轨迹实时显示。实验结果表明,该方法能够对多个手部目标实时进行追踪,并在手部运动过程中出现交叉和形变的情况下还能保持跟踪,其平均处理帧数为21.212 f/s,追踪正确率为94.88%,基本满足手部跟踪的稳定可靠、高实时性、高鲁棒性等要求。 展开更多

关键词 手部跟踪 神经网络 卡尔曼滤波 跟踪器

在线阅读 下载PDF 职称材料

基于改进生成对抗网络的单帧图像超分辨率重建 被引量：7

3

作者 陈宗航 胡海龙 +2 位作者 姚剑敏 严群 林志贤 《液晶与显示》 CAS CSCD 北大核心 2021年第5期705-712,共8页

为了获得更好的图像超分辨率重建质量,提高网络训练的稳定性,对生成对抗网络、损失函数进行研究。首先,介绍了SRGAN和DenseNet,并设计了基于DenseNet的生成网络用以生成图像,且将子像素卷积模块加入到DenseNet中。接着,移除了原本Dense... 为了获得更好的图像超分辨率重建质量,提高网络训练的稳定性,对生成对抗网络、损失函数进行研究。首先,介绍了SRGAN和DenseNet,并设计了基于DenseNet的生成网络用以生成图像,且将子像素卷积模块加入到DenseNet中。接着,移除了原本DenseNet中冗余的BN层,提高了模型的训练效率。最后,介绍了SRGAN的损失函数并基于Earth-Mover距离来重新设计损失函数,并且用SmoothL1损失取代MSE损失来计算VGG特征图,以防止MSE放大最大误差和最小误差间的差距。实验证明该模型在网络训练过程中能够达到稳定收敛的状态。重建出的图像质量对比SRGAN,在3个基准测试集SET5,SET14,BSD100上的平均PSNR要高约2.02 dB,SSIM高约0.042(5.6%)。重建出的图像不仅在指标上有所提升,且拥有更好的清晰度,高频细节更为丰富。 展开更多

关键词 图像超分辨率 生成对抗网络 深度学习

在线阅读 下载PDF 职称材料

融合注意力机制的移动端人像分割网络 被引量：4

4

作者 周鹏 姚剑敏 +2 位作者 林志贤 严群 郭太良 《液晶与显示》 CAS CSCD 北大核心 2020年第6期547-554,共8页

现有的移动端人像分割网络存在分割精度差、分割边缘模糊等问题。为此,提出了一种融合注意力机制的轻量化人像分割网络。首先,利用MobileNetV2网络提取图像特征。然后对注意力模块NLNet(Non-local neural networks)进行轻量化处理,随后... 现有的移动端人像分割网络存在分割精度差、分割边缘模糊等问题。为此,提出了一种融合注意力机制的轻量化人像分割网络。首先,利用MobileNetV2网络提取图像特征。然后对注意力模块NLNet(Non-local neural networks)进行轻量化处理,随后将优化过的注意力模块嵌入到四层解码网络中。利用融合注意力机制的解码网络自适应地学习有效特征,最后通过SoftMax层得到人像分割结果图。同时改进了损失函数,引入多损失函数(Multi-Loss),使网络更容易收敛。解码网络融合注意力机制的方式使得轻量化网络可以在语义分割任务上取得较好的效果。实验结果表明,模型在550张自采集的人像测试集上达到了92.29%的交并比(MeanIOU),单张图片在Inter(R)Core i5 CPU上的分割时间为0.74 s。与传统的人像分割网络相比,研究网络的分割精度和分割速度优势明显,适合应用于移动端设备。 展开更多

关键词 人像分割 注意力机制 轻量化 卷积神经网络

在线阅读 下载PDF 职称材料

基于深度学习的磁瓦表面缺陷分割与识别 被引量：7

5

作者 谢舰 姚剑敏 +1 位作者 严群 林志贤 《液晶与显示》 CAS CSCD 北大核心 2021年第5期713-722,共10页

为了满足磁瓦生产工业对表面质量检测的高要求,实现磁瓦缺陷自动分割与识别,本文提出了一种基于卷积神经网络的缺陷分割与分类网络。该网络基于U-net架构,通过U-net编码部分提取缺陷的深层特征,并使用该深层特征进行缺陷分类,然后通过... 为了满足磁瓦生产工业对表面质量检测的高要求,实现磁瓦缺陷自动分割与识别,本文提出了一种基于卷积神经网络的缺陷分割与分类网络。该网络基于U-net架构,通过U-net编码部分提取缺陷的深层特征,并使用该深层特征进行缺陷分类,然后通过解码部分输出分割的缺陷区域。为了解决部分缺陷前景面积占比太小,导致网络难以收敛的问题,通过添加差异系数损失以保证网络持续优化。然后在训练阶段添加多层损失和进行在线数据增强进一步提升了分割精度和分类准确率。实验结果表明,添加辅助损失函数和数据增强后,分割网络能够分割出94.5%标注的缺陷区域,并且对于缺陷分类的准确率能够达到98.9%,满足工业生产的高精度要求。该方法能够精准有效地分割和识别磁瓦的表面缺陷,为磁瓦表面质量检测自动化行业提供了一种新的思路。 展开更多

关键词 磁瓦 缺陷分割 缺陷分类 U-net 卷积神经网络

在线阅读 下载PDF 职称材料

融合多尺度特征及注意力机制的医学图像检索 被引量：5

6

作者 周林鹏 姚剑敏 +1 位作者 严群 林志贤 《液晶与显示》 CAS CSCD 北大核心 2021年第8期1174-1185,共12页

针对目前医学图像普遍存在病理区域尺寸分布较分散、细节特征不明显以及同类组织影像间的视觉差异较大等问题,本文在CBMIR系统的基础上,提出了一种融合多尺度特征及注意力机制的医学图像检索方法。该方法通过融合多尺度特征并设置可学... 针对目前医学图像普遍存在病理区域尺寸分布较分散、细节特征不明显以及同类组织影像间的视觉差异较大等问题,本文在CBMIR系统的基础上,提出了一种融合多尺度特征及注意力机制的医学图像检索方法。该方法通过融合多尺度特征并设置可学习权重系数来自适应平衡浅层图像纹理特征和深层图像语义特征的关系,提高网络对不同尺度上的病理特征提取能力。同时,引入注意力模块,对网络输出的特征图进行通道加权求和,提高关键特征通道的特征表达能力,使网络更能关注到图像中的具有辨识性的病理特征区域。最后,在损失函数设计时,使用多重损失进一步优化样本特征在特征空间的分布。最终在Mura数据集上的mAP@100、mAP@20两个指标上分别达到了0.95、0.98的检索精度,基本符合实际场景对模型的检索精度要求。 展开更多

关键词 医学影像处理 CBMIR 多尺度特征融合 注意力机制 多重损失函数

在线阅读 下载PDF 职称材料

基于残差卷积注意力网络的视频修复 被引量：4

7

作者 李德财 严群 +2 位作者 姚剑敏 林志贤 董泽宇 《液晶与显示》 CAS CSCD 北大核心 2022年第1期86-96,共11页

视频修复旨在填补视频中的缺失区域,由于很难精确保持修复内容的时空一致性,故视频修复仍具有挑战性。针对现有视频修复中存在的修复结果语义信息不连续,出现视频模糊和时间伪影,以及网络设计越来越复杂,网络整体速度变慢的问题,本文提... 视频修复旨在填补视频中的缺失区域,由于很难精确保持修复内容的时空一致性,故视频修复仍具有挑战性。针对现有视频修复中存在的修复结果语义信息不连续,出现视频模糊和时间伪影,以及网络设计越来越复杂,网络整体速度变慢的问题,本文提出了一种基于残差网络的卷积注意力网络(RCAN)用以视频修复。通过将自注意力机制和全局注意力机制引入进残差网络,增强网络对所有输入帧的时空特征的学习能力,并采用时空对抗损失函数进行优化,提高视频修复的质量。同时网络还能够高度自由地定义层数和参数量,提高网络的实际应用能力。实验结果表明,该网络在DAVIS和YouTube-VOS数据集上取得了PSNR为30.68 dB,SSIM为0.961,FID为0.113的平均修复结果,基本符合实际场景对模型的修复质量要求,为视频修复提供了一种新思路。 展开更多

关键词 深度学习 视频修复 自注意力机制 残差网络 生成对抗网络

在线阅读 下载PDF 职称材料

基于深度神经网络的移动端人像分割 被引量：3

8

作者 杨坚伟 严群 +1 位作者 姚剑敏 林志贤 《计算机应用》 CSCD 北大核心 2020年第12期3644-3650,共7页

针对现有的人像分割算法大多忽略移动设备的硬件限制,盲目追求效果,以致无法满足移动端对于分割速度要求的问题,提出了一种可在移动设备上高效运行的人像分割网络。首先,基于编码器-解码器的轻量级U型架构来构建网络;其次,为了克服全卷... 针对现有的人像分割算法大多忽略移动设备的硬件限制,盲目追求效果,以致无法满足移动端对于分割速度要求的问题,提出了一种可在移动设备上高效运行的人像分割网络。首先,基于编码器-解码器的轻量级U型架构来构建网络;其次,为了克服全卷积网络(FCN)受制于较小的感受域,无法充分捕获长距离信息的缺陷,引入期望最大化注意力块(EMAU)置于编码器之后、解码器之前;然后,在训练阶段添加多层边界辅助损失,有助于提高人物边界轮廓的准确度;最后,对模型进行量化和压缩。在Veer数据集上将所提网络与PortraitFCN+、ENet和BiSeNet等网络进行对比实验。实验结果表明,所提网络可以提高图像推理速度和分割效果,并能够以95.57%的准确率处理分辨率为224×224的RGB图像。 展开更多

关键词 深度神经网络 人像分割 期望最大化 辅助损失 注意力

在线阅读 下载PDF 职称材料

基于深度神经网络的视频播放速度识别 被引量：2

9

作者 陈荣源 姚剑敏 +1 位作者 严群 林志贤 《计算机应用》 CSCD 北大核心 2022年第7期2043-2051,共9页

针对目前的视频播放速度识别算法大多存在的提取精度差、模型参数量巨大的问题,提出了一种双支轻量化视频播放速度识别网络。首先,该网络是基于SlowFast双支网络架构组建的一个三维(3D)卷积网络;其次,为了弥补S3D-G网络在视频播放速度... 针对目前的视频播放速度识别算法大多存在的提取精度差、模型参数量巨大的问题,提出了一种双支轻量化视频播放速度识别网络。首先,该网络是基于SlowFast双支网络架构组建的一个三维(3D)卷积网络;其次,为了弥补S3D-G网络在视频播放速度识别任务中存在的参数量大、浮点运算数多的缺陷,进行了轻量化的网络结构调整;最后,在网络结构中引入了高效通道注意力(ECA)模块,以通过通道注意力模块生成重点关注的内容对应的通道范围,这有助于提高视频特征提取的准确性。在Kinetics-400数据集上将所提网络与S3D-G、SlowFast网络进行对比实验。实验结果表明,所提网络在精确度差不多的情况下,模型大小和模型参数均比SlowFast减少了大约96%,浮点运算数减少到5.36 GFLOPs,显著提高了运行速度。 展开更多

关键词 深度神经网络 视频播放速度识别 双支网络 通道注意力 轻量化模型

在线阅读 下载PDF 职称材料

基于序列帧的三维人体重建 被引量：3

10

作者 郑承绪 姚剑敏 +1 位作者 严群 林志贤 《传感器与微系统》 CSCD 北大核心 2022年第12期33-37,共5页

针对现有的依靠单目RGB相机拍摄序列图像来进行的三维人体重建存在精度较低、面部建模辨识度不足等问题,引入了非刚性多视图三维重建方法和特征图金字塔方法,以提升面部模型质量。首先,利用特征金字塔网络(FPN)和多层感知器(MLP)提取对... 针对现有的依靠单目RGB相机拍摄序列图像来进行的三维人体重建存在精度较低、面部建模辨识度不足等问题,引入了非刚性多视图三维重建方法和特征图金字塔方法,以提升面部模型质量。首先,利用特征金字塔网络(FPN)和多层感知器(MLP)提取对重建更有帮助的多级特征图;接着,通过推断多个输入图像的外观一致性创建初步的面部模型;然后,使用多级重建的方法,根据每一级的特征图进行模型重建并更新数据,逐步建立出具有高精度的面部模型;最后,结合两种方法,引入多个损失函数,加快收敛,生成结果模型。实验结果表明:面部平均顶点误差较之前模型降低了约2 mm,能够达到1 mm级的误差水平。同时也通过用户调查证明了本方法改进的优越性。超过96%的参与者认为本方法具有更好的效果。 展开更多

关键词 三维人体重建 单目相机 卷积神经网络

在线阅读 下载PDF 职称材料

高分辨率主动驱动型氮化镓基Micro-LED芯片的制备 被引量：2

11

作者 黄铭水 聂君扬 +8 位作者 刘明洋 李洋 潘魁 邓俐颖 杨天溪 黄忠航 孙捷 严群 郭太良 《液晶与显示》 CAS CSCD 北大核心 2022年第12期1553-1560,共8页

本文设计并制备了一款分辨率为1920×1080的氮化镓基Micro-LED芯片。采用单次ICP(InductivelyCoupled Plasma)刻蚀的方法完成电流扩展层的图案化和台面刻蚀,实现了电流扩展层和台面的自对准。同时,在制作过程中用HMDS(Hexamethyldis... 本文设计并制备了一款分辨率为1920×1080的氮化镓基Micro-LED芯片。采用单次ICP(InductivelyCoupled Plasma)刻蚀的方法完成电流扩展层的图案化和台面刻蚀,实现了电流扩展层和台面的自对准。同时,在制作过程中用HMDS(Hexamethyldisiloxane)提高光刻胶附着力,从根本上提高小尺寸台面刻蚀的一致性和完整性。此外,通过垫高N型电极解决了传统倒装芯片中P型电极和N型电极不等高的问题,有利于显示芯片与驱动芯片的键合。该芯片尺寸为17.78 mm(0.7 in),发光单元尺寸为6μm,像素周期为8μm,像素密度达到3129 PPI。I-V测试数据表明,所制备的Micro-LED的开启电压仅为3.5 V。 展开更多

关键词 Micro-LED 高分辨率 倒装芯片 刻蚀

在线阅读 下载PDF 职称材料

基于单张图像的人体准确姿势3D重建研究 被引量：2

12

作者 裘志超 姚剑敏 +1 位作者 严群 林志贤 《传感器与微系统》 CSCD 北大核心 2023年第5期61-64,共4页

为了解决单张图像人体重建时存在部分姿势不准确,模型精确度不足的问题,提出了基于单张图像进行人体准确姿势3D重建的方法。首先,提取图像特征,并将特征与SMPL基础模板信息相融合,通过图卷积网络将2D图像映射为3D人体表面;其次,将参数化... 为了解决单张图像人体重建时存在部分姿势不准确,模型精确度不足的问题,提出了基于单张图像进行人体准确姿势3D重建的方法。首先,提取图像特征,并将特征与SMPL基础模板信息相融合,通过图卷积网络将2D图像映射为3D人体表面;其次,将参数化SMPL模型所表达的3D人体投影到2D平面,通过投影后的3D信息与输入图像的2D信息相匹配,实现体型与姿势的估计;然后,使用生成对抗网络判断模型数据是否来自未配对数据的真实人体网格数据;最后,使用多种损失函数共同训练,生成最终生成器模型。使用Human 3.6M测试时与SMPLify, NBF,Rogez等算法进行了对比,姿势估计准确度有所提升。 展开更多

关键词 3D人体重建 SMPL模型 图卷积神经网络

在线阅读 下载PDF 职称材料

基于AttentionGAN和形态学重建的TFT阵列缺陷检测 被引量：1

13

作者 陈炜炜 严群 姚剑敏 《液晶与显示》 CAS CSCD 北大核心 2020年第12期1270-1277,共8页

缺陷检测在TFT阵列工艺的良率提高中起着重要作用,传统的人工识别效率低,新兴的目标检测卷积神经网络在缺陷标注上需要耗费大量人力。为了实现TFT阵列缺陷自动检测的同时尽可能地减少人工成本,提出了一种基于生成对抗网络和形态学重建的... 缺陷检测在TFT阵列工艺的良率提高中起着重要作用,传统的人工识别效率低,新兴的目标检测卷积神经网络在缺陷标注上需要耗费大量人力。为了实现TFT阵列缺陷自动检测的同时尽可能地减少人工成本,提出了一种基于生成对抗网络和形态学重建的TFT阵列缺陷检测方法,该方法中用于训练网络的数据集无需人工标注,解决了人工标注成本大的问题。该方法首先通过AttentionGAN网络得到TFT阵列的显著性图,接着选定显著性图中显著性最低的像素为种子点,得到缺陷标记图像与缺陷掩膜图像,进而进行二值形态学重建的区域生长,最后得到缺陷的检测。该方法对于TFT阵列缺陷的二分类能达到F1分数为0.94的结果,为TFT阵列的自动化缺陷检测提出了一种新思路。 展开更多

关键词 TFT-LCD 缺陷检测 生成式对抗网络 形态学重建

在线阅读 下载PDF 职称材料

极性相反结构的micro-LED和OLED混合集成显示器件的驱动

14

作者 何爽 胡兴元 +7 位作者 黄忠航 夏志明 陈绍杭 刘明洋 杨天溪 周雄图 严群 孙捷 《液晶与显示》 CAS CSCD 北大核心 2023年第2期197-203,共7页

本文提出一种由OLED和micro-LED反向并联组成的AC全彩显示器件。该器件由二者按相反极性结构并联而成,能改善传统器件不同颜色子像素之间的亮度和光效不均匀等问题,兼具高发光效率、高像素密度和长时间工作寿命等优点。同时,本文提出了... 本文提出一种由OLED和micro-LED反向并联组成的AC全彩显示器件。该器件由二者按相反极性结构并联而成,能改善传统器件不同颜色子像素之间的亮度和光效不均匀等问题,兼具高发光效率、高像素密度和长时间工作寿命等优点。同时,本文提出了一种与之适配的反向并联显示器件专用驱动方案。新型显示器件能够改善传统单一元素显示器件的亮度和光效不均匀性,显示方案的提出能够解决传统驱动方案不适配AC显示器件反向并联结构的驱动问题。 展开更多

关键词 micro-LED OLED 极性相反 显示驱动

在线阅读 下载PDF 职称材料