仿真假体视觉下基于深度图像的手势识别研究 被引量：2

1

作者 赵瑛 王冬晖 +2 位作者 李琦 于爱萍 谷宇 《现代电子技术》 北大核心 2019年第16期131-135,139,共6页

针对仿真假体视觉下彩色图像和深度图像对于手势识别的不同效果,研究使用Kinect获取彩色图像以及深度图像进行手势识别。通过Kinect提取的骨骼信息与提取的深度图像结合,将人体与背景图像分离,对OpenCV库分离后的图像进行降噪,并进行像... 针对仿真假体视觉下彩色图像和深度图像对于手势识别的不同效果,研究使用Kinect获取彩色图像以及深度图像进行手势识别。通过Kinect提取的骨骼信息与提取的深度图像结合,将人体与背景图像分离,对OpenCV库分离后的图像进行降噪,并进行像素化处理。在不同分辨率(32×32,48×48,64×64)下进行彩色图像和深度图像的手势识别实验。实验结果表明,随着分辨率的增加,手势识别的准确率也不断增加。同一分辨率下,深度图像下的手势识别率总体高于彩色图像下的手势识别率,且在32×32分辨率下,二者差异显著。 展开更多

关键词 视觉假体 手势识别 深度图像 骨骼信息 图像降噪 像素化处理

在线阅读 下载PDF 职称材料

基于知识蒸馏改进U-Net网络模型用于分割CT图像中的口腔颌面部肿瘤 被引量：2

2

作者 王芳 王熙 +6 位作者 兰文娟 杨智超 孙碧婷 刘颖 谷宇 白洁 唐思源 《中国医学影像技术》 CSCD 北大核心 2024年第4期591-597,共7页

目的 观察基于知识蒸馏改进U-Net网络模型用于分割CT图像中的口腔颌面部肿瘤的价值。方法 收集2个医疗中心121例口腔颌面部肿瘤患者共609幅CT图像;于公开数据集HECKTOR2020搜集254例口腔颌面部肿瘤患者共1 977幅CT图像。向U-Net网络模... 目的 观察基于知识蒸馏改进U-Net网络模型用于分割CT图像中的口腔颌面部肿瘤的价值。方法 收集2个医疗中心121例口腔颌面部肿瘤患者共609幅CT图像;于公开数据集HECKTOR2020搜集254例口腔颌面部肿瘤患者共1 977幅CT图像。向U-Net网络模型中引入多尺度和注意力机制,加入残差网络,建立改进U-Net模型;采用知识蒸馏技术生成学生模型,观察模型分割CT图像中的口腔颌面部肿瘤的效能。结果 改进U-Net模型大小为89.30 MB,参数数量为17.82 M,计算量为22.13 GFlops;其分割CT所示口腔颌面部肿瘤的精确率(Precision)、召回率(Recall)、戴斯相似系数和交并比分别为0.835、0.787、0.812及0.761,优于既往结合常规损失函数(Dice Loss function)所获模型及未改进模型;且除Precision之外,学生模型与教师模型差异较小。结论 基于知识蒸馏改进U-Net网络模型用于分割CT图像中的口腔颌面部肿瘤具有较高价值。 展开更多

关键词 口腔疾病 颌面部疾病 肿瘤 神经网络 计算机 体层摄影术 X线计算机 知识蒸馏

在线阅读 下载PDF 职称材料

基于改进残差网络和动态ReLU肺癌病理图像分类 被引量：2

3

作者 谷宇 李思敏 +5 位作者 张宝华 杨立东 吕晓琪 张祥松 贾成一 贺群 《激光杂志》 CAS 北大核心 2023年第5期154-161,共8页

为实现肺癌病理图像的准确分类,提出一种基于双重注意力和动态ReLU的残差网络DrANeT,在网络模型中嵌入CBAM双重注意力机制,提高网络提取有用特种图的能力;使用动态ReLU替换网络中所使用的普通ReLU,可以根据不同特征图自动调整参数,提高... 为实现肺癌病理图像的准确分类,提出一种基于双重注意力和动态ReLU的残差网络DrANeT,在网络模型中嵌入CBAM双重注意力机制,提高网络提取有用特种图的能力;使用动态ReLU替换网络中所使用的普通ReLU,可以根据不同特征图自动调整参数,提高模型性能。实验结果表明,该网络模型在肺良性图像、肺腺癌图像和肺鳞状细胞癌图像准确率分别达到100.00%、99.96%、99.96%,整个数据集准确率达到99.96%。因此,表明本实验所改进的网络模型可以有效地提高肺癌病理图像分类的准确率。 展开更多

关键词 肺癌病理图像 残差网络 注意力机制 图像分类

在线阅读 下载PDF 职称材料

基于改进ConvNeXt的皮肤镜图像分类方法 被引量：9

4

作者 李建威 吕晓琪 谷宇 《计算机工程》 CAS CSCD 北大核心 2023年第10期239-246,254,共9页

皮肤癌是最致命的癌症之一,对皮肤镜图像进行精确分类尤为关键,然而现有的皮肤镜图像存在形态复杂、样本数量较少的问题,导致现有的自动分类方法难以提取图像特征信息,误判率较高。提出一种改进ConvNeXt的方法,并构建SE-SimAM-ConvNeXt... 皮肤癌是最致命的癌症之一,对皮肤镜图像进行精确分类尤为关键,然而现有的皮肤镜图像存在形态复杂、样本数量较少的问题,导致现有的自动分类方法难以提取图像特征信息,误判率较高。提出一种改进ConvNeXt的方法,并构建SE-SimAM-ConvNeXt模型。以ConvNeXt为基础网络,加入SimAM无参注意力模块,提升网络的特征提取能力,并在基础网络中引入通道注意力机制,增强ConvNeXt对潜在关键特征的挖掘能力。在训练初始时加入预热机制Cosine Warmup,在该过程中使用余弦函数值进行学习率的衰减,进一步加速ConvNeXt的收敛,提高ConvNeXt模型的分类能力。在HAM10000皮肤数据集上的实验结果表明,该模型的分类准确率、精确度、召回率、特异性分别为92.9%、85.3%、78.0%、97.5%,具有较好的皮肤镜图像分类能力,对皮肤癌病变的辅助诊断有一定程度的应用价值,可帮助皮肤科医生对皮肤癌做进一步的诊断。 展开更多

关键词 皮肤镜图像分类 ConvNeXt网络 通道注意力机制 SimAM无参注意力 预热机制

在线阅读 下载PDF 职称材料

基于改进ResNeXt的肺癌病理图像分类 被引量：2

5

作者 李思敏 谷宇 +3 位作者 张宝华 迟靖千 刘佳琪 贺群 《计算机工程与设计》 北大核心 2023年第8期2439-2446,共8页

针对肺癌病理图像的自动分类,提出一种改进的卷积神经网络,引入一种新型卷积结构。以ResNeXt残差网络作为基础网络模型,使用新型卷积involution替代部分传统卷积层,解决传统卷积核的感受野小和通道之间信息比较冗余的问题。实验结果表明... 针对肺癌病理图像的自动分类,提出一种改进的卷积神经网络,引入一种新型卷积结构。以ResNeXt残差网络作为基础网络模型,使用新型卷积involution替代部分传统卷积层,解决传统卷积核的感受野小和通道之间信息比较冗余的问题。实验结果表明,该网络模型在LC25000数据集的肺癌病理图像分类任务中,肺良性图像、肺腺癌图像和肺鳞状细胞癌图像准确率分别达到100.00%、99.47%、99.47%,整个数据集准确率达到99.47%,表明改进的网络模型可以提高对肺癌病理图像分类的准确率。 展开更多

关键词 肺癌病理图像 卷积神经网络 残差网络 新型卷积 感受野 通道 图像分类

在线阅读 下载PDF 职称材料

改进知识蒸馏Transformer的新冠肺炎医学影像分类

6

作者 白浩田 谷宇 +7 位作者 杨立东 张宝华 李建军 吕晓琪 唐思源 张祥松 贾成一 贺群 《激光杂志》 CAS 北大核心 2024年第2期152-160,共9页

针对在筛查新型冠状病毒感染肺炎患者时核酸检测假阴性率较高的问题,提出了一种DRPL-ViT计算机辅助诊断网络。在Vision Transformer的基础上首先引入知识蒸馏机制,使Transformer结构在小数据集上训练取得更好的拟合效果;然后,在patches... 针对在筛查新型冠状病毒感染肺炎患者时核酸检测假阴性率较高的问题,提出了一种DRPL-ViT计算机辅助诊断网络。在Vision Transformer的基础上首先引入知识蒸馏机制,使Transformer结构在小数据集上训练取得更好的拟合效果;然后,在patches的位置信息编码上,通过更适合视觉任务的相对位置编码方式,使tokens之间的依赖关系能够被更好地捕捉;为了关注到更多的局部特征,在Transformer Encoder模块中引入了传统的卷积模块提取局部特征。实验在四分类测试集上平均分类准确率达到92.11%,对新冠肺炎分类准确率达到97.85%。实验结果表明,所提出的网络对新冠肺炎及其他肺部病变分类准确率较高,有一定的临床应用价值。 展开更多

关键词 医学图像分类 Vision Transformer架构 深度学习 计算机X线摄影 新冠肺炎

在线阅读 下载PDF 职称材料

融合注意力特征及动态卷积的肺结节辅助诊断 被引量：5

7

作者 谷宇 刘佳琪 +3 位作者 杨立东 张宝华 张祥松 贾成一 《科学技术与工程》 北大核心 2023年第16期6834-6844,共11页

针对肺结节关键影像征象信息不易获取,部分卷积神经网络(convolutional neural networks,CNN)模型对肺结节的识别率不高的问题,提出一种融合注意力特征的动态卷积残差网络(dynamic convolutional residual networks incorporating atten... 针对肺结节关键影像征象信息不易获取,部分卷积神经网络(convolutional neural networks,CNN)模型对肺结节的识别率不高的问题,提出一种融合注意力特征的动态卷积残差网络(dynamic convolutional residual networks incorporating attention features,DcANet),并在有效实现肺结节良恶性分类的基础上对所提模型的诊断结果进行可视化分析。此网络以适应肺结节三维小尺寸输入特点的残差网络为基本框架,在DcABlock部分使用可以自适应调整卷积参数的动态卷积以及迭代注意特征融合模块,使模型能够更准确地获取肺结节信息,提高模型的表征能力。此外,还使用类激活映射将三维图像的各层切片进行可视化分析。实验在最终测试集上的准确率为85.87%,平衡F分数(F1)值为82.67%,敏感度和特异性的综合指标Gmean值为85.51%。实验结果表明:该网络可以提升对肺结节良恶性分类的准确性,诊断结果具有可信性,有一定的临床应用价值。 展开更多

关键词 肺结节辅助诊断 动态卷积 迭代注意特征融合模块 深度学习 类激活映射

在线阅读 下载PDF 职称材料

多模态3D卷积神经网络脑部胶质瘤分割方法 被引量：4

8

作者 谷宇 吕晓琪 +7 位作者 李菁 任国印 喻大华 赵瑛 吴凉 张文莉 郝小静 黄显武 《科学技术与工程》 北大核心 2018年第7期18-24,共7页

由于大多数脑部胶质瘤边界有水肿且内部结构复杂,分割胶质瘤及瘤内结构难度较大。提出一种新的基于多模态MRI 3D卷积神经网络(CNN)脑部胶质瘤及瘤内各结构的自动分割算法。首先,标准化由T1、T1c、T2、FLAIR 4个MRI模态组成的输入图像。... 由于大多数脑部胶质瘤边界有水肿且内部结构复杂,分割胶质瘤及瘤内结构难度较大。提出一种新的基于多模态MRI 3D卷积神经网络(CNN)脑部胶质瘤及瘤内各结构的自动分割算法。首先,标准化由T1、T1c、T2、FLAIR 4个MRI模态组成的输入图像。其次,构建10个卷积层,2个全连接层的3D CNN。卷积层采用3×3×3的3D卷积核;全连接层采用PRe Lu激励函数,并结合dropout技术防止过拟合。构建的3D CNN分割胶质瘤和瘤内各结构精度高,与专家手动分割的结果接近。实验结果表明,构建的多模态3D CNN能够准确地分割MRI多模态图像脑部胶质瘤及瘤内各结构,具有重要的临床意义。 展开更多

关键词 脑部胶质瘤 瘤内结构 多模态MRI 3D卷积神经网络 图像分割

在线阅读 下载PDF 职称材料

仿真假体视觉下神经网络算法的应用研究 被引量：2

9

作者 赵瑛 李琦 +2 位作者 王冬晖 于爱萍 谷宇 《现代电子技术》 北大核心 2020年第4期164-166,172,共4页

尽管已有多种图像处理策略被应用到视觉假体的仿真研究中并提高了被试的识别表现,但在植入电极数量有限的情况下,如何保证盲人获得足够的拓扑信息是视觉假体仍需解决的问题。在此背景下,本文将两种神经网络算法应用到仿真假体视觉中对... 尽管已有多种图像处理策略被应用到视觉假体的仿真研究中并提高了被试的识别表现,但在植入电极数量有限的情况下,如何保证盲人获得足够的拓扑信息是视觉假体仍需解决的问题。在此背景下,本文将两种神经网络算法应用到仿真假体视觉中对图像进行前景目标提取和像素化处理,首先利用图像分割数据集训练一个U-net网络得到前景提取后的结果,将其像素化之后与提取前的原图配对,再利用配对后的数据集训练一个Pix2Pix网络从而实现了将彩色图像"翻译"为像素化图像的目标。实验结果表明,与传统图像处理算法相比U-net网络具有更准确的目标提取效果,且经Pix2pix网络"翻译"后的图像也与标签图像更相似,有助于提高假体佩戴者的识别准确率。 展开更多

关键词 仿真假体视觉 神经网络算法 前景目标提取 像素化处理 数据集训练 图像配对

在线阅读 下载PDF 职称材料

基于双流卷积网络的宫颈细胞细粒度分类

10

作者 王倩 吕晓琪 +1 位作者 谷宇 张明 《科学技术与工程》 北大核心 2022年第30期13378-13387,共10页

为了实现对宫颈细胞图像相近类别的准确自动分类,提出了一种双流卷积神经网络算法。算法以DenseNet121网络和Xception网络为基础并对其进行改进,以提高算法对宫颈细胞进行细粒度分类的识别准确率。首先,在DenseNet121中引入DropBlock模... 为了实现对宫颈细胞图像相近类别的准确自动分类,提出了一种双流卷积神经网络算法。算法以DenseNet121网络和Xception网络为基础并对其进行改进,以提高算法对宫颈细胞进行细粒度分类的识别准确率。首先,在DenseNet121中引入DropBlock模块进行网络正则化,用于提高模型的泛化能力;其次,在Xception中加入SE(squeeze-and-excitation)模块调整通道权重,以增强网络提取有效特征的能力;最后,将两个网络输出的特征图进行拼接构建双流网络,来获取宫颈细胞更全面的特征信息。实验结果表明,该网络在Herlev数据集以及SIPaKMeD数据集上各性能指标都表现良好,且都达到了99%的准确率,优于改进融合前的网络,提出的算法在宫颈细胞的细粒度分类中具有较高识别率。 展开更多

关键词 图像处理 细粒度分类 双流卷积网络 宫颈细胞 深度学习

在线阅读 下载PDF 职称材料

仿真假体视觉下的单目测距研究

11

作者 赵瑛 张阳 +1 位作者 郝大帅 王冬晖 《现代电子技术》 北大核心 2020年第20期79-82,共4页

为了研究假体佩戴者是否具有异常的立体视觉,影响目标定位,在现实场景中开展仿真假体视觉下单目测距研究。实验采用蒙眼测距方法,被试者佩戴头戴式显示器模拟在仿真假体单眼,仿真假体双眼以及在正常单眼情况观察判断放在地板上不同位置(... 为了研究假体佩戴者是否具有异常的立体视觉,影响目标定位,在现实场景中开展仿真假体视觉下单目测距研究。实验采用蒙眼测距方法,被试者佩戴头戴式显示器模拟在仿真假体单眼,仿真假体双眼以及在正常单眼情况观察判断放在地板上不同位置(3.51 m,4.92 m,6.33 m)的目标物体,通过蒙着眼睛轻快地走到他/她所判断的地方,记录并统计分析行走距离。实验结果发现,在三种观察条件下,正常单眼感知精度最高,仿真假体单眼最低。随着物体放置距离的增加,准确度也有细微下降。经统计分析发现,仿真假体单眼与正常单眼对距离判断没显著性差异,说明假体植入者能准确定位地面上的目标。 展开更多

关键词 仿真假体 单目测距 蒙眼测距 目标定位 距离感知 实验分析

在线阅读 下载PDF 职称材料

基于RGB和C-Y颜色空间的白细胞分割 被引量：5

12

作者 刘阳 吕晓琪 +2 位作者 张明 李菁 谷宇 《激光技术》 CAS CSCD 北大核心 2019年第4期506-510,共5页

为了解决血细胞图像中白细胞与其它细胞色彩接近、亮度不均匀等问题,采用了一种基于C-Y颜色空间的白细胞分割方法,将原来的RGB图像转化为C-Y图像,分离C-Y图像获得包含全部信息的B-Y颜色分量图像,再根据连通域面积筛选、开运算、像素点... 为了解决血细胞图像中白细胞与其它细胞色彩接近、亮度不均匀等问题,采用了一种基于C-Y颜色空间的白细胞分割方法,将原来的RGB图像转化为C-Y图像,分离C-Y图像获得包含全部信息的B-Y颜色分量图像,再根据连通域面积筛选、开运算、像素点操作得到完整的白细胞图像;提取对比度拉伸后的G图像,阈值分割得到细胞核的大概位置,再用连通域面积筛选、开运算方法分割出完整的细胞核图像.结果表明,本文中的算法对嗜酸性粒细胞、淋巴细胞、单核细胞和嗜中性粒细胞图像都具有较好的分割精度,分别取得了94.33%,91.60%,97.72%,98.66%的准确率.本文中的算法能较完整地分割出白细胞,为后续分类研究奠定了基础. 展开更多

关键词 图像处理 白细胞分割 连通域 开运算 C-Y颜色空间

在线阅读 下载PDF 职称材料

基于改进S3FD网络的人脸检测算法 被引量：5

13

作者 李宇豪 吕晓琪 +2 位作者 谷宇 张明 李菁 《激光技术》 CAS CSCD 北大核心 2021年第6期722-728,共7页

为了解决人脸检测存在小目标人脸携带的特征信息少且相对较为模糊,导致检测难度较高的问题,采用将尺度不变人脸检测器(S3FD)网络与通道和空间注意力机制相结合的网络作为主干,在通道和空间上建立了特征之间的权重关系,强化特征提取能力... 为了解决人脸检测存在小目标人脸携带的特征信息少且相对较为模糊,导致检测难度较高的问题,采用将尺度不变人脸检测器(S3FD)网络与通道和空间注意力机制相结合的网络作为主干,在通道和空间上建立了特征之间的权重关系,强化特征提取能力,将原本S3FD所输出的特征图经扩大感受野后进行上采样,使得上一层特征图的输出包含了下一层特征图的特征。结果表明,widerface数据集的3个不同等级的验证集的平均精准率分别为95.0%,93.7%,86.4%,与原S3FD相比分别提高了1.3%,1.2%,0.5%。本文中提出的算法在人脸检测中具有较好的检测效果。 展开更多

关键词 图像处理 人脸检测 小目标 注意力机制 深度学习

在线阅读 下载PDF 职称材料

基于Freeman链码的病变肺实质分割 被引量：7

14

作者 张文莉 吕晓琪 +2 位作者 谷宇 吴凉 李菁 《计算机工程与设计》 北大核心 2018年第10期3187-3190,3219,共5页

针对传统的肺实质分割方法对临床上的大面积病变肺的分割效果不理想,提出一种结合改进模糊C均值聚类与Freeman链码算法的肺实质分割方法。用改进模糊C均值聚类算法对CT图像粗分割,结合Freeman链码算法生成的三链码差对缺失的肺实质边缘... 针对传统的肺实质分割方法对临床上的大面积病变肺的分割效果不理想,提出一种结合改进模糊C均值聚类与Freeman链码算法的肺实质分割方法。用改进模糊C均值聚类算法对CT图像粗分割,结合Freeman链码算法生成的三链码差对缺失的肺实质边缘进行修复,获得完整的肺实质区域。从LIDC数据库中选取20个CT序列图像进行实验,平均分割精度为96%。实验结果表明,无论肺部有无大面积病变,该算法对肺部CT图像均具有理想的分割效果,无需人工干预,算法鲁棒性强。 展开更多

关键词 CT图像 肺实质 图像分割 FREEMAN链码 边缘修补

在线阅读 下载PDF 职称材料