当前的目标分割模型难以兼顾分割性能与推断效率,为此提出一种基于尺度注意知识迁移的自蒸馏目标分割方法。首先,构建了一个仅利用主干特征的目标分割网络作为推断网络,实现高效的前向推断过程。其次,提出了一种基于尺度注意知识的自蒸...当前的目标分割模型难以兼顾分割性能与推断效率,为此提出一种基于尺度注意知识迁移的自蒸馏目标分割方法。首先,构建了一个仅利用主干特征的目标分割网络作为推断网络,实现高效的前向推断过程。其次,提出了一种基于尺度注意知识的自蒸馏学习模型:一方面,设计了具有尺度注意机制的金字塔特征模块,利用尺度注意机制自适应地捕获不同语义水平的上下文信息,提取更具区分性的自蒸馏知识;另一方面,融合交叉熵、KL(Kullback-Leibler)散度和L2距离构造蒸馏损失,高效驱动蒸馏知识向分割网络迁移,提升泛化性能。该方法在COD(Camouflaged Object Detection)、DUT-O(Dalian University of Technology-OMRON)、SOC(Salient Objects in Clutter)等五个目标分割数据集上进行了验证:将所提推断网络作为基准网络,所提自蒸馏模型分割性能在Fβ指标上平均提升3.01%,比免教师(TF)自蒸馏模型增加了1.00%;所提网络与近期的残差分割网络(R2Net)相比,参数量减少了2.33×10^(6),推断帧率提升了2.53%,浮点运算量减少了40.50%,分割性能提升了0.51%。实验结果表明:所提方法能有效兼顾性能与效率,适用于计算和存储资源受限的应用场景。展开更多
目的利用深度学习技术,建立临床常见的侵袭性真菌图像辅助分类模型。方法回顾性收集2020年9月—2021年4月解放军总医院第八医学中心曲霉菌属、酵母菌属和新型隐球菌属真菌感染者的显微镜图像,按7∶1.5∶1.5的比例随机分为训练集、验证...目的利用深度学习技术,建立临床常见的侵袭性真菌图像辅助分类模型。方法回顾性收集2020年9月—2021年4月解放军总医院第八医学中心曲霉菌属、酵母菌属和新型隐球菌属真菌感染者的显微镜图像,按7∶1.5∶1.5的比例随机分为训练集、验证集和测试集。使用训练集和验证集图像对改进的MobileNetV2网络结构进行训练和参数调试,构建基于多尺度注意力机制的卷积神经网络(convolutional neural network,CNN)真菌图像11分类模型。以机器鉴定结果为金标准,以查准率、召回率和F1值为指标评价该模型对测试集真菌图像的分类效果。将该模型与5种经典CNN模型进行比较,评价指标包括模型参数量、内存占用量、网络每秒处理的图像数量(frames per second,FPS)、准确率及受试者操作特征曲线下面积(area under the curve,AUC)。结果共纳入真菌显微镜图像7666张,分别包括曲霉菌属、酵母菌属和新型隐球菌属图像2781张、4115张、770张。其中训练集5366张、验证集1150张、测试集1150张。改进的MobileNetV2模型对测试集11种真菌图像具有较高的分类性能,查准率为96.36%~100%,召回率为96.53%~100%,F1值为97.01%~100%。该模型的参数量、内存占用量分别为4.22 M、356.89 M,FPS为573,准确率为(99.09±0.18)%,AUC为0.9944±0.0018,综合性能优于5种经典网络模型。结论本研究提出的真菌图像分类模型,在保持低运算成本的情况下,可获得较高的真菌图像识别能力,其整体性能优于常见的经典模型。展开更多
针对现有分割方法难以兼顾分割精度和复杂度的问题,提出了一种新型轻量化结直肠息肉图像分割网络MCANet(Mamba and convolutional attention network).该网络的核心在于级联了空间注意力和通道注意力的多尺度卷积注意力模块,通过融合多...针对现有分割方法难以兼顾分割精度和复杂度的问题,提出了一种新型轻量化结直肠息肉图像分割网络MCANet(Mamba and convolutional attention network).该网络的核心在于级联了空间注意力和通道注意力的多尺度卷积注意力模块,通过融合多尺度特征,以缩减浅层和深层特征之间的差距.此外,引入了并行Mamba模块,利用并行化计算的方式提高运算效率.在3个公共数据集上的实验结果表明,所提出的方法在有效性和泛化方面都优于其他先进的方法,使其能够精准地定位结直肠中的异常部分,为临床医师提供关键的决策支持,从而降低了息肉癌变的风险.展开更多
文摘当前的目标分割模型难以兼顾分割性能与推断效率,为此提出一种基于尺度注意知识迁移的自蒸馏目标分割方法。首先,构建了一个仅利用主干特征的目标分割网络作为推断网络,实现高效的前向推断过程。其次,提出了一种基于尺度注意知识的自蒸馏学习模型:一方面,设计了具有尺度注意机制的金字塔特征模块,利用尺度注意机制自适应地捕获不同语义水平的上下文信息,提取更具区分性的自蒸馏知识;另一方面,融合交叉熵、KL(Kullback-Leibler)散度和L2距离构造蒸馏损失,高效驱动蒸馏知识向分割网络迁移,提升泛化性能。该方法在COD(Camouflaged Object Detection)、DUT-O(Dalian University of Technology-OMRON)、SOC(Salient Objects in Clutter)等五个目标分割数据集上进行了验证:将所提推断网络作为基准网络,所提自蒸馏模型分割性能在Fβ指标上平均提升3.01%,比免教师(TF)自蒸馏模型增加了1.00%;所提网络与近期的残差分割网络(R2Net)相比,参数量减少了2.33×10^(6),推断帧率提升了2.53%,浮点运算量减少了40.50%,分割性能提升了0.51%。实验结果表明:所提方法能有效兼顾性能与效率,适用于计算和存储资源受限的应用场景。
文摘目的利用深度学习技术,建立临床常见的侵袭性真菌图像辅助分类模型。方法回顾性收集2020年9月—2021年4月解放军总医院第八医学中心曲霉菌属、酵母菌属和新型隐球菌属真菌感染者的显微镜图像,按7∶1.5∶1.5的比例随机分为训练集、验证集和测试集。使用训练集和验证集图像对改进的MobileNetV2网络结构进行训练和参数调试,构建基于多尺度注意力机制的卷积神经网络(convolutional neural network,CNN)真菌图像11分类模型。以机器鉴定结果为金标准,以查准率、召回率和F1值为指标评价该模型对测试集真菌图像的分类效果。将该模型与5种经典CNN模型进行比较,评价指标包括模型参数量、内存占用量、网络每秒处理的图像数量(frames per second,FPS)、准确率及受试者操作特征曲线下面积(area under the curve,AUC)。结果共纳入真菌显微镜图像7666张,分别包括曲霉菌属、酵母菌属和新型隐球菌属图像2781张、4115张、770张。其中训练集5366张、验证集1150张、测试集1150张。改进的MobileNetV2模型对测试集11种真菌图像具有较高的分类性能,查准率为96.36%~100%,召回率为96.53%~100%,F1值为97.01%~100%。该模型的参数量、内存占用量分别为4.22 M、356.89 M,FPS为573,准确率为(99.09±0.18)%,AUC为0.9944±0.0018,综合性能优于5种经典网络模型。结论本研究提出的真菌图像分类模型,在保持低运算成本的情况下,可获得较高的真菌图像识别能力,其整体性能优于常见的经典模型。
文摘针对现有分割方法难以兼顾分割精度和复杂度的问题,提出了一种新型轻量化结直肠息肉图像分割网络MCANet(Mamba and convolutional attention network).该网络的核心在于级联了空间注意力和通道注意力的多尺度卷积注意力模块,通过融合多尺度特征,以缩减浅层和深层特征之间的差距.此外,引入了并行Mamba模块,利用并行化计算的方式提高运算效率.在3个公共数据集上的实验结果表明,所提出的方法在有效性和泛化方面都优于其他先进的方法,使其能够精准地定位结直肠中的异常部分,为临床医师提供关键的决策支持,从而降低了息肉癌变的风险.
