腹腔镜手术自动化是智能外科的重要组成部分,其前提是腔镜视野下手术器械与脏器实时精准分割。受术中血液污染、烟雾干扰等复杂因素影响,器械与脏器实时精准分割面临巨大挑战,现有图像分割方法均表现不佳。因此提出一种基于注意力感知...腹腔镜手术自动化是智能外科的重要组成部分,其前提是腔镜视野下手术器械与脏器实时精准分割。受术中血液污染、烟雾干扰等复杂因素影响,器械与脏器实时精准分割面临巨大挑战,现有图像分割方法均表现不佳。因此提出一种基于注意力感知与空间通道的快速分割网络(ASC-Net),以实现腹腔镜图像中器械和脏器快速精准分割。在UNet架构下,设计了注意力感知与空间通道模块,通过跳跃连接将二者嵌入编码与解码模块间,使网络重点关注图像中相似目标间深层语义信息差异,同时多维度学习各目标的多尺度特征。此外,采用预训练微调策略,减小网络计算量。实验结果表明:在EndoVis2018数据集上的平均骰子系数(mDice)、平均重叠度(mIoU)、平均推理时间(mIT)分别为90.64%,86.40%和16.73 ms (60帧/秒),相比于现有最先进方法,mDice与mIoU提升了26%与39%,且mIT降低了56%;在AutoLaparo数据集上的mDice,mIoU和mIT分别为93.72%,89.43%和16.41ms(61帧/秒),同样优于对比方法。该方法在保证分割速度的同时有效提升了分割精度,实现了腹腔镜图像中手术器械和脏器的快速精准分割,将助力腹腔镜手术自动化快速发展。展开更多
文摘腹腔镜手术自动化是智能外科的重要组成部分,其前提是腔镜视野下手术器械与脏器实时精准分割。受术中血液污染、烟雾干扰等复杂因素影响,器械与脏器实时精准分割面临巨大挑战,现有图像分割方法均表现不佳。因此提出一种基于注意力感知与空间通道的快速分割网络(ASC-Net),以实现腹腔镜图像中器械和脏器快速精准分割。在UNet架构下,设计了注意力感知与空间通道模块,通过跳跃连接将二者嵌入编码与解码模块间,使网络重点关注图像中相似目标间深层语义信息差异,同时多维度学习各目标的多尺度特征。此外,采用预训练微调策略,减小网络计算量。实验结果表明:在EndoVis2018数据集上的平均骰子系数(mDice)、平均重叠度(mIoU)、平均推理时间(mIT)分别为90.64%,86.40%和16.73 ms (60帧/秒),相比于现有最先进方法,mDice与mIoU提升了26%与39%,且mIT降低了56%;在AutoLaparo数据集上的mDice,mIoU和mIT分别为93.72%,89.43%和16.41ms(61帧/秒),同样优于对比方法。该方法在保证分割速度的同时有效提升了分割精度,实现了腹腔镜图像中手术器械和脏器的快速精准分割,将助力腹腔镜手术自动化快速发展。
基金Supported by the National Natural Science Foundation of China under Grant Nos.10527003,60672104the National Basic Research Program of China under Grant No.2006CB705705+2 种基金the Joint Research Subject of Beijing Education Committee of China under Grant No.JD100010607the Beijing Municipal Natural Science Foundation of China under Grant No.3073019the Upgrading Subject of Instrument in Science and Technological Ministry of China under Grant No.2006JG1000~~
