-
题名基于SAM2的腹腔镜手术多目标自动分割方法
- 1
-
-
作者
刘成
张家意
袁烽
张睿
高欣
-
机构
中国科学技术大学生物医学工程学院(苏州)生命科学与医学部
中国科学院苏州生物医学工程技术研究所
济南国科医工科技发展有限公司
-
出处
《图学学报》
北大核心
2025年第5期969-979,共11页
-
基金
国家自然科学基金(82372052,82402373)
山东省自然科学基金(ZR2022QF071,ZR2022QF099)
泰山产业创新领军人才项目(tscx202312131)。
-
文摘
腹腔镜术中场景的自动分割是手术机器人实现自主操作的关键基础,当前仍面临三重挑战:手术目标间纹理高度相似且边界模糊,导致相似目标难以精确分割;从亚毫米级缝合线到厘米级脏器组织存在显著尺度差异,制约了多目标同步分割精度提升;运动伪影和烟雾遮挡等干扰进一步影响术中多目标完整分割的鲁棒性。为此,提出基于视觉大模型SAM2的腹腔镜手术多目标自动分割方法(SAM2-MSNet)。采用LoRA+微调策略优化SAM2图像编码器,高效适配腹腔镜图像的纹理特征表达;设计跨尺度特征同步提取模块,实现多尺度目标的精确分割;构建特征关系全局感知模块,增强网络对运动伪影及烟雾遮挡等干扰的鲁棒性;并引入方向梯度直方图驱动的伪标签辅助监督机制,显著提升目标边缘分割精度。实验结果表明,SAM2-MSNet在Endovis2018和AutoLaparo数据集上分别取得了70.2%和69.6%的平均交并比(mIoU),和78.5%和75.0%的平均Dice系数(mDice)。在推理速度与SAM2-UNet相当(23帧/秒VS.25帧/秒)的前提下,其分割精度显著提升了3.0%和6.7%(mIoU)和2.8%和6.8%(mDice)。SAM2-MSNet实现了对腹腔镜手术场景高精度全自动分割,为手术机器人自主化进程提供了关键技术支撑。
-
关键词
腹腔镜手术场景分割
视觉大模型
跨尺度特征同步提取
特征关系全局感知
伪标签辅助监督
-
Keywords
laparoscopic surgical scene segmentation
visual large model
synchronous extraction of cross-scale features
global perception of feature relationships
pseudo-label assisted supervision
-
分类号
R656
[医药卫生—外科学]
TP391
[自动化与计算机技术—计算机应用技术]
-
