现有的异常检测方法能在特定应用场景下实现高精度检测,然而这些方法难以适用于其他应用场景,且自动化程度有限。因此,提出一种视觉基础模型(VFM)驱动的像素级图像异常检测方法SSMOD-Net(State Space Model driven-Omni Dimensional Ne...现有的异常检测方法能在特定应用场景下实现高精度检测,然而这些方法难以适用于其他应用场景,且自动化程度有限。因此,提出一种视觉基础模型(VFM)驱动的像素级图像异常检测方法SSMOD-Net(State Space Model driven-Omni Dimensional Net),旨在实现更精确的工业缺陷检测。与现有方法不同,SSMOD-Net实现SAM(Segment Anything Model)的自动化提示且不需要微调SAM,因此特别适用于需要处理大规模工业视觉数据的场景。SSMOD-Net的核心是一个新颖的提示编码器,该编码器由状态空间模型驱动,能够根据SAM的输入图像动态地生成提示。这一设计允许模型在保持SAM架构不变的同时,通过提示编码器引入额外的指导信息,从而提高检测精度。提示编码器内部集成一个残差多尺度模块,该模块基于状态空间模型构建,能够综合利用多尺度信息和全局信息。这一模块通过迭代搜索,在提示空间中寻找最优的提示,并将这些提示以高维张量的形式提供给SAM,从而增强模型对工业异常的识别能力。而且所提方法不需要对SAM进行任何修改,从而避免复杂的对训练计划的微调需求。在多个数据集上的实验结果表明,所提方法展现出了卓越的性能,与AutoSAM和SAM-EG(SAM with Edge Guidance framework for efficient polyp segmentation)等方法相比,所提方法在mE(mean E-measure)和平均绝对误差(MAE)、Dice和交并比(IoU)上都取得了较好的结果。展开更多
2025年3月10日,上海交通大学医学院临床研究中心/上海交通大学生命科学技术学院俞章盛教授课题组在Nature Communications在线发表题目为“A foundation model for generalizable cancer diagnosis and survival prediction from histop...2025年3月10日,上海交通大学医学院临床研究中心/上海交通大学生命科学技术学院俞章盛教授课题组在Nature Communications在线发表题目为“A foundation model for generalizable cancer diagnosis and survival prediction from histopathological images”的研究论文。该研究依托掩码图像建模(masked image modeling,MIM)方法,成功构建了一个可以有效处理癌症分析和生存预测问题的病理基础模型——BEPH(BEiT-based model Pretraining on Histopathological image)。该模型的特色在于能利用大规模未标记病理图像数据进行自监督学习。相较于参数量庞大、数据需求高的病理基础模型(如CHIEF等),BEPH通过较少的参数量和有限预训练数据,在保持模型效能相当或更优的同时,为临床场景的应用开辟了新的路径和可能性。BEPH为癌症检测、亚型分类和生存预测提供了一条通用路径。它能够通过预训练与微调的途径实现对癌症病理变化的高效识别,并为癌症诊断和患者预后提供强有力的支持。展开更多
上海交通大学与上海人工智能实验室联合团队探索了基于医学知识增强的基础模型预训练方法,发布了首个胸部X-ray的基础模型,即KAD(Knowledge-enhanced Auto Diagnosis Model)。该模型通过在大规模医学影像与放射报告数据进行预训练,通过...上海交通大学与上海人工智能实验室联合团队探索了基于医学知识增强的基础模型预训练方法,发布了首个胸部X-ray的基础模型,即KAD(Knowledge-enhanced Auto Diagnosis Model)。该模型通过在大规模医学影像与放射报告数据进行预训练,通过文本编码器对高质量医疗知识图谱进行隐空间嵌入,利用视觉-语言模型联合训练实现了知识增强的表征学习。展开更多
文摘现有的异常检测方法能在特定应用场景下实现高精度检测,然而这些方法难以适用于其他应用场景,且自动化程度有限。因此,提出一种视觉基础模型(VFM)驱动的像素级图像异常检测方法SSMOD-Net(State Space Model driven-Omni Dimensional Net),旨在实现更精确的工业缺陷检测。与现有方法不同,SSMOD-Net实现SAM(Segment Anything Model)的自动化提示且不需要微调SAM,因此特别适用于需要处理大规模工业视觉数据的场景。SSMOD-Net的核心是一个新颖的提示编码器,该编码器由状态空间模型驱动,能够根据SAM的输入图像动态地生成提示。这一设计允许模型在保持SAM架构不变的同时,通过提示编码器引入额外的指导信息,从而提高检测精度。提示编码器内部集成一个残差多尺度模块,该模块基于状态空间模型构建,能够综合利用多尺度信息和全局信息。这一模块通过迭代搜索,在提示空间中寻找最优的提示,并将这些提示以高维张量的形式提供给SAM,从而增强模型对工业异常的识别能力。而且所提方法不需要对SAM进行任何修改,从而避免复杂的对训练计划的微调需求。在多个数据集上的实验结果表明,所提方法展现出了卓越的性能,与AutoSAM和SAM-EG(SAM with Edge Guidance framework for efficient polyp segmentation)等方法相比,所提方法在mE(mean E-measure)和平均绝对误差(MAE)、Dice和交并比(IoU)上都取得了较好的结果。
文摘2025年3月10日,上海交通大学医学院临床研究中心/上海交通大学生命科学技术学院俞章盛教授课题组在Nature Communications在线发表题目为“A foundation model for generalizable cancer diagnosis and survival prediction from histopathological images”的研究论文。该研究依托掩码图像建模(masked image modeling,MIM)方法,成功构建了一个可以有效处理癌症分析和生存预测问题的病理基础模型——BEPH(BEiT-based model Pretraining on Histopathological image)。该模型的特色在于能利用大规模未标记病理图像数据进行自监督学习。相较于参数量庞大、数据需求高的病理基础模型(如CHIEF等),BEPH通过较少的参数量和有限预训练数据,在保持模型效能相当或更优的同时,为临床场景的应用开辟了新的路径和可能性。BEPH为癌症检测、亚型分类和生存预测提供了一条通用路径。它能够通过预训练与微调的途径实现对癌症病理变化的高效识别,并为癌症诊断和患者预后提供强有力的支持。
文摘上海交通大学与上海人工智能实验室联合团队探索了基于医学知识增强的基础模型预训练方法,发布了首个胸部X-ray的基础模型,即KAD(Knowledge-enhanced Auto Diagnosis Model)。该模型通过在大规模医学影像与放射报告数据进行预训练,通过文本编码器对高质量医疗知识图谱进行隐空间嵌入,利用视觉-语言模型联合训练实现了知识增强的表征学习。
