-
题名变分信息瓶颈引导的互补概念瓶颈模型
- 1
-
-
作者
冀中
林子杰
-
机构
天津大学电气自动化与信息工程学院
-
出处
《计算机科学与探索》
北大核心
2025年第11期2950-2966,共17页
-
基金
国家自然科学基金(62176178)。
-
文摘
概念瓶颈模型(CBM)将黑盒模型提取的视觉特征表示映射到一组可解释的概念上,并利用概念进行决策。最新提出的方法主要利用大语言模型(LLM)生成文本概念,通过多模态预训练模型将视觉表示与文本概念嵌入相匹配。然而这些方法也将文本噪声注入了概念瓶颈,导致输出的文本解释与图像内容不匹配或与视觉属性无关。针对上述问题,提出了基于变分信息瓶颈引导的互补概念瓶颈模型。设计一种基于思维链(CoT)技术的概念生成方法,提示视觉语言模型(VLM)和大语言模型分别输出更加准确且互补的文本描述。构建一个基于变分信息瓶颈特征归因方法的概念筛选模块,提取文本描述中与图像内容相关性最高的文本概念。设计一种基于互补概念瓶颈的图像分类方法,结合双支路的概念激活得分进行决策。为了评估概念瓶颈模型输出解释的简洁性和有效性,提出了可解释性效率指标。在6个公开数据集上的实验表明,该算法在可解释性效率方面优于其他5个最新模型,同时达到相近甚至更优的准确率。
-
关键词
概念瓶颈模型
变分信息瓶颈
特征归因
可解释性
-
Keywords
concept bottleneck models
variational information bottleneck
feature attribution
interpretability
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
