基于文本-视觉和信息熵最小化的对比学习模型

1

作者 蔡晓东 董丽芳 +1 位作者 黄业洋 周丽 《华南理工大学学报(自然科学版)》 北大核心 2025年第3期50-56,共7页

当前的无监督对比学习方法主要依赖纯文本信息来构建句子嵌入,在全面理解句子所表达的深层含义时存在局限性。同时,传统的对比学习方法过于注重最大化文本正实例之间的互信息,忽视了句子嵌入中潜在的噪声干扰。为了既能保留文本中的有... 当前的无监督对比学习方法主要依赖纯文本信息来构建句子嵌入,在全面理解句子所表达的深层含义时存在局限性。同时,传统的对比学习方法过于注重最大化文本正实例之间的互信息,忽视了句子嵌入中潜在的噪声干扰。为了既能保留文本中的有用信息,又能有效地剔除文本嵌入中的噪声干扰,该文提出了一种基于文本-视觉和信息熵最小化的对比学习模型。首先,将文本与对应的视觉信息在对比学习的框架下进行深度融合,共同映射到一个统一的地面空间,并确保它们的表示在该空间中保持一致,从而克服了仅依赖纯文本信息进行句子嵌入学习的限制,使得对比学习过程更加全面且精确;然后,遵循信息最小化原则,在最大化文本正实例间互信息的同时,基于信息熵最小化对文本正实例进行重构。在标准语义文本相似度(STS)任务上的实验结果表明,所提出的模型在Spearman相关系数评价指标上取得了显著提升,相较于现有先进方法具有显著的优势,同时也证明了该模型的有效性。 展开更多

关键词 无监督对比学习 互信息 文本-视觉 信息熵最小化 语义文本相似度

在线阅读 下载PDF 职称材料

基于MMI-PCA-KLPP二次降维和模糊树模型的NO_X浓度软测量方法 被引量：6

2

作者 刘长良 曹威 王梓齐 《华北电力大学学报（自然科学版）》 CAS 北大核心 2020年第1期79-86,共8页

针对火电厂气体分析仪测量存在滞后和NO_X软测量不准确的问题,提出了一种基于改进互信息-主成分分析-核局部保持投影(MMI-PCA-KLPP)二次降维和模糊树模型(FT)的NO_X浓度软测量方法。首先对样本进行剔除离群点等预处理,再通过查阅文献大... 针对火电厂气体分析仪测量存在滞后和NO_X软测量不准确的问题,提出了一种基于改进互信息-主成分分析-核局部保持投影(MMI-PCA-KLPP)二次降维和模糊树模型(FT)的NO_X浓度软测量方法。首先对样本进行剔除离群点等预处理,再通过查阅文献大体确定模型的输入变量,并采用MMI方法对输入变量进行降维处理;针对MMI降维后依然有较多输入变量的问题,综合考虑了样本全局结构特性和局部结构特性,用PCA-KLPP方法对MMI降维后的变量二次降维;最后针对二次降维后的数据,基于模糊树算法建立了NO_X软测量模型。实验结果表明,模糊树模型精度高且泛化能力强,结合MMI-PCA-KLPP二次降维处理后,大大缩短了模型的训练时间且精度未出现较大程度的降低。 展开更多

关键词 NO_X软测量 mmi PCA KLPP 二次降维 模糊树模型

在线阅读 下载PDF 职称材料

非线性盲源分离的原理及算法综述 被引量：6

3

作者 王法松 李宏伟 沈远彤 《信号处理》 CSCD 北大核心 2005年第3期282-288,281,共8页

本文主要阐述了非线性盲源分离(BSS)/独立成分分析(ICA)模型的基本数学原理、分离算法、算法性能及其应用。首先对线性和非线性BSS/ICA的数学模型作了介绍,重点介绍了非线性BSS/ICA解的不确定性,然后在此基础上对近十年来出现的各种非线... 本文主要阐述了非线性盲源分离(BSS)/独立成分分析(ICA)模型的基本数学原理、分离算法、算法性能及其应用。首先对线性和非线性BSS/ICA的数学模型作了介绍,重点介绍了非线性BSS/ICA解的不确定性,然后在此基础上对近十年来出现的各种非线性BSS/ICA算法进行简单综述,着重分析了一类可解且应用比较广泛的非线性BSS/ICA模型-后非线性BSS/ICA模型及其分离算法。最后对非线性BSS/ICA存在的问题和发展趋势进行了总结。 展开更多

关键词 盲源分离 非线性 独立成分分析(ICA) 综述 分离算法 CA模型 BSS ICA算法 数学原理 算法性能 数学模型 不确定性 应用比较 发展趋势 重分析

在线阅读 下载PDF 职称材料

基于云模型、图论和互信息的遥感影像分割方法 被引量：6

4

作者 宋岚 文堂柳 +1 位作者 黎海生 王杉 《电子学报》 EI CAS CSCD 北大核心 2015年第8期1518-1525,共8页

针对传统的基于局部信息搜索的分割方法很少考虑图像的全局信息,而且容易忽略影像分割中的随机性和不确定性,本文提出了一种基于云模型、图论和互信息的影像分割方法.使用云模型来反映像素聚类成区域时的不确定性和随机性,将图论方法引... 针对传统的基于局部信息搜索的分割方法很少考虑图像的全局信息,而且容易忽略影像分割中的随机性和不确定性,本文提出了一种基于云模型、图论和互信息的影像分割方法.使用云模型来反映像素聚类成区域时的不确定性和随机性,将图论方法引入基于互信息的最优割集的生成从而得到全局最优分割,利用云模型区域概念所呈现出的多维特征,通过云综合异质性度量来改进边界权重的计算,从而实现对区域相异性的区分能力.从实验结果来看,本文提出的方法,能产生有意义的、完整的、内部同质的分割区域,在分割精度上基本能满足人眼的视觉要求. 展开更多

关键词 云模型 小波降噪 HARRIS算子 互信息 图论 最小生成树

在线阅读 下载PDF 职称材料

基于旋转变换的最小互信息量盲分离算法 被引量：15

5

作者 谢胜利 章晋龙 《电子学报》 EI CAS CSCD 北大核心 2002年第5期628-631,共4页

一种新的实时线性混叠信号盲分离算法在本文提出 .该算法先采取白化混叠信号将混叠矩阵转换为正交矩阵 ,然后基于QR分解理论 ,将混叠信号进行一系列初等旋转变换 ,并结合源信号相互独立时互信息量最小的特点 ,导出了一种新的自适应盲分... 一种新的实时线性混叠信号盲分离算法在本文提出 .该算法先采取白化混叠信号将混叠矩阵转换为正交矩阵 ,然后基于QR分解理论 ,将混叠信号进行一系列初等旋转变换 ,并结合源信号相互独立时互信息量最小的特点 ,导出了一种新的自适应盲分离算法 .该方法回避了目前基于信息理论方法中 (如Torkkola 1996 ;Pham 1999;Lee 2 0 0 0以及谭 2 0 0 0等 )对“ln|detw|”的复杂计算 .我们不仅给出了详细的理论证明 ,而且也进行了仿真试验 ,理论分析与仿真结果表明该算法减少了分离时间 ,并具有很好的分离效果 . 展开更多

关键词 旋转变换 最小互信息量 盲分离算法

在线阅读 下载PDF 职称材料

鉴别性最大后验概率声学模型自适应 被引量：2

6

作者 齐耀辉 潘复平 +1 位作者 葛凤培 颜永红 《计算机应用》 CSCD 北大核心 2014年第1期265-269,共5页

为了更加准确地估计最小音素错误最大后验概率(MPE-MAP)自适应算法中的先验分布中心,使自适应后的声学模型参数更为准确,从而提高系统的识别性能,分别采用最大互信息最大后验概率(MMI-MAP)自适应和基于最大互信息准则与最大似然准则相... 为了更加准确地估计最小音素错误最大后验概率(MPE-MAP)自适应算法中的先验分布中心,使自适应后的声学模型参数更为准确,从而提高系统的识别性能,分别采用最大互信息最大后验概率(MMI-MAP)自适应和基于最大互信息准则与最大似然准则相结合的H-criterion最大后验概率(H-MAP)自适应估计先验分布中心,提出了基于最大互信息最大后验概率先验的最小音素错误最大后验概率(MPE-MMI-MAP)和基于H-criterion最大后验概率先验的最小音素错误最大后验概率(MPE-H-MAP)算法。任务自适应实验结果表明,MPE-MMI-MAP和MPE-H-MAP算法的自适应性能均优于MPE-MAP、MMI-MAP和最大后验概率(MAP)自适应方法,分别比MPE-MAP相对提高3.4%和2.7%。 展开更多

关键词 最大后验概率 鉴别性最大后验概率 最大互信息 最小音素错误 声学模型自适应

在线阅读 下载PDF 职称材料

一种改进的最大熵方法在船舶辐射噪声盲分离中的应用 被引量：1

7

作者 孔薇 杨杰 周越 《上海交通大学学报》 EI CAS CSCD 北大核心 2004年第12期1962-1965,1971,共5页

对于船舶辐射噪声信号的盲信号分离(BSS)问题,由于常用的最小互信息(MMI)方法需要估计输出信号的高阶累积量,这对于非高斯、非平稳的船舶辐射噪声来说信号估计的精度将会降低.为此,本文验证了最大熵(ME)方法在处理此类复杂信号时能作为... 对于船舶辐射噪声信号的盲信号分离(BSS)问题,由于常用的最小互信息(MMI)方法需要估计输出信号的高阶累积量,这对于非高斯、非平稳的船舶辐射噪声来说信号估计的精度将会降低.为此,本文验证了最大熵(ME)方法在处理此类复杂信号时能作为最佳对比函数的条件,并在此基础上用高斯混合模型来估计信号的概率分布,提高了信号概率密度估计的精度;同时在算法的迭代过程中使用自然梯度下降法代替随机梯度下降法,提高了算法的收敛速度.通过对船舶辐射噪声信号的盲分离实验,证明了此分离算法是有效的. 展开更多

关键词 盲信号分离 最大熵 最小互信息 高斯混合模型 船舶噪声 辐射噪声

在线阅读 下载PDF 职称材料

基于MRMR的光伏出力匹配方法研究及预测应用 被引量：2

8

作者 杨茂 王凯旋 《可再生能源》 CAS CSCD 北大核心 2021年第10期1314-1319,共6页

针对光伏出力匹配系统存在的气象因子选取不合理、有效信息提取不够精细化等问题,文章提出一种基于MRMR的光伏出力匹配方法。该方法采用皮尔逊相关系数对数据库进行缩减,减少冗余数据空间;然后,通过互信息理论剔除耦合气象因素,挖掘待... 针对光伏出力匹配系统存在的气象因子选取不合理、有效信息提取不够精细化等问题,文章提出一种基于MRMR的光伏出力匹配方法。该方法采用皮尔逊相关系数对数据库进行缩减,减少冗余数据空间;然后,通过互信息理论剔除耦合气象因素,挖掘待匹配日气象因素与短波辐射之间的联系,进一步提高光伏出力匹配标准;最后,将提取出的待匹配日特征通过马氏距离进行光伏出力匹配。文章利用基于MRMR的光伏出力匹配方法,在4种天气类型条件下,对新疆某光伏发电站的光伏出力进行匹配。分析结果表明了该匹配方法的正确性和有效性。 展开更多

关键词 光伏出力匹配 MRMR 皮尔逊相关系数 互信息 马氏距离

在线阅读 下载PDF 职称材料

基于MISEP算法的瞬时混合模型非线性电路的信噪盲分离 被引量：1

9

作者 崔小乐 朱立文 李响 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2018年第7期1374-1382,共9页

针对非线性电路信噪分离问题,提出基于互信息的信噪盲分离算法,用以对非线性电路的测量信号进行补偿.首先面向瞬时混合模型下的非线性电路,将用于计算分离信号的模块与用于调整参数的模块进行反馈级联,构造多层感知机网络;然后采用含随... 针对非线性电路信噪分离问题,提出基于互信息的信噪盲分离算法,用以对非线性电路的测量信号进行补偿.首先面向瞬时混合模型下的非线性电路,将用于计算分离信号的模块与用于调整参数的模块进行反馈级联,构造多层感知机网络;然后采用含随机噪声的电路测量数据,以最小互信息为目标对该网络进行训练,直至代价函数值收敛于预设的误差范围;最后利用训练好的网络进行非线性电路盲源分离问题的解算.对前非线性电路、后非线性电路和单级放大器的实验结果表明,该算法分离出的信号和噪声在时域波形和功率谱特征方面均与输入相符. 展开更多

关键词 混合噪声 盲信号分离 MISEP 最小互信息 非线性电路

在线阅读 下载PDF 职称材料

一种基于最大互信息/进化计算混合结构的语音识别方法

10

作者 茅晓泉 胡光锐 唐斌 《上海交通大学学报》 EI CAS CSCD 北大核心 2002年第3期348-350,354,共4页

传统的最大互信息训练中一般采用梯度方法 ,这就使得所得模型往往只是一个局部最优模型 .文中将最大互信息 (MMI)和演化计算 (EC)相结合 ,引入到隐马尔柯夫模型 (HMM)的训练中去 .各模型集用个体表示 ,个体的适应值采用模型的最大互信... 传统的最大互信息训练中一般采用梯度方法 ,这就使得所得模型往往只是一个局部最优模型 .文中将最大互信息 (MMI)和演化计算 (EC)相结合 ,引入到隐马尔柯夫模型 (HMM)的训练中去 .各模型集用个体表示 ,个体的适应值采用模型的最大互信息 .这样借助于进化计算的全局搜索及种群的特点 ,得到了基于最大互信息估计的 HMM模型的更优解 .实验结果表明 。 展开更多

关键词 最大互信息 进化计算 混合结构 语音识别

在线阅读 下载PDF 职称材料

一种基于混合优化算法的医学图像配准方法 被引量：8

11

作者 沈小卫 何明一 《计算机应用研究》 CSCD 北大核心 2010年第8期3159-3161,共3页

为了实现脑部多模医学图像配准,提出了一种基于混合优化算法的配准方法。该算法采用遗传算法中的杂交思想改进了混沌粒子群算法,并用最大互信息测度对脑部MRI及CT图像进行配准。该改进算法可有效地避免优化算子陷入局部极值,而且算法收... 为了实现脑部多模医学图像配准,提出了一种基于混合优化算法的配准方法。该算法采用遗传算法中的杂交思想改进了混沌粒子群算法,并用最大互信息测度对脑部MRI及CT图像进行配准。该改进算法可有效地避免优化算子陷入局部极值,而且算法收敛快。实验结果证明了提出的基于遗传思想的改进混沌粒子群优化算法对多模医学图像配准具有有效性。 展开更多

关键词 最大互信息 图像配准 粒子群优化算法 杂交 混沌

在线阅读 下载PDF 职称材料

归一化互信息与多分辨率融合的2D-3D配准方法 被引量：6

12

作者 陈龙 张峰峰 +3 位作者 于凌涛 孙立宁 干旻峰 詹蔚 《哈尔滨工程大学学报》 EI CAS CSCD 北大核心 2020年第2期243-249,共7页

针对微创脊柱手术配准环节中存在的配准精度和效率低的问题,本文提出了一种2D-3D配准方法。采用基于区域贡献的归一化互信息与多分辨率策略相结合的方法,并通过改变配准步长,研究配准精度和时间。整体配准精度提高了40%,配准时间缩短了5... 针对微创脊柱手术配准环节中存在的配准精度和效率低的问题,本文提出了一种2D-3D配准方法。采用基于区域贡献的归一化互信息与多分辨率策略相结合的方法,并通过改变配准步长,研究配准精度和时间。整体配准精度提高了40%,配准时间缩短了53%,当配准步长由0.1降到0.05时,其配准精度提高了8%,配准时间增加了12%。由此可知,配准步长变小时,配准精度相对提高,但配准时间增加。此算法可以实现三维与二维图像的配准,且可以有效提高配准精度和配准效率,基本符合医生手术过程图像配准3 mm以内的需要。 展开更多

关键词 2D-3D配准 归一化互信息 多分辨率 相似性测度 光线投射插值 区域分割 微创 灰度

在线阅读 下载PDF 职称材料

基于多分辨率GMI Demons算法的^(18)F-FDG PET-CT图像配准在食道癌病例中的应用 被引量：4

13

作者 金烁 李登旺 +1 位作者 王洪君 尹勇 《中国生物医学工程学报》 CAS CSCD 北大核心 2012年第5期662-670,共9页

18F-FDG PET和CT图像的精确配准在肿瘤的放射治疗中具有重要的临床研究意义,本研究采用全局刚性粗配准对食道癌病例中的PET和CT图像进行预处理,尽可能地减小摆位误差,然后使用基于互信息梯度的Demons算法(GMI Demons)进行局部形变配准,... 18F-FDG PET和CT图像的精确配准在肿瘤的放射治疗中具有重要的临床研究意义,本研究采用全局刚性粗配准对食道癌病例中的PET和CT图像进行预处理,尽可能地减小摆位误差,然后使用基于互信息梯度的Demons算法(GMI Demons)进行局部形变配准,有效弥补内部器官误差,另外为了加快配准过程,保持图像的鲁棒性的同时避免局部极值,在形变配准前使用多分辨率图像金字塔结构。通过对10例食道癌病例的定量分析,最大互信息值结果说明经GMI Demons算法配准之后的图像精度比基于MI算法要提高8.046%±0.041%,配准前后临床上肿瘤靶区(GTV)大小的变化,说明经GMI Demons算法配准之后的GTV大小比基于MI算法配准之后的精度提高8.022%±0.044%。两种定量结果的一致性和通过对图像的定性分析,说明该配准策略可以快速地精确肿瘤靶区位置,在制定精确的放疗计划和实际的临床应用中具有研究意义。 展开更多

关键词 18F-FDG PET-CT图像 GMI DEMONS算法 最大互信息 放射治疗 食道癌

在线阅读 下载PDF 职称材料

基于最小概率距离和改进PV插值的图像配准 被引量：2

14

作者 王鹤涛 武栓虎 张越翔 《计算机工程》 CAS CSCD 北大核心 2011年第21期188-190,共3页

提出一种基于最小概率距离和改进部分体积(PV)插值的图像配准方法。采用Powell优化算法迭代搜索对称KL距离的最小值,获取最小概率距离,将其作为配准测度,并利用改进的PV插值算法提高图像配准的鲁棒性。实验结果表明,与基于互信息的图像... 提出一种基于最小概率距离和改进部分体积(PV)插值的图像配准方法。采用Powell优化算法迭代搜索对称KL距离的最小值,获取最小概率距离,将其作为配准测度,并利用改进的PV插值算法提高图像配准的鲁棒性。实验结果表明,与基于互信息的图像配准方法相比,该方法能有效地减少耗费时间,提高配准精度。 展开更多

关键词 互信息 图像配准 最小概率距离 部分体积插值 Powell优化

在线阅读 下载PDF 职称材料

语音检索中子词单元的构建算法

15

作者 杨乐 吴及 吕萍 《计算机工程》 CAS CSCD 2012年第24期251-253,257,共4页

针对语音关键词检索中的集外词问题,提出基于最大互信息-最小描述长度(MMI-MDL)的子词集构建算法。根据子词对的互信息挑选聚合对,通过MDL准则判断是否聚合成新的子词。使用该子词集把单词映射成子词的组合用于检索。实验结果表明,与已... 针对语音关键词检索中的集外词问题,提出基于最大互信息-最小描述长度(MMI-MDL)的子词集构建算法。根据子词对的互信息挑选聚合对,通过MDL准则判断是否聚合成新的子词。使用该子词集把单词映射成子词的组合用于检索。实验结果表明,与已有的MDL子词集构建算法相比,由MMI-MDL方法得到的子词集对检索性能有较大提高,在相同精确率指标下,集外词的召回率相对MDL算法提高12.1%。 展开更多

关键词 集外词 语音检索 子词 最小描述长度 最大互信息 词格网络

在线阅读 下载PDF 职称材料

宁波地区基于统计升尺度的新能源区域功率预测算法 被引量：8

16

作者 王威 王波 +2 位作者 张俊 陆春良 贺旭 《中国电力》 CSCD 北大核心 2020年第5期100-111,共12页

为实现电网调度对大规模风电场和光伏站的监控和调度,需要进行新能源区域功率预测。提出了一种基于子区域划分和统计升尺度的区域功率预测算法,通过浙江区域9个风电场和16个光伏站2016年4-9月的历史数据,对比了6种不同的组合方案,发现... 为实现电网调度对大规模风电场和光伏站的监控和调度,需要进行新能源区域功率预测。提出了一种基于子区域划分和统计升尺度的区域功率预测算法,通过浙江区域9个风电场和16个光伏站2016年4-9月的历史数据,对比了6种不同的组合方案,发现利用互信息理论,基于最大相关–最小冗余原则累加选取4个代表站点或者直接选取9个代表站点,采用布谷鸟搜索算法训练得到各个代表站点的权重,升尺度得到区域功率预测误差较低,月均方根误差(RMSE)分别为8.51%和7.64%。说明在夏季风盛行时,在浙江区域采用互信息为指标,基于最大相关–最小冗余的原则选取代表站点后,再采用布谷鸟搜索算法得到子区域功率预测值,累加各子区域功率预测结果为最终的区域功率预测结果最优。 展开更多

关键词 新能源 区域功率预测 互信息理论 最大相关–最小冗余 布谷鸟搜索算法

在线阅读 下载PDF 职称材料

基于特征选择的CP-nets结构学习 被引量：1

17

作者 刘素 刘惊雷 《南京大学学报（自然科学版）》 CAS CSCD 北大核心 2019年第1期14-28,共15页

作为描述多属性之间定性条件偏好的一种图模型,条件偏好网(Conditional Preference networks,CP-nets)的结构学习问题在CP-nets的研究中起着重要的作用.不同于传统的CP-nets学习方法,提出基于信息论和特征选择的方法来研究偏好数据库上... 作为描述多属性之间定性条件偏好的一种图模型,条件偏好网(Conditional Preference networks,CP-nets)的结构学习问题在CP-nets的研究中起着重要的作用.不同于传统的CP-nets学习方法,提出基于信息论和特征选择的方法来研究偏好数据库上的CP-nets的结构学习问题.首先建立了偏好数据库上的互信息和条件互信息的求解方法,并将互信息看作一个属性和它的可行父亲之间的相关性,条件互信息看作可行父亲集中属性之间的冗余性,从而构造出极大相关极小冗余(Maximal Relevance Minimal Redundancy,mRMR)的目标函数,同时指出,一个属性的父亲集是由属性之间冗余度小,但对孩子属性的偏好却影响极大的属性子集组成的.随后基于特征选择中的mRMR方法来实现CP-nets的结构学习,并设计相应的算法来完成从偏好数据中学习CP-nets的结构.最后在电影推荐数据集上验证了算法的有效性.研究结果表明,基于mRMR的特征选择方法可有效获取变量之间的因果关系,从而求取出每个属性的父亲集合,进而获得CP-nets的结构. 展开更多

关键词 CP-nets结构学习 极大相关极小冗余 可行父亲集 偏好数据库上的互信息 特征选择

在线阅读 下载PDF 职称材料