KNN特征增强与互信息特征选择的两阶段多维分类方法

1

作者 李二超 张宝新 贾彬彬 《计算机工程与应用》 北大核心 2025年第15期167-177,共11页

现有多维分类的特征增强方法虽丰富了特征空间,但对特征内在质量缺乏有效评估,易引入冗余,影响分类性能。提出基于KNN特征增强与互信息特征选择的两阶段多维分类方法KMFM。第一阶段通过KNN特征增强扩展特征空间,第二阶段基于互信息评估... 现有多维分类的特征增强方法虽丰富了特征空间,但对特征内在质量缺乏有效评估,易引入冗余,影响分类性能。提出基于KNN特征增强与互信息特征选择的两阶段多维分类方法KMFM。第一阶段通过KNN特征增强扩展特征空间,第二阶段基于互信息评估并筛选相关性最强的特征子集,且通过计算类别空间组合熵考虑类别变量间的依赖关系。在10个基准数据集上的实验结果表明,KMFM在汉明分值、精确匹配和亚精确匹配指标上相比现有方法取得显著提升。在90种配置中,KMFM实现77.8%的最佳表现;与只采用特征增强的KRAM相比,性能提升显著;与只进行互信息特征选择MIFS相比,分类性能在9个指标上全面优越,充分说明了该算法的有效性和泛用性。 展开更多

关键词 多维分类 特征增强 特征选择 互信息 类依赖

在线阅读 下载PDF 职称材料

基于互信息最大化的特征选择算法及应用 被引量：35

2

作者 唐亮 段建国 +1 位作者 许洪波 梁玲 《计算机工程与应用》 CSCD 北大核心 2008年第13期130-133,共4页

该文以互信息最大化原则为指导,经过推导和分析后提出了一种基于信息论模型的新的特征选择算法,称之为基于互信息最大化的特征选择算法(MaxMI)。基本思想就是特征选择后,应当尽可能多地保留关于类别的信息。该算法与传统的信息增益、互... 该文以互信息最大化原则为指导,经过推导和分析后提出了一种基于信息论模型的新的特征选择算法,称之为基于互信息最大化的特征选择算法(MaxMI)。基本思想就是特征选择后,应当尽可能多地保留关于类别的信息。该算法与传统的信息增益、互信息和交叉熵在表达形式上具有一定的相似性,但是并不完全相同。从实验上验证了基于互信息最大化的特征选择算法优于其它三种算法。 展开更多

关键词 文本分类 特征选择 交叉熵 信息增益 互信息最大化

在线阅读 下载PDF 职称材料

一种改进的互信息特征选择算法 被引量：7

3

作者 谭金波 黄峰 +1 位作者 杨晓江 李艺 《情报学报》 CSSCI 北大核心 2006年第6期651-656,共6页

本文在层次分类的环境下，首先实验比较了文档频率、信息增益、期望交叉熵、x^2统计、文本证据权、互信息6种常用的特征选择算法，结果是互信息的分类效果最差。然后对此作了分析，并在此基础上提出了一种改进型互信息算法。实验结果表... 本文在层次分类的环境下，首先实验比较了文档频率、信息增益、期望交叉熵、x^2统计、文本证据权、互信息6种常用的特征选择算法，结果是互信息的分类效果最差。然后对此作了分析，并在此基础上提出了一种改进型互信息算法。实验结果表明，改进型互信息算法要好于其他算法。单字词的去除使分类效果得到提高，说明词特征更能够比较完整地表达语义信息。 展开更多

关键词 层次分类 特征选择 互信息 改进

在线阅读 下载PDF 职称材料

一种改进的互信息特征选取预处理算法 被引量：12

4

作者 卢新国 林亚平 陈治平 《湖南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2005年第1期104-107,共4页

讨论了基于互信息的特征选取算法在文本分类中的性能问题,分析了利用这种特征选取算法存在分类精度不高的原因,认为互信息为负值的特征在分类中具有很重要的作用.在此基础上提出了一种基于互信息特征选取的改进算法,该算法加强了互信息... 讨论了基于互信息的特征选取算法在文本分类中的性能问题,分析了利用这种特征选取算法存在分类精度不高的原因,认为互信息为负值的特征在分类中具有很重要的作用.在此基础上提出了一种基于互信息特征选取的改进算法,该算法加强了互信息为负值的特征在分类中的作用.实验结果表明,改进后的算法可以有效地提高文本分类精度. 展开更多

关键词 互信息 改进互信息 特征选取 文本分类

在线阅读 下载PDF 职称材料

基于条件互信息特征选择法和Adaboost算法的电能质量复合扰动分类 被引量：20

5

作者 李长松 刘凯 +1 位作者 肖先勇 金耘岭 《高电压技术》 EI CAS CSCD 北大核心 2019年第2期579-585,共7页

为准备识别复杂电能质量扰动类型,提出一种基于条件互信息平均最优化(avg-CMIM)特征选择法与Adaboost动态集成分类器的电能质量复合扰动分类策略。首先基于条件互信息,提出准确衡量特征与扰动类别相关性、特征集内部目标导向冗余性的评... 为准备识别复杂电能质量扰动类型,提出一种基于条件互信息平均最优化(avg-CMIM)特征选择法与Adaboost动态集成分类器的电能质量复合扰动分类策略。首先基于条件互信息,提出准确衡量特征与扰动类别相关性、特征集内部目标导向冗余性的评价准则,得到不同扰动标签相匹配的最优分类特征集。再利用Adaboost分类器进行动态增强学习,对未知样本进行标签识别,通过组合标签结果确定复合扰动的组成成分,实现电能质量复合扰动的识别。仿真结果表明,在不同程度噪音下,该方法能够高效准确地识别电压暂升、电压暂降、电压短时中断、谐波、脉冲暂态和振荡暂态等单一扰动和其组合成的复合扰动,并通过实测数据验证了方法的正确性和可行性。 展开更多

关键词 电能质量 复合扰动分类 特征选择 条件互信息 ADABOOST算法

在线阅读 下载PDF 职称材料

基于词频的优化互信息文本特征选择方法 被引量：13

6

作者 刘海峰 姚泽清 苏展 《计算机工程》 CAS CSCD 2014年第7期179-182,共4页

互信息(MI)是一种常用的文本特征选择方法,经典MI方法未考虑同一个特征项在不同类别内频数的差异性,也未考虑同一个特征在同一类别内的不同文本之间分布上的差异性。针对上述不足,以特征项的频数为依据,分别从特征项的类内分布、类间分... 互信息(MI)是一种常用的文本特征选择方法,经典MI方法未考虑同一个特征项在不同类别内频数的差异性,也未考虑同一个特征在同一类别内的不同文本之间分布上的差异性。针对上述不足,以特征项的频数为依据,分别从特征项的类内分布、类间分布上的差异以及类内不同文本之间分布上的差异等角度,通过引入特征项的类内频数因子、类内位置分布因子以及类间分布因子,提出一种改进的MI文本特征选择方法,使得特征项的频数信息在MI模型中得到有效利用,合理改善互信息模型在文本特征选择方面的不足。文本分类实验结果表明,改进MI文本特征选择方法的平均准确率、召回率分别提高约5.2%及4.6%,平均综合评价指标值提高约4.9%,有效提高了模型的文本分类效率。 展开更多

关键词 文本分类 特征选择 互信息 特征频率 特征降维 类内分布

在线阅读 下载PDF 职称材料

文本分类中一种基于选择的二次特征降维方法 被引量：8

7

作者 刘海峰 王元元 +1 位作者 姚泽清 陈琦 《情报学报》 CSSCI 北大核心 2009年第1期23-27,共5页

特征选择和特征抽取是文本分类中特征降维的主要方法。目前各种特征选择方法主要致力于度量特征与文本类别的相关性，却很少考虑特征之间的冗余性问题，从而影响特征降维的效果。本文提出一种基于选择的两步特征选择方法，既考虑一些类... 特征选择和特征抽取是文本分类中特征降维的主要方法。目前各种特征选择方法主要致力于度量特征与文本类别的相关性，却很少考虑特征之间的冗余性问题，从而影响特征降维的效果。本文提出一种基于选择的两步特征选择方法，既考虑一些类别信息较强的特征的选取，又减少一些类别判定方面的冗余特征，在尽量减少信息损失的前提下达到有效缩减特征维数的目的。对中文文本的分类实验结果表明，本文提出的特征降维方法在文本分类的准确率方面效果较好。 展开更多

关键词 文本分类 特征选择 互信息 期望交叉熵

在线阅读 下载PDF 职称材料

面向对象影像分类中基于最大化互信息的特征选择 被引量：12

8

作者 吴波 朱勤东 +1 位作者 高海燕 周小成 《国土资源遥感》 CSCD 2009年第3期30-34,共5页

高分辨率影像面向对象分割后产生了大量的光谱、形状以及纹理特征,如何抽取出最佳特征子集是遥感影像识别的重要问题。本文利用最大化互信息统计独立准则抽取最优特征子集,提高了面向对象遥感影像分类精度。基本过程包含以下3个方面:首... 高分辨率影像面向对象分割后产生了大量的光谱、形状以及纹理特征,如何抽取出最佳特征子集是遥感影像识别的重要问题。本文利用最大化互信息统计独立准则抽取最优特征子集,提高了面向对象遥感影像分类精度。基本过程包含以下3个方面:首先,利用eCoginition软件对高分辨遥感影像进行对象分割;然后,基于互信息最大关联、最小冗余准则(mRMR)获取优选的特征子集;最后,基于支持向量机分类器完成影像分类。以福建省漳州市QuickBird数据为例的实验表明,该方法能够有效提高遥感影像的分类精度,平均误分率降低了约4%。 展开更多

关键词 互信息 特征选择 面向对象分类 高分辨

在线阅读 下载PDF 职称材料

基于互信息的文本特征选择方法研究与改进 被引量：23

9

作者 刘健 张维明 《计算机工程与应用》 CSCD 北大核心 2008年第10期135-137,共3页

通过对互信息(MI)文本特征选择方法与信息增益、卡方统计方法的实验研究比较,发现了影响MI方法性能的主要因素是特征选择过程中的随机性,通过加入扰动因子的方法对MI方法进行了改进,消除了随机性的影响,实验表明,改进后的MI方法与信息... 通过对互信息(MI)文本特征选择方法与信息增益、卡方统计方法的实验研究比较,发现了影响MI方法性能的主要因素是特征选择过程中的随机性,通过加入扰动因子的方法对MI方法进行了改进,消除了随机性的影响,实验表明,改进后的MI方法与信息增益、卡方统计方法比较,具有较明显的优势。 展开更多

关键词 互信息 信息增益 CHI 文本分类 特征选择

在线阅读 下载PDF 职称材料

一种基于改进互信息和信息熵的文本特征选择方法 被引量：14

10

作者 成卫青 唐旋 《南京邮电大学学报（自然科学版）》 北大核心 2013年第5期63-68,共6页

互信息是一种常用的特征选择评价函数,但研究表明它会导致分类精度相对较低。文中针对互信息倾向选择低频词的不足,提出了一种新的特征评价函数TFMIIE,将信息熵和改进互信息相结合,其中改进互信息能够避免偏向低频的生僻词,而特征熵有... 互信息是一种常用的特征选择评价函数,但研究表明它会导致分类精度相对较低。文中针对互信息倾向选择低频词的不足,提出了一种新的特征评价函数TFMIIE,将信息熵和改进互信息相结合,其中改进互信息能够避免偏向低频的生僻词,而特征熵有利于去除类别不确定的特征词。实验结果表明,采用TFMIIE进行特征选择,用得到的特征子集表示文本和构建分类器,文本分类的准确率与召回率比采用互信息的方法提高了约40%,验证了所提出的基于改进互信息和信息熵的文本特征选择方法是有效的。 展开更多

关键词 特征选择 文本分类 评价函数 互信息 信息熵

在线阅读 下载PDF 职称材料

一种基于多特征的高光谱遥感图像分类方法 被引量：12

11

作者 刘峰 龚健雅 《地理与地理信息科学》 CSCD 北大核心 2009年第3期19-22,41,共5页

提出在多维特征空间中以互信息为评价指标进行特征选择,在特征子集中应用支持向量机(SVM)分类器实现图像监督分类的方法。首先提取图像的光谱、纹理和颜色特征,得到多特征的高维特征空间,然后用最大相关和最小冗余的互信息作为评价标准,... 提出在多维特征空间中以互信息为评价指标进行特征选择,在特征子集中应用支持向量机(SVM)分类器实现图像监督分类的方法。首先提取图像的光谱、纹理和颜色特征,得到多特征的高维特征空间,然后用最大相关和最小冗余的互信息作为评价标准,用10-fold交叉验证误差率选择特征子集,最后用基于径向基函数的SVM实现图像的分类。实验表明,该方法能明显提高图像分类的精度。 展开更多

关键词 图像分类 互信息 特征选择 SVM

在线阅读 下载PDF 职称材料

融合特征排序的多标记特征选择算法 被引量：3

12

作者 王晨曦 林梦雷 +2 位作者 刘景华 王娟 林耀进 《计算机工程与应用》 CSCD 北大核心 2016年第17期93-100,共8页

在多标记学习框架中,特征选择是解决维数灾难,提高多标记分类器的有效手段。提出了一种融合特征排序的多标记特征选择算法。该算法首先在各标记下进行自适应的粒化样本,以此来构造特征与类别标记之间的邻域互信息。其次,对得到邻域互信... 在多标记学习框架中,特征选择是解决维数灾难,提高多标记分类器的有效手段。提出了一种融合特征排序的多标记特征选择算法。该算法首先在各标记下进行自适应的粒化样本,以此来构造特征与类别标记之间的邻域互信息。其次,对得到邻域互信息进行排序,使得每个类别标记下均能得到一组特征排序。最后,多个独立的特征排序经过聚类融合成一组新的特征排序。在4个多标记数据集和4个评价指标上的实验结果表明,所提算法优于一些当前流行的多标记降维方法。 展开更多

关键词 特征选择 多标记分类 聚类融合 互信息

在线阅读 下载PDF 职称材料

基于互信息的特征选择在入侵检测中的优化 被引量：4

13

作者 刘云 向婵 王海花 《西北大学学报（自然科学版）》 CAS CSCD 北大核心 2017年第5期666-673,共8页

在处理入侵检测中的大规模数据时,冗余和不相关的特征数据长期造成网络数据流量分类问题,这种特征会降低分类效率和精度,并影响系统的实时检测率。该文提出了一种新的基于互信息的特征选择算法(NMIFS),该算法能处理线性和非线性相关的... 在处理入侵检测中的大规模数据时,冗余和不相关的特征数据长期造成网络数据流量分类问题,这种特征会降低分类效率和精度,并影响系统的实时检测率。该文提出了一种新的基于互信息的特征选择算法(NMIFS),该算法能处理线性和非线性相关的特征数据。在数据预处理的过程中,使用该算法选择出最优特征,然后结合常见的最小二乘支持向量机算法(LSSVM)对数据进行分类。采用入侵检测标准数据集KDD Cup 99对模型进行性能评估,对比其他新型的优化算法,结果表明NMIFS算法更有助于LSSVM算法实现更高的分类精度和效率,降低计算复杂度,同时提高模型的检测率。 展开更多

关键词 入侵检测系统 互信息 特征选择 分类 检测率

在线阅读 下载PDF 职称材料

基于模糊软集合理论的文本分类方法 被引量：8

14

作者 洪智勇 秦克云 《计算机工程》 CAS CSCD 北大核心 2010年第13期90-92,共3页

为提高文本分类精度,提出一种基于模糊软集合理论的文本分类方法。该方法把文本训练集表示成模糊软集合表格形式,通过约简、构造软集合对照表方法找出待分类文本所属类别,并针对文本特征提取过程中由于相近特征而导致分类精度下降问题... 为提高文本分类精度,提出一种基于模糊软集合理论的文本分类方法。该方法把文本训练集表示成模糊软集合表格形式,通过约简、构造软集合对照表方法找出待分类文本所属类别,并针对文本特征提取过程中由于相近特征而导致分类精度下降问题给出一种基于正则化互信息特征选择算法,有效地解决了上述问题。与传统的KNN和SVM分类算法相比,模糊软集合方法在文本分类的精度和准度上都有所提高。 展开更多

关键词 文本分类 软集合 模糊软集合 特征选择 互信息

在线阅读 下载PDF 职称材料

基于二次熵的互信息特征选取方法的研究 被引量：2

15

作者 刘丽珍 宋瀚涛 陆玉昌 《计算机科学》 CSCD 北大核心 2004年第12期135-136,168,共3页

随着全球网络的普及应用,大量没有统一结构和管理的在线资源急需进行处理,高效的网页自动分类方法是从网上海量信息中提取所需信息的关键技术,特征选取又是文本分类挖掘的重要基础,本文以广义信息论为理论基础.提出了基于二次熵的互信... 随着全球网络的普及应用,大量没有统一结构和管理的在线资源急需进行处理,高效的网页自动分类方法是从网上海量信息中提取所需信息的关键技术,特征选取又是文本分类挖掘的重要基础,本文以广义信息论为理论基础.提出了基于二次熵的互信息特征选取方法,独立评估特征集中的每个特征,分析特征和类别的关系,从高维的特征空间中选取出对文本分类有效的特征,降低了文本特征空间的维数,提高了文本分类的性能。 展开更多

关键词 特征选取 文本分类 特征集 互信息 高维 网页 特征空间 取出 类方 处理

在线阅读 下载PDF 职称材料

云环境中改进FCM和规则参数优化的网络入侵检测方法 被引量：11

16

作者 张春琴 谢立春 《电信科学》 2018年第1期72-79,共8页

针对云环境中的网络入侵检测问题,提出一种基于模糊推理的网络入侵检测方法。首先,利用互信息特征选择对样本特征进行降维。然后,利用提出的改进模糊C均值聚类(IFCM)方法对训练样本集进行聚类,根据各样本特征与集群的对应关系获得初始... 针对云环境中的网络入侵检测问题,提出一种基于模糊推理的网络入侵检测方法。首先,利用互信息特征选择对样本特征进行降维。然后,利用提出的改进模糊C均值聚类(IFCM)方法对训练样本集进行聚类,根据各样本特征与集群的对应关系获得初始模糊规则库。接着,对每个规则的前件参数和后件参数进行调优,以此获得准确的规则库。最后,基于规则库对输入连接数据进行模糊推理,对其进行分类以实现入侵检测。在云入侵检测数据集上的实验结果表明,该方法能够准确检测出网络入侵,具有可行性和有效性。 展开更多

关键词 云环境 网络入侵检测 互信息特征选择 改进模糊C均值聚类 模糊规则库优化

在线阅读 下载PDF 职称材料

基于互信息的主成分分析用于声场景分类 被引量：3

17

作者 范雪莉 冯海泓 原猛 《声学技术》 CSCD 2013年第3期222-227,共6页

主成分分析是声场景分类中常用的特征选择方法。针对主成分分析的局限性,提出一种基于互信息的主成分分析方法。这一方法引入类别信息,用不同声场景条件下特征之间的互信息矩阵之和替代传统主成分分析中的协方差矩阵,计算其特征向量与... 主成分分析是声场景分类中常用的特征选择方法。针对主成分分析的局限性,提出一种基于互信息的主成分分析方法。这一方法引入类别信息,用不同声场景条件下特征之间的互信息矩阵之和替代传统主成分分析中的协方差矩阵,计算其特征向量与特征值,特征向量表示由原始特征空间向新的主成分空间的转换系数,特征值则用于计算主成分的累计贡献率并判断主成分维数。声场景分类实验结果表明,该方法较之传统主成分分析方法降维效果更好,辅以神经网络分类器,计算得到的分类正确率更高。 展开更多

关键词 互信息 主成分分析 声场景分类 特征选择

在线阅读 下载PDF 职称材料

基于多特征融合的汉语情感分类研究 被引量：6

18

作者 钟将 邓时滔 《计算机应用研究》 CSCD 北大核心 2012年第1期98-100,共3页

中文情感分类一般分成基于情感词典和基于特征分类两种方法进行研究,但没有考虑过将两种方法得到的特征进行融合来提高分类效果。基于特征分类的方法忽视了特征词在情感词典的褒贬性以及词倾向性的强弱。用基于特征分类方法得到的文本... 中文情感分类一般分成基于情感词典和基于特征分类两种方法进行研究,但没有考虑过将两种方法得到的特征进行融合来提高分类效果。基于特征分类的方法忽视了特征词在情感词典的褒贬性以及词倾向性的强弱。用基于特征分类方法得到的文本特征建立朴素贝叶斯模型,根据特征词在情感词典中的褒贬性及其通过点对互信息方法得到的词性强弱调整情感词的正负后验概率权重,实现两种特征的融合,提高分类效果并降低了特征维数。 展开更多

关键词 文本情感分类 情感词典 点对互信息 特征选择 朴素贝叶斯

在线阅读 下载PDF 职称材料

基于领域特征词加权的文本相似度计算 被引量：2

19

作者 欧阳宁 罗艳 《计算机工程与设计》 CSCD 北大核心 2012年第11期4338-4342,共5页

为了改善一个词可能在多个类别中有较大的互信息而模糊了词的类别信息的问题,提出了一种改进的特征选择方法。该方法利用特征词在不同类别之间的表征差异建立领域特征词(即最能表现一个领域的信息的一系列词)从而可以对用互信息建立的... 为了改善一个词可能在多个类别中有较大的互信息而模糊了词的类别信息的问题,提出了一种改进的特征选择方法。该方法利用特征词在不同类别之间的表征差异建立领域特征词(即最能表现一个领域的信息的一系列词)从而可以对用互信息建立的特征集进行再次选择,这样既减少了特征的维数又使特征表示更有效。同时,还设计了一个文本相似度计算系统,系统中改进了传统的tf-idf。实验结果表明,改进的特征选择方法和设计的系统具有良好的性能效果。 展开更多

关键词 互信息 文本分类 特征选择 领域特征词 文本相似度

在线阅读 下载PDF 职称材料

基于正则化互信息改进输入特征选择的分类算法 被引量：3

20

作者 潘果 《计算机工程与应用》 CSCD 2014年第15期25-29,64,共6页

针对基于互信息(MI)传统特征选择方法中要求确定冗余度参数β的问题,提出一种改进型特征选择算法NMIFS-FS2。该算法在对连续或离散特征进行选择时,输入为特征组合与类之间的MI,代替传统算法中单一特征与类之间的MI,解决了冗余度参数β... 针对基于互信息(MI)传统特征选择方法中要求确定冗余度参数β的问题,提出一种改进型特征选择算法NMIFS-FS2。该算法在对连续或离散特征进行选择时,输入为特征组合与类之间的MI,代替传统算法中单一特征与类之间的MI,解决了冗余度参数β很难确定的问题,扩大了应用范围。进行的两组实验验证了该算法的有效性。实验结果表明,相比几种传统的分类算法,该算法具有更好的鲁棒性、稳定性和高效性。 展开更多

关键词 输入特征选择 最优特性集 正则化互信息 分类 鲁棒性

在线阅读 下载PDF 职称材料