摘要
为了解决传统TF-IDF算法太过依赖词频,未考虑关键词在不同文本的不同分布对其权重影响的问题,提出一种基于信息论的TF-IDF特征选择和文本分类方法。首先,对文本进行分词以及去停用词的处理,然后使用Word2vec的skip-gram模型结合基于信息论的TF-IDF对处理后的文本进行特征选择,以更准确的表征文本,最后使用双向长短时记忆网络(BiLSTM)来进行访问上下文信息,得到文本分类的结果。结果表明,该方法与原始TF-IDF相比,分类的精确率、召回率和F1值都分别有所提升。
作者简介
胡媛敏,昆明理工大学信息工程与自动化学院,硕士生,主要研究方向为自然语言处理;通讯作者:张寿明,昆明理工大学信息工程与自动化学院,博士,教授,主要研究方向为复杂工业过程控制。
