基于改进TF-IDF与BERT的领域情感词典构建方法 被引量：10

1

作者 蒋昊达 赵春蕾 +1 位作者 陈瀚 王春东 《计算机科学》 CSCD 北大核心 2024年第S01期150-158,共9页

领域情感词典的构建是领域文本情感分析的基础。现有的领域情感词典构建方法存在所筛选候选情感词冗余度高、情感极性判断失准、领域依赖性强等问题。为了提高所筛选候选情感词的领域性和判断领域情感词极性的准确程度,提出了一种基于... 领域情感词典的构建是领域文本情感分析的基础。现有的领域情感词典构建方法存在所筛选候选情感词冗余度高、情感极性判断失准、领域依赖性强等问题。为了提高所筛选候选情感词的领域性和判断领域情感词极性的准确程度,提出了一种基于改进词频-逆文档频率(TF-IDF)与BERT的领域情感词典构建方法。该方法在筛选领域候选情感词阶段对TF-IDF算法进行改进,将隐含狄利克雷分布(LDA)算法与改进后的TF-IDF算法结合,进行领域性修正,提升了所筛选候选情感词的领域性;在候选情感词极性判断阶段,将情感倾向点互信息算法(SO-PMI)与BERT结合,利用领域情感词微调BERT分类模型,提高了判断领域候选情感词情感极性的准确程度。在不同领域的用户评论数据集上进行实验,结果表明,该方法可以提高所构建领域情感词典的质量,使用该方法构建的领域情感词典用于汽车领域和手机领域文本情感分析的F1值分别达到78.02%和88.35%。 展开更多

关键词 情感分析 领域情感词典 词频-逆文档频率 隐含狄利克雷分布 情感倾向点互信息算法 BERT模型

在线阅读 下载PDF 职称材料

基于Document Triage的TF-IDF算法的改进 被引量：14

2

作者 李镇君 周竹荣 《计算机应用》 CSCD 北大核心 2015年第12期3506-3510,3514,共6页

针对TF-IDF算法在加权时没有考虑特征词本身在文档中重要度的问题,提出利用用户阅读时的阅读行为来改进TF-IDF。将Document Triage引入到TF-IDF中,利用IPM收集用户阅读中行为的相关信息,计算文档评分。由于用户的标注内容往往是文章的... 针对TF-IDF算法在加权时没有考虑特征词本身在文档中重要度的问题,提出利用用户阅读时的阅读行为来改进TF-IDF。将Document Triage引入到TF-IDF中,利用IPM收集用户阅读中行为的相关信息,计算文档评分。由于用户的标注内容往往是文章的重要内容,或者反映了用户的兴趣。因此,赋予用户标注词项更大的权重,将文档评分和用户的标注信息等作为因子引入到TF-IDF中,设计出改进的加权算法DT-TF-IDF。实验结果表明,相对传统TF-IDF算法,DT-TF-IDF的查全率、查准率,以及查准率和查全率的调和均值都有了一定的提高。DT-TF-IDF算法比传统TF-IDF算法更加有效,提高了文本相似度计算的准确性。 展开更多

关键词 tf-idf document TRIAGE 标引 加权

在线阅读 下载PDF 职称材料

融合TF-IDF和LDA的中文FastText短文本分类方法 被引量：33

3

作者 冯勇 屈渤浩 +2 位作者 徐红艳 王嵘冰 张永刚 《应用科学学报》 CAS CSCD 北大核心 2019年第3期378-388,共11页

FastText文本分类模型具有快速高效的优势,但直接将其用于中文短文本分类则存在精确率不高的问题.为此提出一种融合词频-逆文本频率(term frequency-inverse document frequency, TF-IDF)和隐含狄利克雷分布(latent Dirichlet allocatio... FastText文本分类模型具有快速高效的优势,但直接将其用于中文短文本分类则存在精确率不高的问题.为此提出一种融合词频-逆文本频率(term frequency-inverse document frequency, TF-IDF)和隐含狄利克雷分布(latent Dirichlet allocation, LDA)的中文FastText短文本分类方法.该方法在FastText文本分类模型的输入阶段对n元语法模型处理后的词典进行TF-IDF筛选,使用LDA模型进行语料库主题分析,依据所得结果对特征词典进行补充,从而在计算输入词序列向量均值时偏向高区分度的词条,使其更适用于中文短文本分类环境.对比实验结果可知,所提方法在中文短文本分类方面具有更高的精确率. 展开更多

关键词 中文短文本分类 FastText 词频-逆文本频率 词向量 隐含狄利克雷分布

在线阅读 下载PDF 职称材料

基于TF-IDF改进算法的聚焦主题网络爬虫 被引量：16

4

作者 王景中 邱铜相 《计算机应用》 CSCD 北大核心 2015年第10期2901-2904,2919,共5页

针对传统的TF-IDF算法、K-means算法、自适应遗传算法在网络检索结果中含有大量不相关数据、语义检索准确性不高的问题,研究了TF-IDF算法的改进及其在语义检索中的应用。将正则表达式和语义分析技术相结合,从而实现对TF-IDF算法的改进... 针对传统的TF-IDF算法、K-means算法、自适应遗传算法在网络检索结果中含有大量不相关数据、语义检索准确性不高的问题,研究了TF-IDF算法的改进及其在语义检索中的应用。将正则表达式和语义分析技术相结合,从而实现对TF-IDF算法的改进。利用语义库对搜索主题进行描述,根据正则原子语义的重要性和在网页标签中的不同位置进行加权计算,得到正则原子在文档中的相似度。通过空间向量模型对文档相似度和主题模型进行余弦运算,从而获取最终的搜索结果。最后,将改进的TF-IDF算法、传统的TF-IDF算法、K-means算法和自适应遗传算法运用于聚焦主题网络爬虫中,对其检索结果进行了对比分析。计算结果表明,在聚焦主题网络爬虫语义分析的垂直搜索中,改进TF-IDF算法的相似度准确率比传统的TF-IDF算法检索准确率提高了17.1个百分点,遗漏率降低了7.76个百分点;比K-means算法检索准确率提高6个百分点;比自适应遗传算法检索准确率提高了8.1个百分点。总之,改进的TF-IDF算法可以有效地提高文档相似度检测的准确率,很好地改善聚焦主题网络爬虫在语义分析中的缺陷。 展开更多

关键词 网络爬虫 语义分析 搜索引擎 tf-idf 主题爬虫 文档相似度

在线阅读 下载PDF 职称材料

结合TF-IDF的企业生产隐患关联预警及可视化研究 被引量：14

5

作者 胡瑾秋 张曦月 吴志强 《中国安全科学学报》 CAS CSCD 北大核心 2019年第7期170-176,共7页

为有效利用企业在日常管理中积累的大量生产事故隐患记录,实现隐患预警,解决人工分析数据效率低、主观性强等问题,构建结合词频率-逆文档频率(TF-IDF)的企业生产隐患关联预警可视化模型。首先,运用先验(Apriori)关联规则算法挖掘各隐患... 为有效利用企业在日常管理中积累的大量生产事故隐患记录,实现隐患预警,解决人工分析数据效率低、主观性强等问题,构建结合词频率-逆文档频率(TF-IDF)的企业生产隐患关联预警可视化模型。首先,运用先验(Apriori)关联规则算法挖掘各隐患间的潜在联系,获取信息中的隐藏价值;然后,引入TF-IDF算法优化关联规则,找出隐患间的关键规则;最后,运用可视化技术直观地展现挖掘结果。研究表明:可视化模型能快速、准确地实现隐患预警;对关联规则的优化,解决了Apriori算法支持度依赖性强的问题;挖掘结果能为企业安全管理者提供整改方向与依据。 展开更多

关键词 词频率-逆文档频率(tf-idf) 先验(Apriori)关联分析 优化排序 隐患预警 文本可视化

在线阅读 下载PDF 职称材料

基于TF-IDF算法的P2P贷款违约预测模型 被引量：10

6

作者 章宁 陈钦 《计算机应用》 CSCD 北大核心 2018年第10期3042-3047,共6页

针对目前P2P贷款违约预测模型受限于借贷双方信息不对称性,未考虑投资人之间差异性的问题,提出了基于信息检索词频-逆文本频率(TF-IDF)算法的P2P贷款违约预测模型。首先以投资效用理论为基础,利用投资人历史投资收益率、贷款利率出价等... 针对目前P2P贷款违约预测模型受限于借贷双方信息不对称性,未考虑投资人之间差异性的问题,提出了基于信息检索词频-逆文本频率(TF-IDF)算法的P2P贷款违约预测模型。首先以投资效用理论为基础,利用投资人历史投资收益率、贷款利率出价等信息,建立基于投资人效用的贷款违约预测模型;然后,借鉴信息检索TF-IDF算法,构造投资人逆向投资比例因子,对投资人差异性进行量化度量,优化模型中投资人权重计算因子。实验结果表明,该模型预测准确度与其他模型相比平均提高了6%左右,并在不同的测试数据集上都保持最优。 展开更多

关键词 贷款违约预测 效用理论 信息检索 词频逆文本频率 个人对个人借贷 曲线下面积

在线阅读 下载PDF 职称材料

基于TF-IDF和VOSviewer的我国应急救援现状可视化分析 被引量：6

7

作者 黄萍 张文龙 +2 位作者 叶圣琳 余君 余龙星 《中国安全科学学报》 CAS CSCD 北大核心 2023年第11期196-205,共10页

为有效利用消防救援队伍的实战记录资料挖掘应急救援战例成功经验,结合词频-逆文档频率(TF-IDF)算法和VOSviewer文献可视化分析技术,构建战例资料分析模型,分析战例成功与失败的共性规律和特点,总结我国应急救援现状及发展趋势。模型以2... 为有效利用消防救援队伍的实战记录资料挖掘应急救援战例成功经验,结合词频-逆文档频率(TF-IDF)算法和VOSviewer文献可视化分析技术,构建战例资料分析模型,分析战例成功与失败的共性规律和特点,总结我国应急救援现状及发展趋势。模型以2007—2019年间共185起应急救援典型战例为数据库,按照自然灾害、交通事故、建筑坍塌、危化品泄漏、火灾扑救等应急救援行动类型展开分析。结果表明:我国应急救援行动的影响因素主要表现在人(救援队伍)、机(装备技术)、环(环境)、管(管理)4个方面。其中,环境因素的影响几乎都是负面的,其他3个因素均有正负面影响。此外,不同应急救援行动类型的主导影响因素存在差异,自然灾害突出“机”;交通事故突出“管”;建筑坍塌突出“机”“环”;危化品泄漏在“人机环管”4个方面均有突出问题;火灾救援突出“机”。 展开更多

关键词 词频-逆文档频率(tf-idf) VOSviewer 应急救援 消防救援 可视化分析 战例分析

在线阅读 下载PDF 职称材料

基于改进的TF-IDF软件测试错误信息分析方法 被引量：1

8

作者 王茹 严明 王柳舒 《计算机应用》 CSCD 北大核心 2016年第A02期259-261,共3页

针对软件测试领域人工分析测试用例错误信息工作量大、时间效率低的问题,提出了一种基于改进的词频-逆文本词频(TF-IDF)软件测试错误信息文本分析方法。首先,根据错误信息文本的特点对目标错误信息文本进行预处理,减少了干扰信息,缩短... 针对软件测试领域人工分析测试用例错误信息工作量大、时间效率低的问题,提出了一种基于改进的词频-逆文本词频(TF-IDF)软件测试错误信息文本分析方法。首先,根据错误信息文本的特点对目标错误信息文本进行预处理,减少了干扰信息,缩短了计算时间;然后,结合关键词集合、TF-IDF和向量空间模型(VSM)计算文本特征向量,其中关键词集合避免了多次对数据库中错误信息文本进行TF-IDF权值计算,提高了计算效率;接着,利用余弦相似计算目标错误信息文本与数据库文本之间的相似度,并对相似度排序,从而找到相似度最高的错误信息,进而找到相关联的变更请求(CR);最后,自动关联CR。实验结果表明,该方法在软件测试错误信息分析方面能够有效提高时间效率。 展开更多

关键词 向量空间模型 tf-idf 文本相似度量 余弦相似 软件测试

在线阅读 下载PDF 职称材料

基于改进的TF-IDF算法及共现词的主题词抽取算法 被引量：19

9

作者 公冶小燕 林培光 +2 位作者 任威隆 张晨 张春云 《南京大学学报（自然科学版）》 CAS CSCD 北大核心 2017年第6期1072-1080,共9页

信息主题的抽取是快速定位用户需求的基础任务,主题词抽取时主要存在三个问题:一是词语权重的计算,二是词语间关系的度量,三是数据维度灾难.在计算词权重时首先利用互信息确定共现词对,与词频、词性、词位置信息非线性组合,然后,根据词... 信息主题的抽取是快速定位用户需求的基础任务,主题词抽取时主要存在三个问题:一是词语权重的计算,二是词语间关系的度量,三是数据维度灾难.在计算词权重时首先利用互信息确定共现词对,与词频、词性、词位置信息非线性组合,然后,根据词权重构建文档—共现词矩阵并建立潜在语义分析(Latent Semantic Analysis,LSA)模型.该方法借助LSA模型的奇异值分解(Singular Value Decomposition,SVD)将文档—共现词矩阵映射到潜在语义空间,不仅实现数据降维,而且获得低维度的文档相似矩阵.最后,对文档相似矩阵进行k-means聚类,在同类文档中选出词权重最大的前几对共现词,作为该类文章的主题词.对比基于TF-IDF(Term Frequency-Inverse Document Frequency)和共现词抽取主题词的实验,该算法的准确度分别提高了19%和10%. 展开更多

关键词 共现词 互信息 语义分析(LSA) 奇异值分解(SVD) term frequency-inverse document frequency(tf-idf)

在线阅读 下载PDF 职称材料

一种基于改进TF-IDF的SLAM回环检测算法 被引量：15

10

作者 董蕊芳 柳长安 杨国田 《东南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2019年第2期251-258,共8页

提出了一种基于改进TF-IDF的视觉SLAM回环检测算法,用于检测曾经访问过的位置,来消除定位过程中的累积误差.首先,针对在人造建筑场景中使用SLAM算法对图像点特征进行计算容易导致检测失败的问题,采用图像中的直线作为特征来进行回环检... 提出了一种基于改进TF-IDF的视觉SLAM回环检测算法,用于检测曾经访问过的位置,来消除定位过程中的累积误差.首先,针对在人造建筑场景中使用SLAM算法对图像点特征进行计算容易导致检测失败的问题,采用图像中的直线作为特征来进行回环检测的计算.其次,在LBD(line band descriptor)图像线特征描述子的基础上进一步提取了二进制LBD描述子来进行视觉词典的构建,保证了线特征的处理效率.提出了一种改进的TF-IDF(term frequency&inverse document frequency)单词权重确定方法,提高了视觉单词评分之间的区分度.最后,以室内建筑环境和输电线路场景为例进行实验,结果显示,所提出的基于线特征的回环检测算法比基于点特征的算法有较高的检测准确率,有助于提高SLAM算法的计算性能. 展开更多

关键词 SLAM 回环检测 人造建筑场景 二进制LBD 改进的tf-idf方法

在线阅读 下载PDF 职称材料

结合TF-IDF的歌曲情感多标记分类 被引量：4

11

作者 孙向琨 邓伟 《计算机工程》 CAS CSCD 北大核心 2011年第19期189-190,197,共3页

提出一种结合词频-逆向文件频率(TF-IDF)规则与多标记分类的歌曲情感分析方法。对歌曲中基于声学特征的音乐内容,用带向量夹角的多标记k近邻算法进行分类,将TF-IDF规则用于歌词内容,以计算歌词情感分数,并将其作为情感特征。采用该方法... 提出一种结合词频-逆向文件频率(TF-IDF)规则与多标记分类的歌曲情感分析方法。对歌曲中基于声学特征的音乐内容,用带向量夹角的多标记k近邻算法进行分类,将TF-IDF规则用于歌词内容,以计算歌词情感分数,并将其作为情感特征。采用该方法对歌词内容分类错误的类别标记进行修正。选用396首英文歌曲对该算法进行测试,结果表明,与其他方法相比,该方法能使分类精确度从69%提高到74%。 展开更多

关键词 多标记分类 歌曲情感分类 多标记k近邻算法 词频-逆向文件频率

在线阅读 下载PDF 职称材料

一种改进型TF-IDF文本聚类方法 被引量：20

12

作者 张蕾 姜宇 孙莉 《吉林大学学报（理学版）》 CAS 北大核心 2021年第5期1199-1204,共6页

针对传统词频-逆文档频率(TF-IDF)算法对具有特定属性的文本分类存在的不足,尤其是词汇在特定分类中具有特殊意义情形下准确率较低的问题,提出一种改进的TF-IDF文本聚类算法.采用2015—2019年吉林省科研机构发表论文数据进行对比实验,... 针对传统词频-逆文档频率(TF-IDF)算法对具有特定属性的文本分类存在的不足,尤其是词汇在特定分类中具有特殊意义情形下准确率较低的问题,提出一种改进的TF-IDF文本聚类算法.采用2015—2019年吉林省科研机构发表论文数据进行对比实验,分别用改进TF-IDF算法和传统TF-IDF算法先统计论文中的关键词词频,再通过K-means++算法进行聚类,最后使用随机森林算法分别评估聚类的准确性.实验结果表明,改进TF-IDF算法提高了分类的准确率. 展开更多

关键词 词频-逆文档频率(tf-idf) 混合聚类 交叉学科 基本科学指标数据库(ESI)文献

在线阅读 下载PDF 职称材料

基于二次TF* IDF的互信息文本特征选择算法研究 被引量：8

13

作者 王园 龚尚福 《计算机应用与软件》 CSCD 2011年第4期129-131,共3页

在分析传统互信息法缺陷的基础上,提出一种基于二次TF*IDF的互信息特征选择算法,对仅在一个类别中出现的特征词的重要程度给予再次的衡量,解决了互信息值相等而无法进行有效特征选择的问题。利用贝叶斯分类器对该方法进行验证的结果表... 在分析传统互信息法缺陷的基础上,提出一种基于二次TF*IDF的互信息特征选择算法,对仅在一个类别中出现的特征词的重要程度给予再次的衡量,解决了互信息值相等而无法进行有效特征选择的问题。利用贝叶斯分类器对该方法进行验证的结果表明该算法在文本分类效率和正确率上比原有方法有一定的提高。 展开更多

关键词 特征选择 文本分类 互信息 TF＊ idf

在线阅读 下载PDF 职称材料

社会网络环境下双驱动DEMATEL的群智知识融合应急决策方法 被引量：6

14

作者 陈兆芳 黄鹏城 黄文翰 《安全与环境学报》 CAS CSCD 北大核心 2024年第6期2336-2347,共12页

针对多属性应急群决策中决策属性缺少数据支持和公众难以参与决策过程的问题,提出了一种使用信任网络计算专家权重和融合公众知识与专家知识的双驱动模型的应急决策方法。首先,考虑传统模型只能依赖主观经验的不足,通过分析社交媒体中... 针对多属性应急群决策中决策属性缺少数据支持和公众难以参与决策过程的问题,提出了一种使用信任网络计算专家权重和融合公众知识与专家知识的双驱动模型的应急决策方法。首先,考虑传统模型只能依赖主观经验的不足,通过分析社交媒体中的文本数据来获得公众意见,并使用词频-逆文档频率算法(Term Frequency-Inverse Document Frequency, TF-IDF)提取意见中的关键信息,以公众大数据来获得数据驱动因素,同时,通过决策专家提供的专家知识,为决策过程提供知识驱动因素,构成双驱动的决策实验室分析法(Decision Making Trial and Evaluation Laboratory, DEMATEL)模型来建立评价属性体系,模型中影响因素的相互作用程度由公众大数据与专家评价共同决定,以得到公众知识数据与专家知识评价融合的结果;其次,使用社会网络表示专家之间的信任关系与信任强度,并通过Louvain算法对专家进行聚类,通过社会网络中节点的度中心性与接近中心性,得到个体的权重进而计算出各聚类权重,使用直觉模糊加权平均算子(Iterative Fuzzy Weighted Averaging, IFWA)结合决策偏好与属性权重,通过得分函数计算备选方案的得分,并依据得分结果对方案排序以得到最优的解决方案;最后,结合“7·20”郑州市突发暴雨案例证明了本方法的可行性和有效性。 展开更多

关键词 公共安全 决策实验室分析法(DEMATEL) 应急决策 词频-逆文档频率算法(tf-idf) 群智融合

在线阅读 下载PDF 职称材料

基于词频统计的文本关键词提取方法 被引量：80

15

作者 罗燕 赵书良 +2 位作者 李晓超 韩玉辉 丁亚飞 《计算机应用》 CSCD 北大核心 2016年第3期718-725,共8页

针对传统TF-IDF算法关键词提取效率低下及准确率欠佳的问题,提出一种基于词频统计的文本关键词提取方法。首先,通过齐普夫定律推导出文本中同频词数的计算公式;其次,根据同频词数计算公式确定文本中各频次词语所占比重,发现文本中绝大... 针对传统TF-IDF算法关键词提取效率低下及准确率欠佳的问题,提出一种基于词频统计的文本关键词提取方法。首先,通过齐普夫定律推导出文本中同频词数的计算公式;其次,根据同频词数计算公式确定文本中各频次词语所占比重,发现文本中绝大多数是低频词;最后,将词频统计规律应用于关键词提取,提出基于词频统计的TFIDF算法。采用中、英文文本实验数据集进行仿真实验,其中推导出的同频词数计算公式平均相对误差未超过0.05;确立的各频次词语所占比重的最大误差绝对值为0.04;提出的基于词频统计的TF-IDF算法与传统TF-IDF算法相比,平均查准率、平均查全率和平均F1度量均有提高,而平均运行时间则均有降低。实验结果表明,在文本关键词提取中,基于词频统计的TF-IDF算法在查准率、查全率及F1指标上均优于传统TF-IDF算法,并能够有效减少关键词提取运行时间。 展开更多

关键词 词频统计 齐普夫定律 同频词 关键词提取 tf-idf算法

在线阅读 下载PDF 职称材料

基于VSM的文本相似度计算的研究 被引量：101

16

作者 郭庆琳 李艳梅 唐琦 《计算机应用研究》 CSCD 北大核心 2008年第11期3256-3258,共3页

文本相似度的计算作为其他文本信息处理的基础和关键,其计算准确率和效率直接影响其他文本信息处理的结果。提出改进的DF算法和TD-IDF算法,一方面利用了DF算法具有线性的时间复杂度,比较适合大规模文本处理的特点,并通过适当增加关键词... 文本相似度的计算作为其他文本信息处理的基础和关键,其计算准确率和效率直接影响其他文本信息处理的结果。提出改进的DF算法和TD-IDF算法,一方面利用了DF算法具有线性的时间复杂度,比较适合大规模文本处理的特点,并通过适当增加关键词的方法,弥补了其对个别有用信息错误过滤的不足;另一方面,利用特征项在特征选择阶段的权重对TD-IDF方法进行加权处理,在不增加开销的情况下扩大了文档集的规模,还提高了相似度计算的精确度。 展开更多

关键词 文本相似度 特征选择 词频—逆文档频率法 向量空间模型

在线阅读 下载PDF 职称材料

基于MRMR的文本分类特征选择方法 被引量：9

17

作者 李军怀 付静飞 +2 位作者 蒋文杰 费蓉 王怀军 《计算机科学》 CSCD 北大核心 2016年第10期225-228,共4页

特征选择是文本分类技术中重要的处理步骤,特征词选择的优劣直接关系到后续文本分类结果的准确率。使用传统特征选择方法如互信息(MI)、信息增益(IG)、χ2统计量(CHI)等提取的特征词仍存在冗余。针对这一问题,通过结合词频-逆文档率(TF_... 特征选择是文本分类技术中重要的处理步骤,特征词选择的优劣直接关系到后续文本分类结果的准确率。使用传统特征选择方法如互信息(MI)、信息增益(IG)、χ2统计量(CHI)等提取的特征词仍存在冗余。针对这一问题,通过结合词频-逆文档率(TF_IDF)和最大相关最小冗余标准(MRMR),提出了一种基于MRMR的特征词二次选取方法 TFIDF_MRMR。实验结果表明,该方法可以较好地减少特征词之间的冗余,提高文本分类的准确率。 展开更多

关键词 特征选择 最大相关最小冗余 词频-逆文档率 文本分类

在线阅读 下载PDF 职称材料

基于隐马尔可夫模型的文本分类算法 被引量：8

18

作者 杨健 汪海航 《计算机应用》 CSCD 北大核心 2010年第9期2348-2350,2361,共4页

自动文本分类领域近年来已经产生了若干成熟的分类算法,但这些算法主要基于概率统计模型,没有与文本自身的语法和语义建立起联系。提出了将隐马尔可夫序列分析模型(HMM)用于自动文本分类的算法,首先构造表示文档类别的特征词集合,并以... 自动文本分类领域近年来已经产生了若干成熟的分类算法,但这些算法主要基于概率统计模型,没有与文本自身的语法和语义建立起联系。提出了将隐马尔可夫序列分析模型(HMM)用于自动文本分类的算法,首先构造表示文档类别的特征词集合,并以文档类别的特征词序列作为不同HMM分类器的观察序列,而HMM的状态转换序列则隐含地表示了不同类别文档内容的形成演化过程。分类时,具有最大生成概率的HMM分类器类标即为测试文档的分类结果。该算法构造的分类器模型一定程度上体现了不同类别文档的语法和语义特征,并可以实现多类别的自动文本分类,分类效率较高。 展开更多

关键词 文本分类 隐马尔可夫模型 信息增益 χ2检验 词频—反文档频率

在线阅读 下载PDF 职称材料

云存储环境下的多关键字密文搜索方法 被引量：6

19

作者 杨宏宇 王玥 《计算机应用》 CSCD 北大核心 2018年第2期343-347,404,共6页

针对现有云存储环境下多关键字密文搜索方法效率较低、缺乏自适应能力的问题,提出一种基于改进质量层次聚类的加密云数据多关键字排序搜索(MRSE-IQHC)方法。首先,采用词频-逆向文件频率(TF-IDF)方法和向量空间模型(VSM)构建文件向量;然... 针对现有云存储环境下多关键字密文搜索方法效率较低、缺乏自适应能力的问题,提出一种基于改进质量层次聚类的加密云数据多关键字排序搜索(MRSE-IQHC)方法。首先,采用词频-逆向文件频率(TF-IDF)方法和向量空间模型(VSM)构建文件向量;然后,提出一种改进质量层次聚类(IQHC)算法对文件向量聚类,构建文件索引和聚类索引;其次,采用K最近邻(KNN)查询算法对索引加密;最后,采用用户自定义关键字权值的方法构建搜索请求并在密文状态下搜索出前k个最相关的文件。实验结果表明,该方法与加密的云数据多关键字排序搜索(MRSE)方法以及基于层次聚类索引的加密数据多关键字排序搜索(MRSE-HCI)方法相比,在相同的搜索文件数量、返回文件数量、搜索关键字数量条件下搜索时间平均缩短了44.3%和34.2%、32.4%和13.2%、36.9%和19.4%,准确率提升了10.8%和8.6%。所提方法在云存储环境下的多关键字密文搜索中具有较高的搜索效率和准确性。 展开更多

关键词 云存储 多关键字搜索 词频-逆向文件频率 向量空间模型 聚类 隐私保护

在线阅读 下载PDF 职称材料

异构数据库相似语义属性聚类过程研究 被引量：1

20

作者 李小平 任恩恩 《铁道科学与工程学报》 CAS CSCD 北大核心 2012年第2期119-124,共6页

对异构数据库相似语义属性聚类过程及其关键技术进行研究,在词频-逆文件频率的基础上,提出数值类型属性信息的槽频率-逆文件频率处理方法,分别应用于文本信息和数值信息的相似语义属性聚类过程。研究结果表明:使用词频-逆文件频率和槽频... 对异构数据库相似语义属性聚类过程及其关键技术进行研究,在词频-逆文件频率的基础上,提出数值类型属性信息的槽频率-逆文件频率处理方法,分别应用于文本信息和数值信息的相似语义属性聚类过程。研究结果表明:使用词频-逆文件频率和槽频率-逆文件频率方法相结合是异构数据库相似语义属性聚类实现的一种有效方法。 展开更多

关键词 异构数据库 相似语义 属性聚类 统一矢量化 词频—逆文件频率 槽频率—逆文件槽频率 自组织映射网络

在线阅读 下载PDF 职称材料