基于词频-逆文件频率的错误定位方法 被引量：3

1

作者 张卓 雷晏 +3 位作者 毛晓光 常曦 薛建新 熊庆宇 《软件学报》 EI CSCD 北大核心 2020年第11期3448-3460,共13页

错误定位方法大多通过分析语句覆盖信息来标识出导致程序失效的可疑语句.其中,语句覆盖信息通常以语句执行或语句未执行的二进制状态信息来表示.然而,该二进制状态信息仅表明该语句是否被执行的信息,无法体现该语句在具体执行中的重要程... 错误定位方法大多通过分析语句覆盖信息来标识出导致程序失效的可疑语句.其中,语句覆盖信息通常以语句执行或语句未执行的二进制状态信息来表示.然而,该二进制状态信息仅表明该语句是否被执行的信息,无法体现该语句在具体执行中的重要程度,可能会降低错误定位的有效性.为了解决这个问题,提出了基于词频-逆文件频率的错误定位方法.该方法采用词频-逆文件频率技术识别出单个测试用例中语句的影响程度高低,从而构建出具有语句重要程度识别度的信息模型,并基于该模型来计算语句的可疑值.实验结果表明,该方法大幅提升了错误定位的效能. 展开更多

关键词 错误定位 词频 逆文件频率 可疑值

在线阅读 下载PDF 职称材料

融合词频-逆向文件频率的受限玻尔兹曼机推荐算法 被引量：9

2

作者 王成 李千目 《南京理工大学学报》 CAS CSCD 北大核心 2021年第5期551-557,共7页

针对数据稀疏性导致推荐算法准确度不高的难题,提出一种融合词频-逆向文件频率(Term frequency-inverse document frequency,TF-IDF)的受限玻尔兹曼机(Restricted Boltzmann machine,RBM)推荐算法,利用受限玻尔兹曼机构建用户项目二维... 针对数据稀疏性导致推荐算法准确度不高的难题,提出一种融合词频-逆向文件频率(Term frequency-inverse document frequency,TF-IDF)的受限玻尔兹曼机(Restricted Boltzmann machine,RBM)推荐算法,利用受限玻尔兹曼机构建用户项目二维评分矩阵,利用余弦相似度计算方法得出初始推荐评分,最后融合词频-逆向文件频率算法生成最终推荐结果集。对MovieLens1M的电影评分数据进行实验,结果显示,该文提出的混合推荐算法的平均绝对误差(Mean absolute error,MAE)和均方根误差(Root mean square error,RMSE)分别为0.6028和0.6225,比传统受限玻尔兹曼机分别提高3.22%与6.06%,也优于对照混合推荐模型的准确率。该算法能提高用户评分预测精度,进一步提升推荐质量。 展开更多

关键词 机器学习 受限玻尔兹曼机 词频-逆向文件频率 余弦相似度 对比散度

在线阅读 下载PDF 职称材料

应急决策文本的多维语义挖掘方法——基于TF-IDF和PMI的技术框架

3

作者 邓云峰 冯永康 王双燕 《中国安全生产科学技术》 北大核心 2025年第5期36-45,共10页

为了解读领导干部应急决策部署中内含的多维语义信息,了解其相关决策行为特征,进而保障突发事件的应对效果,本文提出基于TF-IDF和PMI的自然语言处理技术框架,挖掘应急决策文本中的多维语义信息,分析相关内容的关联性。首先通过Jieba分词... 为了解读领导干部应急决策部署中内含的多维语义信息,了解其相关决策行为特征,进而保障突发事件的应对效果,本文提出基于TF-IDF和PMI的自然语言处理技术框架,挖掘应急决策文本中的多维语义信息,分析相关内容的关联性。首先通过Jieba分词和LTP平台的依存句法分析,挖掘文本中的目标和行动信息,利用TF-IDF算法和词云图展示关键行动,然后通过PMI构建复杂网络,揭示行动间的关联性和决策偏好。研究结果表明:结合应急行动分类体系,TF-IDF算法能精确提取文本中目标和行动信息,以频次反映行动的受关注程度,为理解决策者的决心和意图提供支持;PMI和改良PMI方法能有效挖掘行动的共现关系,揭示行动之间的关联性和决策偏好,其中PMI方法适合分析行动之间的平均相关性,而改良PMI方法能识别出低频高权重的行动关联。研究结果可为分析决策行为特征,细化实化应急决策部署提供可扩展的支持性工具。 展开更多

关键词 应急决策文本 词频-逆文档频率 点互信息 关联性分析 复杂网络 依存句法分析

在线阅读 下载PDF 职称材料

一种基于词频-逆文档频率和混合损失的表情识别算法 被引量：6

4

作者 蓝峥杰 王烈 聂雄 《计算机工程》 CAS CSCD 北大核心 2023年第1期295-302,310,共9页

面部表情能自然高效地表达人类的心理活动和思想状态,影响着人们的沟通交流过程。在诸多智能化应用中,人脸表情识别是人类与机器间建立情感交互的重要基础。在细粒度人脸表情识别任务中,由于特征提取网络对表情产生区域的关键特征处理不... 面部表情能自然高效地表达人类的心理活动和思想状态,影响着人们的沟通交流过程。在诸多智能化应用中,人脸表情识别是人类与机器间建立情感交互的重要基础。在细粒度人脸表情识别任务中,由于特征提取网络对表情产生区域的关键特征处理不足,从而引发细节特征信息丢失问题。提出一种词频-逆文档频率注意力机制TF-IDF SPA,通过该机制调整表情产生关键区域的注意力分布,强化网络对该区域关键细节特征的提取能力。同时,为了应对表情识别任务中普遍存在的类间差异小、类内差异大的问题,设计一种改进型混合加权损失函数,以增强表情类内聚拢性同时增大类间距离。依据数据集中样本的数量分布情况,动态调整损失函数的分类权重值,从而强化模型对小数据量样本的学习能力。在此基础上,将结构简单的TF-IDF SPA模块与卷积层共同堆叠以构建人脸表情识别网络。实验结果表明,该网络具有较好的人脸表情识别性能,在FER2013和CK+数据集上的分类准确率分别达到73.52%和98.27%。 展开更多

关键词 表情识别 FER2013数据集 CK+数据集 词频-逆文档频率 损失函数 注意力机制

在线阅读 下载PDF 职称材料

基于TF-IDF分类算法的雷达情报分发技术 被引量：8

5

作者 余苗 杨瑞娟 +2 位作者 程伟 高路 程红斌 《计算机工程与设计》 CSCD 北大核心 2012年第5期1822-1826,共5页

为了提高情报分发的效率,解决雷达组网上信息过载的问题,提出了一种利用个性化推荐技术过滤情报用户感兴趣的情报信息的技术。根据情报用户兴趣多样性的特点和雷达情报的格式化特征,对情报用户兴趣的类别进行划分,并设计出基于层次向量... 为了提高情报分发的效率,解决雷达组网上信息过载的问题,提出了一种利用个性化推荐技术过滤情报用户感兴趣的情报信息的技术。根据情报用户兴趣多样性的特点和雷达情报的格式化特征,对情报用户兴趣的类别进行划分,并设计出基于层次向量空间模型;在此基础上,利用用户的历史情报信息和定制信息,运用TF-IDF算法挖掘用户兴趣,建立用户兴趣模型,通过实时情报与用户兴趣模型的匹配,将用户感兴趣的情报分发给用户。仿真实验结果表明,该算法能够较好地实现雷达情报的按需分发。 展开更多

关键词 情报按需分发 个性化推荐 层次向量空间模型 兴趣模型 词频-逆文档频率

在线阅读 下载PDF 职称材料

基于改进TF-IDF与BERT的领域情感词典构建方法 被引量：6

6

作者 蒋昊达 赵春蕾 +1 位作者 陈瀚 王春东 《计算机科学》 CSCD 北大核心 2024年第S01期150-158,共9页

领域情感词典的构建是领域文本情感分析的基础。现有的领域情感词典构建方法存在所筛选候选情感词冗余度高、情感极性判断失准、领域依赖性强等问题。为了提高所筛选候选情感词的领域性和判断领域情感词极性的准确程度,提出了一种基于... 领域情感词典的构建是领域文本情感分析的基础。现有的领域情感词典构建方法存在所筛选候选情感词冗余度高、情感极性判断失准、领域依赖性强等问题。为了提高所筛选候选情感词的领域性和判断领域情感词极性的准确程度,提出了一种基于改进词频-逆文档频率(TF-IDF)与BERT的领域情感词典构建方法。该方法在筛选领域候选情感词阶段对TF-IDF算法进行改进,将隐含狄利克雷分布(LDA)算法与改进后的TF-IDF算法结合,进行领域性修正,提升了所筛选候选情感词的领域性;在候选情感词极性判断阶段,将情感倾向点互信息算法(SO-PMI)与BERT结合,利用领域情感词微调BERT分类模型,提高了判断领域候选情感词情感极性的准确程度。在不同领域的用户评论数据集上进行实验,结果表明,该方法可以提高所构建领域情感词典的质量,使用该方法构建的领域情感词典用于汽车领域和手机领域文本情感分析的F1值分别达到78.02%和88.35%。 展开更多

关键词 情感分析 领域情感词典 词频-逆文档频率 隐含狄利克雷分布 情感倾向点互信息算法 BERT模型

在线阅读 下载PDF 职称材料

民用无人机事故致因文本挖掘和社会网络分析

7

作者 李柯 王东煌 罗帆 《安全与环境学报》 北大核心 2025年第7期2709-2716,共8页

为明确民用无人机事故致因及其关联性,借助文本挖掘技术完成122份民用无人机事故报告的结构化处理,采用词频-逆文档频率(Term Frequency-Inverse Document Frequency, TF-IDF)算法提取出23项事故致因关键词;运用社会网络分析(Social Net... 为明确民用无人机事故致因及其关联性,借助文本挖掘技术完成122份民用无人机事故报告的结构化处理,采用词频-逆文档频率(Term Frequency-Inverse Document Frequency, TF-IDF)算法提取出23项事故致因关键词;运用社会网络分析(Social Network Analysis, SNA)方法和Gephi、Ucinet等软件构建民用无人机事故致因共现网络,完成网络中心性分析和核心边缘结构分析,以了解各事故致因节点的重要性和网络结构特征。结果表明:机械结构故障、动力系统故障等源自无人机自身的致因是造成事故的主要原因;飞行失控、检查不足、天气意外因素等8项致因位于致因网络的核心区域,归属于核心致因,其余15项为边缘致因;基于核心致因构建并分析核心-边缘致因集合,有助于为民用无人机事故防控提供对策建议,从而促进低空经济产业健康有序发展。 展开更多

关键词 安全工程 文本挖掘 社会网络分析 词频-逆文档频率 无人机事故

在线阅读 下载PDF 职称材料

融合TF-IDF和LDA的中文FastText短文本分类方法 被引量：33

8

作者 冯勇 屈渤浩 +2 位作者 徐红艳 王嵘冰 张永刚 《应用科学学报》 CAS CSCD 北大核心 2019年第3期378-388,共11页

FastText文本分类模型具有快速高效的优势,但直接将其用于中文短文本分类则存在精确率不高的问题.为此提出一种融合词频-逆文本频率(term frequency-inverse document frequency, TF-IDF)和隐含狄利克雷分布(latent Dirichlet allocatio... FastText文本分类模型具有快速高效的优势,但直接将其用于中文短文本分类则存在精确率不高的问题.为此提出一种融合词频-逆文本频率(term frequency-inverse document frequency, TF-IDF)和隐含狄利克雷分布(latent Dirichlet allocation, LDA)的中文FastText短文本分类方法.该方法在FastText文本分类模型的输入阶段对n元语法模型处理后的词典进行TF-IDF筛选,使用LDA模型进行语料库主题分析,依据所得结果对特征词典进行补充,从而在计算输入词序列向量均值时偏向高区分度的词条,使其更适用于中文短文本分类环境.对比实验结果可知,所提方法在中文短文本分类方面具有更高的精确率. 展开更多

关键词 中文短文本分类 FastText 词频-逆文本频率 词向量 隐含狄利克雷分布

在线阅读 下载PDF 职称材料

基于TF-IDF和VOSviewer的我国应急救援现状可视化分析 被引量：5

9

作者 黄萍 张文龙 +2 位作者 叶圣琳 余君 余龙星 《中国安全科学学报》 CAS CSCD 北大核心 2023年第11期196-205,共10页

为有效利用消防救援队伍的实战记录资料挖掘应急救援战例成功经验,结合词频-逆文档频率(TF-IDF)算法和VOSviewer文献可视化分析技术,构建战例资料分析模型,分析战例成功与失败的共性规律和特点,总结我国应急救援现状及发展趋势。模型以2... 为有效利用消防救援队伍的实战记录资料挖掘应急救援战例成功经验,结合词频-逆文档频率(TF-IDF)算法和VOSviewer文献可视化分析技术,构建战例资料分析模型,分析战例成功与失败的共性规律和特点,总结我国应急救援现状及发展趋势。模型以2007—2019年间共185起应急救援典型战例为数据库,按照自然灾害、交通事故、建筑坍塌、危化品泄漏、火灾扑救等应急救援行动类型展开分析。结果表明:我国应急救援行动的影响因素主要表现在人(救援队伍)、机(装备技术)、环(环境)、管(管理)4个方面。其中,环境因素的影响几乎都是负面的,其他3个因素均有正负面影响。此外,不同应急救援行动类型的主导影响因素存在差异,自然灾害突出“机”;交通事故突出“管”;建筑坍塌突出“机”“环”;危化品泄漏在“人机环管”4个方面均有突出问题;火灾救援突出“机”。 展开更多

关键词 词频-逆文档频率(TF-IDF) VOSviewer 应急救援 消防救援 可视化分析 战例分析

在线阅读 下载PDF 职称材料

文本分类TF-IDF算法的改进研究 被引量：117

10

作者 叶雪梅 毛雪岷 +1 位作者 夏锦春 王波 《计算机工程与应用》 CSCD 北大核心 2019年第2期104-109,161,共7页

中国互联网环境的发展,让大量蕴含丰富信息的新词得以普及。而传统的特征词权重TF-IDF(Term Frequency and Inverted Document Frequency)算法主要考虑TF和IDF两个方面的因素,未考虑到新词这一新兴词类的优势。针对特征项中的新词对分... 中国互联网环境的发展,让大量蕴含丰富信息的新词得以普及。而传统的特征词权重TF-IDF(Term Frequency and Inverted Document Frequency)算法主要考虑TF和IDF两个方面的因素,未考虑到新词这一新兴词类的优势。针对特征项中的新词对分类结果的影响,提出基于网络新词改进文本分类TF-IDF算法。在文本预处理中识别新词,并在向量空间模型表示中改变特征权重计算公式。实验结果表明把新词发现加入文本预处理,可以达到特征降维的目的,并且改进后的特征权重算法能优化文本分类的结果。 展开更多

关键词 新词 词频-逆文档频率(TF-IDF) 向量空间模型 文本分类

在线阅读 下载PDF 职称材料

基于TI-Rank的弹幕关键词提取方法 被引量：3

11

作者 何梓源 张仰森 +1 位作者 吴云芳 亓文法 《计算机工程与设计》 北大核心 2022年第2期580-586,共7页

为提供准确且更贴近日常用语的关键词,针对视频弹幕内容提出一种基于TI-RANK(TTF-ICDF-DWTextRank)的词频词义相结合的关键词提取模型。将标题内容进行分类得到标题的关键信息,将该信息用于词频提取构建TTF算法;进一步考虑词频与篇章数... 为提供准确且更贴近日常用语的关键词,针对视频弹幕内容提出一种基于TI-RANK(TTF-ICDF-DWTextRank)的词频词义相结合的关键词提取模型。将标题内容进行分类得到标题的关键信息,将该信息用于词频提取构建TTF算法;进一步考虑词频与篇章数对提取效果的影响,通过分段函数构建ICDF算法;引入语义维度信息并利用中文拼音作为编辑距离的计算单元构建DWTextRank模型。实验结果表明,TI-RANK模型提取关键词的F1值达到0.8以上,相较传统TF-IDF和TextRank算法提高了约20%。为更合理评价关键词提取的准确率,按照关键词重要程度降序排列定义三级梯度评价标准,该标准能够更好体现出排序靠前关键词的正确性对准确率的影响。 展开更多

关键词 词频-逆文档频率 文本关键词抽取 词频词义关键词提取 三级梯度评价标准 视频弹幕

在线阅读 下载PDF 职称材料

结合TF-IDF的歌曲情感多标记分类 被引量：4

12

作者 孙向琨 邓伟 《计算机工程》 CAS CSCD 北大核心 2011年第19期189-190,197,共3页

提出一种结合词频-逆向文件频率(TF-IDF)规则与多标记分类的歌曲情感分析方法。对歌曲中基于声学特征的音乐内容,用带向量夹角的多标记k近邻算法进行分类,将TF-IDF规则用于歌词内容,以计算歌词情感分数,并将其作为情感特征。采用该方法... 提出一种结合词频-逆向文件频率(TF-IDF)规则与多标记分类的歌曲情感分析方法。对歌曲中基于声学特征的音乐内容,用带向量夹角的多标记k近邻算法进行分类,将TF-IDF规则用于歌词内容,以计算歌词情感分数,并将其作为情感特征。采用该方法对歌词内容分类错误的类别标记进行修正。选用396首英文歌曲对该算法进行测试,结果表明,与其他方法相比,该方法能使分类精确度从69%提高到74%。 展开更多

关键词 多标记分类 歌曲情感分类 多标记k近邻算法 词频-逆向文件频率

在线阅读 下载PDF 职称材料

一种改进型TF-IDF文本聚类方法 被引量：17

13

作者 张蕾 姜宇 孙莉 《吉林大学学报（理学版）》 CAS 北大核心 2021年第5期1199-1204,共6页

针对传统词频-逆文档频率(TF-IDF)算法对具有特定属性的文本分类存在的不足,尤其是词汇在特定分类中具有特殊意义情形下准确率较低的问题,提出一种改进的TF-IDF文本聚类算法.采用2015—2019年吉林省科研机构发表论文数据进行对比实验,... 针对传统词频-逆文档频率(TF-IDF)算法对具有特定属性的文本分类存在的不足,尤其是词汇在特定分类中具有特殊意义情形下准确率较低的问题,提出一种改进的TF-IDF文本聚类算法.采用2015—2019年吉林省科研机构发表论文数据进行对比实验,分别用改进TF-IDF算法和传统TF-IDF算法先统计论文中的关键词词频,再通过K-means++算法进行聚类,最后使用随机森林算法分别评估聚类的准确性.实验结果表明,改进TF-IDF算法提高了分类的准确率. 展开更多

关键词 词频-逆文档频率(TF-IDF) 混合聚类 交叉学科 基本科学指标数据库(ESI)文献

在线阅读 下载PDF 职称材料

意象驱动的产品造型智能设计方法

14

作者 苏建宁 鱼宝银 +2 位作者 李雄 张志鹏 郭睿 《机械设计》 CSCD 北大核心 2024年第8期115-120,共6页

为更准确地挖掘用户情感偏好,采用人工智能技术辅助设计满足需求的产品方案,提出一种意象驱动的产品造型智能设计方法。对产品在线评论数据进行筛选,应用词频-逆文件频率技术(Term Frequency-Inverse Document Frequence,TF-IDF)提取描... 为更准确地挖掘用户情感偏好,采用人工智能技术辅助设计满足需求的产品方案,提出一种意象驱动的产品造型智能设计方法。对产品在线评论数据进行筛选,应用词频-逆文件频率技术(Term Frequency-Inverse Document Frequence,TF-IDF)提取描述产品造型的代表性感性意象词汇,经聚类分析后获得目标意象,并结合语义差分量表获得样本意象评价值;采用GoogLeNet卷积神经网络构建意象回归模型,预测其余样本评分,获得意象评价数据;针对不同意象进行样本构成元素解构,依据重要度排序设置训练提示词;最后通过微调稳定扩散模型(Stable Diffusion XL,SDXL),构建低秩适应(Low-Rank Adaption,LoRA)意象造型生成模型。以吹风机为例实现目标感性意象的创新设计方案生成,验证了方法的可行性与合理性,可有效指导产品的创新设计。 展开更多

关键词 产品造型 感性意象 智能设计 词频-逆文件频率技术 GoogLeNet LoRA

在线阅读 下载PDF 职称材料

基于改进TF-IDF可疑人员文本表示方法 被引量：5

15

作者 何隽飞 赵慧 何学明 《计算机工程与设计》 北大核心 2021年第2期396-401,共6页

为解决重大安保任务中,情报人员在进行可疑人员情报研判时效率低下的问题,提出一种面向情报研判的可疑人员文本表示方法。针对可疑人员信息库的特点,将文本分类领域的文本表示方法应用到情报研判领域,引入文本类别参数,改进TF-IDF算法,... 为解决重大安保任务中,情报人员在进行可疑人员情报研判时效率低下的问题,提出一种面向情报研判的可疑人员文本表示方法。针对可疑人员信息库的特点,将文本分类领域的文本表示方法应用到情报研判领域,引入文本类别参数,改进TF-IDF算法,提升算法提取分类特征的能力;通过属性加权的文本表示方法将可疑人员信息制作成特征向量,使用支持向量机实现可疑人员情报研判。实验验证了该方法的可行性,其研判精确率达到98.8%,满足实际研判任务要求的标准,为情报人员提供了高质量的研判参考。 展开更多

关键词 可疑人员 情报研判 文本表示 词频-逆文档频率 词向量

在线阅读 下载PDF 职称材料

社会网络环境下双驱动DEMATEL的群智知识融合应急决策方法 被引量：5

16

作者 陈兆芳 黄鹏城 黄文翰 《安全与环境学报》 CAS CSCD 北大核心 2024年第6期2336-2347,共12页

针对多属性应急群决策中决策属性缺少数据支持和公众难以参与决策过程的问题,提出了一种使用信任网络计算专家权重和融合公众知识与专家知识的双驱动模型的应急决策方法。首先,考虑传统模型只能依赖主观经验的不足,通过分析社交媒体中... 针对多属性应急群决策中决策属性缺少数据支持和公众难以参与决策过程的问题,提出了一种使用信任网络计算专家权重和融合公众知识与专家知识的双驱动模型的应急决策方法。首先,考虑传统模型只能依赖主观经验的不足,通过分析社交媒体中的文本数据来获得公众意见,并使用词频-逆文档频率算法(Term Frequency-Inverse Document Frequency, TF-IDF)提取意见中的关键信息,以公众大数据来获得数据驱动因素,同时,通过决策专家提供的专家知识,为决策过程提供知识驱动因素,构成双驱动的决策实验室分析法(Decision Making Trial and Evaluation Laboratory, DEMATEL)模型来建立评价属性体系,模型中影响因素的相互作用程度由公众大数据与专家评价共同决定,以得到公众知识数据与专家知识评价融合的结果;其次,使用社会网络表示专家之间的信任关系与信任强度,并通过Louvain算法对专家进行聚类,通过社会网络中节点的度中心性与接近中心性,得到个体的权重进而计算出各聚类权重,使用直觉模糊加权平均算子(Iterative Fuzzy Weighted Averaging, IFWA)结合决策偏好与属性权重,通过得分函数计算备选方案的得分,并依据得分结果对方案排序以得到最优的解决方案;最后,结合“7·20”郑州市突发暴雨案例证明了本方法的可行性和有效性。 展开更多

关键词 公共安全 决策实验室分析法(DEMATEL) 应急决策 词频-逆文档频率算法(TF-IDF) 群智融合

在线阅读 下载PDF 职称材料

基于深度特征融合的协同推荐算法 被引量：1

17

作者 王成 《南京理工大学学报》 CAS CSCD 北大核心 2024年第4期460-468,共9页

深度神经网络存在数据稀疏性难题和推荐精度不高的问题,为此提出一种基于深度特征融合的协同推荐算法,通过将深度神经网络与协同过滤算法相融合来改善问题。首先利用二次多项式回归模型对用户-项目评分矩阵进行特征提取;其次利用深度神... 深度神经网络存在数据稀疏性难题和推荐精度不高的问题,为此提出一种基于深度特征融合的协同推荐算法,通过将深度神经网络与协同过滤算法相融合来改善问题。首先利用二次多项式回归模型对用户-项目评分矩阵进行特征提取;其次利用深度神经网络对所输入的潜在特征进行训练,生成用户-项目评分;最后利用词频-逆向文件频率算法所生成的推荐候选集,融合用户-项目评分并最终输出推荐结果。利用MovieLens评分数据进行实验,该文混合推荐算法的平均绝对差(MAE)和均方根误差(RMSE)分别为0.7459、0.8886,比传统深度神经网络分别提高14.143%与24.341%,也优于对照组的混合推荐模型。 展开更多

关键词 深度神经网络 二次多项式 词频-逆向文件频率 特征融合 相似度

在线阅读 下载PDF 职称材料

统计与规则相融合的领域术语抽取算法 被引量：12

18

作者 樊梦佳 段东圣 +2 位作者 杜翠兰 张仰森 佟玲玲 《计算机应用研究》 CSCD 北大核心 2016年第8期2282-2285,2306,共5页

针对领域术语抽取问题,采用基于规则和多种统计策略相融合的方法,从词语度和领域度两个角度出发,提出一种领域术语的抽取算法并构建出相应的抽取系统。系统流程包括基于左右信息熵扩展的候选领域术语获取、基于词性搭配规则与边界信息... 针对领域术语抽取问题,采用基于规则和多种统计策略相融合的方法,从词语度和领域度两个角度出发,提出一种领域术语的抽取算法并构建出相应的抽取系统。系统流程包括基于左右信息熵扩展的候选领域术语获取、基于词性搭配规则与边界信息出现概率知识库相结合的词语度筛选策略以及基于词频—逆文档频率(TF-IDF)的领域度筛选策略。运用此算法不但能抽取出领域的常见用词,还可以挖掘出领域新词。实验结果显示,基于该方法构建的领域术语抽取系统的准确率为84.33%,能够有效支持中文领域术语的自动抽取。 展开更多

关键词 领域术语抽取 词语度 领域度 左右信息熵扩展 边界检测 词频-逆文档频率

在线阅读 下载PDF 职称材料

基于Laplacian图谱的短文本聚类算法 被引量：2

19

作者 孟海宁 冯锴 +3 位作者 朱磊 张贝贝 童新宇 黑新宏 《电子学报》 EI CAS CSCD 北大核心 2021年第9期1716-1723,共8页

提出基于词频处理的Laplacian图谱聚类算法,以解决短文本数据维数高、特征稀疏等问题.首先采用词频-逆文本频率指数TF-IDF(Term Frequency-Inverse Document Frequency)方法,将短文本数据集映射到文本向量空间得到词频权值矩阵;其次利用... 提出基于词频处理的Laplacian图谱聚类算法,以解决短文本数据维数高、特征稀疏等问题.首先采用词频-逆文本频率指数TF-IDF(Term Frequency-Inverse Document Frequency)方法,将短文本数据集映射到文本向量空间得到词频权值矩阵;其次利用Laplacian矩阵的图谱聚类特性,对词频权值矩阵进行数据降维处理;然后依据Laplacian矩阵的特征值表示文本相似度的特点,选择前K个特征值对应的特征向量作为初始聚类中心,以减少聚类过程的迭代次数.在SSC、20 News Group及Microblog PCU数据集上进行相关实验,结果表明Laplacian图谱聚类算法比传统聚类算法,不仅具有更优的聚类结果与更快的收敛速度,而且受噪声点影响较小,有很好的鲁棒性. 展开更多

关键词 Laplacian图谱 词频-逆文本频率指数 短文本聚类 向量空间模型 数据降维 特征权值

在线阅读 下载PDF 职称材料

网络评论文本驱动的汽车设计规划方法 被引量：15

20

作者 张国方 寇姣姣 陈令华 《机械设计》 CSCD 北大核心 2021年第2期139-144,共6页

为将网络评论文本中的关键信息应用于汽车设计开发中,利用词频-逆文档频率算法(Term Frequency-Inverse Document Frequency,TF-IDF)及依存句法分析提取产品特征,基于BERT(Bidirectional Encoder Representation from Transformers)预... 为将网络评论文本中的关键信息应用于汽车设计开发中,利用词频-逆文档频率算法(Term Frequency-Inverse Document Frequency,TF-IDF)及依存句法分析提取产品特征,基于BERT(Bidirectional Encoder Representation from Transformers)预训练模型进行文本情感分析。通过搭建质量屋进行用户需求转化,完成工程技术特性重要度评价,把握产品设计方向,得到评论数据驱动的产品规划方法。以微型汽车设计规划为例,获取了部分工程技术特性优先级,验证了该方法的可行性,不仅能快速获取用户的客观反馈,缩短产品开发周期,并能有效地将用户需求转化为可执行的设计问题。 展开更多

关键词 汽车设计 质量屋 自然语言处理 词频-逆文档频率算法 需求分析

在线阅读 下载PDF 职称材料