-
题名自然语言处理文本查重优化算法设计
被引量：12
- 1
-
-
作者
董星彤
陈士宏
陈淑鑫
-
机构
北京工商大学化学与材料工程学院
齐齐哈尔大学通信与电子工程学院
天津仁爱学院计算机科学与技术系
-
出处
《科学技术与工程》
北大核心
2022年第3期1091-1097,共7页
-
基金
国家自然科学基金(U2031142)
国家自然科学基金青年科学基金(11803013)。
-
文摘
为了探索高校学生实习时提交的实践报告文本存在着重复的问题,从高校教学管理部门收集到相关文本的分类数据,结合Jieba分词工具处理文本信息,利用Word2vec词向量转换技术,表现了自然语言精准的语义分析能力。考虑到主题词抽取、概率分布情况及时间复杂度三个方面,使用Python的OS库完成批处理去重、去停用词和去非中文词,运用重要采样思想优化LDA(latent dirichlet allocation),模型,提出了新的训练模型ISLDA(importance sampling latent dirichlet allocation)抽取主题词汇,并采用余弦相似度计算重复率。更好地实现了文本查重算法模型的优化,对比两个模型的主题词类别、各词汇分布概率,结果表明新训练模型优化了主题模型,提高了计算模型训练准确率及测试文本的查重能力,较理想地实现了文本查重分析设计方法。
-
关键词
语义分析
查重模型
重要性采样
文本向量化
相似度计算
-
Keywords
semantic analysis
duplicated-checking model
importance sampling
text vectorization
similarity calculation
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
