摘要
微博噪音过滤具有去除垃圾样本、降低数据规模等作用。利用聚类算法产生噪音种子词,在未标注数据上采用FP-Growth算法对种子词扩展,生成噪音特征词词典,结合用户和内容特征,引入支持向量机模型用于噪音微博过滤。实验结果正确率为84%,召回率为79%,F1值为81%,证明该模型产生的噪音特征词有助于提升微博过滤的效果。
Microblog noise filtering can remove garbage samples and reduce data scale.The noise seed words are generated by the clustering algorithm.FP-Growth algorithm is used to expand the seed words on unlabeled data to generate a noise feature word dictionary.Combining user and content characteristics,the support vector machine model is introduced to filter noise microblogs.The experimental results shows that the precision is 84%,the recall is 79%,the F1 value is 81%,which proves that the noise char-acteristics generated by the model can help to improve the filtering effect of microblog.
作者
张晓瑜
高扬
苗星星
祝永霞
ZHANG Xiaoyu;GAO Yang;MIAO Xingxing;ZHU Yongxia(No.32317 Troops of PLA,Urumqi 830000;No.32319 Troops of PLA,Urumqi 830000;The Army Border Sea Defense Academy of PLA,Urumqi 830000)
出处
《计算机与数字工程》
2024年第2期496-501,共6页
Computer & Digital Engineering
作者简介
张晓瑜,男,硕士研究生,工程师,研究方向:计算机网络、信息检索;高扬,男,硕士研究生,工程师,研究方向:网络新媒体、信息安全;苗星星,男,助理工程师,研究方向:观点挖掘与网络舆情分析;祝永霞,女,硕士研究生,工程师,研究方向:自然语言处理。
