基于复杂网络的垃圾短信过滤算法 被引量：8

1

作者 黄文良 刘勇 +1 位作者 钟志强 沈仲明 《自动化学报》 EI CSCD 北大核心 2009年第7期990-996,共7页

对垃圾短信发送用户的识别和过滤具有十分重要的研究价值和社会意义.随着新形式和内容的垃圾短信出现,传统的关键字匹配和发送速度频率过滤方法无法有效地处理这一问题.在对短信发送/接收网络形式化表达的基础上,以真实短信发送和接收... 对垃圾短信发送用户的识别和过滤具有十分重要的研究价值和社会意义.随着新形式和内容的垃圾短信出现,传统的关键字匹配和发送速度频率过滤方法无法有效地处理这一问题.在对短信发送/接收网络形式化表达的基础上,以真实短信发送和接收以及通话关系数据为例,统计和分析了短信发送网络的网络特性.进一步分析和挖掘了垃圾短信用户在网络上发送接收的异常模式和行为,并以此提出了一个基于语音关联程度和短信回复比率的过滤算法(NASFA算法).通过实验和分析表明,本文的算法能够高效地识别垃圾短信发送用户,同时能够有效地控制将正常用户误识别为垃圾短信用户的比率. 展开更多

关键词 复杂网络 无标度网络 垃圾短信过滤 幂律 出入度比

在线阅读 下载PDF 职称材料

基于朴素贝叶斯和支持向量机的自适应垃圾短信过滤系统 被引量：17

2

作者 金展 范晶 +1 位作者 陈峰 徐从富 《计算机应用》 CSCD 北大核心 2008年第3期714-718,共5页

随着短信业务的不断发展,垃圾短信的特征和内容也在不断变化,传统垃圾短信过滤系统中存在的主要问题是,短信特征和内容未能得到及时更新而导致过滤性能降低。考虑朴素贝叶斯的快速统计分类及支持向量机(SVM)的增量训练等特点,将其应用... 随着短信业务的不断发展,垃圾短信的特征和内容也在不断变化,传统垃圾短信过滤系统中存在的主要问题是,短信特征和内容未能得到及时更新而导致过滤性能降低。考虑朴素贝叶斯的快速统计分类及支持向量机(SVM)的增量训练等特点,将其应用于垃圾短信过滤中,并把分析结果及时反馈给在线过滤子系统,使得系统具有更好的自适应性。实验结果表明,该方法可有效地解决当前垃圾短信过滤系统中存在的问题。 展开更多

关键词 垃圾短信过滤 朴素贝叶斯 支持向量机

在线阅读 下载PDF 职称材料

基于内容的垃圾短信过滤 被引量：17

3

作者 李辉 张琦 卢湖川 《计算机工程》 CAS CSCD 北大核心 2008年第12期154-156,共3页

研究一种基于最小风险贝叶斯决策的垃圾短信过滤方法。对于以文本信息为主的短信,采用信息增益的方法进行特征选择,使用基于最小风险贝叶斯决策方法进行分类。通过自建短信语料库对该方法进行了实验。实验结果表明,该方法能够准确地对... 研究一种基于最小风险贝叶斯决策的垃圾短信过滤方法。对于以文本信息为主的短信,采用信息增益的方法进行特征选择,使用基于最小风险贝叶斯决策方法进行分类。通过自建短信语料库对该方法进行了实验。实验结果表明,该方法能够准确地对短信进行分类,降低合法短信的分类错误率,分类正确率达到99.3%,符合了短信分类要求。 展开更多

关键词 垃圾短信 短信过滤 文本分类 朴素贝叶斯

在线阅读 下载PDF 职称材料

移动环境下的垃圾短信过滤系统的研究 被引量：14

4

作者 邓维维 彭宏 《计算机应用》 CSCD 北大核心 2007年第1期221-224,共4页

提出了一种分布式的垃圾短信过滤系统,它适合于移动网络,具有自学习能力,能够及时发现垃圾信息源,有效的过滤垃圾短信。在传统以词为属性的贝叶斯过滤算法的基础上,加入了规则和长度信息,利用互信息减小单词属性的个数。实验表明,它在... 提出了一种分布式的垃圾短信过滤系统,它适合于移动网络,具有自学习能力,能够及时发现垃圾信息源,有效的过滤垃圾短信。在传统以词为属性的贝叶斯过滤算法的基础上,加入了规则和长度信息,利用互信息减小单词属性的个数。实验表明,它在短信过滤方面具有空间占用小和性能更好的特点,适合在移动电话上使用。同时还提出了一种垃圾短信发送者的可能性排名的方法。 展开更多

关键词 移动计算 垃圾短信 短信过滤 朴素贝叶斯

在线阅读 下载PDF 职称材料

一种高效垃圾短信过滤系统的实现 被引量：5

5

作者 黄文良 陈纯 罗云彬 《电信科学》 北大核心 2008年第5期61-67,共7页

本文提出了一种适用于对互联网发送的垃圾短信进行监控和过滤的解决方案,该方案根据短信日发送频度、短信内容、短信长度等特征,采用模糊匹配和频度监控相结合的方法进行短信监控和过滤。系统中创新性地提出了内容预变换、关键字加权控... 本文提出了一种适用于对互联网发送的垃圾短信进行监控和过滤的解决方案,该方案根据短信日发送频度、短信内容、短信长度等特征,采用模糊匹配和频度监控相结合的方法进行短信监控和过滤。系统中创新性地提出了内容预变换、关键字加权控制频度等方法,相比传统方法而言,本系统在过滤准确度和误判率两方面的指标均获得大幅度提升。 展开更多

关键词 垃圾短信过滤 模糊匹配 频度监控

在线阅读 下载PDF 职称材料

设计科学视角的垃圾短信过滤算法研究 被引量：3

6

作者 夏火松 罗盼 高苗苗 《计算机工程与应用》 CSCD 北大核心 2016年第19期111-116,共6页

基于设计科学的视角,利用回复率规则,提出了度量短信重要性的Sms Rank算法,并将该方法引入到垃圾短信的过滤算法中。通过实验,使用R语言验证了该算法在过滤垃圾短信的有效性,并且与SVM算法的分类结果做对比,结果表明其精准率明显优于SV... 基于设计科学的视角,利用回复率规则,提出了度量短信重要性的Sms Rank算法,并将该方法引入到垃圾短信的过滤算法中。通过实验,使用R语言验证了该算法在过滤垃圾短信的有效性,并且与SVM算法的分类结果做对比,结果表明其精准率明显优于SVM算法。最后,利用该算法提出了基于短信服务中心的应用模式。 展开更多

关键词 设计科学 SmsRank算法 垃圾短信过滤 R语言 SVM算法 应用模式

在线阅读 下载PDF 职称材料

数据挖掘在垃圾短信过滤中的应用 被引量：6

7

作者 沈超 黄卫东 《电子科技大学学报》 EI CAS CSCD 北大核心 2009年第S1期21-24,共4页

针对手机垃圾短信泛滥、治理效果不佳的问题,基于运营商现有业务平台,借助统计分析和数据挖掘技术设计了垃圾短信过滤系统,提出了垃圾短信过滤闭环流程图;系统根据动态获取的垃圾短信数据自动生成过滤规则,在信息转发阶段对垃圾短信进... 针对手机垃圾短信泛滥、治理效果不佳的问题,基于运营商现有业务平台,借助统计分析和数据挖掘技术设计了垃圾短信过滤系统,提出了垃圾短信过滤闭环流程图;系统根据动态获取的垃圾短信数据自动生成过滤规则,在信息转发阶段对垃圾短信进行过滤。结合某省运营商短信运营数据对垃圾短信过滤进行了实证研究,在分析样本短信数据的基础上确定了建模特征属性集,采用决策树推进算法获取了垃圾短信的过滤规则,并设计了垃圾短信过滤方案,从准确率和覆盖率两方面进行了验证,取得了较好的效果。 展开更多

关键词 决策树推进算法 数据挖掘 短信过滤 垃圾短信

在线阅读 下载PDF 职称材料

多阶段三支决策垃圾短信过滤模型 被引量：7

8

作者 李建林 黄顺亮 《计算机科学与探索》 CSCD 2014年第2期226-233,共8页

提出了一种多阶段三支决策垃圾短信过滤模型。该模型使用不同的信息粒度对短信进行表示,运用序列决策(即多阶段、多步骤决策),在不同的决策阶段基于不同的信息粒度分别进行三支决策,有效地避免了当信息粒度太大或信息量不足时进行不合... 提出了一种多阶段三支决策垃圾短信过滤模型。该模型使用不同的信息粒度对短信进行表示,运用序列决策(即多阶段、多步骤决策),在不同的决策阶段基于不同的信息粒度分别进行三支决策,有效地避免了当信息粒度太大或信息量不足时进行不合理的决策,对于不能满足当前决策条件的信息,可以通过补充足够的粒度信息作进一步的决策。最后通过实验证明了该模型的合理性和有效性。 展开更多

关键词 三支决策 序列决策 短信(SMS) 多阶段垃圾短信过滤 粒计算 SHORT MESSAGING service (SMS)

在线阅读 下载PDF 职称材料

短信过滤系统设计分析 被引量：3

9

作者 胡日勒 蔡洁 钟义信 《计算机应用研究》 CSCD 北大核心 2008年第8期2557-2560,共4页

设计了一种手机终端上基于短信内容的垃圾短信过滤系统。系统采用了平衡Winnow算法,该算法具有分类速度快、性能好以及支持在线更新的优点,适用于手机终端资源有限、需要实时或者定期更新分类器的情况。通过一系列的实验分析,证明该方... 设计了一种手机终端上基于短信内容的垃圾短信过滤系统。系统采用了平衡Winnow算法,该算法具有分类速度快、性能好以及支持在线更新的优点,适用于手机终端资源有限、需要实时或者定期更新分类器的情况。通过一系列的实验分析,证明该方法的有效性,并给出了对该方法的全面评估。对于该算法将来在信息过滤领域的应用,提供了全面的分析依据。 展开更多

关键词 短信过滤系统 垃圾过滤 平衡Winnow算法 在线更新

在线阅读 下载PDF 职称材料

面向垃圾短信过滤的亚文档集成学习 被引量：1

10

作者 刘伍颖 王琳 《郑州大学学报（理学版）》 CAS 北大核心 2017年第3期59-64,共6页

针对垃圾短信过滤问题,提出了一种亚文档集成学习方法.该方法采用亚文档集成学习框架将短文本在线二值分类问题转化成若干个子分类问题,并通过线性组合多个子问题的分类结果得出最终的分类预测.利用基于串频索引的文本分类算法实现了一... 针对垃圾短信过滤问题,提出了一种亚文档集成学习方法.该方法采用亚文档集成学习框架将短文本在线二值分类问题转化成若干个子分类问题,并通过线性组合多个子问题的分类结果得出最终的分类预测.利用基于串频索引的文本分类算法实现了一种有效的弱分类器.实验数据表明亚文档集成学习框架能够提高现有文本分类算法的效能,而在亚文档集成学习框架下,基于串频索引的弱分类器过滤效果最佳. 展开更多

关键词 垃圾短信过滤 亚文档集成学习 串频索引 TREC评测

在线阅读 下载PDF 职称材料

一种客户端短信过滤的样本特征库生成方法

11

作者 包理群 侯志伟 李祥林 《计算机工程》 CAS CSCD 2014年第1期199-202,共4页

针对目前中文短信过滤研究缺乏样本库的现状,提出一种客户端样本特征库生成方法。设计客户端短信过滤样本特征数据库,将客户端接收到的短信进行预处理和中文分词,考虑高信息量的低频词和带有较强类别特性的特征词,改进互信息评价函数提... 针对目前中文短信过滤研究缺乏样本库的现状,提出一种客户端样本特征库生成方法。设计客户端短信过滤样本特征数据库,将客户端接收到的短信进行预处理和中文分词,考虑高信息量的低频词和带有较强类别特性的特征词,改进互信息评价函数提取样本特征,形成特征数据。采用Naive Bayes算法测试特征数目对过滤器性能的影响,实验结果表明,当特征数目为10时,测试准确率达到最大值,当样本特征库中短信数目达到2 000条时,数据库文件的大小约为714.28 KB,可在普通手机平台上运行,验证了特征库生成方法的可行性。 展开更多

关键词 客户端短信过滤 样本特征库 嵌入式数据库 ARM—Linux平台 移植 互信息

在线阅读 下载PDF 职称材料

基于朴素贝叶斯算法的藏文垃圾短信过滤初探

12

作者 拥措 《西藏大学学报（社会科学版）》 CSSCI 2013年第4期59-64,共6页

近年来藏文移动终端的研发和推广工作蓬勃发展,对藏文化的发展产生了深远的影响,但同时也给信息安全带来了巨大挑战。文章分析了藏文移动终端、藏文手机输入法和藏文垃圾短信过滤现状,探讨了朴素贝叶斯算法在垃圾短信过滤中的应用,最后... 近年来藏文移动终端的研发和推广工作蓬勃发展,对藏文化的发展产生了深远的影响,但同时也给信息安全带来了巨大挑战。文章分析了藏文移动终端、藏文手机输入法和藏文垃圾短信过滤现状,探讨了朴素贝叶斯算法在垃圾短信过滤中的应用,最后提出了基于朴素贝叶斯算法的藏文垃圾短信过滤的相关问题,并研究了相关关键技术。 展开更多

关键词 垃圾短信 藏文信息处理 朴素卑叶斯 短信过滤

在线阅读 下载PDF 职称材料

不均衡训练集下短信过滤系统kNN方法的研究 被引量：1

13

作者 徐山 杜卫锋 《计算机应用与软件》 CSCD 北大核心 2013年第11期84-86,共3页

不良短信的泛滥,严重影响了社会风气,干扰了人们正常的生活秩序,研发不良短信过滤技术具有相当的实用价值。应用中科院计算所研制开发的ICTCLAS分词系统,结合TFIDF词权度量指标提取关键词,实现短信文本到特征向量的转换,然后采用kNN方... 不良短信的泛滥,严重影响了社会风气,干扰了人们正常的生活秩序,研发不良短信过滤技术具有相当的实用价值。应用中科院计算所研制开发的ICTCLAS分词系统,结合TFIDF词权度量指标提取关键词,实现短信文本到特征向量的转换,然后采用kNN方法实现短信的类别判断,从而实现不良短信的过滤。另外,针对训练集分布不均衡的情况,应用基于密度的改进方法,较为有效地处理了原来分类结果倾向于大类别样本的情况。实验表明,改进后的方法的准确率约79.18%,比原方法提升了约1.23%。该方法能够比较有效地过滤不良短信,具有一定的实用价值。 展开更多

关键词 短信过滤 不均衡训练集 k近邻方法 向量空间模型

在线阅读 下载PDF 职称材料

离线垃圾短信过滤中社会网络行为模式的分析与应用

14

作者 俞泱 陈羽中 《小型微型计算机系统》 CSCD 北大核心 2013年第8期1877-1881,共5页

随着手机短消息服务的发展,垃圾短信呈爆炸性的增长趋势,给人们的日常生活带来了不便,也给通信运营商带来了损失.本文利用短信用户之间的联系构建短信社会网络,分析用户在短信社会网络中的关系及其行为模式,从中抽取出具有类别区分度的... 随着手机短消息服务的发展,垃圾短信呈爆炸性的增长趋势,给人们的日常生活带来了不便,也给通信运营商带来了损失.本文利用短信用户之间的联系构建短信社会网络,分析用户在短信社会网络中的关系及其行为模式,从中抽取出具有类别区分度的社会网络特征,提出了一种新的离线垃圾短信过滤模型.模型针对海量短信数据处理时存在的时空效率的瓶颈问题,提出了线性特征统计算法LFSA,并结合高斯核密度估计和贝叶斯分类器,对短信进行分类过滤.我们使用某省通信运营商提供的30亿条短信数据对模型进行测试,做实验分析.实验结果表明,我们提出的模型能满足运营商的各项性能指标要求,并已部署和应用. 展开更多

关键词 短信过滤 社会网络 行为模式 高斯核密度估计 贝叶斯分类器

在线阅读 下载PDF 职称材料

云计算技术在垃圾短信过滤中的应用与实现 被引量：7

15

作者 孙大鹏 《信息网络安全》 2015年第7期13-19,共7页

垃圾短信的问题日益突显,不仅对人们的正常生活造成了诸多的不良影响,还对公共安全和社会稳定造成了一定程度的危害。因此对垃圾短信准确过滤显得尤其重要。经过研究发现,现有的短信过滤技术存在一些不足:基于黑白名单的过滤技术显得过... 垃圾短信的问题日益突显,不仅对人们的正常生活造成了诸多的不良影响,还对公共安全和社会稳定造成了一定程度的危害。因此对垃圾短信准确过滤显得尤其重要。经过研究发现,现有的短信过滤技术存在一些不足:基于黑白名单的过滤技术显得过于简单粗暴,基于内容分析的垃圾短信过滤技术虽然准确度得到很大程度的提高,但在实现上也存在着复杂度过高、易导致信息网络阻塞等不足。针对这一缺点,文章详细调查分析了近年来飞速发展起来的云计算技术,发现其在伸缩性、可靠性、成本等方面具有非常大的优势,尤其是依靠它的高扩展能力可以把计算规模做到无限大,而成本又非常低,可以作为不错的计算平台。在此基础上,文章深入分析正在使用的垃圾短信过滤的实现方案,对各过滤实现方式的原理及其性能做了仔细分析比较。文章分析了现行基于内容过滤器所使用的算法,发现其可以通过云计算的Hadoop开源实现方案中的Map Reduce编程模型来实现。 展开更多

关键词 云计算 垃圾短信过滤 HADOOP MAP REDUCE

在线阅读 下载PDF 职称材料

基于Hash函数和贝叶斯方法的垃圾短信在线过滤系统 被引量：7

16

作者 范晶 刘菊新 +1 位作者 陈峰 徐从富 《计算机应用》 CSCD 北大核心 2008年第4期1084-1086,共3页

提出了一种综合集成黑白名单过滤模块和综合评价函数模块的垃圾短信在线过滤系统架构,引入了两层Hash函数和基于朴素贝叶斯的概率计算方法,对疑似垃圾短信从内容、长度、频率等特征上进行深入分析,实现了海量短信的实时高效过滤,并有效... 提出了一种综合集成黑白名单过滤模块和综合评价函数模块的垃圾短信在线过滤系统架构,引入了两层Hash函数和基于朴素贝叶斯的概率计算方法,对疑似垃圾短信从内容、长度、频率等特征上进行深入分析,实现了海量短信的实时高效过滤,并有效地解决了传统垃圾短信过滤系统中存在的问题。 展开更多

关键词 垃圾短信过滤 HASH函数 朴素贝叶斯方法

在线阅读 下载PDF 职称材料

基于朴素贝叶斯和支持向量机的短信智能分析系统设计 被引量：18

17

作者 张兢 候旭东 吕和胜 《重庆理工大学学报（自然科学）》 CAS 2010年第1期77-80,共4页

为了解决垃圾短信的骚扰问题,提出了一种基于朴素贝叶斯和支持向量机的短信智能分析系统架构。考虑朴素贝叶斯的快速统计分类及支持向量机的增量训练等特点,将其应用于垃圾短信过滤中,并对关键词库进行及时更新,使得系统具有更好的自适... 为了解决垃圾短信的骚扰问题,提出了一种基于朴素贝叶斯和支持向量机的短信智能分析系统架构。考虑朴素贝叶斯的快速统计分类及支持向量机的增量训练等特点,将其应用于垃圾短信过滤中,并对关键词库进行及时更新,使得系统具有更好的自适应性。对某移动通信运营商提供的12万条短信进行反复实验,结果表明:该方法可有效地解决当前垃圾短信过滤系统中存在的问题。 展开更多

关键词 垃圾短信过滤 贝叶斯算法 支持向量机 文本分类

在线阅读 下载PDF 职称材料

基于社交网络机理的短信息监控系统

18

作者 仲玉芳 王慧芬 +1 位作者 叶星 吴明光 《电信科学》 北大核心 2011年第10期71-76,共6页

短信息实时过滤基于社交网络机理,从社交网络的聚类现象切入,通过确认发送者的身份实现短信息实时监控过滤。首先根据接收者与发送者之间是否存在通信历史对发送的短信进行预处理,进而根据接收者与发送者、接收者之间的通信历史记录实... 短信息实时过滤基于社交网络机理,从社交网络的聚类现象切入,通过确认发送者的身份实现短信息实时监控过滤。首先根据接收者与发送者之间是否存在通信历史对发送的短信进行预处理,进而根据接收者与发送者、接收者之间的通信历史记录实施二度实时过滤,确认发送者身份,拦截文本或多媒体形式的垃圾短信。并行过滤算法在对称多处理(SMP)的硬件平台上运行。 展开更多

关键词 社交网络 聚类现象 垃圾短信过滤 通信历史

在线阅读 下载PDF 职称材料