期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
面向蒙古文主题的网络爬虫采集策略模型
1
作者 马志强 张泽广 +1 位作者 闫瑞 杨双涛 《北京工业大学学报》 CAS CSCD 北大核心 2015年第7期1012-1019,共8页
针对蒙古文主题爬虫主要面临的预测采集URL和发现隧道2个核心问题,提出一种基于主题团的站点聚类、排序和隧道发现的采集模型.通过站点的主题识别,将待爬行URL分为站点链接和非站点链接,使用文本相似度和超链图分析建立了预测URL优先级... 针对蒙古文主题爬虫主要面临的预测采集URL和发现隧道2个核心问题,提出一种基于主题团的站点聚类、排序和隧道发现的采集模型.通过站点的主题识别,将待爬行URL分为站点链接和非站点链接,使用文本相似度和超链图分析建立了预测URL优先级排序算法,基于站点粒度设计了站点自适应隧道发现算法,最后,构建了一个面向蒙古文主题的网络爬虫系统.实验结果表明:该算法在采准率、信息总量与采集速率上都得到了提高,明显优于基线算法. 展开更多
关键词 主题爬虫 主题团模型 相关度计算 隧道 N-GRAM模型
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部