期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
双结构网络中URL去重机制研究
被引量：
1
1
作者
袁志伟
杨鹏
刘旋
《太原理工大学学报》
CAS
北大核心
2016年第1期68-74,共7页
针对双结构网络的特点及其URL去重面临的挑战,根据Bloom Filter的工作原理,提出一种基于可扩展的动态可分裂Bloom Filter的URL去重机制,并在原型系统中进行实现和部署。实验结果表明,该机制能够有效适用于大规模、高性能和分布式的双结...
针对双结构网络的特点及其URL去重面临的挑战,根据Bloom Filter的工作原理,提出一种基于可扩展的动态可分裂Bloom Filter的URL去重机制,并在原型系统中进行实现和部署。实验结果表明,该机制能够有效适用于大规模、高性能和分布式的双结构网络爬虫应用。
展开更多
关键词
统一内容标签去重
动态可分裂
布隆过滤器
双结构网络
网络爬虫
在线阅读
下载PDF
职称材料
题名
双结构网络中URL去重机制研究
被引量：
1
1
作者
袁志伟
杨鹏
刘旋
机构
东南大学计算机科学与工程学院
出处
《太原理工大学学报》
CAS
北大核心
2016年第1期68-74,共7页
基金
国家863计划课题基金资助项目:基于内容聚类与兴趣适配的高效内容分发技术(2013AA013503)
国家自然科学基金资助项目:具有互补双结构的新型网络及关键技术研究(61472080)
中国工程院咨询研究基金资助项目:国家第二网络战略研究(2015-XY-04)
文摘
针对双结构网络的特点及其URL去重面临的挑战,根据Bloom Filter的工作原理,提出一种基于可扩展的动态可分裂Bloom Filter的URL去重机制,并在原型系统中进行实现和部署。实验结果表明,该机制能够有效适用于大规模、高性能和分布式的双结构网络爬虫应用。
关键词
统一内容标签去重
动态可分裂
布隆过滤器
双结构网络
网络爬虫
Keywords
duplicated URL detection
dynamic splittable
bloom filter
dual-structural net work
web crawler
分类号
TP301 [自动化与计算机技术—计算机系统结构]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
双结构网络中URL去重机制研究
袁志伟
杨鹏
刘旋
《太原理工大学学报》
CAS
北大核心
2016
1
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
