期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
一种高性能分布式Web Crawler的设计与实现 被引量:6
1
作者 张岭 叶允明 +2 位作者 宋晖 于水 马范援 《上海交通大学学报》 EI CAS CSCD 北大核心 2004年第1期59-61,共3页
介绍了一种大规模、高性能、分布式的Web信息搜集器的设计及其Java实现.提出了Crawler设计中数据结构、系统功能模块和相关算法新的设计思想;对设计与实现过程中需要解决的关键问题分布式协调机制、基于内存的URL存储管理等进行了讨论,... 介绍了一种大规模、高性能、分布式的Web信息搜集器的设计及其Java实现.提出了Crawler设计中数据结构、系统功能模块和相关算法新的设计思想;对设计与实现过程中需要解决的关键问题分布式协调机制、基于内存的URL存储管理等进行了讨论,并提供了现阶段的设计、实现方法和分布式无损链接分析算法. 展开更多
关键词 web信息搜集器 分布式系统 搜索引擎
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部