-
题名基于移动爬虫的专用Web信息收集系统的设计
被引量：3
- 1
-
-
作者
潘春华
冯太明
武港山
-
机构
南京大学计算机科学与技术系
-
出处
《计算机工程与应用》
CSCD
北大核心
2003年第36期153-156,共4页
-
基金
国家自然科学基金资助(编号:60073030)
国家教育部"现代远程教育关键技术研究重点项目"资助
富士通研究项目资助
-
文摘
搜索引擎已经成为网上导航的重要工具。为了能够提供强大的搜索能力,搜索引擎对网上可访问文档维持着详尽的索引。创建和维护索引的任务由网络爬虫完成,网络爬虫代表搜索引擎递归地遍历和下载Web页面。Web页面在下载之后,被搜索引擎分析、建索引,然后提供检索服务。文章介绍了一种更加有效的建立Web索引的方法,该方法是基于移动爬虫(MobileCrawler)的。在此提出的爬虫首先被传送到数据所在的站点,在那里任何不需要的数据在传回搜索引擎之前在当地被过滤。这个方法尤其适用于实施所谓的“智能”爬行算法,这些算法根据已访问过的Web页面的内容来决定一条有效的爬行路径。移动爬虫是移动计算和专业搜索引擎两大技术趋势的结合,能够从技术上很好地解决现在通用搜索引擎所面临的问题。
-
关键词
互联网
搜索引擎
web
信息收集系统
设计
移动爬虫
-
Keywords
information-gathering,search engine,mobile crawler,world wide web
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
