-
题名搜索引擎增量式搜集的实现与评测
被引量：3
- 1
-
-
作者
雷凯
王东海
-
机构
北京大学深圳研究生院互联网研发中心
-
出处
《计算机工程》
CAS
CSCD
北大核心
2008年第13期78-80,106,共4页
-
基金
深圳市科技计划基金资助项目
北京大学深圳研究生院青年教师基金资助项目
-
文摘
针对传统的周期性集中式搜索(Crawler)的弱点和增量式Crawler的难点,提出预测更新策略,给出判别网页更新的MD5算法、URL调度算法和URL缓存算法,描述系统各个模块的分布式构架的实现,建立测试集数据对算法进行评测。该系统在北大天网搜索引擎上运行半年多,更新周期缩短了20天,变化预测命中率达到79.4%,提高了时效性、扩展性和稳定性。
-
关键词
增量式搜集
网页变化预测
搜索引擎
-
Keywords
incremental Crawler
Web evolution prediction
search engine
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名MazeLive：接收端驱动的P2P直播系统
- 2
-
-
作者
雷凯
李永华
孙涛
奉华
-
机构
北京大学深圳研究生院互联网研发中心
深圳大学城网络中心
-
出处
《计算机工程与设计》
CSCD
北大核心
2009年第7期1611-1614,1627,共5页
-
基金
国家科技部十一五科技支撑计划基金项目(2006BAH02A10)
深圳市科技计划基金项目(QK200605)
深圳市南山区科技计划基金项目(K2006084)
-
文摘
Mazelive P2P流媒体直播系统融合了Overlay组播较成功的经验:多父节点传输、分布式Overlay构建,同时具有一些新的优化:在伙伴发现上采用Push-PullGossip协议[1];接收端驱动,优化机制和策略,最大化流质量,增加冗余连接来提高容错性;设计了多源数据请求滑动窗口协议保证数据传输稳定,搭建了一套实际运行的系统。研究结果表明,该系统具有高效、可扩展、低负载等特点。
-
关键词
流媒体直播
对等网络
接收端驱
推/拉Gossip协议
滑动窗口
-
Keywords
live streaming
P2P
receiver-driven
push-pull gossip protocol
sliding window
-
分类号
TP393.02
[自动化与计算机技术—计算机应用技术]
-
