-
题名互联网上FTP文件的分布特征及启示
被引量：11
- 1
-
-
作者
陈华
王继民
韩近强
谢欣
-
机构
北京大学计算机系网络实验室
-
出处
《计算机工程与应用》
CSCD
北大核心
2004年第1期129-133,178,共6页
-
基金
国家973重点基础研究发展规划:网络环境下海量信息的理论与方法研究(编号:G1999032706)
-
文摘
北京大学网络实验室的“天网”文件搜索引擎是国内自主开发的一个海量(FTP和HTTP)文件搜索引擎系统,它的数据库维护着1千多万的FTP文件与目录信息,索引了国内大部分匿名FTP站点。该文对“天网”的海量FTP文件目录信息的分布特征进行了研究,并分析了其对文件搜索引擎设计以及FTP服务器分类管理等方面的某些重要启示。该文的研究成果将增强人们对互联网上文件分布特征的了解,对于设计和优化一个大规模的文件搜索引擎系统具有积极的指导作用。
-
关键词
FTP文件与服务器
分布特征
搜索引擎
文件系统
数据挖掘
-
Keywords
FTP Files&Servers,Search Engine,Distribution Char acteristic,file system,data mining
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名一个实用的针对URL的哈希函数
被引量：3
- 2
-
-
作者
肖明忠
闵博楠
王佳聪
代亚非
-
机构
北京大学计算机系网络实验室
-
出处
《小型微型计算机系统》
CSCD
北大核心
2006年第3期538-541,共4页
-
基金
国家"九七三"项目(G1999032706)资助
北大"九八五"项目资助.
-
文摘
在Web信息处理的研究中,不少情况下需要对很大的URL序列进行散列(hashing)操作.本文提出了一个针对URL数据集合的均匀哈希函数,它是ELFhash函数的变型.通过对天网搜索引擎采集的1亿多个URL集合的抽样实验表明它能有效使得URL集在哈希表中均匀散布.并通过与MD5和SHA-1的对比,认为它是实用的.最后,指出了进一步的研究方向.
-
关键词
URL
哈希函数
ELFhash
均匀分布
MD5
SHA-1
-
Keywords
URL
hashing function
ELFhash
even distribution
MD5
SHA-1
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名如何构建经济实惠的TB级存储服务器
- 3
-
-
作者
张进宇
-
机构
北京大学计算机系网络实验室
-
出处
《计算机工程与应用》
CSCD
北大核心
2003年第15期119-121,132,共4页
-
基金
国家863高技术研究计划项目支持(编号:2001AA111013)
-
文摘
该文结合笔者在北京大学网络实验室设计、开发、实现“燕捷”网络存储系统的经历,介绍了如何利用各种成熟的“大路货”部件成功地构建成本不超过30000元的TB级“海量”存储服务器。目前,这样的存储服务器不仅有效地应用于笔者开发的“燕捷”分布式网络存储系统,而且还用于该实验室建成的“中国网络信息博物馆”。前者在校园网上支持上千人每人1GB空间的文件存储活动,后者包含有2亿中国网页。这两个应用都已经是“日常性”应用,说明作为它们基础的存储服务设备是可靠的,其性能令人满意。
-
关键词
TB级存储服务器
IDE硬盘加速卡
软件RAIDO
-
Keywords
TeraByte Storage,IDE controller,Software RAID0
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
