高速网络超连接主机检测中的流抽样算法研究 被引量：13

1

作者 王洪波 程时端 林宇 《电子学报》 EI CAS CSCD 北大核心 2008年第4期809-818,共10页

检测超连接主机是网络安全中的重要问题.而流抽样是高速网络环境下解决该问题的基础.现有解决方案使用基于哈希流抽样算法,其基本假设是存在均匀随机哈希函数.但是已有研究并没有评价此假设的合理性.该文通过技术分析和实验测试得出结论... 检测超连接主机是网络安全中的重要问题.而流抽样是高速网络环境下解决该问题的基础.现有解决方案使用基于哈希流抽样算法,其基本假设是存在均匀随机哈希函数.但是已有研究并没有评价此假设的合理性.该文通过技术分析和实验测试得出结论:在2.5Gbps以上高速网络中,以上假设在线性流ID序列情况下并不合理.随后,该文基于Bloom filter数据结构提出一种新的流抽样算法.算法分析表明:新算法具有10Gbps线速处理能力和较小的空间复杂度.最后,该文基于实际互联网数据进行实验评价,结果显示:新算法能够实现独立于流ID的等概率随机抽样. 展开更多

关键词 网络安全 超连接主机 流抽样 哈希函数 BLOOM FILTER

在线阅读 下载PDF 职称材料

一种面向流量异常检测的概率流抽样方法 被引量：12

2

作者 董书琴 张斌 《电子与信息学报》 EI CSCD 北大核心 2019年第6期1450-1457,共8页

针对基于概率抽样的网络流量异常检测数据集构造过程中无法同时兼顾大、小流抽样需求及未区分flash crowd与流量攻击等问题,该文提出一种面向流量异常检测的概率流抽样方法。在对数据流按目的、源IP地址进行分类的基础上,将每类数据流... 针对基于概率抽样的网络流量异常检测数据集构造过程中无法同时兼顾大、小流抽样需求及未区分flash crowd与流量攻击等问题,该文提出一种面向流量异常检测的概率流抽样方法。在对数据流按目的、源IP地址进行分类的基础上,将每类数据流抽样率定义为其目的、源IP地址抽样率的最大值,并在抽样过程中对数据流抽样数目向上取整,保证每类数据流至少被抽样一次,使抽样得到的数据集可有效反映原始流量在大、小流和源、目的IP地址方面的分布性。采用源IP地址熵刻画异常流源IP地址分散度,并基于源IP地址熵阈值设计攻击流抽样算法,降低由flash crowd引起的非攻击异常流抽样概率。仿真结果表明,该方法能同时满足大、小流抽样需求,具有较强的异常流抽样能力,可抽样到所有与异常流相关的可疑源、目的IP地址,并能在抽样过程中过滤非攻击异常流。 展开更多

关键词 网络流量 异常检测 流抽样 概率抽样

在线阅读 下载PDF 职称材料

基于DCF的资源可控流抽样 被引量：1

3

作者 刘元珍 刘渊 李小航 《计算机工程与应用》 CSCD 北大核心 2008年第19期127-128,135,共3页

Cisco的NetFlow是流测量中广泛应用的方案,但因其采用静态抽样率,当网络流量突然上升时,消耗过多的路由器资源,甚至影响路由器的正常转发功能。提出了基于DCF的资源可控流抽样,对测量间隔内到达的报文采取固定数量的抽样,并采用DCF哈希... Cisco的NetFlow是流测量中广泛应用的方案,但因其采用静态抽样率,当网络流量突然上升时,消耗过多的路由器资源,甚至影响路由器的正常转发功能。提出了基于DCF的资源可控流抽样,对测量间隔内到达的报文采取固定数量的抽样,并采用DCF哈希算法维护流记录,有效控制了资源的消耗。理论和实验分析结果表明,该方法具有抽样率自适应性、简单性、资源可控性,同时不失准确性。 展开更多

关键词 流量测量 流抽样 资源消耗 DCF

在线阅读 下载PDF 职称材料

一种面向不均衡网络流的综合抽样方法 被引量：2

4

作者 李景富 杨志强 《火力与指挥控制》 CSCD 北大核心 2015年第12期74-79,共6页

针对互联网流量中短流数量多但承载信息少、长流数量少但承载报文数多的特点,提出了一种面向不均衡网络流的综合抽样IS(Integrated Sampling)方法。IS方法首先采用容量固定的高速缓存实现有限时间窗口内报文的实时归并,在此基础上,IS方... 针对互联网流量中短流数量多但承载信息少、长流数量少但承载报文数多的特点,提出了一种面向不均衡网络流的综合抽样IS(Integrated Sampling)方法。IS方法首先采用容量固定的高速缓存实现有限时间窗口内报文的实时归并,在此基础上,IS方法采用可部分重构的哈希函数实现单报文流聚类,采用流长和时间组合赋权的权值更新模块和频繁项模块共同实现频繁项流的抽取,对于网络中的其他流量,IS方法通过多个蓄水池模块实现蓄水池分段抽样。实验证明,相对于单一的抽样方法,IS方法在相同缓存下能够抽取出更为丰富地网络流信息,算法能够实时应用于高速网络中。 展开更多

关键词 网络流 流抽样 哈希聚类 频繁项提取 蓄水池抽样

在线阅读 下载PDF 职称材料

基于抽样流记录的RTT估计 被引量：2

5

作者 苏琪 龚俭 苏艳珺 《软件学报》 EI CSCD 北大核心 2014年第10期2346-2361,共16页

往返时延(RTT)是网络测量中的一个重要测度,是刻画网络性能的重要指标.传统的RTT测量都是基于报文的,需要专门的主动或被动测量平台的支持.提出一种新的RTT估计方法,仅使用现有路由器设备提供的流记录,不需要额外的网络测量设施.通过对... 往返时延(RTT)是网络测量中的一个重要测度,是刻画网络性能的重要指标.传统的RTT测量都是基于报文的,需要专门的主动或被动测量平台的支持.提出一种新的RTT估计方法,仅使用现有路由器设备提供的流记录,不需要额外的网络测量设施.通过对TCP块状流传输特性的分析,分别建立了当套接字缓冲区长度与带宽延迟积BDP相对较小、较大和相近这3种情况下的RTT估计模型.实验结果表明,这些模型都能很好地完成RTT估计.同时,由于在估计当中只使用了流持续时间和总报文两个变量,因此,该方法同样适用于以抽样流记录为输入的环境,能够有效地应用于现有的大规模主干网环境的网络检测与管理. 展开更多

关键词 RTT估计 抽样流记录 网络测量 网络管理 随机过程

在线阅读 下载PDF 职称材料

基于Counting Bloom Filter的流抽样算法研究 被引量：5

6

作者 翟金凤 孙立博 +2 位作者 鲁凯 林学勇 秦文虎 《计算机工程》 CAS CSCD 北大核心 2018年第8期273-278,共6页

为适应高速网络环境并实现对网络流量的准确测量,提出一种将计数型布隆过滤器结构与基于报文的流抽样技术相结合的网络流等概率抽样算法。利用4 bit的Counter向量识别是否有新流出现,通过实时调整抽样频率弥补新流判定中的错误率,从而... 为适应高速网络环境并实现对网络流量的准确测量,提出一种将计数型布隆过滤器结构与基于报文的流抽样技术相结合的网络流等概率抽样算法。利用4 bit的Counter向量识别是否有新流出现,通过实时调整抽样频率弥补新流判定中的错误率,从而对网络流进行等概率抽样并获取较真实的网络流分布情况。实验结果表明,该算法的测量结果与网络流真实值较接近,且具有可扩展性,可以满足当前复杂多变的高速网络环境下的流量测量需求。 展开更多

关键词 高速网络 流抽样 计数型布隆过滤器 等概率抽样 哈希函数 Counter向量

在线阅读 下载PDF 职称材料

基于DCBF的流抽样测量算法 被引量：2

7

作者 孟金凤 高仲合 《计算机工程与应用》 CSCD 北大核心 2015年第17期92-95,162,共5页

为了提高系统的处理效率,减少系统的测量误差,提出了一种基于动态计数型布鲁姆过滤器(Dynamic Counting Bloom Filter,DCBF)的流抽样测量算法。该算法使用基于报文级别的抽样,并通过DCBF进行流查找和统计,且在CBF计数器溢出时动态增加新... 为了提高系统的处理效率,减少系统的测量误差,提出了一种基于动态计数型布鲁姆过滤器(Dynamic Counting Bloom Filter,DCBF)的流抽样测量算法。该算法使用基于报文级别的抽样,并通过DCBF进行流查找和统计,且在CBF计数器溢出时动态增加新的CBF。经理论分析和实验表明,该算法不仅提高了系统的运行效率,减少了存储空间的消耗,同时具有准确性和可扩展性,能很好地适用于高速链路的流量测量中。 展开更多

关键词 动态计数型布鲁姆过滤器(DCBF) 流抽样 哈希函数 误称率

在线阅读 下载PDF 职称材料

基于CBF流抽样的网络安全

8

作者 刘亮亮 桂祚勤 刘渊 《江南大学学报（自然科学版）》 CAS 2008年第1期26-29,共4页

现有网络中常存在DDOS、恶意端口及IP扫描、蠕虫等异常产生大量的只包含1个数据包的流量.针对高速网络流量特点及网络异常导致的流量突然上升,提出了一种改进的基于CBF的流抽样算法.该算法对定长时间内到达的数据包进行固定数量的抽样,... 现有网络中常存在DDOS、恶意端口及IP扫描、蠕虫等异常产生大量的只包含1个数据包的流量.针对高速网络流量特点及网络异常导致的流量突然上升,提出了一种改进的基于CBF的流抽样算法.该算法对定长时间内到达的数据包进行固定数量的抽样,使抽样率能适应于流量变化,并可控制资源的消耗,尤其当泛洪攻击、DDOS攻击等导致大规模异常网络流量出现时,能有效保护路由器的处理器和内存资源以及传输流记录所需的带宽资源,同时又不失简单性和准确性. 展开更多

关键词 网络安全 流量测量 流抽样

在线阅读 下载PDF 职称材料

基于两层自适应超时策略的资源可控流抽样

9

作者 孟金凤 高仲合 禹继国 《济南大学学报（自然科学版）》 CAS 北大核心 2014年第5期371-375,共5页

NetFlow是流量测量中广泛使用的技术,但其采用固定的抽样率,在流量较大时消耗过多的系统资源,而在流量较小时造成资源利用不足,且在实际应用中缺乏一定的资源保护机制。为解决其缺陷,提出一种基于两层自适应超时策略的资源可控流抽样测... NetFlow是流量测量中广泛使用的技术,但其采用固定的抽样率,在流量较大时消耗过多的系统资源,而在流量较小时造成资源利用不足,且在实际应用中缺乏一定的资源保护机制。为解决其缺陷,提出一种基于两层自适应超时策略的资源可控流抽样测量方法。该方法首先根据时间进行分层,对定长单位时间内的报文进行固定数量的随机抽样,并对其进行流统计,最后用两层自适应超时策略控制流的输出。理论分析和实验表明,该抽样方法不仅具有准确性、简单性和资源可控性,而且从很大程度上提高了"流cache"的利用率。 展开更多

关键词 流抽样 自适应超时 时间分层 资源可控

在线阅读 下载PDF 职称材料

基于抽样流长与完全抽样阈值的异常流自适应抽样算法 被引量：3

10

作者 伊鹏 钱坤 +2 位作者 黄万伟 王晶 张震 《电子与信息学报》 EI CSCD 北大核心 2015年第7期1606-1611,共6页

高速IP网络的流量测量与异常检测是网络测量领域研究的热点。针对目前网络流量测量算法对小流估计精度偏低,对异常流量筛选能力较差的缺陷,该文提出一种基于业务流已抽样长度与完全抽样阈值S的自适应流抽样算法(AFPT)。AFPT算法根据完... 高速IP网络的流量测量与异常检测是网络测量领域研究的热点。针对目前网络流量测量算法对小流估计精度偏低,对异常流量筛选能力较差的缺陷,该文提出一种基于业务流已抽样长度与完全抽样阈值S的自适应流抽样算法(AFPT)。AFPT算法根据完全抽样阈值S筛选对异常流量敏感相关的小流,同时根据业务流已抽样长度自适应调整抽样概率。仿真和实验结果表明,AFPT算法的估计误差与理论上界相符,具有较强的异常流量筛选能力,能够有效提高异常检测算法的准确率。 展开更多

关键词 网络测量 自适应流抽样 异常检测

在线阅读 下载PDF 职称材料

网络自适应公平分组抽样算法研究 被引量：1

11

作者 董永吉 陈庶樵 刘强 《计算机工程与设计》 CSCD 北大核心 2010年第2期270-274,共5页

针对SGS(sketch guided sampling)的缺陷,提出了一种网络自适应公平抽样算法。根据抽样分组估计出值流量大小,并依据该值调整抽样比,使之适应于流量变化,从而达到对各种流的公平抽样的效果。对算法的相关性质进行了证明与分析,基于实际... 针对SGS(sketch guided sampling)的缺陷,提出了一种网络自适应公平抽样算法。根据抽样分组估计出值流量大小,并依据该值调整抽样比,使之适应于流量变化,从而达到对各种流的公平抽样的效果。对算法的相关性质进行了证明与分析,基于实际互联网数据进行了实验比较,实验结果表明,该算法具有准确性、自适应性、易于工程实现等优点。 展开更多

关键词 分组抽样比 流抽样比 公平抽样 流量测量 自适应

在线阅读 下载PDF 职称材料

高速网络流量测量方法 被引量：30

12

作者 周爱平 程光 郭晓军 《软件学报》 EI CSCD 北大核心 2014年第1期135-153,共19页

高速网络流量测量是目前实施实时准确地监测、管理和控制网络的基础.基于网络流量测量的应用,将网络流量测量分为抽样方法和数据流方法.从不同的层次,将抽样方法分为分组抽样和流抽样,分别介绍了两类抽样方法;从测度角度介绍了数据流方... 高速网络流量测量是目前实施实时准确地监测、管理和控制网络的基础.基于网络流量测量的应用,将网络流量测量分为抽样方法和数据流方法.从不同的层次,将抽样方法分为分组抽样和流抽样,分别介绍了两类抽样方法;从测度角度介绍了数据流方法.详细介绍了高速网络流量测量的常用数据结构,以及抽样、数据流方法在高速网络流量测量中的应用,比较了各种方法的优劣.概述了高速网络流量测量技术的研究进展.最后,就现有的网络流量测量方法的不足,对网络流量测量的发展趋势和进一步的研究方向进行了讨论. 展开更多

关键词 网络流量测量 分组抽样 流抽样 数据流

在线阅读 下载PDF 职称材料