期刊文献+
共找到85篇文章
< 1 2 5 >
每页显示 20 50 100
基于Spark Streaming的实时数据分析系统及其应用 被引量:30
1
作者 韩德志 陈旭光 +2 位作者 雷雨馨 戴永涛 张肖 《计算机应用》 CSCD 北大核心 2017年第5期1263-1269,共7页
为了实现对实时网络数据流的快速分析,设计一种分布式实时数据流分析系统(DRDAS),能有效解决并发访问数据流的收集、存储和实时分析问题,为大数据环境的网络安全检测提供了一种有效的数据分析平台;根据Spark Streaming运行的原理设计一... 为了实现对实时网络数据流的快速分析,设计一种分布式实时数据流分析系统(DRDAS),能有效解决并发访问数据流的收集、存储和实时分析问题,为大数据环境的网络安全检测提供了一种有效的数据分析平台;根据Spark Streaming运行的原理设计一种动态采样的K-Means并行算法,与DRDAS结合能实时有效地检测大数据环境下的各种分布式拒绝服务(DDo S)攻击。实验结果显示:DRDAS具有好的可扩展性、容错性和实时处理能力,与动态采样的K-Means并行算法结合能实时地检测各种DDo S攻击,缩短了攻击的检测时间。 展开更多
关键词 SPARK streaming框架 分布式流处理 网络数据分析 分布式拒绝服务攻击
在线阅读 下载PDF
面向直播HTTP Streaming系统的HTTP缓存服务器行为优化 被引量:7
2
作者 李云飞 谢伟凯 +2 位作者 鲁晨平 张智强 申瑞民 《计算机工程与应用》 CSCD 2012年第10期68-74,共7页
HTTP缓存服务器是提高HTTP Streaming系统客户并发量的关键环节。但当前主流HTTP缓存服务器,如Nginx、Squid、Varnish等,在缓存资源更新期间的行为都存在不足,当被应用在面向直播的HTTP Streaming系统中时,会周期性地把大量客户端请求... HTTP缓存服务器是提高HTTP Streaming系统客户并发量的关键环节。但当前主流HTTP缓存服务器,如Nginx、Squid、Varnish等,在缓存资源更新期间的行为都存在不足,当被应用在面向直播的HTTP Streaming系统中时,会周期性地把大量客户端请求转发至源服务器,从而制约了HTTP Streaming系统的可伸缩性。提出一种优化的HTTP缓存服务器在缓存更新期间的行为,即缓存服务器仅向源服务器转发一路客户端请求,缓存更新期间,拒绝其他关于该资源的请求。优化策略在使用最为广泛的Nginx服务器的基础上进行了实现。实验证明,优化后系统的伸缩性得到了显著提高。 展开更多
关键词 HTTP streaming 缓存服务器 缓存更新
在线阅读 下载PDF
使用Spark Streaming的自适应实时DDoS检测和防御技术 被引量:10
3
作者 方峰 蔡志平 +2 位作者 肇启佳 林加润 朱明 《计算机科学与探索》 CSCD 北大核心 2016年第5期601-611,共11页
分布式拒绝服务(distributed denial of service,DDoS)攻击是重要的安全威胁,网络速度的不断提高给传统的检测方法带来了新的挑战。以Spark等为代表的大数据处理技术,给网络安全的高速检测带来了新的契机。提出了一种基于Spark Streamin... 分布式拒绝服务(distributed denial of service,DDoS)攻击是重要的安全威胁,网络速度的不断提高给传统的检测方法带来了新的挑战。以Spark等为代表的大数据处理技术,给网络安全的高速检测带来了新的契机。提出了一种基于Spark Streaming框架的自适应实时DDoS检测防御技术,通过对滑动窗口内源簇进行分组,并根据与各分组内源簇比例的偏差统计,检测出DDoS攻击流量。通过感知合法的网络流量,实现了对DDoS攻击的自适应快速检测和有效响应。实验结果表明,该技术可极大地提升检测能力,为保障网络服务性能和安全检测的可扩展性提供了一种可行的解决方案。 展开更多
关键词 DDOS检测 DDOS防御 实时检测 自适应检测 SPARK streaming
在线阅读 下载PDF
基于Spark Streaming流回归的煤矿瓦斯浓度实时预测 被引量:11
4
作者 吴海波 施式亮 念其锋 《中国安全生产科学技术》 CAS CSCD 北大核心 2017年第5期84-89,共6页
为了实时分析瓦斯监测流数据并对瓦斯浓度进行准确预测以实现瓦斯灾害实时预警,以实时流数据处理框架Spark Streaming构建基于流回归的瓦斯浓度实时预测系统。系统采用分布式流处理技术,可使基于回归算法的瓦斯浓度预测模型更新周期达... 为了实时分析瓦斯监测流数据并对瓦斯浓度进行准确预测以实现瓦斯灾害实时预警,以实时流数据处理框架Spark Streaming构建基于流回归的瓦斯浓度实时预测系统。系统采用分布式流处理技术,可使基于回归算法的瓦斯浓度预测模型更新周期达到秒级,提高了瓦斯浓度预测精度,满足流式大数据处理的实时性要求。实验表明:应用Spark Streaming流回归预测系统在采样周期为5s的瓦斯监测数据流上进行实时预测时,预测平均均方根误差随模型更新周期的缩短而减小,模型更新周期可达15s,且更新周期为45s时预测总均方根误差最小,既能保证预测精度,又能提高瓦斯灾害预警时效。 展开更多
关键词 监测数据 流数据 瓦斯浓度 SPARK streaming 流回归 实时预测 灾害预警
在线阅读 下载PDF
基于Spark Streaming的实时能耗分项计量系统 被引量:9
5
作者 武志学 《计算机应用》 CSCD 北大核心 2017年第4期928-935,共8页
能耗分项计量能够准确、及时、有效地发现能源使用问题,形成和实现最有效的节能措施。能耗分项计量系统需要对各项能源使用量在不同粒度上进行统计,既有实时性的需求,又需要涉及到聚合、去重、连接等较为复杂的统计需求。由于数据产生... 能耗分项计量能够准确、及时、有效地发现能源使用问题,形成和实现最有效的节能措施。能耗分项计量系统需要对各项能源使用量在不同粒度上进行统计,既有实时性的需求,又需要涉及到聚合、去重、连接等较为复杂的统计需求。由于数据产生快、实时性强、数据量大,所以很难统一采集并入库存储后再作处理,这便导致传统的数据处理架构不能满足需求。为此,提出基于Spark Streaming大数据流式技术构建一个实时能耗分项计量系统,对实时能耗分项计量的系统架构和内部结构进行了详细介绍,并通过实验数据分析了系统的实时数据处理能力。与传统架构不同,实时能耗分项计量系统在数据流动的过程中实时地进行捕捉和处理,一方面把捕捉到的异常信息及时报警到前端,同时把分类分项统计处理的结果保存到数据库,以便进行离线分析和数据挖掘,能有效地解决上述数据处理过程中遇到的问题。 展开更多
关键词 流式计算 能耗分项计量 SPARK streaming APACHE Kafka 大数据
在线阅读 下载PDF
基于Spark Streaming的视频/图像流处理与新的性能评估方法 被引量:10
6
作者 黄文辉 冯瑞 《计算机工程与科学》 CSCD 北大核心 2015年第11期2055-2060,共6页
智能视频监控技术在公共安全、交通管理、智慧城市等方面有着广泛的运用前景,需求日益增长。随着摄像头安装的数量越来越多,采集的图像数据量越来越大,靠单台计算机处理已经远远不能满足需求了。分布式计算的兴起与发展为解决大规模的... 智能视频监控技术在公共安全、交通管理、智慧城市等方面有着广泛的运用前景,需求日益增长。随着摄像头安装的数量越来越多,采集的图像数据量越来越大,靠单台计算机处理已经远远不能满足需求了。分布式计算的兴起与发展为解决大规模的数据处理问题提供了很好的途径。使用一种基于Spark Streaming的视频/图像流处理的测试平台,阐述了平台的构成和工作流程,深入研究各个参数对集群性能的影响,创新性地提出了CPU时间占用率作为性能评估指标,与总的处理时间结合,更为全面反映集群性能和资源利用率。 展开更多
关键词 SPARK streaming CPU时间占用率 分布式 视频/图像处理
在线阅读 下载PDF
基于Hadoop Streaming的Last比对软件并行化的研究与实现
7
作者 董本志 李文浩 景维鹏 《计算机工程与应用》 CSCD 2014年第2期226-230,共5页
随着下一代测序技术的到来,单机版Last比对软件已经不能满足海量数据的处理需求。使用Hadoop Streaming技术将Last比对软件快速部署到云计算环境中,解决当前单机版Last比对软件处理大数据能力差的问题。通过自定义的基于NFS文件系统的... 随着下一代测序技术的到来,单机版Last比对软件已经不能满足海量数据的处理需求。使用Hadoop Streaming技术将Last比对软件快速部署到云计算环境中,解决当前单机版Last比对软件处理大数据能力差的问题。通过自定义的基于NFS文件系统的数据集切分方法和基于Partitioner的任务分配方式能够实现均衡高效的数据切分,并保证并行化粒度可控。实验结果表明,在保证与单机运行结果一致的情况下,这种方法能有效缩减软件运行时间,具有较高的加速比。 展开更多
关键词 HADOOP streaming 软件并行化 last比对软件
在线阅读 下载PDF
Spark Streaming框架下的气象自动站数据实时处理系统 被引量:17
8
作者 赵文芳 刘旭林 《计算机应用》 CSCD 北大核心 2018年第1期38-43,55,共7页
针对现有气象自动站业务平台面临处理数据不及时、交互式响应慢、统计时效差等问题,提出了使用Spark Streaming技术和HBase解决该问题的方法,将实时计算框架和分布式数据库系统结合起来实现大规模流式数据处理。使用Flume收集自动站数据... 针对现有气象自动站业务平台面临处理数据不及时、交互式响应慢、统计时效差等问题,提出了使用Spark Streaming技术和HBase解决该问题的方法,将实时计算框架和分布式数据库系统结合起来实现大规模流式数据处理。使用Flume收集自动站数据,Spark Streaming对数据进行流式处理并存储到HBase数据库中,并设计Spark框架下的自动站数据流式入库处理算法和要素极值的实时统计算法,在Cloudera平台下实现了一个高速可靠的实时采集、处理、统计的应用系统。通过对比分析和性能监测,验证了该系统具有低延迟和高吞吐量的优势,运行状况良好,负载均衡。实验结果表明,Spark Streaming用于气象自动站的实时业务处理,数据并行写入HBase、基于HBase的查询和各类要素统计均能达到毫秒级响应,完全能满足自动站数据的应用需求,有效地支撑天气预报业务。 展开更多
关键词 气象自动站 SPARK streaming 流计算 气象数据处理 FLUME
在线阅读 下载PDF
面向实时交互的P2P Streaming模型
9
作者 许成 蔡鸿明 姜丽红 《计算机工程》 CAS CSCD 北大核心 2008年第22期103-105,共3页
实施大规模分布式可视化操纵系统的一个重要瓶颈在于节点间海量数据的传输。P2P Streaming技术逐渐成为解决该瓶颈的可行方案之一。主流P2P Streaming模型由于实时性上的缺陷并不适于此类系统。该文通过引入服务质量的概念并采用启发式... 实施大规模分布式可视化操纵系统的一个重要瓶颈在于节点间海量数据的传输。P2P Streaming技术逐渐成为解决该瓶颈的可行方案之一。主流P2P Streaming模型由于实时性上的缺陷并不适于此类系统。该文通过引入服务质量的概念并采用启发式的算法,设计一种改良的P2P Streaming模型。仿真实验结果表明,新模型在平均延迟、首包到达时间等指标上优于现有模型。 展开更多
关键词 P2P streaming技术 实时交互 服务质量
在线阅读 下载PDF
Characterization of polysulfone hollow-fiber ultrafiltration membrane and its cleaning efficiency by streaming potential and flux method 被引量:1
10
作者 邱运仁 缪畅 叶红齐 《Journal of Central South University》 SCIE EI CAS 2009年第2期195-200,共6页
Polysulfone(PS)hollow-fiber ultrafiltration membrane was characterized combined with flux and streaming potential in single electrolyte solutions.The effects of trans-membrane pressure,electrolyte concentration,ion va... Polysulfone(PS)hollow-fiber ultrafiltration membrane was characterized combined with flux and streaming potential in single electrolyte solutions.The effects of trans-membrane pressure,electrolyte concentration,ion valence and pH value of electrolyte solution on the streaming potential(SP)of the membrane were investigated.The zeta potential and surface charge density of the membrane were calculated on the basis of Helmholtz-Smoluchowski equation and Gouy-Chapmann theory.The results indicate that the valence and concentration of cation have a greater influence on the SP and surface charge density of PS membrane than those of anion,and the pH value of electrolyte solution has great effects on the SP and zeta potential of the membrane surface. Both the absolute value of the streaming potential and water flux of the adsorbed membrane decrease,compared with those of the clean membrane.The streaming potential and flux of the cleaned membrane can be completely recovered by cleaning with the mass fraction of 0.8%EDTA at pH=10. 展开更多
关键词 hollow fiber membrane POLYSULFONE ULTRAFILTRATION streaming potential CLEANING
在线阅读 下载PDF
A segment version transcoding for client-centric wireless mobile media streaming
11
作者 LEE Chong-deuk BANG Jun-ho JEONG Taeg-won 《Journal of Central South University》 SCIE EI CAS 2013年第9期2372-2377,共6页
An object segment similarity function is taken into account from the continuous media frames to measure the individual streaming profit of certain segment versions of a media object.Therefore,a new segment version-bas... An object segment similarity function is taken into account from the continuous media frames to measure the individual streaming profit of certain segment versions of a media object.Therefore,a new segment version-based transcoding(SVT)mechanism is derived for a quality of service(QoS)of client-centric media streaming in wireless mobile networks.The derived function utilizes the fuzzy similarity of certain segment versions of an object.This mechanism provides the effectiveness of reduction of the stream startup latency among segment versions,and the average access of each version.Thus,the proposed segment version transcoding mechanism reduces packet loss which in turn increases streaming performance and throughput.The performance of the partitioned segment versions is simulated and some segment versions are completed.The simulation results show that the proposed mechanism outperforms the other mechanisms in average cache hit ratio and in average startup latency ratio. 展开更多
关键词 similarity function media object segment version client-centric media streaming
在线阅读 下载PDF
Dust Acoustic Wave in Dusty Plasmas With Streaming Ions Under Ultraviolet Irradiation
12
作者 REN Liwen WANG Chi 《空间科学学报》 CAS CSCD 北大核心 2012年第2期191-196,共6页
The reductive perturbation method is applied to investigate the dust acoustic soliton in dusty plasmas with streaming ions under ultraviolet irradiation theoretically and numerically.The self-consistent dust charge va... The reductive perturbation method is applied to investigate the dust acoustic soliton in dusty plasmas with streaming ions under ultraviolet irradiation theoretically and numerically.The self-consistent dust charge variation is taken into account.It is shown that the ultraviolet irradiation can significantly lower the magnitude of the dust negative charge,and ion streaming velocity firstly raise the magnitude of the dust negative charge and then lower it.With the growth of(Ultraviolet) UV photo flux or ion streaming velocity,the phase velocity and width of the solitary waves decrease, whereas its amplitude increases. 展开更多
关键词 Dusty plasma Solitary wave Ultraviolet irradiation streaming ion
在线阅读 下载PDF
基于IOS的移动学习直播互动平台 被引量:10
13
作者 曾垂鑫 王加俊 +1 位作者 申丽萍 申瑞民 《计算机工程》 CAS CSCD 2013年第7期314-317,共4页
根据移动学习的重要性,利用IOS移动终端设备的高性能、便携及随时随地接入网络等特性,使用HTTP Streaming协议、XMPP协议、SJSP编码等关键技术,设计并实现一个基于IOS的移动学习平台。该平台由教师端、制作端、数据中心以及学习中心组... 根据移动学习的重要性,利用IOS移动终端设备的高性能、便携及随时随地接入网络等特性,使用HTTP Streaming协议、XMPP协议、SJSP编码等关键技术,设计并实现一个基于IOS的移动学习平台。该平台由教师端、制作端、数据中心以及学习中心组成。实际应用结果表明,用户不仅可以收看课程直播或者点播课程,还可以通过提问的方式进行课堂互动,提高学习效率。 展开更多
关键词 IOS平台 移动学习 视频点播 互动 SJSP编码 HTTP streaming协议
在线阅读 下载PDF
一种可扩展的集群流媒体服务器 被引量:9
14
作者 董科军 南凯 阎保平 《计算机工程与应用》 CSCD 北大核心 2003年第25期46-49,共4页
提出了一种可扩展的适合集群系统的流媒体服务器架构。在这个架构中,整个后台单机服务器是基于Apple公司的DarwinStreamingServer,而在前端开发了一个门户结点和多个中继结点,使整个后台服务器群基本能保持负载平衡、提供给用户高性能... 提出了一种可扩展的适合集群系统的流媒体服务器架构。在这个架构中,整个后台单机服务器是基于Apple公司的DarwinStreamingServer,而在前端开发了一个门户结点和多个中继结点,使整个后台服务器群基本能保持负载平衡、提供给用户高性能的流媒体服务。在外面用户看来整个系统就是一个高性能流媒体服务器。 展开更多
关键词 流媒体服务器 流媒体服务 流媒体 集群系统Darwin streaming SERVER
在线阅读 下载PDF
基于对比敏感度的DASH客户端码率选择算法研究 被引量:1
15
作者 张新有 王元勋 +1 位作者 邢焕来 王红刚 《电子与信息学报》 EI CSCD 北大核心 2016年第11期2826-2831,共6页
基于带宽估算的码率选择算法具有带宽利用率高的优点,但是同时也存在容易受网络波动影响造成计算出的目标码率出现瞬时峰值而造成带宽浪费的问题。针对于此,该文提出一种基于人眼对比敏感度特征的码率选择算法,在客户端利用人眼对比敏... 基于带宽估算的码率选择算法具有带宽利用率高的优点,但是同时也存在容易受网络波动影响造成计算出的目标码率出现瞬时峰值而造成带宽浪费的问题。针对于此,该文提出一种基于人眼对比敏感度特征的码率选择算法,在客户端利用人眼对比敏感度模型计算当前观看条件下人眼截止空间频率,选择服务器中和截止空间频率差的绝对值最小视频分片对应的码率作为目标码率。和基于带宽估算选择目标码率的方法进行对比实验,测试二者在不同视角内计算的目标码率,得到两者的码率计算结果阶梯图。实验结果表明,在视角为5o到15o情况下,所提方法较带宽估计方法在确保视频效果前提下能够有效节约带宽。 展开更多
关键词 对比敏感度 截止空间频率 DASH(Dynamic ADAPTIVE streaming over Http) 码率选择
在线阅读 下载PDF
流媒体技术在校园网中的应用研究 被引量:4
16
作者 岳晓融 《中国电化教育》 CSSCI 北大核心 2005年第7期91-93,共3页
流媒体指的是一种新的媒体传送方式,而非一种新的媒体。在校园网中采用流媒体技术,用户可以实时欣赏多媒体节目等教学资源,不但节省时间而且节约了磁盘存储空间,是实现网上数据边下载边播放的有效方法。本文对流媒体技术进行了简单介绍... 流媒体指的是一种新的媒体传送方式,而非一种新的媒体。在校园网中采用流媒体技术,用户可以实时欣赏多媒体节目等教学资源,不但节省时间而且节约了磁盘存储空间,是实现网上数据边下载边播放的有效方法。本文对流媒体技术进行了简单介绍,并分析了流媒体在校园网中的应用策略,最后讲述了流媒体的实际应用方案。 展开更多
关键词 流媒体(streaming Media) 网络协议 流媒体服务器
在线阅读 下载PDF
基于车牌识别流数据的伴随车辆发现算法 被引量:5
17
作者 王路辉 王桂玲 《计算机工程》 CAS CSCD 北大核心 2017年第8期193-199,共7页
针对伴随车辆发现及其实时性问题,基于随时间变化的车牌识别流数据,提出一种采用并行频繁项集发现(PFID)技术的伴随车辆组实时发现算法。该算法根据频繁项挖掘Eclat算法的思想,并利用分布式流数据处理框架Spark Streaming生成最大伴随... 针对伴随车辆发现及其实时性问题,基于随时间变化的车牌识别流数据,提出一种采用并行频繁项集发现(PFID)技术的伴随车辆组实时发现算法。该算法根据频繁项挖掘Eclat算法的思想,并利用分布式流数据处理框架Spark Streaming生成最大伴随车辆组。实验结果表明,与排列组合算法及FP-Growth算法相比,PFID算法消耗内存更少,响应时间更短,在秒级响应时间内能找到伴随车辆组,达到及时预警目的。 展开更多
关键词 智能交通系统 车牌自动识别流数据 伴随车辆组 SPARK streaming并行框架 DStream模型 Eclat算法
在线阅读 下载PDF
面向R语言的分布式流处理系统设计与实现 被引量:3
18
作者 高官涛 郑小盈 李明齐 《科学技术与工程》 北大核心 2016年第2期208-213,共6页
为了使得在数据分析领域广泛使用的R语言能够应用于大规模数据的分布式流处理计算,基于Spark Streaming框架,设计和实现了一个面向R语言的分布式流处理系统。系统提出了一套完备的R/Java跨语言交互模型,实现了R语言程序和Java程序的互... 为了使得在数据分析领域广泛使用的R语言能够应用于大规模数据的分布式流处理计算,基于Spark Streaming框架,设计和实现了一个面向R语言的分布式流处理系统。系统提出了一套完备的R/Java跨语言交互模型,实现了R语言程序和Java程序的互相调用,从而使得R语言程序可以运行在Java平台上,改进了R语言在大规模数据处理和并发计算等方面的不足。系统也提供了Spark Streaming的R语言编程接口,提高了后者的易用性。通过实例验证了该系统的可行性和实用性。 展开更多
关键词 流处理 分布式系统 并行计算 R语言 SPARK streaming
在线阅读 下载PDF
快速高效液相色谱法测定卷烟主流烟气中的酚 被引量:21
19
作者 陈章玉 张承明 +3 位作者 徐若飞 孔维松 杨光宇 苏庆德 《色谱》 CAS CSCD 北大核心 2006年第2期209-209,共1页
关键词 高效液相色谱法(high performance liquid chromatography) 酚(phenols) 主流烟气(main stream smoke)
在线阅读 下载PDF
太湖流域土地利用变化的水文响应模拟 被引量:26
20
作者 李恒鹏 杨桂山 金洋 《湖泊科学》 EI CAS CSCD 北大核心 2007年第5期537-543,共7页
以城市化快速发展的太湖流域为研究对象,采用1985、1995和2000年TM/ETM土地利用解译资料,应用区域尺度单元格网分布式水文模型,进行长序列水文模拟,定量评估太湖流域土地利用变化及其水文响应特征,为流域用地规划、水资源管理以及灾害... 以城市化快速发展的太湖流域为研究对象,采用1985、1995和2000年TM/ETM土地利用解译资料,应用区域尺度单元格网分布式水文模型,进行长序列水文模拟,定量评估太湖流域土地利用变化及其水文响应特征,为流域用地规划、水资源管理以及灾害防治提供决策参数.研究显示,自1985年到2000年,太湖流域城镇面积扩展了40.38%,增加量占太湖流域总面积的3.88%.在1980-2000年的雨情下,全流域土地利用变化导致产流量平均增加4.11%,约为7.56×10~8m^3,最高值为11.76%,约为10.0×10~8m^3.受土地利用变化空间差异影响,产流量增加具有较大区域差异,城镇快速扩展的苏锡常地区和浦东浦西地区,土地利用变化导致产流量平均增加为10.07%和7.03%,最高增量达20%-30%. 展开更多
关键词 太湖流域 土地利用 分布式水文模型 径流 STREAM
在线阅读 下载PDF
上一页 1 2 5 下一页 到第
使用帮助 返回顶部