期刊文献+
共找到10篇文章
< 1 >
每页显示 20 50 100
基于海量日志的入侵检测并行化算法研究 被引量:4
1
作者 高华 《现代电子技术》 北大核心 2016年第19期71-75,共5页
随着计算机技术和互联网的迅猛发展,对海量日志进行分析并进行入侵检测就成为重要的研究问题。针对这一现象,提出在Hadoop平台下利用并行化的数据挖掘算法对海量的日志信息进行分析从而进行入侵检测,然后利用搭建好的Hadoop集群环境对... 随着计算机技术和互联网的迅猛发展,对海量日志进行分析并进行入侵检测就成为重要的研究问题。针对这一现象,提出在Hadoop平台下利用并行化的数据挖掘算法对海量的日志信息进行分析从而进行入侵检测,然后利用搭建好的Hadoop集群环境对其进行验证,对不同大小的日志文件进行处理,并与单机环境下对比,证明在该平台下进行入侵检测的有效性和高效性,同时实验证明如果增大集群中的节点数目,执行效率也会相应的提高。 展开更多
关键词 HADOOP 日志信息分析 入侵检测 并行化算法
在线阅读 下载PDF
基于MapReduce的三元N-gram算法的并行化研究 被引量:6
2
作者 龚永罡 田润琳 +1 位作者 廉小亲 夏天 《电子技术应用》 2019年第5期70-73,77,共5页
大规模语料库的训练是使用三元N-gram算法进行中文文本自动查错中一个重要的基础工作。面对新媒体平台每日高达百万篇需处理的语料信息,单一节点的三元N-gram语言模型词库的构建存在计算瓶颈。在深入研究三元N-gram算法的基础上,提出了... 大规模语料库的训练是使用三元N-gram算法进行中文文本自动查错中一个重要的基础工作。面对新媒体平台每日高达百万篇需处理的语料信息,单一节点的三元N-gram语言模型词库的构建存在计算瓶颈。在深入研究三元N-gram算法的基础上,提出了基于MapReduce计算模型的三元N-gram并行化算法的思想。MapReduce计算模型中,将运算任务平均分配到m个节点,三元N-gram算法在Map函数部分的主要任务是计算局部字词分别与其前两个字词搭配出现的次数,Reduce函数部分的主要任务是合并Map部分统计字词搭配出现的次数,生成全局统计结果。实验结果表明,运行在Hadoop集群上的基于MapReduce的三元N-gram并行化算法具有很好的运算性和可扩展性,对于每日120亿字的训练语料数据集,集群环境下该算法得到训练结果的速率更接近于线性。 展开更多
关键词 中文文本查错 三元N-gram算法 MapReduce计算模型 并行化算法 HADOOP集群 语料库
在线阅读 下载PDF
基于并行化多路径的IPv6网络拓扑发现算法 被引量:4
3
作者 董守玲 林香鑫 李佳 《华南理工大学学报(自然科学版)》 EI CAS CSCD 北大核心 2013年第3期15-21,34,共8页
传统的基于源路由机制的Traceroute6拓扑发现方法应用于IPv6网络时存在效率低、耗时长等问题,为此,提出了并行化多路径(Parallel Multi-Traceroute,PMT)发现算法,通过规则对庞大的探测空间进行压缩,同时改变ICMP包的收发方式.在华南理... 传统的基于源路由机制的Traceroute6拓扑发现方法应用于IPv6网络时存在效率低、耗时长等问题,为此,提出了并行化多路径(Parallel Multi-Traceroute,PMT)发现算法,通过规则对庞大的探测空间进行压缩,同时改变ICMP包的收发方式.在华南理工大学校园网上对PMT算法的准确性、完整性以及效率进行了测试,并与传统的Traceroute算法进行对比.结果表明:使用PMT算法得到的结果与实际网络更加吻合,源路由机制对拓扑完整性、准确性起到了很好的补充作用;PMT算法的探测时间比未改进的传统的Trace-route算法平均缩短89%,可以满足IPv6校园网络拓扑发现的实际需求. 展开更多
关键词 源路由机制 拓扑发现 并行多路径发现算法 Traceroute6拓扑发现方法 IPv6网络环境
在线阅读 下载PDF
ARL中Gridding算法的并行化实现 被引量:1
4
作者 吴怀广 刘琳琳 +2 位作者 石永生 李代祎 谢鹏杰 《轻工学报》 CAS 2019年第2期82-87,共6页
针对海量天文数据实时性处理效率低的问题,通过对SKA图像采集及成像ARL算法库中耗时较长的Gridding算法进行耗时分析,找出了该算法中调用频率高且运行时间长的两个函数convolutional-grid和convolutional-degrid,利用GPU的多线程并行化... 针对海量天文数据实时性处理效率低的问题,通过对SKA图像采集及成像ARL算法库中耗时较长的Gridding算法进行耗时分析,找出了该算法中调用频率高且运行时间长的两个函数convolutional-grid和convolutional-degrid,利用GPU的多线程并行化处理降低两个函数的循环迭代,实现了Gridding算法在GPU和CPU上的协同运行.验证实验结果表明,在相同的数据量下,改进后的Gridding算法运行时间大大缩短,特别是在处理海量数据时,有效提高了ARL的整体运行效率. 展开更多
关键词 ARL 并行化算法 Gridding算法 CUDA
在线阅读 下载PDF
基于并行化粒子群算法的组合测试用例生成 被引量:4
5
作者 王曙燕 张海清 孙家泽 《西安邮电大学学报》 2019年第5期64-68,共5页
针对粒子群算法生成组合测试用例消耗时间过长的问题,提出一种并行化粒子群算法生成两两组合测试用例的方法。基于大数据平台Spark,将全部需要被覆盖的两两组合进行分组,并下发到集群中各个节点上进行寻优操作;采用one-test-at-a-time... 针对粒子群算法生成组合测试用例消耗时间过长的问题,提出一种并行化粒子群算法生成两两组合测试用例的方法。基于大数据平台Spark,将全部需要被覆盖的两两组合进行分组,并下发到集群中各个节点上进行寻优操作;采用one-test-at-a-time策略与自适应粒子群算法相结合的方式进行寻优;待各个节点寻优结束后,利用Spark进行结果收集,并对收集后的用例集进行约简操作。实验结果表明,该方法有效地减少了生成两两组合测试用例集的消耗时间。 展开更多
关键词 两两组合测试 并行粒子群算法 SPARK 覆盖表
在线阅读 下载PDF
二维码水印加密并行化嵌入及提取方法 被引量:3
6
作者 刘永俊 秦立浩 《常熟理工学院学报》 2017年第2期39-42,共4页
提出了一种并行化LSB(Parallel Least Significant Bit)算法,实现了二维码图像水印的嵌入、提取.对待处理图像数据进行分块并利用Open MP的编译制导指令进行任务分担,实现了运算过程的并行化.该方法嵌入水印的二维码图像具有较好的防伪... 提出了一种并行化LSB(Parallel Least Significant Bit)算法,实现了二维码图像水印的嵌入、提取.对待处理图像数据进行分块并利用Open MP的编译制导指令进行任务分担,实现了运算过程的并行化.该方法嵌入水印的二维码图像具有较好的防伪验证功能,而且适合以电子形式保存,并行化处理方法较传统串行算法可缩短1/3左右的时间. 展开更多
关键词 图像表示 数字水印 并行化算法
在线阅读 下载PDF
一种位并行近似串匹配的星图识别算法 被引量:1
7
作者 倪娜 洪娟 +2 位作者 赵友 孟倩 王汀 《宇航学报》 EI CAS CSCD 北大核心 2014年第11期1277-1283,共7页
提出了一种基于位并行法近似串匹配的星图识别新方法。首先为选取的导航星建立相应的模式串,然后利用改进的并行化动态规划矩阵算法(BPM)为观测星图中的星体寻找匹配的导航模式,并验证匹配结果的正确性,完成星图识别。仿真试验结果表明... 提出了一种基于位并行法近似串匹配的星图识别新方法。首先为选取的导航星建立相应的模式串,然后利用改进的并行化动态规划矩阵算法(BPM)为观测星图中的星体寻找匹配的导航模式,并验证匹配结果的正确性,完成星图识别。仿真试验结果表明,本方法算法简便、导航星库存储容量小,抗干扰能力强,有很好的鲁棒性。 展开更多
关键词 星敏感器 星图模式识别 并行动态规划矩阵算法 近似串匹配
在线阅读 下载PDF
SHELL:一种面向流数据的实时基数估计算法
8
作者 刘尚东 张殿超 +4 位作者 尧海昌 姚橹 叶青 季一木 王汝传 《南京邮电大学学报(自然科学版)》 北大核心 2017年第4期91-96,共6页
基数计算在流数据查询优化、网络安全、数据压缩等领域具有重要的应用价值。现有的基于概率统计原理的基数估计算法需要通过扫描历史静态数据才能进行基数统计,由于流数据具有持续、快速和实时等特点,不可能先持久化再处理分析,因而传... 基数计算在流数据查询优化、网络安全、数据压缩等领域具有重要的应用价值。现有的基于概率统计原理的基数估计算法需要通过扫描历史静态数据才能进行基数统计,由于流数据具有持续、快速和实时等特点,不可能先持久化再处理分析,因而传统的基数估计算法无法直接应用在大数据流处理中。通过研究Spark、Storm实时分布式流处理机制和传统基数估计算法,设计和实现了实时的流数据基数估计算法SHELL(Streaming HypErLogLog),实验表明,SHELL在保证精确度不降低的情况下,单位滑动时间窗口内处理的消息量达到6.0×10~5~6.8×10~5,满足实时性处理的要求。 展开更多
关键词 大数据处理技术 流数据 基数估计 并行化算法
在线阅读 下载PDF
基于Spark的并行极速神经网络 被引量:4
9
作者 邓万宇 李力 牛慧娟 《郑州大学学报(工学版)》 CAS 北大核心 2016年第5期47-56,共10页
随着数据规模的快速膨胀,基于单机的串行神经网络结构面临着巨大的计算挑战,难以满足现实应用中的扩展需求.在极速学习机(extreme learning machine,ELM)基础上,基于Spark并行框架提出一种并行的极速神经网络学习方法,以Spark平台特有的... 随着数据规模的快速膨胀,基于单机的串行神经网络结构面临着巨大的计算挑战,难以满足现实应用中的扩展需求.在极速学习机(extreme learning machine,ELM)基础上,基于Spark并行框架提出一种并行的极速神经网络学习方法,以Spark平台特有的RDD高效数据集管理机制对其进行封装,并将大规模数据中的高复杂度矩阵计算进行并行化,实现ELM加速求解,仅需一组Map和Reduce操作即可完成算法的训练.在大量真实数据集上的实验结果表明,基于Spark的并行ELM算法相较于串行ELM获得了显著的性能提升. 展开更多
关键词 极速学习机 神经网络 并行ELM算法 SPARK
在线阅读 下载PDF
APO-Based Parallel Algorithm of Channel Allocation for Cognitive Networks 被引量:1
10
作者 Ming Zhong Hailin Zhang Bei Ma 《China Communications》 SCIE CSCD 2016年第6期100-109,共10页
This article investigates channel allocation for cognitive networks, which is difficult to obtain the optimal allocation distribution. We first study interferences between nodes in cognitive networks and establish the... This article investigates channel allocation for cognitive networks, which is difficult to obtain the optimal allocation distribution. We first study interferences between nodes in cognitive networks and establish the channel allocation model with interference constraints. Then we focus on the use of evolutionary algorithms to solve the optimal allocation distribution. We further consider that the search time can be reduced by means of parallel computing, and then a parallel algorithm based APO is proposed. In contrast with the existing algorithms, we decompose the allocation vector into a number of sub-vectors and search for optimal allocation distribution of sub-vector in parallel. In order to speed up converged rate and improve converged value, some typical operations of evolutionary algorithms are modified by two novel operators. Finally, simulation results show that the proposed algorithm drastically outperform other optimal solutions in term of the network utilization. 展开更多
关键词 CRNs channel allocation parallel computing APO PSO
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部