-
题名基于分布式计算框架的风暴三维追踪方法
被引量：3
- 1
-
-
作者
曾沁
李永生
-
机构
广东省气象台
广东省气象探测数据中心
-
出处
《计算机应用》
CSCD
北大核心
2017年第4期941-944,共4页
-
文摘
气象数据的增长规模已达到每小时TB级,这使得传统基于关系型数据库和文件存储系统在海量数据存储与管理方面捉襟见肘,进而使得基于大规模异构气象数据的应用无法规模化,同时,也无法满足科研人员对海量气象数据高效探索的需要。为解决这一系列问题,研究者分别基于MapReduce、HBase等分布式框架下的分布式计算和存储技术,尝试为海量气象数据的探索提供有效技术手段,然而,综合性的研究据了解还未开展。因此,利用近年来积累的海量多普勒天气雷达数据,开展了基于MapReduce和HBase相结合的风暴三维追踪方法的研究,并基于传统Rest标准化接口实现了雷达资料的点、线、面、体的多种分布式服务接口,与传统的Rest标准化单机数据存储和访问接口的性能相比,所实现方法在性能方面有100%的效率提升。最后,以2007年至2009年珠江三角洲地区三年雷达数据的风暴追踪回算为例,进一步验证了所提方法在计算和存储管理方面的性能优势。
-
关键词
分布式计算框架
风暴追踪算法
长时间序列分析
-
Keywords
distributed computing framework
storm tracking method
long time series analysis
-
分类号
TP391.7
[自动化与计算机技术—计算机应用技术]
-
-
题名人工交通系统计算实验的分布式框架研究
被引量：3
- 2
-
-
作者
陈松航
汤淑明
朱凤华
缪青海
-
机构
中国科学院自动化研究所复杂系统管理与控制国家重点实验室
山东科技大学信息与电气工程学院
中国科学院研究生院计算与通信工程学院
中国科学院云计算产业技术创新与育成中心
-
出处
《系统仿真学报》
CAS
CSCD
北大核心
2013年第4期605-611,共7页
-
基金
国家自然科学基金委面上项目(60974095,61004090)
重点项目(90920305)
+1 种基金
创新群体科学研究基金项目(60921061)
山东省“泰山学者”建设工程专项经费(011006005)
-
文摘
人工交通系统概念的提出为智能交通系统研究开辟了新的视野,但其自底向上的交通个体建模方法和复杂的计算过程也带来了庞大的计算量与存储量,单台计算机的计算能力越来越难以满足大规模计算实验的需求。为此,提出和实现了一种混合P2P结构的分布式计算实验框架,并采用改进的同步算法和新的负载均衡方案优化了框架的性能,最后通过测试验证了该框架的高效性和可靠性。
-
关键词
人工交通系统
大规模计算实验
分布式计算框架
混合P2P
性能和可靠性测试
-
Keywords
artificial transportation systems
large-scale computational experiments
distributed computing framework
hybrid P2P
performance and reliability test
-
分类号
TP391.9
[自动化与计算机技术—计算机应用技术]
-
-
题名基于分布式证据学习算法的脱硫浆液品质监测模型研究
被引量：1
- 3
-
-
作者
徐侠
朱万进
薛钧赢
苏志刚
郝勇生
-
机构
国能徐州发电有限公司
东南大学
-
出处
《现代化工》
CAS
CSCD
北大核心
2024年第S02期348-354,共7页
-
基金
国家自然科学基金项目(52076037)。
-
文摘
基于分布式计算框架与证据学习算法,对脱硫浆液品质建立了健康品质监测模型,突破了海量脱硫系统运行数据对基于传统机器学习的浆液品质监测方法所带来的计算瓶颈,并利用该模型对江苏某1000 MW电厂的浆液品质进行了在线监测。测试表明,所建立的监测模型能够准确监测出脱硫浆液品质的恶化,与其他3类先进监测方法对比结果说明了所建立模型能够达到最优的报警及时性。将分布式计算框架结合证据理论应用于脱硫浆液品质监测是可行的,为脱硫浆液品质监测提供了一种新方法。
-
关键词
脱硫浆液
状态监测
证据理论
分布式计算框架
-
Keywords
desulfurization slurry
condition monitoring
evidence theory
distributed computing framework
-
分类号
TH3
[机械工程—机械制造及自动化]
-
-
题名一种高效的分布式水军群组检测算法
- 4
-
-
作者
张璐
朱海婷
-
机构
南京财经大学信息工程学院
南京邮电大学物联网学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2019年第7期6-12,共7页
-
基金
国家重点研发计划(2017YFD0401002)
国家自然科学基金(71801123,91646204,61502250)
南京邮电大学引进人才科研启动基金(NY214188)
-
文摘
为在电子商务水军群组检测中快速处理真实环境中的大规模用户数据,提出一种分布式水军群组检测算法。设计基于余弦模式挖掘的候选群组提取算法,通过余弦相似度衡量群组成员间的耦合性,以精准提取候选群组并降低后续识别的计算量。结合组投影技术与Spark计算框架,提出一种分布式群组提取算法,从而提升群组检测的运行速度。在真实数据集上的实验与案例研究结果表明,该算法能够保证检测准确率,且具有较高的运行效率。
-
关键词
水军群组检测
检测效率
余弦模式
紧耦合群组
组投影
分布式计算框架
-
Keywords
spammer group detection
detection efficiency
cosine pattern
tightly-coupled group
group projection
distributed computing framework
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于Spark的肿瘤基因混合特征选择方法
被引量：4
- 5
-
-
作者
汪丽丽
邓丽
余玥
费敏锐
-
机构
上海大学机电工程与自动化学院
上海市电站自动化技术重点实验室
-
出处
《计算机工程》
CAS
CSCD
北大核心
2018年第11期1-6,共6页
-
基金
上海市科委重点项目(14DZ1206302)
-
文摘
为处理随微阵列技术发展而急剧增长的肿瘤基因数据,实现对肿瘤基因数据的特征选择,结合集成特征选择和混合特征选择,提出一种Spark分布式计算框架的混合特征选择方法。利用F-score特征选择方法去除无关特征,进行初步特征选择,结合F-score、多分类支持向量机递归消除法、基于随机森林的特征选择3种方法得到最优的特征子集,并采用支持向量机对特征子集进行分类预测。实验结果表明,该方法能通过选择较少的基因达到较高的分类准确率。
-
关键词
肿瘤基因数据
Spark分布式计算框架
混合特征选择
集成特征选择
分类
-
Keywords
tumor gene data
Spark distributed computing framework
hybrid feature selection
integrated feature selection
classification
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名一种自适应子空间相似性搜索方法
被引量：1
- 6
-
-
作者
任建新
陈华辉
-
机构
宁波大学信息科学与工程学院
-
出处
《电信科学》
北大核心
2015年第7期63-74,共12页
-
文摘
近年来,在多媒体信息检索、相似性连接和时问序列匹配等数据库领域的相似搜索研究备受关注。绝大部分工作都是在欧式空间条件下,使用度量距离函数计算最近邻(如kNN、kNNJ)来解决搜索目标集合问题。但已有研究表明,此条件下的搜索结果准确性很容易受到高差异维度的影响,且对应的解决方案尚缺乏灵活性和顽健性。首先提出了单机环境下动态子空间(部分维度)下相似搜索问题及解决方案。随着数据规模的扩大,单机算法不能很好地扩展,随之又提出了Hadoop框架下的分布式算法。实验证实,在不影响准确率的情况下,分布式算法的性能要优于集中式算法。
-
关键词
自适应子空间
相似性搜索
非度量距离方法
MapReduce分布式计算框架
-
Keywords
adaptive subspace, similarity search, non-metric distance method, MapReduce distributed computingframework
-
分类号
TP393.092
[自动化与计算机技术—计算机应用技术]
-
