-
题名面向实时水环境监测大数据分析的分布式处理框架研究
被引量：3
- 1
-
-
作者
陈江龙
宋炜炜
李嘉豪
韦群兰
王金霞
代博兰
-
机构
昆明理工大学国土资源工程学院
中国船舶集团有限公司第七二二研究所
-
出处
《测绘通报》
CSCD
北大核心
2024年第10期25-31,共7页
-
基金
云南省重大科技专项(202202AD080010)。
-
文摘
水质监测数据的迅速积累和增长,给水质研究带来了新的机遇和挑战。针对目前水质监测与分析面临的实时性差、数据显示不直观、数据处理效率低等问题,本文基于大数据技术和数据可视化技术,构建了用于实时水环境监测与大数据分析的分布式处理框架WaterSpark。使用改进的加拿大环境部长理事会水质指数(CCME-WQI)和Spark机器学习库(MLlib),进行云南省九大高原湖泊水质监测数据。结果表明,WaterSpark在实时水质传输、清洗归档、高效计算分析等方面表现出色,能够及时准确地捕获和分析大规模水质数据,分布式数据集和集群能够应对不断增长的水质数据,保证性能的可扩展性,支持更多的水质指标和更大规模的水质监测。
-
关键词
水质监测
分布式处理框架
水质指数
云南省九大高原湖泊
-
Keywords
water quality monitoring
distributed processing framework
water quality index
nine plateau lakes in Yunnan province
-
分类号
P208
[天文地球—地图制图学与地理信息工程]
-
-
题名一种分布式Twitter数据处理方案及应用
被引量：3
- 2
-
-
作者
张振华
吴开超
-
机构
中国科学院大学
中国科学院计算机网络信息中心
-
出处
《计算机应用研究》
CSCD
北大核心
2015年第7期2073-2077,2091,共6页
-
基金
美国国家自然科学基金(NSF)支持项目(0846655
1047916)
+1 种基金
中国科学院计算机网络信息中心所级专项项目(CNIC_PY_1406)
DNSLAB开放基金资助项目(DNSLAB-2013-D-U)
-
文摘
针对社交媒体数据的特点及其分析的挑战性,提出了一种基于实时计算框架Storm、批处理框架Hadoop和高效可水平扩展的No SQL数据库Mongo DB的分布式社交媒体数据处理方案,并依此指导实现基于Twitter流式数据的流感疫情可视化分析系统。实验证明,该分布式方案能较好支持Twitter流式数据的高效处理和储存,使之满足系统的性能需求。
-
关键词
社交媒体
分布式处理框架
Twitter流式数据
流感疫情侦测
分布式计算
-
Keywords
social media
distributed processing framework
Twitter streaming data
flu epidemic detection
distributed computing
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名交通信息分布式处理中的Hadoop调度算法优化
被引量：8
- 3
-
-
作者
孙卫真
王秀锦
徐远超
-
机构
首都师范大学信息工程学院
-
出处
《计算机工程与设计》
CSCD
北大核心
2014年第4期1269-1273,1278,共6页
-
基金
北京市教育委员会科技计划面上基金项目(KM201310028014)
-
文摘
为从海量交通信息数据中有效地挖掘出为城市智能交通服务的信息,提出了在分布式环境下的改进型计算能力调度算法。根据对海量交通信息数据与分布式调度算法进行的分析与研究,指出了相关数据的特点与算法待改进的关键点,架构了在分布式平台下公平调度与延时调度的改进模型,优化了Hadoop在对交通数据处理时的调度算法,弥补了普通调度算法实时性的不足。实验结果表明,在分布式环境下,使用优化后的调度算法处理计算密集型或I/O密集型交通信息数据,计算所花时间较小,性能较优,具有较好的实时性。
-
关键词
分布式处理软件框架
映射和简化
智能交通
调度优化
分布式计算
计算机集群
并行运算
-
Keywords
Hadoop
MapReduce
intelligent transportation
scheduling optimization
distributed computing
computer clus-ter
parallel computing
-
分类号
TP312
[自动化与计算机技术—计算机软件与理论]
-
-
题名高能物理分布式数据获取架构的设计与实现
被引量：5
- 4
-
-
作者
李瑾
顾旻皓
李飞
朱科军
-
机构
核探测与核电子学国家重点实验室
中国科学院高能物理研究所
中国科学院大学
-
出处
《计算机工程与应用》
CSCD
北大核心
2019年第19期228-234,共7页
-
基金
国家“十二五”规划项目(LHAASO)
-
文摘
当代高能物理实验规模庞大且产生的实验数据量急剧增加,向数据获取软件系统提出更为严格、复杂、高性能的处理要求。借助于高速互联网络和强大的处理单元,采用分布式的数据获取软件的数据收集和处理能力得到显著提升,从而更高效地实现粒子物理实验数据获取目标。这种分布式数据获取处理架构在功能上主要负责对多个数据处理进程的运行控制和管理、软硬件配置、状态监控、信息共享和交互等。相较于基于消息传递的分布式协调服务,以Redis为中心的共享内存技术简化了数据获取系统中多进程间的同步,实现轻量级的CAP最终平衡,还作为中心数据库完成数据获取过程中信息的共享需求,是实现分布式处理框架的一种方便、轻巧、实用的解决方案,在当前规模的高能物理实验计算集群中可以可靠、稳定地开发实现和部署运行。
-
关键词
数据获取
分布式处理框架
分布式系统
REDIS
高海拔宇宙线观测站(LHAASO)
-
Keywords
data acquisition
distributed framework of processing
distributed system
Redis
Large High Altitude Air Shower Observatory(LHAASO)
-
分类号
TP311.1
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于RM-ODP的模型复用框架OMRF
被引量：1
- 5
-
-
作者
于海龙
刘丽萍
邬伦
谢刚生
-
机构
上海城市发展信息研究中心信息技术部
上海交通大学安泰管理学院
北京大学遥感与地理信息应用研究所
华南农业大学信息学院
-
出处
《计算机应用研究》
CSCD
北大核心
2008年第3期752-755,763,共5页
-
基金
国家“十五”重点科技攻关资助项目(2002BA107B)
-
文摘
基于RM-ODP标准以及Web services技术,提出了基于Web应用的开放的模型复用框架OMRF,从企业视图、信息视图、计算视图、工程视图、技术视图五个层面给出了该框架的主要内容,分析了基于该框架的模型复用开发应用模式,阐述了基于该框架的具体研究问题,对提高模型复用与集成能力具有一定参考价值。
-
关键词
基于开放的分布式处理参考模型复用框架
模型服务
开放的分布式处理参考模型
WEB服务
-
Keywords
model reuse framework based on RM-ODP（OMRF）
model services
RM-ODP
Web services
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于ROS的开源移动机器人系统设计
被引量：23
- 6
-
-
作者
李建勇
刘雪梅
李雪霞
杜博阳
-
机构
西北工业大学明德学院
-
出处
《机电工程》
CAS
2017年第2期205-208,共4页
-
基金
陕西省教育厅专项科研计划项目(15JK2164)
-
文摘
针对当前研究室内环境同时定位与地图构建(SLAM)中所用机器人成本高等问题,对机器人操作系统(ROS)进行了研究,以开源卡片式电脑树莓派2B为核心搭建了开源移动机器人硬件平台,利用ROS的分布式处理框架进行了系统软件的开发,设计了一种低成本、高性能的开源移动机器人系统以开展SLAM等方面的研究,并开展了详细的性能测试。实验结果表明,该移动机器人系统不仅设计方案可行,实现了把机器人平台节点信息无线传输到服务器节点并能远程控制机器人进行精确移动,还具有成本低、性能高和易扩展等特点。
-
关键词
SLAM
ROS
移动机器人
分布式处理框架
路径规划
-
Keywords
SLAM
ROS
mobile robots
distributed processing framework
path planning
-
分类号
TP242
[自动化与计算机技术—检测技术与自动化装置]
-
