面向实时水环境监测大数据分析的分布式处理框架研究 被引量：3

1

作者 陈江龙 宋炜炜 +3 位作者 李嘉豪 韦群兰 王金霞 代博兰 《测绘通报》 CSCD 北大核心 2024年第10期25-31,共7页

水质监测数据的迅速积累和增长,给水质研究带来了新的机遇和挑战。针对目前水质监测与分析面临的实时性差、数据显示不直观、数据处理效率低等问题,本文基于大数据技术和数据可视化技术,构建了用于实时水环境监测与大数据分析的分布式... 水质监测数据的迅速积累和增长,给水质研究带来了新的机遇和挑战。针对目前水质监测与分析面临的实时性差、数据显示不直观、数据处理效率低等问题,本文基于大数据技术和数据可视化技术,构建了用于实时水环境监测与大数据分析的分布式处理框架WaterSpark。使用改进的加拿大环境部长理事会水质指数(CCME-WQI)和Spark机器学习库(MLlib),进行云南省九大高原湖泊水质监测数据。结果表明,WaterSpark在实时水质传输、清洗归档、高效计算分析等方面表现出色,能够及时准确地捕获和分析大规模水质数据,分布式数据集和集群能够应对不断增长的水质数据,保证性能的可扩展性,支持更多的水质指标和更大规模的水质监测。 展开更多

关键词 水质监测 分布式处理框架 水质指数 云南省九大高原湖泊

在线阅读 下载PDF 职称材料

OODAFlow:面向智能无人系统的流式数据处理框架

2

作者 全振宇 尹龙祥 +1 位作者 陈晓明 韩银和 《高技术通讯》 CAS 北大核心 2024年第9期905-920,共16页

智能无人系统是一种能够在复杂环境中自主进行实时推理、决策和制定行动方案的计算系统。智能无人系统实现实时决策的关键在于对流式数据的实时处理,然而随着人工智能技术和传感器技术的快速发展,智能无人系统需要处理的数据规模不断增... 智能无人系统是一种能够在复杂环境中自主进行实时推理、决策和制定行动方案的计算系统。智能无人系统实现实时决策的关键在于对流式数据的实时处理,然而随着人工智能技术和传感器技术的快速发展,智能无人系统需要处理的数据规模不断增长,数据类型变得更加复杂。面对不断增长的数据处理性能需求,智能无人系统需要一个充分优化的专用流式数据处理框架来提升其数据处理性能。针对该问题,本文提出了一种面向智能无人系统的流式数据处理框架OODAFlow,该框架将智能无人系统的硬件特征和智能计算任务的数据特征与观察-判断-决策-行动(OODA)模型思想相融合,实现了OODA任务创建、任务调度、资源调度等功能,能够实现对智能无人系统异构资源的调度和智能计算任务的处理。本文在智能无人系统上搭建了一套OODA任务处理系统,验证了所提OODAFlow框架的可行性。通过提出的图像预处理过程优化、流水线优化以及判断节点并行加速优化等方法,提高了系统的数据吞吐性能和资源利用率。无人机智能控制任务的实验表明,采用本文提出的OODAFlow框架后,智能无人系统的数据处理性能提升了73倍。 展开更多

关键词 智能无人系统 深度学习加速卡 观察-判断-决策-行动(OODA) 流式数据处理框架 异构计算资源

在线阅读 下载PDF 职称材料

统一的数字几何处理框架 被引量：17

3

作者 周昆 鲍虎军 石教英 《计算机学报》 EI CSCD 北大核心 2002年第9期905-909,共5页

随着三维几何模型在工业界的广泛应用 ,处理几何信号的算法变得越来越重要 .尽管近几年数字几何处理研究有了很大的进展 ,仍然缺乏一个类似于数字图像处理的统一解决方案 .该文提出了任意网格的数字信号处理框架 ,很好地满足了这一需求 ... 随着三维几何模型在工业界的广泛应用 ,处理几何信号的算法变得越来越重要 .尽管近几年数字几何处理研究有了很大的进展 ,仍然缺乏一个类似于数字图像处理的统一解决方案 .该文提出了任意网格的数字信号处理框架 ,很好地满足了这一需求 .该框架的核心思想是通过为任意网格模型构造一个全局球面 (或平面 )参数化 ,把模型的所有属性转化为定义在球面 (或平面 )上的信号 ,然后采用球面 (或平面 )正交分析工具对这些信号做分析处理 .在这个框架下 ,所有的数字图像处理技术都可以被扩展到网格模型 .该文还给出了包括滤波。 展开更多

关键词 数字几何处理框架 网格 参数化 滤波 多分辨率编辑 计算机图形学 数字图像处理

在线阅读 下载PDF 职称材料

通用遥感数据并行处理框架设计与实现 被引量：3

4

作者 李传荣 蔡兴文 +2 位作者 胡坚 韩叶茂 李子扬 《科学技术与工程》 北大核心 2012年第35期9540-9544,共5页

为了简化对地观测地面系统遥感数据并行处理软件的开发工作,在分析遥感数据处理流程、并行任务调度和容错策略的基础上,设计了遥感数据并行处理框架。该框架集成了遥感数据预处理并行任务调度、消息和数据交换、故障管理等公共功能,并... 为了简化对地观测地面系统遥感数据并行处理软件的开发工作,在分析遥感数据处理流程、并行任务调度和容错策略的基础上,设计了遥感数据并行处理框架。该框架集成了遥感数据预处理并行任务调度、消息和数据交换、故障管理等公共功能,并设计实现了简单易用的插件接口规范,以支持多载荷、多种遥感数据预处理功能的扩展以实现并行处理,具有较好的通用性和功能扩展性。最后基于消息传递接口(MPI)技术,在集群上实现了遥感数据处理并行框架,并在此框架上实现遥感数据预处理的并行系统,完成了系统并行性能测试与分析,结果表明该框架在简化遥感数据预处理并行功能开发的同时还能满足遥感数据并行处理效率要求。 展开更多

关键词 遥感 并行处理 插件 集群 通用处理框架 MPI

在线阅读 下载PDF 职称材料

一种面向大型地理栅格数据的并行处理框架 被引量：6

5

作者 杨典华 潘欣 《国防科技大学学报》 EI CAS CSCD 北大核心 2013年第6期152-156,共5页

随着高分辨率数据获取技术的发展,地理栅格数据的数据量不断增大,串行计算方式无法快速处理大型栅格数据,因此需要通过并行技术提高效率。传统开发过程将算法与进程调度、内存管理以及数据I/O混杂在一起的编程方式,对程序员要求较高,代... 随着高分辨率数据获取技术的发展,地理栅格数据的数据量不断增大,串行计算方式无法快速处理大型栅格数据,因此需要通过并行技术提高效率。传统开发过程将算法与进程调度、内存管理以及数据I/O混杂在一起的编程方式,对程序员要求较高,代码质量不易控制。提出了一种面向大型地理栅格数据的并行处理框架,利用核心类的真实和虚拟两种读取方式,实现了大型数据的分步骤、分块的快速加载和写入,并将所有的并行任务调度、进程间的数据传输过程以及特定的栅格算法步骤归结为任务;通过该框架可以将算法本身与并行调度、磁盘I/O等底层操作分离,使算法编写者可以专注于算法本身,降低开发难度,提高代码质量,解决了快速编写大型地理栅格数据算法程序的目的。实验表明,本框架可实现较好的并行效果,并显著降低代码量、提高软件质量。 展开更多

关键词 栅格图像 超大型地理数据 MPI 并行处理框架

在线阅读 下载PDF 职称材料

空间科学卫星数据处理框架研究与系统实现 被引量：3

6

作者 马文臻 邹自明 +3 位作者 黎建辉 于勤思 佟继周 李菁菁 《系统仿真学报》 CAS CSCD 北大核心 2022年第7期1605-1618,共14页

基于我国空间科学战略发展需求,针对我国空间科学先导专项当前在役与未来即将开展的众多卫星任务,对卫星地面段的数据处理框架及关键技术进行研究,提出了一种通用的具有任务级与资源级双层调度引擎的空间科学卫星数据处理技术框架(space... 基于我国空间科学战略发展需求,针对我国空间科学先导专项当前在役与未来即将开展的众多卫星任务,对卫星地面段的数据处理框架及关键技术进行研究,提出了一种通用的具有任务级与资源级双层调度引擎的空间科学卫星数据处理技术框架(space science satellite data processing framework,SDPF),设计实现了自动、高效、实时、标准化的空间科学卫星数据处理系统,使得多卫星任务、多载荷数据源的大规模数据的高度复杂的处理过程得以快速并行完成,在数据处理能力、计算资源规划、应对故障的可靠性、灵活性和可拓展性等方面体现出非常好的应用效果,也可为其他领域相关系统的设计提供参考思路。 展开更多

关键词 空间科学卫星 数据处理框架 任务调度 资源调度 数据处理工作流

在线阅读 下载PDF 职称材料

基于SSN的数据集预处理框架

7

作者 刘琅 徐中伟 梅萌 《计算机工程与设计》 北大核心 2021年第8期2341-2349,共9页

为解决由于染色差异造成的组织病理学图片良性、恶性检测精度下降的问题,提出一种基于染色风格归一化算法的数据集预处理框架。搭建图片转换网络和损失函数网络,在训练时,联合内容图片和目标染色图片构建损失函数,通过对大量内容图片进... 为解决由于染色差异造成的组织病理学图片良性、恶性检测精度下降的问题,提出一种基于染色风格归一化算法的数据集预处理框架。搭建图片转换网络和损失函数网络,在训练时,联合内容图片和目标染色图片构建损失函数,通过对大量内容图片进行训练,将目标染色图片的染色风格编码在模型的权重之中;在运行时,该模型可以使输入的图片在保持原有病理学样式的情况下达到染色分布的统一。实验结果表明,经该框架处理后的数据集有着更加集中的色彩空间,使用处理后数据集训练得到的模型有着更高的分类精度。 展开更多

关键词 染色差异 组织病理学 染色风格归一化 预处理框架 病理学样式 色彩空间

在线阅读 下载PDF 职称材料

基于区块链的供应链金融业务处理框架设计 被引量：3

8

作者 师修繁 《财会月刊》 北大核心 2022年第15期77-83,共7页

作为新兴信息技术,区块链凭借去中心化、分布式存储等诸多优势,悄然颠覆着传统金融体系。本文从区块链核心技术入手,探究区块链技术对供应链金融业务处理的影响。通过分析发现,区块链技术将有效激发供应链金融业务在实务上的应用。基于... 作为新兴信息技术,区块链凭借去中心化、分布式存储等诸多优势,悄然颠覆着传统金融体系。本文从区块链核心技术入手,探究区块链技术对供应链金融业务处理的影响。通过分析发现,区块链技术将有效激发供应链金融业务在实务上的应用。基于此,围绕区块链技术的特征,从重构信息流、扩大授信范围、提升运作效率等角度,设计基于区块链的供应链金融业务处理框架。从最终的应用优势与要点来看,此框架于对金融机构提高供应链金融业务处理效率以及业务处理严谨性具有重要作用。 展开更多

关键词 区块链 供应链金融业务 处理框架 要素配置 业务优化

在线阅读 下载PDF 职称材料

绿色数据中心数据处理型框架中的数据管理 被引量：2

9

作者 张啸 高原 +3 位作者 王晓亮 葛以踊 杨海祥 万书鹏 《系统仿真学报》 CAS CSCD 北大核心 2016年第3期592-599,共8页

使用绿色能源已成为解决数据中心能耗问题的一种有效方式。为了降低绿色能源变化幅度大的特点带来的影响,通常将可延迟作业放入等待队列,将相应空闲服务器置为休眠状态,降低系统能耗,在新能源可用的时候执行作业。当新作业执行时,需要... 使用绿色能源已成为解决数据中心能耗问题的一种有效方式。为了降低绿色能源变化幅度大的特点带来的影响,通常将可延迟作业放入等待队列,将相应空闲服务器置为休眠状态,降低系统能耗,在新能源可用的时候执行作业。当新作业执行时,需要重新开启休眠状态服务器来保证数据可用性。数据放置与作业执行时间的不统一,会导致频繁开启休眠服务器,带来能源浪费。针对绿色数据中心提出一种数据调度策略,根据数据处理型框架中等待队列作业调度次序,通过将未来一段时间内需要被读取的数据块提前复制在活跃服务器上,降低休眠状态服务器开启的次数,从而降低总体能耗。实验模拟结果显示,该算法可平均减少43%的休眠状态服务器重复开启次数。 展开更多

关键词 绿色数据中心 数据处理型框架 能耗 新能源 数据管理

在线阅读 下载PDF 职称材料

Hadoop平台下海量图像处理实现 被引量：11

10

作者 谭台哲 向云鹏 《计算机工程与设计》 北大核心 2017年第4期976-980,共5页

针对Hadoop不直接支持处理海量小图像文件且不能高效管理这些小文件的问题,为让开发者在不了解Hadoop内部机制的情况下开发处理海量图像的算法,研究并实现Hadoop图像处理框架。制定图像数据在Java开发语言中的表示,使其适用于MapReduce... 针对Hadoop不直接支持处理海量小图像文件且不能高效管理这些小文件的问题,为让开发者在不了解Hadoop内部机制的情况下开发处理海量图像的算法,研究并实现Hadoop图像处理框架。制定图像数据在Java开发语言中的表示,使其适用于MapReduce计算模型;设计存储模型高效存储海量小文件及管理小文件;为让开发变得简单和高效,在框架中,向外提供一个适用于各种图像处理算法的编程接口,使图像处理开发人员在不用了解Hadoop内部复杂细节的情况下使用这个框架在海量图像处理中发挥杠杆作用。实验结果表明,该框架能高效处理海量图像,有很强的适用性。 展开更多

关键词 海量图像数据 大数据 HADOOP 图像处理 图像处理框架

在线阅读 下载PDF 职称材料

一种分布式Twitter数据处理方案及应用 被引量：3

11

作者 张振华 吴开超 《计算机应用研究》 CSCD 北大核心 2015年第7期2073-2077,2091,共6页

针对社交媒体数据的特点及其分析的挑战性,提出了一种基于实时计算框架Storm、批处理框架Hadoop和高效可水平扩展的No SQL数据库Mongo DB的分布式社交媒体数据处理方案,并依此指导实现基于Twitter流式数据的流感疫情可视化分析系统。实... 针对社交媒体数据的特点及其分析的挑战性,提出了一种基于实时计算框架Storm、批处理框架Hadoop和高效可水平扩展的No SQL数据库Mongo DB的分布式社交媒体数据处理方案,并依此指导实现基于Twitter流式数据的流感疫情可视化分析系统。实验证明,该分布式方案能较好支持Twitter流式数据的高效处理和储存,使之满足系统的性能需求。 展开更多

关键词 社交媒体 分布式处理框架 Twitter流式数据 流感疫情侦测 分布式计算

在线阅读 下载PDF 职称材料

可伸缩的道路网络多连续k近邻查询处理

12

作者 廖巍 吴晓平 钟志农 《计算机工程与设计》 CSCD 北大核心 2009年第24期5597-5600,共4页

针对基于道路网络的多用户连续k近邻查询处理,提出了一种可伸缩的多用户连续查询处理(scalable processing ofmultiple continuous queries,SPMCQ)框架。SPMCQ框架采用流水线处理策略,将连续k近邻查询执行分解为可同时作业的预处理、查... 针对基于道路网络的多用户连续k近邻查询处理,提出了一种可伸缩的多用户连续查询处理(scalable processing ofmultiple continuous queries,SPMCQ)框架。SPMCQ框架采用流水线处理策略,将连续k近邻查询执行分解为可同时作业的预处理、查询执行和结果分发3个阶段,利用多线程技术提高查询处理的并行性。基于SPMCQ框架,分别利用基于内存的哈希表和线性链表结构对移动对象位置和道路网络有向图模型进行存储和管理,提出了多连续k近邻查询处理SCkNN算法。实验结果表明,在处理多用户连续k近邻查询时,该算法性能优于目前的道路网络连续k近邻查询处理算法。 展开更多

关键词 连续K近邻查询 道路网络 流水线 可伸缩连续查询处理框架 多连续k近邻查询处理算法

在线阅读 下载PDF 职称材料

交通信息分布式处理中的Hadoop调度算法优化 被引量：8

13

作者 孙卫真 王秀锦 徐远超 《计算机工程与设计》 CSCD 北大核心 2014年第4期1269-1273,1278,共6页

为从海量交通信息数据中有效地挖掘出为城市智能交通服务的信息,提出了在分布式环境下的改进型计算能力调度算法。根据对海量交通信息数据与分布式调度算法进行的分析与研究,指出了相关数据的特点与算法待改进的关键点,架构了在分布式... 为从海量交通信息数据中有效地挖掘出为城市智能交通服务的信息,提出了在分布式环境下的改进型计算能力调度算法。根据对海量交通信息数据与分布式调度算法进行的分析与研究,指出了相关数据的特点与算法待改进的关键点,架构了在分布式平台下公平调度与延时调度的改进模型,优化了Hadoop在对交通数据处理时的调度算法,弥补了普通调度算法实时性的不足。实验结果表明,在分布式环境下,使用优化后的调度算法处理计算密集型或I/O密集型交通信息数据,计算所花时间较小,性能较优,具有较好的实时性。 展开更多

关键词 分布式处理软件框架 映射和简化 智能交通 调度优化 分布式计算 计算机集群 并行运算

在线阅读 下载PDF 职称材料

基于RM-ODP的模型复用框架OMRF 被引量：1

14

作者 于海龙 刘丽萍 +1 位作者 邬伦 谢刚生 《计算机应用研究》 CSCD 北大核心 2008年第3期752-755,763,共5页

基于RM-ODP标准以及Web services技术,提出了基于Web应用的开放的模型复用框架OMRF,从企业视图、信息视图、计算视图、工程视图、技术视图五个层面给出了该框架的主要内容,分析了基于该框架的模型复用开发应用模式,阐述了基于该框架的... 基于RM-ODP标准以及Web services技术,提出了基于Web应用的开放的模型复用框架OMRF,从企业视图、信息视图、计算视图、工程视图、技术视图五个层面给出了该框架的主要内容,分析了基于该框架的模型复用开发应用模式,阐述了基于该框架的具体研究问题,对提高模型复用与集成能力具有一定参考价值。 展开更多

关键词 基于开放的分布式处理参考模型复用框架 模型服务 开放的分布式处理参考模型 WEB服务

在线阅读 下载PDF 职称材料

基于ROS的开源移动机器人系统设计 被引量：23

15

作者 李建勇 刘雪梅 +1 位作者 李雪霞 杜博阳 《机电工程》 CAS 2017年第2期205-208,共4页

针对当前研究室内环境同时定位与地图构建(SLAM)中所用机器人成本高等问题,对机器人操作系统(ROS)进行了研究,以开源卡片式电脑树莓派2B为核心搭建了开源移动机器人硬件平台,利用ROS的分布式处理框架进行了系统软件的开发,设计了一种低... 针对当前研究室内环境同时定位与地图构建(SLAM)中所用机器人成本高等问题,对机器人操作系统(ROS)进行了研究,以开源卡片式电脑树莓派2B为核心搭建了开源移动机器人硬件平台,利用ROS的分布式处理框架进行了系统软件的开发,设计了一种低成本、高性能的开源移动机器人系统以开展SLAM等方面的研究,并开展了详细的性能测试。实验结果表明,该移动机器人系统不仅设计方案可行,实现了把机器人平台节点信息无线传输到服务器节点并能远程控制机器人进行精确移动,还具有成本低、性能高和易扩展等特点。 展开更多

关键词 SLAM ROS 移动机器人 分布式处理框架 路径规划

在线阅读 下载PDF 职称材料

高能物理分布式数据获取架构的设计与实现 被引量：5

16

作者 李瑾 顾旻皓 +1 位作者 李飞 朱科军 《计算机工程与应用》 CSCD 北大核心 2019年第19期228-234,共7页

当代高能物理实验规模庞大且产生的实验数据量急剧增加,向数据获取软件系统提出更为严格、复杂、高性能的处理要求。借助于高速互联网络和强大的处理单元,采用分布式的数据获取软件的数据收集和处理能力得到显著提升,从而更高效地实现... 当代高能物理实验规模庞大且产生的实验数据量急剧增加,向数据获取软件系统提出更为严格、复杂、高性能的处理要求。借助于高速互联网络和强大的处理单元,采用分布式的数据获取软件的数据收集和处理能力得到显著提升,从而更高效地实现粒子物理实验数据获取目标。这种分布式数据获取处理架构在功能上主要负责对多个数据处理进程的运行控制和管理、软硬件配置、状态监控、信息共享和交互等。相较于基于消息传递的分布式协调服务,以Redis为中心的共享内存技术简化了数据获取系统中多进程间的同步,实现轻量级的CAP最终平衡,还作为中心数据库完成数据获取过程中信息的共享需求,是实现分布式处理框架的一种方便、轻巧、实用的解决方案,在当前规模的高能物理实验计算集群中可以可靠、稳定地开发实现和部署运行。 展开更多

关键词 数据获取 分布式处理框架 分布式系统 REDIS 高海拔宇宙线观测站(LHAASO)

在线阅读 下载PDF 职称材料