题名 数字化制造车间大数据处理平台部署运行与测试
1
作者
卢浩伟
机构
航空工业成都飞机工业(集团)有限责任公司
出处
《科学技术创新》
2025年第7期80-83,共4页
文摘
探究了面向数字化制造车间的大数据处理平台的部署方案和测试情况。该平台硬件部分由工业机械臂、实时以太网设备组以及数控机床等组成;软件部分包含了Hadoop、Spark等大数据软件组件。完成软硬件设备安装后绑定设备的静态IP,设定数据采集系统参数,可以实时获取数字化制造车间的数据并进行传输、分析,最终在客户端上以实时、可视化画面的形式呈现。从测试情况来看,大数据处理平台的吞吐量和延迟在初始化结束后趋于稳定,系统CUP占用率维持在7%以下,较好地满足了实时监控的需要。
关键词
数字化制造车间 大数据处理平台 可视化 吞吐量
Keywords
digital manufacturing workshop big data processing platform visualization throughput
分类号
TH186
[机械工程—机械制造及自动化]
TP311.1
[自动化与计算机技术—计算机软件与理论]
题名 基于R语言的大数据处理平台的设计与实现
被引量：21
2
作者
周芸韬
机构
云南师范大学商学院
出处
《现代电子技术》
北大核心
2017年第2期53-56,59,共5页
基金
云南自然科学基金资助(2014ZB148)
文摘
R语言是一种基于统计、运算和绘图的数据处理方式,其能够较为理想地进行大数据处理工作。因此,设计基于R语言的大数据处理平台。当平台的用户请求层向技术层发送大数据处理指令,技术层随即开始工作,其处理结果也将反馈至用户请求层。技术层由大数据管理模块、大数据处理模块和R语言控制模块组成,大数据处理模块的EP1C6Q240C8芯片通过借鉴大型数据库内容,进行大数据的挖掘工作,并将其挖掘结果提供给大数据处理模块进行大数据的筛选、汇总、转换和标准控制。经大数据处理模块处理后的大数据,将通过串口通信电路回传给用户请求层。R语言控制模块为整个平台制订处理标准。软件方面利用R语言的类聚性能设计技术层挖掘功能图和大数据向量化处理代码。实验结果表明,所设计的平台能够对大数据进行高性能的处理。
关键词
R语言 大数据处理平台 EP1C6Q240C8 数据 挖掘
Keywords
R language big data processing platform EP1C6Q240C8 data mining
分类号
TN911-34
[电子电信—通信与信息系统]
TP914.2
[自动化与计算机技术]
题名 Spark大数据处理平台的构建及应用
被引量：2
3
作者
王玉
机构
河源职业技术学院
出处
《大众标准化》
2019年第18期28-29,共2页
文摘
在大数据时代,Spark的应用能够为大规模数据分析处理提供可靠性保障。基于此,本文对Spark展开了分析,从平台架构、功能模块组成等方面提出了Spark大数据处理平台的构建方案,并从数据采集和资源调度两方面探讨了平台的应用方法,为关注这一话题的人们提供参考。
关键词
SPARK 大数据处理平台 资源调度
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
题名 试论基于AWS和CDH的大数据处理平台企业级架构
4
作者
孙同伦
机构
中国移动通信集团广东有限公司中山分公司
出处
《信息通信》
2019年第4期141-143,共3页
文摘
在5G快速发展背景下,AWS云服务和CDH集群部署得到了广泛应用。基于这种认识,文章结合企业级大数据平台建设问题,采用AWS和CDH实现了大数据处理平台企业级架构的部署,保证平台大数据处理性能,继而为企业业务的开展提供强有力技术支撑。
关键词
AWS CDH 5G通信 大数据处理平台
分类号
F270.7
[经济管理—企业管理]
TP311.13
[自动化与计算机技术—计算机软件与理论]
题名 一种基于Yarn云平台的基因启发式多序列比对算法
5
作者
杨波 徐胜超 周继鹏 王志坚
机构
广州华商学院人工智能学院 暨南大学信息科学技术学院
出处
《电子技术应用》
2024年第11期16-22,共7页
基金
国家自然科学基金面上项目(61972444) 广州华商学院校内科研导师制项目资助(2023HSDS34)。
文摘
提出一种基于Yarn云平台的基因启发式多序列比对算法。建立核酸替换等价矩阵作为基因启发式数学模型,构建Yarn云平台逻辑架构,通过对基因数据预处理、基因数据存储、基因序列比对、基因数据管理、基因数据分析等步骤,对数据分类保存,划分错误率较高的长序列,得到多个较短的基因片段。对不同片段实施定位,将其中的变长种子生成,进行骨架构建和孔隙填补,可以实现基因启发式多序列比对。结果表明,设计的算法在不同数据集下处理时间缩短,多序列比对SP(Sum of Pairs)的分值较高,实验验证了该多序列比对方法具有很好的应用价值。
关键词
生物数据 并行计算 分布式计算架构 分布式数据 库系统 大数据处理平台
Keywords
biological data parallel computing distributed computing architecture distributed database system big data pro‐cessing platform
分类号
TP393.4
[自动化与计算机技术—计算机应用技术]
题名 基于Spark平台的微震监测快速定位方法研究
被引量：4
6
作者
丁恩杰 吕雅洁 胡东平 陈卿
机构
中国矿业大学信息与电气工程学院 中国矿业大学物联网(感知矿山)研究中心 矿山互联网应用技术国家地方联合工程实验室
出处
《煤炭科学技术》
CAS
北大核心
2016年第7期22-27,共6页
基金
"十二五"国家科技支撑计划资助项目(2012BAH12B01 2012BAH12B02)
文摘
针对微震监测海量震动波数据实时处理难题,提出了在Spark大数据处理平台上对大量震动数据进行处理,提出基于粒子群寻优策略的震动波震源TDOA定位的并行计算程序思路,并在3台机器组成的小型Spark集群环境下进行试验验证。试验证明了在Spark平台上做海量震动波数据处理的可行性,并且证明了与单机震源定位计算相比,此方法可以有效加快最优解的收敛速度,提高处理效率。
关键词
微震监测 互联网+ Spark大数据处理平台 TDOA定位 并行粒子群算法
Keywords
microseismic monitoring and measuring internet ＋ Spark big data processing platform TDOA positioning parallel particle swarm algorithm
分类号
TD61
[矿业工程—矿山机电]
