期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
3
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于大数据的铁路信号系统数据存储与分析系统设计与实现
被引量：
15
1
作者
王伟
廖正宇
+1 位作者
张辉
郭栋
《信息网络安全》
CSCD
2017年第1期29-37,共9页
文章基于Hadoop技术,设计并实现了一个铁路信号数据存储与分析系统。首先,文章研究了Hadoop平台下分布式系统工作原理、HDFS分布式文件管理作用机制、MapReduce模型。然后,针对信号检测大数据设计相关文件解析接口,处理包括txt和CSV格...
文章基于Hadoop技术,设计并实现了一个铁路信号数据存储与分析系统。首先,文章研究了Hadoop平台下分布式系统工作原理、HDFS分布式文件管理作用机制、MapReduce模型。然后,针对信号检测大数据设计相关文件解析接口,处理包括txt和CSV格式的数据包;利用HDFS分布式文件管理系统完成对数据的存储和管理;根据数据存储结构设计HBase表,建立快速存取查询索引,并编写HBase操作的各式API。最后,利用Ext JS搭建前端展示页面,通过服务器与Hadoop平台通信完成电气特性分析和日志分析,并将数据处理结果以列表、曲线图和散点图的可视化方式展示在前端;同时完成了对海量数据的挖掘和可视化展现工作。
展开更多
关键词
大数据
HADOOP
MAPREDUCE
数据
存储与分析
铁路信号系统
在线阅读
下载PDF
职称材料
基于Hive的高寒草地海量数据高效分析系统设计研究
被引量：
1
2
作者
李亮丹
晔沙
+4 位作者
谢夏
胡月明
谢健文
周悟
游小敏
《农业资源与环境学报》
CAS
CSCD
北大核心
2021年第6期1152-1163,共12页
解决高寒草地的退化问题需要对高寒草地退化现状进行综合评价,而这需要相关数据作为支撑,本研究设计并实现了一个基于Hive的高寒草地海量数据高效分析系统,能对高寒草地的海量数据进行可靠、高效地存储分析。首先,平台设计基于Hadoop、H...
解决高寒草地的退化问题需要对高寒草地退化现状进行综合评价,而这需要相关数据作为支撑,本研究设计并实现了一个基于Hive的高寒草地海量数据高效分析系统,能对高寒草地的海量数据进行可靠、高效地存储分析。首先,平台设计基于Hadoop、Hive、Sqoop环境,通过节点和集群配置等步骤搭建完成;然后,通过期望最大化(EM)算法进行数据填充、数据导入、数据分区存储等步骤,完成数据抽取、转换、加载(ETL)及数据存储;最后,系统通过混合函数编码实现模糊查询功能,实验测试表明系统达到了预定的效果。随着文件大小的增加和总体数据规模的增大,系统整体存储和读取时间一直处于增长的状态,但平均运行时间(平均处理1 MB数据所使用的时间)处于降低的趋势,说明随着数据量的增加,系统并行处理海量数据的能力得到体现。使用2014年青海省称多县高寒草地样方监测数据和部分虚拟数据(总数据量约为3958万条,7.56 GB),对Hive集群以及关系型数据库SQL Server的数据查询效率进行对比。结果显示,当查询数据量为3958万条时,Hive集群数据查询的时间为SQL Server查询时间的67.8%。说明在数据量较大时,系统数据查询的效率比SQL Server更高。通过HiveQL对高寒草地生态数据进行分析处理,并开展相应的对照实验,对比发现,Hive数据分析技术与对照实验的处理结果相同。综上,将分布式数据仓库技术应用于高寒草地海量数据的存储与分析,较传统的数据存储与分析技术相比有明显的进步。本系统对海量数据处理效率高、可开发性强,可以很好地满足海量高寒草地数据的存储和分析要求。
展开更多
关键词
高寒草地
海量数据
存储与分析
Hive
在线阅读
下载PDF
职称材料
轨道车辆裙底板装配在线检测系统的研究
被引量：
3
3
作者
刘志伟
魏京利
+1 位作者
李丰
赵成刚
《机械设计与制造》
北大核心
2015年第4期174-177,共4页
针对轨道车辆裙板底板装配过程中采用拧紧机进行拧紧操作存在的缺陷,设计了一种轨道车辆裙板底板装配在线检测系统,系统包含裙板底板位置信息识别模块、装配作业在线检测模块及数据存储和分析模块,采用该检测系统可有效解决拧紧遗漏、...
针对轨道车辆裙板底板装配过程中采用拧紧机进行拧紧操作存在的缺陷,设计了一种轨道车辆裙板底板装配在线检测系统,系统包含裙板底板位置信息识别模块、装配作业在线检测模块及数据存储和分析模块,采用该检测系统可有效解决拧紧遗漏、扭矩错误、重复拧紧、拧紧过程不连续等问题,并可对装配数据进行存储与分析,保证出厂车辆的装配质量。实验表明,系统能够监控裙板底板装配过程,对出现的问题进行准确实时地报警,并查询和分析历史装配记录,符合工况要求。
展开更多
关键词
裙底板装配
以太网通信
在线检测
数据
存储与分析
数据库开发
在线阅读
下载PDF
职称材料
题名
基于大数据的铁路信号系统数据存储与分析系统设计与实现
被引量：
15
1
作者
王伟
廖正宇
张辉
郭栋
机构
同济大学计算机科学与技术系
国家高性能计算机工程技术中心同济分中心
同济大学嵌入式系统与服务计算教育部重点实验室
出处
《信息网络安全》
CSCD
2017年第1期29-37,共9页
基金
国家自然科学基金[61672384]
上海市优秀学术带头人计划[15XD1503600]
计算机体系结构国家重点实验室开放课题[CARCH201408]
文摘
文章基于Hadoop技术,设计并实现了一个铁路信号数据存储与分析系统。首先,文章研究了Hadoop平台下分布式系统工作原理、HDFS分布式文件管理作用机制、MapReduce模型。然后,针对信号检测大数据设计相关文件解析接口,处理包括txt和CSV格式的数据包;利用HDFS分布式文件管理系统完成对数据的存储和管理;根据数据存储结构设计HBase表,建立快速存取查询索引,并编写HBase操作的各式API。最后,利用Ext JS搭建前端展示页面,通过服务器与Hadoop平台通信完成电气特性分析和日志分析,并将数据处理结果以列表、曲线图和散点图的可视化方式展示在前端;同时完成了对海量数据的挖掘和可视化展现工作。
关键词
大数据
HADOOP
MAPREDUCE
数据
存储与分析
铁路信号系统
Keywords
big data
Hadoop
Map Reduce
data storage and analysis
railway signal system
分类号
TP311.13 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
基于Hive的高寒草地海量数据高效分析系统设计研究
被引量：
1
2
作者
李亮丹
晔沙
谢夏
胡月明
谢健文
周悟
游小敏
机构
华南农业大学资源环境学院
海南大学热带作物学院
青海-广东自然资源监测与评价联合重点实验室
广州市华南自然资源科学技术研究院
出处
《农业资源与环境学报》
CAS
CSCD
北大核心
2021年第6期1152-1163,共12页
基金
国家重点研发计划课题(2020YFD1100204)
四川省科技计划项目(2020YFS0499)。
文摘
解决高寒草地的退化问题需要对高寒草地退化现状进行综合评价,而这需要相关数据作为支撑,本研究设计并实现了一个基于Hive的高寒草地海量数据高效分析系统,能对高寒草地的海量数据进行可靠、高效地存储分析。首先,平台设计基于Hadoop、Hive、Sqoop环境,通过节点和集群配置等步骤搭建完成;然后,通过期望最大化(EM)算法进行数据填充、数据导入、数据分区存储等步骤,完成数据抽取、转换、加载(ETL)及数据存储;最后,系统通过混合函数编码实现模糊查询功能,实验测试表明系统达到了预定的效果。随着文件大小的增加和总体数据规模的增大,系统整体存储和读取时间一直处于增长的状态,但平均运行时间(平均处理1 MB数据所使用的时间)处于降低的趋势,说明随着数据量的增加,系统并行处理海量数据的能力得到体现。使用2014年青海省称多县高寒草地样方监测数据和部分虚拟数据(总数据量约为3958万条,7.56 GB),对Hive集群以及关系型数据库SQL Server的数据查询效率进行对比。结果显示,当查询数据量为3958万条时,Hive集群数据查询的时间为SQL Server查询时间的67.8%。说明在数据量较大时,系统数据查询的效率比SQL Server更高。通过HiveQL对高寒草地生态数据进行分析处理,并开展相应的对照实验,对比发现,Hive数据分析技术与对照实验的处理结果相同。综上,将分布式数据仓库技术应用于高寒草地海量数据的存储与分析,较传统的数据存储与分析技术相比有明显的进步。本系统对海量数据处理效率高、可开发性强,可以很好地满足海量高寒草地数据的存储和分析要求。
关键词
高寒草地
海量数据
存储与分析
Hive
Keywords
alpine grassland
massive data
storage and analysis
Hive
分类号
S812 [农业科学—草业科学]
TP311.1 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
轨道车辆裙底板装配在线检测系统的研究
被引量：
3
3
作者
刘志伟
魏京利
李丰
赵成刚
机构
南车青岛四方机车车辆股份有限公司
出处
《机械设计与制造》
北大核心
2015年第4期174-177,共4页
文摘
针对轨道车辆裙板底板装配过程中采用拧紧机进行拧紧操作存在的缺陷,设计了一种轨道车辆裙板底板装配在线检测系统,系统包含裙板底板位置信息识别模块、装配作业在线检测模块及数据存储和分析模块,采用该检测系统可有效解决拧紧遗漏、扭矩错误、重复拧紧、拧紧过程不连续等问题,并可对装配数据进行存储与分析,保证出厂车辆的装配质量。实验表明,系统能够监控裙板底板装配过程,对出现的问题进行准确实时地报警,并查询和分析历史装配记录,符合工况要求。
关键词
裙底板装配
以太网通信
在线检测
数据
存储与分析
数据库开发
Keywords
Skirt Bottom Plate Assembly
Ethernet Communication
On-Line Detection
Data Storage and Analysis
Database Development
分类号
TH16 [机械工程—机械制造及自动化]
TP273 [自动化与计算机技术—检测技术与自动化装置]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于大数据的铁路信号系统数据存储与分析系统设计与实现
王伟
廖正宇
张辉
郭栋
《信息网络安全》
CSCD
2017
15
在线阅读
下载PDF
职称材料
2
基于Hive的高寒草地海量数据高效分析系统设计研究
李亮丹
晔沙
谢夏
胡月明
谢健文
周悟
游小敏
《农业资源与环境学报》
CAS
CSCD
北大核心
2021
1
在线阅读
下载PDF
职称材料
3
轨道车辆裙底板装配在线检测系统的研究
刘志伟
魏京利
李丰
赵成刚
《机械设计与制造》
北大核心
2015
3
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
