-
题名基于聚类分析的数据格式转换模型的改进
- 1
-
-
作者
陈科
张保明
谢明霞
-
机构
解放军信息工程大学测绘学院
[
-
出处
《海洋测绘》
2009年第2期59-62,共4页
-
文摘
在深入细致分析各数据格式的相似性及差异性的基础上,针对传统数据格式转换模型一对一的转换方式,提出了分类通用数据格式转换模型——根据聚类分析对数据格式进行分类,归纳总结每类数据的通用数据格式,实现分类通用数据格式的相互转换,从而实现各数据格式的相互转换。
-
关键词
数据格式转换
数据融合
GIS
分类通用数据格式转换
聚类分析
相似性
差异性
-
Keywords
the data format conversion
the data fusion
GIS
the classified general data formats conversion
clustering analysis
similarity
dissimilarity
-
分类号
P208
[天文地球—地图制图学与地理信息工程]
-
-
题名海量COMTRADE数据并行解析算法
被引量：5
- 2
-
-
作者
桂勋
姚兰
钱清泉
-
机构
电子科技大学空天科学技术研究院
成都信息工程学院控制工程系
西南交通大学电气工程学院自动化研究所
-
出处
《电力系统自动化》
EI
CSCD
北大核心
2009年第15期62-66,共5页
-
文摘
针对电力系统暂态监测数据向海量化发展的趋势,以及对各种串行编程分析软件造成的计算压力,研究了一种基于多核的、采用流水线设计思想的海量电力系统暂态数据交换通用格式(COMTRADE)数据文件并行解析算法。在面向二进制格式的并行解析算法中,采用了2阶段的流水线步骤:第1阶段为文件读取;第2阶段为多线程解析。在面向美国标准信息交换码(ASCII)格式的并行解析算法中,采用了3阶段的流水线步骤:前2个阶段与二进制格式的并行解析算法一样,第3阶段为块边缘解析,打破了传统的串行文本解析算法。算法通过有效利用以往被忽视的数据文件中的序号信息,大幅提升了并行解析的并行度。试验证明此算法可获得相当高的加速比,并且可随着CPU核数的增加和COMTRADE数据文件的加大获得线性加速比。
-
关键词
海量数据
暂态数据交换通用格式(COMTRADE)
多核
流水线
并行解析
电力系统
-
Keywords
massive data
COMTRADE
multi-core
pipeline
parallel parsing
power system
-
分类号
TM769
[电气工程—电力系统及自动化]
-
-
题名基于递推算法的海量COMTRADE数据计算并行化
被引量：5
- 3
-
-
作者
桂勋
-
机构
电子科技大学航空航天学院
-
出处
《电力系统自动化》
EI
CSCD
北大核心
2014年第1期86-91,共6页
-
基金
中央高校基本科研业务费专项资金资助项目(ZYGX2009J089)~~
-
文摘
针对海量暂态数据交换通用格式(COMTRADE)数据计算时,由于基础算法和串行编程造成的效率瓶颈,经过试验和改进,优选出了可适应快速计算的递推全波离散傅里叶算法、加窗递推全波离散傅里叶算法和能滤除直流分量的可递推算法。在这3种递推算法的基础上,提出了海量通道数据计算并行化框架,此框架为避免伪共享效应所引起的效率损失,在每个计算线程内对参与计算的每个通道提供了一个独立的"通道高速缓存队列",并提供基于下标映射的虚拟块数据访问机制,形成递推算法可直接访问的窗口数据映射块。试验证明,此递推算法和并行化框架相结合可大幅提升计算效率,并且可随着CPU核心数的增加和计算数据量的加大,获得线性加速比。
-
关键词
暂态数据交换通用格式(COMTRADE)
海量数据
递推算法
并行化
-
Keywords
common format for transient data exchange（COMTRADE）
massive data
recursive algorithm
parallelization
-
分类号
TM744
[电气工程—电力系统及自动化]
-
-
题名基于动态分区的网格水文模型分布式计算
- 4
-
-
作者
王继民
刘赛佳
李嘉玮
-
机构
河海大学计算机与信息学院
-
出处
《计算机工程与设计》
北大核心
2023年第1期66-73,共8页
-
基金
国家重点研发计划基金项目(2018YFC1508106)。
-
文摘
考虑到传统的水文模型串行计算方法无法满足当前复杂的水文模拟预报需求,为提高网格水文模型的计算效率,分析网格化水文模型计算中网格汇流特点,提出基于网格汇流流向的动态数据分区方法,不同分区数据可以并行计算,基于该方法提出基于Spark的网格水文模型分布式计算模型。通过在屯溪流域使用该模型与传统模型进行水文预报计算,验证了模型的高效性。
-
关键词
分布式水文模型
分布式计算
数据分区
通用数据格式
可扩展标记语言
分布式任务调度
流域水文模拟
-
Keywords
distributed hydrological model
distributed computing
data partitioning
network common data format
extensible markup language
distributed task scheduling
watershed hydrology simulation
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
