-
题名面向海量数据的并行天文交叉证认
被引量：3
- 1
-
-
作者
赵青
孙济洲
于策
崔辰州
肖健
-
机构
天津大学计算机科学与技术学院
中国科学院国家天文台
-
出处
《计算机应用》
CSCD
北大核心
2010年第8期2056-2059,2206,共5页
-
基金
国家自然科学基金资助项目(10978016)
天津自然科学基金资助项目(08JCZDJC19700)
天津市科技支撑重点项目(09ZCKFGX00400)
-
文摘
交叉证认是实现多波段数据融合的关键技术,天文数据的海量性使这一问题必须要依靠计算机技术加以解决。按照PCAM并行设计模型设计了并行交叉证认算法。针对交叉证认在数据I/O访问方面存在的性能瓶颈,通过调整划分的粒度、过滤空白区域、优化数据加载、计算流程等方法,协调了数据读取量与计算量间的关系。实验表明该并行方法对交叉证认计算的效率提升明显。另一方面还考虑了对HTM、HEALPix两种最常用天文数据索引方式的支持,并通过实验对比了两者的性能,为我国天文数据主题库、虚拟天文台等项目提供了技术参考。
-
关键词
天文交叉证认
HTM
HEALPix
PCAM并行程序设计模型
大规模数据处理
-
Keywords
astronomical cross-match HTM HEALPix PCAM parallel programming model massive data processing
-
分类号
TP274
[自动化与计算机技术—检测技术与自动化装置]
TP302
[自动化与计算机技术—计算机系统结构]
-
-
题名基于MapReduce模型的分布式天文交叉证认
被引量：2
- 2
-
-
作者
赵青
孙济洲
肖健
于策
崔辰州
刘旭
袁鳌
-
机构
天津大学计算机科学与技术学院
中国科学院国家天文台
-
出处
《计算机应用研究》
CSCD
北大核心
2010年第9期3322-3325,共4页
-
基金
国家自然科学基金资助项目(10978016)
天津自然科学基金资助项目(08JCZDJC19700)
天津市科技支撑重点项目(09ZCKFGX00400)
-
文摘
交叉证认是实现多波段数据融合的关键技术,目前还缺乏对其分布式算法的研究。快速增长的数据规模使该问题必须要依赖分布式并行计算技术解决。提出了一种基于MapReduce分布式模型的新方法,根据Map-Reduce的要点,尽量减少了任务间的通信量,并通过合理设置划分粒度保证了效率与存储间的平衡。实验结果表明,该方法对海量数据交叉证认的效率提升明显,在大规模集群上达到了接近线性的加速比。该方法为交叉证认提供了一种快速有效的解决途径。
-
关键词
天文交叉证认
MAPREDUCE
并行计算
分布式计算
-
Keywords
astronomical cross-match
MapReduce
parallel computing
distributed computing
-
分类号
TP302
[自动化与计算机技术—计算机系统结构]
-
