-
题名面向外汇市场监测的分布式计算框架设计
被引量：1
- 1
-
-
作者
程文亮
王志宏
周虞
过弋
赵俊锋
-
机构
中汇信息技术(上海)有限公司开发二部
华东理工大学信息科学与工程学院
大数据流通与交易技术国家工程实验室(商业智能与可视化研究中心)
上海大数据与互联网受众工程技术研究中心
-
出处
《计算机应用》
CSCD
北大核心
2020年第1期173-180,共8页
-
基金
国家重点研发计划项目(2018YFC0807105)
上海市科学技术委员会科研计划项目(17DZ1101003,18511106602,18DZ2252300)~~
-
文摘
针对金融外汇市场监测指标计算复杂度高、完备性强、效率低等问题,基于Spark大数据架构提出了一种新的面向外汇市场监测的分布式计算框架。首先,对外汇市场监测的业务特性和现有技术框架进行了分析总结;然后,综合考虑了外汇单市场多指标和多市场多指标并行计算的业务特性;最后,基于Spark的有向无环图(DAG)作业调度机制和YARN的资源调度池隔离机制,分别提出了外汇市场级的有向无环图(M-DAG)模型和市场级资源分配策略--M-YARN。实验结果表明,所提面向外汇市场监测的分布式计算框架相对于传统技术框架在性能上提高了80%以上,可以有效保证大数据背景下外汇市场监测指标计算的完备性、精准性和时效性。
-
关键词
外汇市场
市场监测
SPARK
有限无环图
资源分配
-
Keywords
foreign exchange market
market monitoring
Spark
Directed Acyclic Graph (DAG)
resource allocation
-
分类号
TP399
[自动化与计算机技术—计算机应用技术]
-
