-
题名非结构化地质数据内容存储方法研究
被引量：7
- 1
-
-
作者
魏东琦
江宝得
张静雅
-
机构
中国地质大学(武汉)国家地理信息系统工程技术研究中心
中国地质调查局西安地质调查中心
地理信息工程国家重点实验室
-
出处
《西北地质》
CAS
CSCD
北大核心
2021年第4期266-273,共8页
-
基金
中国地质调查项目“国家地质大数据汇聚与管理”(202009000000180722)
地理信息工程国家重点实验室基金资助项目、实验室开放基金(SKLGIE2019-Z-4-1)。
-
文摘
地质工作已迈入大数据时代,但地学信息被记录成的报告、图件等非结构化数据,仍按照较为简单的方式组织归类到一起并存储在文件系统中,形成很多个内部构成复杂的数据集。这种方式不能很好的表达非结构化数据承载的丰富地学信息,也不便表达信息之间的复杂关系,更不利于发现跨数据集存在的深层知识。为尝试解决这个问题,笔者提出了多粒度级别内容树模型和支持演化的数据建模方式。这些特性使得通过模型可以对数据内容进行不同尺度的拆分,对信息的精确定位,还可以使模型根据数据主体需要,拓展主体特征描述的维度,逐步发现数据包含的信息和建立信息与信息之间的关系。考虑到地质大数据的特点,设计了以HBase为核心的数据模型持久化方式,以达到使用大数据技术体系下技术分析处理数据的目的;最后给出了对成果地质数据进行建模的实例,将文档、图件等非结构化数据以内容实体为最小单元进行拆分和重构,达到了较好的内容组织和信息表达效果。
-
关键词
地质大数据
非结构化数据
数据建模
内容存储
-
Keywords
geological big data
unstructured data
data model
content storage
-
分类号
P628
[天文地球—地质矿产勘探]
-
-
题名智能地质调查大数据应用体系架构与关键技术
被引量：53
- 2
-
-
作者
李超岭
李健强
张宏春
龚爱华
魏东琦
-
机构
中国地质调查局发展研究中心
国土资源部地质信息技术重点实验室
武汉中地数码科技有限公司
中国地质调查局西安地质调查中心
-
出处
《地质通报》
CAS
CSCD
北大核心
2015年第7期1288-1299,共12页
-
基金
中国地质调查局项目(编号:12120115073201
1212011120436
1212011120449)
-
文摘
地质调查数据主要由结构化和非结构化多样性的数据构成。由非结构化多样性数据文件组成的报告,由于技术原因,长期以来一直以传统的目录文件方式进行存储。这种存储方式导致数据的查询、统计、更新等操作不但低效,而且非常不利于检索、查询、挖掘等应用,使得数据服务能力极低。通过把Hadoop生态体系融入中国地质调查云平台架构,基于Hadoop HDFS和HBase存储架构,建立非结构化地质数据基础内容库存储组织模式,采用Lucene全文搜索引擎架和地质领域本体词库构建快速随机访问的索引文件机制,改变了多样化、碎片化的复杂地质调查非结构化数据的存储、阅读、搜索和应用模式,为智能地质调查提供精确、快速服务奠定基础。
-
关键词
智能地质调查
地质调查非结构化数据
分布式存储系统Hbase
Hadoop生态体系
-
Keywords
intelligent geological survey
unstructured data of geological survey
Hbase distributed storage system
Hadoop ecological system
-
分类号
P628
[天文地球—地质矿产勘探]
-
-
题名大数据背景下地质云的构建与应用
被引量：74
- 3
-
-
作者
陈建平
李婧
崔宁
于萍萍
-
机构
中国地质大学(北京)地球科学与资源学院
北京市国土资源信息研究开发重点实验室
-
出处
《地质通报》
CAS
CSCD
北大核心
2015年第7期1260-1265,共6页
-
基金
国土资源部公益性行业科研专项项目(编号:201511079-02)
-
文摘
地质学属于数据密集型科学,并与地球科学面临的问题息息相关。已经收集的和将要收集的大量数字国土相关数据,由于科学研究的需要,正在不断加以检验和扩充。大数据时代背景下,中国国土资源数字化、信息化的战略行动具有深远意义,大数据的相关技术应用为实现地质工作的现代化和信息化提供了有效的支撑。重点介绍大数据背景下的"地质云"构建理念与方法,以及大数据在地学领域的应用。大数据为非结构化、半结构化的地质数据带来了新的处理方法与理念。地质云的构建旨在探索以需求带动的地质核心数据的应用,挖掘非结构化数据的新数据信息,以支撑国土资源管理决策。
-
关键词
大数据
地质云
非结构化数据处理
-
Keywords
big data
geological cloud
unstructured data processing
-
分类号
P628
[天文地球—地质矿产勘探]
-
-
题名基于动态存储的天然气地质信息共享平台构建
被引量：8
- 4
-
-
作者
帅训波
石文昌
冯梅
周兆华
贺佩
-
机构
中国石油勘探开发研究院信息技术中心
中国人民大学信息学院
中国石油勘探开发研究院气田开发研究所
中国石油勘探开发研究院油气地球物理研究所
-
出处
《天然气工业》
EI
CAS
CSCD
北大核心
2021年第9期57-65,共9页
-
基金
国家科技重大专项“致密气储层精细描述与地质建模技术”(编号:2016ZX05047-003)
国家自然科学基金项目“云操作系统复合信任链支撑机制研究”(编号:61472429)
+1 种基金
国家高技术研究发展计划(863计划)项目“面向可信计算平台的操作系统安全机制研究”(编号:U1836209)
中国石油天然气股份有限公司信息技术研究课题“信息技术标准制修订”(编号:PetroChina-IT-(2020)-No52)。
-
文摘
随着云计算、大数据、物联网和人工智能等新兴信息技术在我国油气行业的深度应用,石油天然气工业信息化建设正在迈入数字化转型和智能化发展的新征程。油气勘探开发信息的数据共享和交换,是我国油气行业实现数字化转型、智能化发展的重要先决条件。为了解决各分散应用系统之间难以进行油气勘探开发数据共享应用的问题,应用云计算技术开展了天然气地质数据的动态存储与共享集成应用研究。研究结果表明:①从数据集成应用管理的角度,设计了基于云计算技术的结构化数据集成应用接口,实现了天然气地质结构化数据的标准化动态共享管理;②应用OpenStack Swift实现了对天然气地质非结构化数据的分布式动态存储,构建了基于文档特征词抽取的非结构化数据快速检索方法,实现了对非结构化数据的搜索应用;③通过采用数据挖掘方法的参数“设置指南”和“方法库字典”构建方式,实现了天然气地质数据挖掘方法的集成应用;④应用云计算技术,对天然气地质信息共享平台的应用功能和数据架构进行详细设计,并对其采用Spring Boot技术实现了软件开发。结论认为,较之于传统信息应用系统,基于动态存储的天然气地质信息共享平台的构建,实现了结构化数据的集成共享、非结构化数据的动态存储和综合数据的分析应用,具有较好的推广价值和应用前景。
-
关键词
天然气
地质信息平台
共享
动态存储
结构化数据
非结构化数据
方法库
-
Keywords
Natural Gas
Geological Information Platform
Sharing
Dynamic Storage
Structured Data
Unstructured Data
Method Base
-
分类号
TE19
[石油与天然气工程—油气勘探]
-
