期刊文献+
共找到1,371篇文章
< 1 2 69 >
每页显示 20 50 100
面向跨域自然语言生成SQL语句的超图神经网络
1
作者 郝志峰 黎阳霖 +1 位作者 许柏炎 蔡瑞初 《计算机工程》 北大核心 2025年第5期114-123,共10页
近年来,图神经网络(GNN)广泛-应用于跨域自然语言生成结构化查询语言(SQL)语句(Text-to-SQL)的编码器。基于GNN的编码过程通过捕获数据库架构和自然语言问题之间的关联信息,大幅提高生成模型在跨域SQL语句生成下的泛化性。现有的GNN方... 近年来,图神经网络(GNN)广泛-应用于跨域自然语言生成结构化查询语言(SQL)语句(Text-to-SQL)的编码器。基于GNN的编码过程通过捕获数据库架构和自然语言问题之间的关联信息,大幅提高生成模型在跨域SQL语句生成下的泛化性。现有的GNN方法在异构图结构编码学习过程中存在缺陷,以节点为中心进行数据库架构和自然语言问题的链接预测,在复杂语义场景下容易出现错配。针对这一问题,提出一种面向跨域Text-to-SQL的异构图学习框架。框架针对异构图以边为中心学习的过程提出关系边子图构建和边超图注意力网络,有效学习异构图中关系边与节点的差异化结构特征,实现复杂语义场景下SQL语句正确生成。为验证所提框架的有效性,在多个跨域Text-to-SQL数据集上进行充分实验对比。结果表明,相较于基线,该框架在F1值和完全匹配准确率(EMA)指标上均取得显著提升,且在复杂跨域场景下具有更强的泛化性。 展开更多
关键词 自然语言处理 自然语言生成sql语句解析 深度学习 图构建 图神经网络
在线阅读 下载PDF
基于弱监督学习的Text-to-SQL自动生成方法
2
作者 向宁 《无线电通信技术》 北大核心 2025年第3期520-529,共10页
结构化查询语言(Structured Query Language,SQL)生成模型对于非专业人员检索情报至关重要。通常训练SQL生成模型需要使用标注的SQL以及对应的自然语言问题,现有SQL生成模型难以推广到不同的训练数据。根据问题分解半结构化表示(Decompo... 结构化查询语言(Structured Query Language,SQL)生成模型对于非专业人员检索情报至关重要。通常训练SQL生成模型需要使用标注的SQL以及对应的自然语言问题,现有SQL生成模型难以推广到不同的训练数据。根据问题分解半结构化表示(Decomposition Semi-structed Representation,DSR),提出一种基于弱监督学习的Text-to-SQL自动生成方法(Text-to-SQL Automatic Generation Method Based on Weakly Supervised Learning,TS-WSL),给定问题、DSR和执行答案,能够自动合成用于训练Text-to-SQL模型的SQL查询。使用DSR解析器对问题进行解析,通过短语链接、连接路径推理以及SQL映射过程生成候选SQL;使用候选SQL搜索选择最佳的SQL查询;使用生成的SQL数据对T5模型进行训练。在5个基准数据集上进行实验,结果表明所提方法比基于注释SQL数据集上训练的模型更具泛化性,在无域内DSR场景下,仍然可以达到完全监督模型约90%的性能。 展开更多
关键词 结构化查询语言生成模型 分解半结构化表示 弱监督学习 大模型
在线阅读 下载PDF
基于SQL数据库和KD-Tree算法的船体型线匹配方法
3
作者 余恺 马宁 +1 位作者 史琪琪 孙利 《舰船科学技术》 北大核心 2025年第11期8-14,共7页
为提高船舶初步设计效率,提出一种基于SQL数据库和KD-Tree算法的船舶型线快速匹配方法。针对船舶数据繁多复杂的问题,利用SQL语言保存、分类和提取船舶设计过程中的型线数据和特征线数据,提高了数据的存储和利用效率。针对船体复杂曲面... 为提高船舶初步设计效率,提出一种基于SQL数据库和KD-Tree算法的船舶型线快速匹配方法。针对船舶数据繁多复杂的问题,利用SQL语言保存、分类和提取船舶设计过程中的型线数据和特征线数据,提高了数据的存储和利用效率。针对船体复杂曲面的匹配问题,采取基于特征线描述船体特征,并求解特征线B样条控制点的方法保存船体的曲面特征数据。针对高维度变量的匹配问题,在不同大小的测试集中采用KD-Tree结构保存数据并采用最邻近搜索算法,能将船体型线的搜索匹配速度提高34.31%~84.16%。该方法对提高船舶初步设计效率提供有益的借鉴和帮助。 展开更多
关键词 船体设计 sql数据库 KD-Tree算法 船舶特征线
在线阅读 下载PDF
面向研究生招生咨询的中文Text-to-SQL模型
4
作者 王庆丰 李旭 +1 位作者 姚春龙 程腾腾 《计算机工程》 北大核心 2025年第3期362-368,共7页
研究生招生咨询是一种具有代表性的短时间高频次问答应用场景。针对现有基于词向量等方法的招生问答系统返回答案不够精确,以及每年需要更新问题库的问题,引入了基于文本转结构化查询语言(Text-to-SQL)技术的RESDSQL模型,可将自然语言... 研究生招生咨询是一种具有代表性的短时间高频次问答应用场景。针对现有基于词向量等方法的招生问答系统返回答案不够精确,以及每年需要更新问题库的问题,引入了基于文本转结构化查询语言(Text-to-SQL)技术的RESDSQL模型,可将自然语言问题转化为SQL语句后到结构化数据库中查询答案并返回。搜集了研究生招生场景中的高频咨询问题,根据3所高校真实招生数据,构建问题与SQL语句模板,通过填充模板的方式构建数据集,共有训练集1501条、测试集386条。将RESDSQL的RoBERTa模型替换为具有更强多语言生成能力的XLM-RoBERTa模型、T5模型替换为mT5模型,并在目标领域数据集上进行微调,在招生领域问题上取得了较高的准确率,在mT5-large模型上执行正确率为0.95,精确匹配率为1。与基于ChatGPT3.5模型、使用零样本提示的C3SQL方法对比,该模型性能与成本均更优。 展开更多
关键词 中文文本转结构化查询语言 自然语言查询 中文sql语句生成 预训练模型 Text-to-sql数据集
在线阅读 下载PDF
多域人机交互场景下中文SQL生成算法
5
作者 李洲 王星捷 +3 位作者 韩楠 潘乐盈 杨春芳 乔少杰 《重庆理工大学学报(自然科学)》 北大核心 2025年第6期100-107,共8页
随着自然语言处理、人工智能和多域数据库应用的发展,对智能数据库查询系统的需求迅速增长,尤其是在中文语境中,实现准确的查询生成已成为金融、医疗保健和客户服务等行业的必需要素。现有的SQL生成方法难以解决中文语义解析、多域适应... 随着自然语言处理、人工智能和多域数据库应用的发展,对智能数据库查询系统的需求迅速增长,尤其是在中文语境中,实现准确的查询生成已成为金融、医疗保健和客户服务等行业的必需要素。现有的SQL生成方法难以解决中文语义解析、多域适应性及人机交互中语义一致性的问题,限制复杂查询的跨域处理。针对上述挑战,提出一种面向中文的多域人机交互式SQL生成算法MH-CSQL(multi-domain human-computer interaction for Chinese SQL generation algorithm),结合历史信息和课程学习技术以增强自然语言理解,支持多域数据库处理各种查询任务。实验结果表明,MH-CSQL在准确性和适应性方面均优于传统方法。此外,将人机交互模型的结果可视图进行展示,验证了MH-CSQL在智能问答等领域的应用前景。 展开更多
关键词 中文语义解析 多领域数据库 人机交互 sql自动生成
在线阅读 下载PDF
基于结构化案例推理的SQL生成模型
6
作者 罗明全 王静 魏英 《无线电通信技术》 北大核心 2025年第3期478-485,共8页
自动化的自然语言与数据库接口对于应用开发至关重要。语义解析驱动的推理时间结构化查询语言(Structured Query Language,SQL)自适应方法能够兼容来自新域的样本,且无需重复调优。现有方法通常简单地将编码器输入的新域输入-输出案例... 自动化的自然语言与数据库接口对于应用开发至关重要。语义解析驱动的推理时间结构化查询语言(Structured Query Language,SQL)自适应方法能够兼容来自新域的样本,且无需重复调优。现有方法通常简单地将编码器输入的新域输入-输出案例连接到模型中,进而使解码器产生偏差,不能充分利用案例中逻辑形式的结构。基于上述情况,提出一种基于结构化案例推理(Structured Case Reasoning Model,SCRM)的SQL生成模型,充分利用案例的逻辑形式和候选输出之间的子树级相似性,以此生成更好的解码器决策;提出一个可训练的组合子树相似函数,与全树嵌入相比,该函数对于大型搜索边界的评分更为准确。SCRM结合新的结构化案例记忆及可训练的查询子树相似度模块,可以提升推理过程中正确输出的得分。在5种不同的数据集上进行实验,相对于其他模型,所提出的SCRM凭借结构化案例的优势,在不同性能指标上均取得了最佳结果。 展开更多
关键词 Text-to-sql 子树级相似性 结构化案例 解码器 相似函数
在线阅读 下载PDF
基于关系感知注意力的信息检索SQL生成器
7
作者 王孝红 杨帅强 《无线电通信技术》 北大核心 2025年第3期511-519,共9页
结构化查询语言(Structured Query Language,SQL)生成器对于非专业人员检索信息至关重要,模型学习模式链接和模式编码等关系结构是自然语言转换为SQL,即Text-to-SQL任务的关键步骤。不同的关系结构通常利用不同结构的模型进行学习,难以... 结构化查询语言(Structured Query Language,SQL)生成器对于非专业人员检索信息至关重要,模型学习模式链接和模式编码等关系结构是自然语言转换为SQL,即Text-to-SQL任务的关键步骤。不同的关系结构通常利用不同结构的模型进行学习,难以兼容现有固定结构的大型预训练模型。现有方法往往忽视问题依赖结构关系和问题共引用关系对模型的影响,很难同时利用不同的关系结构。为了解决上述问题,提出基于关系感知注意力(Relation-Aware Attention,RAA)的信息检索SQL生成器,使用RAA机制学习模式链接和模式编码等关系结构,引入问题依赖结构关系和问题共引用关系使模型更具泛化性,利用关系副本方法处理关系与输入标记之间的粒度。RAA能够在利用预训练权重的情况下向模型引入新的关系权重。在3个包含单回合和多回合场景的Text-to-SQL数据集上进行了大量实验,结果表明RAA在不同数据集上均表现出最佳性能。 展开更多
关键词 结构化查询语言生成器 信息检索 Text-to-sql 预训练模型 关系感知注意力
在线阅读 下载PDF
支持大数据管理的NoSQL系统研究综述 被引量:197
8
作者 申德荣 于戈 +2 位作者 王习特 聂铁铮 寇月 《软件学报》 EI CSCD 北大核心 2013年第8期1786-1803,共18页
针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统.针对基于key-value数据模型的NoSQL数据库的相关研究进行综述.首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑... 针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统.针对基于key-value数据模型的NoSQL数据库的相关研究进行综述.首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑战,其中典型的包括系统体系结构、数据模型、访问方式、索引技术、事务特性、系统弹性、动态负载均衡、副本策略、数据一致性策略、基于flash的多级缓存机制、基于MapReduce的数据处理策略和新一代数据管理系统等;最后给出了研究展望. 展开更多
关键词 nosql key-value存储 大数据管理
在线阅读 下载PDF
基于NoSQL数据库的农田物联网云存储系统设计与实现 被引量:36
9
作者 许鑫 时雷 +2 位作者 何龙 张浩 马新明 《农业工程学报》 EI CAS CSCD 北大核心 2019年第1期172-179,共8页
为了解决农田物联网大量图像、视频和传感器等结构化和非结构化数据实时处理与写入问题,该文基于分布式存储与NoSQL(NotOnlySQL)技术,结合农田物联网数据特征,利用HDFS(HadoopDistributedFileSystem)和HBase(Hadoop Database)存储非结... 为了解决农田物联网大量图像、视频和传感器等结构化和非结构化数据实时处理与写入问题,该文基于分布式存储与NoSQL(NotOnlySQL)技术,结合农田物联网数据特征,利用HDFS(HadoopDistributedFileSystem)和HBase(Hadoop Database)存储非结构化和结构化数据,基于Redis缓存服务,设计了三层物联网数据云存储框架,实现了海量农田物联网数据存储中的业务处理、事务处理、图片打包与索引、负载均衡等关键技术。面对复杂业务下的事务数据一致性,该文采用基于HLock的乐观锁机制,实现了HBase对强事务性的支持,经过与传统MySQL集群事务对比测试,当数据量级在500万时,数据读取效率提升达35.75%。为了提高农田物联网中大量的小图片和小文件处理效率,基于图片打包合并策略,利用SequenceFile技术实现物联图片的快速索引读写技术,与原生HDFS存储效率相比,读写效率提升30%以上。该研究可以为海量农业物联网数据的存储和管理提供技术参考和理论支撑。 展开更多
关键词 农田 数据存储系统 管理 物联网 nosql Hadoop HBASE 云存储
在线阅读 下载PDF
基于NoSQL数据库的大数据查询技术的研究与应用 被引量:29
10
作者 朱建生 汪健雄 张军锋 《中国铁道科学》 EI CAS CSCD 北大核心 2014年第1期135-141,共7页
基于NoSQL数据库理论,根据应用场景的不同,将NoSQL数据库分为面向高性能读写、面向文档和面向分布式计算的3种类型。对比分析这3种类型数据库的6种代表产品的优缺点,结合铁路客票实名制售票信息综合分析系统中的大数据操作的需求,选用No... 基于NoSQL数据库理论,根据应用场景的不同,将NoSQL数据库分为面向高性能读写、面向文档和面向分布式计算的3种类型。对比分析这3种类型数据库的6种代表产品的优缺点,结合铁路客票实名制售票信息综合分析系统中的大数据操作的需求,选用NoSQL数据库中的面向分布式计算的Cassandra数据库。基于Cassandra数据库,提出铁路客票实名制信息综合分析系统的技术架构,并设计反向索引以构建客票实名制乘车信息的查询策略和查询流程。通过性能测试,验证了NoSQL数据库技术在处理大数据查询和分析中的高可用性,可突破传统关系型数据库和数据仓库在应用中所遇到的查询性能、扩展性以及投资成本的瓶颈。 展开更多
关键词 nosql数据库 Cassandra数据库 大数据处理 反向索引 数据查询
在线阅读 下载PDF
大规模装备监测数据的NoSQL存储方案 被引量:9
11
作者 钟雨 黄向东 +3 位作者 刘丹 黄宇霞 田炜 王建民 《计算机集成制造系统》 EI CSCD 北大核心 2013年第12期3008-3016,共9页
面向大规模机械装备监测数据管理中遇到的海量数据存储、快速读写响应、大规模数据分析等难题,提出使用基于NoSQL(Not only SQL)的LaUD-MS系统进行监测数据管理的存储架构。设计一种多列族自由表模型,并通过理论和实验对其读写性能进行... 面向大规模机械装备监测数据管理中遇到的海量数据存储、快速读写响应、大规模数据分析等难题,提出使用基于NoSQL(Not only SQL)的LaUD-MS系统进行监测数据管理的存储架构。设计一种多列族自由表模型,并通过理论和实验对其读写性能进行分析对比,证明了本存储方案能够解决海量监测数据的存储难题,并满足面向维护、维修和大修服务的查询需求。 展开更多
关键词 监测数据 大数据 nosql 多列族 自由表
在线阅读 下载PDF
基于NoSQL的大数据应用设计与性能保障方案研究 被引量:3
12
作者 胡小春 李陶深 +2 位作者 王乐 陈燕 陈宁江 《广西大学学报(自然科学版)》 CAS 北大核心 2014年第3期633-640,共8页
在云计算和大数据的应用背景下,NoSQL数据库技术逐渐得到应用。以一个海量文档分享平台需求为应用实例,探讨基于NoSQL数据库技术的大数据应用设计相关的数据持久化和访问的性能保障方案,特别是涉及以数据存储为中心的效率优化问题。对... 在云计算和大数据的应用背景下,NoSQL数据库技术逐渐得到应用。以一个海量文档分享平台需求为应用实例,探讨基于NoSQL数据库技术的大数据应用设计相关的数据持久化和访问的性能保障方案,特别是涉及以数据存储为中心的效率优化问题。对实例原型系统进行测试,验证了CRUD操作性能获得明显改善,特别体现在查询和插入方面,实验结果说明所提出的方案具有较好的可行性和高效性。 展开更多
关键词 nosql 大数据 性能保障
在线阅读 下载PDF
复杂属性环境下NoSQL分布式大数据挖掘方法研究 被引量:15
13
作者 梅毅 熊婷 罗少彬 《科学技术与工程》 北大核心 2017年第9期239-243,共5页
由于复杂属性环境下的大数据挖掘工作需要涉及到对大数据的分析、清理、转换和集成等一系列操作,导致以往提出的复杂属性环境下大数据挖掘方法无法同时拥有较强的准确性、稳定性和实用性,故提出复杂属性环境下NoSQL分布式大数据挖掘方... 由于复杂属性环境下的大数据挖掘工作需要涉及到对大数据的分析、清理、转换和集成等一系列操作,导致以往提出的复杂属性环境下大数据挖掘方法无法同时拥有较强的准确性、稳定性和实用性,故提出复杂属性环境下NoSQL分布式大数据挖掘方法。所提方法利用NoSQL数据库的物理分散逻辑,在复杂属性环境下构建NoS QL数据库,给出挖掘条件,对数据库中大数据的特征、位置、方向和长度属性的关联性进行分布式挖掘,经由挖掘公式给出挖掘结果。利用挖掘聚类公式对大数据的特征、位置、方向和长度属性的关联性挖掘结果进行聚类,获取所提方法的最终挖掘结果。经实验分析可知,所提方法在挖掘工作中具有较强的准确性、稳定性和实用性。 展开更多
关键词 复杂属性环境 nosql 分布式 大数据挖掘
在线阅读 下载PDF
基于向量时钟模型的NoSQL最终一致性的研究 被引量:6
14
作者 罗军 王宏 李文生 《计算机工程与应用》 CSCD 2013年第23期100-102,131,共4页
最终一致性作为衡量NoSQL数据库性能的重要指标,对NoSQL的应用与发展起着重要作用。针对最终一致性解决方案存在的问题,提出基于向量时钟的最终一致性模型。模型为数据加入了版本的概念,通过版本向量和时间戳的引入,为数据标识了版本信... 最终一致性作为衡量NoSQL数据库性能的重要指标,对NoSQL的应用与发展起着重要作用。针对最终一致性解决方案存在的问题,提出基于向量时钟的最终一致性模型。模型为数据加入了版本的概念,通过版本向量和时间戳的引入,为数据标识了版本信息,同时给出了冲突检测和处理方案。对比分析表明,方案很好地解决了问题,提高了最终一致性的性能,在NoSQL数据库的设计过程中具有较好的应用价值。 展开更多
关键词 nosql数据库 最终一致性 向量时钟 时间戳
在线阅读 下载PDF
基于NoSQL的RDF数据存储与查询技术综述 被引量:22
15
作者 王林彬 黎建辉 沈志宏 《计算机应用研究》 CSCD 北大核心 2015年第5期1281-1286,共6页
随着语义网的发展和RDF(resource description framework,资源描述框架)数据量的快速增长,利用NoSQL数据库存储和管理大规模RDF数据已经成为了当前的研究热点。介绍了No SQL数据库的种类划分和各类型特点,阐述了RDF数据在各类No SQL数... 随着语义网的发展和RDF(resource description framework,资源描述框架)数据量的快速增长,利用NoSQL数据库存储和管理大规模RDF数据已经成为了当前的研究热点。介绍了No SQL数据库的种类划分和各类型特点,阐述了RDF数据在各类No SQL数据库中存储结构设计和并行查询算法的研究现状,分析比较了不同方法的优缺点。最后,讨论了利用No SQL数据库管理RDF的优势,总结了现有研究的不足之处,并展望了未来的研究方向。 展开更多
关键词 资源描述框架 nosql数据库 数据模型 存储结构设计 RDF并行查询算法
在线阅读 下载PDF
NoSQL数据库间数据交换代价研究 被引量:4
16
作者 郭昆 宋杰 +1 位作者 王洁萍 朱志良 《计算机工程与科学》 CSCD 北大核心 2016年第1期33-40,共8页
随着互联网时代的到来,IT行业迅猛发展,NoSQL数据库以其在大数据环境下出色的业务处理处理能力,在IT行业内得到越来越广泛的应用。而各NoSQL数据库由于自身数据模型的不同,在数据组织方式上彼此存在差异。NoSQL数据库间进行数据交换时,... 随着互联网时代的到来,IT行业迅猛发展,NoSQL数据库以其在大数据环境下出色的业务处理处理能力,在IT行业内得到越来越广泛的应用。而各NoSQL数据库由于自身数据模型的不同,在数据组织方式上彼此存在差异。NoSQL数据库间进行数据交换时,数据模型的不同会导致数据库间数据传输的阻抗,以源数据库数据模型封装的业务数据可能无法直接被目标数据库解析,需进行额外的模型适配操作,参照目标数据库数据模型组织业务数据以供筛选存储。为此,拟定义一种数据描述模型,对NoSQL数据库数据模型特征建模,描述NoSQL数据库的数据组织方式,并定义NoSQL数据库数据模型间距离评估算法。根据数据描述模型与距离评估算法可设计实现一种通用数据模型,其在数据交换过程中可与相关NoSQL数据库进行数据模型上的转换,系统相关业务代码只需参照该数据模型设计,而独立于数据交换过程中NoSQL数据库具体的数据模型。 展开更多
关键词 nosql 数据交换 数据模型 距离评估 编辑图
在线阅读 下载PDF
基于本体和NoSQL的机械产品方案设计的知识表示与存储研究 被引量:5
17
作者 吴鹏 刘恒旺 丁慧君 《情报学报》 CSSCI CSCD 北大核心 2017年第3期285-296,共12页
在机械产品方案设计中涉及大量半结构化或者非结构化知识,现有的知识表示方式无法支撑设计知识的有效共享与重用,知识存储模式无法适应设计知识的复杂性特征。本文运用基于本体和NoSQL方法对机械产品方案设计知识和设计案例进行知识表... 在机械产品方案设计中涉及大量半结构化或者非结构化知识,现有的知识表示方式无法支撑设计知识的有效共享与重用,知识存储模式无法适应设计知识的复杂性特征。本文运用基于本体和NoSQL方法对机械产品方案设计知识和设计案例进行知识表示与存储,提出了基于FBS模型的机械产品方案设计本体构建方法,以及基于本体和NoSQL的机械产品方案设计存储模型。在此基础之上,以某机械产品为例,完成了本体构建和设计知识存储系统的构建,并与传统的关系型数据库的知识存储与查询系统进行了对比分析,实现了产品方案设计知识的语义化表示以及合理高效的存储,有效地支撑设计知识的共享与重用。 展开更多
关键词 产品设计 知识表示 知识存储 本体 nosql MONGODB
在线阅读 下载PDF
PDM中单一BOM数据源的NoSQL数据组织研究 被引量:8
18
作者 夏秀峰 梁利亮 李佳佳 《小型微型计算机系统》 CSCD 北大核心 2016年第7期1440-1444,共5页
物料清单(BOM)是产品数据管理(PDM)系统中最重要的基础数据,其逻辑数据组织呈现网状结构.现有PDM均采用关系型数据库(RDB)的二维表形式组织BOM数据,其访问事务受到ACID特性的束缚,且存在数据冗余度高、查询效率低等问题.以非关系型数据... 物料清单(BOM)是产品数据管理(PDM)系统中最重要的基础数据,其逻辑数据组织呈现网状结构.现有PDM均采用关系型数据库(RDB)的二维表形式组织BOM数据,其访问事务受到ACID特性的束缚,且存在数据冗余度高、查询效率低等问题.以非关系型数据库(No SQL)作为底层数据管理系统,借鉴单一产品数据源(SSPD)的思想,从分析PDM中各类BOM数据的结构和逻辑联系出发,提出树形—原子聚合嵌套式BOM数据组织结构,在物理层完成单一数据源的BOM数据存储,减少查询时的表连接操作,加快查询速度,降低更新代价. 展开更多
关键词 nosql 物料清单 产品数据管理 单一数据源 树形—原子聚合嵌套
在线阅读 下载PDF
基于NoSQL的FITS文件头元数据存储和查询研究 被引量:5
19
作者 刘应波 王锋 +3 位作者 季凯帆 邓辉 戴伟 梁波 《计算机应用研究》 CSCD 北大核心 2015年第2期461-465,共5页
随着大型天文望远镜的投入使用,观测台站正面临PB量级的海量数据存储、快速检索难题;同时由于在数据检索中起着关键作用的FITS文件头的可变性,导致难以使用传统的关系型数据库来建立可适应这种变化需求的非结构化数据模型。针对这个难题... 随着大型天文望远镜的投入使用,观测台站正面临PB量级的海量数据存储、快速检索难题;同时由于在数据检索中起着关键作用的FITS文件头的可变性,导致难以使用传统的关系型数据库来建立可适应这种变化需求的非结构化数据模型。针对这个难题,提出了使用NoSQL对天文上广泛使用的FITS文件头中所包含的可变元数据信息进行存储和查询;讨论了关系型数据模型存储可变FITS文件头的不足;分析了NoSQL存储可变FITS头元数据信息的可行性;使用形式化的关系型代数对这种存储查询方式进行了一般化的讨论。通过具体查询实例验证了该方案在存储天文可变FITS文件头的有效性和可行性。 展开更多
关键词 天文数据存储 元数据 海量数据查询 非关系型数据库
在线阅读 下载PDF
云平台下的NoSQL分布式大数据存储技术与应用 被引量:20
20
作者 吴燕波 薛琴 +1 位作者 向大为 麦永浩 《现代电子技术》 北大核心 2016年第9期44-47,52,共5页
随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。... 随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。 展开更多
关键词 Hadoop云存储平台 MongoDB数据库 非关系型数据库 云存储
在线阅读 下载PDF
上一页 1 2 69 下一页 到第
使用帮助 返回顶部