-
题名工业多元时序数据质量评估方法
- 1
-
-
作者
宋洪涛
于江生
韩启龙
-
机构
哈尔滨工程大学计算机科学与技术学院
-
出处
《计算机应用》
CSCD
北大核心
2024年第6期1743-1750,共8页
-
基金
国家重点研发计划项目(2020YFB1710200)。
-
文摘
现有的数据质量评估(DQA)方法通常只从特定数据质量维度(DQD)的基本概念分析,忽略了能够反映数据质量(DQ)关键信息的细粒度的子维度对评估结果的影响。针对上述问题,提出一种工业多元时序数据质量评估(IMTSDQA)方法。首先,对于待评估的DQD,如完整性、规范性、一致性、唯一性和准确性等进行细粒度划分,考虑同一DQD内或不同DQD间各子维度的相关性以确定这些子维度的度量;其次,对完整性的属性完整性、记录完整性、数值完整性,规范性的类型规范性、精度规范性,一致性的顺序一致性、逻辑一致性,唯一性的属性唯一性、记录唯一性,准确性的范围准确性、数值准确性等子维度进行权重分配,进而充分挖掘DQD的深层次信息,从而获得反映DQ详情的评估结果。实验结果表明,与现有的基于框架定性分析、依据DQD基本定义构建模型的方法相比,IMTSDQA能更详细、更全面地评估DQ,且不同DQD的评估结果更能客观准确地反映DQ问题。
-
关键词
数据质量
多元时序数据
数据质量维度
数据质量评估
相关性
-
Keywords
Data Quality(DQ)
multivariate time series data
Data Quality Dimension(DQD)
Data Quality Assessment(DQA)
correlation
-
分类号
TP311.132
[自动化与计算机技术—计算机软件与理论]
-
-
题名数据质量测量框架研究及领域测量框架构建
被引量：1
- 2
-
-
作者
宋金玉
陈连勇
陈刚
-
机构
陆军工程大学指挥控制工程学院
-
出处
《计算机科学》
CSCD
北大核心
2024年第4期19-27,共9页
-
基金
国家自然科学基金(62207031)。
-
文摘
为激活数据质量潜能,构建兼顾信息环境与技术实现的数据质量测量框架,以提升数据挖掘和指挥决策的效用,文中从宏观层面和微观层面对现有的通用型、行业型数据质量测量框架进行梳理、研究,对数据质量维度进行“聚类”,得到数据质量维度类簇,提取了数据质量维度的两类特性,提出面向具体领域的数据质量测量框架构建准则。基于管理领域工作对数据质量的测量需求,结合构建准则构建了面向管理领域的数据质量测量框架,并明确了框架的数据质量维度、测量指标、测量方法等。
-
关键词
数据质量
数据质量维度
数据质量测量
数据质量测量框架
-
Keywords
Data quality
Data quality dimension
Data quality measurement
Data quality measurement framework
-
分类号
TP274
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名通用数据质量评估模型及本体实现
被引量：15
- 3
-
-
作者
张晓冉
袁满
-
机构
东北石油大学计算机与信息技术学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2018年第6期1333-1344,共12页
-
基金
黑龙江省教育厅科技项目(12531059)~~
-
文摘
随着数据科学技术在各个领域的深度应用,作为企业重要资产的数据越发表现出它的价值性与重要性.绝大多数企业结合行业特点开发了数据质量检测系统来解决自身数据质量问题.这些系统的评估模型各有特点,对于数据质量维度的定义也是各有千秋.试图将这些模型与数据质量维度以一种通用的形式来定义,旨在成为企业研发数据质量评估系统的标准.通过分析国内外学者在该研究领域取得的成果并结合常年研发数据质量检测与评估系统的经验,首先,提出了一个通用的数据质量检测与评估的数学模型;接着,以此模型为基础,采用本体技术定义了从该通用的数据质量评估数学模型到本体模型映射的转换规则;随后,考虑到多数数据存储在关系数据库中,因此以关系数据模型为例,依据所提出的数学模型和转换规则实现了对数据质量评估本体的抽取与构建,该模型实现了复杂质量规则的定义,具有规范性,实现了对不同来源、不同格式的数据质量进行检测与评估;最后,结合中国石油的油田开发数据质量评估项目进行了系统的实现,验证所提出模型的正确性、科学性、合理性以及可扩充性等.由于所提出的数据质量检测与评估模型与领域无关,所以它具有通用性.
-
关键词
数据质量
数据质量维度
数据质量评估
关系数据模型
本体映射
数据质量本体模型
-
Keywords
data quality
data quality dimension
data quality assess
relational data model
ontologymapping
data quality ontology model
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
-
题名数据仓库构建之数据预备域的数据质量研究
被引量：1
- 4
-
-
作者
余肖生
胡孙枝
王东娟
王缓缓
-
机构
三峡大学计算机与信息学院
-
出处
《重庆理工大学学报（自然科学）》
CAS
2014年第10期60-65,共6页
-
基金
宜昌市科学技术研究与开发项目(A2012-302-19)
-
文摘
数据仓库环境由数据预备域、数据处理域和数据存储域等3个相互独立的组件组成,其中数据预备域主要负责接收和转换来自源应用系统的数据,其输出的数据质量直接决定着整个数据仓库的质量。首先讨论数据仓库的数据预备域和数据仓库的数据质量维度,然后在此基础上讨论从操作源应用系统来的数据可能存在的质量问题,最后针对这些问题,讨论在数据预备域中如何进行处理以得到高质量的数据。
-
关键词
数据仓库构建
数据预备域
数据质量维度
-
Keywords
data warehouse construction
staging region
data quality dimensions
-
分类号
TP39
[自动化与计算机技术—计算机应用技术]
-
