GB/T 39400-2020 工业数据质量 通用技术规范.pdf
- 文档部分内容预览:
6.1.2新建附加数据质量定量元素
方面,则应命名并定义新的 量定量元素。附加数据质量定量元素的命名和定义,应作为数据集质量信息的一部分。
岩土工程6.1.3识别可用的数据质量定量子元素
对可用数据质量定量元素的所有数据质量定量子元素加以识别,判断这些元素的数据质量定量 素是否适用于某一特定类型的数据集。每个可用数据质量定量元素至少包含一个可用数据质量定 元素。 注:数据质量定量子元素可用性由数据规范来决定,
GB/T 394002020
6.1.4新建附加数据质量定量子元素
方面,则应命名并定义新的 量定量子元素。附加数据质量定量子元素的命名和定义,应作为数据集质量信息的一部分。
6.1.5数据质量定量子元素描述项使用
6.1.5.1数据质量范围
对每个可用数据质量定量子元素,应识别至少一个数据质量范围。数据质量范围可以是数据集系 列、数据集或数据集内具有相同特征的部分数据。若数据质量范围无法识别,则默认为该数据集 注:数据质量范围的确定参照数据规范及数据质量非定量元素提供的非定量质量信息
6.1.5.2数据质量测量
每个数据质量范围有一个数据质量测量。数据质量测量应简要描述测量类型和测量边界。数据集 的质量应由多个测量来衡量 注:单一测量不能充分评价数据质量,也不能为数据集的所有应用提供单一测量
6.1.5.3数据质量评价过程
每个数据质量测量有一个数据质量评价过程。数据质量评价过程应描述数据质量范围内的数据 量方法,并包含该方法报告
6.1.5.4数据质量结果
将数据质量测量应用到数据质量范围所限定的数据后得到的值或值的集合。 将所得到的值或值的集合,用可接受的指定一致性质量等级,评价这些值或值的集合得到的结 果。该数据质量结果为“通过”或“不通过”。 这两种类型的数据质量结果都应被提供
6.1.5.5数据质量值类型
每个数据质量结果有一个数据质量值类型。
6.1.5.6数据质量值单位
每个数据质量结果有一个数据质量值单位(若存在
6.1.5.7数据质量测量日期
6.2非定量的数据质量信息
6.2.1识别可用的数据质量非定量元素
数据集目的应明确,用途应清晰,数据志应完整。 数据集的数据志应是可用的,或者报告数据志,或者报告缺少数据志的原因。 数据质量范围所限定的数据集内,当一部分数据的数据志与其他部分的数据志不同时,应提供其
据志,作为非定量的数据质量信息完整记录的一部分
6.2.2新建附加数据质量非定量元素
GB/T39400—2020
若本标准所列数据质量非定量元素未能充分描述非定量数据质量的某一方面,则应命名并定义新 的数据质量非定量元素。附加数据质量非定量元素的命名和定义,应作为数据集质量信息的一部分,
7.1.1数据质量评价方法分类
数据质量评价方法分为: 直接评价方法:通过比较数据与内外部参考信息来确定数据质量; 间接评价方法:使用与数据相关的外部知识推断或估计数据质量。
7.1.2直接评价方法
直接评价方法可分为: 完全检查方法:测试数据质量范围内的所有数据项; 抽样检查方法:测试数据质量范围内的部分数据项,抽样方法、抽样率及抽样过程应在数据质量报 告中报告 注:使用抽样检查方法时,特别是在使用小样本或非随机抽样时,分析数据质量结果的可信度
7.1.3间接评价方法
数据质量评价过程是产生和报告数据质量结果的一系列步骤。评价与报告数据质量结果的过 图3,评价步骤见表1。
GB/T39400—2020
a)测试目的:证实质量要素都在质量描述中; b)测试方法: 一检查质量描述,证实数据质量定量元素、数据质量定量子元素及数据质量定量子元素描述 项已被用来描述定量的质量信息; 检查质量描述,证实数据质量非定量元素已被用来描述非定量的质量信息。 测试二:可用性测试 a)测试目的:证实质量描述的可用性; b)测试方法: 识别数据规范中与定量质量相关的语句,并用其来识别可用的数据质量定量元素及其口 用的数据质量定量子元素; 一比较规范中识别的数据质量定量子元素与质量描述中所用的数据质量定量子元素,确保 该数据集可用的所有数据质量定量子元素已被识别并用在质量描述中; 检查可用的数据质量非定量元素,确保已被识别并用在质量描述中
测试目的:证实质量描述中附加元素是排斥性的,且附加元素的信息已被充分提供; b)测试方法: 检查所有附加数据质量定量元素,证实每个附加元素都描述了本标准中数据质量定量元 索没有描述的定量质量信息: 检查所有附加数据质量定量子元素,证实每个附加子元素都描述了本标准中数据质量定 量子元素没有描述的定量质量信息; 检查所有附加数据质量非定量元素,证实每个附加元素都描述了本标准中数据质量非定 量元素没有描述的非定量质量信息
测试四:定量子元素描述项正确性检查
a)测试目的:证实数据质量定量子元素描述项使用正确; D 测试方法:比较本标准及每个可用数据质量定量子元素(包括附加数据质量定量子元素)所 供的质量信息,证实数据质量定量子元素描述项的使用符合本标准。 测试五:“数据质量报告”符合性检查
a)测试目的:证实质量描述已用“数据质量报告”报告; D 测试方法:比较质量信息和“数据质量报告”,证实质量信息已用符合本标准要求的“数据质 报告”报告
8.1.2数据质量内容测试套件
3.1.2.2测试方法:任何纳入“工业数据”的数据应符合给定的数据规范,并提供一致性数据质量报告, 致性测试参见GB/T16656.31
数据质量控制总体上可分为三个步骤: a)生产者自查:生产者(数据集生产者)自查认为数据及其质量描述完全符合“数据质量描述 套件”“数据质量内容测试套件”的所有要求,才能将其提交给第三方检查。 b) 第三方检查:第三方检查认为生产者提交的数据及其质量描述完全符合“数据质量描述测证 件”“数据质量内容测试套件”的所有要求,才能将其提交给评审组检查。否则,详细指出错 将材料返回给生产者修改
数据质量控制总体上可分为三个步骤: a)生产者自查:生产者(数据集生产者)自查认为数据及其质量描述完全符合“数据质量描述测试 套件”“数据质量内容测试套件”的所有要求,才能将其提交给第三方检查。 b) 第三方检查:第三方检查认为生产者提交的数据及其质量描述完全符合“数据质量描述测试套 件”“数据质量内容测试套件”的所有要求,才能将其提交给评审组检查。否则,详细指出错误, 将材料返回给生产者修改,
GB/T 394002020
件”“数据质量内容测试套件”的所有要求,才能将其纳人“工业数据”。否则建筑技术交底,详细指出错误,将 材料返回生产者修改
数据质量信息应按规范要求报告。 质量信息应以“数据质量报告报告, 当多个数据质量结果被综合成单个数据质量结果来报告数据集质量时,综合数据质量结果应包含 在“数据质量报告”中,其数据质量结果类型为“综合”
数据质量报告主要内容见表2。其中: a)编号:给表中每个条款编号。 b)名称:报告条款名称。 C) 说明:定义或描述条款内容。 d) 约束/条件:描述报告该条款的必要条件,或需要该条款的条件。其含义如下: 必备:应有该条款; 条件可选:规定条件被满足时应有该条款; 可选:该条款是可选的。
外墙外保温标准规范范本表2数据质量报告主要内容
GB/T 394002020
[1]GB/T16656.31一1997工业自动化系统与集成产品数据的表达与交换第31部分:一 致性测试方法论与框架:基本概念 [2] GB/T 19000—2016 质量管理体系基础和术语 [3] GB/T 33674—2017 气象数据集核心元数据 [4] GB/T 34945—2017 信息技术数据溯源描述模型 [51 GB/T 36344—2018 信息技术数据质量评价指标
....- 数据标准 工业标准
- 相关专题: 数据质量