MH/T 5056-2021 智慧民航数据治理规范数据质量.pdf
- 文档部分内容预览:
MH/T 5056-2021 智慧民航数据治理规范数据质量
2.0.3数据质量规则data qualityrule
2.0.4数据质量控制dataqualitycontrol
2.0.5数据质量改进dataqualityimprovement
锻件标准.0.6数据结构datastr
数据结构是指相互之间存在着一种或多种关系的数据元素的集合和该集合中数据元素之间 的关系。
数据维护data maintenan
数据维护是指修改或更新数据元素或数据记录,维护数据逻辑一致性的过程
航数据质量管理一般要求
3民航数据质量管理一般要求
3.0.1民航数据质量管理应根据业务问题和数据需求,聚焦关键数据和痛点问题,阶段性划定 范围。 3.0.2数据质量管理的流程宜包括数据质量评价规则制定、数据质量控制、数据质量改进(如 图3.0.2所示),具体内容包括: 1数据质量评价规则制定阶段应根据业务需求及数据标准要求制定数据质量评价规则; 2数据质量控制阶段应根据数据质量评价规则实施数据质量检查、监控等控制手段,发现 并反馈数据质量风险,宜包括事前、事中和事后控制3个部分; 3数据质量改进阶段应分析数据实际质量和目标质量差距的原因,并进行数据质量问题的 处理和改进
图3.0.2数据质量管理基本流程
3.0.3数据质量管理应贯穿数据的设计、产生、汇聚、应用阶段,并符合下列要求: 1数据设计阶段应在数据架构建设中融人数据质量的评估,包括: 1)数据资产目录应完整,业务对象应有明确的数据责任人对其全流程数据质量负责; 2)数据标准应唯一,数据业务用途及定义应准确,数据标准在信息系统及其对应的业务流 程中应得到应用; 3)物理数据模型应遵从逻辑数据模型进行设计; 4)业务对象的元数据质量应达标。 (条文说明)数据责任人是指基于数据的业务属性负责数据治理责任的个体,包括最高数据责任
人、领域数据责任人、业务数据责任人。 2数据产生阶段应厘清各个业务源系统的数据结构和定义,利用数据模型保证数据结构完 整、一致,应执行数据标准、规范数据维护过程,进行数据质量检查,从源头系统保证数据准 确、完整、唯一。 3数据汇聚阶段应加强数据质量问题的检查,跟踪数据质量问题的解决情况。 4数据应用阶段应根据数据的应用目标和现实情况,对现行的数据质量评估规则给予及时 反馈,提高上下游系统之间数据服务水平
4.1评价步骤与评价维度
4.1.1数据质量评价宜包括以下步骤(如图4.1.1所示): 1梳理本单位数据资产概况,确定关键数据项; 【条文说明】本规范中“单位”指民航行业各级行政主体、企业、直属单位和行业协会等组织 2分析数据质量业务需求,明确数据标准及业务规则; 3设计数据质量评价的关键维度,制定数据质量评价指标; 4根据业务发展需求及数据质量评价分析结果对数据质量评价规则进行验证; 5将数据质量评价规则进行技术实现,实现数据质量的自动化评价及监控
图4.1.1数据质量评价流程
4.2.1数据质量评价宜考虑完整性、时效性、准确性、一致性、规范性、可访问性6个维度。 4.2.2完整性应衡量数据按规则要求被完整赋值的程度。 4.2.3时效性应衡量数据在时间变化中的正确程度,包括数据获取的及时程度,数据符合当前 业务时序逻辑的程度。 4.2.4准确性应衡量数据表示其所描述的真实实体真实值的程度。
4.2.6规范性应衡量数据与所定义的数据标准、数据模型、业务规则、元数据等规范的符合程度 4.2.7可访问性应衡量数据能被访问和使用的程度
4.3.1完整性评价指标定义如表4.3.1所示。
表4.3.1完整性评价指标
行时间”等多项数据元素。当某航班“保洁开始时间”缺失时,该航班属于不完整的数据记录,该航班的保洁开始 时间属于不完整的数据元素,
时间属于不完整的数据元素
4.3.2时效性评价指标定义如表4.3.2所示。
表4.3.2时效性评价指标
满足及时性要求的元素。 时序性示例:以航班飞行动态为例,包含“抬前轮时间”“着陆时间”等多元素,同一航班的各时间节点应符合正 确的时序关系,当“抬前轮时间”晚于“陆时间”时,属于不满足时序性要求的元素。
满足及时性要求的元素。 2时序性示例:以航班飞行动态为例,包含“抬前轮时间”“着陆时间”等多元素,同一航班的各时间节点应符合正 确的时序关系,当“拾前轮时间”晚于“着陆时间”时,属于不满足时序性要求的元素。
准确性评价指标定义如表4.3.3所示
4.3.3准确性评价指标定义如表4.3.3所示
表4.3.3准确性评价指标
件号码”等多元素,当某元素与真实发生情况不一致时,该元素属于不满足数据内容正确性要求的元素, 2数据格式正确性示例:以航班离港时间为例,若约定为十二位时间格式,则不符合该格式要求的数据为不满足数 据格式正确性的数据。 3数据唯一性示例:以空管计算撤轮挡时间为例,当多套系统对特定航班生成计算撤轮挡时间时,同一时刻记录并 对外公布的该航班有效计算撤轮挡时间唯
评价指标定义如表4.3.
表4.3.4一致性评价指标
:1相同数据一致性示例:以航班“计划取消状态”为例,在航空公司营销部门、运行控制部门的不同数据库内分别 存储的同一航班的“计划取消状态”保持一致。 2关联数据一致性示例:以机场停机位数量为例,“停机位数量”“已使用停机位数量”“剩余停机位数量”三者之 间满足“停机位数量=已使用停机位数量+剩余停机位数量”的逻辑关系
存储的同一航班的“计划消状态”保持一致, 2关联数据一致性示例:以机场停机位数量为例,“停机位数量”“已使用停机位数量”“剩余停机位数量”三者之 间满足“停机位数量=已使用停机位数量+剩余停机位数量”的逻辑关系。
4.3.5规范性评价指标定义如表4.3.5所示
规范性评价指标定义如表4.3.5所示
表4.3.5规范性评价指标
4.3.6可访问性评价指标定义如表4.3.6所示
4.3.6可访问性评价指标定义如表4.3.6所示
表4.3.6可访问性评价指标
开使用、则不满足可用要求
5.1.1数据质量事前控制包括对质量规则的检查和数据源系统的检查。 5.1.2数据质量规则检查应检查数据业务规则的合理性,核对跨系统数据的一致性。 5.1.3数据源系统检查应检查源系统变更情况,包括表结构变更情况、字段值变更情况等 5.1.4数据上线前应基于元数据对象质量规则进行上线数据的质量检查
5.2.1数据质量事中控制应在数据流转和应用过程中设置关键质量控制节点,针对潜在数据质 量风险制定数据质量检测计划,基于数据质量评价规则对计划范围内的数据进行稽核。针对质 量未达标的数据应发出告警,针对质量问题严重的数据宜设定熔断机制中止数据流转。数据质 量事中控制监控流程如图5.2.1所示
图5.2.1数据质量事中控制监控流程
5.2.2应对运行过程中的数据进行质量监控,基于数据质量评价规则对运行结果稽核并进行错 误告警。 5.2.3应对质量问题告警进行定位分析、相似问题分析,宜利用元数据血缘分析定位问题数据 路径节点及关联数据。 5.2.4应对数据质量间题进行分类、统计,形成数据质量报表
题数据的增加、删除、更改、查询、终止流转等
5.3.1数据质量事后控制应针对事前和事中控制阶段暴露的质量问题进行归纳总结。 5.3.2宜将生产运行中系统监控到的数据质量问题、人员报告的数据质量问题、维护发现的数 据质量问题等统一汇聚到数据质量问题库,分析问题原因。 5.3.3宜按周期形成数据质量分析报告,包括质量问题和影响,以及问题处理情况等内容。 5.3.4应按数据质量评价维度(完整性、时效性、准确性、一致性、规范性、可访问性)形成 数据质量评估报告。
图6.1.1数据质量改进步骤
.2.1数据质量间题分析应识别导致数据质量问题的根本原因,包括但不限于信息原因、流 原因、技术原因和人员原因(如图6.2.1所示)。
6.2.2信息原因指数据规范性异常,包括元数据标准异常、数据质量规则异常、变化频度异 常等。 6.2.3流程原因指信息系统处理流程和人工操作流程设置不当,包括数据的创建、传递、装 载、使用、维护和稽核等流程。 6.2.4技术原因指数据处理各技术环节的异常,包括数据校验规则设计不当、数据源接人不 当、数据存储能力有限等,主要涉及数据创建、数据获取、数据传输、数据装载、数据使用、 数据维护等环节。 6.2.5人员原因指人员及管理机制不足,包括人员培训缺失、数据责任人不明确、激励与反馈 机制不足等
6.3.1针对信息原因造成的数据质量问题,应在源头建立数据标准及交互标准,规范数据定 义,确定数据来源及范围,并在信息系统实施中严格遵循相关标准;面向同一数据多数据源的 情况,应建立数据源准确性对比机制,确定数据源准确性对比权重。 6.3.2针对流程原因造成的数据质量问题,应在数据流转过程中建立监控数据质量的流程和体 系,控制问题数据在系统中的流转。 6.3.3针对技术原因造成的数据质量问题,应定位数据质量问题所在环节,从数据接口、数据 清洗、数据转换、数据装载等方面提升技术配置与技术能力。 5.3.4针对人员原因造成的数据质量问题,应明确工作目标、角色和职责,加强人员培训,宜 建立激励机制,在源头上预防和控制人员原因导致的数据质量间题
7民航数据质量组织保障
7.1.1数据管理组织的数据质量管理工作内容宜包括: 1建立本单位数据质量工作机制,建立内部沟通协调机制: 2制定本单位数据质量管理工作规划,制定数据质量目标; 3组织数据质量管理工作开展,发布本单位数据质量管理报告; 4组织评审数据质量标准及评价规则,验收数据质量问题情况; 5确保配备数据质量管理所需的资源,建立健全保障机制: 6建立数据质量监控体系,覆盖数据全生命周期,对数据质量持续监测、分析、反馈和 纠正; 7建立数据质量考核评价体系,组织数据质量的考核评价,考核结果宜纳人本单位绩效考 核体系。 (条文说明】数据管理组织指民航行业各级行政主体、企业、直属单位和行业协会等在单位层面 设立或指派的对数据治理负有管理责任的组织(包括实体机构和虚拟组织);业务数据管理组织 指在各业务层级设立或指派的对数据治理负有管理责任的组织(包括实体机构和虚拟组织)。 7.1.2各业务数据管理组织的数据质量管理工作内容宜包括: 1基于所辖业务的数据质量管理工作要求,拟定数据质量标准并设计数据质量评价规则, 执行数据质量评价; 2组织各业务领域专家,分析数据质量问题原因,制定改进举措及闭环管理; 3执行适用的法规、标准及其他要求。 7.1.3数据质量工作组的数据质量管理工作内容宜包括:
民航数据质量组织保障
包括: 1下达数据质量目标; 2签发数据质量评价及考核结果; 3基于数据质量考核结果及改进状况,对相应领域数据责任人进行奖励及问责。 7.2.2各领域数据责任人是所辖领域数据质量的负责人,其数据质量管理工作内容宜包括: 1承接本单位最高数据责任人设定的数据质量目标; 2建立、实施、保持和持续改进所辖领域数据质量管理体系; 3向最高数据责任人报告数据质量管理体系的绩效和改进需求; 4基于所辖领域的数据质量结果及改进状况,对相应的业务数据责任人进行奖励及问责: 5负责与所辖领域数据质量管理的相关外部联系工作。 7.2.3各业务数据责任人是所辖业务数据质量的负责人,其数据质量管理工作内容宜包括: 1承接所属领域数据责任人设定的数据质量目标; 2建立、实施、保持和持续改进所辖业务数据质量管理体系; 3向所属领域数据责任人报告数据质量管理体系的绩效和改进需求; 4明确所辖业务数据质量问题改进责任人,并推动问题闭环管理; 5负责与所辖业务数据质量管理工作的相关外部联系工作
7.2.1最高数据责任人是本单位数据质量管理工作的最高决策者,其数据质量管理工作内容 包括: 1下达数据质量目标; 2签发数据质量评价及考核结果; 3基于数据质量考核结果及改进状况高速公路标准规范范本,对相应领域数据责任人进行奖励及问责。 7.2.2各领域数据责任人是所辖领域数据质量的负责人,其数据质量管理工作内容宜包括: 1承接本单位最高数据责任人设定的数据质量目标; 2建立、实施、保持和持续改进所辖领域数据质量管理体系; 3向最高数据责任人报告数据质量管理体系的绩效和改进需求; 4基于所辖领域的数据质量结果及改进状况,对相应的业务数据责任人进行奖励及问责: 5负责与所辖领域数据质量管理的相关外部联系工作。 7.2.3各业务数据责任人是所辖业务数据质量的负责人,其数据质量管理工作内容宜包括: 1承接所属领域数据责任人设定的数据质量目标; 2建立、实施、保持和持续改进所辖业务数据质量管理体系; 3向所属领域数据责任人报告数据质量管理体系的绩效和改进需求; 4明确所辖业务数据质量间题改进责任人,并推动问题闭环管理; 5负责与所辖业务数据质量管理工作的相关外部联系工作
1为了便于在执行本规范条文时区别对待,对要求严格程度不同的用词,说明如下: 1)表示很严格,非这样做不可的用词: 正面词采用“必须”;反面词采用“严禁”。 2)表示严格,在正常情况下均应这样做的用词: 正面词采用“应”;反面词采用“不应”或“不得”。 3)表示允许稍有选择,在条件许可时首先这样做的用词: 正面词采用“宜”;反面词采用“不宜”。 4)表示有选择,在一定条件下可以这样做的,采用“可”。 2本规范中指定应按其他有关标准、规范执行时,写法为“应符合·.·的规定”或“应 安…·.··的规定执行”。非必须按所指定的标准、规范和其他规定执行时,写法为“可参照…··..”。
1为了便于在执行本规范条文时区别对待,对要求严格程度不同的用词,说明如下: 1)表示很严格,非这样做不可的用词: 正面词采用“必须”;反面词采用“严禁”。 2)表示严格,在正常情况下均应这样做的用词: 正面词采用“应”;反面词采用“不应”或“不得”。 3)表示允许稍有选择,在条件许可时首先这样做的用词: 正面词采用“宜”;反面词采用“不宜”。 4)表示有选择,在一定条件下可以这样做的,采用“可”。 2本规范中指定应按其他有关标准、规范执行时,写法为“应符合..··的规定”或“应 …·.··的规定执行”。非必须按所指定的标准、规范和其他规定执行时,写法为“可参照....”。
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅所注日期的版本适 用于本文件。凡是不注日期的引用文件,其最新版本(包含所有修改单)适用于本文件。 【1]《信息技术服务治理第5部分:数据治理规范》(GB/T34960.5) [2]《信息技术数据质量评价指标》(GB/T36344) 3」《系统与软件工程系统与软件质量要求和评价(SQuaRE)第12部分:数据质量模型。 GB/T 25000. 12) 【4]《工业数据质量通用技术规范》(GB/T39400) [51《数据质量控制与评估原则》(SY/T7005)
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件给排水施工组织设计 ,仅所注日期的版本适 用于本文件。凡是不注日期的引用文件,其最新版本(包含所有修改单)适用于本文件。 【1]《信息技术服务治理第5部分:数据治理规范》(GB/T34960.5) [2]《信息技术数据质量评价指标》(GB/T36344) [3]《系统与软件工程系统与软件质量要求和评价(SQuaRE)第12部分:数据质量模型》 GB/T25000.12) 【4]《工业数据质量通用技术规范》(GB/T39400) [51《数据质量控制与评估原则》(SY/T7005)
机场建设工程行业标准出
成本价:19.00元
....- 质量标准 数据标准
- 相关专题: