Q/GDW 12122.1-2021 数据应用服务规范 第1部分:总则.pdf
- 文档部分内容预览:
Q/GDW 12122.1-2021 数据应用服务规范 第1部分:总则
主要规定数据信息的确认、收集和分 用以指导数据分析实施工作。
5.9数据开放共享规范
主要规定数据的分类组织方式、元数据、数据格式、版权声明、数据使用策略、数据更新及数据质 量要求。
工程质量标准规范范本5.10能力成熟度评价规范
主要为评价数据应用服务能力提供一个通用模型,即主要从数据应用服务的服务质量、使用评价等 方面提供一种有效的评价方法
6.1数据应用服务功能性要求
6.1.1数据采集能力
数据采集能力需满足数据采集能力、数据传输能力要求。 a)数据采集能力,根据数据业务需求、数据类型和数据量等特性将数据传输的吞吐能力,满足不 同场景的数据传输要求。按数据类型具体需满足结构化数据采集、非结构化数据采集、量测数 据采集; b 数据传输能力,按传输类型具体要求,需满足全量数据采集、增量数据采集,
6. 1.2数据处理能力
数据处理能力需满足数据处理能力和数据存储能力要求。 数据计算能力,具有对不同类型数据进行加工,清洗,转换,逻辑处理的能力,并具有根据数 据特性和业务需求满足时效性、复杂性要求的能力; 数据存储能力,具有将不同形态数据按照数据存储要求,有序的存储至对应的数据归集场所中, 方便后续的数据调用和处理。
数据处理能力需满足数据处理能力和数据存储能力要求。 数据计算能力,具有对不同类型数据进行加工,清洗,转换,逻辑处理的能力,并具有根据数 据特性和业务需求满足时效性、复杂性要求的能力; 数据存储能力,具有将不同形态数据按照数据存储要求,有序的存储至对应的数据归集场所中, 方便后续的数据调用和处理。
[Q/GDW 121221202]
6.1.3数据分析能力
可使用数据的业务特点通过标准化的分析工具对数据进行价值开发,工具应支持主流分析方法的标 准调用接口,并支持多种数据分析模型的使用。具体要求如下: a 数据分析支持多种数据源适配接口,可分析多种类型数据; b 数据分析具有常用数据模型或经典算法集成组件,方便进行二次开发或优化; C 数据分析适用多种场景,根据业务需要、数据类型、数据量级大小等多种维度的要求; d)数据分析结果数据支持多种输出方式,如标准接口或数据表等。
6.1.4数据挖掘能力
可借助数据挖掘工具找到数据和模型之间的关系,并将数据回归到真实变量,在大型的数据库中对 有价值的信息知识进行获取,属于一种先进的数据信息模式。具体要求如下: a)数据挖掘支持多种数据源适配接口; b 数据挖掘具有常用数据模型或经典算法集成组件: c)数据挖掘适用多种场景; d)数据挖掘结果具备可读性、可理解性,具备业务价值
6.1.5数据应用能力
具有将多种类型数据通过标准化服务接口共享给具有权限的数据使用方,并满足使用方对数据的时 效性和安全性要求。具体要求如下: 具有标准接口实现方法与设计: b 需具备集成总线搭建能力; C 具有实时数据和批量数据供给能力; d 提供除标准接口之外的数据提供方式,如数据抽取、转换、加载类工具,文件传输服务等方式; e) 在数据传输和共享的过程中,充分考虑数据的传输效率以及数据安全,保证敏感数据的加密处 理等。
6. 1.6 数据管理能力
具有将数据资产按照多种业务,多种数据类型,多种安全和权限要求将数据进行有序的整理能力。 并可对数据链路、数据存储、数据共享等方面进行监控和管理,并保证数据的全寿命跟踪能力。具体要 求如下: a) 具有数据源管理能力; 6 具有元数据自动获取、版本记录和差异对比能力; c 具有数据解释能力; d 具有数据资产维护能力: e) 具有数据质量检测与规则管理能力; f 具有数据继承和变异分析追溯能力: & 具有数据标签和热数据推荐能力; h) 具有数据脱敏能力; 1 具有数据共享负面盘点及展示能力; i)具有数据共享管理过程管理及共享备案能力
6.2数据应用服务非功能性要求
2. 1服务拆分合理性
具有将服务功能按照颗粒度拆分能力,在使用时需要考虑可复用性和可扩展性,支持数据风险分析 确保服务被有效管理。具体要求如下: a 各个独立服务包含的功能,拆分粒度要适中,避免服务过重或者过轻,保证提供功能的层次与 服务使用者对功能层次的要求是相近的: b 服务构建之前,需要考虑服务的可复用性,保证服务被调用或者服务被组合使用的难易程度适 中; 提供的服务具备可扩展性,提供服务运行时在资源变化情况下其服务能力的随需可变能力; 服务与服务、服务与服务调用者之间是松耦合的,相互之间的关联强度,通常需要做到技术独 立性、位置透明性等; e) 服务必须能够被有效的管理,开展数据应用服务风险分析,明确数据应用服务的内容范围与管 控措施,明确服务提供方与服务试用方的职责和权限,执行数据安全管理策略,确保服务状态 能够被有效的管控。
具有将各种系统异常处理的能力,且具备高可用性、响应速度快等特点。具体要求如下: 对各种系统异常进行处理,确保每一个方法和接口都有异常处理语句;对系统事务失败、通信 失败等情况能自动识别并解决,确保系统可用; 服务必须具备高可用性,提升数据时效性,保证服务可靠地提供业务功能的能力,并具备容错 机制; 应用接口应与之存在集成关系的系统保持良好的接口兼容性,使用统一的接口开发规范: d)应用接口调用响应时间毫秒级; 当数据应用接口进行复杂事务的处理且响应时间较长时,系统应根据事务内容分级逐步响应, 当接口并发数达到设计峰值时,应采用延迟访问的方法避免系统崩溃。
2.3数据的备份与恢复
数据库备份和恢复具体要求如下: a)应支持数据的全量备份与增量备份; b)提供分布式数据存储备份与恢复功能: c)支持系统自动备份与手动备份。
具有实时分析日志,统一采集,存储,监控等能力。具体要求如下: a)应提供记录系统操作日志功能,记录用户的重要操作; b) 保证系统日志无法删除、修改、覆盖; c)提供日志的分析、统计。
5.2.5用户与权限管理
Q/GDW 12122.12021
用户与权限管理具体要求如下: a)按照权限最小化的原则为用户提供权限; b)对用户身份标识进行鉴别,保证用户身份标识的唯一性: c)应提供登录失败处理措施,如限制登录次数、连接超时自动退出等。
6. 2. 6 易用性要求
易用性要求具体要求如下: a)产品设计应充分考虑不同用户的需求,增强界面友好性; b)在流程规范、确保安全的原则下,简化数据共享流程。
易用性要求具体要求如下: a)产品设计应充分考虑不同用户的需求,增强界面友好性; b)在流程规范、确保安全的原则下,简化数据共享流程,
6. 2. 7数据安全
数据安全具体要求如下: a)应提供数据存储的加解密功能,提供敏感数据加密传输,定期评估数据应用服务通道的安全性 b)应从数据采集、传输、使用保障数据的机密性、完整性、可用性三个层面分别进行安全设计。
数据安全具体要求如下: a)应提供数据存储的加解密功能,提供敏感数据加密传输,定期评估数据应用服务通道的安 b)应从数据采集、传输、使用保障数据的机密性、完整性、可用性三个层面分别进行安全
Q/GDW 12122.12021
数据应用服务规范 第1部分总则
数据应用服务规范 第1部分总则
Q/GDW 12122.12021
2 编制主要原则, 3与其他标准文件的关系.. 4主要工作过程.. 5标准结构和内容. 6条文说明...
主要原则 其他标准文件的关系.. 要工作过程... 隹结构和内容. 文说明,
本部分依据《国家电网有限公司关于下达2020年第一批技术标准制修订计划的通知》(国家电网 科(2020)21号)文的要求编写。 本部分的编制背景为公司在深入推进数据中台建设基础上建材标准,要求进一步规范数据应用服务。 本部分编制的主要目的是为规范公司数据应用服务要求,解决目前公司数据应用服务的规范性
本部分根据以下原则编制: a 坚持先进性与实用性相结合、统一性与灵活性相结合、可靠性与经济性相结合的原则,以标准 化为引领,服务公司科学发展; 认真研究国内外现行相关的IEC标准、国家标准、行业标准、企业标准,体现安全设计框架的 最新发展: C 调研了解各网省公司数据应用服务的业务场景、管理制度等方面,充分了解各地数据应用服务 的应用现状和功能需求,进行信息安全风险分析,明确业务数据共享需求; d) 严格按照公司数据中台建设总体方案,融合公司已有各种数据应用服务类型,制定数据应用服 务框架技术要求。
3与其他标准文件的关系
本部分与相关技术领域的国家现行法律 法规和政策保持一致 本部分不涉及专利、软件著作权等知识产权问题
2020年4月,项目启动,编写项目任务书。 2020年5月,成立标准编写小组,收集国际/国内标准及相关资料,召开启动会,讨论标准框架及内 容组成。 2020年5月底,完成标准大纲编写,组织召开大纲研讨会,形成标准大纲。 2020年6月,完成标准初稿编写,召开第一次专家研讨会,根据与会专家意见,修改完善本标准 形成征求初步标准。 2020年10月,召开第二次专家研讨会,根据与会专家意见,修改完善本标准,形成征求意见稿。 2020年10月,根据征求的意见,对征求意见稿(初稿)进一步修改形成标准送审稿。 2020年11月,公司互联网技术标准专业工作组在北京组织召开了标准审查会,审查结论为:审查组 经过协商一致,同意修改后报批。 2020年11月,修改形成标准报批稿
装修CAD图纸《数据应用服务规范》分为下列10个部分: 第1部分:总则; 第2部分:开放目录规范: 第3部分:数据分类分级规范:
Q/GDW 12122.12021
第4部分:数据脱敏规范; 第5部分:全链路监测规范; 第6部分:数据服务规范; 第7部分:数据标签规范; 第8部分:数据分析规范; 第9部分:数据开放共享规范; 第10部分:能力成熟度评价规范, 本部分是《数据应用服务规范》的第1部分。 《数据应用服务规范》第1部分规定了数据应用服务规范体系、数据应用服务总体通用能力要求; 第2部分规定了开放服务目录格式、开放服务目录建设、开放服务目录检索要求;第3部分规定了数据分 级分类规范;第4部分规定了数据脱敏规范;第5部分规定了全链路监测规范;第6部分规定了数据服务 规范;第7部分规定了数据标签规范;第8部分规定了数据分析规范;第9部分规定了数据开放共享规范; 第10部分规定了能力成熟度评价规范。这10个部分标准可分别独立使用。
....- 数据标准
- 相关专题: