Q／GDW 12104-2021 电力物联网数据中台技术和功能规范.pdf
- 文档部分内容预览：
Q／GDW 12104-2021 电力物联网数据中台技术和功能规范
Q/GDW12104202
c）支持Hbase、Hive、HDFS、Kafka等大数据组件，并支持kerberos安全认证机制； d）支持达梦、金仓、GBase8a等国产数据库，支持电力E文件等格式文件； 具备完善的数据整合处理能力，支持值映射、拆分字段、合并字段、字段选择、排序、编码 转换、计算、行列转换、剪切字符串、去重、唯一行（哈希值）、增加常量、增加序列、字 符串替换、行扁平化、设置字段值、正则表达式替换等； 支持对Oracle、MySQL、PostgreSQL、Gbase8a等常见数据库的高效加载机制，支持批量加载 并行加载、增量加载、通过变量控制加载范围等 支持独立的线上调度监控能力，支持定时执行、批量执行、依赖执行、增量执行、变量执行 接口调用执行、手动执行等调度方式；支持在线监控任务运行日志、运行进度、运行告警、 资源使用等； h）支持调度接口，支持与第三方应用交互，并反馈运行结果： i）支持可视化任务编排，支持可视化开发工具、可视化调度监控： i）支持批量配置； 支持集群部署，具备运行节点横向扩展能力； 支持开发环境与生产环境分离能力，支持在测试环境开发调试，将结果上传到生产环境运行 并提供B/S架构对系统进行管理。
c）支持Hbase、Hive、HDFS、Kafka等大数据组件，并支持kerberos安全认证机制； d）支持达梦、金仓、GBase8a等国产数据库，支持电力E文件等格式文件； e）具备完善的数据整合处理能力，支持值映射、拆分字段、合并字段、字段选择、排序、编码 转换、计算、行列转换、剪切字符串、去重、唯一行（哈希值）、增加常量、增加序列、字 符串替换、行扁平化、设置字段值、正则表达式替换等； 支持对Oracle、MySQL、PostgreSQL、Gbase8a等常见数据库的高效加载机制，支持批量加载、 并行加载、增量加载、通过变量控制加载范围等 多 支持独立的线上调度监控能力，支持定时执行、批量执行、依赖执行、增量执行、变量执行 接口调用执行、手动执行等调度方式；支持在线监控任务运行日志、运行进度、运行告警、 资源使用等； h）支持调度接口，支持与第三方应用交互，并反馈运行结果； i）支持可视化任务编排，支持可视化开发工具、可视化调度监控： ）支持批量配置； 支持集群部署，具备运行节点横向扩展能力； 支持开发环境与生产环境分离能力，支持在测试环境开发调试，将结果上传到生产环境运行 并提供B/S架构对系统进行管理。
Q/GDW121042021
批量计算具体功能应包括： a） 具备任务定义、提交、调度、监控能力 b) 支持多种数据来源及输出，包括关系数据库、分布式文件系统、分布式列式存储等，满足各 业务系统根据业务需求进行各类型统计分析任务的定义： C 具备错误检测和恢复机制，支持节点自动重启技术，使集群和计算框架具有应对节点失效的 健壮性，能有效处理失效节点的检测和恢复； 业务应用能够通过调用批量计算服务API实现批量计算逻辑； e 支持横向扩展水质标准，可动态扩展节点，用于批量计算，
6. 2. 2 流计算
流计算具体功能应包括： a）支持多种内建的字符串、时间、统计、逻辑运算表达式等类型函数，支持用户自定义计算函 数，自定义输入、输出数据源； b 支持消息驱动的实时计算，支持对接不同的数据源，以毫秒级时延实现数据的聚合、拆分、 过滤等处理： C 支持在流上执行类SQL任务，支持多种输入、输出数据源及相关的序列化、反序列化方式； 类SQL能力至少包括：基于窗口的计算能力、提供窗口数据的统计能力、关联能力； d 支持自动、手动性能调优和监控报警； e 流计算集群支持线性扩展，具备容错机制，支持作业级容错； f）业务应用能够通过调用流计算服务API实现流计算逻辑
6. 2. 3 内存计算
内存计算具体功能应包括： a) 应提供对事件处理的可靠保证； b 支持余/高可用的配置，能够保证模块无单点故障； C 业务应用能够通过调用内存计算服务API实现内存计算逻辑； 具备任务定义、提交、调度、监控能力； e 支持使用Java、Scala、Python编程语言。
3.2.4分布式列式数据库
分布式列式数据库具体功能应包括： a 提供列式存储、在线快速读写、线性扩展、监控管理等能力： b 支持大规模集群部署、PB级数据存储； 支持组件API访问接口，支持扩展的SQL访问，支持ODBC、JDBC等开发接口； d 支持二级索引，能够支持本地以及全局二级索引，并且能够支持组合学段索引，支持为已经 存在数据的表新增索引，支持索引册删除能力，支持通过API和Phoenix创建二级索引： e 支持与全文检索服务对接，支持在数据库数据加载过程中实时生成全文索引，提供快速、简 单的内容检索方案； f）支持MOB技术，满足小文件（比如图像数据、文档等）的高效存储和检索 数据加密存储时，能够支持SM3/SM4国密算法。
6.2. 5 分布式关系型数据库
Q/GDW12104202
分布式关系型数据库具体功能应包括： a）支持数据穴余存储、分库分表、透明读写分离、数据存储平滑扩容、分布式运维指令集、分 布式事务等功能； 支持数据库在线扩容、在线备份： c）支持数据库状态管理和监控能力； d）支持数据库SQL标准访问接口，支持ODBC、JDBC等开发接口； 支持大规模集群部署，集群具备高并发响应能力； f）数据加密存储时，能够支持SM3/SM4国密算法
图数据库具体功能应包括： a）支持以图数据结构进行存储、处理、查询等； b） 支持分布式部署； 支持并行处理； d) 支持关系型数据库导入或csV、txt等文件形式导入； e) 支持可视化展示图结果查询： f) 支持动态更新节点、边、属性； 支持对外提供标准的API功能,能够和其他平台完成对接和交互； h）支持拓扑关系数据存储和分析能力； i）支持在线备份（完整备份和增量备份），写操作支持线程安全； 支持常用图算法AQL、Pregel、Cypher等，并支持算法扩展。
6.2.7数据融合存储
数据融合存储包括数据分类、分层、分区和存储技术两部分： a 数据分类、分层、分区包括： 1） 数据分类是根据数据本身特点、分为结构化数据和非结构化数据； 数据分层是根据数据粒度以及数据ETL来划分数据层次，借鉴传统数据仓库建设方案和 数据中台平台实际需求进行数据分层次整合，层次包括：贴源层、共享层和分析层； 3 数据分区是对一个数据在特定维度上再次细化分类。 b) 存储技术要求包括： 1） 支持在线查询或离线计算的数据访问需求； 2） 支持高吞吐的数据读取和写入： 3） 支持PB级大规模数据存储和查询： 4） 提供更灵活的存储和计算资源管理手段，提高存储和计算的扩展性； 5 提供高并发在线应用所需的低延迟业务数据查询。
6.2.8MPP数据库
MPP数据库具体功能应包括： a）支持表、视图、函数、主键、约束、索引、存储过程、游标等数据库基础对象； b）支持分组、排序、汇总、联合、子查询等功能； ）支持分布式事务、全局事务等： a) 支持主流的Linux操作系统，支持主流硬件厂商的硬件； e）支持基于节点间无共享的存储架构
支持在线扩展（删除）节点服务器而不影响应用系统持续运行； 支持SQL92、SQL99、SQL2003、SQL2008等SQL标准； 提供对C、C++、JAVA、C#、Python开发语言和工具的支持； 提供对易用并具有广泛适应性的接口程序，如：JDBC、ODBC等； 支持PB级结构化数据存储； 提供数据备份和恢复机制： 支持多种数据容错机制，包括针对磁盘错误等硬件错误的容错手段； 提供统一的图形化数据库管理工具，可对多套数据库进行集中式的统一管理； 提供图形界面的数据库性能监控和动态性能调整等功能，能为管理员提供调优建议，提供系 统直自动参数调优功能。
时序数据库具体功能应包括： 支持实时、高并发写入，无须更新或删除操作，时序数据会按照指定的时间粒度持续写入； 支持分级存储、SQL查询； c）支持数据压缩功能，降低存储成本： 支持分片，水平扩展； 支持历史查询、插值查询以及聚合计算，能满足各种复杂的业务数据查询场景： 支持高效的数据压缩技术，减少磁盘空间占用： 支持批量历史数据查询、 历史时刻断面数据查询等多种数据访问方式
6.3.1数据分析需求目录
数据分析需求目录具体功能应包括： a）支持按专业对业务需求进行分类； b）支持对业务分析挖掘需求信息的新增、删除、编辑、版本管理； 支持业务分析挖掘需求信息发布，包括业务分析背景、目标、范围、要求等信息发布： d）支持业务分析挖掘需求信息查询、浏览、交流、标注、评价。
6. 3. 2自助式分析
自助式分析具体功能应包括： a）支持数据源接入配置、管理，提供对各类数据源的维护，可支持主流数据库、文件以及第三 方API接口等； b） 支持基于用户数据使用权限进行字段级的数据加密、脱敏： 内置常用的数据预处理算子，支持数据清洗、转换、集成、数据规约等功能； d 支持对数据的使用行为、使用流程、方式等进行审计、标注； e 提供直观、易用的拖放式界面，能通过选择主题相关的表及相应的图表、文字等展现形式， 设置布局、样式等信息，形成相关图表分析功能，内置主流可视化图表控件，支持动态集成 第三方可视化控件，对数据进行探索分析和数据标注； f 内置主流的数据挖掘算法，支持动态集成第三方算法，支持通过在线拖拉方式，实现分析挖 掘模型构建与训练、评估、优化： g 支持模型以工具的形式部署到用户使用的平台或系统中。
自助式分析具体功能应包括： a）支持数据源接入配置、管理，提供对各类数据源的维护，可支持主流数据库、文件以及第三 方API接口等； 6 支持基于用户数据使用权限进行字段级的数据加密、脱敏； ? 内置常用的数据预处理算子，支持数据清洗、转换、集成、数据规约等功能； d) 支持对数据的使用行为、使用流程、方式等进行审计、标注； e) 提供直观、易用的拖放式界面，能通过选择主题相关的表及相应的图表、文字等展现形式， 设置布局、样式等信息，形成相关图表分析功能，内置主流可视化图表控件，支持动态集成 第三方可视化控件，对数据进行探索分析和数据标注； f) 内置主流的数据挖掘算法，支持动态集成第三方算法，支持通过在线拖拉方式，实现分析挖 掘模型构建与训练、评估、优化； g）支持模型以工具的形式部署到用户使用的平台或系统中。
Q/GDW121042021
数据可视化具体功能应包括： a 支持数据源管理，提供对各类数据源的维护，可支持主流数据库、文件以及第三方API接口 等； b 支持对数据集进行数据类型转换、字符长度截取等简单的数据预处理： C 支持可视化分析设计，提供图形化拖拽等简易配置可视化场景的能力，提供丰富的可视化组 件库，满足不同业务的展示需求； 支持基于模板快速构建可视化场景，预置多种业务典型模板； e) 实现对海量数据的快速响应、实时在线、详细展示； 具备对多种复杂数据格式和场景的展示，包括实景地图、3D建模、VR仿真建模等； g 支持集成第三方可视化工具。
报表分析具体功能应包括： a）支持数据源管理，提供对各类数据源的维护，可支持主流数据库、文件以及第三方API接口 等； 支持报表的创建、数据自定义报送、报表数据自定义时间采集、执行任务列表查看等业务需 求； C 支持业务应用个性化自助报表设计、查询、图形化展现等业务需求； d 提供机器人仪表盘、作业管理、运行监测、机器人配置管理、部署管理等能力
6.3.5成果应用管理
分析成果管理具体功能应包括： a）支持分析挖掘模型成果、可视化看板、报表成果的提交、审核、编辑、版本管理、发布、下 架等； b) 支持对分析成果进行下载、使用、分享； C 支持分析成果信息浏览、查看、标注、评价； d) 支持对分析成果应用使用情况的跟踪、反馈、评估； e) 支持对分析成果的成果数量、浏览次数、下载及引用次数等进行多维分析，
6.4.1数据服务目录
数据服务目录具体功能应包括： a）支持基于元数据，构建数据服务目录、资源分类、编码管理等接口； b） 提供对数据服务的统一注册与发布、编排（组合编排）、订阅、授权、检索以及应用接入管 理能力； C） 支持快速将数据通过封装配置生成数据服务APl，并以webservice、restful等接口形式进行注 册、发布等配置； d） 具备管理、绘制各个数据服务标签的能力，为调用方提供快捷的目录检索功能； e） 支持管理前端业务应用对数据服务的订阅，为已订阅的前端业务应用提供服务消息通知： f）支持记录管理前端业务应用对数据服务的访问痕迹、访问状态、资源使用情况等：
g）提供各类数据服务的授权配置功能，前端业务应用仅能访问 token、Basic等认证形式； h）支持数据服务版本管理，可追溯数据服务变更记录； i）支持对数据服务的运行状态、服务数量、服务调用频度等多维分析
6.4.2RESTful服务
RESTful服务具体功能应包括： 支持单个资源、资源集合两种形式的URL； b) 支持验证来自客户端的所有输入，避免注入攻击； c）支持会话机制，对客户端此次请求进行权限认证； d）支持URL敏感数据监测
6.4.3Webservice服务
Webservice服务具体功能应包括： 支持通过封装、规则、协议进行数据交换，并提供各类数据服务接口的生成、注册、发布等 配置功能； b）支持身份认证、访问IP认证以及加密传输等。
6.4.4第三方接口服务
第三方接口服务具体功能应包括： a）支持JS接口、HTTP接口等第三方集成接口服务，并提供各类数据服务接口的生成、注册、 发布等配置功能； b）支持身份认证、访问IP认证以及加密传输等
6.5. 1数据资产目录
数据资产目录具体功能应包括： a）支持主流数据库元数据动态采集： 支持在线动态创建不同类型数据资产目录及资源绑定： c）支持数据资产目录和数据血缘关系的可视化展示； d）支持数据资产检索、数据自助获取等功能，
6. 5. 2 标签管理
标签管理具体功能应包括： a 支持对不同类型标签的增加、修改、下线等全生命周期管理功能，并自动创建相关标签信息 库； b 支持在建立标签主体对象后，通过配置规则自动对不同数据对象打标签； c）支持查询单个数据对象的所有标签信息； d）支持查询某个群体的标签信息。
6.5.3数据模型管理
数据模型管理具体功能应包括
Q/GDW12104202
b）支持总部与各单位个性化数据模型的管理；支持模型可视化展示及一键式查询； c）支持模型多版本管理及版本间差异分析； d）支持设计态模型与运行态模型比对管理与分析
6.5.4数据质量管理
数据质量管理具体功能应包括： 支持用户自定义数据质量规则配置（完整性、准确性、及时性等规则），动态构建质量核查 规则库、清洗规则库，支撑业务层和数据层的数据质量工作； 支持质量核查任务的动态创建及调度配置，根据调度策略执行核查任务，并生成相关核查结 果； 支持数据部析，自动检测数据内容、结构、关联关系，发现数据质量问题，概览大数据集数 据情况； d) 支撑数据质量模型配置，提供业务级、算法级等质量模型接口，快速集成数据质量模型
6.5.5 主数据管理
主数据管理具体功能应包括： a）支持对企业主数据对象的新增、变更、冻结、解冻、审批、分发等全过程管理； b）支持将主数据服务能力统一发布至数据服务目录。
6. 6. 1 安全管理
安全管理具体功能应包括： a 支持数据共享级别管理，依据数据分类分级的方法，能够对数据共享分级信息进行维护，实 现数据分级分类权限与访问控制管理，以及数据权限的规范管理及应用： b 支持对数据安全相关法规形成的数据安全词库进行管理： C 支持对敏感数据的结构信息和存储分布进行实时监控，支持对敏感字段分布的在线查询与可 视化展现，同时在其定义与结构信息发生变化时自动推送变更信息至数据责任人； d 支持记录、分析、追查数据库安全事件能力； e 支持对中台中大数据基础软件的安全配置进行集中管理，满足等级保护第三级要求； 支持对数据管理专业与对数据安全相关法规形成的数据安全词库管理； g 支持自动识别标记数据的安全等级，构建并描绘敏感数据在企业内的分布情况： 支持基于不同权限的差异化脱敏策略，支持脱敏算法的启停控制、新增维护、在线测试功能 及脱敏模板维护功能； 支持实时记录数据库活动，支持数据全面审计、无漏审； J 支持数据水印等功能： k) 支持提供敏感词维护、敏感识别策略维护及启停控制等功能
6. 6. 2数据开发
a）支持构建涵盖数据整合、计算、挖掘、可视化、AI等工具集和开发管理于一体的数据开 力合集：
b）支持数据整合、数据脱敏、数据计算、数据挖掘、AI框架、可视化展示、数据服务开发等各 类任务的可视化流程配置功能； c 支持快速完成数据开发，封装、发布数据服务，为数据开发用户提供便捷、开放、高效的开 发构建体验。
6. 6. 3数据脱敏
数据脱敏具体功能应包括： 支持对全局脱敏作业任务进行实时监控； 6） 支持屏蔽信息时保留其原始数据格式和特定属性要求，以满足基于脱敏数据的开发与测试要 求； c）支持基于不同权限的差异化脱敏，满足运维人员实时访问数据时的敏感数据保护； d）支持脱敏算法的启停控制、新增维护、 在线测试功能及脱敏模板维护功能
6. 6. 4 服务管理
服务管理具体功能应包括： a）支持管理、绘制各个服务的标签，为用户提供清晰的服务画像： 5）支持管理前端业务应用对数据服务的订阅，为已订阅的前端业务应用提供服务消息通知 c）支持记录前端业务应用对数据服务的访问痕迹、访问状态、资源使用情况等； 支持各类数据服务的授权配置功能，前端业务应用仅能访问已授权的数据服务； 支持各类数据服务的配置、注册、发布等管理功能，支撑数据服务
6. 6. 5 计量管理
计量管理具体功能应包括： a）支持制定数据中台的收费标准； b）支持提供数据服务的使用频率统计功能
链路监测具体功能应包括： a）支持吞吐量、响应时间、错误记录等监测功能； b 支持链路追踪和故障快速定位可视化功能： C 支持数据链路优化功能，对各个调用环节的可用性和服务依赖关系进行优化： d）具备吞吐量、响应时间、错误记录等监测功能。
6. 6.7 监控警告
监控警告具体功能应包括： a） 支持对服务器监测，提供数据中台全部服务器的CPU、内存、IO、网络等基础资源监控告警 功能； b) 支持对应用场景监测，提供数据中台的各类应用场景运行情况监控告警功能 C 支持对数据服务监测，提供服务运行状态、服务调用次数、是否调用成功等数据服务监测告 警功能； d 支持对信息通信一体化调度运行支撑平台的统一运维监测，提供对数据中台组件的监控告警 功能。
6. 6. 8任务调度
Q/GDW12104202
任务调度具体功能应包括： a）支持作业任务管理，提供作业任务添加、变更及删除等功能，支持数据接入、数据计算（内 存计算、离线计算、流计算）等作业任务配置管理； 支持任务持久化和定时任务： 支持日作业数大于等于10w个任务调度管理； d）具备分布式任务调度功能、支持失效转移，
7. 1. 1 平台响应性能
数据中台进行多用户并发操作时，应满足如下要求： a）首页访问平均响应时间不得超过1秒；系统登录平均响应时间不得超过3秒； b）平台同时在线用户并发大于200，数据接口调用类服务并发数大于2000个； 执行简单查询、添加和删除业务时，平均响应时间不得超过3秒；执行千万级数据量分析处 理时，平均处理时间不得超过10秒： d 执行复杂的综合业务（同时包括查询、添加、删除等操作请求）时，平均响应时间不得超过 7秒； e 应用服务器和数据库服务器的日常CPU平均利用率均不超过65%，且CPU利用率不得连续 30秒超过80%； 应用服务器的日常内存平均使用率不超过70%，且内存使用率满足不得连续60秒超过80% 的要求； g）事务失败率不超过0.1%。
7.1.2数据采集性能
数据中台的数据接入组件数据采集性能应满足如下要求： a）平均单节点文件解析采集写入消息队列速度大于30M/S； b）平均单节点从消息队列采集写入列式存储速度大于10M/S； c）平均单节点结构化数据的采集写入速度大于20M/S； d）平均单节点非结构化数据的采集写入速度大于30M/S； e）数据采集组件需支持集群化部署，且性能可线性扩展
7.1.3数据读取性能
数据中台的数据存储组件数据读取性能应满足如下要求： a）亿行级别的数据表间关联，关联结果在1千万条数据以内的情况下，响应时间在10秒以内； b）平均单节点分布式文件系统对数据的下载速度大于25M/S。
7.1.4数据服务应用性能
数据中台的数据服务组件数据应用性能应满足如下要求： a）数据中台发布的数据服务应满足数据传输速度大于10M/S； b）数据服务调用失败率小于0.1%； c）分布式的数据服务调用节点发生故障时，应确保数据服务正常可用。
7.1.5数据计算性能
数据中台的存储计算组件数据计算性能应满足如下要求： a）流计算平均数据处理速度大于10万条/S，吞吐量大于50M/S； b）内存计算平均数据处理吞吐量大于1GB每分钟； C）批量计算平均数据处理吞吐量大于1GB每分钟。
7. 1. 6 弹性式分布
弹性式分布应满足如下要求： a）执行资源具有扩缩容功能，同时提供移除异常实例、自动关联负载均衡等功能； 容器具有自我保护模式的功能，当容器执行的任务占用资源过大，容器会开启自保护模式 防止有新的任务进入，当容器恢复后再自动接收新的任务。
7. 1. 7 高可用指标
高可用指标应满足如下要求： a) 系统的可用性可达到99.99%； b 调度的分布式转实例，具备容灾能力、自动恢复能力、集群自检查能力和弹性的数据读写能 力； ）当容器异常（包括网络异常、硬件异常），应保证任务正常执行。
数据中台在可靠性方面应满足如下要求： a）连续7×24小时不间断工作； b）平均无故障时间大于10000小时； c）大规模用户上线使用时，不降低已有用户体验； 出现故障时，应及时告警； 具备自动或手动恢复措施，以便在发生错误时能够快速地恢复正常运行； 软件系统故障时，自动恢复时间小于15分钟，手工恢复时间小于4小时； 分布式存储节点发生故障时，应确保数据完整，且不影响数据存取的正常服务； h 分布式计算节点发生故障时，应确保计算结果正确，且不影响数据分析计算的正常服务和流 转； 分布式消息队列节点发生故障时，应确保消息不丢失，且不影响消息正常提交和消费； 分布式任务调度节点发生故障时，应确保任务计划按时调度和执行。
d）提供数据敏捷应用功能，业务用户进行简单的学习即可通过平台进行数据应用、可视化的拖 拽、报表分析等操作
据敏捷应用功能，业务用户进行简单的学习即可通过平台进行数据应用、可视化的拖 表分析等操作
7. 4 可扩展性要求
数据中台在可扩展性方面应满足如下要求： a）提供标准化应用开发API，便于系统的二次开发和与其它系统进行数据与信息的交换； b）支持与第三方采集和分析工具无缝连接、快速集成； ）具备业务处理的灵活配置，能随着业务功能的变化灵活重组与调整。
数据中台在连续性方面应满足如下要求： a）提供主要网络设备、通信线路和集群系统的硬件穴余，保证平台的高可用性； 提供异地数据备份功能，利用通信网络将关键数据定时批量传送至备用场地； 分布式集群应采用集中管理的方式： 提供简单易用的备份软件，支持向导式的备份操作和提示，以便用户在最短时间内对相关数 据进行保护； 提供基于任务计划形式的统一调度管理的备份功能，可实时跟踪、监控和查看备份作业的执 行情况； 建立对业务系统的数据保护机制 全面预防数据泄密和算改
数据中台应遵守Q/GDW1597中规定的通用要求，还应满足以下要求： a）支持通过控制连接用户的数据权限控制数据访问和接入的范围： 数据访问应进行安全性认证，应支持对表、列、值等的访问权限控制： 数据的存储、传输应采用加密处理，应支持对敏感数据的严格访问控制及脱敏操作，在访问 前应进行必要的审批和授权，在访问时应对操作进行日志记录； 支持对用户访问主数据的权限控制，为不同用户提供不同的主数据访问权限； 数据服务组件应具备消息安全、身份认证、权限审计、加密签名功能，数据服务组件负责所 有集成的业务应用接口服务的安全，并保证信息的安全传输； 建立数据保护机制，全面防范数据泄漏或被篡改： 提供主要网络设备、通信线路和集群系统的硬件穴余，提供异地数据备份功能，对分布式集 群采用集中管理的方式，提供简单易用的备份软件，提供基于任务计划形式的统一调度管理 的备份功能，建立对业务系统的数据保护机制，防止因意外事故导致数据资产丢失。
数据中台定位于为公司各专业、各单位提供数据共享和分析应用服务，以企业多类型大数据量的 汇聚为基础，以统一数据模型为标准，沉淀共性数据服务能力。数据中台和业务中台共同形成企业坚 实的中台服务框架，为前端应用提供高效数据服务支持。数据中台在电力物联网整体架构中的定位如 图A.1所示。
A.1数据中台在电力物联网整体架构中的定位
Q/GDW12104202
按照公司业务发展和管理需求， 公司两级数据中台部署模式。数据中台采用内外网分别部署模式，内网按照总体集中、兼顾个性的原 划，采用两级部署，总部数据中台选择在总部数据中心部署，各省（市）公司在本地部署，直属单位 原则上使用总部数据中台。外网在总部数据中心统一部署数据中台，各单位按需使用。数据中台部署 架构如图B.1所示。
图B.1数据中台部署架构图
电力物联网数据中台技术和功能规范
Q/GDW12104202
编制背景 ..20 编制主要原则 ..20 与其他标准文件的关系.. ..20 主要工作过程. 标准结构和内容.. ....20 条文说明. 21
本标准依据《国家电网有限公司关于下达2019年第二批技术标准制修订计划的通知》（国家电网 科（2019）807号文）的要求编写。 本标准编制背景是随着公司业务发展和信息化建设推进，对于海量业务数据处理、存储和应用提 出了更高要求，结合先进互联网企业的中台思维和技术的发展和成熟应用，呕需开展数据中台的建设 因此有必要制定数据中台相关标准，为支撑数据中台建设提供标准和参考依据。 本标准编制的主要目的是制定数据中台各能力对应组件应满足的要求，
本标准根据以下原则编制： a）坚持先进性与实用性相结合、统一性与灵活性相结合、可靠性与经济性相结合的原则，以标 准化为引领，服务公司科学发展； 本标准只提出整体性、概括性的要求水库标准规范范本，不涉及各组件的具体实现细节； c）本标准遵循公司信息化“十三五”规划、电力物联网规划、数据中台技术方案； d 认真研究国内外现行相关的IEC标准、国家标准、行业标准、企业标准，体现安全设计框架 的最新发展。
3与其他标准文件的关系
本标准与相关技术领域的国家现行法律、法规和政策保持一致 本标准不涉及知识产权问题。
2019年8月，项目止式启动，成立项目编写组，确立分工与职责，制定工作计划。 2019年8月，编写组通过调研和分析，起草了本部分标准草案稿，并组织内部专家对草案稿的内 容、格式等进行了认真讨论，提出了修改意见，会后编写组根据专家意见进行了修改，形成标准初稿， 2019年9月，公司互联网技术标准专业工作组（TC06）在北京组织专家对本部分初稿进行了评审 并提出了修改意见。 2019年9月，完成标准征求意见稿编写，采用函件方式，广泛、多次向公司主管部门及省公司专 家征求意见和建议。 2019年10月至11月，多次召开工作组会议，听取各方面意见，进行修改、完善和补充，形成标 准送审稿。 2019年12月，公司互联网技术标准专业工作组（TC06）在北京组织召开了标准审查会，审查结 论为：经审查组协商一致，同意修改后报批。 2019年12月，修改形成报批稿。
水利水电标准规范范本本标准按照《国家电网公司技术标准管理办法》（国家电网企管（2018）222号文）的要求编
本标准的主要结构和内容如下： 本标准主题章分为3章：包括数据数据中台架构、功能要求和非功能要求。第5章数据中台架构 明确了数据中台总体架构、总体要求和功能架构。第6章功能要求包括数据接入、存储计算、数据分 析、数据服务、数据资产管理和运营管理方面的功能要求。第7章非功能要求包括性能要求、可靠性 要求、易用性要求、可扩展性要求、连续性要求和安全要求。
本标准的主要结构和内容如下： 本标准主题章分为3章：包括数据数据中台架构、功能要求和非功能要求。第5章数据中台架构 明确了数据中台总体架构、总体要求和功能架构。第6章功能要求包括数据接入、存储计算、数据分 析、数据服务、数据资产管理和运营管理方面的功能要求。第7章非功能要求包括性能要求、可靠性 要求、易用性要求、可扩展性要求、连续性要求和安全要求。
....- 电力标准 技术标准 数据标准
- 相关专题：