GBT 34079.3-2017 基于云计算的电子政务公共平台服务规范 第3部分数据管理

4XMPP可扩展通信和表示协议数据管理技术基本组成

本部分规定了电子政务公共平台数 及数据全过程管理技术体系，通过 规范数据管理核心要素，制定了数据管理中的数据采集技术、数据存储技术、数据集成技术、数据处理技

灌溉水质标准GB/T34079.3—2017

术和数据服务技术等五个过程环节的技术以及数据管理目录技术、数据交换共享技术和数据质量管理 技术等三个通用支撑技术的要求

5.1采集对象技术要求

5.2采集监控技术要求

5.3采集传输技术要求

本项要求包括： a）应支持电子政务公共平台上不同节点之间的可靠传输； b） 应支持HTTP/HTTPS/JMS、FTP、XMPP等多种传输通信协议；应提供IPv6协议的支持 能力； c）宜支持单点对单点，单点对多点传输实现方式； d) 应支持基于消息和文件的传输方式。消息传输应支持异步和同步消息传输机制，应支持低延 时（实时/准实时）、高并发的消息传输能力；应支持大规模文件传输和数据压缩、解压机制；

GB/T 34079.3—2017

GB/T 34079.32017

e）应提供可靠的数据传输机制，如断点续传和加密等机制，确保传输数据不丢失、不泄露，保障数 据传输前后的一致性； 宜提供实时传输数据的复杂事件处理能力，支持基于时间序列的流式数据的处理，支持对内存 中动态数据的计算分析，可进行数据的聚合、分组、关联、计算、模式识别等功能，以便实时跟踪 和分析采集数据流中的事件信息，及时通知相关应用系统进行后继处理

5.4采集统计技术要求

采集统计管理通过对采集过程和结果的统计，让服务使用机构了解采集的具体情况。采集统计技 包括如下要求： a）应提供采集任务运行情况报表； b）应提供采集任务资源使用情况统计报表； 宜提供采集数据多维度分类统计报表； ) 应提供采集任务异常事件情况； e) 应提供手动统计、按方案自动统计功能； f) 应输出不同格式的报表； g) 应提供各种图表展现形式； h) 应支持动态定义统计指标； i) 报表统计应不影响采集任务运行； D 宜支持自定制的统计周期，包括日报、周报、月报、年报、实时报等

6.1存储调度技术要求

本项要求包括： a） 应支持存储调度，根据服务使用机构需要有计划的对存储节点的迁移、扩容、复制、更改、删除 等操作进行规划和自动执行； b）应提供智能化的存储资源调度管理策略，并能将这些基础资源合理、按需提供给服务使用机构 使用； c） 应提供满足不同任务需求的存储服务动态调度机制； d）应通过相应的权限和排队机制进行服务的调度处理，以平衡各类应用压力，优化资源的应用； e) 应提供让服务使用机构可以按任意的时间间隔（年、月、日、时、分、秒等）自动调度； 应支持副本调度策略。

6.2存储监控技术要求

本项要求包括： a）应可灵活配置数据监控内容及监控策略； b）应提供存储状态监控； 应提供监控、追踪和关联分布式文件系统的各部件运行过程中所执行的特定操作，应支持分布 式文件系统的运行时行为，支持直观了解和分析系统当前运行状况和执行过程，快速有效地定 位问题根源和系统设计中的问题； d)1 能够对运行在分布式计算框架中的作业任务进行监控； e） 应提供对分布式文件系统监控，监控信息应包括节点信息、文件/数据块信息及其历史操作和 排名等信息：

f）应提供对网络带宽和硬盘占用情况等物理资源性能指标的监控； g）数据存储监控应该能以服务方式提供

6.3存储管理技术要求

GB/T 34079.32017

本项要求包括： 应满足电子政务公共平台不同类型的服务使用机构需求，要求能为不同服务使用机构提供不 同级别的数据存放策略。应提供文件存储分级功能，如单机级、跨服务器级、跨机柜级以及跨 数据中心级； b）应为单个服务使用机构提供独立逻辑数据存储空间；为保证各服务使用机构之间的数据不可 见性，应在多服务使用机构之间采用数据隔离机制： c）应提供多种数据模型融合的功能，融合模型与模型复杂度无关； d）应提供自动分层和精简配置等提高存储效率的工具； e）应提供数据导入/导出和数据迁移等功能。

6.4存储备份技术要求

本项要求包括： a）应支持实例运行的容错机制。支持多实例并行运行，任一实例机不会影响应用可用性，系统 自动完成运行实例与数据的恢复； b) 应支持集中控制的数据备份，应对不同数据实例制定具体的数据备份策略； c）J 应支持系统提供错误监控机制，对于故障采取自动迁移，采用多份亢余备份来确保数据的安全 性，系统达到高可用性； d）应支持镜像备份； e）应支持灾难恢复和裸机恢复； f 应支持备份负载与应用程序分离； g） 应支持源端重复数据消重； h）应支持备份数据压缩存储； i) 应支持异地备份，

7.1数据抽取服务技术要求

本项要求包： a）应支持结构、半结构和非结构等不同类型的数据源的数据抽取，应支持主流安全可控的数据库 系统和数据仓库系统； b）支持全量抽取、增量抽取、基于日志的抽取等抽取模式，可支持地理空间信息数据抽取； c）应具备扩展能力，可以支持NoSQL等非关系数据库； d）数据抽取数据格式及抽取流程支持服务使用机构自定义配置

7.2数据转换服务技术要求

a）提供数据校验功能，如空值检测、长度检查、数值范围检查、正则表达式校验等； 提供数据表转换功能，如字段值替换、值映射、列转行、行转列、记录合并、记录排序、去除 记录等：

GB/T34079.32017

c）提供数据运算处理功能，如求和、最大值、最小值、平均值等； d）提供基于代码映射的自动转换功能； e）可支持数据的计算、清洗、比对的服务，排除错误、重复、不完整的数据。

7.3数据加载服务技术要求

本项要求包括： a）对可支持常见关系型数据库、数据仓库的数据加载，必须支持主流安全可控的数据库系统； b）应具备扩展能力，可以支持诸如NoSQL的非关系型数据库的加载。

7.4ETL开发配置服务技术要求

本项要求包括： a）应提供可视化图形操作界面； b）提供大量的ETL流程可视化组件，如序列组件、常量组件、随机数组件、资源校验组件、系统信 息组件、延迟组件、测试组件、计算器组件等，可通过拖拽方式来组装成ETL流程； c）ETL可视化组件应具有扩展能力

7.5ETL监控管理服务技术要求

本项要求包括： a）提供监控管理功能。能够对数据处理状态进行实时监控，包括组件处理的记录数和异常数，并 且可以评估单个组件处理数据的性能指标和整个处理流程的性能指标； b）具有完整的日志管理功能，提供对监测数据的查询功能。服务使用机构可通过多个角度（创建 时间、作业类型、运行时间等）查看监测结果的详细信息； c）具有监控预警机制。预警内容、警戒值可由服务使用机构配置，预警方式可支持邮件预警； d）提供多种调度机制和异常恢复机制，支持自动和手动恢复，支持从异常点处继续开始流程，以 保证数据的完整性，

8.1数据分析服务技术要求

本项要求包括： a）应支持海量数据挖掘，满足政府部门TB、PB级数据分析需要； b）应支持基于分布式并行处理技术的大数据存储、计算框架，灵活处理分布式挖掘分析应用； c）应支持内存计算，利用更大的内存资源，实现实时分析； d) 应支持列存储技术，提供高效的数据检索性能和更小的磁盘存储消耗； e）应支持库内计算技术，充分利用数据库自身的计算优势计算分析数据； ? 应支持数据分析所需要的算法库，提供关联分析、聚类分析、分类分析、异常分析、特异群组分 析和演变分析等多种数据挖掘算法，适于解决不同类型的问题； g) 数据分析结果应满足多种形式的输出，分析结果可导出数据、生成多种格式的报表、可通过门 户发布到Web页面、可与现有应用系统无缝集成等； h）梦 数据分析算法应具有良好的可扩展性，通过二次开发接口，可快速集成电子政务数据分析所需 要的其他类型或专业算法模型； 应提供电子政务所特有的基础数据分析服务

a）应支持海量数据挖掘，满足政府部门TB、PB级数据分析需要； b）应支持基于分布式并行处理技术的大数据存储、计算框架，灵活处理分布式挖掘分析应用； C) 应支持内存计算，利用更大的内存资源，实现实时分析； d)/ 应支持列存储技术，提供高效的数据检索性能和更小的磁盘存储消耗； e）应支持库内计算技术，充分利用数据库自身的计算优势计算分析数据； f) 应支持数据分析所需要的算法库，提供关联分析、聚类分析、分类分析、异常分析、特异群组分 析和演变分析等多种数据挖掘算法，适于解决不同类型的问题； g) 数据分析结果应满足多种形式的输出，分析结果可导出数据、生成多种格式的报表、可通过门 户发布到Web页面、可与现有应用系统无缝集成等； h）梦 数据分析算法应具有良好的可扩展性，通过二次开发接口，可快速集成电子政务数据分析所需 要的其他类型或专业算法模型； D 应提供电子政务所特有的基础数据分析服务

8.2数据展现服务技术要求

a）应提供统一的数据服务门户。 b）应提供数据展现模板功能，模板要求能具备继承和整合的能力。 c）应提供界面展现服务和展现数据接口服务两种形式： 1）界面展现服务应具备较好的兼容性，能兼容不同的展现工具和数据格式； 2）展现数据接口服务应具有高效性，保证高效的数据输出，应能输出包括XML、Json在内 的多种数据类型。 d）应具备与服务使用机构的交互能力，包括交互变形、交互移动等。 e）应能通过缓冲、内存计算、压缩传输等手段保证展现具有友好的响应速度和服务使用机构 体验。 f) 应支持结构数据（包括多维分析数据）、半结构数据、非结构数据、GIS数据等不同数据类型的 数据展现服务，具体包： 1）结构数据应支持丰富的几何图展现方式，如仪表盘、饼状图、柱状图、曲线图、曲面图、雷达 图等多种交互式图表； 2）半结构数据应支持不同类型的展示与解析统计能力，如常用的xls、csv、html、txt等类型； 3）非结构数据应支持分类与数据浏览功能，如音频、视频等； 4）支持主流安全可控GIS平台数据展现，包括GIS相关的矢量数据、栅图数据等。 g） 应支持良好的可扩展性，通过二次开发接口，可快速实现电子政务数据展现所需要的类型数据 和可视化技术。 h)J 应支持以下应用展现形式： 1）报表展现：支持专业报表、即席报表、企业级复杂报表等多种报表形式； 2） 数据分析展现：支持假设分析、多维分析等高级应用； 3) 数据挖掘展现：提供分类、聚类、预测分析、神经网络、关联规则等多种算法组件和相关可 视化展示图表。

9.1数据服务发布管理技术要求

本项要求包括： a) 应提供基于服务的访问方式，支持多种方式的接口封装形式，如采用Web服务或 RESTfulWeb服务形式； b) 应提供多服务使用机构的访问机制，不同服务使用机构可以租用到相互隔离的数据服务 实例； c) 应提供数据服务的编目功能，形成数据服务目录

9.2数据服务访问管理技术要求

本项要求包括： 应提供数据服务访问的身份鉴别功能，支持电子政务CA证书和服务使用机构密码二种验证 方式，验证结果可以返回身份信息或令牌（Token）信息； 应提供数据服务访问的权限控制功能，可根据服务使用机构身份、部门、角色等多种手段，分配 数据服务的访问权限：

本项要求包括： 应提供数据服务访问的身份鉴别功能，支持电子政务CA证书和服务使用机构密码二种验证 方式，验证结果可以返回身份信息或令牌（Token)信息； b） 应提供数据服务访问的权限控制功能，可根据服务使用机构身份、部门、角色等多种手段，分配 数据服务的访问权限：

GB/T 34079.32017

c）数据服务的访问权限应包括可发现权限、可使用权限和可控制管理权限三个层次； d）应提供数据服务的使用管理功能，可接受和记录服务使用机构的服务访问申请信息，设置或修 改服务使用机构的服务访问权限。应提供数据服务使用的查询功能，可以查出某数据服务的 服务使用机构，也可查出某服务使用机构使用的数据服务

9.3数据服务变更管理技术要求

本项要求包括： a 应提供数据服务变更的管理功能。当服务提供机构进行升级、暂停、废弃服务等操作时，可记 录服务变更的原因和变更内容； D 应提供数据服务注册信息的版本管理功能，可以保留服务注册的不同版本，并可根据服务使用 机构需要，恢复到历史版本。可支持不同版本服务的并行； 应提供数据服务变更通知机制，当服务变更事件发生时，调用指定的通知机制，通知服务使用 机构，如服务变更事件的发布/订阅，电子邮件通知等

1.4数据服务监控管理技术要求

本项要求包括 a）应监控数据服务运行的状况，可获取服务运转的关键性能指标及其事件信息，主要内容包括但 不限于： 1） 获取服务启用状态：服务当前的启用、暂停、注销的状态； 2 获取服务运行状态：已启用服务接受服务请求并做出响应的状态，如当前服务中会话请求 的并发数量，服务调用请求的接受、排队、处理、拒绝、出错等信息，某时段内服务吞吐量， 服务响应的最大时间、最小时间及平均时间等； 3） 获取服务事件信息：调用某服务时出现的各种出错、异常、告警等事件信息。 b)J 应提供数据服务的配置功能，可完成对服务的参数配置、启动、停止等操作，主要内容包括但不 限于： 配置度量参数：配置所需捕捉的服务度量参数； 2) 配置访问策略：配置服务访问的优先级、并发量控制等策略参数； 3） 启动服务：将服务置于运行状态； 停止服务：将服务置于停止状态； 日志管理：提供处理和记录服务的运行状态的日志； 6） 事件管理：提供对捕捉事件的处理、通知、存储、审计等功能。 C) 应提供数据服务的统计功能，生成数据服务访问的统计报告，包括可提供数据服务的访问次 数、访问时间分布、服务响应时间、服务调用的成功/失败比和数据服务吞吐量情况等方面的统 计结果。

10.1数据管理目录技术要求

本项要求包括： a) 电子政务公共平台提供的目录服务系统应按照多用户的模式，不同服务使用机构可以申请逻 辑独立的目录服务； b) 应提供自动目录生成功能，目录生成应支持积累式生成和增量式生成等； 2 应通过元数据的管理自动实现目录的生成与使用；

d）应支持自动建立数据采集对象目录； e）应支持自动建立数据存储目录； f）应支持自动建立数据服务目录； g）应提供目录缓存功能，快速响应服务使用机构的使用需求

d）应支持自动建立数据采集对象目录； e）应支持自动建立数据存储目录； f）应支持自动建立数据服务目录； g）应提供目录缓存功能，快速响应服务使用机

10.2数据管理元数据采集技术要求

本项要求包括： a）部署或迁移到电子政务公共平台上的政务应用系统应具有数据属性描述，支持元数据自动采 集的功能，便于电子政务公共平台对数据的元数据进行管理维护； b） 应提供根据元数据模型或元数据自动识别和自动关联关系的功能，便于元数据的共享重用或 目标数据的自动发现； c元数据采集功能应能以服务的方式提供

10.3数据管理元数据存储技术要求

a) 应提供元数据库，用于元数据的持久化存储及维护，元数据库应支持数据库管理系统、文件系 统等不同物理存储方式； b) 应提供元数据缓存，用于元数据的高效使用；应采取相关同步策略和同步过程确保元数据在缓 存同持久化存储之间的一致性； c) 元数据库应提供存取接口，以获取系统信息、版本信息、以及库中建立的不同服务使用机构的 逻辑存储空间信息； d) 元数据库应支持逻辑存储空间的隔离能力，以便为不同政务服务使用机构或应用系统划分不 同命名的逻辑存储空间； 元数据库应支持逻辑存储空间管理，支持创建和删除逻辑存储空间，支持对多逻辑存储空间的 操作； f) 逻辑存储空间中应支持树状结构元数据的存储，以适应电子政务应用中常见的部门结构、资源 目录的组织形式。

10.4数据管理元数据查询技术要求

本项要求包括： a)J 应提供元数据查询、元数据统计、元数据使用情况分析、元数据变更、元数据版本和生命周期变 化情况； b) 应支持类SQL查询语言，以便服务使用机构或业务应用系统，采用熟悉的关系型数据库访问 方式，以多种方式查询元数据库的各种类型对象及属性； c) 应支持对文本类数据类型的全文检索功能 d) 应提供查询结果的对象元组集的过滤、排序等功能； e) 查询结果应至少支持对象视图和表格视图两种报告组织形式，应提供查询结果的支持查询结 果的分页组织功能； f）查询功能应受到服务使用机构操作权限限制，如果会话没有对元数据库中某部分内容的操作 权限，那么这部分内容不会被查到。

10.5数据管理元数据变更控制技术要求

GB/T 34079.3—2017

a) 应支持变更通知功能，当元数据库中服务使用机构的逻辑存储空间的持久化内容变更时，应用 程序或服务使用机构可以接收到变更通知。 b) 应支持版本管理功能，对不同时期进入元数据库的同一实体的元数据进行版本和内容区分。 要求的基本功能是能够显示同一实体的元数据的修改历史，并且能够进行单个元数据版本的 管理操作： 1）创建新的版本，提交新版本内容，添加、查询、删除版本的标签，查询版本历史，恢复指定版 本，删除版本，版本分支与合并等； 2）版本操作应支持事务回滚，即当事务回滚时，版本操作亦可回滚； 3）支持元数据操作的加锁功能，支持对元数据修改的加锁功能，可使一个服务使用机构临时 性防止其他服务使用机构修改一个元数据或一组元数据的内容。 c）应提供身份鉴别功能，可根据服务请求者的身份信息或令牌信息，鉴别请求者的身份。 d 应支持权限控制功能，包括： 1）权限发现：即确定一个服务使用机构在一个对象上的权限； 2）赋予访问控制策略：即用访问控制策略指定一个服务使用机构在一个对象上的权限。 e) 应提供基于流程的元数据管理能力，以便服务使用机构管理和跟踪元数据的整个生命周期 状态。 元数据写入操作应提供事务与回滚功能，即只有当事务提交时才向存储层进行持久化写人操 作，而当写入失败时，可以进行回滚，

11.1数据交换共享技术要求

本项要求包括： a）应支持电子政务公共平台级的多服务使用机构管理功能，为不同服务使用机构提供逻辑上独 立的软件运行环境和数据交换存储区，提供安全访问控制机制，确保不同服务使用机构交换流 程和数据存储的隔离； 6） 应支持电子政务公共平台级的控制中心与前置系统的数据交换模式，为不同数据存储区提供 前置适配的共享交换功能，确保数据共享交换的安全访问控制； c）交换共享服务应能以服务的方式提供

1.2数据交换共享监控技术要求

a） 应提供面向服务使用机构的数据交换监控服务，服务使用机构可监视其租用的电子政务公共 平台数据交换环境，掌握虚拟机CPU、内存、存储、网络通信的状态，监视其配置的电子政务公 共平台数据交换流程的执行情况，获取告警和事件信息； b) 应提供面向服务使用机构的数据交换管理服务，服务使用机构可以进行交换流程的启动、停止 等管理操作，配置交换流程的运行参数等； c) 应提供电子政务公共平台级的统计服务，对监控信息提供基本统计功能，用于评价电子政务公 共平台数据交换的运行效能； d 应提供特定交换流程的状态信息，包括交换流程是否阻塞、等待交换数据条数、当前的交换速 度（条/s）、一定时间段内交换数据的总条数及总字节

12.1数据质量指标管理技术要求

GB/T34079.32017

本项要求包括： a）应提供数据质量指标的定义、升级、废除和归档等功能； b）应提供数据质量可度量性指标，且能够在离散值域范围内量化； C 应提供数据认责功能，当数据质量指标证明数据质量不能满足要求时，应通知平台服务的提供 机构，并安排执行适当的纠错任务； d）应提供对定义数据质量指标符合度的跟踪机制，确保数据质量持续可预测

12.2数据质量规则管理技术要求

本项要求包括： a）应支持数据质量规则的定义、执行、结果反馈管理； b）应支持SQL命令、谓词逻辑、正则规则、字典规则和值域规则等形式； c）应支持批量导入和交互输入的质量规则形成方式； d）应支持对规则的语法正确性进行检查和结果反馈新闻出版标准，对不正确的规则可以进行更正编辑功能； e 应支持数据特征、特征属性及特征关系存在或不存在等属性的数据完整性管理； 应支持数据在数据结构、数据格式和属性编码正确性、拓扑关系等的数据一致性管理； g） 应提供数据唯一性、数据时效性和数据异常值等检查规则管理。

12.3数据质量检测技术要求

本项要求包括： a）应支持根据数据质量规则进行定量检测和分析的功能； b)店 应支持多种分析形式，如单列分析（如列值关键特征分析、最大值、最小值、均值分析）、跨列分 析（如不同列值之间的关联性分析、依赖分析）、跨表分析（如不同实体之间的外键关系重合值 分析)； c) 应支持尚下钻取实现对数据质量的进一步调查分析； d) 应支持数据质量规则在整个数据集的数据验证、评估频率分布和相应的度量； e) 应支持数据质量分析结果形成、图形展现和检测报告； 应支持测量和监控数据项对数据质量规则的符合度评估，并根据数据的服务等级协议（SLA） 的要求，提供纠正数据错误的建议和操作手段； 应支持流动式和批量式两种控制方式，实现对数据创建处理时可持续的数据质量检测和对永 久存储数据集中数据记录的批量检测，

本项要求包括： a）应支持根据数据质量规则进行定量检测和分析的功能； b)店 应支持多种分析形式，如单列分析（如列值关键特征分析、最大值、最小值、均值分析）、跨列分 析（如不同列值之间的关联性分析、依赖分析）、跨表分析（如不同实体之间的外键关系重合值 分析)； c） 应支持尚下钻取实现对数据质量的进一步调查分析； d) 应支持数据质量规则在整个数据集的数据验证、评估频率分布和相应的度量； e) 应支持数据质量分析结果形成、图形展现和检测报告； 应支持测量和监控数据项对数据质量规则的符合度评估，并根据数据的服务等级协议（SLA） 的要求，提供纠正数据错误的建议和操作手段； 应支持流动式和批量式两种控制方式，实现对数据创建处理时可持续的数据质量检测和对永 久存储数据集中数据记录的批量检测。

12.4数据质量评估技术要求

本项要求包括 a）应提供数据质量评估建设工程标准规范范本，通过对全部数据进行扫描或抽样检测，测量数据集对数据质量业务规则 的满足程度，使用数据质量检测工具提供检测服务，收集并形成评估检测成果； b）应能通过评审数据质量事件所反映的问题、跟踪错误数据的血缘关系、诊断问题的类型及其起 源、确定问题潜在的根源，形成处理数据质量问题的可选方案； C）应能定期形成数据质量 结果的报告，并具备这些报告的发布机制，