图2关系数据库抽取应用场景

应用场景描述如下 a）关系数据库抽取服务，抽取数据源中数据库的元数据信息，包括数据库用户所属的表、字段信 息； D 关系数据库抽取服务配置数据传输任务，包括抽取数据库的源表和大数据平台对应的存储目标 表； c）关系数据库抽取服务配置数据传输任务运行策略，包括运行的开始时间、结束时间、运行频度： d）关系数据库抽取服务运行数据传输任务，从数据源的数据库抽取数据到平台数据存储中

a 关系数据库抽取服务，抽取数据源中数据库的元数据信息，包括数据库用户所属的表、字段信 息； D 关系数据库抽取服务配置数据传输任务，包括抽取数据库的源表和大数据平台对应的存储目标 表； c）关系数据库抽取服务配置数据传输任务运行策略，包括运行的开始时间、结束时间、运行频度； d）关系数据库抽取服务运行数据传输任务，从数据源的数据库抽取数据到平台数据存储中

高层标准规范范本DB15/T18722020

服务网关服务为数据源提供大数据平台中结构化数据或非结构化数据的接口数据接入。服务网关服 务应具备以下主要功能： a） 支持接入Webservice、RESTful方式的接口； b） 支持包括结构化数据、非结构化数据的接口： C 支持接口编排，轻松实现多个接口的功能集成； d 提供图形化管理界面，用于接口数据存储位置、操作用户、目标存储位置的配置； 应提供完善的日志和审计能力，可以记录接口数据配置及数据抽取操作配置、运行时发生的各 ? 种事件； f）应具备熔断管理机制，保证服务整体可用，是接口访问异常情况下的处理策略，

6. 2. 2非功能要求

服务网关服务应满足以下非功能要求： a）数据写入速率：在千兆带宽的网络条件下，数据抽取吞吐量不少于30MB/秒； b）操作并发数：并发数大于200个/秒。

6. 2. 3 应用场景

服务网关服务应用场景见图3

服务网关服务应用场景见图3

图3服务网关服务应用场景

DB15/T 18722020

应用场景描述如下： 数据源向大数据平台提供接口信息，包括：接口访问地址、输入参数、输出参数、验证方式等 接口信息； 大数据平台根据数据源提供的数据接口进行定义及编排； 服务网关服务配置数据传输任务运行策略，包括运行的开始时间、结束时间、运行频度； d）服务网关服务运行数据传输任务，从数据源的数据接口中抽取数据到大数据平台数据仓库中。

6. 2. 4 应用要求

）服务网关服务适用于提供接口类数据的数据源，详细说明参见附录B； 提供数据接口的数据源需做好自身数据操作接口程序的开发。

6. 3. 1 功能要求

6. 3. 2 非功能要求

实时消息队列应满足以下非功能性要求： a）高可行性：支持消息主题的分区和备份： b）负载均衡：支持消息发送和消费时的负载均衡操作； c）消息发送速度：可接受的数据量大于5万条/秒。

6. 3. 3应用场景

实时消息队列应用场景见图4

DB15/T18722020

实时消息队列应用场景

应用场景描述如下： a）管理信息系统须向大数据平台申请实时消息队列接入服务： b）大数据平台根据申请创建消息队列主题，返回消息队列名称； c）管理信息系统开发业务处理程序，调用平台实时消息队列接口，发送数据或接收数据

应用要求如下： a）实时消息队列采集适用于管理信息系统主动将数据封装为消息，发送到大数据平台的实时消息 队列中。基于实时消息队列的消息缓存进行数据分析，如流计算实时处理等，详细说明参见附 录C； b 发送的消息内容格式支持字符串，发送的数据对象可以通过对象序列化机制转换为字符串格式 的消息内容； 管理信息系统应依照大数据平台提供的实时消息队列采集接口完成自身数据发送或接收接口 的开发。

6.4文件接收FTP服务

6. 4. 1 功能要求

文件接收FTP服务应提供外部系统文件数据的接收并存入到大数据平台数据仓库的功能。文件采集 应具备以下主要功能： a 支持标准FTP协议接收数据； b） 支持顺序型断点续传功能； 支持接收的文件的重命名及指定存储目录； d） 应支持对接收文件的完整性校验； e）应支持对客户端进行认证； f）支持图形管理功能，支持认证配置、文件目标位置配置、校验处理配置

DB15/T 18722020

6. 4. 2应用场景

支件接收FTP服务应用场景见图5：

图5文件接收FTP服务应用场景

立用场景描述如下： a) 大数据平台配置应用账号、接收参数及存储位置： b 管理信息系统通过标准FTP协议连接大数据平台服务； 信息服务平台 c) 管理信息系统检查目标临时文件是否存在； d) 管理信息系统发起全量或续传指令； e 管理信息系统发送数据到大数据平台； f) 大数据平台接收文件数据； g) 管理信息系统发送数据校验文件； h) 大数据平台根据校验文件校验数据文件内容： i) 大数据平台按配置的规则存储接收到的数据文件； 大数据平台回写数据存储状态； k) 管理信息系统获取数据存储状态。

DB15/T18722020

应用要求如下： 管理信息系统须在大数据平台注册并申请账号： b) 管理信息系统须按平台协议规范开发上传功能： 管理信息系统生成文件数据时须同时生成对应的完整性校验码； d 具体文件接收FTP服务API接口参见附录D.1，具体实现逻辑参见附录D.2。

6.5文件拉取FTP服务

6. 5. 1功能要求

文件拉取FTP服务，应提供通过访问FTP协议实现将文件数据抽取到大数据平台数据仓库的功能。文 牛拉取FTP服务应具备以下主要功能： a）支持顺序型断点续传功能，支持外部文件存储断点续传能力的自动识别及模式匹配； b） 支持FTP服务登录用户名和密码设置； C 支持文件压缩传输，提供文件压缩规则设置； d） 支持文件加密传输，提供文件加密传输规则设置； e 支持设置文件同步、异步拉取，支持设置拉取并行度； f） 支持指定目标文件存储位置、文件名，提供文件类型转换规则，支持常见类型转换； 支持全量文件采集，支持外部数据一次性初始化导入； h） 支持定时轮询文件采集，采集新增的文件，支持文件列表规则过滤； 1 支持图形管理功能，支持FTP连接配置、文件源配置、文件目标存储配置、文件压缩和加密 传输规则配置、文件同步/异步传输规则配置、文件传输并行度配置、文件定时及实时策略配 置、文件采集过滤配置

6. 5. 2应用场景

文件拉取FTP应用场景见图6：

DB15/T 18722020

图6文件拉取FTP服务应用场景

应用场景描述如下： 管理信息系统应提供初始文件存储位置并将业务数据写入到文件中； 管理信息系统搭建FTP服务并为大数据平台分配FTP账号信息； C 大数据平台全量文件采集提供基于FTP协议的采集任务配置，包括：存储文件位置、采集文 件、列表方式、是否文件校验、存储目标位置及文件存储命名规则； d） 运行基于FTP协议的数据采集任务，包括：包括运行的开始时间、结束时间、运行频度； e 大数据平台运行文件采集任务，读取文件存入大数据平台数据存储中。

应用要求如下： a）管理信息系统须先将业务数据保存为文件，并设置访问权限； 数据文件可通过FTP协议访问； 管理信息系统生成文件数据时须同时生成对应的完整性校验码； d）具体文件拉取FTP服务API接口参见附录E.1.具体实现逻辑参见附录E.2

直报系统是大数据平台为各数据接人单位提供的在线填写、上传。直报系统应具备以下主要功能 a）支持数据接入单位注册功能，支持管理单位用户审批功能，支持管理单位为用户分配权限功能： b）支持用户仅能同时登录一次功能； c）支持模板管理功能，应具备模板的新增、删除、修改、搜索操作功能； d）支持模板下载、数据上传、数据提交操作功能：

DB15/T18722020

事件； f）应具备熔断管理机 处理策略

6. 6. 2 非功能要求

直报系统应满足以下非功能性要求： a）直报系统需支持主流的浏览器版本； 直报系统网络需支持互联网、政务网； 数据上传速度不少于5M/秒； d）系统响应时间在200并发下不低于3秒

直报系统应用场景见图7：

直报系统应用场景见图7：

图7直报系统应用场景

应用场景说明如下： a）数据接入单位用户打开浏览器； b） 在地址栏输入大数据平台提供的直报系统访问地址，首次使用按照指引进行用户在线注册（非 首次使用直接到e）； c）大数据平台管理员进行用户合法性审批： d）审批通过后为注册用户分配权限并根据业务需求制定数据模板：

DB15/T 18722020

e）数据接入单位用户登录直报系统后下载模板文件，并根据模板填写需上报的具体数据； f）数据接入单位用户根据模板填写完成后在直报系统中直接上传数据文件并提交，直报系统收到 数据接入单位用户上传请求后进行类 校验通过后抽取数据到平台数据仓库中。

f）数据接入单位用户根据模板填写完成 接上传数据文件并提交，直报系统收到 数据接入单位用户上传请求后 取数据到平台数据仓库中。

6. 6. 4 应用要求

应用要求如下： a）对信息化建设较弱且有计算机基本操作知识的数据接入单位用户提供； ）大数据平台应提供直报系统的访问地址、操作手册，酌情组织、安排定期培训以普及直报系 的使用流程。

应用要求如下： a）对信息化建设较弱且有计算机基本操作知识的数据接入单位用户提供； b）大数据平台应提供直报系统的访问地址、操作手册，酌情组织、安排定期培训以普及 的使用流程。

安全要求须满足GB/T35274规范中“数据服务安全要求”

DB15/T18722020

附录A （资料性附录） 关系数据库抽取接入说明

关系数据库抽取通过大数据平台提供的Web界面进行操作，完成数据接入操作。关系数据库应用流 程见图A.1：

图A.1关系数据库应用流程

DB15/T 18722020

B.1服务网关服务应用流程

通过大数据平台的服务网关服务提供的Web界面进行操作。首先服务网关服务录入接口信 通过服务编排进行接口的编排，生成新的数据接口进行调度发布。服务网关服务应用流程见

图B.1服务网关服务应用流程

应用流程描述如下： 根据数据源提供的数据接口地址、请求方式、请求头配置、传输协议、请求参数信息在服务网 关进行数据接口的登记、熔断保护配置及测试验证； 针对登记的接口信息进行服务编排，定义接口的输入参数、输出参数、请求头等信息，并生成 新的接口地址； 服务编排后的数据接口配置调度策略，包括调度时间、调度周期及频次等信息，然后进行发布。

C.1实时消息队列应用流程

DB15/T18722020

附录 C （资料性附录） 实时消息队列接入说明

管理信息系统通过Java代码开发方式调用大数据平台提供的实时消息队列API接口，往消息队 中发送数据。实时消息队列应用流程见图C.1：

图C.1实时消息队列应用流程

说明： 1.大数据平台与管理信息系统应用方约定消息队列主题名称； 2.大数据平台在大数据集群中创建相应的消息队列主题； 3.管理信息系统开发程序调用大数据平台实时消息队列API，封装数据往消息队列主题中发送消

DB15/T 18722020

D.1文件接收FTP服务接口

文件接收FTP服务接口见表D.1：

附录D （资料性附录） 文件接收FTP服务接入说明

表D.1文件接收FTP服务接口

D.2文件接收FTP服务示例

（Java）见表D.2:

文件接收FTP服务示例

DB15/T18722020

DB15/T 18722020

E.1文件拉取FTP服务API接

文件拉取FTP服务API接口见表E.1：

DB15/T18722020

给水标准规范范本表E.1文件拉取FTP服务API接口

E.2文件拉取FTP服务示例

管理信息系统在生成好文件后，通过调用大数据平台FTP文件拉取服务，调用服务示例（Java）见 表E.2：

DB15/T 18722020

表E.2文件拉取FTP服务示例

灌溉水质标准表E.2文件拉取FTP服务

DB15/T18722020

DB15/T 18722020