DBJT45/T 0252021

5. 2. 2数据管理框架

图1综合交通运输政务信息资源全域模型架构

交通运输政务数据管理覆盖共享交换准备、共享交换、数据应用等环节外墙外保温标准规范范本，同时包括信息资源全生命 周期的数据治理和数据安全。其中，本文件不对数据应用、数据治理做规范化要求。如图2所示。

图2交通运输政务信息资源管理架构

DBJT45/T 0252021

包括： a 结构化数据源。应具备不同的数据库连接技术，包括ODBC、JDBC、JNDI、DAO、OLEDB、ADC 等； b） 半结构化数据源。应支持Restful、WebService、Socket等协议接口的连接；对于csv、xml、 html等数据文件的连接同第c）点； C）非结构化数据源。应支持FTP、SFTP、SCP等文件传输协议，以实现非结构化数据源的连接，

6.1.2离线数据采集

离线数据采集包括： a 结构化数据采集。应适配常见的关系数据库，应支持常见数据库之间的数据类型转换； 半结构化数据采集。应支持Rest、SOAP、Socket等多类接口数据的对接采集，可利用ESB等 中间件实现统一管理、采集、转发。对于csV、xml、html等数据文件的采集同c)的要求； C 非结构化数据采集。应支持FTP、SFTP、SCP等文件采集方式，应具备断点续传、文件校核等 功能，可增加带宽控制、重传等功能。

6.1.3实时数据采集

对于不同类型的实时数据，应采用不同的采集方式，具体如下： a）对于事务型实时数据（如政务办事）采集，应通过接口方式采集； b 对于实时流数据（如GPS定位轨迹数据流），应采用消息队列采集，满足写和读权限区分的 管理要求，同时满足“一份缓存，多方消费”的要求。消息队列宜采用集群和负载均衡方式 部署。视频流数据应采用专业、主流的缓存与实时分发技术

6.2.1变化数据捕捉

对于不同类型的数据，可采用不同的变化数据捕提方式，具体如下： 数据库数据。可采用以下方式捕捉变化数据： 1） 数据库日志方式。可通过分析数据库日志，发现变化数据（增删改）； 2 数据库触发器方式。可在源数据库设置数据变化（增删改）触发器，当变化发生时，主 动提取变化数据； 3） 变化标识字段方式。在数据表中设置可识别数据增量的字段，通过该字段取值变化捕捉 变化数据，但通常仅用于增量数据捕提； 4） 全量对比方式。将数据从源数据库全量加载，再与上一采集周期的数据进行全量对比， 进而甄别筛选变化数据。 接口数据。若接口具备主动推送变化数据功能，则使用其功能；若接口不具备主动推送变化 数据功能，则可采用接口轮询比对方式； 文件数据。可通过扫描存储系统，以文件名、修改时间、创建时间等属性为标识，以发现变 化数据。

DBJT45/T 0252021

6. 2. 2 类型转换

不同类型的数据应支持不同的类型转换方式，具体如下： a）对于数据库数据，应支持不同数据库之间的数据类型转换； b）对于接口数据，宜支持转换为数据库类型数据，宜支持不同接口协议的转换兼容。

6.2.3数据合成转换

6.2.3.1对于数据库数据，可采用数值加减乘除、列去重、字段拆分、字段合并、数值排序、字符串 筛选过滤、数据表关联等技术手段完成数据合成和转换，以满足业务使用需求。 5.2.3.2对于接口和文件数据，应考虑合成转换的可行性。对于可转换为数据库数据的接口、文件： 应在转换后按数据库数据的处理技术进行合成转换，

6.2.4文件数据压缩

针对所有类型数据，宜适当采用压缩技术，减少数据存储消耗。可采用RAR、ZIP、GZIP、TAR等多 类压缩方式。

6.3.1结构化数据存储

结构化数据存储的方式如下： a）对于使用频率高、活跃性高、访问时效要求高的偏热数据，应采用关系数据库存储管理，宜 合理采用索引、分库分表等技术提高访问查询效率； b 对于使用频率低、活跃性低、访问时效要求低的偏冷数据，可将结构化数据输出为固定格式 文件（如CSV、XML等）存储，同时宜进行合理压缩处理

6.3.2半结构化数据存储

方式如下： a）对于使用频率高、访问时效要求高的偏热数据，可转化为结构化数据，存储于关系数据库中； b）对于使用频率低、访问时效要求低的偏冷数据，宜采用离线数据的存储技术。

6.3.3非结构化数据存储

非结构化数据的存储，根据数据类型、尺寸、访问要求，可采用以下3种方式存储： a）操作系统文件存储、HDFS、FastDFS、TFS等； b）主流的NoSQL数据库； c）可转换为二进制流存于关系型数据库的字段数据。

5.3.4信息资源共享库

6.3.4.1在信息资源存储的基础上，应在逻辑上构建共享库，容纳结构化、半结构化、非结 信息资源，包括基础库、业务库、感知库和主题库。各库的层次关系如图3所示。

DBJT45/T 0252021

图3综合交通运输信息资源共享库架构

.4.2基础库、业务库、感知库和主题库存储的数据内容具体如下： a）基础库：存储交通运输行业各类对象的基础信息数据，包括人员、组织、运输装备、基础设 施、货物等基础信息数据，可被业务库、主题库和动态库引用； b 业务库：存储各项交通运输政务业务的办理过程、进度等事件信息： C 感知库：存储路网运行数据、航道运行数据、港口运行数据、车辆动态数据、船舶动态数据 等，如北斗、GPS、AIS轨迹定位数据； 主题库：存储各类主题数据，主要引用基础库、业务库、感知库的数据加工而成，如违法违 章数据、安全生产监管数据、应急处理数据、行业统计分析数据等

6.4. 1数据源监控

对数据源的监控，主要为监控其可连接性，可通过周期性连接测试的方式实现监控。应记录连接测 试的数据源编号、开始时间、结束时间、连接结果、连接状态、连接返回结果等信息，

6.4.2数据采集监控

宜采用统一调度技术，管理数据采集任务，进行集中监控。监控指标应包括采集任务编号、采集类 型、任务起始时间、任务结束时间、任务调度周期、任务依赖关系、任务状态、任务运行结果、任务日 志、错误提示与记录等信息。

6.4.3数据处理监控

宜采用统一调度技术，管理数据处理任务并监控。监控指标包括处理任务编号、处理类型、任务起 始时间、任务结束时间、任务调度周期、任务依赖关系、任务状态、任务运行结果、错误反馈与日志等 信息。

DBJT45/T 0252021

DBJT45/T 0252021

信息资源目录管理应包括目录编目、目录注册、目录发布、目录维护等内容。主要业务流 所示。

7. 1. 2. 1 且录编目

图4资源目录管理业务流程

目录编目主要功能是对信息资源建立分类目录和索引，提供数据和服务资源元数据的编辑和管理功 ，产西综合交通运输政务信息资源目录编制模板见附录A。目录编目的技术功能应包含下列内容： a 提取特征信息：提供系统自动编目和人工编目两种方式。按照不同的维度对信息资源进行编 目； b 赋值：对数据和服务资源元数据中的分类信息进行赋值，系统根据交通运输信息资源目录体 系核心元数据标准为信息资源和服务组件元数据赋予唯一标识码； 唯一标识符赋码：对信息资源和服务组件进行唯一标识符赋码。按照国家标准，支持唯一标 识符的分配和赋值，包括提供前段码分配管理功能，支持后段码的自动生成和管理：

DBJT45/T 025202

d）用户权限验证：目录权限管理是为不同用户级别进行授权。满足不同用户对目录浏览、检索 的权限要求。

7. 1. 2. 2目录注册

目录注册主要是方便地实现数据和服务资源目录内容提供者向目录体系注册数据和服务资源元数 舌。 目录注册功能应包含以下内容： a）提交：提供者将需要对外发布的信息资源和服务组件资源进行相关元数据描述。系统能提供 自动注册工具，提供者根据核心元数据标准要求构建新项目数据库，目录注册管理模块可直 接根据提供者提供的数据库内容自动获取所需要的注册信息； b）审核：目录生成后，提交相关人员进行审核，确保目录的正确性； c）入库：针对已经通过审核的元数据，实现元数据的入库管理，形成正式的目录。

7. 1. 2. 3目录发布

目录发布管理系统的主要作用是发布数据和服务资源目录内容，保证目录内容的一致性，避免信息 中突。信息资源审核通过后，将该信息资源导入审核完毕的信息资源发布数据库表，发布信息资源目录， 供用户使用。目录发布功能应包含以下内容： a）发布。编制好且经过数据提供方审核确认的目录，可由目录管理方选择发布，发布后应根据 目录共享属性、开放属性展示到共享门户、开放门户等，应支持单条目录发布和批量发布两 种选择； 6 退回。对于已发布的目录，应支持退回功能，同时应从共享门户、开放门户的展示中撤销 应支持单条目录退回和批量退回两种选择； C浏览。对于已发布的目录，应提供浏览、查询、检索的功能

7. 1. 2. 4目录维护

7.1.2.4.1目录维护管理系统的主要作用是保证目录服务系统的可用性，包括数据和服务资源目录库 的建立、更新、备份与恢复等，并支持批量模板导入。 7.1.2.4.2系统应支持管理者能够通过系统保存、备份、注销与恢复信息资源目录内容。目录内容的 更新维护由提供者负责，目录系统的更新维护工作由管理者承担

信息资源共享管理业务流程如图5所示。

DBJT45/T 0252021

7. 2. 2 技术功能

图5综合交通运输信息资源共享管理业务流程

面向数据共享管理用户，为满足支撑交通运输部门相互之间的数据共享管理工作，应包括以下功能： a）共享资源发布。共享管理用户应基于信息资源目录发布的信息资源实现共享。发布时应与目 录中确定的共享类型、共享方式等保持一致。共享发布的类型应只包括无条件共享和有条件 共享（含特定范围共享）两种，有条件共享的宜支持定义共享条件。共享方式应包括但不限 于：网页浏览、接口调用、数据下载及通过交换平台传输； 6 共享申请与审核。信息资源需求用户通过自治区级平台申请获取资源后，管理用户通过平台 审核，应包括通过与驳回两类操作，驳回情况下必须具备填写驳回理由功能，通过情况下， 应具备登记交换内容、交换频率、限制条件（如某区域、某时段）等信息； 审核规则设定。平台宜具备设置共享审核时限要求及自动审核规则功能，如超过一定时间后 自动通过审核、经过多次提醒后自动通过审核、超时不操作则暂停该用户所属单位数据获取 权限等； d 共享规则定制。共享管理员根据申请情况定制共享规则，在接到数据共享申请后，系统根据 现则可自动执行审批。如：对无条件共享数据，则可自动审批。对于特定范围共享的数据，

DBJT45/T 0252021

可在依据申请用户的权限进行判定，符合条件的自动审批，不符合预定条件的提交管理员审 批； 使用反馈与反馈处理。数据使用方将共享信息资源使用情况反馈至平台运维方或者数据提供 方；平台运维方或数据提供方根据反馈情况进行检测复核，提升数据共享质量； 用户管理。应支持共享管理相关用户的维护，包括增加新用户、修改用户信息和权限、删除 用户、查询用户信息和使用情况等；应支持对门户注册用户的审核； 共享信息管理。共享管理模块应记录信息资源的基本信息、共享对象、共享时间等信息，同 时宜支持数据共享情况的查询与统计。

7.3.1.1数据提供方提供满足数据需求方的多种数据服务，具体实现方式可包括：WebService接口、 数据库接口、专用API、批量下载以及数据交换服务等。广西综合交通运输信息资源共享服务应遵循 NTIP/T0303的要求开展。

7.3.1.2共享服务业务流程如图6所示！

7. 3. 2技术功能

图6综合交通运输信息资源共享服务业务流程

依据共享服务流程，应包含以下技术功能： a）服务发布。服务提供方向平台提供资源后，依据提供的资源进行服务发布

DBJT45/T 0252021

b 服务申请。服务使用方依据信息资源目录查询到服务提供方已发布的服务，根据业务需要填 写资源使用申请信息； C 服务审核。服务提供方需要对填写的服务使用申请进行审核，审核通过后，提交给服务使用 方； 服务授权。服务提供方有两种服务授权方式，一种是根据服务使用方提交的申请授权；另 种是主动授权给服务使用方，服务授权支持永久授权和按照时间段授权。当服务提供方发布 服务后，已明确服务的使用方，则可直接授权；当服务使用方对需要使用的服务没有被主动 授权时，则需要提出申请； e 服务使用。服务提供方授权成功后，服务使用方即可根据使用方案使用服务； f 服务反馈。服务使用方在使用服务后，以在线填写评价的方式对服务进行反馈； 反馈复核。服务提供方对服务使用方的服务使用情况反馈进行复核，用于改善服务质量。

7.4. 1交换通道技术

7.4.2交换管理业务流程

基于交换技术，应设立统一的交换管理平台，统一管理各前置节点、调度交换任务，前置节点间应 满足专线专网传输的要求，应满足管理中心化、数据交换传输去中心化的技术要求。交换系统应实现可 控可管、高效可靠的信息资源传输，实现对交换传输通道的管控，包括交换节点部署注册、交换通道申 请与审核、交换规则定制、交换通道管理、交换日志管理等。数据交换业务流程如图7所示。

DBJT45/T 0252021

7.4.3交换管理技术功能

生成数据质量控制文件不是必选动作，采用数据库数据交互时了

图7综合交通运输数据交换管理业务流程

交换管理应包含以下技术功能： a）交换节点部署与注册。交换管理系统应具备在不同前置机部署交换节点的功能，交换节点定 位为构建不同节点之间通道，完成数据交换任务，其受交换管理系统统一管理、分配通道与 任务； 6） 交换通道申请与审核。交换通道申请内容应包括：交换相关节点、更新频率、限制条件（如 某区域、某时段等）；任何数据交换均应在通道申请通过，获取传输资源后进行，周期性交 换通道只需申请一次，临时通道应按需申请； 交换规则定制。通过交换申请后，应支持平台管理员定制交换规则，系统可根据规则自动执 行.

DBJT45/T 0252021

d）交换通道管理。交换通道管理应严格遵循NTIP/T0301。平台应对所有交换通道进行统一管理， 应记录通道使用信息（包括：使用方、数据基本信息、交换节点等信息）、交换通道状态（任 务数、繁忙程度、传输速度等）、正在传输的任务（任务名称、传输内容、开始时间、完成 进度、是否加密），宜支持交换任务的开启、暂停、终止、调整优先级等操作； 交换日志管理。对交换通道的使用情况进行记录，交换日志应至少包括：交换的时间、交换 的业务授权码、交换的信息资源内容、交换的结果、交换的数据量、交换的源节点和目的节 点等。

7.5.1数据库联机查询服务监控

息资源，通过联机查询提供共享服务，其监控应

表1数据库联机查询服务监控项说明表

7.5.2文件服务监控

文件格式的信息资源主要通过 得通过的用户提供文件下载的方式实现共享。针对每 次用户发起的文件下载任务，监控应至少包括表2的项。

表2文件服务监控项说明表

DBJT45/T 0252021

表2文件服务监控项说明表（续）

7.5.3接口服务监控

通过WebService等方式提供接口服务的信息资源，需要经过平台的安全验证，方可共享给数据使用 方。对每一次接口信息资源的调用服务，监控应至少包括表3中的项

3接口服务监控项说目

7.5.4数据交换服务监控

数据交换服务，主要通过交换节点的互联，构建交换通道，实现信息资源的交换，可支持文件 输和数据库数据传输两种方式： a）文件交换传输方式的交换监控，应至少包含表4中的项； b）数据库数据传输方式的交换监控，应至少包含表5中的项

DBJT45/T 0252021

道路标准规范范本表4文件交换传输方式交换服务监控项说明表

表5数据库数据传输方式交换服务监控项说明表

俞政务信息资源共享交换的安全要求应遵循GB/T

DBJT45/T 0252021

附录A （资料性） 广西综合交通运输政务信息资源目录（模板）

表A.1广西综合交通运输政务信息资源目录（模板）

DBJT45/T 0252021

[1]GB/T21063政务信息资源目录体系 [2］GB/T35274一2017信息安全技术大数据服务安全能力要求 [3］GB/T37973一2019信息安全技术大数据安全管理指南 L4」国家政务服务平台标准C0109一2018国家政务服务平台政务服务事项基本目录及实施清单 [5]中华人民共和国交通运输部关于印发《交通运输政务信息资源共享管理办法（试行）》的通 知：交科技发【2017】58号 [6］中华人民共和国交通运输部办公厅关于印发《交通运输政务信息资源目录编制指南（试行）》 的通知：交办科技（2017）123号 7中华人民共和国交通运输部办公厅关于印发《通运输信息资源交换共享与开放应用平台省级 工程建设指南》：交办科技（2017）124号 [8］自治区党委办公厅自治区人民政府办公厅关于印发《广西政务数据资源管理与应用改革实施 方案》的通知（厅发（2019）141号） [9］广西壮族自治区政务信息资源目录编制指南（桂数广办发（2019】13号） [10】广西政务数据资源调度管理办法（桂数发【2020）11号）

建筑标准规范范本华人民共和国广西交通运输行业指南 综合交通运输政务信息资源共享交换 技术指南 DBJT45/T025—2021 广西壮族自治区交通运输厅统一印刷 版权专有侵权必究