a）采集接入实时数据时，应具备实时传输、接入全网实时数据的能力，实时数据应在不超过3 内从数据源到达大数据平台的数据存储系统； 采集接入BSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力； 采集接入OSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力； 采集接入MSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力； e）采集接入其他离线数据时，应具备1h内完成该类数据当日增量的传输、接入的能力

a）采集接入实时数据时，应具备实时传输、接入全网实时数据的能力，实时数据应在不超 内从数据源到达大数据平台的数据存储系统； 采集接入BSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力； 采集接入OSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力； d 采集接入MSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力； e）采集接入其他离线数据时，应具备1h内完成该类数据当日增量的传输、接入的能力

要求如下： a）数据源或数据采集终端与大数据平台间的交互应通过网关进行；

大数据平台接入数据后，应具备数据处理功能，要求如下： a 应具备数据预处理功能，可对存放在文件系统和数据库中的数据进行抽取、清洗、转换等操作 后加载到数据分析等处理模块； b) 应具备存储处理后的数据的功能，可为其他处理模块提供上传、下载、查看、删除、权限管理 等操作，并通过余备份等机制提供安全的数据存储； C 应具备计算资源配置、调度和回收管理功能，支持水平扩展计算框架、调度任务和管理任务优 先级； 应具备数据分析功能，支持非结构化数据、实时数据、结构化数据的分析，可提供SQL分析、 跨数据源关联分析、机器学习等数据分析功能，并提供对大数据平台外开放分析服务的API； 应具备接入、处理符合GY/T339.3一2020规定的数据的能力： 数据处理环节的功能、性能、数据访问、系统和数据管理、基础配套、安全可靠性和运行维护 等应满足GY/T339.2一2020的要求，

要求如下： a）应具备对外提供数据服务的功能天然气标准，如提供数据交换、共享、发布等功能； b）宜具备对外开放数据存储、分析、展示功能：

GY/T 339.12020

c）应具备管理数据服务用户注册、授权、计费功能，可监看和审计用户的行为； d）应提供开放的数据服务接口，如提供用户注册API、服务应用API，宜提供二次开发接口，允 许用户自定义业务； 应能提供至少1年内的BSS、OSS、MSS数据； f）其他功能应满足GY/T339.2一2020的要求。

要求如下： a）宜具备开放数据终端接入的原始数据的功能： b）应具备开放GY/T339.3一2020定义的数据集的功能； c）应具备开放处理或分析数据结果的功能 d）宜具备开放数据存储、处理和分析能力的功能

开放的数据集，收视数据应按GD/J075一2018规定的格式表达，其他数据格式应符合GY/T 2020的规定。

大数据平台对外提供数据开放服务时，性能要求如下： a）应用系统向大数据平台发送的注册或认证消息，大数据平台的平均响应时间应小于1s： b）应用系统向大数据平台请求数据交换的响应时间、交换的数据包大小、共享的数据容量 据源访问响应时间、并发用户数等性能应满足GY/T339.2一2020的要求。

据平台对外提供数据开放服务时，性能要求如下： 应用系统向大数据平台发送的注册或认证消息，大数据平台的平均响应时间应小于1s； 应用系统向大数据平台请求数据交换的响应时间、交换的数据包大小、共享的数据容量、多数 据源访问响应时间、并发用户数等性能应满足GY/T339.2一2020的要求。

平台与应用系统之间的交互宜符合附录B的要求

在开展数据服务的过程中，应采取措施确保大数据系统的数据采集、传输、存储、处理、数据开放 的安全。

要求如下： a）应确保数据采集的合法性和正当性； b 应按照GY/T339.3—2020规定的范围采集数据，按照GY/T339.3一2020的要求规范数据格式， 明确采集频度： C) 应通过对组件、终端、设备等采集终端进行必要的技术控制，如在部署前对采集终端进行采集 能力认证、计量等，确保数据的完整性、一致性和真实性； d) 应明确数据收集和获取过程中个人信息和重要数据的知悉范围和安全管控措施，确保采集数据 的合法性、完整性和真实性； e) 应采取脱敏、加密等技术或管理措施确保采集过程中涉及的个人信息和重要数据不被泄露；

）应对数据采集行为进行权限管理

要求如下： a）应对敏感数据进行加密传输； b）宜对重要数据进行加密传输

要求如下： a）应建立数据采集终端/网关接入平台的身份识别与鉴别策略、权限分配策略和相关操作规程 建立访问控制时效管理机制； b）应具备数据接入的安全审计功能。

要求如下： a） 应采取余存储或多副本存储措施，确保数据的可用性： b) 应采取校验等检验和容错技术措施，确保多副本数据存储的一致性； c）宜具备数据归档离线存储功能； d）应确保存储技术架构具备加密敏感数据、重要数据的能力。

数据处理发生在大数据平台内部，要求如下： a）应确保处理过程中发生数据迁移、变换时的真实性、完整性和一致性： b）应确保数据处理过程操作行为可审计，数据质量可溯源，重要数据受保护

要求如下： 应建立应用系统接入平台的身份识别与鉴别策略、权限分配策略和相关操作规程，建立访问控 制时效管理机制； b）应建立应用系统访问平台数据、服务的控制策略； C应具备数据交换、共享、发布的安全审计功能

要求如下： a) 应制定数据服务接口安全控制策略，明确规定使用服务接口的安全措施，如身份鉴别、授权策 略、访问控制机制、签名、时间戳、安全协议等： b 应制定数据服务接口安全规范，包括接口名称、接口参数、对接安全要求等，具备限制或过滤 不安全参数的能力； C） 应具备数据服务接口访问审计功能； d）宜在数据采集终端与平台、平台与应用系统间采用安全通道或加密通道进行接口调用

9.9有线电视网络用户个人信息隐私保护

GY/T 339.12020

在采集、传输、存储、展示、共享、管理有线电视网络中涉及个人的信息数据时，在以下方面 循GB/T35273—2017的要求： a个人信息的采集； b）个人信息的保存； 个人信息的使用； d) 个人信息的委托处理、共享、转让和公开披露； e 个人信息安全事件的处置； f）从事个人信息处理、保管、使用等工作的组织和个人的管理

在采集、传输、存储、展示、共享、管理有线电视网络中涉及个人的信息数据时，在以下方面应遵 循GB/T35273—2017的要求： a）个人信息的采集； b）个人信息的保存； 个人信息的使用； d 个人信息的委托处理、共享、转让和公开披露； e 个人信息安全事件的处置； f）从事个人信息处理、保管、使用等工作的组织和个人的管理

GY/T 339.1—2020附录A（规范性）数据采集上报的交互过程与接口要求A.1交互过程A.1.1概述为了实现大数据系统的整体功能，大数据平台、数据采集终端、网关单元之间应按照本文件约定的机制相互协调工作，图A.1展示了单元间的必要协调机制及通信过程，包括认证注册、控制信令下发和数据上报。数据采集终端网关大数据平台认证注册认证/注册响应同步注册信息响应响应下发采集任务下发采集任务执行任务响应数据源响应返回结果上报数据上报数据响应响应采集状态监控下发采集任务响应响应图A.1大数据系统各单元间的通信过程A.1.2交互过程各单元间协调工作时，信令交互过程和要求如下：8

GY/T 339.12020

a）网关应可通过规范接口，向大数据平台提交设备认证及注册请求，成功后方可继续后续操作， 否则无法成为大数据系统中的可管理的一个单元； 数据采集终端应可通过规范接口，向网关提交设备认证及注册请求，成功后方可继续后续操作； 网关在收到数据采集终端的注册请求时，应可将注册信息同步到大数据平台，同步成功后数据 采集终端成为大数据系统中的可管理的一个单元： d 大数据平台应可对数据采集终端进行统一管理，包括向终端下发采集任务、查看终端采集状态 等信令，这些信令应由相应的通信单元转发送达数据采集终端； e 数据采集终端收到信令后，应按要求执行相应的操作，例如收到数据采集信令，则开始执行采 集操作，并将采集到的数据上报给网关； 网关应能接收并处理数据采集终端上报的消息和数据，对于格式不符合规范要求的，网关进行 格式转换、聚合和封装处理后上传到大数据平台； g）大数据平台应可接收并处理网关上报的数据

考虑到各数据采集终端所使用的采集技术的差异，本文件仅规定数据交换接口的共性要求。 基于大数据的数据量大，部分数据存在实时接收处理需求，本章定义的接口消息格式和传输协议兼 顶考虑传输效率和实时性的要求，此外还考虑： a）独立性：不以具体的操作系统或程序语言限制采集数据的格式、实现方式； b） 标准性：保持采集数据交换格式和数据封装方式的一致性，确保基本数据项的完整； c）开放性：采用基础通信协议和开放、通用的数据标识方式，避免数据交换过程产生歧义； d）兼容性：兼容多种数据来源格式； e）可扩展性：在终端、平台、机构等发生变化时仍可进行接口适配。

A. 2. 2 认证注册

A. 2. 2. 1概述

按照本文件的描述，系统中存在两类设备认 认证注册，网关向大数据

A.2.2.2数据采集终端向网关进行设备认证注

数据采集终端进行设备认证注册时，要求如下： 数据采集终端应先向网关完成设备认证，才能进行后续交互； b） 设备认证所使用的凭据，应是能够标识设备身份的信息，例如产品序列号、硬件序列号等，相 关认证凭据，应预先在认证服务端录入，以便认证时进行比对； C） 认证方式宜采用OAuth2认证框架； d）认证模式宜采用OAuth2协议中的密码模式，认证过程应符合A.3的规定； e）认证通过后，数据采集终端应立刻向网关发起设备注册请求，注册过程见A.4； f）网关收到数据采集终端的注册请求并处理完成后，应将同步注册信息实时到大数据平台，同步 过程见A.4。

A.2.2.3网关向大数据平台进行设备认证注册

网关进行设备认证注册时，要求如下！

a）网关应先向大数据平台完成设备认证，才能进行后续交互； 设备认证所使用的凭据，应是能够标识设备身份的信息，例如产品序列号、硬件序列号等，相 关认证凭据，应预先在认证服务端录入，以便认证时进行比对； C 认证方式宜采用OAuth2认证框架； d 认证模式宜采用OAuth2协议中的密码模式，认证过程见A.3； e 认证通过后，网关应向大数据平台实时发起设备注册请求，注册过程见A.4。

A. 2.3 控制信令

表A.1控制消息头部信息

基本的控制信令消息应包括心跳状态（消息类型1000）、采集任务下发（消息类型2000）、数据采 集终端状态查询（消息类型2001）、采集任务状态查询（消息类型2002），格式见A.5，也可自定义控 制信令，但应遵循本条所规定的技术要求，

A. 2. 4. 1概述

数据采集终端执行采集任务后，获取到的结果通过数据上报接口发送到大数据平台。 数据采集终端生成的数据宜分为数据采集终端到网关、网关到大数据平台两步上报。

A.2.4.2数据采集终端到网关的数据上报

数据采集终端应通过网关中转上报数据，不应直接将数据直接上报到大数据平台。 为了尽少占用网关资源，数据采集终端到网关的数据上报宜采取短连接，数据发送完毕后立刻 络连接，节省连接资源。

GY/T 339.12020

表A.2终端到网关的通用字段定义

上报消息的参考格式，以直播收视行为数据为例

A.2.4.3网关到大数据平台的数据上报

大数据平台作为HTTP请求的接收方，应支持对GZIP格式数据的解压缩。 数据上报消息应附加表A.3定义的通用字段， 用于数据描述

表A.3网关到大数据平台的通用字段定义

GY/T 339.12020

根据数据源的实时性要求不同，数据上报方式可选用实时交换模式、准实时交换模式或非实时交换 模式，不同的模式要求如下： a）实时交换模式下，数据交换双方应采用HTTP/HTTPS传输协议进行数据交换； 准实时交换模式下，数据提供方应与数据接收方进行协商，双方在规定的时间将一段时间内生 成的采集数据通过HTTP/HTTPS进行数据交换； C） 非实时交换模式下，数据提供方宜以文件的方式提交到数据接收方，相关要求见A.6，或者通 过存储介质传递等其他方式进行数据交换

A.30Auth2密码模式认证过程

认证过程应符合图A.2的规定，客户端采用密码模式，通过以下过程完成认证： 客户端（同时也是资源拥有者）使用标识自身唯一身份的凭据（如序列号）作为用户名，同时 将该用户名进行MD5摘要提取操作（32位大写格式）后得到的字串，作为该用户名对应的密 码；

GY/T 339.12020

注册服务提供方需对请求方的注册请求进行处理，并给出相应的响应信息；请求方根据请求返 应结果，判定是否注册成功，注册成功才能继续后续流程，否则终止操作。 注册服务返回的结果状态码含义，见IETFRFC2616。 一个设备注册成功返回结果的报文示例如下：

GY/T339.1—2020"id:1000A.5控制信令消息格式A.5.1概述本章为心跳状态、采集任务下发、数据采集终端状态查询、采集任务状态查询控制信息的格式定义。A.5.2心跳状态数据采集终端和大数据平台之间通过心跳信息来保持存活性和状态更新，数据采集终端需每隔一定时间，向大数据平台主动上报自已的心跳信息，消息类型代码为1000。一条心跳信息的参考格式如下："ProviderName"："某公司"，"ProviderID":"123456x","MsgType": 1000,"MsgAction":0,"MsgTime"："20190323160015","object":{"HeartBeatTime":"20190323160015*A.5.3：采集任务下发大数据平台通过向数据采集终端发送类型为2000的消息，来实现对终端下发采集任务的操作，参考格式如下："ProviderName"："大数据平台”，"ProviderID"："1","MsgType":2000,"MsgAction": 0."MsgTime"："20190323160015""object":{"TaskID":12345,采集服务器收到下发任务消息后，执行任务下发相关逻辑，并将执行结果反馈到大数据平台，回应消息参考格式如下："ProviderName"："某公司",16

GY/T339.1—2020"ProviderID"："123456x","MsgType":100,"MsgAction":0,"MsgTime："20190323160015","object":{"Status"：200//参考IETFRFC2616状态码A.5.4数据采集终端状态查询大数据平台通过向数据采集终端发送类型为2001的消息来获取终端的状态铁路标准规范范本，参考格式如下："ProviderName"："大数据平台""ProviderID"："1","MsgType":2001,"MsgAction":0,"MsgTime："20190323160015"终端收到该类型的消息后，需对自身的系统状态进行获取，然后回应给大数据平台，参考格式如下："ProviderName"："某公司","ProviderID":"123456x""MsgType":110,"MsgAction":0,"MsgTime："20190323160015","object":{"Status":200."CPU":0.1,"Memory":0.6A.5.5采集任务状态查询大数据平台通过向数据采集终端发送类型为2002的消息来查询终端执行任务的状态，参考格式如下："ProviderName"："大数据平台""ProviderID"："1","MsgType":2002,"MsgAction":0,17

在一些非实时等应用场合，为了提高数据上报效率，数据采集终端先将采集到的数据保存到文件中 满足上报条件时再集中上传。 以文件形式进行数据上报的基本规则如下： a 数据记录应以文本文件格式保存，文件中的内容应为数据记录的简单堆叠，以便于数据解析、 拆分、合并及进行分布式处理，也利于Loader工具将其加载到数据库中； b） 如果文本文件中包含了若干条没有上下文关联的记录，则宜将同一数据类型，例如同一地区、 同一类设备、同一组用户、同一时间段等数据有规律地组织到同一个文件申，以提高数据处理 效率； c）文件宜根据数据来源、地理位置、生成日期等规律按目录分级放置或上传； d）文件名宜包含数据提供者、数据生成日期、数据所属地区、用户分组、终端类型、终端分组等 信息。

GY/T 339.12020

资源提供方需对资源调用方的认证请求进行处理鉴权，并给出相应的响应信息；资源调用方根据认 证请求返回的响应结果，判定是否认证成功，认证成功才能继续后续资源调用流程，否则终止操作。 认证服务返回的结果状态码含义，见IETFRFC2616。 个认证成功返回结果的报文示例如下：

钢结构设计图纸GY/T 339. 12020

[1］GB/T35274一2017信息安全技术大数据服务安全能力要求 2)IETFRFC 2616 HTTP/1.1(Hypertext TransferProtocol—HTTP/1.1) [3] IETF RFC 6749 The OAuth 2.0 Authorization Framework