GB/T 38676-2020 信息技术 大数据 存储与处理系统功能测试要求.pdf
- 文档部分内容预览:
7.2批处理框架的功能测试要求
批处理框架的功能测试要求如下: 应通过创建结构化、非结构化类型数据,对数据进行建表,测试批处理框架能否对创建的表进 行离线分析; 6 应通过提交一个离线任务,测试图形化界面能否查看离线计算任务进度与状态; 应在分布式计算环境上,测试大数据处理子系统能否执行批处理任务; 1 应测试大数据处理子系统能否使用多种语言开发接口进行分析任务,例如Python、Java等; 应通过创建多个任务,设置任务之间依赖关系,测试任务能否按照依赖关系顺序执行; 应通过创建分布式任务,测试任务能否在多节点分布、并行执行,任务执行完成后,结果能否进 行聚集; g)应通过提交分布式任务,测试任务申请资源是否正常,任务执行是否成功。 主:本条的测试要求对应GB/T37722一2019中7.2的要求
7.3流处理框架的功能测试要求
流处理框架的功能测试要求如下: a 应测试大数据处理子系统从消息队列获取实时消息,对数据进行高吞吐、低延迟的实时计算 后,再将结果数据写人消息队列操作; b) 应通过创建消息处理任务,测试用户能否对任务进行浏览、中止、激活、去激活等操作;所有操 作记录是否在审计日志中; c) 应通过创建滑动窗口方式的实时分析任务,测试窗口大小、滑动步长是否可调节:
),测试流处理服务是否正常、无中断; 应通过创建消息处理任务,在消息处理过程中构造节点、进程等异常,测试异常节点上的消 是否会重分布到其他正常节点、进程进行处理。 主:本条的测试要求对应GB/T37722—2019中7.3的要求
7.4图计算框架的功能测试要求
图计算框架的功能测试要求如下: 应通过API读取图数据,寻找某条边/某个点的属性,测试结果与预期是否一致; b)应测试大数据处理子系统是否提供工具/命令行/图形化界面进行数据的全量导人、增量导入 以及自定义导人; 应测试大数据处理子系统是否支持对实时图数据进行分析和查询; 1 应通过定义图数据模型,上传数据文件和图规则映射文件(节点/边上的标签和属性),测试文 件上传是否成功; e 应测试大数据处理子系统是否支持内置常用图指标计算功能,如统计点边数量等; 应通过工具加压,测试大数据处理子系统能否对增加的图数据计算和查询业务自动分配到不 同节点; g)应通过模拟多个客户端发起图数据库查询请求,测试能否查询到相应的数据结果。 注:本条的测试要求对应GB/T37722—2019中7.4的要求
7.5内存计算框架的功能测试要求
内存计算框架的功能测试要求如下: a)应在分布式计算环境上,测试将任务转化为DAG图的功能,并测试能否正确执行分布式计算 任务; b)应通过工具加压,测试系统对增加的数据处理业务能否自动分配到不同处理节点,自动负载均 衡,处理性能没有下降; 应测试内存计算引擎能否对结构化、半结构化、非结构化不同类型的数据进行处理: d)应通过运行贝叶斯计算任务,测试任务能否成功执行; e)应测试大数据处理子系统能否直接读取非关系型数据库中的数据,不需要对数据做迁移。 注:本条的测试要求对应GB/T37722—2019中7.5的要求
灭火系统标准规范范本7.6批流融合计算框架的功能测试要求
批流融合计算框架的功能测试要求如下: a)应通过流式读取数据,对读取到的数据执行SQL查询语句,测试查询到的数据是否与预期的 致; b 应测试大数据处理子系统是否支持位置信息分析、广告浏览统计等场景下的流式SQL处理 能力; 应测试批流融合计算/处理的时间窗口是否支持多种类型,包括跳跃窗口、滑动窗口等; d 应测试大数据处理子系统能否执行对样本数据进行清洗、去重等批、流处理操作,结合模式识 别算法,得出识别结果; e) 应测试大数据处理子系统能否从消息队列中实时读取并批量处理数据,并将统计分析结果实 时更新到存储系统中; 应测试大数据处理子系统能否执行事件驱动的流处理,构造事件触发的action,读取能触发 action的消自队数据.测试action是否被触发:
GB/T38676—2020
g)应通过读取消息队列数据,测试大数据处理子系统是否支持流数据添加“事件读取”的时间和 水印,并对时间窗口内的数据做处理;测试构造多个由简单事件构成的事件流,识别简单事件 之间的内在联系,输出多个符合一定规则的简单事件构成复杂事件; h)应测试大数据处理子系统能否进行深度学习训练、MPI等任务的调度。 注:本条的测试要求对应GB/T377222019中7.6的要求
....- 数据标准
- 相关专题: 信息技术