Q/GDW 12118.1-2021 人工智能平台架构及技术要求 第1部分:总体架构与技术要求.pdf
- 文档部分内容预览:
Q/GDW 12118.1-2021 人工智能平台架构及技术要求 第1部分:总体架构与技术要求
人工智能平台架构应包括:模型库、样本库和训练运行平台3部分,这3部分基于国网云提供的基础 资源共同构成平台层。平台层和服务层构成人工智能中台,支撑应用层的各类业务应用。人工智能平台 总体架构如下图1,各部分要求为: a)人工智能平台的建设应基于国网云的CPU计算资源、AI芯片计算资源、存储资源和网络资源; b)实验训练应使用样本库的样本集,通过训练得到可用的模型,模型可输出至模型库; c)模型库存放训练出的算法模型或采购来的第三方算法模型; d)人工智能平台应提供模型推送功能,可通过云边协同套件推送至边侧设备:
[Q/GDW 121181202]
服务层应包括:计算机视觉、自然语言处理、智能语音和知识图谱等基础服务,以及变压器渗 漏油识别等专用服务; f 人工智能中台可支撑设备运维、电网调度、客户服务、安全管控和企业经营等电力业务: 名 边缘侧设备的样本数据可通过云边协同套件上传至样本库: h)平台层支撑各类人工智能服务,并通过服务支撑应用层的业务应用
工程施工数据5.2.2训练运行平台
图1人工智能平台总体架构图
训练运行平台应包括:模型训练、模型部署、模型评估和服务发布等4部分。各部分应满足的要 a)不同框架的环境创建采用统一的操作入口; 模型开发提供命令行式全功能操作方式; C 模型训练包括命令行式训练、可视化建模和自动化建模: d)模型评估包括模型选择、验证集选择、验证环境选择和结果展示
模型库应包括:模型管理和镜像封装2部分。模型库支撑的服务层的具体要求为: 基础模型服务可包括: 1)智能语音:语音识别和语音合成等; 2)自然语言处理:信息检索和问答对话等:
样本库应包括:样本管理和样本标注2部分,应满足如下要求: a)样本管理包括:样本数据集管理、标签管理和样本信息管理等; b)样本标注包括:文本标注、视频标注、音频标注和图像标注。
人工智能平台功能应包括:样本库、模型库和训练运行平台。人工智能平台功能架构如下图2,功 能架构应满足如下要求: a) 训练运行平台可分为训练环境和运行环境,训练环境包括:模型开发、模型训练、模型评估、 模型服务、算法管理、资源调度、权限管理和服务监控,运行环境包括:模型导入、模型校验、 模型部署、模型服务、服务发布、边缘部署、资源调度、权限管理和服务监控; D 样本库包括:样本资源服务目录、样本入库、样本预处理、样本标注、样本审核、样本集管理、 样本发布、样本脱敏、样本共享和存储管理; C 模型库包括:模型资源服务目录、模型文件存储、模型镜像封装、模型版本管理、模型调试、 模型同步和模型下载
[Q/GDW 1211812021
图2人工智能平台功能架构图
人工智能平台技术架构要求主要包括:应用层、服务层、能力层和资源层的要求。管理中 务层和能力层。人工智能平台技术架构如下图3:
人工智能平台技术架构要求为:
图3人工智能平台技术架构图
应构建样本资源目录的总部和省公司两级管理体系,实现资源目录上送、下发的双向同步及样本资 原目录、标注和原始数据的推送分发功能。应将数据按照图像、视频、语音、文本等类型存储,经过数 居标注后形成样本库。人工智能平台数据架构如下图4,数据架构要求为: 样本数据应来源于业务系统或通过离线数据采集,经由数据总线和消息总线推送至样本库,也 可来源于边缘端; 6) 训练组件读取样本库的数据和模型库的模型,并将训练好的模型入库存储到模型库: C 推理组件调用模型库的模型,使用业务应用推送的业务数据,推理计算,将推理结果反馈给业 务应用; d 总部和省公司的样本库可实现样本目录同步; e) 总部和省公司的模型库可实现模型目录同步; 模型库的模型可通过云边协同套件下发到边端。
Q/GDW 12118. 12021
图4人工智能平台数据架构
人工智能平台从结构上应分为公司级、省公司级、云侧、边侧和端侧,人工智能平台多级协同结构 如下图5,各级要求为: a 公司级人工智能平台应集成数据训练、推理计算、样本管理、模型管理、模型验证、基础模型 服务及部分实时性要求不高的业务模型服务模块; b 省公司级人工智能平台应集成推理计算、样本管理、模型管理、基础模型服务及业务模型服务 模块,可支持训练计算,训练计算能力按需部署: C 边缘端应至少具备推理计算及业务模型服务能力 d 公司级人工智能平台应为公司各业务部门、各省公司及各地市公司提供高效共享的算法训练, 验证、管理及推理服务: 省公司级人工智能平台应为省公司各业务部门及各地市公司提供人工智能服务能力: 公司级和省公司级人工智能平台应具备模型推送能力。
6.1.1训练运行平台
图5人工智能平台多级协同结构图
训练运行平台功能要求为: a)项目管理:项目创建、项目切换、项目删除和项目监控; b 模型训练:应至少兼容飞桨、MindSpore、TensorFlow、MXNet、PyTorch和Caffe等开源深度 学习框架,训练任务宜支持单卡内存级分配; C 模型评估:评估指标和评估报告管理,按算法类型分为: 1)分类算法:准确率指标评估、召回率指标评估、F1指标评估: 2)回归算法:误差平方和、决定系数和校正决定系数; 3)聚类算法:紧密型、间隔性、纯度、标准化互信息、兰德指数、FMI、Jaccard指数等。 d 算法管理:算法上架、算法分类和算法下架等 e) 容器管理:容器镜像文件导入和导出。
模型库功能要求为: a 模型管理:模型导入、模型删除、版本管理、模型标签、模型收藏和模型共享; b) 模型测试:模型部署、在线测试和服务管理,模型测试服务发布应支持向导模式,宜支持一键 自动发布测试服务,模型测试服务宜支持单卡内存级分配。
Q/GDW 12118.12021
样本库功能要求为: a)数据接入:本地文件导入、HDFS数据导入、FTP文件导入、NFS数据导入和数据库数据导入; b)数据预处理:特征提取、灰度校正和平滑去噪等; )数据标注:宜支持智能标注,以模型来给未标注数据进行标注
人工智能平台响应时限应符合Q/GDW/Z 信息系统非功能性需求规范》的规定
人工智能平台应提供主要网络设备、通信线路和集群系统的硬件几余,保证高可用性, 环境下应满足7×24小时服务不中断,具体要求为: 数据完整性:存储节点发生故障时,应确保数据完整; D 算力完整性:计算节点发生故障时,应不影响训练和推理的执行结果; 消息完整性:消息队列节点发生故障时,应确保消息不丢失,且不影响消息正常提交和消费; d 任务调度完整性:任务调度节点发生故障时,应不影响任务调度和执行; 网络完整性:网络发生故障并恢复后,系统和任务、服务均应自动继续运行
人工智能平合应支持资源横向扩展和系统平滑开级,资源扩展和系统开级过程应不影响现 务和推理服务。
人工智能平台中运行训练组件、推理组件和具有预标注功能的标注组件的服务器应具备独立的AI 片计算资源。具体要求如下: a)对训练平台,AI芯片计算资源单卡内存不应低于8GB,宜达到32GB或以上,单卡内存带宽不 应低于700GB/秒,单卡算力应达到以下条件之一: 1)单精度浮点算力至少达到9TFLOPS; 2)半精度浮点算力至少达到18TFLOPS D 在运行环境,AI芯片计算资源单卡内存不应低于4GB,单卡内存带宽不应低于100GB/秒,单 卡算力应达到以下条件之一: 1)单精度浮点算力至少达到9TFLOPS; 2)半精度浮点算力至少达到18TFLOPS 3)INT8精度算力至少达到36TOPS。 训练平台宜使用固态硬盘作为训练样本集的大容量缓存。
Q/GDW 12118.12021
深圳标准规范范本人工智能平台架构及技术要求
Q/GDW12118.1—2021目次编制背景..132编制主要原则.3与其他标准文件的关系..134主要工作过程..5标准结构和内容...13条文说明12
本部分根据国家电网有限公司下达的《2020年第一批技术标准制修订计划》(国家电网科(2020) 21号)的要求编写。 本部分编制背景是人工智能技术成为推动电力业务创新发展的关键核心技术,为公司电网调度、运 维检修及分析决策等提供智能分析支持,在电网生产、经营管理和优质服务三大领域日益广泛应用。为 统一支持公司人工智能平台及应用建设,开展其总体架构、功能要求、部署方式和技术要求研究,为公 同级人工智能平台建设提供有效依据。 本部分标准编制的主要目的是指导公司人工智能平台建设,明确人工智能平台总体架构与技术要 求。
本部分主要根据以下原则编制: a 坚持先进性与实用性相结合、统一性与灵活性相结合、可靠性与经济性相结合的原则,以标准 化为引领,服务公司科学发展; b 认真研究国内外现行相关的ISO/IEC标准、行业标准,体现信息技术特性和功能拓展的最新发 展; C 充分调研国内外主流厂商人工智能平台建设成果,研究其在平台建设方面已经完成的工作和思 路,借鉴其在平台服务内容和能力方面成果和经验; d)严格按照实际的电力业务需求及其发展趋势,制定出切实可行的技术规范。 本标准项目计划名称为“人工智能基础支撑能力架构及技术要求”,因用平台表达更准确,分为三 分更清晰,更符合标准内容和业务现状,经编写组与专家商定,更名为“《人工智能平台架构及技术 要求第1部分:总体架构与技术要求》、《人工智能平台架构及技术要求第2部分:算法模型共享应用要 》、《人工智能平台架构及技术要求第3部分:样本库格式要求》”
3与其他标准文件的关系
本部分与相关技术领域的国家现行法律 法规和政策保持一致。 本部分不涉及专利、软件著作权等知识产权问题
2020年1月,项目启动,并成立编写小组,对人工智能平台相关技术标准进行资料收集和分析。 2020年3月,完成标准大纲编写,组织召开大纲研讨会,明确编写思路。 2020年7月,完成标准征求意见稿编写,采用发函的方式广泛、多次在公司范围内征求意见。 2020年10月,修改形成标准送审稿。 2020年11月,国家电网公司互联网技术标准专业工作组组织召开了标准审查会,经过专家审查,审 查结论为:审查组协商一致,同意修改后以技术标准形式报批。 2020年11月,修改形成标准报批稿
瓦楞纸箱标准[Q/GDW 1211812021
《人工智能平台架构及技术要求》分为下列3个部分: 一一第1部分:总体架构与技术要求; 一第2部分:算法模型共享应用要求; 一第3部分:样本库格式要求。 《人工智能平台架构及技术要求》第1部分规定了人工智能平台建设的架构要求和技术要求;第2 部分规定了电力人工智能算法模型在共享应用中所涉及的文件、描述文档和使用方式的基本要求;第3 部分规定了人工智能平台建设的样本分类、样本参数要求、样本库接口和样本应用要求。第1部分侧重 于人工智能平台总体要求,第2部分是模型库建设的支撑,第3部分是样本库建设的支撑。这3部分标准 可分别独立使用。 本部分是《人工智能平台架构及技术要求》的第1部分。 本部分按照《国家电网公司技术标准管理办法》(国家电网企管(2018)222号文)的要求编写。 本部分的主要结构和内容如下: 本部分主题章分为2章,由架构要求和技术要求组成。本部分兼顾了人工智能平台建设的实际状况, 本着开放合作性、安全性、实用性、可靠性、可扩展性、自主可控性和先进性原则,给出了公司级人工 智能平台的架构要求和技术要求。
....- 技术标准
- 相关专题: