GB/T 38666-2020 信息技术 大数据 工业应用参考架构
- 文档部分内容预览:
应用提供者主要功能是围绕数据消费者需求,将来自数据提供者的数据进行处理和提取 据消费者。 主要包括收集、预处理、分析、可视化和访问五个活动
负责处理与数据提供者的接口和数据引人 由于工业数据的种类、格式很多,且开放程度差异很大,缺少统一标准,需要根据数据格式、类型 引用对应的工业应用或构件,完成数据的识别和导入
包括数据清洗、数据归约、标准化、格式化和存储。 数据清洗和数据规约是为避免噪声或干扰项给后期分析带来困难,针对首次采集获得的多维异构 数据执行的同构化预处理。 数据标准化、格式化处理如:元数据处理和标识管理。具体如下: a)元数据处理包括对订单元数据、产品元数据、供应商能力等进行定义和规范; b)标识管理包括分配与注册、编码分发与测试管理、存储与编码规范、解析机制等。 数据存储主要采用大数据分布式云存储的技术,将预处理后的数据有效存储在性能和容量都能线 性扩展的分布式数据库中
基于数据科学家的需求或垂直应用的需求,利用数据建模、处理数据的算法工程标准规范范本,以及工业领域专用算 法,实现从数据中提取知识的技术。 例如,对无法基于传统建模方法建立生产优化模型的相关工序建立特征模型,基于订单、机器、工 艺、计划等生产历史数据、实时数据及相关生产优化仿真数据,采用聚类、分类、规则挖掘等数据挖掘方 法及预测机制建立多类基于数据的工业过程优化特征模型
对经处理、分析运算后的数据,通过合适的显示技术,如大数据可视化技术、工业2D或3D场景 技术等,呈现给最终的数据消费者
6.4大数据计算框架提供者
按GB/T35589一2017中7.4.1,大数据框架提供者的主要功能是为工业大数据应用提供者在创建 具体应用时提供使用的资源和服务 大数据计算框架提供者包括基础设施、平台、处理框架、信息通信和资源管理5个活动
为大数据系统中的所有其他要素提供必要的资源,这些资源是由一些物理资源的组合构成,这些物 理资源可以控制/支持相似的虚拟资源。这些资源分为下面四类: a)网络:从一个资源向另一个资源传输数据的资源; b)计算:用于执行和保持其他组件的软件的实际处理器和存储器; c)存储:大数据系统中保存数据的资源; d)环境:在建立大数据实例的时候需考虑的物理厂房资源(电力、制冷等)
a)文件系统:实施某种级别的POSIX标准以获取权限,进行相关的文件操作; b)索引存储:无需扫描整个数据集,便可以迅速定位数据的具体要素。
提供必要的基础设施款件从支待实现险片 程序能够满足数据数量、速度和多样性的处理。包括 里、流处理,以及两者的数据交换与数据操作
包含点对点传输和存储转发两种通信模型。在点对点传输模型中,发送者通过信道直接将所传 息发送给接收者;而在后者中,发送者会将信息先发送给中间实体,然后中间实体再逐条转发给 。点对点传输模型还包括多播这种特殊的通信模式,在多播中,一个发送者可将信息发送给多个 一个接收者
计算、存储及实现两者互联互通的网络连接管理。主要目标是实现分布式的、弹性的资源调配, 括对存储资源的管理和对计算资源的管理
处理,以达到特定的目标, 数据消费者有很多种,典型的有智能化设计、智能化生产、网络化协同制造、智能化服务和个性化定 制五种智能制造模式
以产品数据为核心,通过对输出的产品模型、知识库(例如2D、3D图纸,产品结构和工艺路线)、用 户使用数据等的集成关联和分析,帮助设计人员实现产品的优化设计、创新设计或自动化设计,典型的 智能化设计例如:自动化设计、数字化仿真优化。 自动化设计通过集成工程设计、仿真、试制、试验过程中的多种CAX计算机辅助设计工具和系统 实现CAX平台数据(例如任务流程数据、工程应用数据、设计知识)的互通;结合智能语义分析,实现设 计过程的自动化执行,并在此基础上实现多学科综合设计优化 数字化仿真优化用于顺应设计数据的关联性,在设计阶段有效地对产品进行综合的评估和改进
指人机智能交互、工业机器人、制造工艺的仿真优化、数字化控制、状态监测等先进工业技术在生产 制造中的应用。主要包括生产效率综合优化、生产故障预测等典型场景。 生产效率综合优化通过对生产过程中相关产线、装备、设备的关键指标进行监控、数据挖掘和分析 实现产线升级、产品质量优化、设备故障诊断与维护、智能排程、智能生产等,综合优化生产过程和生产 率。 生产故障预测根据经验数据进行对比建模铆钉标准,对生产过程中的故障进行预测诊断,降低设备故障对制 造过程造成的影响
6.5.4网络化协同制造
在设备物联、智能控制、生产过程透明化基础上,实现制造资源、制造能力、制造过程的信息透明 订单特征,连通不同物理区域的多样化生产资源,完成最优化的资源配置,实现高质高效的协同制 装和交付过程
使用数据进行收集、分析和优化,所得数据结 果可以辅助产品设计的优化,以及产品的智能化诊断、运维和远程控制等。同时,可以实现智能检测监 管的应用,如危险化学品、食品、印染、稀土、农药等重点行业智能检测监管应用
基于用户定制化需求,通过全流程建模和数据集成贯通,将用户需求和企业产品设计、生产计划精 准匹配,并借助模块化产线、新型制造工艺,积累并闭环优化各环节经验数据,实现数据流动的自动化 智能化,并通过数据驱动计划、设计、生产、物流和交付等过程,持续优化提升整体运作效率和用户体验
盖硬件、软件和上层应用的安全保护,从网络安全、主机安全、应用安全、数据安全四个方面来保证大数 据平台的安全性。 按GB/T35589一2017中7.6,该构件主要包括以下四种功能: a 网络安全:通过网络安全技术,保证数据处理、存储安全和维护正常运行; b 主机安全:通过对集群内节点的操作系统安全加固等手段保证节点正常运行 C 应用安全:具有身份鉴别和认证、用户和权限管理、数据库加固、用户口令管理、审计控制等安 全措施,实施合法用户合理访问资源的安全策略; d)数据安全:从集群容灾、备份、数据完整性、数据分角色存储、数据访问控制等方面保证用户数 据的安全。 同时应提供一个合理的灾备框架,提升灾备恢复能力,实现数据的实时异地容灾功能,跨数据中心 数据备份。 隐私保护主要是在不暴露用户敏感信息的前提下进行有效的数据挖掘;根据需要保护的内容不同, 可分为位置隐私保护、标识符匿名保护和连接关系匿名保护等
按GB/T35589一2017中7.7,该构件的主要功能覆盖以下各方面: a)提供大规模集群统一的运维管理系统暖通空调设计、计算,能够对包括数据中心、基础硬件、平台软件和应用软件 进行集中运维、统一管理,实现安装部署、参数配置、监控、告警、用户管理、权限管理、审计、服 务管理、健康检查、问题定位、升级和修复等功能; b: 具有自动化运维的能力,通过对多个数据中心的资源进行统一管理,合理地分配和调度业务所 需要的资源,做到自动化按需分配。同时提供对多个数据中心的信息技术基础设施进行集中 运维的能力,自动化监控数据中心内各种信息技术设备的事件、告警、性能,实现从业务纬度来 进行运维的能力; C) 对主管理系统节点及所有业务组件中心管理节点实现高可靠性的双机机制,采用主备或负荷 分担配置,避免单点故障场景对系统可靠性的影响
....- 数据标准 工业标准
- 相关专题: 信息技术