JR/T 0203-2020 分布式数据库技术金融应用规范 技术架构.pdf

  • JR/T 0203-2020  分布式数据库技术金融应用规范 技术架构.pdf为pdf格式
  • 文件大小:0.9 M
  • 下载速度:极速
  • 文件评级
  • 更新时间:2021-01-01
  • 发 布 人: 13648167612
  • 原始文件下载:
  • 立即下载

  • 文档部分内容预览:
  • 7.2. 1部署灵活性

    JR/T02032020

    应具备灵活的部署方式,本地部署和云部署方式应至少支持1种。 a)本地部署:分布式事务数据库部署采用多台物理机来充当管理节点、计算节点和数据存储节点, 在部署过程中应满足以下要求: 一一应具备从单节点发起自动在多个服务器上完成数据库部署的能力。 一一应提供统一的软件组件可视化安装管理向导。 一应记录安装日志,并提供安装记录和问题排查方式。 b)云部署:基于云平台构建和部署分布式事务数据库,云平台将根据用户需求自动分配存储和计 算资源,云上自行部署分布式事务数据库应满足以下要求: 一应具备云上灵活部署的能力,可执行自动安装部署,或支持在云平台提供的裸金属服务器、 虚拟机上进行安装和部署。 应提供统一的软件组件可视化安装管理向导。 一应具备安装日志,提供安装记录和问题排查方式。

    基坑支护标准规范范本7. 2. 2±SQL 能力

    JR/T02032020

    s)宜支持物化视图。 t)宜支持动态系统视图。 u 宜支持自定义函数的具体要求如下: 一宜支持JAVA、C、Python自定义函数扩展功能 一宜支持过程语言方式的自定义函数。 V) 宜支持时区设置。 宜支持临时表。 x)宜支持公共表达式。

    分布式事务数据库应提供充分的读扩展能力,以支持业务在架构层面进行读写分离优化。在业务 午对数据进行弱一致性读(即读取操作须满足全局一致性读要求,但不保证读到最新数据)的前提下, 基于业务需求应支持读写分离策略,具体要求如下: 分布式事务数据库应提供多副本读能力,并支持读请求在各个数据副本之间的均衡负载。 b 分布式事务数据库应支持自动剔除数据不一致或数据同步延迟超过业务指定阈值的数据副本, 并在其恢复后支持将其自动加回到读请求路由。 C 数据库应实现读请求在各个数据副本之间的灵活调度配置,使得上层应用不必关心读请求具亿 连接哪个数据副本。 d)读写分离功能应对应用透明。

    7.2.4并发处理能力

    分布式事务数据库应提供并发处理能力,具体要求如下: 应根据业务对用户并发数、吞吐量、响应时间的指标要求,保证系统能够同时处理多条请求, 具体要求如下: 应支持并发分布式事务。 一一应支持并发复杂查询语句。 一应支持并发连接数配置。 一宜具备分布式相关的查询优化和执行能力。 b)应具备对各种数据库操作的并行计算能力,包括但不限于跨数据分片的DDL、DML和查询等, 充分利用所有节点的计算能力和存储能力,并控制降低网络数据带宽传输需求。 分布式事务数据库并行计算功能宜具备可以控制语句并行度的能力,如通过调整SQL语句或者 会话的并行参数来实现。

    分布式事务数据库应具备适配性,具体要求如下: a)软件适配性: 分布式事务数据库软件的兼容性是衡量生态的1个重要指标,分布式事务数据库系统涉及多个方面 的软件兼容性,如操作系统等,具体要求如下: 一应兼容主流Linux操作系统。 一应不限制主流编程语言,包含但不限于:c/c++,java,go,python,php。 一应兼容主流编程语言访问接口,如JDBC、ODBC等。 一应兼容至少1种开源数据库协议(如MySQL、PostgreSQL、SparkSQL等)。 b)硬件适配性: 分布式事务数据库系统作为重要的基础软件,应适配至少2种硬件平台以适应不同的生产业务需求

    如X86、ARM、MIPS等架构

    7. 3. 1 分布式事务

    JR/T02032020

    分布式事务数据库应支持分布式事务,具体要求如下: a)分布式事务能力概述,具体要求如下: 一一在分布式事务数据库中,1个分布式事务操作的数据会跨越多个数据存储节点,应通过分 布式事务的ACID,确保事务的全局一致性。 在分布式事务数据库中,即使发生个别节点故障、网络故障等异常,也不应破坏分布式事 务的各种特性。 6) 分布式事务原子性:在分布式事务数据库中,1个分布式事务操作涉及的数据可能会跨越多个 数据存储节点,数据库应确保数据的修改在全局范围内保持原子性,具体要求如下: 一事务结束时,所有的数据应在指定的数据存储节点上全部修改成功,或应在指定的数据存 储节点上全部修改失败并回退到最初状态,不应出现部分数据修改成功而部分修改失败的 情况。 一一如果分布式事务在处理的过程中遇到异常,如某个或多个数据存储节点所在的物理服务器 机械故障、网络故障等,数据库仍应保证事务的原子性不被破坏,以保证数据对外部业务 的一致性。 分布式事务一致性:在分布式事务数据库中,当读取的数据跨越多个节点时,应确保从多个节 点上读取到的数据在全局范围内具备一致性,具体要求如下: 一一事务应满足全局实时一致性,已完成提交的事务中的数据,在任意时刻,都能被随后的读 取操作访问到最新的数据。 一一在同1个事务内提交的数据,应全部能被读到,或全部读不到,不应出现部分数据能读到, 部分数据读不到的情况。 d)分布式事务隔离性:事务隔离是数据库并发访问控制的基本要求,分布式事务数据库应提供多 种事务隔离级别,并支持在数据库系统或者SQL语句中应用时,指定不同的隔离级别实现不同 事务并发执行时的可见性效果。 分布式事务持人性:在分布式事务数据库中,事务完成和提交后,该事务对数据库的更改应持 久化保存在数据库中,并不会无故丢失或回滚,即使数据库系统发生故障或重启,数据库应能 恢复到事务成功结束时的状态。 隔离级别:决定了当前分布式事务数据库事务完整性及对其他事务的可见性,相关隔离级别的 设定是为了解决并发事务执行过程中存在的脏读、不可重复读、幻读等问题,保证分布式事务 的ACID特性。分布式事务数据库应支持多种事务隔离级别,具体要求如下: 一已提交读(ReadCommitted):1个事务应读到事务开启之前所有其他已经提交事务的数 据。 可重复读(RepeatableRead):1个事务在开启和结束过程中的任意时间点所读到的都应 是相同的数据结果。 一串行化(Serializable):1个可串行化的事务执行的结果,应等同于数据库系统中同 时间点仅仅执行这1个事务得到的结果。 锁处理:分布式事务数据库应具备分布式锁的管控能力,包括锁的类型管理、锁的级别管理、 锁的互斥管理、死锁处理机制等。数据库中发生死锁事件时,数据库应自动采取措施解除死锁 状态,尤其是在跨数据存储节点的分布式事务间发生死锁时,数据库应自动采取措施解除死锁 状态。

    JR/T02032020

    7. 3. 2服务高可用

    应用于金融领域的分布式事务数据库服务高可用性应具备多层次的技术要求,以满足不同级别的故 章高可用方案,具体要求如下: a 技术架构上全链路的组件均需要高可用部署,包括管理节点、计算节点、数据存储节点等。 6 当数据库系统发生节点级故障时,RTO要求在秒级,应支持自动化方式切换,在多副本的使用 场景下,应支持主副本的切换优先级按照本机房副本、同城副本、异地副本的优先级进行选择。 机房级、地域级高可用需求应符合JR/T0205的相关要求。 d 应用于金融领域的分布式事务数据库还应满足节点扩容、数据动态分布等对服务的影响控制在 秒级以内。

    结合分布式事务数据库一致性算法等数据穴余相关技术,实现分布式数据副本间的一致性,如在同1 个数据中心内数据库表对象及数据分散存储在多个物理服务器上的情况下,满足在线联机交易业务系统 的读写一致性。具体要求应符合IR/T0204和IR/T0205的相关要求。

    分布式事务数据库的存储能力是指面向数据存储节点的数据分布能力,应支持多副本穴余,满足金 融行业同城或异地部署高可用容灾要求,具备自动或手工容灾恢复能力,能做到对应用透明的数据分片, 具体要求如下: a)应支持自动数据分片,数据分片策略可灵活配置。 b)应支持通用数据分片策略,至少支持1种数据分片方式,如范围(Range)、列表(List)、哈 希(Hash)等。

    分布式事务数据库应支持弹性扩展,具体要求如下: )水平扩展功能:分布式事务数据库应支持按照各自的负载压力进行计算节点、数据存储节点和 管理节点的在线扩缩容能力,以匹配业务负载,具体要求如下: 一节点扩缩容: V ·应保证上层应用的业务不需要停机维护; ·应保证事务的一致性和数据的完整性; :应支持同一硬件架构、型号相同或不同的设备; 宜支持不同硬件架构、不同型号的设备。 数据重分布: 应支持扩缩容后对当前数据存储节点上的数据按照新规划的数据分片数量和数据分片 策略进行数据重新分布; 应保证上层应用的业务不需要停机维护,并尽可能减少扩缩容动作所引起的应用波动; 应支持数据重分布执行的时间定制。 )垂直扩展功能:当应用遇到性能瓶颈时,分布式事务数据库应支持通过扩展单台服务器硬件资 源的方式以满足业务需求。

    JR/T02032020

    JR/T02032020

    金融领域分布式事务数据库的运维管理能力应包括自动化部署、自动告警、状态监控、性能监控、 各份恢复、系统配置、版本升级、系统日志、导入导出、数据同步、数据迁移、扩缩容、多租户统一管 里,具体要求如下: a)应具备统一的图形化界面,提供API接口展示节点的组网关系,包括但不限于计算节点、数据 存储节点、管理节点的高可用关系等。 b) 应具备数据库的健康度评估能力,支持健康评估指标的自定义。 C 应支持SQL分析功能,从SQL语句、表、索引等维度进行风险扫描、SQL语法检查、SQL执行计划 等分析。 d) 宜支持SQL优化建议,如索引设计、SQL语法优化建议等。 e 宜支持历史快照采样,提供包含但不限于活动会话、数据库负载历史信息、SQL执行计划、执 行次数、资源等待和统计信息等历史信息的查询。 f)宜支持分布式集群节点异常日志查询,方便定位集群问题。 g 宜支持内部调用链路跟踪、拨测、故障检测、故障自动隔离、熔断、服务降级、限流等参数配 置和处置管理。

    应用于金融领域的分布式事务数据库应具备从单一节点发起部署,自动在多个服务器上完成数据库 部署的能力,具体要求如下: a)应提供统一的可视化安装和软件组件管理的功能。 b)应提供添加、修改和删除各类分布式事务数据库节点的功能。 c)宜支持集群部署前的环境校验能力,提供合理的部署安装资源参考指标

    应用于金融领域的分布式事务数据库应具备自动告警能力,具体要求如下: a)应具备对系统运行的重要事件、异常事件、异常状态进行自动告警的能力,允许用户设置告警 的监控项、告警阈值、其他告警触发条件等。 b)当告警发生时,应具备对告警信息进行实时展示的能力。 c)应提供告警API接口。

    应用于金融领域的分布式事务数据库应具备系统状态监控能力,具体要求如下: a)应具备对系统状态进行实时监控的能力,包括物理服务器状态的监控、数据库服务状态的监控、 节点间同步状态等。 b 应具备对系统状态监控结果进行实时可视化展示的能力。 c)应支持自定义设置监控采集数据资料库的保存时间。 d)应支持自动告警推送功能

    JR/T02032020

    a) CPU使用率。 b) 内存使用率。 c) 磁盘空间使用率。 d) 10统计。 e) 网络带宽使用率。 f) 数据库集群状态。 g) TPS和QPS统计。 h) 慢SQL统计。 i) SQL平均响应时间统计。 j 高频SQL统计。 k) 锁、等待事件。 数据库会话连接监控

    a) CPU使用率。 b) 内存使用率。 c) 磁盘空间使用率。 d) 10统计。 e) 网络带宽使用率。 f) 数据库集群状态。 g) TPS和QPS统计。 h) 慢SQL统计。 i SQL平均响应时间统计。 j 高频SQL统计。 k) 锁、等待事件。 1) 数据库会话连接监控。

    应用于金融领域的分布式事务数据库应具备备份恢复能力,具体要求如下: a)应具备在线备份和离线备份的能力。 b)应支持完全备份和增量备份功能, c)应支持备份的自动化管理。 d)应支持自定义备份策略。 e)应支持快速恢复技术,建议支持快速解决由误操作产生的表级恢复问题 f)应保证业务系统无阻塞情况下,分布式集群环境的全局强一致备份。 g)应支持使用备份和日志将数据库恢复到特定时间点的功能。 h)应支持物理备份与逻辑备份2种方式。 i)宜具备备份进度展示与日志记录。 j)宜支持压缩备份功能, k)宜支持加解密的备份恢复功能。 1)备份恢复粒度宜支持实例级、库级和表级。 m)宜支持集群外服务器的恢复功能。

    应用于金融领域的分布式事务数据库应具备系统配置能力,具体要求如下: a)应支持对全局范围内的数据库参数进行在线配置。 b)应支持安装部署初始化参数及默认值配置。

    应用于金融领域的分布式事务数据库版本升级包括新版本更新升级、缺陷补丁修复升级等,应根据 应用的具体架构和需求,提供多种升级方式,不影响业务的正常运行,具体要求如下: a)应支持自动化升级。 b)应支持滚动升级。 C) 对于分布式数据库中所使用到的开源组件,分布式事务数据库厂商应具备版本更新维护的能 力。 d) 宜支持升级前环境检查。 e)宜支持升级过程可视化。 f)宜支持升级过程纠错和人工王预

    g)产品应具备版本回退的方案。

    JR/T02032020

    城市轨道标准规范范本JR/T0203—2020

    a)应支持对各类事件进行日志记录, 日志应完整正确 b)应支持日志的统一集中管理,具备在线查询入口,可以检索各个节点日志

    应用于金融领域的分布式事务数据库应具备对数据导入导出的能力,具体要求如下: a)应具备数据表级导入导出功能,宜支持库级导入导出功能。 b)宜具备导入导出字符集转换功能。 c)宜具备元数据和数据分别导入导出功能。 d)宜具备并行导入导出数据的能力。 e)宜支持CSV、XLSX、ET、TXT、LOG等多种数据导入导出文件格式。 f)宜具备文件的压缩、解压、加密、解密功能。 g)宜具备服务器端指定起始点的导入、异常点记录的功能

    分布式事务数据库宜具备将数据库表对象及其数据在同构/异构的数据库集群之间进行数据同步的 功能。

    分布式事务数据库在使用过程中,经常需要与其他同构或异构数据库进行数据的传输,为保证数据 能够正常流转,应具备以下功能: a)应支持至少1种主流关系型数据库数据迁移。 b)宜具备数据迁移工具,或兼容第三方迁移工具

    分布式事务数据库可通过扩容的方式来提升存储容量和性能,扩容可分为计算节点扩容、数据存储 节点扩容和管理节点扩容,扩容过程应满足运维功能要求,具体要求如下: a)应具备支持扩容操作管理功能,可以自动完成计算节点或者数据存储节点的扩容。 b)应提供操作日志,可供问题排查和操作行为记录。 c)应支持数据存储节点扩容完成后,按照新的分片规则完成数据重分布。 d)应支持数据库扩容过程中可以正常读写

    分布式事务数据库可通过缩容的方式回收资源,缩容可分为计算节点缩容、数据存储节点缩容和管 理节点缩容,缩容过程应满足运维功能要求,具体要求如下: a)应具备支持缩容操作管理功能,可以自动完成计算节点或者数据存储节点的缩容。 b)应提供操作日志,可供问题排查和操作行为记录。 c)应支持数据存储节点缩容完成后,按照新的分片规则,完成数据重分布。 d)应支持数据库缩容过程中可以正常读写

    JR/T02032020

    应用于金融领域的分布式事务数据库宜支持多租户能力路桥施工组织设计 ,具体要求如下: a)分布式事务数据库宜支持多租户,以帮助业务有效实现资源整合与调度。分布式事务数据库支 持的多租户操作包括但不限于租户的创建、销毁、扩容、缩容、迁移、备份恢复、权限设置等, 支持业务设置单个租户的规格超越单台物理机限制。 b)分布式事务数据库宜支持基于多租户的资源隔离,以降低业务部署的风险和成本,包括但不限 于CPU隔离、内存隔离、网络隔离、I/O隔离等。 c)宜支持专属集群模式,针对重要租户对应的数据库实例可以部署到指定的专属服务器资源池 中。

    ....
  • 金融标准 数据标准
  • 相关专题: 数据库  

相关下载

常用软件