5.1.1全文件判重模式

全文件判重以文件为粒度查找重复数据，以整个文件为单位计算出哈希值，然后与已存储的哈希值 进行比较，如果发现相同的哈希值则认为该文件为重复的文件，不进行存储；否则，该文件为新文件， 将该文件及其哈希值存储到系统中。如图3所示，由于以文件作为判重粒度，对于不同文件内的相同数 据没办法做到判重，适用于数据快速判重。

YD/T3511—2019文件特征已存储数据存储提取哈希值1.提取文件哈希值特征判重文件2.与已存储哈希值比较3.没有相同的哈希值4.有相同的哈希值重复数据去重图3全文件判重模式5.1.2数据块判重模式5.1.2.1定长数据块判重将一个文件分成固定长度的数据块，以数据块为单位进行数据判重。适用于计算速度快、对数据变化较敏感的判重需求，对于文件中有部分内容插入或者修改的情况判重效果较差。变化内容文件数据是否为变长数据块1.判断当前数据块是否达到边界数据块边界2.将变化内容划分到当前数据块中，N确定数据块边界变长数据块3.计算数据块的哈希值4.与系统已有数据块哈希值库比较数据块哈希值不存在相同是新数据块，存储数据块及其哈希值已存储哈希值消除元余数据块，存储存在相同哈希值及索引信息图4变长数据块判重模式5.1.2.2变长数据块判重将一个文件分成不定长的若干数据块，确定数据块的边界，将变化内容划分到一个数据块中。如图4所示，为了避免极端情况下，数据块过长或者过短的情况，可以设定数据块的下限和上限。对于每一个划分得到的数据块，就可以通过比较其哈希值来确定重复的数据块。5.2去重流程5.2.1在线去重流程在线去重流程按时间顺序划分为以下阶段：a）接收到生产系统发送的数据在线去重请求：b)接收到发送来的数据进行数据判重，重复数据交由去重模块进行处理，未重复数据进行相关入库操作和索引数据构建；接收判重模块发送的重复数据，计算数据完整性，进行数据块删除，并新增相应索引数据指针指向该数据块，再次进行数据完整性计算，比较前后结果，完成完整性校验；5

d）去重后数据和未重复数据按负载均衡原则存储到灾备系统的相应节点上 纸箱包装标准，并保存索引数据文件； ）去重结束。

5.2.2离线去重流程

离线去重流程按时间顺序划分为以下阶段： a）接收到灾备系统发送的数据离线去重请求； b）连接到目标灾备系统进行灾备数据获取，并将数据交由判重模块进行判重处理； c）接收判重模块发送的重复数据，计算数据完整性，进行数据块删除，并新增相应索引数据指针 指向该数据块，再次进行数据完整性计算，比较前后结果，完成完整性校验； d）去重后数据和未重复数据按负载均衡原则存储到去重系统的相应节点上，并保存索引数据文件 e）通过数据访问接口进行去重后数据查询及获取； f）去重结束。

5.3.1相同数据去重

计算数据的哈希值，通过比对哈希值查找余数据，对余数据仅保存一份，并建立指向亢余数据 的指针。根据去重粒度不同，可以分为基于文件级、 基于数据块级和基于字符级的数据去重模式

5.3.2相似数据去重

通过提取数据内容特征，并基于特征筛选相似度超过阅值的数据，实现对相似数据编码和压缩处理， 降低存储数据量。

局部去重是指仅删除同一个客户端 个存储节点上的亢余数据，而不考虑多个 节点之间存在的穴余数据。局部去重能册 ，能获得的压缩率较低。

全局去重可以删除多个节点之间存在的亢 全局去重需要对多个存储节点上的数据进行查询 删除多个节点之间存在的重复数据，其带来的开销也会比局部去重大很多

YD/T3511—2019

支持网络通信模式，可以实现跨局域区 台的业务通信能力和基础通信能

TCP/IP（HTTP、FTP、VPN）等网络传输协议。

实时、高效和安全可靠的通信数据传输。

在灾备数据的去重系统中，根据数据的存储结构或被访问模块的不同，一般将数据分别存储在不同 文件中，这些文件主要包括以下四类。 元数据文件：用于记录数据块的相关信息，如数据块指纹和数据块在存储设备中的实际存储位 置等。 ? 索引文件：用于在数据访问时直接定位并读取所要访问的实际数据块，它存储的是数据块所在 的存储文件的文件号、数据块在存储文件中的偏移值以及数据块的大小。 存储文件：用于存储对文件或数据流分块后所得到的各个数据块，它存储的是备份文件或数据 流中的实际数据。在应用重复数据删除技术时，还必须保证维持数据完整性。

5.6.2支持备份介质格式

支持不同格式的磁带、光盘、等作为去重数据的存储介质。可以通过磁带库、自动加载机、磁 设备使用。

支持磁盘、磁盘阵列作为去重数据的存储介质。

5.6.4支持磁盘缓存

支持利用磁盘作为备份和恢复过程中的缓冲介质， 用以提高去重和恢复作业的性能。

玉缩编码处理后存储。

应能够对去重对象、去重介质、去重方法、路由算法、去重时间、编码规则、存储规则等内容制定 策略。

应能支持对已配置的策略进行添加、删除、修改、分发、导入、导出等操作。

供作业状态和设备状态的报表，并支持多种报表

持一种或多种形式的管理界面，支持中文化管理

6灾备数据去重系统接口要求

6.1接口类型及功能要求

6.1.1数据存储接口

数据存储接口是访问层与应用平台层之间的接口，该接口支持： 去重系统应用可以通过该接口进行灾备数据的在线接入和离线接入，并验证源数据完整性； 去重系统应用可以通过该接口对灾备数据进行基于不同数据判重模式的数据判重功能； 去重系统应用可以通过该接口后台调用重复数据的去重接口和数据索引数据操作接口； 去重系统应用可以通过该接口对灾备数据进行存储前的完整性校验； 去重系统应用可以通过该接口进行灾备数据分布式存储以及索引文件存储

6.1.2数据访问接口

访问接口是访问层与应用平台层之间的接口，该接口支持： 去重系统应用通过该接口可以依据索引文件获取当前所需文件数据存储位置信息： 去重系统应用可以通过该接口获取数据文件或数据块，进行数据完整拼接； 去重系统应用可以通过该接口进行灾备数据的完整性校验能力； 去重系统应用可以通过该接口实现数据的导出及展现能力，

6.1.3安全审计接口

安全审计接口是访问层与应用平台层之间的接口，该接口支持： 去重系统应用可以通过该接口实现日志审计等功能，审计记录中至少包括事件的日期和时间、 类型、主体身份、结果（如成功或失败）； 去重系统应用可以通过该接口实现日志数据的基本操作管理，包括查询、导出等。

7灾备数据去重系统性能要求

YD/T3511—2019

为提高数据存取速度，通常采用以下方法： a）去重系统支持基于通信链路和存储的负载均衡机制，提升整体工作性能； b）去重系统存储数据支持高效索引和读取以降低数据存取过程中的数据量与时间； c）静态或动态进行传输前压缩，接收端解压后存放； 具体性能措施选择需综合平衡去重系统和灾备网络整体的系统性能影响

去重或访问作业相关进程占用主机资源的比例。包括CPU、系统内存的占用率，磁盘I/O等。 为提高资源占用比例，通常采用以下方法： a）数据去重粒度会影响系统资源占用比例： b）压缩系密集计算应用而占用较多CPU资源

消亢率是指重复数据删除前后数据占用空间大小的比率，一般描述为x：1，例如消允率为10:1， 代表重复数据删除前所占空间是重复数据删除后所占空间的10倍。消穴率也可使用百分比表示，即（重 复数据删除前数据占用空间大小一重复数据删除后数据占用空间大小）/重复数据删除前数据占用空间 大小。 为提高数据消几率，通常采用以下方法： a）提高数据消穴粒度，按文件级、数据块级、字符级依次提高数据消穴能力； b）完善数据发现技术，提高相似数据匹配能力： C）全局去重模式所得到的数据消穴率会相对更高。

系统在一定时间，一定条件下无故障执行指定功能的能力或可能性。 为提高系统可靠性，通常采用以下方法： a）系统占用资源定时清理并释放，数据模块化维持占用资源； b）多线程任务执行支持任务锁的形式保证线程级别安全； C）系统进程守护程序可以最大程度上的保证系统的可靠运行。

系统核心工作节点支持在线扩展。在扩展节点规模的同时，去重系统的数据去重计算能力、读写带 宽等核心指标实现工作性能的线性提升。

8灾备数据去重系统安全要求

应能对各类日志进行审计。

审计记录中至少包括事件的日期和时间、类型、主体身份、结果（如成功或失败）。

8.1.3日志授权访问

只有授权用户才能访问相应的系统日志。

应该标准化，含义便于理

8.2.1数据完整性监视

去重或恢复数据以安全的格式传输。

去重数据以安全的格式存储于备份介屋

评定标准应该能够在网络中验证操作者身份。

8.3.2鉴别失败处理

当用户的失败登录次数超过允许的尝试鉴别次数时，应阻止该用户的进一步登录尝试，直至授权管 理员恢复对该用户的鉴别能力。

8.3.3安全相关操作访问控制

应能对系统安全相关操作设置访问控制策略。

工程质量标准规范范本YD/T3511—2019