子文件重复删除技术不仅用于在备份应用中节省磁盘空间。新一代的备份应用，包括Asigra的 Televaulting，EMC的 Avamar Axion和 赛门铁克 的NetBackup PureDisk都采用基于散列（ hash ）的重复数据删除技术来减少通过WAN发送备份所需要的带宽。

首先，像生成 增量备份 的传统备份应用技术一样，新一代的备份应用技术也采用常用的办法如归档位，最后修改的日期，并且文件系统更改从最后一次备份起已经发生改变的文件ID日志。然后它们将文件切成更小的块并且为每个块生成散列（hash）。

然后，将这些散列（hash）与已经备份在本地的 数据块 的散列（ hash ）对象进行比较。没有出现在 本地缓存 和文件系统 元数据 中的散列（hash）被发送到中央备份服务器，再将数据与散列（hash）表进行比较。如果没有发现相同的散列，备份服务器发回一个散列表；然后被备份的服务器发送那些散列代表的数据块到中央服务器进行保存。

与对被备份到多个目标的服务器数据（它们甚至被备份到整个企业的各个目标）进行“重复删除”的备份方案相比，上述这些备份方案缩减数据的程度更高。例如，如果CEO发送100 MB的PowerPoint文件到500个分支机构，只有第一个会被备份，所有其它的只会发送散列到总部并且告知“我们已经收到，谢谢。”

这种方法几乎避免了影响基于散列的系统的可扩展性问题。因为每个远程服务器只保存其本地数据的散列（ hash ），散列表不会增长到超出可用的空间，中心位置的磁盘 I/O 系统比传送备份的WAN 的速度快得多，在磁盘上搜索一个巨大的散列索引也比发送数据快得多。

尽管Televaulting, Avamar Axion 和 NetBackup PureDisk 共享一个相似的架构，并且都是根据重复数据删除存储的大小进行定价，但是还是存在一些不同的地方。NetBackup PureDisk采用固定的128KB的 数据块 ，而elevaulting 和 Avamar Axion采用可改变大小的数据块，这会使重复删除技术性能更好。PureDisk 支持NetBackup， 赛门铁克 承诺未来进行更好的整合，即提供我们希望的可以将重复删除与 数据中心 备份工作整合的设备。Asigra也向服务提供商销售Televaulting产品，以便不想建立自己架构的小企业也可以利用重复删除技术。

有几个客户的报告中都写到，他们在不对备份流程做大改动的情况下，的确获得了20：1的缩减比例。小企业可以采用 Asigra, EMC 和赛门铁克的新一代备份软件取代传统的备份方案。中型企业可以采用面向数据中心的 备份设备 。需要很高备份性能的大型企业可能不得不等待下一代产品了。

按照部署位置的不同，重复数据删除可分为源端重复数据删除和目标端重复数据删除。源端重复数据删除是先删除重复数据，再将数据传到备份设备。目标端重复数据删除是先将数据传到备份设备，存储时再删除重复数据。

按照检查重复数据的算法不同，重复数据删除可以分为对象/文件级和块级的重复数据删除。对象级的重复数据删除保证文件不重复。块级重复数据删除则将文件分成数据块进行比较。

根据切分数据块方法的不同，又可分为定长块和变长块的重复数据删除技术。变长块的重复数据删除，数据块的长度是变动的。定长块的重复数据删除，数据块的长度是固定的。

根据应用场合的不同，可以分为通用型重复数据删除系统和专用型重复数据删除系统。通用型重复数据删除系统是指厂商提供通用的重复数据删除产品，而不是和特定虚拟磁带库或备份设备相联系。专用型重复数据删除系统是和特定虚拟磁带或备份设备相联系，一般采取目标端重复数删除方式。

重复数据删除能够在硬件层面或软件层面上来实现，或者两者结合实现。同样，重复数据删除可以在数据源端进行，在备份目标端进行或者两者兼而有之。

源端重复数据删除在数据传输链路较慢的应用场景中会有帮助。在源端进行重复数据删除的数据使得数据可以在传输之前被压缩，从而能够更快速地传输数据。

目标重复数据删除是在备份目标或远程存储设备上进行操作的。它的主要目的是降低存储成本。目标重复数据删除通过删除重复数据，使实际使用的存储空间远低于原本的使用情况。

恢复过程中，你所需的数据可能不是存储在连续的磁盘块中，甚至存储在未经重复删除的备份中。当备份数据过期、存储空间释放时，就会产生存储碎片，延长恢复时间。由于数据及其指针可能是无序存储，被删除的重复数据也会产生碎片，从而降低恢复性能。

一些提供重复数据删除功能的 备份 和存储系统供应商预料到了恢复过程的性能问题，并将产品优化，解决 磁盘碎片 问题。ExaGrid Systems、Sepaton等供应商的解决方案可以完整地保存最近一次的备份副本，因此，最近一次备份的数据能迅速恢复；而其它的解决方案则需要几天、几星期甚至几个月才能重构数据。其它解决方案在备份期间分散重复数据删除的负荷，而在恢复期就集中负荷，以加快恢复速度。这种情况同时使用了软件和硬件方法。如果供应商能加快多个节点的重复数据删除速度，并允许添加节点，那么其性能扩展能力就优于那些只有一个摄取点/处理点的产品。

性能由多方面的因素决定，包括 备份软件 、网络 带宽 、磁盘种类等。单个文件的恢复时间与完全恢复截然不同。因此，你应该测试重复数据删除技术在各种恢复场景下的运行情况，尤其是当数据恢复需要较长时间时更应如此，从而判断重复数据删除技术对你的环境有什么影响，这一点非常重要。

设备vs.软件： 需要了解将重复数据删除解决方案作为专用设备来部署，以及使用运行在服务器上的重复数据删除软件这两种方法各自的利弊。一些软件解决方案相对价格低廉，但是可能无法很好地扩展，以满足日益增长的容量需求，其性能取决于它所在的服务器。软件方案似乎在灵活性方面差一些，但是对那些有资源来承担集成、管理和监控重任的客户来说可能是有效的。如果你选择软件方法，一定要了解运行上述“清理”任务所需的处理能力，及其对服务器的影响。硬件设备有自己的空间和功耗要求，有时耗电量很大。它们通常是自我管理的，提供更大的灵活性和简洁性，并得益于硬件优化。对于那些寻求快速部署并轻松集成到当前环境的客户来说，硬件解决方案非常受欢迎。

可用容量vs.原始容量： 可使用容量是终端用户最直接、最适用的规格。它指的是进行任何重复数据删除之前的容量，并不包含用于元数据、 数据保护 和系统管理的任何存储。一些厂商规定“原始”容量，它比“可用”容量稍微高一点，但是这一规格会产生误导，因为不同厂商和数据保护方案将会有不同程度的开销。重复数据删除将需要一些原始磁盘容量来存储元数据，这些容量并不供终端用户使用。在这两种情况下，这些容量都被归为“重复数据删除前容量”——如果用户拥有10:1的重复数据删除率，那么他们可以存储“可用容量”10倍的数据。如果他们拥有20:1的重复数据删除率，那么他们可以存储“可用容量”20倍的数据。

性能： 确保不仅要了解“写入”和“读取”速度——通常被注明为TB/小时，而且还要询问“读取”或“恢复”速度，以了解这是否满足贵公司的服务水平目标（SLO）。最后，要了解在必须进行一些后台“清理”任务的“稳定状态”期间，系统性能会受到哪些影响。重复数据删除方案的性能可决定IT部门如何能够在任务分配的时间段很好地完成其备份。

硬盘密度： 硬盘的密度继续增加，而重复数据删除设备可能适用1 TB到3 TB的硬盘。甚至4 TB的硬盘现在也可用于消费类设备，并开始用在一些主存储阵列中。在一般情况下，密度更高的硬盘将转化为“节省数据中心占地面积以及省电”的优势。然而，随着硬盘密度的增加，当硬盘出现故障时，数据重建的时间也会同比增加。这会给系统带来新的不稳定因素。因此有无高效的硬盘（数据）重建技术，对于系统的稳定运行至关重要。

可扩展性： 每家公司都有不断增长的数据。对于任何重复数据删除解决方案来说，这不再是“是否需要部署更多容量的问题”，而是“何时部署”的问题。无论是基于设备的方案还是基于软件的方案，最重要的是要了解它如何随着时间推移而扩展。如果一个解决方案能够在未来3-5年随着预期数据增长而扩展，它在目前可能就是更好的投资。如果它能随着数据增长而细化扩展，那就更好了。

加密： 一些系统提供磁盘存储加密，以防止在磁盘丢失或被盗情况下数据泄露。通常这种加密会影响系统性能，因此重要的是要了解这种重复删除数据加密解决方案，以及它对系统性能会产生哪些影响。

系统和数据可用性： 不同厂商拥有不同的解决方案来应对其设备中的磁盘故障，以确保被删除的重复数据能够在需要时被找回并恢复。了解确保系统和数据随时间推移一直可用的不同方法。

云： 重复数据删除能够支持的关键一点就是：在广域网上，可能是在站点之间，复制这些数据之前，有效大幅降低数据规模，以提供灾难恢复，或作为将数据复制到云中的一种手段。计划利用云存储的IT部门必须了解重复数据删除技术如何适应不同的云选项。

数据重复数据删除技术降低了备份所需的存储空间，而这实现了更快和更频繁的备份，从而有利于 数据保护 。还实现了更快的修复，在符合监管合规要求和公司政策的限制范围内尽可能延长数据保留时间。

重复数据删除技术可以影响实际的备份应用程序。例如，由于重复数据删除数据保存在目标存储设备上，因此需要使用处理块存储的备份工具。相比之下，基于文件存储的备份工具通常可以“撤销”所需的重复数据删除——导致目标存储设备上存放更多存储——除非备份工具只支持 Windows Server 2012 R2 数据重复数据删除。例如，像Windows 服务器备份 这样的工具完全支持重复数据删除，IT管理员可以从备份恢复一个完整的卷或个人文件夹。

记住，重复数据删除对系统、引导卷、远程驱动器、加密的文件或小于32KB的文件不起作用。其目的是备份和恢复任何常规文件。

重复数据删除定期运行所谓的垃圾回收来恢复不再使用的存储块。运行垃圾回收之后最好进行备份，确保捕获空闲 存储器 在备份过程中的任何变化。

数据重复数据删除技术改提高了存储效率，降低了 存储成本 并加快了 数据保护 的过程。但重复数据删除技术的有效性和性能取决于工作负载和重复数据删除的设置。IT管理员应该在应用重复数据删除之前和之后基准每个存储卷，以便衡量任何性能损失，因此应该调整调度和其他选项来优化服务器和工作负载性能。备份和恢复过程也应提前进行测试以了解重复数据删除的数据的存储需求，并允许更新或补丁数据保护工具来提高用于数据备份的存储使用。

通过重复数据删除技术去重节约的空间十分可观，这取决于数据类型以及所使用的数据去重引擎的组块大小。以文文件与虚拟桌面架构环境为例，受益于高删除率，压缩比可达到40:1。而视频可以压缩的，但没法去重。存储厂商认为6:1是重复数据删除率的最佳平均值。加上相同的块压缩，数据中心可以通过这些技术轻松实现10:1的存储空间节约。

重复数据删除能够节约空间，十分具有，但重复数据删除属于计算密集型技术。在相对不重要的二级存储中，一般不会出现问题，但可能给主存储环境出现短暂拥塞现象。

重复数据删除不仅可以在实时删除重复数据，还可以让供应商通过算法最大化潜在的数据压缩率。以Quantum的DXi系列备份设备为例，使用可改变块大小的重复数据删除算法，该算法是固定块大小方法效率的三倍以上。

重复数据删除的相关数据

• <5%：目前市面支持在线重复数据删除的磁盘阵列份额
• 75%：预测未来三年市面上将支持重复数据删除和压缩的磁盘阵列份额
• 6：1：重复数据删除的平均比例
• 40：1：重复数据删除在VDI和文本文件环境下的删除率
• 10：1：重复数据删除处理图片去重是的删除率
• $ 1：重复数据删除普通硬盘的每GB成本
• $8~$9：重复数据删除闪存驱动器的每GB成本

重复数据删除技术不仅能够更好地利用昂贵的闪存资源，而且重复数据删除也比较容易实现。重复数据删除与大多数存储供应商相比。

重复数据删除最后的前线

无法让重复数据删除技术去支持现有的存储阵列。理论上，推广重复数据删除技术可以延长已经在用的存储的服务周期。

重复数据删除闪存产商正在从这些传统存储大户手里争抢市场份额。要解决这个问题，只靠赠送重复数据删除存储是远远不够的。

重复数据删除 何时使用

重复数据删除首先开始于创建数据。重复数据删除接着是所有其他业务——备份、复制、归档以及任何网络传输——都可以受益于规模缩小后的数据，重复数据删除位于Hopkinton,。

但把重复数据删除应用在主数据这一场景很难被用户接收，因为这样做是在篡改主数据集，做好备份，就算没有重复数据删除技术，重复数据删除也不会因为搞砸生产环境的数据而出大乱子，但是重复数据删除如果动到主存储，问题就很大了，而且需要了解这项技术会如何影响性能、可靠性与数据完整性。

重复数据删除 数据删除比例

通过数据去重节约的空间十分可观，这取决于数据类型以及所使用的数据去重引擎的组块大小。重复数据删除以文本文件与虚拟桌面架构环境为例，受益于高删除率，压缩比可达到40:1。而视频可以压缩的，但没法去重。重复数据删除存储厂商认为6:1是重复数据删除率的最佳平均值。加上相同的块压缩，数据中心可以通过这些技术轻松实现10:1的存储空间节约。

这些重复数据删除技术能够节约空间，十分具有，但重复数据删除属于计算密集型技术。重复数据删除在相对不重要的二级存储中，一般不会出现问题，但可能重复数据删除给主存储环境出现短暂拥塞现象。

重复数据删除不仅可以在实时删除重复数据，重复数据删除还可以让供应商通过算法最大化潜在的数据压缩率。重复数据删除使用可改变块大小的重复数据删除算法，重复数据删除算法是固定块大小方法效率的三倍以上。 ^{"Windows Server 2008: Windows Storage Server 2008". Microsoft.com. Archived from the original on 2009-10-04. Retrieved 2009-10-16. CHRISTIAN CACHIN; MATTHIAS SCHUNTER (December 2011). "A Cloud You Can Trust". IEEE Spectrum. IEEE. Retrieved 2011-12-21.}