重磅！首部《中国CDM技术及市场应用白皮书》发布！

转载 | 自主可控新鲜事

日前，由上讯信息与中桥咨询联合打造的国内首部《中国CDM技术及市场应用白皮书》（以下简称“《白皮书》”）正式发布。《白皮书》指出，数字经济需要新一代功能多元化、部署智能化，以及自动化、智能、全流程数据安全的数据管理平台。这一平台可通过有效的数据管理流程，降低数据环境搭建对人员、存储、带宽资源的消耗；以精细化的数据管理，满足敏捷测试、开发、审计和品控，以及事件分析的需求，以及保证各种业务场景下数据的安全合规。

数据管理面临五大挑战

以数据为驱动的全新数字化服务模式正快速推动企业的数字化转型，以及推动新产业、新业态、新模式的不断涌现。数据成了企业的重要资产和持续创新的驱动力。

在此背景下，企业对数据的要求不仅仅是支持核心业务系统，来保证生产系统的稳定和连续，更需要满足敏捷测试开发、审计、品控、事件分析等需求。而上述各种使用场景，都意味着生产数据的复制，从而带来数据量的快速增长。对于企业而言，如何有效管理这些复制数据，同时确保所有数据的安全性、隐私性和可用性，成为迫在眉睫的主要挑战。

挑战一：生产数据可靠、快速恢复的挑战

企业业务需要保持全天候运营，核心业务系统的数据备份成为必需。然而传统的备份机制，备份数据格式与原格式不同，备份数据时需要通过恢复才能直接使用。不仅备份数据是否可恢复存在疑问，且难以在指定的时间内完成大量的数据恢复，生产数据的连续可用难以保证。再者，随着数据量的快速增加，无法在指定备份窗口完成数据备份，还增加了生产数据的丢失风险。

挑战二：数据准备周期长、交付效率低

传统数据准备流程下，从数据审批到获取，手续复杂，时间往往以天甚至月为单位。并且很多开发测试的工作环境还需要不断更新或重新生成数据，这都导致数据准备时间长。再者，传统方式下，数据的导入和导出通常是手工操作，大大增加数据管理员的工作强度。

挑战三：副本数据泛滥导致高TCO

数量庞大的副本数据，意味着高昂的存储资源和维护开支。根据IDC的调查，企业的副本数据消耗了45%到60%的存储空间，并且带来额外的存储软件及产品的采购开支。


挑战四：敏感数据的泄露风险

传统的数据管理方案，由于各类数据使用部门的独立性，使得这些来自于业务系统的生产数据缺乏统一、标准的数据安全管控管理系统，难以根据各种数据安全合规政策快速实现企业级数据管理的系统性调整，保证数据合规需求，增加了数据泄露风险和业务违规风险。

挑战五：测试数据的“真实性”不足

在测试环境下，大规模生产数据实时导入导出来进行测试，鉴于对生产环境稳定性和安全性的影响，几乎是不可能做到的。而采用仅几GB 的子集数据进行测试，又损失了“类生产”数据的真实大小和保真度，并且这些副本数据与生产系统之间缺乏数据更新机制，往往难以真实模拟或反映出生产系统的特性。



真正的CDM技术


副本数据管理（CDM）技术为企业应对上述数据管理挑战，提供了敏捷高效，经济可靠的最佳实践，其技术价值主要体现在以下几个方面：

1、数据的高效使用与管理

数据虚拟化技术，能够实现数据直接挂载，保证数据高效使用；同时分钟级的数据副本生成，提高了数据分发效率，解决查询、测试、分析等过程对数据的需求，且不影响生产系统；


2、减少存储资源开销

通过CDM技术交付的数据，都是由“黄金副本”（Golden Image）所创建，每一份交付的数据只消耗极小的存储资源（几乎为0），每一份交付的数据都是可读可写的；


3、数据的一致性

虚拟化的副本数据采用的是应用系统的标准接口，可通过自动化的策略、定时、定期地完成数据有效性验证，保证了数据的一致性；


4、全生命周期数据管理

从数据环境准备、持续更新、处理、维护到销毁，提供全生命周期的数据管理，显著提高数据管理效率；


5、降低企业合规风险

混合多云下数据的安全合规风险陡增。动态和静态脱敏，保护控制了关键数据，降低数据泄露风险；同时结合细粒度和权限管理，确保数据安全。


目前，市场上出现了各种版本或者融合CDM功能的产品，但《白皮书》认为并非所有的产品都是真正的CDM。在中国市场有两类产品较为常见：一种是以存储为核心的CDM，虽然能够提供快照和克隆功能，但很难实现跨异构存储构建企业级规则驱动的副本数据平台，并缺乏丰富的数据服务能力，无法提供自动化、自服务等功能；


另一种是备份软件提供的CDM功能，利用备份技术所创建的副本数据，是一种磁盘快照技术，无法保证数据的一致性，并且同一时间的磁盘快照只能挂载一份，难以满足多应用场景的数据需求。


按照Gartner的定义，这两种都属于“类”CDM。真正的CDM是什么样？它应该是一种端到端的创新技术，把单纯面向恢复的应用场景变成面向数据使用的应用场景，打破数据备份和数据使用之间的壁垒；通过副本数据在企业各个业务环节的即时可用，为更多业务场景提供数据支撑，在盘活暗数据的同时，实现业务赋能。


一个平台满足所有数据需求

上讯信息早在2016年发布了国内首款真正的CDM产品——敏捷数据管理平台（ADM），基于这一平台，可实现从数据获取、数据存储、数据构建、数据使用，到数据归档、数据销毁的数据闭环式全生命周期管理。

同时，借助ADM拥有的多项自主核心技术——包括虚拟数据库技术，实时增量快照可读写技术，自动化、流程化数据管理平台，跨多数据库敏捷脱敏，细粒度的权限管理，数据传输流转效率由数十小时提升至分钟级，平均效率提高上百倍，硬件存储成本节约90%以上，企业数据管理成本下降80%-90%，支撑测试数据管理，备份数据恢复验证，数据脱敏，研发、测试环境数据的构建等多场景应用需求。

上讯ADM敏捷数据管理平台涵盖四大数据管理方案，即PDM生产数据管理解决方案、BDM备份数据管理解决方案、SDM+DDM敏感数据管理解决方案、TDM测试数据管理解决方案。


1、生产数据管理解决方案（PDM）

PDM解决了生产数据恢复时间长而导致的生产数据不可用，无法在备份窗口完成备份而导致数据丢失，以及备份数据一致性带来的挑战。

上讯PDM基于原始格式的数据复制技术，能够通过自动化策略设定，将通过数据一致性检测的副本数据，安全存储到ADM的存储池中，确保数据的一致性；全量备份复制，实现生产数据的实时获取，简化备份流程，降低传统备份可能导致的数据丢失风险。一旦业务数据发生故障，PDM通过生产数据副本能够实现数据的任意时间点恢复，为生产数据提供分钟级恢复的“应急”保障。

2、高效备份数据管理解决方案（BDM）

上讯BDM解决了传统备份流程复杂、缺少校验导致备份数据不可恢复的挑战，提高了备份数据安全管理的能力和水平。

BDM备份数据管理的集中统一化，贯穿数据获取、存储和使用的各个环节，实现闭环式自动化管理，不仅简化了备份管理流程，实现了策略驱动的恢复集中管理，确保了企业级数据的恢复性，而且实现了备份数据有效性验证的自动化，提高用户现有备份系统或新上线备份系统恢复有效性验证的效率，规避人为原因导致的数据备份泄漏风险。

3、测试数据管理解决方案（TDM）

TDM基于虚拟数据库技术，一份数据副本即可在分钟级拉起多份虚拟数据库，不仅降低了物理数据副本导致的副本泛滥，同时显著缩短数据交付周期；数据副本快照的即时挂载、

分钟级完成仿真生产环境的部署，加快了应用开发；为了满足版本管理需求，TDM提供不限量快照版本保留，让用户经济高效地实现测试开发版本的管理。

4、敏感数据管理解决方案（SDM+DDM）

可提供静态脱敏（SDM）和动态脱敏（DDM）两种方式。静态脱敏适用于将数据抽取出生产环境脱敏后分发至测试、开发、培训、数据分析等场景，动态脱敏适用于不脱离生产环境，对敏感数据的查询和调用结果进行实时脱敏。

结语

随着数字经济和数据隐私及安全的法制化，加速了中国企业级用户对CDM的需求，而为了应对数据使用管理的挑战，中国企业级用户评估CDM的五大要素升级为：自主可控，开放灵活，自动化，安全性，平台化。

上讯洞悉用户需求，以多功能统一的敏捷数据管理平台ADM，满足敏捷测试、开发、审计和品控，以及培训、事件分析的需求，加速企业构建系统化和流程化的管理平台，实现数据流线化高效管理。以虚拟数据库消除副本泛滥，以规则驱动实现副本数据的精细化服务管理，以及数据全生命周期的安全合规；分钟级可恢复，更好地实现生产数据的“应急”机制，保证生产数据的高可用。