中国数据库能否一战？

原标题：《数据库深度复盘与展望》作者：刘玉萍 ，来源 招商证券


近期，俄乌冲突持续焦灼，美欧也一直没闲着，除了直接提供武器物资，制裁大棒一刻没停下。3 月 3 日，乌克兰副总理米哈伊洛・费多罗夫在社交媒体向 50 多家美国科技公司发起呼吁，用科技战逼退俄罗斯的军队，呼吁这些企业断供俄罗斯。短短三小时内，甲骨文就第一个宣布，暂停俄罗斯所有业务。紧随其后，IBM、英特尔、谷歌、苹果、微软、Facebook、亚马逊、戴尔等 20 多家美国科技公司也宣布对俄罗斯进行制裁。

数据库是 IT 行业的核心环节，而甲骨文是商业数据库最有代表性的科技巨头。甲骨文与 IBM、EMC 公司合作，形成了一条完整的数据库产业链，称作“IOE”架构。可喜可贺的是，我国早在 10 多年前就开始布局了“去 IOE”化。2021 上半年中国公有云关系型数据库规模 6.7 亿美元，叱咤风云的甲骨文，则仅占 3.6%。中国企业，有了属于自己的数据生态。但是，数字经济的不断发展，我国自主的数据库产业仍远远不够。


01.七大维度，还原数据库发展历程
回顾数据库 70 年发展历程，分布式、云计算、人工智能等创新技术和基础设施的发展陆续为演化注入新活力。以下我们将从数据模型逻辑、技术架构、需求功能、部署方式、存储介质、商业模式、数据库治理模式等七大维度对数据库发展脉络进行详细阐述，理清行业演化逻辑与发展趋势。



数据模型的演化本质由底层数据规模、逻辑关系、类型等驱动，其路径是：层次-> 网状-> 关系-> 关系、非关系并行。在当前关系、非关系并行时代，新型 NewSQL 与多模数据库快速发展。传统 SQL 受限于其拓展性，在大数据发展下逐渐面临瓶颈，而 NewSQL 提供了与 NoSQL 相同的可扩展性，而且仍基于关系模型，保留了极其成熟的 SQL 作为查询语言，从而保证了数据的强一致性；同时，基于分布式架构，对接多种数据模型引擎，避免搭建多种类数据库的多模数据库快速发展。



数据库前期的演化史本质上是关系型数据库的演化，关系型数据库已统治市场超过 50 年。关系型数据库以二维表形式存储实体和关系，具有易理解、易使用、易维护，自 1970 年诞生以来，逐步成为业界的霸主。时至今日，关系型数据库不断融入分布式、云原生、AI 等新兴技术持续进化，仍是数据库的主流，据 DB-Engines 热度排名（截至 2022/02），前四大数据库 Oracle、MySQL、Microsoft SQL Server、PostgreSQL 均为关系型数据库，且分数遥遥领先。

SQL 是关系型数据库的标准语言，相比 C、Java、Python 等编程语言，SQL 贴合口语的设计使得其代码复杂度大大简化、便于数据分析人员上手，同时嵌入式的设计也保证了 SQL 可以被其他编程语言轻松调用，据 TIOBE 统计，SQL 在近 20 年稳居 TOP10 编程语言榜单。关系型数据库的二维表数据存储模式为关系型数据库的流行普及提供了环境基础；而 SQL 语言的流行也反哺了关系型数据库的推广，两者相辅相成，共赢于数据库市场。



随着互联网业务规模快速增长，拥有灵活拓展与高读写并发能力 NoSQL 数据库得到快速发展。由于传统的关系型数据库在保证数据强一致与系统可用的前提下，其水平扩展能力受到限制；非关系型数据库 NoSQL 则是基于分布式存储原理，放弃了传统的关系模型，在一致性与可用性之间寻求平衡，从而保证了系统地灵活拓展与高读写并发能力。随着社交媒体等互联网业务快速发展，数据量激增，传统关系型数据库性能逐渐达到瓶颈，因此，以保证拓展性与高并发性能为前提地 NoSQL 数据库得到快速发展。

为了应对数据的海量增长并追求更低的扩容成本，数据库由单机、集中式向分布式架构快速发展。随着信息化水平快速提升，对数据库的存储、读写并发、扩容要求更高，集中式架构的“Scale Up”纵向扩容机制面临硬件性能瓶颈，因此“Scale Out”式的横向扩容分布式架构成为新趋势，通过网络将物理分散的数据库单元连接为逻辑上的统一整体。从集中式到分布式的演进降低了对硬件性能的要求，使得企业数据库拓展成本大幅降低。

分布式架构由共享磁盘、共享内存架构，逐步向纯无共享架构发展，在无共享架构中，每个处理器私有内存和磁盘空间，利用网络通信，“Scale Out”式横向增加处理器和相应的内存、磁盘，从而避免事务对内存访问和网络带宽的竞争，提高处理性能。国产方面，无共享分布式架构已经趋于成熟，如 PingCAP 的 TiDB、华为的 GaussDB、蚂蚁的 Oceanbase、达梦的达梦 +、阿里云的 PolarDB、腾讯云 TDSQL、南大通用的 GBase、人大金仓的 KingBase、中兴通讯的 Golden DB 等分布式数据库均为 MPP 无共享架构。




需求功能决定数据库逻辑架构，逻辑架构决定访问性能。为实现海量数据存储、在线高并发，并同时支持 OLTP 和 OLAP 的功能，HTAP 应运而生，按照具体架构可分为 3 类：



根据墨天轮排名（截至 2022/02），目前国内前六大数据库均为 HTAP + 分布式架构，包括 PingCAP 的 TiDB、华为 openGauss、蚂蚁 OceanBase、达梦的达梦 +、华为 GaussDB、阿里 PolarDB。其中排名第一的 PingCAP 基于 Google 的 Spanner 模型和 Stanford 的 Raft 算法研发 TiDB 数据库，借助底层数据同步及行列透明转换技术，将面向联机交易的行存引擎与面向实时分析的列存引擎融合改造为行列混合数据架构。在 HTAP 技术浪潮中，TiDB 数据库凭借水平线性扩展、强一致分布式事务、故障自恢复的金融级高可用、真正跨数据中心多活等核心特性拔得头筹。

部署方式的演化上，数据库上云成为重要发展趋势。随着云基础设施的成熟和企业解放 DBA 运维难度的需求日渐迫切，将传统数据库直接部署在云端，由云厂商提供安装和维护服务的云托管数据库逐渐受到业内追捧。据 Gartner 预测：2023 年云 DBMS 收入将占 DBMS 市场总收入的 50%，75% 的数据库将部署在云端。在数据库上云过程中，数据迁移是最大的痛点。针对企业面临的完整性、安全性、一致性等难题，市场催生了安畅网络、数腾软件等提供数据上云迁移的第三方公司。

据 IDC 统计，2021 年 H1 中国关系型数据库本地部署模式被 Oracle、华为、Microsoft、IBM 垄断，而同期的公有云部署市场由阿里巴巴、腾讯、AWS 和华为领衔。2020 年，阿里云陆续推出 Lindorm、PolarDB-X、ADB 等云原生分布式数据库，是首家 Gartner 全球数据库魔力象限归入领导者象限的国内厂商。腾讯云研发 TDSQL-C，积极拥抱开源，100% 兼容 MySQL 和 PostgreSQL，实现超百万级 QPS 高吞吐，助力中小企业，连续两年增速全球前三。华为云深耕金融行业信创，早在 2015 年就开始部署上线业界首个 AI Native 的云原生数据库 GaussDB。

商业模式上，已逐渐成为数据库产业的共识。2021 年 1 月，根据 DB-Engines，全球数据库开源许可证流行度首次超过商业许可证，开源数据库逐渐成为行业主流。截止 2021 年 6 月，开源与商业许可证数量分别为 198 和 185 个，流行度分别占比 51.4% 和 48.6%。开源有助于扩大人才规模及上下游生态影响力，通过运营开源社区快速获得反馈并加快产品开发、提升产品质量，同时反哺社区开发者及独立软件开发商（ISV）等生态伙伴，能够达到多方共赢目的。据信通院调查：超八成的企业认可开源，开源主要应用在存储、大数据分析和数据库领域。

从 2014 年起，巨杉 SequoiaDB、PingCAP TiDB、百度 Doris 和 HugeGraph、涛思数据 Tdengine、欧拉 NebulaGraph、华为 openGauss、阿里 PolarDB、蚂蚁 OceanBase 等相继宣布开源，国内开源大军不断壮大。

存储介质分类演化：内存数据库提升读写性能。早期数据库将大部分数据保存在磁盘上，使用内存缓存磁盘内容作为临时存储，统称磁盘数据库；随着电商、直播、新闻查询等对读写性能要求高的场景出现，业界对响应速度的要求逐渐提升，将数据全部存储在内存中、数据更新过程不受磁盘 I / O 限制的内存数据库逐渐成为主流。据 Research and Market 统计，全球内存数据市场未来 5 年的 CAGR 为 19%。

自 1982 年 80286 芯片推出以来，内存市场历经 40 年的发展，容量遵循摩尔定律翻倍，价格下降超过百万倍，数据大规模存储在内存中成为可能。国际市场上，Pivotal 支持的 Redis 和 SAP 的 HANA 领衔键值对、关系型内存数据库；国内市场上 ，快 立 方 的 Qcubic 和 科 蓝 软 件 的 Goldilocks 已经应用在运营商、金融、交通等行业。

治理模式分类演化：AI 助力数据库自治。以 Oracle 的 Autonomous Database 为例，自治驱动自动针对特定负载配置调优、按需扩展提供高可用数据库；自治修复自动检测和防范系统故障、用户错误，在故障发生时自动切换备用数据库，确保数据零丢失；自治安全自动保护敏感和受监管数据，及时修补数据库安全漏洞，有效防范未经授权的访问。

数据安全是数据库建设的重要前提，自动检测、防范系统故障、运维保护和修补安全漏洞对数据库而言至关重要；随着信息化的发展，应用系统和数据规模井喷式增长，数据库的负载调优压力增大。因此，摆脱对 DBA 的经验决策依赖，基于人工智能自动执行安全、备份、打补丁和其他需要大量人工重复劳作、从根本上彻底消除人为差错、减轻 DBA 工作压力的自治数据库成为历史的必然选择。目前自治数据库仍停留在事后判断阶段，展望未来，提前预判数据规模增长趋势和数据库负载状况，事前主动调优是自治数据库的发展新方向。

02. 三大增量需求，国内数据库突飞猛进
根据信通院数据，2020 年中国数据库市场规模为 35 亿美元（约合 240.9 亿元人民币），占全球总规模的 5.2%。预计到 2025 年，全球数据库市场规模将达到 798 亿美元。中国的 IT 总支出将占全球 12.3%。预计中国数据库市场在全球的占比将在 2025 年接近中国 IT 总支出在全球的占比，市场总规模将达到 688 亿元，CAGR 为 23.4%。

金融、电信、政务、制造、互联网五个行业为数据库行业下游主要需求领域，大数据应用快速发展为数据库提供增长动力。根据信通院统计，其合计市场份额高达 80% 以上，2020 年整体采购额超过 192 亿元。此外，根据赛迪顾问，2020 年国内大数据市场结构数据，其中互联网、政府、金融、电信、工业位列前五，占比分别为 48%、14%、12%、9%、5%，合计约 88%，大数据应用与数据库需求结构基本吻合，预计随着大数据应用领域拓展与规模持续增长，将为数据库行业规模增长提供充足动力。




去年各领域“十四五”规划陆续发布，数据库建设与应用在信息技术、金融、交通物流、农业等众多领域被多次提及，其中数据库标准化攻关的重要性首次被提升到前所未有的高度。随着数据库顶层设计不断加码，十四五期间，国产数据库研发将步入快车道，国产数据库竞争实力将显著增强，行业有望进入加速发展期。



未来数据库市场增量需求主要来自于以下三方面：

1、国产化进程逐步加速；

2、传统集中式数据库向分布式架构升级；

3、非关系型数据库应用场景不断丰富，得到快速发展。

以 Oracle、Microsoft、SAP、IBM 为代表的海外厂商，一直以来，因其产品具有更好的性能、稳定性、安全性、与海外 ERP、CRM 等更好地兼容性等优势，在企业核心 OLTP 业务场景一直占据主导地位。近些年，随着国产数据库产品功能、性能水平不断增强，其产品水平已经逐步趋近于海外厂商，根据 IDC，在传统关系型数据库领域，Oracle、Microsoft、SAP、IBM 合计份额从 2019 年 66.8% 下降至 2021H1 的 48.5%，首次降至半数以下，显示出国产数据库技术正趋于成熟，在海外厂商为主导的核心 OLTP 应用场景，已经逐步具备运营能力，国产化进程持续加速。

根据信通院统计，目前我国金融行业海外 Oracle 与 IBM DB2 占比约 74%，占据主导，基于 MySQL 与 PostgreSQL 二次开发的国产数据库合计占比约为 19%，国产化仍有广阔空间。其中，我们通过对金融行业国产化数据库建设案例梳理发现，国产数据库已经从边缘系统逐步实现核心系统国产化，显示出国产数据库产品功能、性能水平不断增强。预计随着行业信创逐步落地，对国产数据库需求将进一步提速。




随着数据类型、规模的指数级增长，传统的终端计算场景已经难以应对 数据存储处理的工作量与复杂度。云计算通过存算分离、资源弹性动态分配、边缘节点计算打破了传统计算场景的瓶颈，实现了当前数据处理的需求，云计算场景的需求推动了分布式数据库的应用发展：通过资源池化管理实现物理或逻辑层的相互隔离与资源的自由伸缩，

1）具备弹性扩张、HTAP 事务能力、多租户管理能力、高可用性，与云计算场景需求相匹配。

2）对多种访问接口和数据类型的兼容，可以实现对存储与不同物理服务器、不同格式的数据进行结构与算法的优化，突破服务器类型的限制，为上层不同类型的应用提供多模式的数据服务。

目前，互联网、金融、电信等行业分布式升级进展较快，以金融和电信行业为例，其核心业务数据类型均为关系型数据库，此类集中式数据库所面临的业务体量将呈现爆发性增长。由于单一硬件能力增长有限，所以无法依靠纵向升级硬件扩展存量数据库能力上限。而分布式数据库采用多种模式实现数据的分散存储，将压力分散到不同服务器上，并不断通过增加存储或计算节点来实现弹性升级，克服了集中式数据库的诸多缺点，业界已有分布式数据库在股份制银行、城商行、二三线城市运营商等实现了核心业务系统的改造落地，同时，去年 12 月，腾讯分布式数据库 TDSQL 落地东吴证券核心交易系统，也标志着分布式数据库在券商核心系统领域取得突破。

墨天轮国产数据流行度排行（截至 2022/02），前十大热门数据库均为分布式架构，其应用场景涵盖各行业，显示出国产分布式数据库已经趋于成熟，正成为各行业数据库建设重要选择。




随着工业互联网、互联网创新型业务、车联网等应用的快速发展，非关系型数据库应用将加速落地。我国非关系型数据库快速发展，正逐步进入世界前列。我国非关系型数据库主要以基于开源数据库如 Redis、InfluxDB、CouchDB 等产品进行二次开发为主，根据 DB-Engines 2022 年 2 月排名，国内浙江智臾和阿里云 TSDB，分别位列时序数据库第 11、21 位；图数据库方面，欧若数网 Nebula Graph、百度智能云开源产品 HugeGraph、华为云 GraphBase 分别位列 15、26、32 位，显示出国产 NoSQL 数据库正逐步趋近于世界前列。







此次俄乌冲突，美欧试图将 IT 基础设施“武器化”，快速打击俄罗斯的生产和生活秩序，这充分表明在大国竞争中将 IT 基础设施建立在所谓全球化的根基上是不可靠的，大国的 IT 架构必须坚持独立自主的发展道路。所以，不仅仅是芯片、数据库，我们要在科技领域的各个环节，将核心技术牢牢抓在自己手中。