|
解决方案简介 上海公司业务支撑系统核心数据库业务处理量非常大，单计费账务系统话单处理量，每月超千亿笔，整体业务量不逊于某些大型互联网公司。随着5G业务的规模化开展，数据的处理量还在不断提升，这就要求数据库能有效应对高并发、实时交易、流程处理、数据分析等业务场景。 此次业务支撑系统核心数据库升级改造，解决了生产运营过程中存在的瓶颈问题，打破了长期以来，国内通信行业的支撑系统受限于国外数据库厂商的局面，树立了通信行业核心数据库的创新标杆。在新数据库的功能、高可用、可维护性等方面掌握了核心技术，为后续数据库的全面转型，沉淀了方法，积累了经验。 解决方案应用情况及应用亮点 本方案通过数据库分布式架构、全内存存储、双中心3副本部署等，使其具备高并发、高可用的架构保障能力，并解决横向扩展、并发读写等问题，实现秒级的容灾切换能力，最终通过双存储引擎技术和引入RDMA无损网络技术，实现核心数据库的高并发、低延时、高性能的数据处理。 在核心账务库完成迁移上线后，相比原库，业务接口性能上升38%，出账效率提高40%，内外部客户感知得到显著优化。整体数据库建设及运维成本节省费用约600万，降幅超50%。 方案概要 从2019年开始，为避免关键核心软硬件系统严重依赖国外的风险，国家提出了努力实现我国产业链供应链安全稳定的发展战略。数据库系统作为企业IT系统的核心组建，目前在行业核心系统的自研比例仍较低，升级造技术难度与项目实施难度大。上海移动公司率先采用内核纯自研的分布式内存数据库，探索核心账务系统数据库的升级改造方法，并成功完成升级改造。 - 扩展困难：在业务不断发展情况下，原有数据库连接数使用趋向饱和，其横向扩展实施困难，成本高昂。
- 系统大批量并发的场景下读写性能受限：月初月末批量、出账操作耗尽数据库连接，导致日常批量操作实施滞后，前台、渠道访问出现加载缓慢情况，影响客户体验。
- 高可用的架构保障能力，账务库作为电信行业计费系统中的核心，承担着资料同步、充值缴费、出账核销等关键任务，对于数据和系统的安全性、稳定性提出了较高要求。
3.采用AntDB数据库技术的原因： - 基于自主研发的原生分布式架构，满足分布式框架部署、高可靠高性能事务处理、分布式策略、分布式容错支撑、负载均衡以及弹性可扩展要求。
- 全内存存储模式，实现热点、高频访问数据的缓存化，大幅提升读效率和界面直接查询操作效率。持久化存储机制，保障内存数据库数据存储的安全性
- “双中心3副本”的分布式部署方案，提供一主多从的集群内部高可用切换能力，保障数据库的秒级主备应急切换和分钟级容灾切换。主备之间强一致性复制，事务数据零丢失。
4.应用实效 本项目积极响应国家战略，满足中国移动升级改造要求，在移动内部也起到了先进的示范作用，为更多省份的升级改造提供了基础。将AntDB数据库产品引入业务运营支撑系统核心场景后，成本节约超50%，业务侧提升界面响应速度近30%，业务办理效能提升35%。 方案架构 本次建设的涉及到的应用范围如图1： 图1 业务运营支撑系统核心库建设范围 图1中在核心生产系统的数据库改造范围为核心BOSS账务库，包含计费、账处、账管、信管等，通过部署分布式集群的方式改造原系统同类产品。本期国产数据升级项目建设目标： - 通过不同应用访问国产内存数据库的不同方式，对应用进行适配的数据库访问能力升级，实现应用对国产内存数据库的连接、访问、表数据读写能力。
- 通过开发数据库中间件层异构数据库访问/分库/数据路由的能力，实现中间件层与国产分布式内存数据库的对接、异构数据库访问能力。
- 通过持续完善国产化数据库的支撑功能，实现符合上海公司需求的数据库高可用和定制化数据库能力方案。
- 通过开发可视化数据库运维工具，实现国产化数据库的便捷和高效运维。
双中心三副本部署方案 不可否认，数据库的国产化升级改造工程量是浩大的，期间涉及40+核心模块，上千接口的适配改造，历时近一年完成。并完成了双中心容灾架构部署，如图2展示： 图2 双中心部署架构 图2展示的双中心部署架构，一套三副本双中心生产环境（24台数据节点服务器，3台管理节点服务器）：中心1主备2套副本（18台： 16台数据节点服务器，2台管理节点服务器）；中心2容灾副本（9台：8台数据节点服务器，1台管理节点服务器）。 方案建设 上海公司核心数据库升级改造于2020年开始整体规划和建设，结合计费系统“高性能+高吞吐+高稳定性”的业务诉求，创新性地选取AntDB分布式内存数据库进行国产化改造，对计费账务中心进行架构、应用升级，实现BOSS全域数据库的核心数据库自主创新。 项目周期 第一阶段：针对通信行业高并发、高可用、高业务量的核心OLTP类场景，从数据库性能与业务、数据存放安全性、建设成本等多方面进行了综合分析，AntDB各项功能性指标和非功能性指标均满足。 第二阶段：以AntDB数据库为技术选型，针对本项目覆盖核心域、改造系统多、涉及范围广等难点，在项目实施阶段，进行了外围系统改造、安全评估、功能测试、应急预案等多个环节的工作。 第三阶段：账务库数据瘦身完成后，通过AntDB自研的一键化数据迁移工具，完成对原数据库的迁移分析、数据报告生成和最终的异构并行、切换等，实现账务库资料、资金、账单等近6.5T数据高效迁入AntDB数据库。 第四阶段：基于AntDB原生分布式架构，完成核心BOSS账务系统架构升级，满足核心数据库快速在线横向扩展需求；通过双中心三副本方式部署国产数据库；保障系统高可靠性，全内存存储模式，支撑核心系统高吞吐性能需求；具备可视化的数据库运维管控能力。 本方案基于AntDB数据库提供高可靠、高性能、强一致、弹性扩展、并发读写的数据库能力，实现通信行业账务核心数据库的整体迁移，已完成账务核心系统的上线投产并稳定运行。打造通信行业核心数据库自主可控示范点，探索国产数据库创新发展新模式。 技术特点 1.AntDB数据库高并发区间索引 - AntDB区间索引采用改良的B-Link-tree算法，读写并发，修改btree时不用锁住从根节点到叶节点的完整路径，大大提供区间索引访问的并发性能。
- 同时，节点合并回收功能尽量减少对内存的占用。
2.AntDB数据库多版本并发控制 - MVCC可以实现读、写事务相互隔离，读事务不需要加锁，从而最小化锁竞争。
- AntDB实现的多版本并发控制，在大并发更新场景下，取活跃事务列表算法有更佳的性能表现。
核心优势 - 采用了具有自主知识产权的云原生分布式架构，从架构设计、底层存储和查询处理均面向分布式数据管理需求。
- 数据通过 hash 或者 range 分片算法散列在不同的节点，数据自动动态平衡。
- 在服务器利用率和管理复杂性上均明显优于中间件方案。
- 数据库系统X86化：通过数据库部署时选取通用的X86服务器，解决小型机限制问题。
- 分布式架构：通过选取分布式数据库架构，并根据实际机房环境，采用双中心3副本部署方案，不仅支撑数据库弹性扩容的能力解决横向扩展困难的问题，而且提供主备容高可用保障能力。
- 高性能读写等能力：针对数据高并发、高性能处理需求，选用内存数据库，提高数据读写速度，提升前台响应速度。
- 采用数据库双存储引擎能力，同时满足生产环境数据库高性能需求和测试环境数据库低造价需求。
- 同一个数据库实例，内存存储、磁盘存储可以并存，通过 DDL 语句指定表数据、索引的具体存储类型。
- 内存表、磁盘表可以关联访问，应用程序访问数据完全透明，检索、更新数据时无需关心数据存储位置。
- 在基础平台层面对RDMA技术的应用，有效降低分布式内存数据库节点间数据同步延迟。
- 提供更高的网络带宽，并使网络延迟降低一个数量级，从而保障分布式数据库的高速运行。
- 在RDMA模式下的分布式数据库集群性能，能带来近1倍的提升。
原生分布式、平滑扩展、高可用及容灾、数据备份及恢复、高性能 - AntDB集群提供不停机的横向扩展自动化扩容方案，支持在线进行扩容操作，扩容过程不影响在线业务。
- 超强 Scale up 能力，对 CPU、内存、连接数不做限制。
- 为充分克服内存存储在数据容量方面的短板，结合业务特点，针对性地建立了一套自动化的数据清理工具。
- 能够将无效业务数据在第一时间进行清理，确保将整体数据容量控制在安全的水位线以下。
AntDB结合人工智能AI技术，提供全局运维管理平台，实现多维度可视化监控、向导式自动化部署、多渠道智能化告警等全方位的数据库运维管理。 方案效益 该方案已经在实际生产中使用，根据项目制定的一系列新型数据库搭建、测试、迁移的标准框架和指导方案，目前已完成账务数据库升级改造。 Ø 业务侧的降本增效AntDB分布式内存数据库上线后，业务视角最终数据证明，在关键业务流程耗时、峰值关键业务接口响应时延等指标都达到国外同类产品水平，在部分指标如连接数限制数据更是有数十倍的提升。 账务数据库升级改造将11万+表对象，6.5T数据量迁移国产分布式内存数据库，业务接口性能上升38%，出账效率提高40%；服务器平均CPU负载下降40%。内外部客户感知得到显著优化，数据库升级效果显著。 具备快速的在线扩展能力，在业务系统不停机、不中断的前提下，仅用8小时就完成了就完成AntDB数据库集群一个电信级数据节点的扩容任务。同时数据自动负载均衡的技术能力，让开发、运维无需关注Scale等细节问题，全面提升研发生产力，实现了底层数据库随业务需求的弹性扩展｡ Ø 经济效益相比原非国产软硬件部署方案，项目新建国产化数据库的硬件建设费用节省520万元，项目设备维保费用节省近80万元。整体数据库建设和维保费用累计节省50%以上。 Ø 社会效益该方案满足中国移动升级改造要求，在移动内部也启到了先进的示范作用，为BOM三域的数据库升级提供了基础。同时，标准化新型数据库引入体系，指导方案使新型数据库转型更平滑、可控 。 该方案不仅解决了生产运营过程中存在的性能瓶颈问题，更重要的是打破了长期以来国内通信行业的支撑系统受限于国外数据库厂商的局面，树立了通信行业核心数据库的创新标杆，为移动集团内核心系统数据库规模化转型升级提供了可借鉴的案例；同时，在新数据库的功能、高可用、可维护性等方面形成了规范，为后续数据库的全面转型，沉淀了方法，积累了经验，更是培养了一支自主创新的专业队伍。
| 
私信
