分享

鲲鹏V认证 ▏巨杉数据库-SequoiaDB V5.0

一、公司介绍
   巨杉数据库是一家专注于新一代分布式数据库产品自主研发的基础软件厂商。自2012年成立以来,专注数据库产品研发,坚持从零开始打造原生分布式数据库引擎。2017年成为最早进入Gartner数据库魔力象限报告的中国厂商,并连续多年进入Gartner、IDC、Forrester、福布斯、毕马威等国际知名权威报告。自成立以来,巨杉数据库一直深耕金融行业,聚焦于利用分布式数据库解决海量数据的存储和管理,已经在超过100家金融银行客户规模化上线使用。

二、产品简介
   巨杉数据库主要产品SequoiaDB基于巨杉自研的原生分布式内核,支持跨结构化、半结构化、非结构化的多模数据处理,提供>10000并发连接下的万亿级数据实时SQL查询能力,适用于历史数据平台、全量数据平台、实时数据中台等需要将海量多模数据用于对客服务,以优化业务效率,提升客户满意度的场景。通过SequoiaDB构建“Real-time Data Lake实时数据湖”,可以有效地融合传统Operational Data Store(ODS)贴源层及Data Lake数据湖的特性。
SequoiaDB具备以下特性:
● 无限弹性水平扩展:作为一款原生分布式数据库,支持无限弹性水平扩展是SequoiaDB分布式数据库的基本特性,SequoiaDB采用分片技术为系统提供了弹性的横向扩展机制,可以根据应用需求调整存储,其底层的分布式存储引擎与上层的数据库实例均支持无限弹性水平扩展能力。用户可以通过增加服务器数量或创建额外的数据库实例实现对应用的水平弹性扩张,按需提升整体处理能力。
● 实时数据秒级入湖 :相比传统使用多款数据库进行不同的业务处理方式,巨杉数据库通过指定数据副本为独立的Spark提供分析业务的支持,同时能够对不同来源的IP用户,提供基于优先级的竞争调度,保障在资源充足的情况下,业务按需自由调度,能够避免传统复杂的ETL过程,省去数据在不同数据库之间的流转时间;同时避免维护多一套用于分析的数据库,从而节省人力和时间的成本,提高数据的价值。
● 分布式架构:SequoiaDB 数据存储引擎采用原生分布式架构,数据完全打散在分布式节点间存储,自动化数据分布和管理,数据可以按需灵活扩展。巨杉数据库通过原生分布式架构,可以轻松实现PB级别数据管理,目前生产环境实测支持超过1000个节点集群。用户面对海量数据不再需要“分库分表”。
● Multi-Model多模数据引擎:巨杉数据库通过独创的引擎级多模架构,实现跨引擎ACID一致性。巨杉数据库提供存储计算分离云服务架构,并支持在此架构上构建包括:SQL、SparkSQL、Json、S3等多种计算实例。客户可以灵活选择需要的计算实例,实现无须代码修改的平滑迁移。巨杉数据库底层是一个完整的分布式数据库,具备完整的事务一致性、排序过滤、下推计算等能力,而上层计算实例层只承担SQL或API解析及业务计算的工作,所以不同引擎下发的操作,事务一致性在分布式数据库底层进行控制。
● 列存引擎与微分区技术:巨杉数据库自研列存存储能力,通过SequoiaDB的引擎级多模能力,将数据统一存储在分布式存储底座中。通过列存引擎, 用户可以在相同的表上实现更高的压缩率,分析性能得到大幅度的提升。更特别分析了列存在不同分区以及不同存储文件大小时对性能的影响,本着平衡变更操作带来的数据膨胀和提升操作性能的⽬的,引入微分区技术。再通过结合SequoiaDB⾃研的统计信息服务,根据查询条件更好地过滤掉不需要的微分区文件,从而避免不必要的数据访问,实现分析性能提升10倍以上。
● 数据安全与多活容灾:数据安全保障是金融和其他大型企业用户最关心的技术功能之一,“两地三中心”甚至“三地五中心”正在成为金融级数据库的基本要求。巨杉数据库原生支持数据库内核级别的高可用以及跨数据中心灾备能力,目前已经实现异地容灾备份,可满足“三地五中心”的容灾支持。同时,巨杉数据库在异地容灾基础上,实现了数据异地多活,目前已经实现双中心同时读写,中心切换RPO为0和RTO达到秒级,提供了“超金融级”的数据安全保障。

三、方案架构图
638edc2f66964513b1238b39b3fa578f.png.jpg

四、技术架构图
0e308913da324c21a12cc576937b010b.png.jpg

五、应用案例
   自成立以来,巨杉数据库一直深耕金融行业,聚焦于利用分布式数据库解决海量数据的存储和管理,已经在超过100家金融银行客户规模化上线使用,全面覆盖国有银行、股份制银行、省级农信、城商行、保险、证券等金融客户。典型客户包括:中国银行、中国民生银行、广发银行、广东省农信、四川省农信、吉林省农信、恒丰银行、渤海银行、上海银行、上海农商银行、中国人保、中国太平、中国证券登记结算有限公司、海通证券等。
   除了金融各行业,巨杉数据库已经广泛应用到数字化经济的众多政企、能源、运营商等行业,包括如广州市数字城市运营中心、南方电网、中国电信、中国移动、国家税务总局等。
   巨杉数据库具有丰富的企业级分布式架构实践经验,经过10年的发展,通过作为金融业、政企、能源、运营商的数据库基础设施,累计为过亿民众提供金融、出行、生活背后的数据平台底座。已经正式生产上线的系统中最大运行集群,数据量达1.4万亿行、容量达3PB、规模超过400台服务器,稳定生产运行巨杉数据库时间最长的客户长达8年。相比传统基于Hadoop的大数据方案,巨杉数据库提供完善的SQL能力,完整支持ACID,并发查询性能高达100倍提升,通过湖仓一体架构为结构化、半结构化、非结构化数据提供一体化融合处理平台释放全量数据价值。

应用单位
金融



版权说明:论坛帖子主题均由合作第三方提供并上传,若内容存在侵权,请进行举报

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

联系在线客服