业务效果 基于现有银行业务系统分散的情况,进行整合,建立统一的数据信息管理平台,构建统一的管理架构体系,体现业务集中统一管理,具备本地分布式数据库存储、分布式文件系统存储、按主题库的集中管理能力,实现高可用、高性能的数据库架构体系。 关键举措 大规模并行处理(UXDB Massive Parallel Process,缩写UXMPP)是UXDB基于shared-nothing架构的横向扩展,UXMPP以扩展形式在UXDB数据库中运行。采用“化整为零”原理,通过分片和复制将多个UXDB数据库逻辑上结合在一起,形成多机、多核并行的UXDB集群,可实现PB级大规模数据集的实时在线分析。 应用场景 优炫数据库管理系统具备处理超大规模数据所需的存储和计算能力,能提供多模式的数据处理能力。更强调对于数据的管理、治理和资产化能力,包括:更强大的数据接入能力、更强大的数据管理能力和可共享的元数据。 适用规模 本案例适用的用户数量:500人至1000人;并发量:800TPS至2000TPS;达到该规模所使用的硬件节点数量为:5。 技术路线 采用先进的数据仓库解决方案,结合UXDB的MPP架构,满足重建银行的数据仓库系统的需求。本方案数据库部署模式采用优炫数据库管理系统的UXDB MPP架构部署模式,按照2+3模式部署:部署2个协调节点,3个数据节点,共计5个节点(支持扩展)。 图 2数据仓库部署架构图 实施方案 将“单轨制”实施模式应用于银行数据仓库系统的工作中,实施过程中,相关部门进行了数据归档和数据管理系统的开发、数据整体化管理流程的优化以及相应配套机制的制定等,有效保证了单轨实施模式在工作中的应用。系统应用了电子签章和电子认证技术,并且综合运用自动采集、检测、数字签名和元数据采集等技术措施,促进了各部门信任并且承认电子档案中所记录的信息,从而形成了对数据的全程监督和管理;对数据的归档数量、类型以及质量等诸多因素展开定期监控以及抽查,从而确保数据的长期可用性。 关键指标 1)更强大的数据接入能力:体现在对于各类外部异构数据源的定义管理能力,以及对于外部数据源相关数据的抽取迁移能力,抽取迁移的数据包括外部数据源的元数据与实际存储的数据。 2)更强大的数据管理能力:具体可分为基本管理能力(对各类元数据的管理、数据访问控制、数据资产管理)和扩展管理能力(任务管理、流程编排以及与数据质量、数据治理相关的能力)。 3)可共享的元数据:计算引擎在处理数据时,能从元数据中直接获取数据存储位置、数据格式、数据模式、数据分布等信息,然后直接进行数据处理,而无需进行人工/编程干预。更进一步,还可以对数据中心中的数据进行访问控制,控制的力度可以做到“库表列行”等不同级别。
|