分享

AtlasGraph图数据库信创解决方案

Jay 发表于 2023-7-20 09:22:52 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 0 397
一、解决方案简介

AtlasGraph是基于Rust自研的新一代云原生实时并行图数据库,能够为用户提供高性能的图存储、计算、查询、可视分析和展示服务,混合事务和分析处理、万亿级大图的亚秒级查询性能,处于业内相对领先的水平,且在系统稳定性、可用性、结果正确性、事务支持性和可恢复性上优势突出。

AtlasGraph通过利用多维交叉关联信息深度刻画申请和交易行为,有效识别规模化、隐蔽性的欺诈网络和洗钱网络;结合机器学习、聚类分析、风险传播等相关算法,实时计算用户的风险评分,在风险行为发生前预先识别。广泛应用于金融行业的精准营销、风险管理、审计合规等领域。

二、解决方案应用情况及应用亮点

AtlasGraph图数据库目前已在国有银行、股份制商业银行、城市商业银行及其他金融机构实现了业务落地,助力金融行业信息系统信创化改造,向智能金融迈进。

某农商银行曾进行了关于图数据库的性能测试。测试结果显示,海致星图自研的AtlasGraph国产图数据库的响应速度,比一直以来以速度快而著称的图数据库ArangoDB,还快了2-8倍。

尤其是在进行3度关联关系查询分析时,AtlasGraph的性能要远远高于ArangoDB,在3度查询中性能指标大约高出Arango200%,意味着AtlasGraph在对更深层关联关系分析与对更大规模、更复杂结构数据进行实时计算时,更具技术实力。

三、方案概要

在金融领域零售风险管控场景中,AtlasGraph图数据库主要解决以下问题

1.欺诈团伙挖掘

利用图数据库与社区发现模型算法,基于业务关系的深度挖掘,识别客户申请背后的团伙欺诈行为,从关系网络的视角分析客户的贷前风险情况,突破截面风险识别视角,实现客户群体的最优化分团,并进一步利用社区属性与客户的网络特征建模,由关系网络模型输出的客户团伙欺诈的概率值,评价客户组团欺诈的风险程度、与欺诈客户的关联强度。并且基于所构建的图谱,对客户的关联网络内信息进行可视化展示,提供深度挖掘以及其他图谱周边功能,为风险策略人员和审核人员赋能提效。

2.黑名单数据衍生与应用

基于客户黑名单数据,通过风险传导与团伙发现算法,深度挖掘黑名单关联信息,预先识别潜在风险信息与传导路径,基于风险传导模型和关系网络模型算法深度挖掘已知风险客户的风险传导和泛化影响,做到提前识别与预警,并协助建立有效的风险隔断策略与机制。

3.贷后失联修复

基于客户的社会关系、交易环境以及资金链路等信息,构建零售客户的亲密度网络模型,对客户及其关联关系进行全景式地分析和展现,形成客户关系全景视图,基于失联客户的高亲密度链路发现,提升失联修复能力。

根据某银行对图数据库的性能测试结果显示,AtlasGraph的响应速度,比一直以来以速度快而著称的图数据库ArangoDB,还快了2-8倍。尤其是在进行3度关联关系查询分析时,国产图数据库AtlasGraph的性能则要远远高于ArangoDB,这意味着AtlasGraph图数据库在对更深层关联关系分析与对更大规模、更复杂结构数据进行实时计算时,更具技术实力。

在具体使用过程中,AtlasGraph图数据库响应速度更快、更流畅,大大提高了业务分析的效率;面向大规模数据量的查询和分析响应迅速,简明易用,增强用户体验感,提升了用户内部人员的使用意愿;同时,AtlasGraph数据库性能稳定,能够减轻行内运维的压力。

以某商业银行为例,通过AtlasGraph图数据库的部署应用,达到了如下应用效果

1.AtlasGraph图数据库在失联修复、伪冒侦测、授信风险准入等方面实现了业务落地。

2.AtlasGraph图数据库对接了该银行行内30亿+条实体数据与360亿+条关系边数据,涉及16类实体、18种基础关系和28总挖掘类关系。

3.AtlasGraph图数据库上线首个季度,催收中心日常催收搜寻工作时长缩短25%,有效挖掘并修复的失联客户数提高23%;伪冒侦测中心有效识别了疑似欺诈团伙800+余起,环比提升超过20%。

四、方案架构

AtlasrGraph图数据库在整体架构上,分为图库主体、外围监控组件、工具集合。

图库主体由查询、计算、存储层核心组件构成,在其上层还可对接基于Web界面的AtlasStudio图可视化建模工具,以及海致知识图谱平台。

外围监控组件从旁路为图数据库提供系统稳定性、可观测性支持。

命令行工具集、多语言SDK则为图库的业务集成、二次开发提供了易用性支持。

AtlasGraph图数据库的核心组件主要包括查询层、计算层、存储层和元信息及服务管理层。分别对应其内部的graph、store、meta,各自以分布式集群构成完整的分布式高性能图数据库。

AtlasGraph图数据库的主体部分模块架构如下图所示。

f93f98b7b6424b97bd0b7ffdd640f08b.jpg.jpg
产品架构图

各层职责和基本设计如下:

1.基础设施层:为图数据库提供基本的硬件、容器、虚拟化层面支持,例如Linux服务器、Docker容器引擎、Kubernetes容器编排框架等。

2.存储层:以AtlasGraph的store服务,以及其下层选用的存储引擎为主的存储服务。提供分布式图存储,以及基于分片、副本的分布式图计算能力。

3.元信息层:以AtlasGraph的meta服务,以及其下层选用的元信息引擎为主的元信息服务。提供图库元信息和集群状态管理的能力。

4.查询计算层:以AtlasGraph的graph服务为主的图查询服务。提供基于OpenCypher标准图查询语言的图查询和分布式图计算能力。

5.应用层:以AtlasStudio图可视化工具,命令行工具、多语言SDK为代表的应用入口,以及海致知识图谱平台为代表的各种外部业务方。

五、核心优势

1.产品创新

1)AtlasGraph数据库是基于Rust自研的新一代云原生实时并行图数据库,支持千亿大图实时分析;

2)高性能图计算引擎,预置20余种图计算算法,可扩展的分析引擎支持更复杂的数据挖掘和机器学习场景;

3)类SQL的图查询语言,内置上百种分析函数,面向分析师友好,拥抱标准,简明易用;

4)支持千亿量级数据存储及流式计算引擎的结合,最新数据实时入库构图,为在线业务决策分析提供有力支撑;

5)基于Rust开发的分布式存储引擎及图计算引擎,精细的内存管理设计,内置索引系统,支持毫秒级的并发查询响应速度。

2.技术创新

本方案由海致星图自主研发,已适配国产化硬件及操作系统环境。项目的创新技术已在国内外进行了技术查新,查新报告显示,在国内外相关文献中尚未见与查新项目完全相同报道(详见附件)。

1)研究了图数据的三维划分与计算方法,在图计算的存储和计算过程中,对点边的向量属性进一步划分,尽可能地将对应维度的属性数据划分到同一台服务器上,在本地算出部分结果后再进行通信。实验表明,上述技术可减少 90.6%的节点间通讯量,将计算性能提升4.7到7.3倍。

2)设计实现了高性能通用图随机游走引擎,在图随机游走算法中,引入拒绝采样方法和挖掘大图随机游走中隐含的时间和空间局部性,提出高效的内存数据组织和计算方法,在动态随机游走上实现了最多达4个数量级的性能提升。

3)提出了一种基于图抽象的外存图计算方法,将图计算中图的关键、重要的信息提取出来并缓存在内存中,利用上述缓存的数据可加速信息在图中的传播,从而大幅减少算法收敛所需的迭代计算轮次,相比其他的图计算系统,性能最高可提升2个数量级。

3.知识产权及论文

海致星图自研技术已申请、获得自主知识产权一百余项,其中申请发明专利64项,授权12项;登记计算机软件著作权40项。图数据库技术成果被ACM收录、发布。

4.市场服务能力

海致星图自主研发的产品已服务国内70余家国有、总部级、民营金融机构,以及14个行业3000余家企业客户,包括工、农、中、建四大行、招商银行、民生银行、光大银行、国信证券、华泰证券、上海证券交易所、深圳证券交易所、中国人寿、南方基金等四十多家核心金融客户。助力金融机构在营销获客、贷前准入、贷中风控、贷后管理以及监管合规等方向做了较为全面的提升,覆盖以前传统的技术没有办法突破的领域,并且不断的深入,扩展,得到了客户一致的好评和认可。

六、适配兼容情况

1.主流技术路线的适配兼容情况

AtlasGraph由海致星图图计算院士工作站自主设计实现,并已完成国产化、信创等多方面认证。完全符合我国对国产科技产品的需求。

我们针对国产操作系统、CPU架构提供部署、运行支持,并可按需进行细粒度适配,确保AtlasGraph在银行、政务等关键客群场景下,实现稳定可靠的产品交付。

截止目前,AtlasGraph图数据库已经完成了如下适配认证:

1)操作系统:统信服务器操作系统V20,银河麒麟高级服务器操作系统V10。

2)CPU平台:飞腾,腾云,鲲鹏,海光,兆芯。

2.适配兼容效果

在金融领域,AtlasGraph图数据库实现了从基础设施到应用软件的全面适配工作,在多家银行、券商、保险等金融机构及国家电网等大型能源企业均具备成熟的应用案例。并在实施服务的过程中,与多种国产操作系统及CPU平台进行了功能性兼容测试,AtlasGraph图数据库兼容性良好,可以与信创上下游环节产品完美适配。

在某农商银行的信创化改造项目中,AtlasGraph图数据库部署在麒麟V10SP2服务器操作系统和海光芯片服务器,与该农商银行原有图计算平台完美适配,并具备将该农商银行前期部署的ArangoDB中的数据进行迁移,改造后响应效率提升2-8倍。

七、应用推广价值

1.适用场景广泛,赋能多行业“数字化转型”

新冠肺炎疫情提升了国家各行业对“数字化转型”的紧迫需求。海致星图AtlasGraph图数据库可搭配金融知识图谱产品以多维数据的感知和汇聚能力、基于知识图谱的数据融合打通能力、基于智能数据引擎的数据自服务能力,实现客户数据的资产化、智能化和服务化,可在满足各行业需求基础上进行快速跨行业扩展。

AtlasGraph图数据库适用场景广泛,在金融行业中的银行融资反欺诈、反洗钱、资产保全、监督分析、客户风险分析、客户特征分析、反灰黑产分析等领域;在电力能源领域智能设备缺陷检测、技术监督知识库、智能电表检测等领域,拥有很好的适用性,提升了各行业数据化、智能化水平。

2.市场前景广阔

作为承载数据资源的“容器”、并对外提供查询和分析能力的图数据库已经形成了初步的市场规模,且正处于快速发展中。调研公司MarketsandMarkets预计,从2019~2024年,图数据库市场将保持两位数的增长,规模从10亿美元增长至29亿美元;美国市场调研机构Reports and Data预测,图数据库全球市场规模2027年将达74亿美元,而图数据库应用在泛金融、IT、电信、生物医药、物流、电商零售、政府等领域将逾千亿美元市场规模。


版权说明:论坛帖子主题均由合作第三方提供并上传,若内容存在侵权,请进行举报

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

联系在线客服