一、概述 伴随着云计算、大数据、人工智能等IT技术迅速发展及与传统行业实现快速融合,一场由数字化和智能化转型带来的产业变革正在孕育。 随着企业规模不断扩大、业务多元化——中台服务架构的应运而生。“中台”早期是由美军的作战体系演化而来的,技术上说的“中台”主要是指学习这种高效、灵活和强大的指挥作战体系。 对于行业而言,随着技术的发展,数据级别与日俱增。数据也从传统数据库,大数据,数据中台逐步演变。数据质量地位愈发重要。 对于企业而言,企业数据作为企业资产重要一环。数据质量直接影响生产、经营、管理等方面。如何有效的支持解决不同场景下的数据质量问题,成为各行业迫切需要。 锟锜-数据中台平台通过成熟数据质量理念,提供数据质量完整的数据质量治理方案。汇通国信数据治理从数据质量入手,对业务域数据进行全面数据质量管控。 广州汇通国信科技有限公司基于锟锜数据中台平台V1.0的数据治理解决方案目前已广泛应用于电网、电厂等诸多行业客户。 二、方案背景 当企业还在运用传统的IT建设方法时,经常会遇到下列问题: (1) 企业的各种信息系统无法做到数据互通; (2) 新平台产生的数据与传统模式下产生的数据也无法互通; (3) 企业IT架构变得更复杂,实现底层数据的互联互通也更加困难。 南方电网公司提出的“数字电网”是中国首创的理念,是“数字中国”在电网行业的具体实践。电网企业通过数字化转型,将建成一个数字化、智能化和互联网化的新型电网,即数字电网。以云计算、大数据、物联网、移动互联网、人工智能、区块链等新一代数字技术为核心驱动力,以数据为关键生产要素,以现代电力能源网络与新一代信息网络为基础,通过数字技术与能源企业业务、管理深度融合,不断提高数字化、网络化、智能化水平,而形成的新型能源生态系统。广东电网能源结构及目标网架变化,对电网调度能力提出可靠、高效的刚性要求。 汇通国信锟锜数据中台是企业数据治理的大脑,它是一款资产化和价值化数据建模平台,聚合全域数据,经过数据采集、计算、存储、加工及管理等一系列处理,完成海量数据的存储、计算、产品化包装全过程,为企业构建核心数据能力,为前台应用基于数据的定制化创新、为业务中台基于数据反馈的持续演进,提供强大支撑,汇通国信数据中台在数据赋能业务中形成业务模式,在推进数字化转型中实现价值,将数据中台及其业务模式产品化,提供数据中台智能化解决方案。 汇通国信锟锜数据中台平台可以为用户提供以下价值: (1) 提供从数据接入获取到数据维护、销毁全生命周期管理; (2) 提供数据采集机器人,包括底座和控制处理主板,高效的进行数据收集,又可以实现快速有效的数据处理,工作效率高; (3) 提供数据质量治理、数据质量效验、简单的拖拽式配置和编辑,提升数据质量,确保进入中台的数据可用、可信、可追溯; (4) 以工业大数据算法和工具作为技术支撑,驱动工业互联网融入行业客户,启动数字经济新引擎,助力经济高质量发展; (5) 提供分布式系统性能优化、高可用集群管理、异构资源优化调度和管理。 锟锜数据中台平台面向企业数据治理以及快速响应需求,提供模型生成的生命周期管理,将数据接入获取、数据存储、数据处理、维护和使用、销毁整个生命周期进行管控。不仅提供大数据分析统一管理平台,建立数据间血统关系管理,实现数据可管、可控、可视,还可以快速为行业客户提供数据中台产品交付方式和一站式数字化转型服务,节省搭建大数据分析平台和资源管理的时间,帮助企业从无到有快速打造数据中台,使企业聚焦在建模工作上,收获更多业务价值。 三、适配平台 芯片:飞腾、鲲鹏、龙芯 操作系统:麒麟(飞腾版)、麒麟(鲲鹏版) 数据库:华为Gaussdb、达梦 四、方案介绍 (一)方案的架构 汇通国信锟锜数据中台为适应企业业务发展及生产运营转型需要,采用全新的“数据中台+应用”模式,构建企业IT全新生态建设,实现企业大数据平台数据的完整性、有效性、一致性、规范性,推动数据的共享开放,构建统一的数据资产,为企业构建核心数据资产整合和管理能力。通过整体架构的设计,为数据中台提供应用整合平台,提供一个可持续发展的数据中台产品。 数据中台产品架构图如下图所示: 主要能力介绍如下: 1. 技术中台为底座,为中台体系提供基础支撑; 2. 业务中台实现企业核心竞争力的固化与赋能; 3. 数据中台实现企业核心数据资产的整合与共享; 4.能力开放平台将中台能力、中台数据以服务的形式对外提供。 (二)应用场景 l 企业级用户:汇通国信锟锜数据中台可助力企业快速实现数字化转型,目前已广泛应用于电网、电厂、电信、公安等领域。可服务于企业的数据分析员、算法工程师、IT 技术人员、业务运营人员。针对不同需求的用户提供了数据集成交换、数据治理、计算中心、分析中心、数据服务、平台管理功能,满足客户的数据采集、同步、开发、存储、服务一系列的需求,从而有效解决传统企业在数字化转型过程中面临着业务、技术、开发、运营、效能等方面的问题。 l 高校/科研机构:面向开设大数据专业课程的高校、从事大数据研究的科研机构,提供数据采集产品、优质数据、配套教材、教学案例、师资培训、实训室建设等大数据相关的科研教学及实验实践环境。 (三)技术特点 汇通国信锟锜数据中台提供数据采集与传输、算法体系、数据汇聚、存储与建模、专业的运维数据库、算法和数据的工程融合5大方面的关键技术支持。 1)高性能数据采集与传输技术 Ø Ø提供跨组织、跨业务、跨云数据同步汇聚能力; Ø Ø提供消息多协议接入,支持RESTful API接入; Ø Ø满足“数据湖”的诸多特征; Ø Ø避免数据泥沼的质量检查和跟踪; Ø Ø便捷易用的自助分析建模工具; Ø Ø数据可进行权限分级和管控; Ø Ø便捷的开发和实施友好性。 2)提供转移算法体系 Ø 交互式建模:进行模型的开发调试; Ø 算法库:按照用途归类的算法库,并提供机器学习算法; Ø 样本库:管理样本数据,供建模时使用; Ø 数据准备:可对数据进行相关的预处理操作; Ø 可扩展底层框架:支持和兼容多种算法框架引擎; Ø 场景模型:针对特定场景沉淀的通用解决方案。 3)数据汇聚、存储与建模 Ø 多模式统一采集质量标准; Ø 兼容多种容器/非容器化运行环境; Ø 一致的维度关联属性; Ø 可权衡、可调节的数据传送机制; Ø 可靠的熔断和止损机制; Ø 易于部署和维护、统一的配置管理。 4)专业的数据管理技术 Ø 多数据源、海量数据的快速接入能力; Ø 简易、高性能的数据清洗转换能力; Ø 关键字识别、模式识别的标记能力; Ø 对敏感数据进行脱敏或加密处理能力; Ø 数据质量检验和归一化处置的能力; Ø 自动、自主的分布式集群伸缩能力。 5)算法和数据的工程融合 Ø 提高挖掘结果质量的数据预处理; Ø 根据数据特征匹配算法的算法工程集成; Ø 高效的数据同步、可插拔的服务; Ø 高精度与高速度的模型应用。 (四)核心优势 汇通国信经过近十余年的经验积累,构建高效、灵活挖掘数据价值的数据中台,提供了数据集成交换、数据治理、计算中心、分析中心、数据服务、平台管理功能,功能效果良好。满足客户的数据采集、同步、开发、存储、服务一系列的需求,从而有效解决传统企业在数字化转型过程中面临着业务、技术、开发、运营、效能等方面的问题。 汇通国信锟锜数据中台产品成熟,体系完善,平台具有良好的性能和可扩展性,平台各功能模块既可单独部署,又可集成为一个整体,可快速部署,帮助客户快速出效果。 汇通国信锟锜数据中台产品面向企业数据治理以及快速响应需求,适合不同研发能力的用户快速模型训练、评估和预测,解决各种场景的业务问题。 具体优势如下: (1)强大的数据采集能力:提供复杂业务场景下的数据采集能力,支持全量、增量数据采集和同步,支持断点续传、并发式数据采集能力; (2)专业的数据治理能力:以数据质量为核心的数据治理能力体系,对数据进行治理统一管控,并构建数据标准模型,统一数据口径,消除数据二义性,解决大规模、复杂环境下数据的治理问题,保障中台数据的可信性,具有国内首创平台级数据质量治理平台; (3)统一数据资产管理能力:构建数据资产统一视图,并通过数据地图与数据血缘实现360°数据全链路追踪; (4)异构数据源存储能力:满足不同业务应用场景对数据的访问需求,数据中台集成一套高性能、安全的数据库体系,满足用户按需选择数据库存储。 (5)可视化数据开发计算能力:专业的工业大数据算法体系,提供可视化、拖拽式自助开发与分析平台,统一数据开发流程与数据产品开发项目周期管理; (6)自带知识图谱:解决结构化、非结构化、半结构化数据深度融合问题,具有丰富的电力行业本体模型,解决中台数据快速智能化应用难题。 (7)一体化应用服务能力:提供采集、存储、计算、挖掘、展现为一体的数据应用服务。 (8)高性能数据服务能力:高性能的服务调度能力,提供毫秒级的服务响应能力,可支撑日10亿+级别的服务调用。 (9)数据中台可自带技术中台:为中台体系提供底座支撑,从概念到技术,打通中台的资源和应用,实现云平台与中台解耦,避免企业业务发展被云厂家捆绑,并为上层应用提供服务框架和标准组件。 (10)标准化高性能组件:汇通国信数据中台具有标准化、性能高效稳定的数据组件:数据存储组件、大数据计算组件、AI开发组件、数据可视化组件,且可与华为高斯DB、华为大数据MRS,阿里大数据组件无缝集成,为异构计算框架充分发挥 X86、ARM、GPU、NPU 多种算力优势,大大提升平台算力。 (11)产品成熟:数据中台是一套成熟的、有大型应用经验的产品,可实现数据中台快速部署,快速应用。
|