|
大数据分析系统功能架构图如上图所示，主要由四层组成，包括数据来源、数据治理、数据分析以及大数据应用。通过资产探知、安全威胁检测及流量审计三类探针对被监管网络的资产、流量、日志等安全数据进行检测和收集，安全数据经过数据解析、分类、提取、映射、富华等处理后存储至数据中心存储计算引擎中，结合系统内置的关联分析、行为分析、深度分析以及智能分析4大分析引擎，对安全数据进行监测分析后形成安全态势和安全风险，通过态势分析层展现出来，为用户进行决策提供有效的数据支撑。此外，系统支持威胁情报接入，告警流程化处置及安全设备联动，有效提高整体网络安全风险识别分析和监测预警处置能力。 数据来源层 系统对网络中各类设备数据进行采集，包括资产类数据，防火墙、蜜罐、IPS、EDR、WAF、僵木蠕、APT等威胁检测类数据、网络审计、行为审计、数据库审计等流量审计类数据。 数据治理层 系统通过UDP、TCP、AVRO、消息总列、NEWFLOW_V5、SFTP、文件、REST等多种数据接入协议配置能力，提供多样化信息采集方式，对采集的多种数据源做归一化处理，主动以及被动全面获取网内各类信息，并对这些数据进行解析、分类、提取、映射、富华等处理，实现数据标准化。并基于大数据架构，利用分布式存储计算、数据仓库、关系/非关系数据库对处理后的数据进行高效存储。同时提供对数据资源的管理，支持字段级管理操作，并支持以UDP、TCP、KAFKA等多种方式实现数据共享。 数据分析层 系统针对不同的数据分析场景提供了3种数据分析的方式，关联分析通过数据之间的关联关系来发现威胁；行为分析从历史数据中，学习或预测行为模式，进而发现当前数据的异常行为；深度分析则使用特定的AI算法来检测威胁。3种分析引擎形成纵深分析检测网络，内置300+分析模型，通过不同的角度、不同的方法快速高效地检测安全威胁。除此之外，系统还提供智能建模能力，内置丰富的数据处理、可视化、机器学习算子，提供超过100余种算子组件，通过对算子组件的拖拉拽等图形化操作及组合设计，极大地降低了建模难度。 大数据应用层 系统对采集的各类数据进行处理分析后，形成了态势分析、威胁感知、安全分析、数据治理、智能建模、资产管理、SOAR以及威胁情报等八大应用，为日常安全运营的执行提供高效的可视化研判、分析、处置手段，提升了数据分析与安全运营效率。
| 
私信
