一、公司介绍
北京浩瀚深度信息技术股份有限公司(以下简称“浩瀚深度”)成立于1994年,股票代码:688292。
“数字化、网络化、智能化”是新一轮信息科技革命的突出特征,也是当前数字经济和信息社会发展的核心推动力。浩瀚深度作为互联网流量和数据智能化的领航者,持续探索新技术、新业态、新模式,多年来为中国互联网提供高性能、高精度、高可靠性的整体解决方案,实现了网络可视、资源优化、智能管控、安全防护和数据价值,并加速推动互联网大数据的广泛应用,是一家集研发、生产、销售和服务于一体的高科技企业。
二、产品简介
顺水云是浩瀚深度基于大数据处理技术开发出来的一套集云存储、云计算、海量数据挖掘、应用定制于一体的综合大数据平台,一体化产品。基于开源生态,自主研发,在稳定性、安全性、管理性、性能等方面进行了企业级的增强和持续改进,帮助客户快速构建PB级海量数据信息处理平台,从海量数据信息中获取到真正的价值,及时洞察和决策新的机会与风险,助力电信运营商、能源、金融、政府等行业客户实现数字化转型。
方案架构图:主要涉及接入层,采集层,平台层,应用层
● 接入层是浩瀚深度业界领先的DPI设备,负责网络流量的采集,基于FPGA的流水线式处理,纳秒级时间精度,100G双向全线速处理,低时延高性能,平均转发时延小于50us,整机处理能力达3.2Tbps,业界第一。
● 硬件层支持硬件及操作系统全栈适配,任意混搭组合。兼容主流鲲鹏芯片,以及X86芯片硬件混搭场景。操作系统原生Euler,麒麟,统信商业化系统,具备从底层硬件,到操作系统,中间件,应用,全栈兼容能力。
● 采集层浩瀚深度自主开发的xDR话单采集系统,部署在靠近数据源的边缘侧,通过边缘计算高效灵活的采集各个应用场景下的数据。
● 平台层▷ 云智存多层次存储引擎,提供分布式离线文件存储,实时消息队列存储,分布式对象存储,非关系型数据库存储,Mpp数据库存储能力。
▷ 云智擎分布式计算引擎,支持离线计算,实时计算,分布式搜索查询,交互查询计算,模型计算。一站式接入引擎,自研高性能接入引擎,支持多种异构数据源实时导入多种存储引擎。
▷ 云智巡平台智慧运维智能应用,提供多种设备全面巡检,平台资源管理,平台监控,平台告警,作业管理,集群维护,智能运维的能力。
▷ 云智锐平台BI智能应用,提供可视化分析能力,无需编程基础简单四步完成数据提取、归类、统计、呈现,分析过程全程可视化,方便、快捷形成所需的报表、报告。提供企业使用大数据平台的便捷能力。
▷ 云智慧平台数据治理智能应用,提供数据质量管理,数据标准管理,元数据管理,数据交换管理,数据生命周期管理,数据安全管理功能,丰富的数据治能力满足不同行业的数字治理需求。
▷ 云智安平台多租户安全管控智能应用,为平台提供租户管理,系统策略控制,数据权限控,资源权限控制,库表权限控制,消息队列权限控制,日志审计功能,为平台的生产消费安全保驾护航。
▷ 云视域平台衔接北向应用的低代码开发平台,通过多年在电信运营商数据血缘关系的积累,原子操作的沉淀,用户可通过托拉拽操作,快速生成各种网络智能应用,缩短开发者周期,敏捷快速响应客户的应用需求。
● 应用层▷ 云视通全维度的流量分析智能应用系统,提供IDC,家宽,全域,多维度、全方位流量可视,数据透视,把握网络脉搏。
▷ 云视优网络感知智能应用,为用户优化网络,提供的PCDN,游戏,视频DNS等专题分析,可视化质量指标遍布端,管,云,涵盖主流应用,以观察者身份客观测定网络质量,全量掌握网络动态。
▷ 云视源资源挖掘智能应用,提供客户互联网海量资源探索,挖掘热门应用热门资源,助力数据中心提供优质的资源服务。
▷ 云视行用户画像智能应用,通过海量数据中对用户行为模式解析,精准描摹刻画,助力营销业务推广,提升数据价值。
▷ 云视存日志留存智能应用,通过电信上网日志全量留存,提供高性能快速匹配查询,访问细节纤毫毕现,助力XX部日志留存安全考核。
三、应用案例案例客户全称:XXX移动省集团
项目名称:XXX电信运营商顺水云建设
项目针对某省运营商,数字化转型困难,各地市各业务部门存在数据杂乱,数据不统一,数据在不同地市部门相互独立存储,维护,彼此间相互孤立,形成了物理上的孤岛,数据的价值无法进一步得到释放。对此顺水云帮助客户建设统一具备PB级别顺水云大数据平台,通过将城域网各地市的数据连接起来,打破数据孤岛,每天实时处理700T数据,对数据统一的过滤、统一关联合成,统一建模,提供中台能力。通过云视域低代码平台,提供各种智能化应用,提供用户网络流量流向,网络质量感知,用户画像,安全防护等能力,帮助电信客户解决优化运营通信管道,提高用户体验,真正实现降本增效,数字化转型。
近日,北京浩瀚深度信息技术股份有限公司(简称“浩瀚深度”)的顺水云大数据产品Haohan-Stream Cloud(以下简称“顺水云”)获得鲲鹏Validated认证。浩瀚深度联合广州”鲲鹏+昇腾“生态创新中心旗舰店对顺水云解决方案,进行全栈兼容性适配,在海量话单流量统计查询、非对称关联、复杂查询等场景下平均性能提升30%以上。
浩瀚深度联合广州”鲲鹏+昇腾“生态创新中心,使用鲲鹏应用使能套件Boostkit对顺水云的大数据引擎底座,接入引擎,存储引擎,计算引擎,调度引擎等大数据引擎进行全栈调优,基于银河麒麟操作系统V10、BiShengJDK、YARN NUMA-Aware特性进行全面性能优化,整体的计算性能提30%+,为运营商,电力行业,政府等提供更好的服务能力,实现降本增效。
1、业务性能调优
▷ 海量话单流量统计查询场景,运营商应用典型计算场景之一,基于鲲鹏BoostKit调优后性能提升13.32%。
▷ 非对称关联场景,针对的运营商,省网或者骨干,城域网,存在多路由非对称场景,导致生成多条单边话单,造成数据膨胀及业务识别,质量分析不准确,浩瀚自研了一套高性能基于大数据后关联非对称关联算法,对单上,单下话单进行后关联,合成高质量的xdr话单数据,为上层网络应用提供高质量数据支撑。性能调优后提升34.48%。
2、基础能力调优
▷ 复杂查询基准测试:基于业内标准TPC-DS数据表,进行复杂查询性能调优,调优后性能提升30%。
▷ Tearsort基准测试:基于terasort数据集,进行Tearsort性能调优,调优后性能提升超40%。
浩瀚深度是鲲鹏计算产业生态的重要伙伴,已与广州“鲲鹏+昇腾”生态创新中心建立长期的合作关系。浩瀚深度与鲲鹏致力打造联合解决方案-顺水云大数据解决方案,一起为行业客户提供更强竞争力的解决方案。鲲鹏将继续坚持开放创新,扎根产业生态构建,加速产业创新发展。