一、企业介绍
深圳市泛联信息科技有限公司(UBIX)是一家专注于存储创新的高科技公司,围绕存储介质创新、系统架构创新和应用创新,构建系列化的存储产品与解决方案,助力客户企业数字化转型的业务需要。泛联信息分布式海量存储产品针对媒资库、医疗科研、金融保险、视频监控等海量非结构化数据应用场景,提供近乎无限的存储容量和性能扩展能力,助力数据价值最大、成本最优。
二、项目背景
随着信息化、城市化的进程,以及国家、政府、企业以及个人安全意识的提升,越来越多的小区、企业园区、校园等组建了自己的视频监控系统。此类视频监控系统,规模相对较小,通常要求监控平台一体化、操作简单、扩展方便。华为&泛联信息海量存储联合解决方案(UbiScale 12000)是集视频接入、管理、存储、调阅等视频监控相关功能于一体的一体化综合视频管理平台解决方案,具有企业级可靠、部署简单、扩展灵活等特性,特别适用于中小规模视频监控场景,可广泛应用于各种局域网监控。
三、技术架构
UbiScale 12000采用全对称去中心化分布式存储架构,通过大比例EC(Erasure Coding)技术,将大容量硬盘融合成统一的资源池,为上层应用提供高可靠、低成本存储空间,消除了元数据中心节点导致的性能瓶颈,且存储空间可弹性扩展,性能、容量随集群规模线性增长,用户可以根据业务需求按需购买、灵活部署存储服务,从容应对快速变化的业务。同时,UbiScale 12000还提供复制、生命周期管理、WORM(Write Once Read Many,一写多读)合规保留策略、存算融合等高级特性,可以满足用户灾备、数据管理等场景的使用需求。其整体功能架构由存储接口层、存储服务层、存储引擎层和存储管理组成,说明如下:1、存储接口层:提供应用访问存储系统的标准访问接口,支持对象标准访问接口协议。2、存储服务层:提供基于对象的存储服务,以及丰富的企业级特性,如WORM,复制。3、存储引擎层:提供持久化存储能力,提供纠删码、比特位保护等能力。4、存储管理:负责系统的操作、管理和维护,提供的对象存储、用户管理、设备管理、告警管理、性能管理、系统配置、系统维护、安全管理等功能。
(架构图)
四、适配成效
UbiScale 12000适配国产主流基础软硬件,基于Kunpeng 920处理器、Kylin V10操作系统、Taishan服务器等核心模块,泛联信息联合金融攻关基地进行基于鲲鹏架构的根技术及自主创新改造,使UbiScale 12000具有以下优势:高性能1、UbiScale 12000基于全对称、无集中元数据服务架构设计,消除了单节点或“热点”节点性能瓶颈。
2、节点间数据均衡分发采取高效hash算法,无需查询元数据。
3、内部hash和校验算法均使用高效的CPU硬件指令完成。
低成本1、UbiScale 12000通过分布式存储架构/技术将集群内各节点磁盘组织成一个统一的大规模存储资源池,为上层应用提供兼容Amazon S3接口,方便应用存取海量数据。2、支持纠删码EC(Erasure Coding)数据冗余保护,最低支持2盘冗余。相较副本最高仅50%的空间利用率,EC技术的空间利用率极大提高,接近于传统RAID技术,最高利用率可以超过87%。
可靠性设计1、集群间可靠性:支持连续复制,用于大规模、跨数据中心部署。通过Lambda计算通知和对象元数据,它可以高效,快速计算增量。它与传统的批处理模式相反,更改可以立即传播。
2、集群级可靠性:集群完全去中心全对称,所有节点角色相同,节点间互不影响。集群统一命名空间,设置为多个安全隔离的业务域集群,防止数据平衡和数据恢复带来的性能和可靠性问题。
3、数据块可靠性:采用BitRot静默损坏算法,防止了因存储介质位衰减带来的数据丢失。
五、应用案例
泛联信息UbiScale 12000提升某广电媒资业务效率随着客户在传统向在线、有线向5G、标清高清向4K/8K转型升级,数据格式更加多样化,终端多样化。对存储也带来了更高的要求,要求更高的性能、更大的容量、更强的扩展性、更高的共享性。
(架构图)
泛联信息UbiScale 12000分布式海量存储系统,打破数据孤岛,可灵活扩展至4096个节点,性能随节点数增加线性增长,轻松支撑数十台工作站媒体文件同时在线编辑以及媒资库媒体文件的长期存储,有效实现资源共享,提升上传下载,新闻制作,播出等业务效率。