|
一、概述 在各行业数字化转型快速演进的趋势下，如何让数据资产转变为业务理解，业务人员如何通过数据产生实际的业务价值是诸多企业都会面临的问题，随着数据基础的逐渐构建与完善，尤其是在金融行业，企业并不缺乏数据，缺乏的是及时广泛的数据洞察，企业数字化转型的成功需要非IT人员也能拥有数据分析的能力。基于在这样的背景，Smartbi创新性的将NLA技术与BI的数据建模及数据可视化等技术无缝融合在一起，搭建成对话式分析系统这一款企业级智能数据搜索和数据分析的产品，从而达到利用自然语言进行数据分析，让数据分析变得更简单。 二、方案背景 在企业数字化转型的过程中，部分企业上一阶段企业完成数据仓库建设，能够实现基本数据可视化展现、管理驾驶舱的构建等传统BI平台能力体系的建设。但随着企业使用数据的规模频度加大，传统BI工具已经不能满足需求，企业需要更加敏捷和智能的BI工具来降低分析门槛，快速实现数据分析和洞察。 随着自然语言处理技术（Natural Language Processing，简称NLP）的逐渐成熟，以及Gartner也把自然语言查询评价为BI产品的15 项关键功能之一，并且还预测未来50%的分析查询将通过搜索、自然语言处理或语音等方式自动生成。连续多年入选 “Gartner增强分析代表厂商”和“Gartner中国人工智能创业公司代表厂商”的Smartbi看到了这些趋势，自主研发了自然语言分析（ Natural Language Analysis，简称NLA），期望通过引入自然语言查询、知识图谱、推荐算法和机器问答等人工智能技术，使得NLA可以理解用户的数据分析需求，NLA的概念率先由Smartbi提出，并获得多项国家发明专利。基于NLA，Smartbi完成多项技术攻坚及功能实现，以此搭建出对话式分析系统，并帮助用户快速完成分析任务，获得数据洞见。 三、适配平台 1、芯片： （1）鲲鹏：920；916 （2）海光：5000；7000 （3）兆芯 2、操作系统： （1）麒麟：飞腾版V10&鲲鹏版V10 （2）统信：V20（CPU平台∶飞腾FT2000+/64、腾云S2500，鲲鹏916、鲲鹏920）； V20（CPU平台：海光5000/7000） （3）中科方德：V4.0（海光版、兆芯版、AMD64版）；V3.1（海光版、兆芯版、AMD64版） 3、中间件： （1）东方通：东方通TongWeb 7.0及以上版本 （2）宝兰德：应用服务器软件（BES Application Server ）V9.5 4、数据库： （1）星环：TDH6.0 （2）达梦：DM7、DM8 （3）南大通用：Gbase8s；Gbase8aMPP （4）人大金仓：KingbaseAnalyticsDB V3.0；KingbaseESV7、V8 （5）华为：GaussDB200、GaussDB（for MySQL）；GaussDB（for openGauss） （6）阿里：AnalyticDB For MYSQL&PostgreSQL；MaxCompute （7）上海跬智：Kyligence Enterprise V4 （8）瀚高数据库：瀚高安全版数据库V4.5；HighGo Database V6企业版 （9）奥星贝斯：OceanBaseV2.2 5、服务器 （1）中科可控：R6230HA\R5230HA\R4230HA（基于海光芯片）；R62\R52\R42（基于海光芯片） （2）中科曙光：H620\H520\H420；H620-G30A；H620-G35A；H620-G36A；H520；G30A；H520-G35A；H420-G30A （3）华为：Taishan200 6、云 （1）华为云 （2）阿里云 7、计算平台 （1）深信服：云计算/超融合平台 四、方案介绍 （一）方案实现原理 对话式分析系统主要依赖的自然语言分析是一种将自然语言处理技术与BI结合的技术。它可以将自然语言解析为机器可以识别的查询语言，通过后台的处理自动生成各种可视化图表，从而实现用自然语言进行数据分析的目的。 （图）对话式分析系统实现原理 （1）数据建模：数据模型是查询结果提供数据的基础，也是知识图谱内容关系提取的来源之一。因此，我们在使用NLA功能之前，必须要完成数据模型的构建。此外，若把数据建模和指标管理（点击了解指标管理）结合起来，相得益彰，形成闭环，则会进一步提高查询的准确度。 （图）数据模型构建架构 （2）构建知识图谱：知识图谱是一个知识库，用于对查询的内容进行关联分析和推理，从而让机器了解用户的意图。知识图谱的来源有两种，一是业务补充行业领域的知识，二是从数据模型中提取关系。此外，Smartbi还支持一键构建知识图谱。 （3）用户输入：用户支持以自然语言的方式输入问句，比如“去年广州卖的最好的车型和销量”。此外还支持推荐问句，将一些最热门、最常用的问句推荐给用户。 （4）语义解析：通过语义解决引擎，把用户输入问句进行解构、要素解析，转义成类SQL的查询定义。 （5）执行查询：调用Smartbi的查询接口，由Smartbi查询引擎根据获取的查询定义执行查询、返回展示结果等操作。 （6）图表展示：把查询引擎返回的结果以图表的方式展示。 （7）结果反馈机制：产品还支持结果反馈，用户可以反馈查询结果正确与否并留下宝贵的意见，以便产品持续迭代优化，提高查询准确率。 （二）方案特色功能 针对不同用户，对话式分析系统可提供不同功能能力和场景支持。 （1）对话式分析：帮助用户以业务的思维，在PC端和手机端通过对话式的分析，实现所问即所答，即通过自然语言输入的方式快速展现出想要问的数据，分析结果在一问一答中即可展现！ l 智能生成各种时间计算指标 l 可二次深入分析，AI与BI无缝融合 l 推荐问句&历史问句&热点问句，给业务分析注入灵感 l 问题反馈机制帮助不断提升模型准确率 （2）语音大屏：对于大屏展示汇报有较多需求的企业，在汇报时用鼠标或者触控对大屏进行操作并不方便，交互方式也不够酷炫，不够智能。对话式分析系统在大屏中融合了NLA功能，实现通过语音来操控大屏。通过语音发出指令，帮助用户快速准确地找到用户想要的查询结果，自动打开相应的大屏等资源，切换不同的参数，彻底解放双手，让汇报工作更加智能便捷！ （3）智能问答：当业务人员基于BI创建自助仪表盘时，经常觉得拖拽关联字段操作太繁琐，或是对于一些同环比、累计等指标不知道如何计算，这些问题都会影响他们分析的效率、降低分析的兴趣。对话式分析系统对此设计了智能问答功能。用户无需拖拽字段，只需按照中文语法习惯，将想了解数据问题的关键字输入文本框内搜索，选择提示信息后即可快速展现分析结果。原来需要多个操作步骤，使用智能问答后一句话即可搞定，让用户感受到“搜索一下，即刻分析”的畅快体验！ l 在纬度指标比较多的情况下，可快速搜索匹配关键字/成员值 l 智能识别场景化关键字：今年/近三年、最好/最坏... l 支持后台配置同义词进行模糊匹配，业务术语与底层模型的匹配 （4）IM集成：通过与企业微信、钉钉、微信公众号等及企业第三方APP集成，实现协同办公，提高办公效率。 l 支持打开现有报表，切换参数 l 语义识别，数据速问速答 （三）方案差异化优势 （1）类SQL语言 我们自主研发的技术相比于开源算法的直接生成SQL，我们是从文字解析先生成类SQL语言，后通过解析引擎和模板，生成最终的查询。一方面降低了直接转化为SQL查询的难度，另一方面我们可以支持除SQL以外的拓展查询方式，例如多维的查询，这一点是开源算法所没有的能力。 （2）数据模型 相比于直接从数据库中查询，我们提出从数据模型中进行查询的方法，由于数据模型提供了更多的语义信息，例如:时间维，地理纬度，维度和指标的相关性等信息，实际上大大降低了自然语言解析的难度。 （3）交互式问答 相比大多数友商的搜索式为主的自然语言查询，我们的交互式的查询方式，更贴合用户使用习惯，召回率更高。 五、方案价值 （1）降本增效，快速洞察决策 对于决策领导者来说，与时俱进，结合当前最新技术，简化数据分析过程，通过手机随时随地灵活便捷的洞察数据，既节省报表开发的成本，又提高了分析的效率，还能快速辅助支撑决策。 （2）降低分析门槛，加大使用范围和频度 对于业务人员来说，以业务思维和术语通过自然语言输入问句即可探索分析原因，实现“想什么，问什么”、“问什么，显什么”的效果，让用户免去学习操作的过程，真正实现分析零门槛，提高了分析效率！真正实现分析零门槛，人人都是数据分析师！ （3）降低建模成本，保证配置易用性和查询准确性 对于前端配置者来说，无论是知识图谱的构建、数据模型的生成等都充分考虑了操作的易用性，通过可视化的界面、简单的操作即可实现。 对于技术人员来说构建知识图谱、生成数据模型等操作，通过可视化的界面即可实现，简单易用。不仅降低IT人员数据建模的成本，还能结合反馈机制形成闭环，持续迭代调优，进一步提高查询的准确度。 六、客户案例（某大型保险集团案例） Smartbi对话式分析系统一经推出便广受客户欢迎，目前已经应用于多个项目。 某大型保险集团领导常年采用报表来进行业务监控，但是报表分析灵活性不高，报表复用难，实施周期长，找出含有对应指标的报表也很困难。以前高管平均一天的时间只能看报表3.6次，采用Smartbi的对话式分析系统以后，简化数据分析和查看数据的过程，现在提升到平均一天6.2次，使用频率和效率提升一倍。领导层通过对话式分析实现灵活便捷数据分析，辅助支撑领导决策，实现与时俱进。
| 
私信
