在对大数据进行分析的过程中,传统数据挖掘/BI(Business Intelligence)的做法是,IT人员事先根据分析需求来进行建模(以及做二次表或打Cube),提前汇总好数据。
本着务实的态度,利用较低的成本,通过对大数据进行高速捕获和实时的分析,以获取核心业务和战略决策所需的关键信息,从而提升企业经营管理和战略决策水平,最终创造巨大的商业价值,也许是对大数据价值的最好诠释。
在对大数据进行分析的过程中,传统数据挖掘/BI(Business Intelligence)的做法是,IT人员事先根据分析需求来进行建模(以及做二次表或打Cube),提前汇总好数据,业务人员在前端查看分析结果报表。
这种做法很成熟,持续了很多年,但是也存在着一些问题:
1.业务人员查看的报表相对静态,分析的维度和度量的计算方式已在建模时预先设定好,不能更改,比如定好了是求和或求平均数,想改成求方差必须回去修改模型;
2.分析需求变更时,业务人员不能直接调整报表,需要IT人员重新建模或修改已有分析模型,耗时较长,响应速度较久。
造成这些的问题的本质原因是,过去的技术架构针对海量数据的计算能力不足,需通过建模、二次表、Cube提前进行数据运算汇总。
一、解决方案--敏捷BI
随着技术的发展和演进,BI领域已经迎来了新一代敏捷BI的革新。采用敏捷BI的数据分析优点包括:
分析报告不能只能看而不能动。数据展现是起点,而不是终点。看到了数据,要能交互式分析,要能深入向下挖掘,要能发现问题,要能找到答案,还要能采取行动。和数据交互的过程要足够快,如果用户每次点击需要等三五分钟才出结果,就无法进行交互分析。敏捷BI基于大数据的处理技术,对TB-PB级的数据可实现秒级响应;
分析报告应能让非IT部门的同事直接在分析平台上做出来。不能把所有的分析报告需求都提交到IT部门,这样会严重增加IT部门的工作负担。敏捷BI实施和操作简单,业务人员可直接使用;
分析报告需求经常需要数据层的改动,需要IT部门去改进数据层和业务层,传统BI平台需要一两个月去梳理模型。敏捷BI无需事先建模,可在分析过程中灵活调整分析维度和报表展现,需求变更可以在一天之内响应,提升企业的洞察力决策力。
二、敏捷BI的原理
与传统BI的重量建模、统一视图不同,敏捷BI采取轻量建模、N个视图的方法,不建二次表和Cube,数据连进来直接可以进行分析,并且业务人员可以实时调整分析的维度和度量的计算方式,极大增加灵活性,真正做到和数据对话。
图1.BI建模方式的转变
想必大家会有一个疑问,既然有这么便捷的方式,为何传统BI不采用这种架构呢?正如上文所说,传统的技术架构没有引入现在的大数据技术,面对海量数据无法在用户点击的几秒内就展现结果,因此必须通过建模提前把数据汇总好,才能保证分析报表展现时的速度。实现敏捷BI的大前提是采用新架构处理数据的性能有了几十倍提升,涉及的技术包括分布式计算、内存计算、列存储、库内计算等。
图2 .商业智能数据计算的演变史
因此,敏捷BI可以通过更低的成本、更短的上线周期,快速让企业洞察到数据的含义和价值。