我国政府部门离大数据还有多远
来源:中国电子政务网 更新时间:2014-03-16

   很多时候,我们是在不知不觉中进入一个新的时代,虽然它也是一个从量变到质变的过程。有远见的领导会在量变开始时,就敏感到质变这一天的到来,并且开始为此进行积极的准备和应对。不过,先知先觉的人总是少数,而且最终的成功者并非那些知道的人,而是知道并有行动的人。

  今天,政府、个人和企业都处在信息时代。随着信息技术的不断演进、互联网的普及、移动互联和物联网的应用等等,我们获取数据的手段越来越多,存储数据的成本越来越低。今天的我们也不得不面对一个数据爆炸的时代。按照维基百科的解释,大数据就是指数据收集工作变得大且复杂,以致于利用手头的数据管理工具在可以容忍的时间内,进行数据处理变得更加困难。这些大数据的挑战来自数据的采集、建模、存储、搜索、分享、分析和虚拟化。大数据的基本特征是数据量大、结构复杂、快速增长、价值密度低。从业务价值看,海量数据中,经过分析处理,可挖掘深藏其中的业务价值。不断探索大数据的意义在于发现其各相关环节的商业价值。

  世界的人均数据存储量自从1980年开始,每40个月翻一番。到2012年,每天就能产生2.5×1018数据字节。同样,这些数据也会对科学研究、政府治理、金融、零售、通讯的生产销售带来巨大的影响。

  经过20多年的电子政务建设,我国的政府的管理信息系统及数据的采集处理几乎覆盖各业务部门和主要公共服务。如果采集的数据完整、及时、准确,通过对数据科学分析,可以及时掌握社会经济发展、公共服务职能运行状况,将为政府科学决策和提升执政能力提供很好的支撑保障。最近我们针对国内的主要部委的信息化部门进行了一个大数据和数据分析方面的调查,从现实一角看看大数据的状况。部委信息化部门主要负责电子政务的建设,及IT系统的运维,同时作为业务的支撑部门,处于IT前沿的他们,对大数据的看法也会从侧面反应业务决策部门对数据利用的认识和重视程度。从这个简单的调查结果中,我们或许可以看到中国政府部门是否已经对利用数据科学分析,从而进行科学决策准备好了。

  心目中的大数据

  先来看看这些部委信息中心主任们对大数据的看法如何:ligmY8KPpLoc.jpg (527×332)

  从上图中,有近一半44.4%的部委信息中心主任们都意识到大数据是提升业务的最重要能力。但是我们也看到认为“有可行性,但不是优先项目”,以及“非常重要,会应用,但不会视其为变革能力”的两者选项也将近38.9%,近四成。

  虽然大家对大数据的看法还不是如我们想象的深入,其实这也是与日程的应用的关系密不可分的。不过大家都已经意识到,电子政务的不断应用一定会产生大量数据。所以,对于大量数据的管理,政府部门的CIO们,他们感受到了不同的挑战:liIC9pfTWiSg.jpg (544×301)

  上图很好的展现了目前政府部门对大量数据管理的挑战。最大的挑战是数据的分布和共享,占到66.7%。其实这也是我国的政府体制有很大的关系。原来的政府部门的数据犹如一个个信息孤岛,数据缺乏统一的格式,数据交换缺乏统一的标准和平台。不用说跨部门之间的信息交换,即便是同一部委,不同业务部门的数据交换有时候也存在障碍。而造成这个原因是我国的电子政务建设在开始时就缺乏统一的规划和部署,各项职能与业务不断发展变化,系统建设前后不一,大家是在摸着石头过河。而部门之间的条块分割,各自为政的利益问题,顶层设计与绩效考核的缺失,也加剧了数据的共享难度。相信这也是有着浓厚我国政府管理特色的电子政务建设。

 大数据的数据基础

  再来看看政府部门目前的数据存储的最大规模是怎样的?因为我们知道当我们的数据并没有达到大数据定义的规模与复杂度,那么已有的数据分析工具是完全可以应对的。从该图中,我们看到未来1-2年政府部门的数据规模超过100TB的将超过一半,达到53.3%,有将近三成(33.3%)的用户数据规模是10-50TB。虽然数据的规模并没有我们想想的大,但是我们还可以看看政府部门的数据来源和数据类型分别是怎样的?

  从下图的可以看到,政府部门的数据多数还是集中在结构化数据上,对于非结构化数据的拥有量并没有想象的大。按照一般性对大数据的理解,大数据时代有几个特点:一个是数据量极大(超过亿的数量级),另一个是数据的复杂程度高,不仅是结构化数据,还有大量的非结构化数据。此外,还要求实时处理。liydjKdXozR.jpg (534×301)

  从以上这些层面来看,我国的政府部门可以说在数据层面,如果想进行数据分析,只要原来的数据分析工具就可以帮助解决了。至于IT企业所推销的大数据工具,政府部门可以保持谨慎的态度。

  数据分析的态度

lifjKASZ3fWNo.jpg (435×242)

  上面,我们探讨了我国政府部门的数据基础,但是我们知道大数据不是一蹴而就的,也不是有了大数据的工具,就可以实现大数据产生的价值。我们需要看看,政府部门在现有的数据规模下,对数据分析的态度如何?我们相信人的认识是需要不断成长和更新的,但是人的认识呈现跳跃性发展,则需要特别的外力。liEzt8ry8nI9s.jpg (456×288)

  从上边的图中,我们看到了目前我国政府部门目前的数据分析程度。可以看出,利用数据,通过数据分析来为政府决策作为支撑并没有在我国政府部门形成气候。图中百分比最大的数据分析应用也只是在政府的有限部门和业务单位,占比为38.9%。真正将数据分析视为业务核心竞争力的才区区的5.6%,这个比例是相当低的。

  此外,我们还对政府部门正在或者打算使用的数据分析进行了调查,我们看见了政府部门可能的数据分析态度。从下面这张图,我们可以清晰的看见政府部门的IT部门对于大数据工具的需要还是有限的。大部分的应用都集中在了下一代数据仓库(63.6%)和开源分布式方法的工具集(57.1%)上。事实上,这个结果和之前图表展现了他们面对的挑战非常一致,他们也是在尽力通过技术的手段来应可能的应对挑战。liJ0F4JGZZpN.jpg (519×295)

  数据价值尚未充分利用

  政府部门的CIO们在媒体、经济、IT企业全面宣传中,已经开始意识到大数据的重要性,但是他们依然缺乏对大数据的真正、全面的认识。在挖掘信息系统价值方面,数据分析也受制于管理体制和职能制约,及长期传统管理积累的习惯,业务驱动力不足,绩效考核不配套。可以说,从自身,以及环境来说,我国政府部门对大数据可能产生的价值,以及如何利用数据分析实现政府的科学决策依然还有相当长的距离要走。

  今天,虽然大家希望把数据当成一种资源,但目前来说,存在于政府部门的数据只能被称作资产。究竟什么样的数据资产可以变成资源,以及如何将这些数据资源转化为数据资本,不仅是政府部门,也包括IT企业,使用部门都需要一个认识、成长和成熟的过程。

  不过互联网和移动互联的普及,已经在形成一种态势倒逼政府的科学决策,更是对政府执政能力的考验。我们不能确定这股数据浪潮究竟何时会给政府的数据应用带来根本性的改变,但我们已经看见这种趋势已经在渐渐形成。可能,对于政府部门而言,为了迎接以数据分析为支撑的科学决策的到来,在管理上,在人才上,在法律上,在产业支撑环境方面等等,也还有太多课需要补,还有许多的事要做。从认识到“大数据能产生价值”,到实现了“从大数据中找到价值”,再到“有效使用大数据产生的价值”,这是一条漫长的道路。我们才刚刚起步。