物联网引入大数据技术迫在眉睫
来源:硅谷动力 更新时间:2013-10-31

  根据IDC公布的数据,2005年由M2M产生的数据占全世界数据总量的11%,预计到2020年这一数值将增加到42%。这一比例表明,物联网快速发展的同时也制造了海量数据,如何妥善处理及合理利用这些海量数据是物联网下一步发展的关键。”在近日由中国电子学会召开的2013(第四届)中国物联网大会上,中国工程院院士邬贺铨强烈呼吁。

  然而,无论是大数据,还是物联网,在我国都处于起步阶段,至于两者的交叉领域目前人们更是涉及甚少,而物联网所产生数据本身的复杂性,更是进一步加大了物联网领域大数据落地的难度。

  几何级数增长

  形象地讲,物联网是物体对外界进行感知并做出反应的过程,在这一过程中,无论是感知外界还是做出反应,都涉及数据的产生和处理。尤其是在某些领域,比如安防、移动医疗、智能交通,更是由于应用的特殊性而会产生海量数据。

  以安防为例,为了有效发现异常情况,系统需要对所监控的区域进行7×24小时监控,这就会产生海量的视频数据,出于事后追踪的考虑,这些数据往往需要保存一段时间,此外,系统还需要对不同时刻的数据进行对比分析,以便能够在异常情况发生时做出及时反应。而在移动医疗领域,为了实现不同地点之间医生资源的共享,统一标准的病情诊断不可或缺,因此很多医院都主张对患者进行CT检查,而一个病人的CT往往会达到几十个GB,按照每年我国住院病人多达两亿人次,以及患者的数据通常需要保留50年以上的规定,由移动医疗产生的数据量也相当可观。

  使得情况进一步严峻的是,在ITU等看来,物联网所需要分析的数据,不仅仅是传感器收集到的数据,还应该包括虚拟物件所产生的数据,因为只有将物联网数据放在虚拟网络产生的数据的大背景下,才能挖掘出更大的数据价值,目前来看,这些数据主要来自社交网络、政务网站。而邬贺铨表示,Teitter网站每天增加2亿条微博,Facebook上每天上载2.5亿张照片,到2015年,大概1个人要用5年时间才能看完互联网上一秒钟所传的所有视频,由此可见互联网上数据量之庞大。

  尽管数据呈现海量增长态势,数据的处理能力却没有同步增长。“全球新产生的数据每年增长40%,全球信息总量两年就可以翻番,而对新增数据的处理能力以及利用率的增长则不足5%。”邬贺铨表示。因此,加快引入大数据技术以推进物联网发展已经迫在眉睫。

  物联网大数据存特殊性

  物联网运营者也认识到了大数据运用的重要性。中国电信股份有限公司上海研究院院长李安民表示:“根据实际经验,的确在很多应用中,物联网不仅仅是单一的物联网技术,还涉及对大数据、云计算等技术的有效融合。物联网的普及将城市引入大数据时代,我们需要关注大数据的应用需求,从技术、业务、商业模式等方面提前做好应对。”

  不过,大数据的在物联网的应用并非那么简单。这首先是由物联网数据的特点决定的。

  邬贺铨认为,物联网产生的大数据与一般的大数据有不同的特点。物联网的数据是异构的、多样性的、有噪声的,其增长率非常高,从而增加了数据处理分析的难度。此外,物联网的数据有明显的颗粒性,其数据通常带有时间、位置、环境和行为等信息,物联网数据也是社交数据,但这又不是人与人的交往信息,而是物与物、物与人的社会合作信息。因此,物联网的混搭使得只有将物联网的数据与通过社交媒体所获得的数据以及政府发布的信息相结合,才能方便系统做出更科学的决策。

  抛开物联网领域的特殊性,大数据产业自身发展也存在一些障碍。虽然近年来大数据概念火热,然而大数据的发展呈现出了不平衡性,一方面是技术发展较快,另一方面如何从大数据中获取价值,现在仍在讨论阶段。尤其是电信运营商,虽然也认识到了大数据的价格,但是对于自身在大数据产业中的定位,以及大数据的商业模式,现在还没有形成清晰统一的认识。这一状况制约了大数据的发展,从而也影响了大数据在物联网领域的应用。

  大数据和物联网可相互推动

  考虑到大数据在物联网领域应用的紧迫性和相对落后的状况,邬贺铨认为加快引入大数据已经刻不容缓。针对海量数据的特点,邬贺铨认为,虽然数据资源非常重要,但是许多数据是复杂冗余的信息,比如在视频监控中,人们需要关注的是视频信息中的异常事件,而不是常规的、没有变化的数据,因此要兼顾分析历史数据和新的数据,压缩掉那些重复的数据,重点保存分析异常的突发数据。

  颗粒化、非结构化数据也是物联网中大数据的一大特点。尽管这种特性的数据处理起来非常复杂,然而它们对系统作出正确的决策至关重要,因此解析非结构信息是不可忽视的重要环节。此外,还可以通过统一物联网架构设计,将非结构化的数据变得结构化,将不同系统之间不同结构的数据尽可能地统一。

  不同部门之间数据信息的共享有助于物联网发挥更大的价值,因此邬贺铨认为,虽然目前看来将电力、交通、工业等不同行业合为一个物联网不大可能,但是将不同行业的数据信息进行共享还是可行的。

  而对于大数据商业化进度相对滞后的问题,有专家认为,一方面物联网的发展需要业界加快对大数据应用模式和商业模式的研究,另一方面物联网的应用也有助于明晰大数据的商业模式,为大数据发展提供契机。