互联网被认为是二十世纪人类最伟大的发明之一，数十年间，它迅速影响着我们每个人的生活方式，甚至思维习惯。如今，另一个新事物——大数据的诞生，被称为是继互联网之后的又一次IT革命。大数据无处不在，当你晚上打开电视看巴西世界杯时，当你拿着手机玩《刀塔传奇》时，当你用快的软件叫一辆出租车时，无形的数据已经围绕你形成了一个流通的气场。大数据到底是什么？就是人们对海量的数据进行收集、挖掘和运用，并从中创造出不可估量的价值。2014年虽不是大数据元年，但在这一年里，大数据的普及和运用都达到了前所未有的高度
大数据浪潮兴起
基于互联网技术的蓬勃发展，大数据浪潮的兴起显得势不可挡，如同一种新生能源，物联网、智能手机、可穿戴、智能硬件等技术设备将让数据成几何倍数增长。思科预测，到2016年全球网络连接的数量将接近189亿，人均拥有2.5个连接。IDC则称，到2020年全球将拥有35ZB(1ZB=1万亿GB)的数据量。据统计，2013年，全球人类每天产生的数据就达25PB，这相当于1500家国家图书馆的全部信息量之和。可以说，作为数据的生产者，个体正推动着大数据时代的到来。
在成为生活要素的同时，大数据也开始具备资产属性，融入到政府、金融、消费、医疗等各个领域。据悉，美国已经将大数据战略上升为国家战略，并将对数据的占有和控制视为陆权、海权、空权之外的第四种国家核心资产。“大数据”也在2014年首次被写入中国的《政府工作报告》，《“十二五”国家战略性新兴产业发展规划》提出支持海量数据存储、处理技术的研发与产业化。广东、上海等地则在筹划大数据管理局，更多的地方政府也在筹划大数据产业集聚区。
与此同时，“拥抱”大数据成为不同行业发展的统一宣言。“用手机软件测量个人运动量，每天记录运动消耗和心跳等。对于保险公司而言，看到的是生命周期表不再是固定的65年标准模式，而是每天多参与运动，生命周期表就多变化。”天云大数据首席执行官雷涛在日前举行的“2014中国大数据国际高峰论坛”上表示，建立在概率理论基础上的保险，与大数据在某些方面可以称得上一脉相承，事实上，目前在越来越多的金融领域，都能看到大数据的应用。
麦肯锡此前的一份研究显示，金融业在大数据价值潜力指数中排名第一。银行、证券、保险、信托、直投、小贷、担保、征信等金融，以及P2P、众筹等新兴的互联网金融领域，正在利用大数据进行一场新的革命。
一些金融机构已经开始摸索出自己的一套大数据运用方法。摩旗投资管理有限公司董事长刘宏表示，摩旗有自己的一套工具，每天24小时从互联网上收集各类信息，包括财经网站、券商网站、新闻报道、评论、论坛帖子、博客、微博等，收回来之后就放在公司的服务器上做图片。
“公司一直在演变一套算法，从里面提取对投资有用的东西。”刘宏透露，基于此的投资从今年春节以后真正开始，这个项目给他带来的感触很深，针对互联网信息如何进一步挖掘，将成为公司未来一个重要的研究项目。
对此，行业人士指出，大数据不仅将让IT行业迎来新的黄金时代，更将颠覆各行各业的竞争格局。未来，大数据的发展更是被寄于厚望。权威机构分析，未来5年全球大数据市场拥有广阔的发展前景，复合年增长率将达到58％，其市场盈利将由2012年的50亿美元增长至2017年的500亿美元。
大数据跨界应用
正如上文提到大数据在金融领域的应用，当下，在几乎所有行业领域内，都可以看到大数据的身影。进入2014年以来，大数据更是受到各界广泛关注，已渗透到金融、医疗、消费、电力、制造以及几乎各个行业，大数据的新产品、新技术、新服务也正在不断地涌现。
近日，一则全国十大“最堵”城市的新闻引发热议。新闻源自高德地图发布的《2014年第二季度中国主要城市交通分析报告——市民躲避拥堵出行建议》，报告显示上海、杭州、北京、重庆、深圳、广州、福州、沈阳、成都、济南依次为最拥堵的前十个城市。实际上，这份报告也是基于大数据。
据悉，该报告以浮动车为主要数据来源。浮动车即为从行业方面获取数据，高德每日接收32万量出租车所提供的数据，这已经达到全国出租车总量的30％以上，可以获得城市交通的真实状况。同时高德还跟交通部相关的政府部门合作，每日还接收200多万辆物流车和客车的数据，从而获得城市道路的一手数据。
统计下来，以单个用户为基础，再加上高德地图、高德导航的3亿用户作为整个数据蓝本，并配以浮动车数据为佐证，这才形成了最“接地气”的动态躲避拥堵城市出行方案。
中国内地刚刚开始利用大数据发现问题，国外据此已经提出解决问题的方法。记者了解到，新加坡陆路交通管理局一天平均可以收集超过1300万个易通卡交易资料，这些庞大资料每天都被传输进陆交局的陆路交通网络规划系统(Planning
for
Land
Transport
Network，简写为PLAN－ET)，方便专家监督和改善巴士与地铁系统。PLANET也因此成为当地最大的政府数据库。
新加坡陆交局创新资讯与通信科技代副署长翁耀忠透露，新加波政府就是参考了PLANET的数据分析后，才推出改善巴士服务计划:“每当乘客使用易通卡时，PLANET
便会收到地点和时间等资料。PLANET让我们知道公共交通系统在什么时段，什么地方最拥挤，我们便会根据分析，增加巴士或地铁趟次，让乘客不用等那么久。我们也会在陆交局的网站上公布一些交通信息，让公众能避开繁忙地点和时段。”
此外，新加坡卫生部在旗下政府医院推行的电子医疗记录(Electronic
Medical
Healthcare
Records)也是大数据的应用例子之一。据悉，该电子医疗记录综合了病人的所有资料，如病情、求医次数、处方、药物产生的副作用等。新加坡卫生部还召集了各医院、卫生科学局、国大、南大等机构的专家，一起分析所获得的数据，帮助政府制定卫生与保健政策。
新加坡国大苏瑞福公共卫生学院张毅颖副教授表示:“大数据将彻底改变整个医疗概念，从目前的医生主导转向个人主导。简单来说，大数据分析就是学习许多人的经验，并把它运用在个人上。一个出名的例子就是美国女星安吉丽娜·朱莉，她从数据中知道自己患癌概率很高，因此便主动进行预防性的双乳房切除手术以降低罹癌风险。一名普通人现在可以通过手机检测身体状况，这些资料也会实时传给他的医生。一旦身体出现某些危险状况时，医生就会知道，可以马上进行治疗。”
除了上述在公共服务领域的应有，大数据背后隐藏的商业价值也正在不断被挖掘出来。营销人士表示，借助海量数据的分析利用，能有效帮助企业实现市场动向预测，帮助有效支持市场活动各个阶段的不同商业行为决策，还能够实现追踪消费者行为，并对其心理甚至下一步行为实现相对精准的预测，产生更好的用户体验，满足目标消费者的多元化需求。
尤其是体育赛事中，大数据的应用已很常见。比如，在今年的巴西世界杯中，腾讯通过IBM的大数据分析、云计算等技术提供社交、移动等数据分析，跟踪并“解析”球迷心理，产出更易引发用户共鸣的优质内容，来为用户打造新的体育观赛体验。
链接
上海打造“大数据开放日”推动资本布局创业团队
自今年起，上海将把每年的11月1日打造成中国的“大数据开放日”，并积极吸引、推动各类资本布局大数据创业团队。
作为“1101中国大数据开放日”的主体活动，2014数据中国产业创新峰会暨首届最具投资价值排行榜发布将于11月1日在上海举行。参加此次评选的创业公司及团队的报名活动也从即日起启动。
根据中央对上海科技创新工作提出的定位、目标和要求，上海要向建设成为具有全球影响力的科技创新中心迈进。要达到这一目标，就要以开放的格局掌握世界科技的前沿动态，顺应世界科技的发展潮流，聚焦优势创新资源，力争在重点领域取得突破。而大数据无疑是其中重要的抓手。
为促进大数据产业的发展，作为此次峰会主办方的上海大数据产业技术创新战略联盟将通过线上和线下的联动活动，举办大数据科学家训练营，发布《2014中国大数据产业年鉴》，构建中国大数据产业图谱。并通过创建中国大数据最具投资价值排行榜，寻找大数据最具潜质的创新力量，搭建嫁接大数据领域创新力量与潜在资本的标杆平台。
众人科技创始人谈剑峰表示，本次活动亮点之一是将全面盘点大数据产业情况，深度挖掘大数据时代里的创新力量，探索大数据安全解决之道，让资本对接创意，让数据创造价值，让安全护航创新，从而培育出互联网时代里的下一个颠覆力量。也许下一个马云就将出现在2014年中国大数据最具投资价值排行榜的榜单里。
据介绍，由宽带资本董事长田溯宁、北极光创投创始人邓锋、启明创投创始人邝子平、中路资本董事长陈荣、真格基金创始人徐小平等10位专注于大数据领域的国内著名投资人和投资机构以及国内领先的信息安全技术企业众人科技创始人谈剑峰等业界大佬组成的私董会，将全程参与峰会并评选出首届中国大数据最具投资价值排行榜。
大数据面临诸多挑战
在为人类发展提供新机遇的同时，不容回避的是，大数据发展也面临许多挑战。数据垃圾、数据安全、数据封闭等问题，都是业界认为可能会阻碍大数据正常发展的不利因素。
“随着大数据的应用，个人隐私也面临着前所未有的挑战。”国泰安金融教育集团执行总裁王春雷表示，更多关于大数据的课题，需要更深入地进行研究、探讨和交流。对此，有行业人士指出，大数据来源于人们日常生活之中，包括网页浏览记录、购物信息、聊天信息以及会员资料填写等方方面面，这些信息原本并不涉及隐私，但是多种信息整合之后再经由分析所得出的结论就难以保证不涉及隐私问题。
事实上，在某些领域，数据“裸奔”、个人隐私安全被忽视的现象早已屡见不鲜。8月初，媒体报道，警方破获一起互联网网络信息泄露案，犯罪嫌疑人利用技术手段破解快递公司网站后台，获取1400万条快递用户信息后非法出售牟利，网上售价仅为1000余元。
犯罪嫌疑人交代，通过快递公司官网漏洞，破解登录用户名及密码之后，就能轻易进入网站后台，然后再通过工具对网站数据库中保存的用户资料进行窃取。除了快递编码外，还详细记录着收货和发货双方的姓名、电话号码、住址等个人隐私信息，而拿到这些数据仅用了20秒的时间。
近年来，电商的发展带来快递行业的突飞猛进，也使得快递公司成为继互联网巨头之后拥有用户个人真实信息数量最多的角色之一。目前，顺丰快递已经开始利用大数据布局O2O业务，即通过对某个区域的订单结构分析，针对性建店和上架商品。
但是在行业飞速发展的同时，数据安全往往成为电商企业忽视的一环。快递行业数据安全防护水平普遍较差，如网站漏洞多、修复不及时、运维人员安全意识薄弱等方面。而造成这种问题的主要原因是:因绝大多数快递公司没有专业安全运维团队，甚至没有对网站做基本的安全防护，有的快递公司网站干脆委托给外包公司运营。
据了解，有的快递公司也会要求安装防火墙，甚至上线安全系统，但对于快递公司而言，这是很大的成本。由于目前行业平均利润率只有10％左右，各个快递公司也只是象征性地购买一些便宜的防火墙软件，至于互联网公司常用的数据防泄露技术，大部分快递公司更不会考虑。
根据统计表明，除了快递行业，国内医疗卫生、教育培训、旅游酒店、生活房产、人才招聘等行业的网络安全问题也尤其严重，这些行业网站存在漏洞和被植入后门的比例都相对较高，而且也是黑客重点攻击的目标。
数据“污染”被认为是数据泄露现象之后的又一大问题。武汉大学计算机学院院长胡瑞敏说，目前全球数据以每两年翻一番的速度倍增，2007年全球传感器获取的数据超过了存储总量，也就是说，要获取一些新数据就必须丢掉旧数据，这导致大数据存储成本高。
中国科学院院士李德仁认为，大数据“污染”较重致使其“查不准”。他说，大数据来自测量数据、记录数据和科学计算数据。前两类误差较大，需有效“清洗”，就像从矿石中“炼金”一样，才能确保查得准。
数据清洗也将成为数据服务提供商的竞争核心之一。“收集的数据中肯定会有一些'废料'，我们这款软件可以进行清洗，确保数据分析的准确性，避免产生数据陷阱。”一家数据服务提供商的客户经理在向记者介绍其公司的一款针对券商的数据分析软件时重点强调。
如何掘金大数据？
在许多传统行业着力打造大数据分析工具时，一些企业更加“激进”，甚至抛弃老本行，转投大数据的怀抱，成为专业的数据服务提供商。如何挖掘数据的价值，让数据转化为实实在在的回报，是未来大数据服务提供商们的核心竞争力所在。
8月24日，曾经的高端餐饮连锁湘鄂情发布公告，表示将全面剥离餐饮业务转向大数据新媒体，公司名称及证券简称由此前的“湘鄂情”正式变更为“中科云网”，英文简称CLTG。公告表示，公司名称变更后，公司主要经营范围变更为中餐；零售酒、饮料、烟；农业科技、电子信息技术、生物质气化产品技术开发、计算机软件设计、计算机系统服务等方向。
餐饮与互联网，这两个看上去风马牛不相及的行业，就这样开始了转化。湘鄂情2013年财报显示，当年营收8.02亿元，同比下降41.19％；净亏损5.64亿元，是历史上亏损最为严重的一年。显然，转型经营大数据，似乎是公司“求生”的一个慎重尝试。
“去年一年多时间，湘鄂情转型经过几次尝试，终于与大数据产业结缘，是因为这个产业有巨大的价值，还是一片蓝海，未来我们将主要在这个领域深耕，公司将从餐饮企业转变到大数据应用的互联网产业。从这个转型的脉络来看，公司真正的转型只有一次，就是从餐饮企业转变到一个互联网科技企业了。”中科云网董秘李漪对媒体表示。
对此，市场上的质疑声从未间断，正如罗永浩从新东方英语老师跨界做锤子手机一样，这些看似门外汉脑门发热的“疯狂”举动，极易受到鄙视。“门外汉”的标签不等于失败，是否有能力应对大数据的考验，才是衡量判断的标准，当下，对大数据的理解和未来运用上，业内也存在着诸多不同的声音。
近日，为满足企业用户对实时分析的迫切需求，英特尔与SAP结合彼此在计算力和数据分析应用上的优势，共同打造了大数据实时分析平台。记者了解到，英特尔和SAP的经营定位，一个是全球计算力创新引导者，一个是大数据实时分析领域的领先企业。
“继海量复杂结构数据的存储、清洗、处理、查询和基本的分析功能在开放架构开源平台上得以实现后，对这些数据价值的深度挖掘，特别是实时的分析和挖掘就成了企业用户迫在眉睫的需求。”英特尔(中国)有限公司数据中心及云计算业务产品市场总监贺晓东表示，通过实时分析技术，可以获得更快的大数据分析速度以及更精准的分析结果，来辅助和支持企业更加高效的做出商业决策。
实时分析已经成为当下大数据产业的发展潮流之一。据悉，惠普近两年就动用了数百亿美元收购相关软件企业，开发VerticaAnalytics平台，让用户能够大规模实时分析数据。
关于大数据实时分析的意义，来自美国的数据服务提供商——Datawatch亚太区执行总裁Karl
Mouantri
表示:“静态的数据是有他存在价值的，但不足是在于当我们拿到静态数据的时候已经是过时了，已经是旧的数据。而大部分的时候我们需要的是即时的数据，所以用传统方式无法满足大部分的需求。我们要的不仅仅是企业内部的数据，更加要得是公司外的、行业里的，正在发生的数据。”
在追求更加高效的数据处理方式的同时，如何让数据更加直观的呈现出来，也是数据服务提供商正在需求创新的方向。据此，行业内提出了“数据可视化”的概念。“中文里有句话叫一图胜千言，只要看图就能了解到关键信息，这是在推实时分析之外，我们公司大数据服务的另一个特色。”Karl
Mouantri表示。
显然，大数据的“大”不仅仅指的是数据收集量大，真正体现竞争力的是所搜集数据的维度足够“大”。国内数据服务提供商晶赞科技CEO汤奇峰指出:“更加全面的数据维度，才能够更好将数据打上标签整理分类，在相应的维度分析上进行更加合适的产品投放。”他表示，如何打破各自的数据壁垒，将各行业各企业手中的数据资源进行整合和互通，提供更加精准和有效的数据服务，是大家面临的共同挑战。