大数据的未来之路-大数据-技术-爱吧机器人网

到了2020年，人类一年所产生的数据将是1000个谷歌或10000个百度，在数据化生存时代，企业要做哪些准备？

在大数据启蒙阶段，《大数据时代》作者、牛津大学教授维克托·迈尔·舍恩伯格曾应邀去多家中国著名企业宣讲过大数据带来的变革；最近一年，各类大数据方案企业也开始越来越多地谈论大数据技术的实现。

今年夏季，在腾讯举办的大数据论坛上，腾讯高管与来自全球最顶尖的学者热烈地讨论着大数据的各种迷思——隐私、互联互通和数据交易。在最近一个大数据的活动中，大数据开源技术Hadoop之父Doug Cutting以及大数据链条上掌握着命脉的“原油型”公司——英特尔和Cloudera的牛人们再次聚首。

数据化生存

IT行业的“指数效应”威力惊人，比如，IT的基石芯片行业有个摩尔定律，每18个月芯片上集成的晶体管数会翻番，由此会带来一系列指数式连锁反应——CPU的性能翻番，芯片的成本折半，功耗也会折半。这也就是大家为什么看到电子产品快速降价的根本原因。

市场调研公司IDC认为，大数据行业也有“摩尔定律”。英特尔中国研究院院长吴甘沙非常认同这个说法，他曾是英特尔中国研究院首位“首席工程师”，主持大数据研究。“如果说摩尔定律是我们所在的指数社会的基因，那么大数据就是指数社会的蛋白质。”吴甘沙说。

有人说大数据是新的原材料、新的原油、新的资产，甚至是新的货币，而吴甘沙认为，人类现在的生存就是一场数据化生存。人类社会的各类设备在不停地感知、传输、存储数据。今天，人们认为谷歌可能是最大的数据拥有者之一，但按照指数增长规律，到2020年，一年所产生的数据将是1000个今天的谷歌或10000个百度。

“我们看到数据和计算能力在过去15年间一直呈现指数级增长，这种增长给我们带来了根本性变化——不能再看单独的数据，而是把全部数据放在一起来考虑，来描绘出对人、企业或是业务的高清晰图像。” 大数据之父Doug Cutting说，“这件事是一个革命性、阶段性的变化。”Doug Cutting是开源技术世界中一个很具影响力的人物，他打造了目前在云计算和大数据领域里如日中天的开源技术Hadoop。他是Apache 基金会主席，也是大数据平台企业Cloudera的首席技术官。

大量、快速增长的数据需要实时储存、整合和分析，过去的IT架构已经无法应付，这就促成了一种名为Hadoop开源新架构的诞生，这是个可以无限扩容的分布式计算结构。

在这个无限扩容开放式架构的发展大势下，IT业界才倡导了“软件定义基础设施”的趋势，把计算、存储和网络做成开放式的标准模块，降低设施的门槛；在基础设施之上，推动开放、可信数据处理平台Hadoop；在此之上，推动整个生态圈的创新，实现各类分析应用，把高级分析功能平民化，使得它能迈入主流市场，实现规模经济。

数据咖啡馆

腾讯高级副总裁汤道生曾请教欧洲信息哲学创始人、牛津大学教授Luciano Floridi一个困扰腾讯大数据应用的问题——数据如何互联互通，这对于发挥数据的价值至关重要。

现在，数据已成为各个组织的商业资产，数据交换成为一个挑战。Luciano以人类早先对石油资源的应对方式进行类比：挪威当年建立了复杂的综合体系去处理自然资源，从而让整个人群受益。现在，政府和手握数据的企业也有责任去摸索一个综合体系，把数据的价值扩大到广泛的人群。

在英特尔，吴甘沙他们也正在开展“数据安全流通以及定价”这样的研究。英特尔有一个研究平台，叫做“数据咖啡馆”，意思是希望这个平台能像咖啡馆那样起到“汇聚”作用，汇聚不同领域、不同企业的数据，一起来产生新的价值。这里面需要大量的核心技术，例如，顶层的多方安全计算、数据审计及定价等。

英特尔与美国癌症研究机构开展合作。癌症是一个典型的长尾病症。过去50年来，癌症的治愈率仅仅提升了约8%，这是因为研究机构拥有的基因组样本太少了。如果通过“数据咖啡馆”把基因组样本聚合起来，就能期待癌症技术获得突破。而聚合就需要数据交易。

在某种程度上，目前的数据是论斤按两来交易的，因为数据的价格很难衡量与预测。“在这样一种数据不易定价的情况下，我们的理念是先用起来，在使用过程中去发现它的价值。”吴甘沙说。

在英特尔宏大的愿景中，希望在2020年之前，一天之内能完成三件事：对病人进行全基因组测序，锁定癌症的相关基因，形成个性化的用药以及修复方案。现在癌症很难治愈的原因是新药更新速度赶不上癌细胞的变化速度，有了大数据技术，癌症治愈率将指日可待。

数据交易只是英特尔在大数据研究上的重要方向之一。英特尔的其他重要研究领域还涵盖两个重要领域：数据与机器的关系——什么样的可扩展架构能更好地存储和处理数据；人和数据之间的关系——什么样的分析工具能增强人的分析能力。

以往，在英特尔，1～3年的事由产品部门来做，3～5年的由英特尔研究院来做，5～8年的与大学合作研究。但在这样一个不可预测的时代下，英特尔把对“ 大数据 ”的研发周期进一步缩短，与大学合作研究的技术也希望尽快推向市场，像Spark、集成了数据分析及交换的Datahub，内存数据库H-Store、可视化、深度学习（Deep learning）等。