爱吧机器人网 » 技术 > 大数据 > 正文

大数据时代:要知道what 不是why

大数据 时代,资料数量比资料质量更重要。当资料进入天文数字时代,到底 大数据 有多大?其实不是那么重要,重点是在放大,扩大资料量等级,就能做出少量资料做不到的事。这是 大数据 的意义,你需要通过 大数据 告诉用户what,而不是why.

“什么是 大数据 ?”、“跟我有什么关系?”很多人第一次听到 大数据 ,心中一定会有这样的疑问。

《 大数据 》一书作者麦尔•荀伯格在千余名想了解未来趋势的观众面前,做了一场精彩易懂的演说,告诉了企业及民众,什么是 大数据 。

大数据 找出相关性

2009年,全球出现一种新的流感病毒H1N1,当时美国也无法幸免,疾病管制局(CDC)要求第一线的医师遇到H1N1流感病例,必须立刻通报。即使如此,通报速度仍总是慢一步,会晚1到2个星期。这样的时效让疾管局无法掌握真实情况,对症下药。

当时有几位Google 工程师在著名的《自然》科学期刊中发表了一篇论文。他们透过美国最常使用的前5000万个搜寻关键字,再与疾管局2003-2008年间的流感传播资料加以比对,用高达4.5亿种不同的数学模型,找出这些字出现的频率、时间及地点,有没有统计上的相关性(correlation)。最后被他们挖到宝了,这套软件找出了45个流感关键字眼,放进数学模型之后,预测结果与官方公布的真实资料吻合,有强烈的相关性。

Google 运用这套数学模型,再一次精准地掌握了流感发生的高峰及地区,让防疫工作同步进行,不落后。

再说另一例子,天文学来说,美国太空总署执行一项叫史隆数码巡天计划(Sloan Digital Sky Survey),从2000年开始,他们用位于美国新墨西哥州的天文望远镜去收集资料,计划开始不过几星期,收到的天文资料量就已超过了过去所有天文学历史的总和。到了2010年,这个计划收到了140TB 的资料量。但是接续的新计划,预计2016年登场,未来的巡天望远镜在5天内,就可收到这些资料量。

荀伯格说,当资料进入天文数字时代,荀伯格提醒:到底 大数据 有多大?其实不是那么重要,重点是在放大,扩大资料量等级,就能做出少量资料做不到的事。

举例来说,画一张马的图画,不是太难的事,但如果画了很多张马的图画,再以每秒24帧来呈现这些图画,就成了动画。这里要强调的是“量变”产生了“质变”,巨量就是这个道理,量的不同,也改变了本质。

what比why重要

量增加了,就出现另一项 大数据 的特色:乱(messy)。巨量资料的内容常是混乱不齐,质量不一。这是因为,巨量资料的收集过程中,它只要一个大方向即可,不需要讲究到一寸、一分。“这并不是说我们放弃了精准这件事,只是不再将精准奉为圭臬,”荀伯格说。

举例来说,我们要测量某个葡萄园的温度,如果整片葡萄园只有一支温度计,那这支温度计就要十分精准,不能故障,但也意味着它会很贵。换句话说,就是不能有任何杂乱或出错;相反的,如果我们今天在葡萄园里放了100支温度计去测温度,就可以用便宜一些,简单的温度计测出很精准的温度。

100支温度计代表的是量大,尽管其中几支可能不那么精准,但却可以收集到大量数据。比起只靠一支温度计来说,更可看到全貌,代表全体。那此时,一点杂乱就显得微不足道。

重点又来了,荀伯格忽然站起来向所有在场的观众说, 大数据 时代,资料数量比资料质量更重要。更不要为了一点点信息的偏差而影响了整体分析,想处理掉不精准的信息,成本会很高,也没有必要!

另一个有趣的例子是沃尔玛(73.54, 0.00, 0.00%)(Walmart),他们从庞大的交易记录上发现,在飓风来袭前,销量大增的不只是手电筒,还有一种美国小甜点 Top-Tarts,店家会在每次飓风来临前,把一盒一盒的 Top-Tarts放在风灾的必需品架上,方便急忙的顾客一次满足,“特别是草莓口味的,卖得最好。”

请注意,这里Walmart不去弄清楚为什么飓风时人们特别想吃Top-Tarts,而是把这个相关性找出来,直接采取更有利的营销动作。

荀伯格特别强调, 大数据 时代,what比why重要。

再举一个例子,发生在他朋友,也是 大数据 专家,任教于华盛顿大学的教授伊兹奥尼(Oren Etzioni)身上。2003 年时他想从西雅图塔机到洛杉矶参加弟弟的婚礼,他想愈早订票愈能买到便宜,几个月前他就买好了机票,也觉得买得很便宜。没想到他在航程中,出于好奇问了隔壁乘客买多少钱,何时买的。结果,一问之下,都回答最近才买,且都比他买得便宜,他十分生气。

下了飞机后,他决定去好好研究一下购买机票这件事。他发现,如果平均票价呈现下跌,买票就可以慢慢来;如果价格上扬中,你就要先订票,以免它水涨船高。

伊兹奥尼花了41天的时间去比对一旅游网站中超过12000笔的票价资料,他建立了一个模型,让模拟的消费者都省下了大笔的机票钱。在这模型里,消费者不懂“为什么(why)”,只知道“正是如此(what)”,消费者要决定现在是“买或是不买”。

后来这套模型发展出创业计划,他创了一个Farecast网站,消费者可以做出最佳判断,何时该买,还是不买。

大数据 与价值

当我们知道了 大数据 的特性,也找到了相关性,接下来就是靠着它创造出价值来。

美国西雅图有一家专门收集车辆实时定位的资料公司Inrix,它的资料来自上亿台的车辆。同时,它也推出手机 App服务,通过提供服务换取特定的司机资料,包括他们曾开车去的地方、天气及路况等。他们将收到的资料再出售给一家投资基金,该基金根据大型零售商场附近的路况推测业绩,在零售商公布季报前,抢先决定该买入或卖出。因为车潮就是钱潮。这就是价值。

上一页12下一页

上一篇:芝麻开门 大数据征信体系揭秘
下一篇:奔跑吧 移动与智能硬件大数据!
精选推荐
麻省理工又秀神技:推出如魔法般跳跃的方块机器人集群
麻省理工又秀神技:推出如魔法般跳跃的方块机器人集群

[2019-10-31]  几天前,小编向大家介绍过麻省理工(MIT)研发的一种自组装机器人集群(点此阅览),它们可以用统一标准的小单元自动组装出各种大型结构。 ...

苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展
苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展

[2017-12-11]  苹果隐秘的自动驾驶汽车项目多年来一直在转移焦点,但今年似乎正在加速。 4月份,公司获得了在加利福尼亚州进行自动驾驶汽车测试的许可证,而在6月份,苹果公司首席执行官库......

这个外科手术机器人可以为患者“量身定制”
这个外科手术机器人可以为患者“量身定制”

[2019-07-12]  世界首创,来自澳大利亚机器人视觉研究中心的研究人员正在推动手术机器人的发展边界,他们创造了可定制的、小型化的手术机器人,能够唯一地 ...

国外眼科手术机器人为视网膜静脉阻塞患者带来希望
国外眼科手术机器人为视网膜静脉阻塞患者带来希望

[2017-03-20]  视网膜静脉阻塞,简称RVO,对患者来说是一种严重的疾病。该病病因为视网膜静脉中存在血液凝块,这可能导致视力严重下降,在某些情况下,病 ...

谷歌宣布搜索算法重大升级,用BERT模型理解用户搜索意图
谷歌宣布搜索算法重大升级,用BERT模型理解用户搜索意图

[2019-10-26]  谷歌刚刚宣布,其搜索引擎的核心算法正在进行一项重大升级,这项升级可能会改变10%的搜索结果排序。此项升级应用了自然语言处理技术(BERT ...

Crossbar将电阻式RAM推入嵌入式AI
Crossbar将电阻式RAM推入嵌入式AI

[2018-05-17]  电阻RAM技术开发商Crossbar表示,它已与航空航天芯片制造商Microsemi达成协议,允许后者在未来的芯片中嵌入Crossbar的非易失性存储器。此举是在先进制造业节点的领先代工厂选......

美国人工智能公司Skymind进入福建全面开展业务
美国人工智能公司Skymind进入福建全面开展业务

[2017-12-11]  人工智能在当今这个时代对大家来说想必是非常熟悉的,这也是我国近十几年来一直追求的目标,未来的时间里这也将是全人类追求的目标。就目前来看,近年来,人工智能或在我国迎......

[2017-03-21]  虽然有很多关于机器人取代工人的担心,但哈佛经济学家James Bessen的论文指出,在过去的67年里机器人仅仅淘汰掉人类工作中的一个。在1950 ...

本周栏目热点

[2016-08-07]     著名物理学家霍金教授说,忘了黑洞吧,女人才是宇宙最大的谜。但,未来这个最大的谜题因为大数据分析的出现而揭开谜底。人工智能是大数 ...

网友在什么时候发朋友圈可以看出贫富差距?

[2016-08-30]   收入不平等、教育不平等这些名词你都不会陌生。现在有人希望通过分析Instagram上图片分享的地理定位数据来告诉你什么叫做——社交 ...

[2018-07-23]  随着信息技术在各个领域的全面应用,数据的种类、数量、速度和价值都出现了显著变化,一个大规模生产、分享和应用数据的时代已经开启。...

个人征信机构静待发令枪响 业内:大数据并不便宜

[1970-01-01]   个人征信牌照发放在即。近日,《每日经济新闻》记者从多家机构获悉,央行对征信机构的验收工作已经收尾 ...

数据开放的经济学分析

[1970-01-01]   2009年美国启动开放政府计划,开启了国际政府机构以数据开放展开数据与信息分享的重要议题,在世界范围 ...