爱吧机器人网 » 技术 > 大数据 > 正文

是什么卡住了大数据应用的发展?

是什么卡住了大数据应用的发展?

要想考察大数据最好同时考察大数据背后的技术、商业和社会维度。从发展成熟度来看,技术维度走的最远、商业维度有所发展但不算全面成熟,社会维度发展最差。所以虽然已经谈了很久大数据,但除了孕育出大数据自身的几个领域比如搜索等,其它领域却并没有从大数据中获得可见的收益。大多时候人们还是处在觉得这里肯定有金子,但需要更多的耐心的状态。这篇文章则尝试对大数据本身的特征做点挖掘,对未来的发展趋势做点预测。

大数据上的深度和广度

如果把大数据对应到海量的数据,那它就是非常含糊的概念,相当于变成信息的同义词,显然也就很难回答信息到底能干什么这样的问题。

这时候为了推进思考通常需要先分类。如果把时间空间作为最基本的视角,那首先要区分的就是大数据的深度和广度。从时间的角度看大数据是完整的历史,从空间的角度看大数据是全球活动的痕迹。前者可以看成一种深度,后者可以看成一种广度,不同的场景对深度和广度的侧重有所不同。

对于有些垂直的行业,比如医疗,大数据的深度更重要,所有的历史都可以在数据上找到之后,人们就可以更好的认知并优化相应的行业。

对社会而言,很多时候广度则更重要,具体到某个场景我们只有一鳞半爪的消息,但当这种信息足够多,范围足够广,就有可能描述出相对及时的全貌。经常举的Google预测传染病的例子依赖的就是这种广度。

这点决定了大数据的应用发展趋势,在深度重要的地方,公司这类组织需要成为主体,困难是如何跨越数据所有权的边界。对于医院而言,显然把所有治疗案例数据化并共享是有好处的,但如果只有一个医院这么做,那对这一家医院而言更多的可能是隐私上反弹所带来的坏处。

在广度重要的地方,虽然在搜索这样的领域里公司也可以受益,但真正可以从大数据全面受益的机构其实是政府。数据越广,其所描述的主体就越大,而如果描述的是整个社会,那显然应该是社会的主要责任人会从中受益。这是个常识问题,就和看病的时候不会吃了医生给别人开的药自己反倒好了差不多。有的时候央视会播放百度做的春节期间人员流动图,这件事情也正好可以从侧面说明这问题——这种人员流动地图对能做出地图的人公司帮助,远没有对政府的帮助大。

简单总结下就是:深度和广度两个方向对数据的要求不同,前者需要更为详劲有质量的数据源,后者则对此要求不高,但两者在应用的时候都会面临付出与回报不对等问题。大数据倾向于描述整体,而有能力收集或处理大数据的往往是个体,个体的回报在整体的提升中并不容易获得清晰体现。

所以说现在大数据发展的瓶颈不是技术,而是背后所需要的分配关系的建立。这种关系理不顺,数据就会停留在孤岛层面,每个组织都有自己的东西,并把它命名为“大数据”。而为了理顺这种关系则要回到一个非常经典的问题,“公地”到底可不可以建立。

数据公地的设想

大数据其实有点像公地,在经济学里非常出名的一个论点是公地悲剧。《美国经济史》举了一个非常易懂的例子来说什么是公地悲剧:

……这些经济推理命题有利于解释集体所有制和产出的共享(平分或固定份额)如何导致“免费搭车者”问题。为了说明这一点,考虑共享土地所有权,且共同生产了100蒲式耳玉米的10个工人,平均每人消费10蒲式耳玉米。假设一个工人开始偷懒并将其劳动努力减半,从而导致产出减少5蒲式耳。由于产出共享制度的安排,偷懒者的消费量和其它工人一样,现在都是9.5蒲式耳。尽管他的努力已经下降了50%,但他的消费量只下降了5%。偷懒者是在搭他人劳动的便车……

这背后有非常深刻的人性问题,即使我们可以通过努力协作创造更多的财富,个人也可以从中分享更多,但在群体里明显的个人倾向则是自己工作更少但分享更多。这与囚徒困境其实是相通的。

基于实物的世界里眼下看不到彻底解决这问题的方法,只能依赖于某种被大家基本认可的分配秩序,比如:以前的血统现在的物竞天择,但基于比特的数字财富眼下看却有解决这问题的可能。

基于比特的数据与实物最大的区别是数据并非是“你拿走我就没有”的东西,并且硬件的价格在飞速下降,开源又使数据的访问工具基本免费。这几者叠加在一起,使数据公地成为可能。

这里面很有意思的问题是,如果大家更在意我拿到的东西是不是绝对值变大了,那数据公地的形成可能性就大些,因为如果存在数据公地,那每个人(企业)一定收获更多,但如果大家更在意我是不是比你多,那数据公地的建设就会多很多障碍,因为公地其实是让相关人员站到同样的竞争起点上。

大数据的问题,在数据的使用上是技术问题,但在数据源上其实是社会经济问题,后者更难,所以大数据应用的发展不取决于技术的发展,而取决于社会经济方式的变革速度。在有限的领域里,比如搜索、电商、云计算,技术已经得到比较充分的发展,眼下来看谁付出谁受益的问题是把小数据变成大数据过程中最主要的问题。

大数据的路往那里走?

数据的内在发展动力是数据越全价值越大,其实这也是一种网络效应,这种内在动力导致宏观来看数据所有权的发展只有两种趋势:

一种是像现在移动端一样,每个人都有自己的私有数据源,接下来开始你死我活的竞争,最终有一家活下来,这也可以达成数据统一的终极目标就;

另一种则是在竞争中开始联合,建设上面所说的数据公地。

如前所述行业数据和全社会的数据性质上差别很大,所以要分开来探讨。

上一页12下一页

上一篇:大数据市场规模5年将达8000亿 交易平台忙
下一篇:婚外情网站泄密资料被绘成出轨地图
精选推荐
可编辑神经网络,有望简化深度学习?
可编辑神经网络,有望简化深度学习?

[2019-10-04]  深度学习是一个计算繁重的过程。 降低成本一直是 Data curation 的一大挑战。 关于深度学习神经网络大功耗的训练过程,已经有研究人员 ...

2018年企业数字化转型的五大趋势
2018年企业数字化转型的五大趋势

[2017-12-16]  据2016年哈佛商学院研究表明,选择进行数字化转型的企业在3年内表现出了55%的平均毛利润提升,相比之下其他企业毛利润同期降低了37%。数字化转型企业的领头羊,也曾是收入处于......

人工智能准确预测患者一年内的死亡风险,原理却无法解释
人工智能准确预测患者一年内的死亡风险,原理却无法解释

[2019-11-13]  图片来自BURGER PHANIE SCIENCE PHOTO LIBRARY美国最新研究显示,人工智能通过查看心脏测试结果,以高达85%以上的准确率预测了一个人在一 ...

国外眼科手术机器人为视网膜静脉阻塞患者带来希望
国外眼科手术机器人为视网膜静脉阻塞患者带来希望

[2017-03-20]  视网膜静脉阻塞,简称RVO,对患者来说是一种严重的疾病。该病病因为视网膜静脉中存在血液凝块,这可能导致视力严重下降,在某些情况下,病 ...

亚马逊CEO杰夫·贝佐斯操控巨型有人驾驶机器人(巨型机甲)
亚马逊CEO杰夫·贝佐斯操控巨型有人驾驶机器人(巨型机甲)

[2017-03-21]  近日,亚马逊CEO杰夫·贝佐斯实现了每一个6岁儿童都会有的梦想,他控制了一个巨大的机甲机器人。据国外媒体Verge报道,前天(3月19日),贝 ...

机器人工程师具体都做什么?
机器人工程师具体都做什么?

[2017-12-08]  机器人工程师是幕后设计师,负责创建机器人和机器人系统,能够执行人类无法完成或不愿意完成的任务。 通过他们的创造,机器人工程师帮助工作更安全,更轻松,更高效,特别是......

智能机器人困惑的时候知道该问什么问题
智能机器人困惑的时候知道该问什么问题

[2017-03-20]   照片:Nick Dentamaro 布朗大学 上周,我们提到了麻省理工学院的一些研究,即通过链接人的大脑来帮助机器人在他们将要犯错误的时 ...

麻省理工正研究植物机器人 让植物自主控制机器人
麻省理工正研究植物机器人 让植物自主控制机器人

[2018-12-08]  控制论通常指人类用机器人部件增强自己。我们听说过动物机器人或昆虫机器人,但我们很少听说植物机器人对吧?一个机器人其实是对植物有很大益处的,因为一般植物根本无法移动......

本周栏目热点

做为一名大数据新手 应该通过这篇文章了解大数据

[2018-07-23]  一、大数据是什么?大数据,big data,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进 ...

BAT大数据野心:数据生产全链条浮现

[2016-07-12]   本报记者 周慧 北京报道导读以BAT为代表的中国 互联网 企业,在数据领域各有千秋,百度的搜索数据、阿里的电商数据、腾讯的社交数 ...

为什么说发展大数据是有道理的

[1970-01-01]   近日,习主席考察贵州时提到:贵州发展大数据确实有道理。那么为什么说发展大数据是有道理的?从历史的 ...

《时代周刊》:用形象化的老办法对付大数据

[1970-01-01]   《时代周刊》最新一期封面文章称,我们每天被数据海洋淹没,只有让冷冰冰的数据形象化,变成看得见摸得 ...

从Facebook社交媒体情绪实验看大数据道德困境

[1970-01-01]   今年曝光的Facebook私自进行社交媒体用户情绪实验的新闻引起了不小的争议,这把很多数据实验卷入到社会 ...