爱吧机器人网 » 技术 > 大数据 > 正文

中国大数据行业面临的五大挑战以及应对策略

2012年美国大选,奥巴马因数据整合而受益。在奥巴马的竞选团队中有一个神秘的 数据挖掘 团队,他们通过对海量数据进行挖掘帮助奥巴马筹集到10亿美元资金;他们通过 数据挖掘 使竞选广告投放效率提升了14%;他们通过制作“摇摆州”选民的详细模型,每晚实施6.6万次模拟选举,推算奥巴马在“摇摆州”的胜率,并以此来指导资源分配。奥巴马竞选团队相比罗姆尼竞选团队最有优势的地方:对 大数据 的整合。奥巴马的 数据挖掘 团队也意识到这个全世界共同的问题:数据分散在过多的数据库中。因此,在前18个月,奥巴马竞选团队就创建了一个单一的庞 大数据 系统,可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、社交媒体,以及“摇摆州”主要的民主党投票人的信息整合在一起,不仅能告诉竞选团队如何发现选民并获得他们的注意,还帮助数据处理团队预测哪些类型的人有可能被某种特定的事情所说服。正如竞选总指挥吉姆·梅西纳所说,在整个竞选活中,没有数据做支撑的假设很少存在。

2012年3月,美国奥巴马政府宣布投资2亿美元启动“ 大数据 研究和发展计划”,将“ 大数据 研究”上升为国家意志。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分。国内 智慧城市 建设目标之一就是实现数据的集中共享。

因此,从社会、国家领域而言,我国亟须在国家层面对 大数据 给予高度重视,特别需要从政策制定、资源投入、人才培养等方面给予强有力的支持;另一方面,建立良性的 大数据 生态环境是有效应对 大数据 挑战、用好 大数据 的主要出路,需要 科技 界、工业界以及政府部门在国家政策的引导下共同努力,通过消除壁垒、成立联盟、 大数据 质量标准、建立专业组织等途径,建立和谐的 大数据 生态系统。

力推合作共赢的商业模式

随着 云计算 、 大数据 技术和相关商业环境的不断成熟,越来越多的“软件开发者”正在利用跨行业的 大数据 平台,打造创新价值的 大数据 应用,而且这一门槛正在不断降低。因为首先,数据拥有者能够以微乎其微的成本获取额外的收入,提高利润水平;其次, 大数据 设备厂商需要应用来吸引消费者购买设备,发展合作共赢的伙伴关系势必比单纯销售设备要有利可图,一些具有远见的厂商已经开始通过提供资金、技术支持、入股等方式来扶持这些“软件开发者”;第三,行业细分市场的 数据分析 应用需求在不断加大,对于整个 大数据 产业链来说,创新型的行业数据应用开发者必将是未来整个 大数据 产业链中最为活跃的部分。

未来,有三种企业将在” 大数据 产业链“中处于重要地位:掌握海量有效数据的企业,有着强 大数据 分析能力的企业,以及创新的“软件开发者”。社交网络、移动 互联网 、信息化企业、电信运营商都是海量数据的制造者,Facebook公司手中掌握着8.5亿用户,淘宝注册用户超过3.7亿,腾讯的微信用户突破3亿,这些庞大用户群所提供的数据,正在等待时机释放出巨大商业能量。可以预测,在不久的将来,Facebook、腾讯、电信运营商等海量数据持有者或者自我延伸成为 数据分析 提供商,或者与IBM、ZTE等企业密切对接成为上下游合作企业, 大数据 产业链将在某个爆发时点到来之际,以令人惊讶的速度成长壮大。

大数据 的杀伤力 需防患于未然

大数据 时代,传统的随机抽样被“所有数据的汇拢”所取代,人们的思维决断模式,已可直接根据“是什么”来下结论,由于这样的结论剔除了个人情绪、心理动机、抽样精确性等因素的干扰,因此将更精确、更有预见性。不过,由于 大数据 过于依靠数据的汇集,一旦数据本身有问题,就很可能出现“灾难性 大数据 ”,即因为数据本身的问题,而导致错误的预测和决策。

大数据 的理论是“在稻草堆里找一根针”,而如果“所有稻草看上去都挺像那根针”呢?过多但无法辨析真伪和价值的信息和过少的信息一样,对于需要作出瞬间判断、一旦判断出错就很可能造成严重后果的情况而言,同样是一种危害。“ 大数据 ”理论是建立在“海量数据都是事实”的基础上,而如果数据提供者造假呢?这在 大数据 时代变得更有害,因为人们无法控制数据提供者和搜集者本人的偏见。拥有最完善数据库、最先接受“ 大数据 ”理念的华尔街投行和欧美大评级机构,却每每在重大问题上判断出错,这本身就揭示了“ 大数据 ”的局限性。

不仅如此, 大数据 时代造就了一个数据库无所不在的世界,数据监管部门面临前所未有的压力和责任:如何避免数据泄露对国家利益、公众利益、个人隐私造成伤害?如何避免信息不对等,对困难群体的利益构成伤害?在有效控制风险之前,也许还是让“ 大数据 ”继续待在笼子里更好一些。

大数据 的经济价值已经被人们认可, 大数据 的技术正逐渐成熟,一旦完成数据的整合和监管, 大数据 爆发的时代即将到来。我们现在要做的,就是选好自己的方向,为迎接 大数据 的到来,提前做好准备。

以未来的视角看,无论是政府、 互联网 公司、IT企业还是行业用户,只要我们以开放的心态、创新的勇气拥抱“ 大数据 ”, 大数据 时代就一定有属于中国的机会。

大数据 人才培养 迫在眉睫

大数据 相关人才的欠缺将会成为影响 大数据 市场发展的一个重要因素。据Gartner预测,到2015年,全球将新增440万个与 大数据 相关的工作岗位,且会有25%的组织设立首席数据官职位。 大数据 的相关职位需要的是复合型人才,能够对数学、统计学、 数据分析 、 机器学习 和 自然语言 处理等多方面知识综合掌控。未来, 大数据 将会出现约100万的人才缺口,在各个行业和领域, 大数据 中高端人才都会成为最炙手可热的人才,涵盖了 大数据 的工程师、规划师、分析师、架构师、应用师等多个细分领域和专业。因此需要社会、高校和企业共同努力去培养和挖掘。企业可以与学校联合培养人才,或建立专门的数据科学家团队,或与专业的数据处理公司合作,以解人才之急。

上一页1234下一页

上一篇:埃森哲:89%高管认为大数据将彻底改变做生意方式
下一篇:大数据催生新兴职业 数据分析师成IT界“大熊猫”
精选推荐
Crossbar将电阻式RAM推入嵌入式AI
Crossbar将电阻式RAM推入嵌入式AI

[2018-05-17]  电阻RAM技术开发商Crossbar表示,它已与航空航天芯片制造商Microsemi达成协议,允许后者在未来的芯片中嵌入Crossbar的非易失性存储器。此举是在先进制造业节点的领先代工厂选......

[2018-01-26]  纽约时报的报道,德国的研究人员已经开发出一种长约七分之一英寸的机器人,首先看起来不过是一小块橡皮条。然后它开始移动。机器人走路,跳跃,爬行,滚动和游泳。它甚至爬出......

科学家从蟑螂获得启发 教机器人更好地走路
科学家从蟑螂获得启发 教机器人更好地走路

[2017-12-11]  Weihmann指出:“我特别感到惊讶的是,动物运动稳定机制的变化与腿部协调的变化是一致的。昆虫的慢运行非常稳定,因为它的重心很低,三条腿总是以协调的方式运动。...

Waymo:人性和行为心理学才是无人驾驶最大的挑战
Waymo:人性和行为心理学才是无人驾驶最大的挑战

[2019-11-03]  自动驾驶汽车作为AI领域内最大的挑战之一,谷歌致力于其研发已有十余载,现在他们逐渐意识到,最困难的是如何让人们享受驾驶的乐趣。这是一 ...

揭秘达芬奇手术机器人
揭秘达芬奇手术机器人

[2018-04-19]  达芬奇手术系统是由美国Intuitive Surgical公司制造的机器人手术系统。美国食品和药物管理局(FDA)于2000年通过该标准,旨在利用微创手段 ...

麻省理工学院最新研究:优化软体机器人的控制和设计
麻省理工学院最新研究:优化软体机器人的控制和设计

[2019-11-24]  软体机器人属于一个新的领域,它可能在诸如外科手术等领域发挥重要作用(手术时的纳米机器人需要在人体内部移动而不损伤软组织)。软体机器 ...

美国喷气推进实验室的AI驱动无人机挑战人类飞行员
美国喷气推进实验室的AI驱动无人机挑战人类飞行员

[2017-12-08]  随着无人机及其组件越来越小,效率越来越高,功能越来越强大,我们已经看到越来越多的研究开始让无人机自主飞行在半结构化的环境中,而不依赖于外部定位。 宾夕法尼亚大学在......

美国人工智能公司Skymind进入福建全面开展业务
美国人工智能公司Skymind进入福建全面开展业务

[2017-12-11]  人工智能在当今这个时代对大家来说想必是非常熟悉的,这也是我国近十几年来一直追求的目标,未来的时间里这也将是全人类追求的目标。就目前来看,近年来,人工智能或在我国迎......

本周栏目热点

做为一名大数据新手 应该通过这篇文章了解大数据

[2018-07-23]  一、大数据是什么?大数据,big data,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进 ...

BAT大数据野心:数据生产全链条浮现

[2016-07-12]   本报记者 周慧 北京报道导读以BAT为代表的中国 互联网 企业,在数据领域各有千秋,百度的搜索数据、阿里的电商数据、腾讯的社交数 ...

为什么说发展大数据是有道理的

[1970-01-01]   近日,习主席考察贵州时提到:贵州发展大数据确实有道理。那么为什么说发展大数据是有道理的?从历史的 ...

《时代周刊》:用形象化的老办法对付大数据

[1970-01-01]   《时代周刊》最新一期封面文章称,我们每天被数据海洋淹没,只有让冷冰冰的数据形象化,变成看得见摸得 ...

从Facebook社交媒体情绪实验看大数据道德困境

[1970-01-01]   今年曝光的Facebook私自进行社交媒体用户情绪实验的新闻引起了不小的争议,这把很多数据实验卷入到社会 ...