爱吧机器人网 » 技术 > 大数据 > 正文

中国大数据行业面临的五大挑战以及应对策略

2012年美国大选,奥巴马因数据整合而受益。在奥巴马的竞选团队中有一个神秘的 数据挖掘 团队,他们通过对海量数据进行挖掘帮助奥巴马筹集到10亿美元资金;他们通过 数据挖掘 使竞选广告投放效率提升了14%;他们通过制作“摇摆州”选民的详细模型,每晚实施6.6万次模拟选举,推算奥巴马在“摇摆州”的胜率,并以此来指导资源分配。奥巴马竞选团队相比罗姆尼竞选团队最有优势的地方:对 大数据 的整合。奥巴马的 数据挖掘 团队也意识到这个全世界共同的问题:数据分散在过多的数据库中。因此,在前18个月,奥巴马竞选团队就创建了一个单一的庞 大数据 系统,可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、社交媒体,以及“摇摆州”主要的民主党投票人的信息整合在一起,不仅能告诉竞选团队如何发现选民并获得他们的注意,还帮助数据处理团队预测哪些类型的人有可能被某种特定的事情所说服。正如竞选总指挥吉姆·梅西纳所说,在整个竞选活中,没有数据做支撑的假设很少存在。

2012年3月,美国奥巴马政府宣布投资2亿美元启动“ 大数据 研究和发展计划”,将“ 大数据 研究”上升为国家意志。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分。国内 智慧城市 建设目标之一就是实现数据的集中共享。

因此,从社会、国家领域而言,我国亟须在国家层面对 大数据 给予高度重视,特别需要从政策制定、资源投入、人才培养等方面给予强有力的支持;另一方面,建立良性的 大数据 生态环境是有效应对 大数据 挑战、用好 大数据 的主要出路,需要 科技 界、工业界以及政府部门在国家政策的引导下共同努力,通过消除壁垒、成立联盟、 大数据 质量标准、建立专业组织等途径,建立和谐的 大数据 生态系统。

力推合作共赢的商业模式

随着 云计算 、 大数据 技术和相关商业环境的不断成熟,越来越多的“软件开发者”正在利用跨行业的 大数据 平台,打造创新价值的 大数据 应用,而且这一门槛正在不断降低。因为首先,数据拥有者能够以微乎其微的成本获取额外的收入,提高利润水平;其次, 大数据 设备厂商需要应用来吸引消费者购买设备,发展合作共赢的伙伴关系势必比单纯销售设备要有利可图,一些具有远见的厂商已经开始通过提供资金、技术支持、入股等方式来扶持这些“软件开发者”;第三,行业细分市场的 数据分析 应用需求在不断加大,对于整个 大数据 产业链来说,创新型的行业数据应用开发者必将是未来整个 大数据 产业链中最为活跃的部分。

未来,有三种企业将在” 大数据 产业链“中处于重要地位:掌握海量有效数据的企业,有着强 大数据 分析能力的企业,以及创新的“软件开发者”。社交网络、移动 互联网 、信息化企业、电信运营商都是海量数据的制造者,Facebook公司手中掌握着8.5亿用户,淘宝注册用户超过3.7亿,腾讯的微信用户突破3亿,这些庞大用户群所提供的数据,正在等待时机释放出巨大商业能量。可以预测,在不久的将来,Facebook、腾讯、电信运营商等海量数据持有者或者自我延伸成为 数据分析 提供商,或者与IBM、ZTE等企业密切对接成为上下游合作企业, 大数据 产业链将在某个爆发时点到来之际,以令人惊讶的速度成长壮大。

大数据 的杀伤力 需防患于未然

大数据 时代,传统的随机抽样被“所有数据的汇拢”所取代,人们的思维决断模式,已可直接根据“是什么”来下结论,由于这样的结论剔除了个人情绪、心理动机、抽样精确性等因素的干扰,因此将更精确、更有预见性。不过,由于 大数据 过于依靠数据的汇集,一旦数据本身有问题,就很可能出现“灾难性 大数据 ”,即因为数据本身的问题,而导致错误的预测和决策。

大数据 的理论是“在稻草堆里找一根针”,而如果“所有稻草看上去都挺像那根针”呢?过多但无法辨析真伪和价值的信息和过少的信息一样,对于需要作出瞬间判断、一旦判断出错就很可能造成严重后果的情况而言,同样是一种危害。“ 大数据 ”理论是建立在“海量数据都是事实”的基础上,而如果数据提供者造假呢?这在 大数据 时代变得更有害,因为人们无法控制数据提供者和搜集者本人的偏见。拥有最完善数据库、最先接受“ 大数据 ”理念的华尔街投行和欧美大评级机构,却每每在重大问题上判断出错,这本身就揭示了“ 大数据 ”的局限性。

不仅如此, 大数据 时代造就了一个数据库无所不在的世界,数据监管部门面临前所未有的压力和责任:如何避免数据泄露对国家利益、公众利益、个人隐私造成伤害?如何避免信息不对等,对困难群体的利益构成伤害?在有效控制风险之前,也许还是让“ 大数据 ”继续待在笼子里更好一些。

大数据 的经济价值已经被人们认可, 大数据 的技术正逐渐成熟,一旦完成数据的整合和监管, 大数据 爆发的时代即将到来。我们现在要做的,就是选好自己的方向,为迎接 大数据 的到来,提前做好准备。

以未来的视角看,无论是政府、 互联网 公司、IT企业还是行业用户,只要我们以开放的心态、创新的勇气拥抱“ 大数据 ”, 大数据 时代就一定有属于中国的机会。

大数据 人才培养 迫在眉睫

大数据 相关人才的欠缺将会成为影响 大数据 市场发展的一个重要因素。据Gartner预测,到2015年,全球将新增440万个与 大数据 相关的工作岗位,且会有25%的组织设立首席数据官职位。 大数据 的相关职位需要的是复合型人才,能够对数学、统计学、 数据分析 、 机器学习 和 自然语言 处理等多方面知识综合掌控。未来, 大数据 将会出现约100万的人才缺口,在各个行业和领域, 大数据 中高端人才都会成为最炙手可热的人才,涵盖了 大数据 的工程师、规划师、分析师、架构师、应用师等多个细分领域和专业。因此需要社会、高校和企业共同努力去培养和挖掘。企业可以与学校联合培养人才,或建立专门的数据科学家团队,或与专业的数据处理公司合作,以解人才之急。

上一页1234下一页

上一篇:埃森哲:89%高管认为大数据将彻底改变做生意方式
下一篇:大数据催生新兴职业 数据分析师成IT界“大熊猫”
精选推荐
亚马逊CEO杰夫·贝佐斯操控巨型有人驾驶机器人(巨型机甲)
亚马逊CEO杰夫·贝佐斯操控巨型有人驾驶机器人(巨型机甲)

[2017-03-21]  近日,亚马逊CEO杰夫·贝佐斯实现了每一个6岁儿童都会有的梦想,他控制了一个巨大的机甲机器人。据国外媒体Verge报道,前天(3月19日),贝 ...

基于生物启发的机器人很容易适应丢失附属器官
基于生物启发的机器人很容易适应丢失附属器官

[2017-12-17]  很多机器人被设计应用在危险环境,如灾难现场。在这些地方,他们的运动系统完全有可能被损坏。那这样会吓跑这些机器人吗?也许不是,如果它们像日本的东北和北海道大学创造的......

瑞士研发出微型机器人集群 可像蚂蚁一样互相交流并协同工作
瑞士研发出微型机器人集群 可像蚂蚁一样互相交流并协同工作

[2019-07-12]  EPFL(瑞士联邦理工学院)的研究人员受到了蚂蚁的启发,开发了一款仅有10克重的小型机器人:他们可以相互交流,分配角色并完成复杂的任务。 ...

从AI中窥探人性
从AI中窥探人性

[2018-01-03]  人们对人造智能的恐惧早已成为科幻书籍和电影的极好题材。但现在,一些同样的担忧开始影响关于现实世界AI技术的政策讨论。如果这样的担忧演变成为一种技术恐慌...

2023年服务机器人市场将超过250亿美元
2023年服务机器人市场将超过250亿美元

[2017-09-04]  全球服务机器人市场预计到2023年将达到250亿美元, 并在预测期内登记15% 的复合年增长率。短期中期回收期和投资回报率高 (ROI), 以及在教育和研究、临场感、防御、救援和安......

科学家从蟑螂获得启发 教机器人更好地走路
科学家从蟑螂获得启发 教机器人更好地走路

[2017-12-11]  Weihmann指出:“我特别感到惊讶的是,动物运动稳定机制的变化与腿部协调的变化是一致的。昆虫的慢运行非常稳定,因为它的重心很低,三条腿总是以协调的方式运动。...

深度神经网络揭示了大脑喜欢看什么
深度神经网络揭示了大脑喜欢看什么

[2019-11-06]  爱吧机器人网编者按:近日,《自然-神经科学》发表了一篇论文,研究人员创建了一种深度人工神经网络,能够准确预测生物大脑对视觉刺激所产 ...

麻省理工最新机器人“装配工”未来可建造太空基地
麻省理工最新机器人“装配工”未来可建造太空基地

[2019-10-17]  两个机器人原型把一系列小单元组装成大结构体麻省理工学院科研人员最近提出一种新型机器人技术,即一种小型机器人系统,能够自主地用统一规 ...

本周栏目热点

[1970-01-01]   这可能是未来最具发展潜力的职业之一,我们从职场角度为你解读如何成为 大数据 工程师,以及它的职业发展 ...

从Facebook社交媒体情绪实验看大数据道德困境

[1970-01-01]   今年曝光的Facebook私自进行社交媒体用户情绪实验的新闻引起了不小的争议,这把很多数据实验卷入到社会 ...

大数据时代的美国隐私权保护制度

[1970-01-01]   2014年5月,美国总统执行办公室(Executive Office of the President)发布2014年全球大数据白皮书 ...

那些年,曾经被我们误读的大数据

[1970-01-01]   如今,业界和学术界一直在热议大数据,不管是学术圈还是IT圈,只要能谈论点儿大数据就显得很高大上。然 ...

未来农业将在田里处理大数据

[1970-01-01]   基普·汤姆(Kip Tom)是第7代家庭农场主,他的农场种植的主要农作物是玉米和大豆,他同时也在进行玉 ...