爱吧机器人网 » 技术 > 大数据 > 正文

中国大数据行业面临的五大挑战以及应对策略

2012年美国大选,奥巴马因数据整合而受益。在奥巴马的竞选团队中有一个神秘的 数据挖掘 团队,他们通过对海量数据进行挖掘帮助奥巴马筹集到10亿美元资金;他们通过 数据挖掘 使竞选广告投放效率提升了14%;他们通过制作“摇摆州”选民的详细模型,每晚实施6.6万次模拟选举,推算奥巴马在“摇摆州”的胜率,并以此来指导资源分配。奥巴马竞选团队相比罗姆尼竞选团队最有优势的地方:对 大数据 的整合。奥巴马的 数据挖掘 团队也意识到这个全世界共同的问题:数据分散在过多的数据库中。因此,在前18个月,奥巴马竞选团队就创建了一个单一的庞 大数据 系统,可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、社交媒体,以及“摇摆州”主要的民主党投票人的信息整合在一起,不仅能告诉竞选团队如何发现选民并获得他们的注意,还帮助数据处理团队预测哪些类型的人有可能被某种特定的事情所说服。正如竞选总指挥吉姆·梅西纳所说,在整个竞选活中,没有数据做支撑的假设很少存在。

2012年3月,美国奥巴马政府宣布投资2亿美元启动“ 大数据 研究和发展计划”,将“ 大数据 研究”上升为国家意志。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分。国内 智慧城市 建设目标之一就是实现数据的集中共享。

因此,从社会、国家领域而言,我国亟须在国家层面对 大数据 给予高度重视,特别需要从政策制定、资源投入、人才培养等方面给予强有力的支持;另一方面,建立良性的 大数据 生态环境是有效应对 大数据 挑战、用好 大数据 的主要出路,需要 科技 界、工业界以及政府部门在国家政策的引导下共同努力,通过消除壁垒、成立联盟、 大数据 质量标准、建立专业组织等途径,建立和谐的 大数据 生态系统。

力推合作共赢的商业模式

随着 云计算 、 大数据 技术和相关商业环境的不断成熟,越来越多的“软件开发者”正在利用跨行业的 大数据 平台,打造创新价值的 大数据 应用,而且这一门槛正在不断降低。因为首先,数据拥有者能够以微乎其微的成本获取额外的收入,提高利润水平;其次, 大数据 设备厂商需要应用来吸引消费者购买设备,发展合作共赢的伙伴关系势必比单纯销售设备要有利可图,一些具有远见的厂商已经开始通过提供资金、技术支持、入股等方式来扶持这些“软件开发者”;第三,行业细分市场的 数据分析 应用需求在不断加大,对于整个 大数据 产业链来说,创新型的行业数据应用开发者必将是未来整个 大数据 产业链中最为活跃的部分。

未来,有三种企业将在” 大数据 产业链“中处于重要地位:掌握海量有效数据的企业,有着强 大数据 分析能力的企业,以及创新的“软件开发者”。社交网络、移动 互联网 、信息化企业、电信运营商都是海量数据的制造者,Facebook公司手中掌握着8.5亿用户,淘宝注册用户超过3.7亿,腾讯的微信用户突破3亿,这些庞大用户群所提供的数据,正在等待时机释放出巨大商业能量。可以预测,在不久的将来,Facebook、腾讯、电信运营商等海量数据持有者或者自我延伸成为 数据分析 提供商,或者与IBM、ZTE等企业密切对接成为上下游合作企业, 大数据 产业链将在某个爆发时点到来之际,以令人惊讶的速度成长壮大。

大数据 的杀伤力 需防患于未然

大数据 时代,传统的随机抽样被“所有数据的汇拢”所取代,人们的思维决断模式,已可直接根据“是什么”来下结论,由于这样的结论剔除了个人情绪、心理动机、抽样精确性等因素的干扰,因此将更精确、更有预见性。不过,由于 大数据 过于依靠数据的汇集,一旦数据本身有问题,就很可能出现“灾难性 大数据 ”,即因为数据本身的问题,而导致错误的预测和决策。

大数据 的理论是“在稻草堆里找一根针”,而如果“所有稻草看上去都挺像那根针”呢?过多但无法辨析真伪和价值的信息和过少的信息一样,对于需要作出瞬间判断、一旦判断出错就很可能造成严重后果的情况而言,同样是一种危害。“ 大数据 ”理论是建立在“海量数据都是事实”的基础上,而如果数据提供者造假呢?这在 大数据 时代变得更有害,因为人们无法控制数据提供者和搜集者本人的偏见。拥有最完善数据库、最先接受“ 大数据 ”理念的华尔街投行和欧美大评级机构,却每每在重大问题上判断出错,这本身就揭示了“ 大数据 ”的局限性。

不仅如此, 大数据 时代造就了一个数据库无所不在的世界,数据监管部门面临前所未有的压力和责任:如何避免数据泄露对国家利益、公众利益、个人隐私造成伤害?如何避免信息不对等,对困难群体的利益构成伤害?在有效控制风险之前,也许还是让“ 大数据 ”继续待在笼子里更好一些。

大数据 的经济价值已经被人们认可, 大数据 的技术正逐渐成熟,一旦完成数据的整合和监管, 大数据 爆发的时代即将到来。我们现在要做的,就是选好自己的方向,为迎接 大数据 的到来,提前做好准备。

以未来的视角看,无论是政府、 互联网 公司、IT企业还是行业用户,只要我们以开放的心态、创新的勇气拥抱“ 大数据 ”, 大数据 时代就一定有属于中国的机会。

大数据 人才培养 迫在眉睫

大数据 相关人才的欠缺将会成为影响 大数据 市场发展的一个重要因素。据Gartner预测,到2015年,全球将新增440万个与 大数据 相关的工作岗位,且会有25%的组织设立首席数据官职位。 大数据 的相关职位需要的是复合型人才,能够对数学、统计学、 数据分析 、 机器学习 和 自然语言 处理等多方面知识综合掌控。未来, 大数据 将会出现约100万的人才缺口,在各个行业和领域, 大数据 中高端人才都会成为最炙手可热的人才,涵盖了 大数据 的工程师、规划师、分析师、架构师、应用师等多个细分领域和专业。因此需要社会、高校和企业共同努力去培养和挖掘。企业可以与学校联合培养人才,或建立专门的数据科学家团队,或与专业的数据处理公司合作,以解人才之急。

上一页1234下一页

上一篇:埃森哲:89%高管认为大数据将彻底改变做生意方式
下一篇:大数据催生新兴职业 数据分析师成IT界“大熊猫”
精选推荐
MIT最新“人机”互连系统 让双腿机器人复制人体技能
MIT最新“人机”互连系统 让双腿机器人复制人体技能

[2019-11-01]  MIT的小爱马仕想借用你的大脑 ,图片来自: João Ramos爱吧机器人网消息,麻省理工学院(MIT)的研究人员展示了一种新型遥操作系 ...

美国喷气推进实验室的AI驱动无人机挑战人类飞行员
美国喷气推进实验室的AI驱动无人机挑战人类飞行员

[2017-12-08]  随着无人机及其组件越来越小,效率越来越高,功能越来越强大,我们已经看到越来越多的研究开始让无人机自主飞行在半结构化的环境中,而不依赖于外部定位。 宾夕法尼亚大学在......

机器人从工业走向家庭  库卡KUKA目标是引领中国市场
机器人从工业走向家庭 库卡KUKA目标是引领中国市场

[2017-12-08]  机器人正在改变着人们的生活方式,而库卡KUKA想要在中国这个大蛋糕中占有一块大份额,库卡公司正在引领市场...

全自动膝关节置换手术机器人被美国FDA批准上市
全自动膝关节置换手术机器人被美国FDA批准上市

[2019-10-14]  美国Think Surgical公司已获得美国食品和药物管理局(FDA)的批准,在美国销售用于全膝关节置换(TKA)的TSolution One®全膝关节应用 ...

通过对抗性图像黑入大脑
通过对抗性图像黑入大脑

[2018-03-02]  在上面的图片中,左边是一张猫的照片。在右边,你能分辨出它是同一只猫的图片,还是一张看起来相似的狗的图片?这两张图片之间的区别在于, ...

什么是机器人学?机器人学简介
什么是机器人学?机器人学简介

[2017-12-14]  机器人学是工程学与科学的交叉学科,包括机械工程,电气工程,计算机科学等。机器人技术涉及机器人的设计、制造、操作和应用,以及用于控制、感官反馈和信息处理的计算机系统。...

CES 2018:英特尔推出49量子位芯片争夺量子霸权
CES 2018:英特尔推出49量子位芯片争夺量子霸权

[2018-01-10]  在与Google、IBM的一场关于建立量子计算系统的马拉松比赛中,英特尔通过了一个关键的里程碑。近日,这个科技巨头已经推出了一个49个量子位 ...

2022年全球工业机器人市场将达到790亿美元
2022年全球工业机器人市场将达到790亿美元

[2017-09-04]  预计到 2022年, 全球工业机器人市场将达到790亿美元, 并在预测期内登记11 5% 的复合年增长率。随着发展中国家中小型企业需求的不断增长, 采用自动化技术以确保生产质量......

本周栏目热点

[2016-08-07]     著名物理学家霍金教授说,忘了黑洞吧,女人才是宇宙最大的谜。但,未来这个最大的谜题因为大数据分析的出现而揭开谜底。人工智能是大数 ...

网友在什么时候发朋友圈可以看出贫富差距?

[2016-08-30]   收入不平等、教育不平等这些名词你都不会陌生。现在有人希望通过分析Instagram上图片分享的地理定位数据来告诉你什么叫做——社交 ...

[2018-07-23]  随着信息技术在各个领域的全面应用,数据的种类、数量、速度和价值都出现了显著变化,一个大规模生产、分享和应用数据的时代已经开启。...

个人征信机构静待发令枪响 业内:大数据并不便宜

[1970-01-01]   个人征信牌照发放在即。近日,《每日经济新闻》记者从多家机构获悉,央行对征信机构的验收工作已经收尾 ...

数据开放的经济学分析

[1970-01-01]   2009年美国启动开放政府计划,开启了国际政府机构以数据开放展开数据与信息分享的重要议题,在世界范围 ...