爱吧机器人网 » 技术 > 大数据 > 正文

2015年获得大数据顶尖职位必备的9项技能

在 大数据 商品化之前, 利用 大数据 分析工具和技术来取得竞争优势已不再是秘密。2015年, 如果你还在职场上寻找 大数据 的相关工作, 那么, 这里介绍的9种技能,将帮助你得到一个工作机会。

Apache Hadoop

Hadoop现在已经进入第二个10年发展期了, 但不可否认的是, Hadoop在2014年出现了井喷式发展, 由于Hadoop从测试集群向生产和软件供应商方向不断转移, 其越来越接近于分布式存储和处理机架构, 因此, 这一势头在2015年会更加猛烈。由于 大数据 平台的强大, Hadoop可能是一个挑剔的怪兽, 它需要熟悉的技术人员细心的照顾和喂养。掌握Hadoop最核心技术 (例如, HDFS, MapReduce, Flume, Oozie, Hive, Pig, HBase, and YARN) 的技术人员在职场上的需求将越来越大。

Apache Spark

如果说Hadoop在 大数据 世界中已广为人知, 那么Spark就是一匹黑马, 它所蕴含的原始潜力使Hadoop黯然失色。无论是否是Hadoop架构, 快速崛起的内存计算技术被认为是MapReduce风格分析框架更快和更简洁的替代方案。Spark最佳的定位应当是 大数据 技术族中重要的一个成员。Spark仍然需要专业技术进行编程和运行, 这为知晓该技术的工程师提供了不错的工作机会。

NoSQL

在 大数据 的操作层面, 诸如 MongoDB 和 Couchbase 等分布式、可扩展的 NoSQL 数据库正在接管市场份额极为庞大的的 SQL 数据库, 例如 Oracle 和 IBM DB2。在 WEB 和移动 app层面, NoSQL数据库常常被做为Hadoop分析的数据源。在 大数据 领域, Hadoop 和 NoSQL 分别成为良性循环的两个端点。

Machine Learning and Data Mining( 机器学习 和 数据挖掘 )

人们习惯于对收集的数据进行挖掘,但是, 在当今 大数据 的世界里, 数据挖掘 已经达到了一个全新的高度。 机器学习 成为去年 大数据 技术最热门的领域之一, 2015年顺理成章地成为它的突破之年。 大数据 将会使那些能够利用 机器学习 技术去构建和训练像分类、推荐和个性化系统等预测分析应用程序的人成为职场宠儿, 取得就业市 场上的顶级薪金。

Statistical and Quantitative Analysis(统计和定量分析)

这就是 大数据 。如果你有定量推理背景和数学或统计学等方面的学位,那么你就成功了一半。此外,再加上一些使用统计工具经验,例如 R, SAS, Matlab, SPSS, 或者是 Stata, 你就能够锁定这些工作岗位啦。在过去,许多量化工程师都会选择在华尔街工作, 但由于 大数据 的快速发展, 现在各行各样都需要大量的具有定量分析背景的 极客。

SQL

以数据为中心的语言已有超过40年的历史了, 但是这种祖父级的语言在当前的 大数据 时代仍然具有生命力。尽管它难以应对 大数据 的挑战 (见上文NoSQL部分), 但是, 简化了的结构化语言使其在许多方面变得十分容易。同时应该感谢来自于Cloudera所发布的Impala等开源项目, SQL获得了新生, 成为下一代Hadoop规模的数据仓库的通用语言。

Data Visualization(数据可视化)

大数据 可能不是那么容易理解, 但在某些情况下, 通过鲜活的数据吸引眼球仍然是不可替代的方法。你可以一直用多元或逻辑回归分析方法解析数据, 但是, 有时候使用类似 Tableau 或Qlikview 这样的可视化工具探索数据样本能够直观的告诉你所拥有的数据的形态, 甚至是发现那些能够改变你处理数据方法的一些隐蔽细节。当然,如果你长大后想成为数据艺术家, 那么, 精通一个甚至是更多的可视化工具就是必不可少的了。

General Purpose Programming Languages

在类似 Java, C, Python, 或 Scala 等通用语言中拥有编程应用经验能够使你相对于那些局限于分析技术的人更具有优势。根据 Wanted Analytics的统计, 招聘具有 数据分析 背景的“计算机编程”职位的数量增长了 337%。具有传统应用程序开发和新兴 数据分析 能力的人将会有极大的就业选择空间, 能够自由的在终端用户企业和 大数据 创业公司之间进行流动。

Creativity and Problem Solving(创造力和问题解决能力)

无论你在高级分析工具和技术方面有多大优势,自主思考能力仍然是无可替代 的。 大数据 处理工具会不可避免的进行演化发展,新技术会不断涌现并替代这里所列 出的技术。但是,如果你能出于本能的渴求新的知识,并且能够像猎犬一样发现问题 的解决方案,就会有大量的工作机会在等着你。


上一篇:大数据削弱人们的同理心
下一篇:2015中国国际大数据大会8月再启盛幕
精选推荐
什么是机器人学?机器人学简介
什么是机器人学?机器人学简介

[2017-12-14]  机器人学是工程学与科学的交叉学科,包括机械工程,电气工程,计算机科学等。机器人技术涉及机器人的设计、制造、操作和应用,以及用于控制、感官反馈和信息处理的计算机系统。...

这些人型机器人是如此真实,你的肉眼几乎无法区分
这些人型机器人是如此真实,你的肉眼几乎无法区分

[2017-09-03]   我们生活在一个区分现实与幻想变得越来越困难的世界。由于机器人技术的进步,创造人工的人类正在逐渐接近完美的最终目标。我们现在看到的机器人不再只是一块发光二极管,......

Waymo:人性和行为心理学才是无人驾驶最大的挑战
Waymo:人性和行为心理学才是无人驾驶最大的挑战

[2019-11-03]  自动驾驶汽车作为AI领域内最大的挑战之一,谷歌致力于其研发已有十余载,现在他们逐渐意识到,最困难的是如何让人们享受驾驶的乐趣。这是一 ...

2022年全球工业机器人市场将达到790亿美元
2022年全球工业机器人市场将达到790亿美元

[2017-09-04]  预计到 2022年, 全球工业机器人市场将达到790亿美元, 并在预测期内登记11 5% 的复合年增长率。随着发展中国家中小型企业需求的不断增长, 采用自动化技术以确保生产质量......

智能农业:种地的事儿未来全交给这些机器人吧
智能农业:种地的事儿未来全交给这些机器人吧

[2019-12-07]  SRC公司创始人Sam与温波尔庄园农场经理Callum Weir以及监控机器人Tom总部位于英国的农业科技初创公司SRC(Small Robot Company),正在 ...

从AI中窥探人性
从AI中窥探人性

[2018-01-03]  人们对人造智能的恐惧早已成为科幻书籍和电影的极好题材。但现在,一些同样的担忧开始影响关于现实世界AI技术的政策讨论。如果这样的担忧演变成为一种技术恐慌...

哈佛大学《自然》发表新驱动技术,让飞行机器人悬停且不受损伤
哈佛大学《自然》发表新驱动技术,让飞行机器人悬停且不受损伤

[2019-11-06]  哈佛大学研究人员发表在《自然》杂志上的一项最新研究,他们开发了一种由柔软的人造肌肉驱动的机器人蜜蜂(RoboBee),这种机器人在撞墙、 ...

7种常见的机器人焊接类型
7种常见的机器人焊接类型

[2017-12-17]  机器人焊接是工业领域最常见的机器人应用之一,近几十年来主要由汽车行业驱动。机器人焊接在完成大批量,重复性的焊接任务时效率最高。...

本周栏目热点

[2016-08-07]     著名物理学家霍金教授说,忘了黑洞吧,女人才是宇宙最大的谜。但,未来这个最大的谜题因为大数据分析的出现而揭开谜底。人工智能是大数 ...

网友在什么时候发朋友圈可以看出贫富差距?

[2016-08-30]   收入不平等、教育不平等这些名词你都不会陌生。现在有人希望通过分析Instagram上图片分享的地理定位数据来告诉你什么叫做——社交 ...

[2018-07-23]  随着信息技术在各个领域的全面应用,数据的种类、数量、速度和价值都出现了显著变化,一个大规模生产、分享和应用数据的时代已经开启。...

个人征信机构静待发令枪响 业内:大数据并不便宜

[1970-01-01]   个人征信牌照发放在即。近日,《每日经济新闻》记者从多家机构获悉,央行对征信机构的验收工作已经收尾 ...

数据开放的经济学分析

[1970-01-01]   2009年美国启动开放政府计划,开启了国际政府机构以数据开放展开数据与信息分享的重要议题,在世界范围 ...