爱吧机器人网 » 技术 > 云技术 > 正文

数据湖前途未卜?

大数据对于商务人士来说是让人兴奋的产物,许多的大数据杀手级应用将不断出现。对于存储管理员来说,存储基础设施将不断增长,这是毫无疑问的。你一直都在所有客户中收集终端用户每毫秒的行为数据,想象一下如果你可以立即查看所有数据,不需要考虑数据监管、数据管理、数据保护和其它所有相关的烦恼,你需要做的只是把你所有的数据放到一个相对廉价又具备扩展性的Hadoop存储中,这是多么令人期待的事!

大数据湖能够满足不断增长的数据需求,并为你的业务提供有价值的服务。通过将不同来源的数据集采集到一个集中平台,使用容易扩展的大数据方法提供多租户的分析服务,还会创造许多新的数据挖掘机遇。数据湖的总潜力值随着可用于分析的数据量增加。一个大数据和大数据湖的关键原则是你不需要提前建立主数据模型,非线性增长是不会出现的。

企业数据湖或hub的概念最初是由Cloudera和Hortonworks这样的大数据厂商提出的,表面上看,数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的。但你的数据量越大,你越可能需要各种不同种类的存储。最终,所有的企业数据都可以被认为是大数据,但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。

所以,今天传统的存储厂商正在分析大数据湖的前景。从存储市场的角度来看,数据湖就像另一个云计算一样。“所有人都需要一个数据湖,你怎么能够没有一个(甚至两个、三个)?”但企业使用存储有多种选择,可以采用支持HDFS和Hadoop虚拟化的企业级存储,这种存储可以将其它存储协议转换成HDFS。也可以采用可扩展的软件定义存储。

大量,快速,现在

数据湖的一部分价值是把不同种类的数据汇聚到一起,另一部分价值是不需要预定义的模型就能进行数据分析。现在的大数据架构是可扩展的,并且可以为用户提供越来越多的实时分析。在商业智能(BI)和数据仓库还没有被淘汰的今天,大数据分析和大数据湖正在向更多类型的实时智能服务发展,这些实时的智能服务可以支持实时的决策制定。Hadoop和它的生态系统已经度过了它们的理论研究阶段,它们已经可以为实际的应用需求服务了。数据管理和数据分析的应用程序已经开发得非常友好,高级的向外扩展机器学习技术也已经投入应用并嵌入至只需要用鼠标就能简单操作的大数据挖掘软件中。然而,IT仍然需要对数据湖里的所有数据负责,所以在这里我们列举了几个企业数据湖的几个关键特点:

保存一份集中的数据索引(或元数据),包括数据源、版本、精细度和准确度。如果在这方面没有自动化的支持,一个数据湖会很快被冲垮。


上一篇:云存储与数据中心存储渐行渐近
下一篇:对软件定义存储“装置”的些许评说
精选推荐
一个让深度学习惨败的通用人工智能领域——语境处理
一个让深度学习惨败的通用人工智能领域——语境处理

[2019-11-04]  Context是指用来解释一段给定文本或语句的来源框架,我们可以翻译为上下文或语境。维基百科将context定义为:*在符号学、语言学、社会学和 ...

这个外科手术机器人可以为患者“量身定制”
这个外科手术机器人可以为患者“量身定制”

[2019-07-12]  世界首创,来自澳大利亚机器人视觉研究中心的研究人员正在推动手术机器人的发展边界,他们创造了可定制的、小型化的手术机器人,能够唯一地 ...

谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算
谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算

[2019-10-23]  谷歌坚称自己已经取得了量子霸权——这标志着计算研究领域的一个重要里程碑。谷歌首次发布声明是在今年9月,虽然遭到竞争对手的质疑,但就 ...

亚马逊计划建一个4000万美元的机器人中心
亚马逊计划建一个4000万美元的机器人中心

[2019-11-07]  爱吧机器人网消息,亚马逊11月6日宣布了一项计划,计划在美国马萨诸塞州韦斯特伯勒建立一个4000万美元、35万平方英尺的机器人创新中心。新 ...

智能机器人困惑的时候知道该问什么问题
智能机器人困惑的时候知道该问什么问题

[2017-03-20]   照片:Nick Dentamaro 布朗大学 上周,我们提到了麻省理工学院的一些研究,即通过链接人的大脑来帮助机器人在他们将要犯错误的时 ...

什么是机器人学?机器人学简介
什么是机器人学?机器人学简介

[2017-12-14]  机器人学是工程学与科学的交叉学科,包括机械工程,电气工程,计算机科学等。机器人技术涉及机器人的设计、制造、操作和应用,以及用于控制、感官反馈和信息处理的计算机系统。...

南加州大学机器人学家:机器人更适合粗暴的爱
南加州大学机器人学家:机器人更适合粗暴的爱

[2019-11-07]  图片来自JOHN MADERE GETTY IMAGES打是疼骂是爱,当人类粗暴的将物体从机器人手中敲掉,看似残忍,实际上却能帮助机器人找到最好的握持物 ...

美国喷气推进实验室的AI驱动无人机挑战人类飞行员
美国喷气推进实验室的AI驱动无人机挑战人类飞行员

[2017-12-08]  随着无人机及其组件越来越小,效率越来越高,功能越来越强大,我们已经看到越来越多的研究开始让无人机自主飞行在半结构化的环境中,而不依赖于外部定位。 宾夕法尼亚大学在......

本周栏目热点

微软的小秘密:大批云计算用户只注册不使用

[1970-01-01]   多名知情人士对Business Insider表示,最近几天,微软销售经理之间流传着一个令人恐惧的新词:消费。 ...

[2016-01-22]   在存储杂志和SearchStorage com联合举办的2015年度产品评选中,数据存储管理工具类别的九个入围者提供 ...

云计算派系火拼:中国市场和用户何去何从?

[1970-01-01]   欢迎关注创事记的微信订阅号:sinachuangshiji文 孙永杰曾几何时, 云计算 在中国市场成为企业竞相追逐的 ...

云存储的十大发展趋势

[2018-02-08]  如今,云计算已经从自身的炒作中幸存了下来。在过去的二十年里,有许多吸引人的技术术语出现在存储技术中,但大多数在几年内淡出了人们的视 ...

存储极客 | 浅析固态介质在存储系统中的应用方式

[1970-01-01]   存储极客这是一群存储偏执狂为存储而生,跟存储死磕各具独家秘笈有观点,有碰撞,有干货从8月18起做客 ...