另外，要以低成本和可扩展的方式处理 大数据 ，这就需要对整个IT架构进行重构，开发先进的软件平台和 算法 。这方面，国外又一次走在我们前面。特别是近年来以开源模式发展起来的Hadoop等 大数据 处理软件平台，及其相关产业已经在美国初步形成。而我国数据处理技术基础薄弱，总体上以跟随为主，难以满足 大数据 大规模应用的需求。如果把 大数据 比作石油，那 数据分析 工具就是勘探、钻井、提炼、加工的技术。我国必须掌握 大数据 关键技术，才能将资源转化为价值。应该说，要迈过这道坎，开源技术为我们提供了很好的基矗
因此，现在已经有很多企业开始意识到，要想真正在Hadoop平台上做 数据分析 、 数据挖掘 的应用，有两种选择，要么就是汇聚一个懂数据、懂分析、懂编程又要有技巧的技术团队来操作，要么就是选择某家商业公司推出的成熟的 大数据 平台。
总而言之，目前尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的 数据挖掘 ，现有的 数据挖掘 算法 在不同行业中还难以通用。
挑战三：数据开放与隐私的权衡
数据应用的前提是数据开放，这已经是共识。有专业人士指出，中国人口居世界首位，但2010年中国新存储的数据为250PB，仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享，导致信息不完整或重复投资。2012年中国的数据存储量达到64EB，其中55%的数据需要一定程度的保护，然而目前只有不到一半的数据得到保护。
下面，我们来看一下美国在数据开放方面的做法。美国政府提供政策和经费保障，使数据信息中心群成为国家信息生产和服务基地，保障数据信息供给不断，利用网络把数据和信息最便捷、及时地送到包括科学家、政府职员、公司职员、学校师生在内所有公民的桌上和家庭中，把全社会带进了信息化时代。
纵观国内，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，以邻为壑、共享难，这给数据利用造成极大障碍。制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大 数据挖掘 缺乏相应的立法，毕竟我国还没有国家层面的专门适合数据共享的国家法律，只有相关的条例、法规、章程、意见等。无法既保证共享又防止滥用，一方面欠缺推动政府和公共数据的政策，另一方面数据保护和隐私保护方面的制度不完善抑制了开放的积极性。因此，建立一个良性发展的数据共享生态系统，是我国 大数据 发展需要迈过去的一道砍。
开放与隐私如何平衡，亦是一大难题。任何技术都是双刃剑， 大数据 也不例外。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是 大数据 时代的一个重大挑战。
全社会开放与共享数据还很难，这让数据质量大打折扣。数据增值的关键在于整合，但自由整合的前提是数据的开放。在 大数据 的时代，开放数据的意义，不仅仅是满足公民的知情权，更在于让 大数据 时代最重要的生产资料、生活数据自由地流动起来，准确全面应用起来，以推动知识经济和网络经济的发展，促进中国的经济增长由粗放型向精细型转型升级。然而战略观念上的缺失、政府机构协调困难、企业对数据共享的认识不足及投入不够、科学家对 大数据 的渴望无法满足等都是 大数据 在当前我国发展应用中不得不面对的困难。
挑战四： 大数据 管理与决策
大数据 的技术挑战显而易见，但其带来的决策挑战更为艰巨。 大数据 至关重要的方面，就是它会直接影响组织怎样作决策、谁来作决策。在信息有限、获取成本高昂且没有被数字化的时代，组织内作重大决策的人，都是典型的位高权重的人，要不然就是高价请来的拥有专业技能和显赫履历的外部智囊。但是，在今时今日的商业世界中，高管的决策仍然更多地依赖个人经验和直觉，而不是基于数据。
大数据 开发的根本目的是以 数据分析 为基础，帮助人们做出更明智的决策，优化企业和社会运转。哈佛商业评论说， 大数据 本质上是“一场管理革命”。 大数据 时代的决策不能仅凭经验，而真正要“拿数据说话”。因此， 大数据 能够真正发挥作用，深层次看，还要改善我们的管理模式，需要管理方式和架构的与 大数据 技术工具相适配。这或许是我们最难迈过的一道坎了。
大数据 应用领域仍窄小，应用费用过高，制约 大数据 应用。国内能利用 大数据 背后产业价值的行业主要集中在金融、电信、能源、证券、烟草等超大型、垄断型企业，其他行业谈 大数据 价值为时尚早。随着企业内部的资料量愈来愈大，日后 大数据 将成为IT支出中的主要因素，特别是数据储存所耗费的成本，很可能造成企业负担，甚至望而却步。因此有远见的CIO必须预先做好准备。
挑战五： 大数据 人才缺口
如果说，以Hadoop为代表的 大数据 是一头小象，那么企业必须有能够驯服它的驯兽师。在很多企业热烈拥抱这类 大数据 技术时，精通 大数据 技术的相关人才也成为一个大缺口。
大数据 建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的 大数据 建设专业队伍。
可以说，真正启动 大数据 在企业和社会的全面应用，面临的不仅仅是技术和工具问题，更重要的是要转变经营思维和组织架构，才能真正地挖掘这座 大数据 “金矿”。那么在 大数据 时代，我们要做哪些应对之策，以握战略制胜之点?
整合与开放是基石
大数据 服务创业公司Connotate对800多名商业和IT主管进行了调查。结果显示，60%受调查者称：“目前就说这些 大数据 投资项目肯定能够带来良好回报尚为时过早。”之所以如此，是由于当前 大数据 缺乏必需的开放性：数据掌握在不同的部门和企业手中，而这些部门和企业并不愿意分享数据。 大数据 是通过研究数据的相关性来发现客观规律，这依赖于数据的真实性和广泛性，数据如何做到共享和开放，这是当前 大数据 发展的软肋和需要解决的大问题。
