云端大数据管理“任意门”

日期: 2015-03-17 作者:张培颖 来源:TechTarget中国

大数据对于传统IT系统来说是个大问题,因为处理海量的结构化和非结构化数据有很多事情要做。然而,云计算可以让IT管理大数据集,且无需独占本地系统。 为了在云端有效管理大数据,了解最新的工具和服务很重要。比如Hadoop是处理大数据的通用Apache框架。

此外,很多主要的云提供商都有自己的大数据服务,比如亚马逊Web服务的弹性MapReduce、谷歌的BigQuery以及Pivotal的大数据套件。 下面是五个快速链接,可以用来探索云端大数据,涉及基础和进阶的工具和服务。 1、哪一种云模式最适合你的大数据项目? 公有云、私有云和混合云都有自身的优势。公有云提供了按使用付费架构的弹性和可扩展性。

私有……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

大数据对于传统IT系统来说是个大问题,因为处理海量的结构化和非结构化数据有很多事情要做。然而,云计算可以让IT管理大数据集,且无需独占本地系统。

为了在云端有效管理大数据,了解最新的工具和服务很重要。比如Hadoop是处理大数据的通用Apache框架。此外,很多主要的云提供商都有自己的大数据服务,比如亚马逊Web服务的弹性MapReduce、谷歌的BigQuery以及Pivotal的大数据套件。

下面是五个快速链接,可以用来探索云端大数据,涉及基础和进阶的工具和服务。

1、哪一种云模式最适合你的大数据项目?

公有云、私有云和混合云都有自身的优势。公有云提供了按使用付费架构的弹性和可扩展性。私有云,基于本地基础架构,为企业提供了控制。混合云混合了私有云和公有云服务,用编排实现了其混合。但是,在为大数据选择合适的云模式时,需要更深入的关注每一个模式。

虽然密切的控制很诱人,但是私有云的本地属性对于大数据来说并不理想。相反公有云更适合按需的大数据任务。然而,潜在带宽限制和数据传输成本却是令人担忧的问题。

2、入门级大数据分析:Google BigQuery

大数据项目对于任何组织机构都是是一项重大事业。为了成功实现,找到适合你的数据需求的正确服务非常重要。虽然Hadoop是一个通用的大数据选择,但是并不适合于每一个人。另一个替代品是谷歌BigQuery,尤其是对于相比MapReduce更喜欢SQL的开发者更是如此。


虽然BigQuery促进了大数据分析实现,但是也伴随着一些折扣。云专家Dan Sullivan会详细解释如何使用BigQuery以及什么类型的企业会更适合这个大数据分析服务。

3、大数据即服务:企业客户需要的远不止分析

大数据工作负载会对传统IT系统造成重大损害,因为巨大的数据集需要资源,而且通常运行这些数据很昂贵。这也正是公有云进入的地方,通过气可扩展性和按使用服务的价格模式,公有云价格可以让企业只支付使用的部分,而不是大数据项目的通用架构。此外,公有云允许资源根据工作负载需求自旋加速或者减少。

但是对大数据使用公有云有一个队里面。虽然软件即服务可以削减成本,但是安全和延迟问题还存在。

4.Apache Sqoop:云端大数据分析的关键一环

Apache框架Hadoop是一个越来越通用的分布式计算环境,主要用来处理大数据。随着云提供商利用这个框架,更多的用户将数据集在Hadoop和传统数据库之间转移,能够帮助数据传输的工具变得更加重要。Apache Sqoop就是这样一款工具,可以在Hadoop和关系型数据库之间转移大量数据。

尽管Sqoop有其优势,但是默认的并行性是个问题。本文中我们将看看具体如何使用这款工具。

5、云端大数据安全利器:亚马逊DynamoDB和Accumulo访问控制

虽然云计算对于大数据项目是一个可靠的选择,但是对于一些组织而言安全是一个障碍。但是,根据Sullivan所说,有三个选择可以让NoSQL数据库更加安全:Accumulo、Amazon Web Service的DynamoDB以及MarkLogic。Apache Accumulo是一个分布式的键值数据存储,提供了基于单元的访问控制,据定了谁可以访问组织的大数据。AWS的键值数据存储DynamoDB用身份及访问管理(IAM)策略解决了访问控制。MarkLogic是一个基于文档的NoSQL数据库,提供了基于角色的访问控制和执行。

作者

张培颖
张培颖

云计算网站编辑

相关推荐

  • 评估公共IaaS方案的关键特性

    为了评估有前景的IaaS提供商,需要研究他们的实例类型范围,以及他们对新兴技术,数据库选项等等的支持。

  • 移动互联网:企业如何在大数据的野蛮生长中掘金?

    随着全球移动设备、可穿戴设备等智能设备的不断增多,我们看到大数据的数量也不断增长,而且是爆发式的增长。IDC的一份报告预测,到2020年,大数据和业务分析市场将增长至203亿美元,是2015年1120亿美元的两倍。

  • 2017年数字经济新时代:除去云计算,还需要什么

    据LinkedIn最近的调查结果显示,最受欢迎的职业技能都与数字技术有关,可见日益普及的数字技术将引领未来。目前,用户界面设计已成为最受欢迎的移动应用技能之一。

  • 大数据新使命:如何创造未来

    现在我们探讨大数据,人们更关心数据如何创造一个未来。对于大数据的分析,企业已经不仅再关注过去,还关注于对未来的价值创造,这是大数据的一个新的使命。