Amazon Kinesis优势及其备选方案

日期: 2014-05-15 作者:Casey Benko翻译:皮红 来源:TechTarget中国 英文

亚马逊在十二月推出了产生巨大影响的Kinesis。由于Amazon Kinesis服务是一个相对较新的产品,具有某些局限性,因此,我们可以谈几点看法。 Amazon Kinesis是一个可控的、可扩展的、基于云的服务,能够实时处理大数据流。 Amazon Kinesis的一个主要优势是其供应和扩展的速度,毫不夸张地说,该服务可以在几秒钟内启动。

Amazon Kinesis所固有的灵活性使Kinesis能够从任何可以调用Web服务的地方吸收数据。 Kinesis用于处理实时数据;所有的数据在24小时后将被清除。 数据流由DynamoDB控制 ,DynamoDB是亚马逊 Web服务(AW……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

亚马逊在十二月推出了产生巨大影响的Kinesis。由于Amazon Kinesis服务是一个相对较新的产品,具有某些局限性,因此,我们可以谈几点看法。

Amazon Kinesis是一个可控的、可扩展的、基于云的服务,能够实时处理大数据流。 Amazon Kinesis的一个主要优势是其供应和扩展的速度,毫不夸张地说,该服务可以在几秒钟内启动。Amazon Kinesis所固有的灵活性使Kinesis能够从任何可以调用Web服务的地方吸收数据。

Kinesis用于处理实时数据;所有的数据在24小时后将被清除。 数据流由DynamoDB控制 ,DynamoDB是亚马逊 Web服务(AWS)的NoSQL数据库。目前Kinesis 提供了四种方法来处理快速收集到的数据:Kinesis的API应用、Kinesis客户端库应用、 Elastic MapReduce(EMR)连接器和Storm Spout。

Kinesis有什么优势?

Amazon Kinesis对那些利用实时数据且实时访问大量存储数据的组织来说,有很多优势。例如:

•每隔两分钟,Amazon Kinesis服务就会从应用中收集日志数据,按编号列出最近出现的错误,并且能保证查询运行缓慢,从而在这些问题影响应用之前,管理员就能发现这些问题。
•跟踪客户应用中的点击流,实时查看功能是如何被使用的。
•可用数据流的未来需求具有很大弹性

分而治之

借助Kinesis,数据采集过程与数据处理隔离。通过Web服务调用输入数据的系统被称为“生产者”。这些生产者将数据推送到“流”。许多Kinesis应用可以使用流中的数据,并不会影响其他任何应用。数据采集过程与数据处理分开,从而很容易适应报告过程,很容易作用于不断变化的信息需求。

然而,所有这些功能都是有代价的。如果删除代码需求中变化的部分,可以选择一些插件,如Log4j追加程序,但是总体来说,Kinesis插件并不多。处理插件存在不足。亚马逊EMR和Apache Sprout组合,是目前仅可以使用的连接器;此外,无论是由亚马逊提供或者是私人开发的连接器,都必须自定义代码。

AWS提出使用Kinesis客户端库直接在API上建立应用。库(目前在Java环境下可以使用)提供了用来编写容错技术和分布式应用程序的模式,并且比其他方法速度更快。亚马逊还提出,应用虽然部署在弹性计算云(EC2)自动缩放组内;但是,应用创建者可以在任何地方对其进行控制,即使是在本地。

数据流的扩展由 “碎片”控制。每个碎片读写速度分别为每秒5 MB和每秒1 MB。可扩展性是由增加每个流的碎片数来处理的;然而,Kinesis无法自动改变碎片的数量,因此,生产者输入的数据量,必须经过准确地测量,或者必须经过手动调整碎片的数目。此外,所有Kinesis应用程序专门为了处理碎片变更。这就是为什么亚马逊提出使用客户端库,在API直接调用自定义应用。

实时或者近实时的大数据分析是一个相当新的领域,但是,Kinesis 的两个部分,确实存在备选方案:生产方(数据的收集和持久性)和处理方(Kinesis应用)。生产方的备选方案是Apache Kafka和数据库平台,如Redis。处理方的备选方案是Apache Storm,通过Kinesis Storm Spout 和Apache Spark, Kinesis可以进行数据处理。另一种可以选择的服务是Cloudera。

亚马逊已经开始采取核心技术,并且在Kinesis中提供基础产品。因此,亚马逊可以超越那些需要自定义、实时数据报表和实时数据分析的组织。虽然将应用作为生产者安装到流中相当容易实现,但是具有重要影响。如果过去的经验预示着Kinesis未来的走势,那么,经过一段时间,连接器能够帮助多数人减少集成带来的挑战。

相关推荐

  • 评估公共IaaS方案的关键特性

    为了评估有前景的IaaS提供商,需要研究他们的实例类型范围,以及他们对新兴技术,数据库选项等等的支持。

  • 移动互联网:企业如何在大数据的野蛮生长中掘金?

    随着全球移动设备、可穿戴设备等智能设备的不断增多,我们看到大数据的数量也不断增长,而且是爆发式的增长。IDC的一份报告预测,到2020年,大数据和业务分析市场将增长至203亿美元,是2015年1120亿美元的两倍。

  • 2017年数字经济新时代:除去云计算,还需要什么

    据LinkedIn最近的调查结果显示,最受欢迎的职业技能都与数字技术有关,可见日益普及的数字技术将引领未来。目前,用户界面设计已成为最受欢迎的移动应用技能之一。

  • 大数据新使命:如何创造未来

    现在我们探讨大数据,人们更关心数据如何创造一个未来。对于大数据的分析,企业已经不仅再关注过去,还关注于对未来的价值创造,这是大数据的一个新的使命。