基于流的数据处理可以使Hadoop运行更快吗？

日期： 2012-09-19 作者：jvaughan翻译：蒋红冰 来源：TechTarget中国 英文

Apache Hadoop分布式文件处理系统是有好处的，而且它正在获得注意力。然而，它也有坏处。有些组织发现从Hadoop开始的话需要重新思考软件架构，而且它所需要的数据技能也是必要的。 　　对于一些人来说，Hadoop的批处理模型的一个问题是，它估计在突增数据采集之间的进行批处理时会有宕机的时间。

这是许多企业都的情况，当他们在本地操作，或者在白天有大量事务，但很少在晚上（如果有的话）。如果夜间窗口足够大可以处理前一天积累的数据，那么一切都会顺利。虽然对于一些企业，窗口的停机时间是小或不存在的，甚至使用Hadoop的高性能的处理，他们仍然在一天内得到的数据比他们可以在24内小时处理的要多。 　……

我们一直都在努力坚持原创.......请不要一声不吭，就悄悄拿走。

我原创，你原创，我们的内容世界才会更加精彩！

【所有原创内容版权均属TechTarget，欢迎大家转发分享。但未经授权，严禁任何媒体（平面媒体、网络媒体、自媒体等）以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

Apache Hadoop分布式文件处理系统是有好处的，而且它正在获得注意力。然而，它也有坏处。有些组织发现从Hadoop开始的话需要重新思考软件架构，而且它所需要的数据技能也是必要的。

　　对于一些人来说，Hadoop的批处理模型的一个问题是，它估计在突增数据采集之间的进行批处理时会有宕机的时间。这是许多企业都的情况，当他们在本地操作，或者在白天有大量事务，但很少在晚上（如果有的话）。如果夜间窗口足够大可以处理前一天积累的数据，那么一切都会顺利。虽然对于一些企业，窗口的停机时间是小或不存在的，甚至使用Hadoop的高性能的处理，他们仍然在一天内得到的数据比他们可以在24内小时处理的要多。

　　对于可接受小窗口的组织，添加基于数据处理组件的方法可能有帮助，GigaSpaces的首席技术官Nati Shalom在最近的一篇关于使用Hadoop更快的博客中写到。通过不断地处理传入的数据转化成有用的包和删除那些不需要企业处理（或再加工）的静态数据，可以显著加速他们的大数据的批处理过程。

作者

jvaughan
jvaughan

翻译

蒋红冰
蒋红冰

TechTarget云计算主编，主要负责云计算和虚拟化网站的内容建设。长期专注于IT前沿技术，对云计算、虚拟化、人工智能、区块链等技术都有了解；对行业趋势、市场动态有一定的洞察。

相关推荐