成功实施基于Java的Hadoop需要的技能

日期: 2012-08-21 作者:James DenmanJack Vaughan翻译:张宣彬 来源:TechTarget中国 英文

一个大数据分析的兴趣浪潮,引领许多开发团队经理考虑Hadoop技术。当他们这样做时,也需要盘点采用Hadoop所需的技能。   在谷歌MapReduce模型的基础上,Hadoop分布计算任务,然后汇总结果。Hadoop是基于Java的,所以它通常需要Java编程能力。

  实现Hadoop与企业应用程序开发团队可能使用到的Java开发项目有所不同,虽然有效的大数据分析确实与传统的SOA有一些相似——但它是面向批处理的开发。   Hadoop不是实时操作【商业智能】,而是发现,探索和分析大量多结构化数据,”MWD顾问公司分析师Helena Schwenk说。她通过电子邮件告诉SearchSOA.……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

一个大数据分析的兴趣浪潮,引领许多开发团队经理考虑Hadoop技术。当他们这样做时,也需要盘点采用Hadoop所需的技能。

  在谷歌MapReduce模型的基础上,Hadoop分布计算任务,然后汇总结果。Hadoop是基于Java的,所以它通常需要Java编程能力。

  实现Hadoop与企业应用程序开发团队可能使用到的Java开发项目有所不同,虽然有效的大数据分析确实与传统的SOA有一些相似——但它是面向批处理的开发。

  Hadoop不是实时操作【商业智能】,而是发现,探索和分析大量多结构化数据,”MWD顾问公司分析师Helena Schwenk说。她通过电子邮件告诉SearchSOA.com,一个成熟的Hadoop实现团队的技能应包括:大规模分布式系统的经验和如Java,C++,Pig Latin和HiveQL等语言知识。数据挖掘和分析技能,如预测建模,自然语言处理和文本分析技能也是重要组成部分。

  Shwenk继续解释说,其他领域需要考虑的是数据管理,结构化和非结构化数据集成,一些列数据延迟要求,架构支持可扩展性和高速处理。

  显然,灵活性很重要,团队成员需要随时更新和拓宽自己的技能。 Schwenk说:“大数据的挑战,不能由一个单一的平台或引擎解决。”她说,相反,团队成员需要采用多种技术,组件和架构。她接着说,如Hadoop,MapReduce和分布式NoSQL数据库技术将有可能成为组合的一部分,但“如内存数据库,柱状数据库和大规模并行处理架构技术”也很具发展潜力。

  当然,许多企业的价值将真正来自整合大数据分析与现有的企业架构。有办法做到这一点,据Schwenk所说,是把大数据项目融合到企业过程和如数据仓库的数据资产,来更全面的了解自己的企业。

  Schwenk说:“大数据,会要求你仔细思考采购和投资正确的人,分析技能和经验,以确保你可以利用大数据提供的机会优势。”

  这可能意味着一些应用程序开发团队将不得不雇用新的人才,或者为现有的成员提供培训。

作者

James Denman
James Denman

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

相关推荐