一个大数据分析的兴趣浪潮,引领许多开发团队经理考虑Hadoop技术。当他们这样做时,也需要盘点采用Hadoop所需的技能。 在谷歌MapReduce模型的基础上,Hadoop分布计算任务,然后汇总结果。Hadoop是基于Java的,所以它通常需要Java编程能力。
实现Hadoop与企业应用程序开发团队可能使用到的Java开发项目有所不同,虽然有效的大数据分析确实与传统的SOA有一些相似——但它是面向批处理的开发。 Hadoop不是实时操作【商业智能】,而是发现,探索和分析大量多结构化数据,”MWD顾问公司分析师Helena Schwenk说。她通过电子邮件告诉SearchSOA.……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
一个大数据分析的兴趣浪潮,引领许多开发团队经理考虑Hadoop技术。当他们这样做时,也需要盘点采用Hadoop所需的技能。
在谷歌MapReduce模型的基础上,Hadoop分布计算任务,然后汇总结果。Hadoop是基于Java的,所以它通常需要Java编程能力。
实现Hadoop与企业应用程序开发团队可能使用到的Java开发项目有所不同,虽然有效的大数据分析确实与传统的SOA有一些相似——但它是面向批处理的开发。
Hadoop不是实时操作【商业智能】,而是发现,探索和分析大量多结构化数据,”MWD顾问公司分析师Helena Schwenk说。她通过电子邮件告诉SearchSOA.com,一个成熟的Hadoop实现团队的技能应包括:大规模分布式系统的经验和如Java,C++,Pig Latin和HiveQL等语言知识。数据挖掘和分析技能,如预测建模,自然语言处理和文本分析技能也是重要组成部分。
Shwenk继续解释说,其他领域需要考虑的是数据管理,结构化和非结构化数据集成,一些列数据延迟要求,架构支持可扩展性和高速处理。
显然,灵活性很重要,团队成员需要随时更新和拓宽自己的技能。 Schwenk说:“大数据的挑战,不能由一个单一的平台或引擎解决。”她说,相反,团队成员需要采用多种技术,组件和架构。她接着说,如Hadoop,MapReduce和分布式NoSQL数据库技术将有可能成为组合的一部分,但“如内存数据库,柱状数据库和大规模并行处理架构技术”也很具发展潜力。
当然,许多企业的价值将真正来自整合大数据分析与现有的企业架构。有办法做到这一点,据Schwenk所说,是把大数据项目融合到企业过程和如数据仓库的数据资产,来更全面的了解自己的企业。
Schwenk说:“大数据,会要求你仔细思考采购和投资正确的人,分析技能和经验,以确保你可以利用大数据提供的机会优势。”
这可能意味着一些应用程序开发团队将不得不雇用新的人才,或者为现有的成员提供培训。
相关推荐
-
打造衢州城市大脑:人工智能和大数据如何发挥作用
2017年12月18-19日,2018年“雪亮工程”重点支持城市(区)项目建设现场培训班和浙江省“雪亮工程”建设现场会在衢州召开。衢州“雪亮工程”领导小组向来自数十个地市的专家、领导介绍了工程建设阶段性成果。
-
智能+大数据:云+互联时代如何创造精准营销
在云计算和大数据技术的推动下,正在走向智能应用、便捷功能与效果体验,消费者的转移带动了精准营销方式的改变,因此广告企业推广也慢慢转移到了移动端广告的投放。
-
万物互联时代:行业移动化何去可从
互联网的本质毋庸置疑是“连接”。然而,随着智能终端设备的普及,互联网正在步入万物互联时代,相比PC、移动互联网时代,万物互联时代会更加碎片化、场景化、设备化。
-
云端宿州汇聚产业 华为力助城市跨越发展
6月9日,以“云聚产业 数赢未来“为主题的2017华为.宿州云产业合作高峰论坛在宿州顺利举行。会议吸引了多地区 […]