云计算支持数据微服务—也适用于内部部署系统

日期: 2018-10-15 作者:Jack Vaughan翻译:邹铮 来源:TechTarget中国 英文

云架构即将进入数据中心,这应该不会太令人吃惊。即使它们困在企业内部,随着数据微服务的发展,现在的企业架构师也会希望参与进来。

云架构进入企业内部很大程度上是通过容器,基于类似旧式SOA的微服务方法,SOA代表面向服务的架构。数据微服务就像SOA,只是更微观。

Hadoop供应商Cloudera和Hortonworks本月在宣布合并计划时称,改进容器的大数据支持是工程师待办事项清单之一。这一点以及对云对象存储的更广泛使用代表着向大数据的重大转变。

Kubernetes编排

虽然容器最初为无状态容器,但目前业界正在努力使它们更具有状态,并可支持应用中数据的持续性。如果成功的话,这可简化多个专用分析引擎和框架的使,例如Hive、Presto、Druid、TensorFlow等。

当结合Kubernetes容器编排技术时,数据微服务将很快成为数据处理的替代方法,无论是在云端还是在本地。

根据上个月Strata数据大会的Kubernetes会议来看,目前该技术还处于早期阶段,还有需要很多学习。在学习后是构建,在这个新架构站稳脚跟之前,构建工作都很有必要。

对于IBM及其客户而言,他们需要不断尝试在内部部署和云数据架构之间寻求平衡。该公司已经表明强烈支持Hadoop和Spark,但IBM仍然在努力为云端和本地部署整合Hadoop和Spark及其他大数据支柱。

在Strata会议即将结束时,我们与IBM Analytics总经理Rob Thomas进行了交谈,当时他准备就该公司的IBM Cloud Private for Data平台及其在实现AI方面可发挥的作用开展小组讨论。Cloud Private for Data软件包包括Db2、Db2 Warehouse和Db2 Event Store,并且,它支持各种界面,可供数据科学家和其他预测分析用户使用,包括云端和非云端。

Thomas称:“如果你在私有云构建模型,你可将其部署在公共云。或者,如果你在公共云构建模型,你也可将其部署在私有云。”无论是在公共还是私有,数据准备和管理工具都是相同的。

Thomas称,该公司最近计划向IBM Cloud Private for Data增加对MongoDB、EnterpriseDB的EDB Postgres和IBM Data Risk Manager的支持,并且正在努力认证该平台以与Red Hat的OpenShift容器应用程序技术协同工作。

IBM的传统数据端竞争对手也希望结合内部数据分析和云端数据分析。例如甲骨文推出Oracle Cloud at Customer,而微软最近发布SQL Server 2019预览版,可将Spark和Hadoop的Azure带入数据中心。

IBM与Red Hat及Hortonworks已建立重要的云开发和数据联盟,这两家供应商都涉足数据微服务。在Strata刚推出开放混合架构计划时,这两家公司就与IBM建立合作关系。该项目的目的是融合Kubernetes、容器和Hadoop工作负载,在这个领域还有很多工作要做。

重塑整体

在Strata大会后,我们采访了Blue Data Software公司联合创始人兼首席架构师Tom Phelan,该公司是软件平台BlueData Epic的制造商,Epic的全称是Elastic Private Instant Clusters。他表示他喜欢开放混合架构计划的目标,但他认为,这里还有很多工作要做。

Phelan称:“这里很大的问题在于,当Hadoop被编写时,它是单一架构。”

即使Hadoop被分解为名称节点、YARN资源管理器、Hive、Hadoop分布式文件系统服务等,情况也是如此。

Phelan称:“这些都不是微服务架构。这些服务必须以特定顺序启动,它们必须以非常特殊的方式进行交互。例如,当重新启动其中一个服务,必然会影响其他正在运行的服务。”

此外,BlueData本月发布了KubeDirector,这是用于在Kubernetes上开发状态应用集群的开源项目。

新架构即将到来?

无论数据是否转移到云端,云架构的影响都很大。

Forrester分析师Noel Yuhanna说:“企业明显有很多本地数据进入云端,但并非所有数据都会进入云端。有时候,企业会发现,云账单很惊人,甚至可能超过内部部署。”

开放混合架构计划等举措可解决在这两个领域协同的需求,并可为两者设置共同管理政策奠定基础。

他补充说:“你会想要可同时管理云端和本地数据的通用策略。”

当SOA出现时,我们对传统系统进行改造或重新制作,而新数据微服务可能让现有大数据系统步传统系统的后尘。但这其实是一种进步。

可以肯定的是,随着混合数据处理变得真实,数据将从此处传输到那里并返回。当然,到时候,又会有新的架构在等着我们。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

翻译

邹铮
邹铮

相关推荐