云架构即将进入数据中心,这应该不会太令人吃惊。即使它们困在企业内部,随着数据微服务的发展,现在的企业架构师也会希望参与进来。
云架构进入企业内部很大程度上是通过容器,基于类似旧式SOA的微服务方法,SOA代表面向服务的架构。数据微服务就像SOA,只是更微观。
Hadoop供应商Cloudera和Hortonworks本月在宣布合并计划时称,改进容器的大数据支持是工程师待办事项清单之一。这一点以及对云对象存储的更广泛使用代表着向大数据的重大转变。
Kubernetes编排
虽然容器最初为无状态容器,但目前业界正在努力使它们更具有状态,并可支持应用中数据的持续性。如果成功的话,这可简化多个专用分析引擎和框架的使,例如Hive、Presto、Druid、TensorFlow等。
当结合Kubernetes容器编排技术时,数据微服务将很快成为数据处理的替代方法,无论是在云端还是在本地。
根据上个月Strata数据大会的Kubernetes会议来看,目前该技术还处于早期阶段,还有需要很多学习。在学习后是构建,在这个新架构站稳脚跟之前,构建工作都很有必要。
对于IBM及其客户而言,他们需要不断尝试在内部部署和云数据架构之间寻求平衡。该公司已经表明强烈支持Hadoop和Spark,但IBM仍然在努力为云端和本地部署整合Hadoop和Spark及其他大数据支柱。
在Strata会议即将结束时,我们与IBM Analytics总经理Rob Thomas进行了交谈,当时他准备就该公司的IBM Cloud Private for Data平台及其在实现AI方面可发挥的作用开展小组讨论。Cloud Private for Data软件包包括Db2、Db2 Warehouse和Db2 Event Store,并且,它支持各种界面,可供数据科学家和其他预测分析用户使用,包括云端和非云端。
Thomas称:“如果你在私有云构建模型,你可将其部署在公共云。或者,如果你在公共云构建模型,你也可将其部署在私有云。”无论是在公共还是私有,数据准备和管理工具都是相同的。
Thomas称,该公司最近计划向IBM Cloud Private for Data增加对MongoDB、EnterpriseDB的EDB Postgres和IBM Data Risk Manager的支持,并且正在努力认证该平台以与Red Hat的OpenShift容器应用程序技术协同工作。
IBM的传统数据端竞争对手也希望结合内部数据分析和云端数据分析。例如甲骨文推出Oracle Cloud at Customer,而微软最近发布SQL Server 2019预览版,可将Spark和Hadoop的Azure带入数据中心。
IBM与Red Hat及Hortonworks已建立重要的云开发和数据联盟,这两家供应商都涉足数据微服务。在Strata刚推出开放混合架构计划时,这两家公司就与IBM建立合作关系。该项目的目的是融合Kubernetes、容器和Hadoop工作负载,在这个领域还有很多工作要做。
重塑整体
在Strata大会后,我们采访了Blue Data Software公司联合创始人兼首席架构师Tom Phelan,该公司是软件平台BlueData Epic的制造商,Epic的全称是Elastic Private Instant Clusters。他表示他喜欢开放混合架构计划的目标,但他认为,这里还有很多工作要做。
Phelan称:“这里很大的问题在于,当Hadoop被编写时,它是单一架构。”
即使Hadoop被分解为名称节点、YARN资源管理器、Hive、Hadoop分布式文件系统服务等,情况也是如此。
Phelan称:“这些都不是微服务架构。这些服务必须以特定顺序启动,它们必须以非常特殊的方式进行交互。例如,当重新启动其中一个服务,必然会影响其他正在运行的服务。”
此外,BlueData本月发布了KubeDirector,这是用于在Kubernetes上开发状态应用集群的开源项目。
新架构即将到来?
无论数据是否转移到云端,云架构的影响都很大。
Forrester分析师Noel Yuhanna说:“企业明显有很多本地数据进入云端,但并非所有数据都会进入云端。有时候,企业会发现,云账单很惊人,甚至可能超过内部部署。”
开放混合架构计划等举措可解决在这两个领域协同的需求,并可为两者设置共同管理政策奠定基础。
他补充说:“你会想要可同时管理云端和本地数据的通用策略。”
当SOA出现时,我们对传统系统进行改造或重新制作,而新数据微服务可能让现有大数据系统步传统系统的后尘。但这其实是一种进步。
可以肯定的是,随着混合数据处理变得真实,数据将从此处传输到那里并返回。当然,到时候,又会有新的架构在等着我们。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
翻译
相关推荐
-
微软云业务在亚太地区:信任是关键
与大多数其他公共云供应商相比,微软服务于企业的时间更长,微软擅长向大型企业销售产品并赢得他们的信任– […]
-
容器:Hortonworks大数据混合架构联盟的关键
近日Hortonworks携手IBM及Red Hat共同发起开放混合架构举措(Open Hybrid Arch […]
-
VMware的托管Kubernetes服务加入拥挤的竞争
近日VMware公司将托管Kubernetes添加到其日益扩大的云原生服务中,这让该公司进一步脱离其内部部署传 […]
-
数字化转型:如何更好地利用API和微服务
API,即应用程序编程接口,它提供给应用程序、开发人员访问其它应用的能力,而又无需访问源码,无需理解内部工作机制细节;简单地说,API就是实现应用与应用连接的一种隐形的桥梁。