“大数据”分析:内存数据网格为之增加特性

日期: 2012-09-26 作者:Jack Vaughan翻译:boxi 来源:TechTarget中国 英文

近年来,软件架构师已开始采用分布式内存数据网格来增强数据访问。这些网格的早期版本多少有点不够成熟,但它们的能力已经增长,也增加了新的特性以满足用户的需求。现在它们已经准备好在软件架构的某些显著转变中扮演重要角色了。   内存数据网格(IMDG)的许多新特性的目标应用程序都属于比较含糊的“大数据”范畴。

据行业分析机构Gartner所说,IMDG适合于处理大数据三方面的事情。首先,它们支持大数据所需的速度。IMDG支持一秒钟内完成数十万项内存数据更新。其次,诸如NoSQL数据存储这样的东西能够支持大数据的可变性。

最后,它们可以进行集群,以支撑大容量数据的方式进行扩充。   内存数据技术不再晦涩难懂……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

近年来,软件架构师已开始采用分布式内存数据网格来增强数据访问。这些网格的早期版本多少有点不够成熟,但它们的能力已经增长,也增加了新的特性以满足用户的需求。现在它们已经准备好在软件架构的某些显著转变中扮演重要角色了。

  内存数据网格(IMDG)的许多新特性的目标应用程序都属于比较含糊的“大数据”范畴。据行业分析机构Gartner所说,IMDG适合于处理大数据三方面的事情。首先,它们支持大数据所需的速度。IMDG支持一秒钟内完成数十万项内存数据更新。其次,诸如NoSQL数据存储这样的东西能够支持大数据的可变性。最后,它们可以进行集群,以支撑大容量数据的方式进行扩充。

  内存数据技术不再晦涩难懂。在内存数据库的形式下,它是行业巨头SAP引入先进技术来解决客户问题的关键部分。该公司的HANA IMDB对于其最近的努力来说非常重要。IBM、微软、Oracle等也已经涉足IMDB技术领域。

  最近发布的商业数据网格技术证实了对支持大数据应用的兴趣。以下面这些发布为例:

  -ScaleOutSoftware的ScaleOut StateServer第五版 增加了全局数据集成,把多个网站的数据网格组合为单一的、可全局访问的、“虚拟化”的数据网格——在云计算时代这是个不错的特性。它还支持增强的并行查询,可以根据属性进行网格数据库的快速查询。

  -GigaSpaces的XAP 9.0 有钩子来处理大规模的数据集。其增强功能包括根据属性对事件进行排序的支持。对象属性可以按照原生、二进制及压缩三种模式加以处理。此外,软件支持GigaSpaces的Cloudify开源平台即服务栈,可管理云计算环境下的Hadoop

  -Terracotta的BigMemory 3.7版的BigMemory能力提高到原来的10倍,客户可以根据需要线性增加服务器。内存搜索的性能也有了改进,所有端点都有安全的SSL通信。BigMemory跟Terracotta的Ehcache配合工作。

  应用有可能从IMDG取得的进展(包括银行的金融工具定价应用、电子商务的购物车、Web应用的用户偏好计算、旅游业的预订系统等)中受益。此外,网格还是某些先进云应用的基础。

  内存数据网格对快速变化的大数据有利

  大数据有不同的形式。有些大数据变化缓慢;有的变化快速。“总体而言,我们努力的方向是帮助手上有快速变化数据的人,”ScaleOut Software的创始人兼CEO William Bain说。

  移动全部的这些大数据对于部分公司来说会是个问题。内存数据网格可以帮助数据迁移的最小化。你必须审视“如何把移动最小化”,Brain说:“数据移动在进行分析时会消耗掉性能。”更好的伸缩性是IMDG的另一个好处。“今天,人们面临着一个伸缩性的问题,当他们把Web前端与企业软件架构混合起来的时候尤为如此。所有这些东西都需要分布式缓存及内存数据网格来处理,”他补充道。“技巧是限制API的爆发。这意味着当你想要尝试新东西的时候,得试着去看看它是不是能够以无缝的方式适合于已有的API,”他说。

  也许这会刷新你的内存数据缓存

  64位及多核系统的进展使得在内存中存储数十GB乃至TB级数据变得相当容易,GigaSpaces的CTO Nati Shalom说。这已经帮助了数据缓存和内存数据网格的发展。早期针对内存缓存的API可描述为“原始”的,但Shalom用“简单”来表述。

  “在技术演进的早期阶段,基于内存的缓存是以简单键值API的形式开放的,这种形式可以进行相对简单的查询,并不支持事务或高级查询语义,” Shalom告诉SearchSOA.com说:“针对这类接口的编程相当的简单直观;然而,这种形式适合以读为主一方的缓存的类简单用例,”他说。但是,存在映射复杂查询的复杂性,与外部数据库的同步也有问题。

  “随着基于内存缓存演变为内存数据网格,这种复杂性挑战在引入了更好的计算性之后得到了处理。更好的计算性是通过数据网格API,结合JPA、JDBC及SQL之类的标准SQL API,以及针对新一代Web和社会化应用设计的新API来开放一个“结构化API”及对象图谱API来实现的,”Shalom说。针对大数据应用的重点改进还在继续,事实上,GigaSpaces最新的发布允许对象属性以原生、二进制、压缩三种模式进行。

  数据泛滥过后,新系统也运用起IMDG来

  网站生成数据的方式——日志、用户会话、社会化媒体消息等都令人称奇。这一数据生成及数字化的一般趋势推动着大数据前进。大数据处理有可能成为人们现在正在建设的与云计算结构有关的东西,令大数据成为更加重要的一环。

  “大数据不像云—这是个真正的问题,”Software AG的全资子公司Terracotta的总经理Gary Nakamura斥道:“人们并没有尽力去做云”

  “如果(当前)数据库或数据仓库能够处理它的话大数据就不会存在,”Nakamura说,他指出传统数据库不能为那种被称为是“大”数据的同时实现性能和伸缩性。他说Terracotta的BigMemory 3.7允许人们把更多数据放进内存,同时使用的空间不变(因为压缩)。

  “BigMemory是一个通用数据管理解决方案。我们的关注点在于可持续的高性能,可伸缩性越来越强,操作的易用性越来越好,”Nakamura在一封电子邮件中说。

  总的来说,大数据泛滥推动了设计系统的新方式,其中就有适应内存数据网格技术的办法,GigaSpaces的Shalom说。这类系统面向事件处理和数据流要多于面向批处理或工作。

  “事实上,大数据是一种新的思考方式,”Shalom说。他强调,原有批处理的假设是数据是突发过来的。“这一假设将被打破。在过去,处理的时候会有个窗口。你快速记录许多数据。现在我们的情况是这一假设不起作用了,”他说:“因为我们得到的是数据流而不是突发数据,我们需要迅速进行全局性处理。你没有惯常的窗口了。许多系统必须做出改变来加以适应。对于许多公司来说,这甚至不是选项。”

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

翻译

boxi
boxi

相关推荐

  • 评估公共IaaS方案的关键特性

    为了评估有前景的IaaS提供商,需要研究他们的实例类型范围,以及他们对新兴技术,数据库选项等等的支持。

  • 移动互联网:企业如何在大数据的野蛮生长中掘金?

    随着全球移动设备、可穿戴设备等智能设备的不断增多,我们看到大数据的数量也不断增长,而且是爆发式的增长。IDC的一份报告预测,到2020年,大数据和业务分析市场将增长至203亿美元,是2015年1120亿美元的两倍。

  • 2017年数字经济新时代:除去云计算,还需要什么

    据LinkedIn最近的调查结果显示,最受欢迎的职业技能都与数字技术有关,可见日益普及的数字技术将引领未来。目前,用户界面设计已成为最受欢迎的移动应用技能之一。

  • 大数据新使命:如何创造未来

    现在我们探讨大数据,人们更关心数据如何创造一个未来。对于大数据的分析,企业已经不仅再关注过去,还关注于对未来的价值创造,这是大数据的一个新的使命。