第二代Azure SQL数据仓库如何提升云数据仓库性能

日期: 2018-10-22 作者:Robert Sheldon翻译:邹铮 来源:TechTarget中国 英文

今年4月下旬,微软发布第二代Azure SQL Data Warehouse,其性能显著高于第一代,微软称其为Compute Optimized Gen2服务层,第二代技术使Azure SQL DW与其它供应商的云数据仓库服务性能旗鼓相当。

Azure SQL数据仓库最初于2015年推出beta测试版,并于次年正式发布,它使用大规模并行处理功能对大数据集运行复杂的分析查询。这类似于竞争对手的云数据仓库平台,例如Amazon Redshift、Snowflake和IBM Db2 Warehouse on Cloud,此前被称为dashDB for Analytics。

Azure SQL数据仓库从这些技术中脱颖而出的原因在于,它允许用户彼此独立地扩展计算和存储资源,以及根据需要暂停数据仓库和恢复操作。这些扩展和暂停功能可帮助企业更好地控制处理成本,因为他们无需再为不使用的资源付费。这也使得SQL数据仓库比竞争对手更具优势。

然而,第一代Azure SQL数据仓库在性能方面落后于竞争对手,特别是与Redshift相比。微软试图通过发布第二代来解决性能差异,第二代承诺提高五倍计算能力和查询性能,并提供比第一代高四倍的查询并发性。

第一代服务被称为Azure SQL Data Warehouse Compute Optimized Gen1,目前仍然作为低端选项提供。

为提供更好的功能,第二代Azure SQL数据仓库扩展了云服务的工作负载管理功能,并为其计算引擎提供自适应缓存。

第二代提供更多数据、更大工作负载

该工具的工作负载管理端采用列式存储形式,这是Azure SQL数据仓库的默认存储类型。通过列存储,表行分为行组,然后使用各种高级技术进行压缩。据微软称,这种方法不仅可以降低存储成本,还可以提高查询性能。

在推出第二代之前,数据仓库限制为240 TB端磁盘压缩数据。第一代仍然遵循该限制,而第二代支持无限制的列存储数据—新版本提供的更高计算能力推动了这一变更。

在配置云服务时,用户可从多个数据仓库单元(DWU)中选择所需的计算能力。 DWU是Azure SQL数据仓库系统可用的CPU、内存和I / O资源的预定义度量指标。第一代的用户可以选择100到6000个DWU之间的订阅包。相比之下,第二代提供1000到30000个DWU的捆绑包。

更高的DWU数量意味着更强的处理分析查询。微软去年在第二代预览版中首次将最高性能提升至18000个DWU,随后在最终版本中进一步提升DWU。该公司还扩展了Azure SQL 数据仓库的工作负载管理功能,以支持最多128个并发查询-这是目前所有可用云数据仓库服务中的最高并发率。

自适应缓存保留关键数据

在过去,Redshift优于Azure SQL数据仓库的最大原因之一在于AWS采用集群架构,特别是在存储方面。在Redshift模型中,每个计算节点都有自己的直连存储,而SQL 数据仓库服务主要依赖Azure Blob存储,这是一种基于云的远程存储服务。

在查询性能方面,与远程存储相比,直连存储具有明显的优势,这就是Microsoft将自适应缓存引入第二代Azure SQL数据仓库的原因。在新版本中,列式存储缓存仅靠计算层。每个计算节点维护着最近访问存储段的缓存,这有助于简化对Azure Blob存储数据的访问。

这个缓存层由固态驱动器(SSD)组成,SSD利用非易失性存储器快速(NVMe)存储协议。NVMe代表着存储技术的重要进步,因为与传统存储协议相比,它可更好地利用SSD吞吐量,传统存储协议专为硬盘驱动器而设计,无法应对SSD数据负载。

但微软并没有止步于NVMe。第二代还采用智能缓存技术,该技术使用查询频率和数据访问模式等指标来使用用户工作负载。这里的目标是了解需要缓存哪些数据以及如何最大限度减少对Azure Blob Storage的远程调用,从而加速数据访问和查询性能。

云数据仓库格局已改变

第二代Azure SQL数据仓库是微软提供高性能云端数据仓库的重要里程碑。SQL数据仓库已经具有比竞争对手更灵活的交付模式,并可集成其他微软云服务和工具。此外,微软已将该技术扩展到全球33个Azure区域,在8月份在澳大利亚和法国推出后,目前已在23个Azure区域可用。

尽管如此,Azure SQL数据仓库的主要吸引力是新的性能功能。但在潜在用户可得出任何真实结论前,企业还必须进行严格的基准测试,以仔细比较第二代与其他云数据仓库服务,从而确定真正的性能优势。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国