纳斯达克为何将数据迁移至Amazon S3?

日期: 2010-10-25 作者:Carl Brooks翻译:梁英宗 来源:TechTarget中国 英文

纳斯达克(NASDAQ)证券交易所正将手上的大量公共市场数据以云服务的方式向大众开放。事实证明了这是云存储的另一种有趣应用,纳斯达克基于Amazon的简单存储服务(Simple Storage Service)成功投入运行。   作为Market Replay服务,纳斯达克每日需收集和整理几十万份有关当日股票交易的数据信息,Market Replay服务作为纳斯达克的在线可视化工具提供给研究者和分析师。   “最近三年来,我们每一个报价都出自于纳斯达克的安全信息处理器和SIAC处理器。

”纳斯达克OMX集团的产品管理助理副主席Jeff Kimsey谈到。   纳斯达克的数据点播服务取代了在线浏览……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

纳斯达克(NASDAQ)证券交易所正将手上的大量公共市场数据以云服务的方式向大众开放。事实证明了这是云存储的另一种有趣应用,纳斯达克基于Amazon的简单存储服务(Simple Storage Service)成功投入运行。

  作为Market Replay服务,纳斯达克每日需收集和整理几十万份有关当日股票交易的数据信息,Market Replay服务作为纳斯达克的在线可视化工具提供给研究者和分析师。

  “最近三年来,我们每一个报价都出自于纳斯达克的安全信息处理器和SIAC处理器。”纳斯达克OMX集团的产品管理助理副主席Jeff Kimsey谈到。

  纳斯达克的数据点播服务取代了在线浏览和用户下载庞大的原始块数据并自行处理数据的传统方式,允许用户连接程序到纳斯达克的海量数据仓库。应用程序接口(API)将提供给高级用户(了解改进计算的金融分析师)直接针对数据查询的能力,现有的分析工具可以很轻松地融入到此项服务中来。

  用户可以获得详细的目标块信息来进行研究,分析自己的历史信息,Kimsey表示。这将给自动交易人带来“反复测试”有关投资股票市场的能力,而这些新方法是针对多年来的真实性数据运行自动化交易机制所得来的,对那些想要深入研究市场的人们来说,这将会是一种“恩赐”。

  “如果你想构建历史应用,那么你需要做的工作仅仅是打开开关。”他说。

  可能是由于纳斯达克已经将数据迁移到S3上,所以它以云服务的方式交付了这些数据。如今,技术的挑战在于如何面对每日洪水般的访问量。

  普通文件加速交易处理

  一些大宗股票交易可能每天会有数兆字节的交易记录,相反其他股票的交易记录数量会相对较少。为了把数据分解为兆字节大小,以便于块计算,每隔十分钟记录会以普通文件的方式保存在S3上。搜索查询正始于此。这也是保存数据最快捷最便宜的方式。

  “我们的应用设计用来及时获得特殊实例。”他谈到:“同时因为我们想要让这些应用真正地实现快速获取数据,所以我们每10分钟的间隔保存一次——这将有助于实现快速、简单地访问目标的数据。”

  “挑战是:我们需要处理数据库中大量TB级大小的数据,那么我们如何才能避免构建百万美元的数据库呢?”Kimsey问到。

  纳斯达克拥有大量的历史数据,而在Amazon Web Service(AWS)上存储和使用数据的费用每月总计有数百到数千美元。Kimsey称,该服务将在最近几周上线。届时,用户将可以无须辅助地注册和运行服务,他们还可以和纳斯达克合作获得更棒的访问体验。

  纳斯达克和Xignite一起推出了新服务,该服务专门针对金融界的数据按需处理。Xignite的市场主管Chas Cooper表示,金融公司和像纳斯达克这样的信息处理商已经开始感受到了来自时间上的压力。

  “今年,我们将见证云计算所带来的巨大改变。我们可谓是金融服务行业实施云计算的先驱者。”他说。

  Cooper谈到,Xignite交付的Web服务框架位于纳斯达克所收集的顶层数据。公司针对数据采取了大量保障措施,此外Cooper补充到,这将使用户使用的查询功能实现起来更容易。“我们在API层提供Web服务,在API层你还可以插入数据访问层。”他说。

  Cooper认为,采用云计算将会是长期趋势。财政部门拥有大量重要公共信息,并受到高度监管,他认为所谓“市场数据云”最终会建立标准。

  纳斯达克的Jeff Kimsey对此也表示赞同。他亲眼目睹他的企业从处理信息到分发信息的转变。

  “让更少的数据存储异处,更多的集中于中央仓库是我们追求的目标。”他说。

相关推荐

  • AWS如何支持存储生命周期管理?

    许多企业的许多数据都是不经验访问的。高存储量、低成本和低性能资源,在这些AWS数据管理解决方案是最佳的选择。

  • AWS十条军规:云与云之间的差距咋就这么大?

    AWS开始于 2006 年 3 月 14 日 Amazon S3 的发布,距今已有十年时间。回首过去十年,我们在构建和运营 AWS 云计算服务中积累了大量的经验教训——这些服务不仅需要确保安全性、可用性和可扩展性,同时还要以尽可能低廉的成本提供可预测的性能。

  • 看爱奇艺如何玩转大数据

    以“大数据”为首的新兴技术使人类社会的数据种类和规模正以前所未有的速度增长,数据的产生已经完全不受时间、地点的限制,数据开始从简单的处理对象转变为一种基础性资源。

  • 云计算环境下的JVM虚拟化特性初探

    目前对于到底什么是云计算,什么样的平台属于云计算平台,等等围绕云计算相关的问题,不同的软硬件厂商对此都有自己不同的理解,有着自己不同的定义。