Amazon EC2现货实例最适合哪些应用?

日期: 2012-04-22 作者:Dan Sullivan翻译:滕晓龙 来源:TechTarget中国 英文

当在云计算中部署应用程序时,你需要确定可接受的性能参数。如果你在Amazon EC2中以容错设计托管对时间敏感的应用程序,那么那些应用程序将成为Amazon EC2现货实例的完美候选对象。   诸如测试、分析“大数据”以及提取转换和载入(ETL)等面向批处理的操作都是现货实例很好的候选应用对象。这些任务通常可根据计划安排运行而无须过多的与最终用户交互。

这些应用还具有可以将整个工作量细分为可独立完成、更小任务的特点。例如,如果你的软件开发团队正在对一个新的基于云计算的应用程序进行回归测试,那么他们可以针对每一个模块向一个实例提交测试,以实现在实例上对不同模块进行并行测试。而涉及两个不同模块的测试……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

当在云计算中部署应用程序时,你需要确定可接受的性能参数。如果你在Amazon EC2中以容错设计托管对时间敏感的应用程序,那么那些应用程序将成为Amazon EC2现货实例的完美候选对象。

  诸如测试、分析“大数据”以及提取转换和载入(ETL)等面向批处理的操作都是现货实例很好的候选应用对象。这些任务通常可根据计划安排运行而无须过多的与最终用户交互。这些应用还具有可以将整个工作量细分为可独立完成、更小任务的特点。例如,如果你的软件开发团队正在对一个新的基于云计算的应用程序进行回归测试,那么他们可以针对每一个模块向一个实例提交测试,以实现在实例上对不同模块进行并行测试。而涉及两个不同模块的测试则可提交给第三个实例。

  即便其子任务并不一定完全独立于其他的任务,诸如大数据分析和数据仓库ETL等应用也适合于现货实例。例如,考虑一个典型的数据仓库聚集问题。

  一个数据仓库可从多个源位置采集数据,如分公司、办事处等。一些分支机构的数据聚集过程呈垂直性,即从分支机构汇总到区域汇总再到企业汇总。而其他数据的聚集过程呈水平性,例如跨多个销售网点涉及某单个产品的销售情况汇总。

  Amazon EC2现货实例可用于按区域或按产品线执行ETL操作。可以使用一个摘要脚本程序来汇总源于多个现货实例的数据。相同的脚本程序能够检测一个区域或产品汇总何时还未完成,这可能是因为Amazon完全控制了现货实例并重启任务以计算丢失的数据。

  大数据分析与Amazon EC2现货实例带来的挑战

  Amazon现货实例是在云计算环境中进行大数据分析任务的理想选择,但是你可能会遇到一些问题。例如,将大数据迁往云计算可能不仅成本昂贵而且速度缓慢。

  如果你希望分析的大量数据已经位于云计算中,那么现货实例就可立刻运行了。但是,如果上传和存储大量数据的成本要超过使用云计算资源所带来的成本节省,那么也许使用内部集群或内部私有云计算则可能更为适合。

  如果现货实例是满足你进行大数据分析任务需求的一个选项,那么你可能可以使用Amazon公司的 Elastic Map Reduce(EMR)和EC2现货实例。EMR可以执行映射降维方法处理大数据。这一计算模型可以很好地处理独立分析大量数据的任务(映射阶段);而结果则整合在一组以类似隐射降维模式处理的新数据集中(降维阶段)。 

  很多——但不是全部——大数据项目都适合于采用映射降维方法。诸如分析社会网络或电子邮件消息流量等网络分析问题都不适于采用映射降维方法。除了为分析大型数据集提供了一个可扩展的平台,EMR供应商还提供了在现货实例回收时支持恢复的容错能力。

  Amazon公司的EMR只是一个在你的应用程序架构中引入容错机制的方法。如果你与并未具有容错设计意识的定制应用程序协作,可以考虑使用一个检查点策略来保存与持久存储计算状态相关的信息。当你的应用程序开始时,检查点功能可以检测出最后保存状态的信息,并从该点处继续执行处理操作。

  你还可以使用消息排队技术来维持一个仍需处理的任务列表。运行在Amazon EC2现货实例上的应用程序可以从暂停的任务列表中提取一个任务,并在当前处理队列中新增一个消息以标明现货实例正在执行任务。当该任务完成时,它将从当前处理队列中移除该任务。脚本程序可以不定期检查当前处理队列中任务的时间属性,如果任务在一个合理的时间阈值内还没有被完成,这些任务就会被添加回暂停队列(可能是因为现货实例已被回收)。

  当在云计算环境中执行大数据分析操作时,现货实例可以帮助减少你的底线。在现货实例上运行你的应用程序之前,请务必考虑你的应用程序的性能需求和容错特性。

作者

Dan Sullivan
Dan Sullivan

Dan Sullivan是一名作家、系统架构师和顾问,拥有超过20年关于先进的分析、系统架构、数据库设计、企业安全、商业智能的IT从业经验。他的从业范围广泛,包括金融服务业、制造业、医药、软件开发、政府、零售、天然气和石油生产、发电、生命科学和教育。

相关推荐

  • 评估公共IaaS方案的关键特性

    为了评估有前景的IaaS提供商,需要研究他们的实例类型范围,以及他们对新兴技术,数据库选项等等的支持。

  • 移动互联网:企业如何在大数据的野蛮生长中掘金?

    随着全球移动设备、可穿戴设备等智能设备的不断增多,我们看到大数据的数量也不断增长,而且是爆发式的增长。IDC的一份报告预测,到2020年,大数据和业务分析市场将增长至203亿美元,是2015年1120亿美元的两倍。

  • 2017年数字经济新时代:除去云计算,还需要什么

    据LinkedIn最近的调查结果显示,最受欢迎的职业技能都与数字技术有关,可见日益普及的数字技术将引领未来。目前,用户界面设计已成为最受欢迎的移动应用技能之一。

  • 大数据新使命:如何创造未来

    现在我们探讨大数据,人们更关心数据如何创造一个未来。对于大数据的分析,企业已经不仅再关注过去,还关注于对未来的价值创造,这是大数据的一个新的使命。