浏览器中的MapReduce协作型超级计算(上)

日期: 2009-08-09 作者:George Lawton翻译:李忠利 来源:TechTarget中国 英文

自从UC Berkeley在1999年将SETI@home项目铺开用以寻找外星人情报以来,将大量人群的计算机时间贡献给一个值得做的计算项目这个主意就得到了广泛的赞誉。最近,许多不同的开发者提出了将MapReduce直接运行于浏览器的技术,这样可以大量的减少集群计算的障碍。   自从SETI@home开始发布以来,成千上万的消费者就贡献他们电脑的空余CPU 时间,在此过程中建立了号称这个星球上最大的计算机。一个更多用途的版本被称作伯克利开放式网络计算(BOINC)也被建立,用于任何类型的虚拟化计算,包括搜索癌症的治疗方案、建立更好的天气模型、寻找重力波和提供清洁能源。

差不多400万台电脑参与了B……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

自从UC Berkeley在1999年将SETI@home项目铺开用以寻找外星人情报以来,将大量人群的计算机时间贡献给一个值得做的计算项目这个主意就得到了广泛的赞誉。最近,许多不同的开发者提出了将MapReduce直接运行于浏览器的技术,这样可以大量的减少集群计算的障碍。

  自从SETI@home开始发布以来,成千上万的消费者就贡献他们电脑的空余CPU 时间,在此过程中建立了号称这个星球上最大的计算机。一个更多用途的版本被称作伯克利开放式网络计算(BOINC)也被建立,用于任何类型的虚拟化计算,包括搜索癌症的治疗方案、建立更好的天气模型、寻找重力波和提供清洁能源。差不多400万台电脑参与了BOINC,提供超过1.5千兆次运算,而世界上最大的超级电脑--蓝色基因能提供500 TeraFLOPS。同时,自从Google在2004年首次公开发布以来,MapReduce就得到了很多的重视。在SearchSOA早期的一篇文章提到,MapReduce在应用系统的三个领域内很有用处:文本标志化、索引和搜索;创建其他类型的数据结构(例如图表);数据采集和机器学习。数据处理需要大规模并行处理,这正完美的的适合了MapReduce性能。

  MapReduce创立了一种架构用于分治计算,在上千台低成本个人电脑上运行,然后再归并,或者将独立的计算集合,形成最终的结果。虽然Google并没有公开的揭示其自身应用,但在开发社区已经引起了广泛的注意,有了各种开源应用,包括Hadoop, GridGain, Skynet, and Disco。同时,Greenplum 和Aster Data Systems也已发布了商业版本。

  最近至少讨论了两种方案,用于让MapRdeduce能够使用JavaScript运行于浏览器之中。当使用MapReduce简化处理计算所需的编程模型时,这些方案能够帮助减少障碍,以便将新用户编入到特殊的计算。

  Sean McCullough于1月首次提到了一般概念。他描述了一种以MapReduce风格来编写程序的基础技术,但是他并没有阐述怎样在一个机器群中如何分布和重新整合计算。

  在3月,Ilya Grigorik提出了一个更全面的方案,创立了一种分布式计算应用系统,将MapReduce在JavaScript浏览器中运行。他提到:“巧的是全球的JavaScript处理器(每一个浏览器都可以运行它)比其他语言都要多,这是多么好的一个数据处理平台啊。”他相信由于其门槛低,有可能将上百万的用户纳入这个体系,解决以前不能解决的一系列问题。

相关推荐