前文我们介绍了用户进行大数据分析的目的，以及大数据的价值。本文将继续介绍如何用高性能计算分析大数据。

HPC、大数据以及传统IT的冲突

HPC产品一般运行在大型昂贵的超级计算机上，有着成百上千乃至于成千上万台的服务器。HPC软件和硬件可能会在架构上进行特殊设计，以便解决一小类问题，这可能并不适合于大数据和传统IT。超级计算机500强清单为我们提供了对运行在被归类为超级计算机的大型系统上的HPC应用的剖析。

大数据需要HPC所提供的类似超级计算的能力，同时还需要结合可在多环境下并发管理若干工作的调度及优化软件。这使得企业能利用类HPC的计算的同时优化现有多样化的基础设施。试图将HPC与HPDA联姻的问题是，在各自领域工作的那些家伙对彼此的技术并不是很熟悉。

HPC与HPDA之间的技术问题

使用特殊目的HPC架构进行HPDA的一个担心是，需要适应现有软件，或者开发新的能消费时间和资源的软件。由于大数据分析未必适合传统数据仓库或商业智能型数据模式，传统数据仓库也许无法应对那些处理需求。

因此，大数据技术出现了，在许多大数据分析环境中得到了应用。这些技术包括NoSQL数据库、Hadoop以及MapReduce。这些技术构成了支持跨集群大数据集处理的开源软件的核心。在数据爆发式增长的时候，预算约束限制了对必要计算资源的访问。从而令对后者的需求不断提高。有些硬件处理器供应商，如英特尔，其Xeon Phi协处理器正在致力于在异构计算方面取得突破。Xeon Phi协处理器可提供很好的吞吐和能效，又不会出现高成本、不灵活及编程挑战问题。

有人认为公司应对大数据问题的方式是大数据工作流。大数据工作流方法利用了数据中心的一切现有资源。在大数据工作负载环境里，有专门的应用分析、解剖并提炼数据，然后把这些数据生成报告及新的数据集。分析师和主管据此进行决策，调整数据输入请求，然后整个流程再度开始。

大数据工作流由多个应用及工作负载构建，这些应用和负载有可能要与大规模输入数据集进行交互，会产生其他的数据集作为输出。其净效应是一个复杂的数据访问与处理网络，体现了不同程度和范围的访问，那是传统存储系统建造时没有考虑要处理的。

传统存储系统围绕着实现归档的大型能力，以及实现企业级存储系统的高性能而进行创新。大数据分析处理高吞吐的流化阅读模式：访问大量数据碎片，在数据被创建时写流信息，访问随机I/O以进行更深入的分析。传统存储系统无法扩充到能支撑所需能力以及并发访问。

新兴大数据问题暴露了当前HPC架构计算机的限制。大多数的HPC平台是面向计算机的，缺少很好的对大数据非常重要的存储和I/O（数据移动）能力。问题是HPC系统可能花费了少量的计算周期去计算出结果，然后却要花费数百个周期才能把结果搬出系统。大数据需要持续处理大规模且不断增长的信息，需要在应用服务器、网络连接及存储之间进行快速、频繁的数据移动。

HPC社区打算通过在各个层次减少数据移动来迎接HPDA的挑战， 其手段是内存处理或通过更强的光纤互联网络来加速数据移动。这么做能改善核心层的通信。

HPDA与云

对于管理或分析大数据分析负载来说，没有唯一最好的HPC架构。异构计算对有效处理是必要的。将异构HPC资源搬到云端是部分组织能负担得起最新的计算能力的办法之一。商业云供应商，如Amazon也正在增加各种HPC元素。

公有云的有用之处首先在于HPC令人尴尬的并行工作，在需要大多数内部处理器之间通过MPI或别的协议进行通信的工作方面就没那么有效了。因此，高度并行性的HPDA问题对于公有云来说是个有吸引力的问题。HPDA云的使用正在扩展，甚至连图像分析等不那么可分解的问题也在用HPDA云，只要这些问题不需要实时解决就行。

将HPDA问题直接交给公有云解决，从而避免建设本地数据中心所需的资本支出已经成为趋势，而商业公司，包括一些小公司和初创企业，则是引领这股趋势的先驱。不过搬迁大量数据到云上并对这些数据进行保护也是一笔很大的开支。

分析成功的建议

将HPDA引入IT组织需要进行大量的规划，同时还需要引入HPC、HPDA及数据存储专家。这些领域的专家需要招募进来且需要齐心协力。而这个则需要在IT组织IT环境下组建一个新的组织。