SDN网络可将大数据转变成信息资产

日期: 2013-10-20 来源:TechTarget中国 英文

在过去几年中,企业已经看到了大数据中隐藏着有价值的信息,这推动着供应商们积极地致力于开发技术(例如Hadoop、Map/Reduce、Dryad、Spark和Hbase)来有效地将大数据转换成信息资产。而软件定义网络(SDN)的出现将能够促进这一过程。

构成大数据的大部分数据实际上是非结构化数据。结构化数据可以通过传统数据库架构来处理,非结构化数据则很难应对。举例来说,视频存储。虽然视频文件类型、文件大小和源IP地址都是结构化地址,但视频内容却是非结构化的,没有固定长度的字段。现在,从大数据分析中获取的大部分价值来自于对非结构化数据的搜索和查询能力,例如,通过使用面部视频算法,从视频中的成千上万个人中搜索出一个人。

为了实现这种搜索能力,我们需要能够跨数千台服务器集群(通过高速以太网连接)并行分析计算。从大数据挖掘出情报信息的过程基本上涉及三个步骤:1)将数据分到多个服务器节点;2)并行分析每个数据块;3)整合这些结果。

我们需要重复这些操作,直到完成对整个数据集的分析。

由于这些并行计算的拆分-合并的性质,大数据分析可能会给底层网络带来巨大的付丹。即使是世界上最大的服务器,数据处理速度只是和其网络在服务器间传输数据的速度一样。例如,对Facebook的研究发现,在连续阶段之间的数据传输占33%的总运行时间,在很多情况下,通信阶段占总运行时间的50%以上。

通过解决这个瓶颈问题,我们可以显著加快大数据分析,其中有两方面的含义:1)更好的集群利用率为管理基础设施的云计算供应商降低TCO;2)为租用基础设施的客户提供更快的作业完成时间以及实时分析结果。

我们需要的是一个智能网络,通过计算的每个阶段,自适应来调整拆分-合并阶段中的数据传输要求,从而不仅提高了速度,而且提高了利用率。

SDN的作用

SDN就有可能为大数据分析构建这个智能自适应网络。由于控制屏幕和数据屏幕的分离,SDN为软件智能提供了良好定义的编程接口,用来编程网络以满足大数据的需求,这些网络是高度可定制化的、可扩展的和灵活的。

SDN可以按需配置网络,符合适当的规模和形状要求,要计算虚拟机可以彼此通信。这直接解决了大数据(大规模并行应用程序)面临的最大的挑战:较慢的处理速度。处理速度很慢,这是因为大数据应用程序中的大多数计算虚拟机花了大量时间等待大量数据通过分散-聚集操作。通过SDN,网络可以在分散-聚集操作期间,创建安全的路径以及按需扩展容量,从而显著地减少了等待时间,加强了总体处理时间。

这种软件智能基本上是了解应用程序需要从网络获得什么,它可以为大数据应用程序带来极大的精确度和效率。原因主要有两个:1)良好定义的计算和通信模式,例如Hadoop的拆分-合并或者Map-Reduce范式;2)集中管理结构让我们可以利用应用程序水平的信息,例如Hadoop Scheduler或者Hbase Master。

通过借助SDN控制器(对底层网络有着全局视图:网络状态、利用率等),这种软件智能可以通过编程网络准确地解译应用程序需求。

SDN还提供了其他功能来协助大数据的管理、整合和分析。新的面向SDN的网络协议包括OpenFlow和OpenStack,致力于让网络管理变得更加简单、更加灵活和高度自动化。OpenStack减少了人力,来实现网络元素的设置和配置,而OpenFlow通过网络自动化来实现更大的灵活性,以支持数据中心自动化、BYOD、安全和应用程序加速等。

另外,SDN在为大数据开发网络基础设施方面也发挥着关键作用,简化对数千交换机的管理,以及促进供应商之间互操作性,为加速网络建设和应用开发奠定基础。OpenFlow能够实现这种互操作性,帮助企业避免专有解决方案的羁绊,致力于将大数据转化为信息资本。

随着大数据强大的影响力,以及大家逐渐意识到大数据的潜力,企业必须确保其网络已经扩展为能够适应这些新兴的需求,才能确保企业的长期成功。很明显,一个成功的解决方案将会利用两个关键的要素:大数据应用程序中的模式以及SDN提供的网络可编程性。从这个角度来看,SDN无疑将发挥着重要的作用,来使网络适应更快更远的发展,推动知识和创新的步伐。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

相关推荐

  • 打造衢州城市大脑:人工智能和大数据如何发挥作用

    2017年12月18-19日,2018年“雪亮工程”重点支持城市(区)项目建设现场培训班和浙江省“雪亮工程”建设现场会在衢州召开。衢州“雪亮工程”领导小组向来自数十个地市的专家、领导介绍了工程建设阶段性成果。

  • OpenStack Neutron和Dragonflow使能SDN

    随着OpenStack社区不断地改进其软件定义网络功能,Neutron和Dragonflow将发挥怎样的作用?OpenStack云平台的网络功能继续快速演进着。

  • 智能+大数据:云+互联时代如何创造精准营销

    在云计算和大数据技术的推动下,正在走向智能应用、便捷功能与效果体验,消费者的转移带动了精准营销方式的改变,因此广告企业推广也慢慢转移到了移动端广告的投放。

  • 万物互联时代:行业移动化何去可从

    互联网的本质毋庸置疑是“连接”。然而,随着智能终端设备的普及,互联网正在步入万物互联时代,相比PC、移动互联网时代,万物互联时代会更加碎片化、场景化、设备化。