重塑企业数据处理架构:让数据“慧”说话

日期: 2016-09-25 作者:蒋红冰 来源:TechTarget中国

今天,企业已经走进了数据的时代,数据已经成为企业的核心竞争力之一。如何从企业的数据中提取价值,从而推动企业的持续发展,是现今企业中讨论的一个热门话题。为了挖掘企业的数据潜在的价值,华为FusionInsight大数据平台作为一层土壤,上面和各行各业聚合,与我们的合作伙伴一起,服务于百行百业。

华为大数据架构有什么不同?

“谈到大数据,华为和其他的公司最大的区别在整个架构。Hadoop、Spark仅仅是整个架构的一部分,我们做了很多算法的优化,从数据变成知识,从价值创造应用,这是我们大数据平台的技术架构。我们的理念是为了让数据真正可说话,“慧”说话,我们通过算法让数据具备智慧,通过数据处理让业务变得更敏捷,另外,华为整个平台做了很多工程优化,让整个平台可信,非常可靠。” 华为FusionInsight总经理朱照生说。

华为FusionInsight大数据平台

华为FusionInsight总经理朱照生

从2007年开始,华为通过自己在电信运营商、金融,以及全球的平安城市实践,我们总结提炼出来每个行业应用大数据的五个能力。

实时决策:我们让所有的银行刷卡系统改变了,从事后风控变成实时的事中风控。你以前去国外出差的时候,很可能刷卡之后半小时电话确认,最快也要几分钟,现在我们帮助中国的商业银行第一次做到了在授权之前就发现是否被欺诈,这种实时决策能力可以处理复杂的事件,如金融的反欺诈,这是华为大数据的第一大能力。实时搜索:这个搜索是企业级的搜索。比如说平安城市搜索一个人,希望这个人所有相关的信息完整呈现出来,这叫企业级的搜索,这种搜索能力不同于互联网,我们叫做企业级的实时搜索。关系分析:现在社交网络很发达,关系分析可以找出一个人跟他社交圈子里面所有背后的各种各样的关系,当然对华为的平台来说只是数学上点和边的关系,最终我们的合作伙伴,各行各业的ISV,会算出来这个点代表什么,这个边代表什么,算出所感兴趣的人、车、物。

兼容性:大数据是企业数据自然的延伸,大数据应该兼容企业所有的应用。华为在大数据平台上开发了统一SQL引擎,支持企业SQL应用移植到大数据平台当你使用华为大数据平台时几乎感觉不到使用了新技术。

大集群、多租户:数据量大了之后,集群也必然变得更加庞大;而对于企业来说有很多部门,部门之间数据既要共享也要隔离,这称之为大集群、多租户的能力。

FusionInsight:全量数据、实时决策

华为为企业提供了基于FusionInsight的实时决策平台,实现了基于全量数据的毫秒级决策响应,帮助客户实现业务实时决策。

对于全量数据这一概念,虽然没有明确的定义,但我们可以认为它包括不同类型的数据,如结构化数据、非结构化数据和半结构化数据;它还包括各种各样来源的数据,例如银行业务中有手机银行交易的数据,有柜台、网银等数据。“全量产品的大数据的决策机制和传统的BI决策机制不一样,而大数据不一定要搜集到所有的数据,你用尽可能多的数据进行数据之间的碰撞,会找到其中的相关性,所以对它来说强关联性或者弱关联性,将会是大数据产生商业智能的基础。 ”华为云计算产品线总裁任志鹏表示。

华为FusionInsight大数据平台

华为云计算产品线总裁任志鹏

因此,将数据汇总到大数据分析平台中进行分析,找出其中的关联性,最终或实现精准推送,或实现在金融行业中的实时风控,又或在制造中实现智能制造,这才是大数据存在的价值,也是华为FusionInsight努力帮助行业实现的目标。

华为发布SQL On Hadoop引擎

在大数据业务应用中,大数据的标准SQL支持能力,是大数据业务应用中的一块短板。华为公司开发了标准SQL On Hadoop技术引擎,这一技术能给企业带来哪些好处?

实际上,大数据对于企业来说还是一个新事物。为了更好地发挥大数据的价值,IT人员创新了HQL语言,虽然它类似于SQL的语言,但却又不完全是SQL语言。如果企业希望使用HQL语言,就需要移植,但华为在经过大量的实践后发现,并不是所有的企业都具有使用新语言的能力。基于此,华为推出了SQL On Hadoop,它的接口完全兼容传统的SQL,且全面支持标准SQL2003的语法,真正支持TPC-DS测试,无需修改任何一行测试脚本,保证了企业既有应用能够无缝平滑迁移,且在性能上超越Spark SQL10倍。

通过在金融、平安城市上的测试,华为真正为企业提供了无需修改的SQL On Hadoop。

华为FusionInsight:致力于行业标杆

华为FusionInsight 大数据平台已经在行业中得到大量企业用户的认可,据悉,金融行业里面几乎TOP10的金融机构都用华为的大数据平台。运营商更不必多言,无论是中国移动、阿联酋电信,还是沙特电信以及欧洲的运营商,都在使用华为大数据平台。

事实上,对于大数据平台的选择,所有组织机构都有一个特点,就是对“企业级“要求特别高,而不是直接拿社区版本来用。华为的大数据平台研发优势刚好契合了不同行业的严格要求,因此,获得了各行各业企业的青睐。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

作者

蒋红冰
蒋红冰

TechTarget云计算主编,主要负责云计算和虚拟化网站的内容建设。长期专注于IT前沿技术,对云计算、虚拟化、人工智能、区块链等技术都有了解;对行业趋势、市场动态有一定的洞察。

相关推荐

  • 评估公共IaaS方案的关键特性

    为了评估有前景的IaaS提供商,需要研究他们的实例类型范围,以及他们对新兴技术,数据库选项等等的支持。

  • 移动互联网:企业如何在大数据的野蛮生长中掘金?

    随着全球移动设备、可穿戴设备等智能设备的不断增多,我们看到大数据的数量也不断增长,而且是爆发式的增长。IDC的一份报告预测,到2020年,大数据和业务分析市场将增长至203亿美元,是2015年1120亿美元的两倍。

  • 2017年数字经济新时代:除去云计算,还需要什么

    据LinkedIn最近的调查结果显示,最受欢迎的职业技能都与数字技术有关,可见日益普及的数字技术将引领未来。目前,用户界面设计已成为最受欢迎的移动应用技能之一。

  • 大数据新使命:如何创造未来

    现在我们探讨大数据,人们更关心数据如何创造一个未来。对于大数据的分析,企业已经不仅再关注过去,还关注于对未来的价值创造,这是大数据的一个新的使命。