企业报表终极瓶颈之浅谈——如何寻找数据价值(二)

日期: 2007-12-20 来源:TechTarget中国

  故此,客户对性能好坏没有太大的感觉,但是当系统中的数据过于庞大,达到TB级(海量数据)时,就不得不考虑性能问题了,试想,如果运算了三十分钟结果还是出不来,最终死机了,您能忍受吗?但如果仅需要十秒八秒就完成三十分钟的事情,您觉得如何?要达到这样的效果,必须解决性能低劣问题,要拥有以下四方面创新技术:

  1、 超高速ETL引擎技术

  要解决海量数据性能问题,必不可少方法之一就是建数据仓库,要建好数据仓库就必须要有好的ETL,没有好的ETL工具,数据仓库肯定差,当数据量越大时,您的运行速度必定很慢。例如出入境报表性能处理案例,出入境系统主要是统计全国出入境人口情况,所以数据量相当庞大(千万记录级),在软硬件条件都已非常好的情况下(Oracle 10g / 10多台刀片式服务器集群服务),按传统的做法,从数据库查询一条简单SQL语句,Oracle需要30分钟后才有回应。为了提高性能,我们使用数据仓库技术解决此问题,利用数据仓库技术,针对业务关系数据库的大数据量表,划分为多个大数据量主题,建立相应的多维数据集。根据对出境申请和签注办理这两个多维数据集的测试结果,性能可提高几十倍甚至过百倍。一般条件下,不超过10秒可出结果。不管多复杂的条件组合,一般也不超过一分钟可出结果。目前出入境如涉及到数据量比较大的表时,都采用了此数据仓库方式实现。使用了数据仓库后,报表统计速度由原来的56分钟,降到现在只需10多秒就统计完毕. 性能比以前提高几十倍甚至过百倍。

  2、 “去掉”表关联技术

  在您构造各种组合查询、报表时会涉及表与表之间的关系,即是通过表的关键标识将表关联起来,如果您涉及查询表关联越多,速度将会越慢,尤其是数据量大时,更有可能死机。故此必须要有“去掉”表关联技术,通过一种计算方式,在众多的路径中找到最短的路径,通过简单的拖放连线,熟悉库结构的IT人员或开发商就可以预先把表关系建好在语义层中,支持多字段关联、内外连接。这样,最终用户在做查询或报表时,就不必理会表关联了,需要查什么直接拖放即可。

  3、 代码表快速转换技术

  在利用计算机进行查找时,我们都知道英文比中文快,数字比中文快。如果数据库很多字段里的内容是中文,那么对中文进行查找会相当慢,若查找的量很大,则有可能出现“老牛拉破车”一样令人无法忍受。这时候必须要有一项技术进行代码表转换,这项技术可以把任何东西变成数字或字符处理,计算机频繁处理时是数据,出来的结果是中文,由数字和中文一一对应,使查找起来非常快速。

  4、 海量数据处理技术

  当查询统计分析的数据量非常大(达到TB级)时,数据的缓存空间就成为处理海量数据最大的难题,以内存提供缓存空间的做法将极大程度上影响到其他的后台运作,当内存无法负荷时就会导致速度缓慢,任务排队,甚至是系统死机,BQ的“资源人工智能分配技术”通过对CPU,内存和硬盘的智能分配,实现海量数据的高效查询。

  上述这四个方面在性能上是至关重要的,也是技术上最大的难点!

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

相关推荐

  • 云应急响应和取证:企业须知

    很多企业已经在以一种或者另外的格式使用云,这取决于服务模型——基础架构即服务,软件即服务或者平台即服务——需要按需采用对应的应急响应和取证调查流程来支持云计算服务。

  • 优化混合云性能:数据管理技巧大公开

    对于许多企业来说,建立混合云是在他们2016年的首要任务。而虽然成功部署混合云的模型本身就是一个成就,只是在私有云和公有云之间拥有互操作性和稳定性仍然是不够的。

  • 选择云服务提供商的五大标准

    云计算市场风起云涌,已经是国内、国际厂商的兵家必争之地,根据甲骨文的观察,即使在国内用户对云计算的接受程度已经越来越高,但随着市面上云平台、云服务的种类和数量不断攀升,许多企业身处云计算的浪潮,如何精确地评估自己的需求,通过云计算的优势增强自身的核心竞争力,是目前这些企业所面临的最大难题。

  • 仅凭SOA和云无法解决业务数据管理风险问题

    SOA和云可以是某些恼人问题高效的解决方案;这一点我们已经知道了。但是也要记住它们并不是所有事情的直接答案,特别是当你的问题是业务数据管理风险,而不是技术问题时。