大数据的救世主:Apache Hadoop和Hive(下)

日期: 2012-06-11 作者:Roger Jennings翻译:陈小波 来源:TechTarget中国 英文

在《大数据的救世主:Apache Hadoop和Hive(上)》中,我们介绍了Windows就Azure CTP与Apache Hadoop的合作以及SQL Azure群在大数据使用领域的扩张。   下载和安装ApacheHiveODBC驱动以及Excel添加功能   返回MapReduce主页面,点击下载面板。点击与用户Excel2000版本对应的安装链接,然后点击运行,打开警告对话框,点击更多选项,出现自定义选项,点击开始安装,打开ODBC驱动启动Hive设置对话。在同意接受以上条款框中打钩。

  点击安装开始安装驱动,点击完成退出安装。然后,打开Excel表格,点击数据表,确认Hive ……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

《大数据的救世主:Apache Hadoop和Hive(上)》中,我们介绍了Windows就Azure CTP与Apache Hadoop的合作以及SQL Azure群在大数据使用领域的扩张。

  下载和安装ApacheHiveODBC驱动以及Excel添加功能

  返回MapReduce主页面,点击下载面板。点击与用户Excel2000版本对应的安装链接,然后点击运行,打开警告对话框,点击更多选项,出现自定义选项,点击开始安装,打开ODBC驱动启动Hive设置对话。在同意接受以上条款框中打钩。

  点击安装开始安装驱动,点击完成退出安装。然后,打开Excel表格,点击数据表,确认Hive Pane图标存在,点击图标,工作表右面出现Hive语句控制条目。在菜单中Hive数据单元安装添加功能,从而出现Hive Pane图标。

  返回EMR控制主页面,点击打开港口,设置港口页面弹出,点击ODBC服务器,往右拖动滑动光标,打开TCP港10000。

  执行动态ApacheHive查询语句

  返回Excel,点击Hive Pane图标,打开Hive查询任务框,点击进入群,打开iaODBC设置对话框,输入描述及DNS主机名称,接受TCP港口。然后,选择用户名或密码验证,输入用户名及密码,进入MapReduce门户案例数据库。(见图4)

图4:每个链接,机场,TCP港,和群用户名,密码都有其对应的具体名称。

图4:每个链接,机场,TCP港,和群用户名,密码都有其对应的具体名称。

  若用户在修改Hive设置时ODBC Hive对话框正确,当用户打开选项或进入Hive链接清单时,他输入的名称会作为描述字段弹出。

  若要执行原始数据覆盖的时间范围内集合查询语句以显示每架资质飞机每分钟到达和延误情况,勾出载客飞机和到达时间,打开到达时间字段功能列表,双击avg添加到Hive语句(见图5)。

图5:选择avgHive语言功能进行总查询并双击,Hive语言功能比SQL多

图5:选择avgHive语言功能进行总查询并双击,Hive语言功能比SQL多

  然后,划去限制结果选项框,打开集合查询列表,选择载客飞机那一列。

  在avg括弧中输入到达时间,如avg(到达时间),这可以消除查询语句设计流程的缺陷,点击执行查询得出查询结果。(见图6)

图6:这是修正后的Hive查询语句执行后的初步查询结果,B6好F9是联邦航空署专用的两个字节代码,B6指代Jet Blue,F9指代Frontier Airlines。

图6:这是修正后的Hive查询语句执行后的初步查询结果,B6好F9是联邦航空署专用的两个字节代码,B6指代Jet Blue,F9指代Frontier Airlines。

  删除虚假的载客飞机条目,这可能是由于每列的首标发生错误,导致信息被留在了文档中出现在查询结果内,保留一位小数,关掉任务框,将信息添加到工作表,添加标题,X轴标题和数据标签,如图7所示。

图7:Excel表单从图6的数据中生成得来

图7:Excel表单从图6的数据中生成得来

  这个例子无疑阐述了运行HadoopOnAzure CTP程序将大大简化数据分析专家和BI专家总结大量数据的流程。微软编码为云数值的CTP也有相似的数据收集功能但是前提是要安装Visual Studio 10或以上版本才可以处理类似的FAA数据。发送列表的功能可将表格数据直接发送到Excel表单和表格进行进一步数据分析的功能使带有Hive ODBC数据源Hadoop On Azure的动态Hive和Excle外接程序成为锁定临时大量传输数据的解决方案。

  Roger Jennings是面向数据的.NET开发专家和编程专家。他是WindowsAzure的MVP,Oakleaf首席顾问,Oakleaf博客管理员。他曾就以下领域编撰过30多本书籍,如Windows Azure平台,微软操作系统(Windows NT和Windows 2000服务器),数据库(SQL Azure, SQL服务器和Access),.net数据存取和InfoPath 2003。他撰写的书籍发行量达到1250000册,并翻译成多国语言(已经超过20种)。

相关推荐