您好,欢迎来到图艺博知识网。
搜索
您的当前位置:首页大数据之hive(分布式SQL计算工具)加安装部署

大数据之hive(分布式SQL计算工具)加安装部署

来源:图艺博知识网

1.分布式SQL计算:

     对数据进行统计分析, SQL是目前最为方便的编程工具.

2.hive:主要功能:

 将 SQL语句翻译成MapReduce程序运行,提供用户分布式SQL计算能力

3.构建分布式SQL计算:(hive核心组件)

   需要有: 一:元数据管理功能, 即:数据位置,数据结构,等对数据进行描述,进行记录

               二:SQL到MapReduce转换功能:SQL解析器:功能: SQL分析,SQL到MapReduce程序的转换,提交MapReduce程序运行并收集执行结果.

4.组件

   一:组件1: metastore(元数据存储)

      Hive提供了Metastore服务进程提供元数据管理功能

    二:组件2:Driver驱动程序(SQL解析器)

   包括语法解析器、计划编译器、优化器,执行器

     三:用户接口:

 包括CLI 、JDBC/ODBC 、WebGUI 。其中,CLI(command line interface) 为shell命令 行 ;Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交 互 ,类似于JDBC或ODBC协议。.WebGUI是通过浏览器访问Hive。

5.安装部署:

     一:安装MySQL,可以看我的文章

    二: 启动MySQL服务:systemctl start mysqld

     三:配置hadoop:

(1):配置core-site.xml文件:添加:

&l

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- huatuoyibo.net 版权所有 湘ICP备2023021910号-2

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务