1,蜂巢是基于Hadoop的一个数据仓库工具,
2,可以将结构化的数据文件映射为一张数据库表,并提供类sql的查询功能,
3,可以将sql语句转换为mapreduce任务进行运行,
4,可以用来进行数据提取转换加载(ETL)
5,蜂巢是sql解析引擎,它将sql语句转换然成M/R工作后在Hadoop中运行。
只
。按表名把文件夹分开。如果是分区表,则分区值是子文件夹,可以直接在M/R工作里使用这些数据。
6,蜂巢优点与缺点:
可以提供类SQL语句快速实现简单的mapreduce统计,不需要开发专门的mapreduce应用
不支持实时查询,
7,蜂巢数据分为真实存储的数据和元数据
真实数据存储在hdfs中,元数据存储在mysql中,
metastore元数据存储数据库,,,,
蜂巢将元数据存储在数据库中,如MySQL,德比。
用户接口,包括CLI(壳)、JDBC/ODBC, WebUI(通过浏览器)
元数据存储,通常是存储在关系数据库如MySQL, derby中
解释器,编译器,优化器,执行器完成HQL查询语句从语法分析,编译,优化以及查询计划的生成,生成的查询计划存储在HDFS中,并随后被mapreduce调用执行
Hadoop:用HDFS进行存储,利用mapreduce进行计算(带*的查询select * from老师不会生成mapreduce任务,只是进行全表扫描)
,,,
<强>
Hadoop, zookpeer,火花,卡夫卡,MySQL已经正常启动
基础依赖环境:
1,jdk , 1.6 +
2,hadoop 2. x
3,hive 0.13 - -0.19
4,mysql ,, (mysql-connector-jar) 安装详细如下:
# java
export JAVA_HOME=/软/jdk1.7.0_79/export CLASSPATH=: $ JAVA_HOME/lib/dt.jar: $ JAVA_HOME/lib/tools.jar
#本
export 路径=$路径:/$ JAVA_HOME/bin: $ HADOOP_HOME/bin: $ SCALA_HOME/bin: $ SPARK_HOME/bin:/usr/bin/地方/hadoop/蜂巢
# hadoop
export HADOOP_HOME=/usr/地方/hadoop/hadoop
# scala
export SCALA_HOME=/usr/地方/hadoop/scala
#火花
export SPARK_HOME=/usr/地方/hadoop/火花
#蜂巢
export HIVE_HOME=/usr/地方/hadoop/蜂巢 ,,,,,,,,,,,,,,,,
一、开始安装:
1,下载:
https://hive.apache.org/downloads.html 解压:
tar , xvf ,, apache-hive-2.1.0-bin.tar.gz , -C /usr/地方/hadoop/cd /usr/地方/hadoop/mv ,, apache-hive-2.1.0 ,,蜂巢 2,修改配置
修改启动环境
cd ,,/usr/地方/hadoop/蜂巢
vim bin/hive-config.sh
# java
export JAVA_HOME=/软/jdk1.7.0_79/# hadoop
export HADOOP_HOME=/usr/地方/hadoop/hadoop
#蜂巢
export HIVE_HOME=/usr/地方/hadoop/蜂巢 修改默认配置文件
cd ,,/usr/地方/hadoop/蜂巢
vim conf/hive-site.xml
& lt; configuration>
,,,& lt; property>
,,,,,,,& lt; name> javax.jdo.option.ConnectionURL
,,,,,,,& lt; value> jdbc: mysql://主:3306/蜂巢? createDatabaseInfoNotExist=true,
,,,,,,,,,,,& lt; description> JDBC connect string for a JDBC metastore
,,,,,& lt;/property>
,,,,& lt; property>
,,,,,,,,,,,& lt; name> javax.jdo.option.ConnectionDriverName
,,,,,,,,,,,& lt; value> com.mysql.jdbc.Driver
,,,,,,,,,,,& lt; description> Driver class name for a JDBC metastore
,,,,,& lt;/property>
,,,& lt; property>
,,,,,,,,,,,& lt; name> javax.jdo.option.ConnectionUserName
,,,,,,,,,,,& lt; value> hive
,,,,,,,,,,,& lt; description> Username 用use against metastore database
,,,,,& lt;/property>
,,,& lt; property>
,,,,,,,,,,,& lt; name> javax.jdo.option.ConnectionPassword
,,,,,,,,,,,& lt; value> xujun
,,,,,,,,,,,& lt; description> password 用use against metastore database
,,,,,& lt;/property>
& lt;/configuration> 3,修改tmp dir
修改将含有“系统:. io .tmpdir”的配置项的值修改为如上地址
/tmp/蜂巢
4,安装mysql驱动
