火花SQL使用直线访问蜂巢仓库

一、添加hive-site.xml

在SPARK_HOME美元/conf下添加hive-site.xml的配置文件,目的是能正常访问蜂巢的元数据

 <代码类=" language-shell "> vim hive-site.xml  

 <代码类="语言xml "> & lt; configuration>
　　& lt; property>
　　& lt; name> javax.jdo.option.ConnectionURL
　　& lt; value> jdbc: mysql://192.168.1.201:3306/hiveDB ? createDatabaseIfNotExist=true
　　& lt;/property>
　　
　　& lt; property>
　　& lt; name> javax.jdo.option.ConnectionDriverName
　　& lt; value> com.mysql.jdbc.Driver
　　& lt;/property>
　　
　　& lt; property>
　　& lt; name> javax.jdo.option.ConnectionUserName
　　& lt; value> root
　　& lt;/property>
　　
　　& lt; property>
　　& lt; name> javax.jdo.option.ConnectionPassword
　　& lt; value> 123456 & lt;/value>
　　& lt;/property>
　　& lt; !——蜂巢查询时输出列名——比;
　　& lt; property>
　　& lt; name> hive.cli.print.header
　　& lt; value> true
　　& lt;/property>
　　& lt; !——显示当前数据库名——比;
　　& lt; property>
　　& lt; name> hive.cli.print.current.db
　　& lt; value> true
　　& lt;/property>
　　& lt;/configuration>  

<强>注意:在节点上不需要部署蜂巢,只要是你可以连接到蜂巢的元数据就可以!

二,启动thriftserver服务

 <代码类=" language-shell "> hadoop@hadoop003引发美元。/sbin/start-thriftserver。sh——罐子~/软件/mysql-connector-java-5.1.47.jar
　　org.apache.spark.sql.hive.thriftserver.HiveThriftServer2开始,
　　日志记录/home/hadoop/app/spark/logs/spark-hadoop-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-hadoop003.out  

检查日志,确认thriftserver服务正常启动

 <代码类=" language-shell "> (hadoop@hadoop003火花)尾-50 f/home/hadoop/app/spark/logs/spark-hadoop-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-hadoop003.out美元
　　
　　DataNucleus 19/05/21 09:39:14信息。数据存储:org.apache.hadoop.hive.metastore.model类”。MOrder”被标记为“embedded-only“所以没有自己的数据存储表。
　　DataNucleus 19/05/21 09:39:15信息。数据存储:org.apache.hadoop.hive.metastore.model类”。MFieldSchema”被标记为“embedded-only“所以没有自己的数据存储表。
　　DataNucleus 19/05/21 09:39:15信息。数据存储:org.apache.hadoop.hive.metastore.model类”。MOrder”被标记为“embedded-only“所以没有自己的数据存储表。
　　19/05/21 metastore 09:39:15信息。MetaStoreDirectSql:直接使用SQL,潜在的DERBY数据库
　　19/05/21 metastore 09:39:15信息。ObjectStore ObjectStore:初始化
　　19/05/21 09:39:15警告metastore。在metastore ObjectStore:版本信息未找到。hive.metastore.schema。验证不启用版本1.2.0所以记录模式
　　19/05/21 09:39:15警告metastore。ObjectStore:未能获得数据库默认情况下,返回NoSuchObjectException
　　19/05/21 metastore 09:39:15信息。在metastore HiveMetaStore:添加管理员的角色
　　19/05/21 metastore 09:39:15信息。在metastore HiveMetaStore:添加公共的角色
　　19/05/21 metastore 09:39:15信息。HiveMetaStore:没有用户添加管理员角色,因为配置是空的
　　19/05/21 metastore 09:39:15信息。HiveMetaStore: 0: get_all_databases
　　19/05/21 HiveMetaStore 09:39:15信息。审计:ugi=hadoop ip=unknown-ip-addr cmd=get_all_databases
　　19/05/21 metastore 09:39:15信息。HiveMetaStore: 0: get_functions: db=默认拍=*
　　19/05/21 HiveMetaStore 09:39:15信息。审计:ugi=hadoop ip=unknown-ip-addr cmd=get_functions: db=默认拍=*
　　DataNucleus 19/05/21 09:39:15信息。数据存储:org.apache.hadoop.hive.metastore.model类”。MResourceUri”被标记为“embedded-only“所以没有自己的数据存储表。
　　19/05/21 09:39:16会话信息。SessionState:创建本地目录:/tmp/73 df82dd - 1 - fd3 - 4 dd5 - 97 f1 - 680 d53bd44bc_resources
　　19/05/21 09:39:16会话信息。SessionState: HDFS创建目录:/tmp/蜂巢/hadoop/73 df82dd - 1 - fd3 - 4 - dd5 - 97 f1 - 680 d53bd44bc
　　19/05/21 09:39:16会话信息。SessionState:创建本地目录:/tmp/hadoop/73 df82dd - 1 - fd3 4 - dd5 - 97 f1 - 680 d53bd44bc
　　19/05/21 09:39:16会话信息。SessionState: HDFS创建目录:/tmp/蜂巢/hadoop/73 df82dd - 1 - fd3 - 4 - dd5 - 97 f1 - 680 d53bd44bc/_tmp_space.db
　　19/05/21 09:39:16信息客户端。HiveClientImpl:仓库位置蜂巢客户机(1.2.2版)文件:/home/hadoop/app/spark-2.4.2-bin-hadoop-2.6.0-cdh6.7.0/spark-warehouse
　　19/05/21 09:39:16会话信息。SessionManager:操作日志创建根目录:/tmp/hadoop/operation_logs
　　19/05/21 09:39:16会话信息。SessionManager: HiveServer2:后台操作线程池的大小:100
　　19/05/21 09:39:16会话信息。SessionManager: HiveServer2:后台操作线程等待队列的大小:100
　　19/05/21 09:39:16会话信息。SessionManager: HiveServer2:后台操作线程keepalive时间:10秒
　　19/05/21 09:39:16信息服务。AbstractService:服务:OperationManager请来。
　　19/05/21 09:39:16信息服务。AbstractService:服务:SessionManager请来。
　　19/05/21 09:39:16信息服务。AbstractService:服务:CLIService请来。
　　19/05/21 09:39:16信息服务。AbstractService:服务:ThriftBinaryCLIService请来。
　　19/05/21 09:39:16信息服务。null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
　　null
火花SQL使用直线访问蜂巢仓库