报错一:
背景
启动spark-shell后查询蜂巢中的表信息,报错
<代码类=" sql语言"> SPARK_HOME/bin/spark-shell美元 火花。sql(“从学生选择*。学生”),告诉()
日志
<代码>所致:. lang。RuntimeException:无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance (MetaStoreUtils.java: 1523) 在org.apache.hadoop.hive.metastore.RetryingMetaSto 引起的:org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: 指定的数据存储驱动程序(“com.mysql.jdbc.Driver”)没有发现 类路径中。请检查你的类路径规范, 和驱动程序的名称。
原因:
火花访问存放蜂巢的Metastore的mysql数据库时,没有连接成功,因为火花没有没有mysql-connecter的jar包,即mysql驱动
解决:
有人说,那就直接把jar包cp到$ SPARK_HOME/jar下呗,不好意思,这样再生产中是绝对不行的,并不是所有火花程序都会用到mysql驱动,所以我们要在提交作业时指定罐,多个jar包用逗号分隔注(我的mysql版本是5.1.73)
<代码类=" language-shell "> [hadoop@hadoop003火花]spark-shell——罐子~/软件/mysql-connector-java-5.1.47.jar美元 19/05/21 08:02:55警告跑龙套。NativeCodeLoader:无法加载native-hadoop库为您的平台……使用builtin-java类适用的地方 默认日志级别设置为“警告”。 调整日志级别使用sc.setLogLevel(中的)。对于SparkR,使用setLogLevel(中的)。 火花上下文可用在http://hadoop003:4040 Web UI 火花上下文可用“sc”(主=当地[*],app id=当地- 1558440185051)。 火花会话可用“火花”。 欢迎来到 ____ __/__/__ ___ _____//__ _/_ \ \ \/_/_/_//___/.__/\ _,_/_/_ \ _ \ 2.4.2版本/_/使用Scala版本2.11.12 (Java HotSpot (TM) 64位服务器虚拟机,Java 1.8.0_131) 输入表达式计算。 类型:帮助的更多信息。 scala>火花。sql(“从学生选择*。学生”),告诉() 19/05/21 08:04:42警告DataNucleus。一般:插件(包)”组织。datanucleus”已经注册。确保你不要有多个JAR版本相同的插件在类路径中。URL”文件:/home/hadoop/app/spark-2.4.2-bin-hadoop-2.6.0-cdh6.7.0/罐/datanucleus-core-3.2.10。jar”已经注册,你想注册一个相同的插件位于URL”文件:/home/hadoop/app//罐/datanucleus-core-3.2.10.jar火花。” 19/05/21 08:04:42警告DataNucleus。一般:插件(包)“org.datanucleus.api。jdo”已经注册。确保你不要有多个JAR版本相同的插件在类路径中。URL”文件:/home/hadoop/app//罐/datanucleus-api-jdo-3.2.6火花。jar”已经注册,你想注册一个相同的插件位于URL”文件:/home/hadoop/app/spark-2.4.2-bin-hadoop-2.6.0-cdh6.7.0/罐/datanucleus-api-jdo-3.2.6.jar。” 19/05/21 08:04:42警告DataNucleus。一般:插件(包)“org.datanucleus.store。rdbms”已经注册。确保你不要有多个JAR版本相同的插件在类路径中。URL”文件:/home/hadoop/app/spark-2.4.2-bin-hadoop-2.6.0-cdh6.7.0/罐/datanucleus-rdbms-3.2.9。jar”已经注册,你想注册一个相同的插件位于URL”文件:/home/hadoop/app//罐/datanucleus-rdbms-3.2.9.jar火花。” 19/05/21 metastore 08:04:45错误。ObjectStore:版本信息中发现metastore 1.2.0版本1.1.0不同于预期的模式。模式verififcation hive.metastore.schema禁用。所以设置版本验证。 19/05/21 08:04:46警告metastore。ObjectStore:未能获得数据库global_temp NoSuchObjectException回来 + - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + | stu_id | stu_name | stu_phone_num | stu_email | + - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + Burke | 1 | | 1-300-746-8446 | | ullamcorper.velit… Kamal | | 2 | 1-668-571-5046 | pede.Suspendisse@…| | 3 |奥尔加| 1-956-311-1686 | Aenean.eget.metus…| | 4 |美女| 1-246-894-6340 | vitae.aliquet.nec…| | 5 | Trevor | 1-300-527-4967 | dapibus.id@acturp…| | 6 |月桂| 1-691-379-9921 | adipiscing@consec…| Sara | | 7 | 1-608-140-1995 | Donec.nibh@enimEt…| | | 8 Kaseem | 1-881-586-2689 | cursus.et.magna@e…| 9 | |列弗| 1-916-367-5608 | Vivamus.nisi@ipsu…| 10玛雅| | 1-271-683-2698 | | accumsan.convalli…| | | 11 Emi | 1-467-270-1337 | est@nunc.com | 迦勒12 | | | 1-683-212-0896 | Suspendisse@Quisq…| 13佛罗伦萨| | 1-603-575-2444 | | sit.amet.dapibus@…| | | 14日对| 1-856-828-7883 | euismod@ligulaeli…| ‘拉15 | | | 1-398-171-2268 | | turpis@felisorci.com 16 | | Amena | 1-878-250-3129 | lorem.luctus.ut@s…| 17 | | | 1-154-406-9596 |开花Nunc.commodo.auct…| 18 | |男生| 1-869-521-3230 | senectus.et.netus…| 19 | |玛拉基书| 1-608-637-2772 | Proin.mi.Aliquam@…| 20爱德华| | 1-711-710-6552 | | lectus@aliquetlib…| + - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + 只显示前20行代码火花SQL报错总结
