这篇文章主要讲解了“sqoop使用mysql做为metastore的方法”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“sqoop使用mysql做为metastore的方法”吧!
& lt; property>
,,& lt; name> sqoop.metastore.client.enable.autoconnect
,,& lt; value> false
,,& lt; description>如果这是真的,Sqoop将连接到一个本地metastore
,,,作业管理当没有其他metastore参数
,,,提供。
,,& lt;/description>
,& lt;/property>
,& lt; property>
,,& lt; name> sqoop.metastore.client.autoconnect.url
,,& lt; value> jdbc: mysql://& lt; mysql-Server-IP>: & lt; mysql-port>/sqoop ? createDatabaseIfNotExist=true
,& lt;/property>
,& lt; property>
,,& lt; name> sqoop.metastore.client.autoconnect.username
,,& lt; value> sqoop
,& lt;/property>
,& lt; property>
,,& lt; name> sqoop.metastore.client.autoconnect.password
,,& lt; value> sqoop
,& lt;/property>
创建表SQOOP_ROOT (
,,版本INT,,
,,propname VARCHAR (128) NOT NULL,
,,propval VARCHAR (256),
,,约束SQOOP_ROOT_unq独特(版本,propname)
);
,插入下面的行(* *起了作用)
插入INTO
,,SQOOP_ROOT
值(
,,空,
,,& # 39;sqoop.hsqldb.job.storage.version& # 39;
,,& # 39;0 & # 39;
);
#增量导入
sqoop工作——创建job3 meta-connect & # 39; jdbc: mysql://172.18.1.1:3306/sqoop ?用户=root&密码=测试# 39;——进口,连接& # 39;jdbc: mysql://172.18.1.1:3306/测试# 39;——用户名& # 39;根# 39;——密码& # 39;测试# 39;,——表& # 39;test1 # 39;——列& # 39;id、名称、年龄# 39;,——hive-import——hive-table违约。jnincr1,——增量附加控制列& # 39;id # 39;,最后一个值0
sqoop工作——meta-connect & # 39; jdbc: mysql://172.18.1.1:3306/sqoop ?用户=root&密码=测试# 39;,——列表
sqoop工作——meta-connect & # 39; jdbc: mysql://172.18.1.1:3306/sqoop ?用户=root&密码=测试# 39;- - - exec job3,根————,——用户名密码测试——append
sqoop工作——创建job3 meta-connect & # 39; jdbc: hsqldb: hsql://172.18.1.1:16000/sqoop& # 39;——进口,连接& # 39;jdbc: mysql://172.18.1.1:3306/测试# 39;——用户名& # 39;根# 39;——密码& # 39;123456 & # 39;,——表& # 39;test_001& # 39;——列& # 39;id、名称# 39;,——hive-import——hive-table违约。a3,——增量附加控制列& # 39;id # 39;,最后一个值0
sqoop工作——meta-connect & # 39; jdbc: hsqldb: hsql://172.18.1.1:16000/sqoop& # 39;,- exec job3 - verbose
此方法需要修改sqoop源码,解决事务锁表问题
,
