<强>简介:
Apache Sqoop是专为Apache Hadoop和结构化数据存储如关系数据库之间的数据转换工具的有效工具。你可以使用Sqoop从外部结构化数据存储的数据导入到Hadoop分布式文件系统或相关系统如蜂巢和HBase。相反,Sqoop可以用来从Hadoop的数据提取和导出到外部结构化数据存储如关系数据库和企业数据仓库。
Sqoop专为大数据批量传输设计,能够分割数据集并创建Hadoop任务来处理每个区块。下面介绍下安装部署的步骤:
1。下载安装包并解压h5> 下载地址作者使用的是sqoop-1.4.6-cdh6.7.0.tar.gz版本
<代码类=" language-shell "> # wget下载安装包也可下载到本地然后上传至Linux (hadoop@hadoop000软件)$ pwd/home/hadoop/software (hadoop@hadoop000软件)美元wget http://archive.cloudera.com/cdh6/cdh/5/sqoop-1.4.6-cdh6.7.0.tar.gz #解压 美元(hadoop@hadoop000软件)焦油-xzvf sqoop-1.4.6-cdh6.7.0.tar。广州- c/home/hadoop/app/#查看解压目录 [hadoop@hadoop000 sqoop-1.4.6-cdh6.7.0] $ ls lh 总1.9 drwxr-xr-x 2 hadoop hadoop 4.0 k 7月3本16:00时,执行脚本目录 -rw-rw-r - 1 hadoop hadoop 60 k 3月24日2016 build . xml -rw-rw-r——1 hadoop hadoop 1.1 k 2016 cdh.build.properties 3月24日 -rw-rw-r - 1 hadoop hadoop 35 k 3月24日2016 CHANGELOG.txt drwxr-xr-x 4 hadoop hadoop 4.0 k 7月3 cloudera 16:00时 -rw-rw-r——1 hadoop hadoop 6.8 k 2016 cloudera-pom.xml 3月24日 -rw-rw-r——1 hadoop hadoop 9.7 k 2016 COMPILING.txt 3月24日 drwxr-xr-x 2 hadoop hadoop 4.0 k 7月3相依——16:00时配置文件目录 drwxr-xr-x 5 hadoop hadoop 4.0 k 7月3文档——16:00时文档 drwxr-xr-x 2 hadoop hadoop 4.0 k 7月3常春藤16:00时 -rw-rw-r - 1 hadoop hadoop 17 k 3月24日2016中 drwxr-xr-x 2 hadoop hadoop 4.0 k 7月3自由——自由16:00时依赖包 -rw-rw-r hadoop hadoop 15 k 3月24——2016 LICENSE.txt -rw-rw-r——2016 NOTICE.txt hadoop hadoop 505年3月24日 -rw-rw-r——1 hadoop hadoop 19 k 2016年3月24日pom-old.xml -rw-rw-r——1 hadoop hadoop 1.1 k 2016年3月24日的需要 -rw-rw-r hadoop hadoop - 1012 k 2016年3月24日sqoop-1.4.6-cdh6.7.0。jar——完整jar包 -rw-rw-r——1 hadoop hadoop 6.5 k 2016 sqoop-patch-review.py 3月24日 -rw-rw-r hadoop hadoop - 641 k 2016年3月24日sqoop-test-1.4.6-cdh6.7.0.jar drwxr-xr-x 7 hadoop hadoop 4.0 k 3月24日2016 src -源码 drwxr-xr-x 4 hadoop hadoop 4.0 k 7月3 testdata 16:00时2。配置环境变量
<代码类=" language-shell "> #添加sqoop环境变量可加入全局也可只配置个人环境变量 (hadoop@hadoop000 ~) $ sudo vi/etc/profile 出口SQOOP_HOME=/home/hadoop/app/sqoop-1.4.6-cdh6.7.0 导出路径=$ SQOOP_HOME/bin: $路径 [hadoop@hadoop000 ~]美元来源/etc/profile3。修改sqoop配置文件
<代码类=" language-shell "> (hadoop@hadoop000 conf) $ pwd/home/hadoop/app/sqoop-1.4.6-cdh6.7.0/conf (hadoop@hadoop000 conf) cp sqoop-env-template美元。sh sqoop-env.sh #添加hadoop及蜂巢目录 [hadoop@hadoop000 conf] vi sqoop-env.sh美元 #设置路径,本/hadoop是可用的 出口HADOOP_COMMON_HOME=/home/hadoop/app/hadoop-2.6.0-cdh6.7.0 #设置路径,hadoop - *生水起。jar是可用的 出口HADOOP_MAPRED_HOME=/home/hadoop/app/hadoop-2.6.0-cdh6.7.0 #设置路径,本/hbase可用 #出口HBASE_HOME=#设置路径,本/蜂巢是可用的 出口HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh6.7.0 #设置路径zookeper配置dir在哪里 #出口ZOOCFGDIR=4。拷贝jdbc驱动包到sqoop/lib目录下
<代码类=" language-shell "> #将蜂巢自由目录下的mysql驱动包拷贝过来 (hadoop@hadoop000 lib) $ pwd/home/hadoop/app/sqoop-1.4.6-cdh6.7.0/lib (hadoop@hadoop000 lib) cp/home/hadoop/app/hive-1.1.0-cdh6.7.0/lib/mysql-connector-java-5.1.46美元。jar。5. sqoop简单测试使用
<代码类=" language-shell "> #查看命令帮助 [hadoop@hadoop000 ~]美元sqoop帮助 警告:/home/hadoop/app/sqoop-1.4.6-cdh6.7.0/. ./hbase不存在!HBase进口将会失败。 请设置$ HBASE_HOME HBase安装的根源。 警告:/home/hadoop/app/sqoop-1.4.6-cdh6.7.0/. ./hcatalog不存在!HCatalog工作将会失败。 请设置$ HCAT_HOME HCatalog安装的根源。 警告:/home/hadoop/app/sqoop-1.4.6-cdh6.7.0/. ./accumulo不存在!Accumulo进口将会失败。 请设置$ ACCUMULO_HOME Accumulo安装的根源。 警告:/home/hadoop/app/sqoop-1.4.6-cdh6.7.0/. ./管理员不存在!Accumulo进口将会失败。 请设置$ ZOOKEEPER_HOME管理员安装的根源。 18/07/03 sqoop 16:23:05信息。Sqoop:运行Sqoop版本:1.4.6-cdh6.7.0 用法:sqoop命令(ARGS) 可用命令: codegen生成代码与数据库记录进行交互 create-hive-table表定义导入到蜂巢 eval评估SQL语句和显示结果 出口一个HDFS目录导出到一个数据库表中 帮助可用命令列表 从数据库导入导入表HDFS 从一个数据库到HDFS import-all-tables导入表 HDFS import-mainframe导入数据从主机服务器 工作与保存工作 list-databases列表可用的数据库服务器上 list-tables列表可用表在数据库中 合并的合并结果增加进口 metastore运行一个独立的Sqoop metastore 版本显示版本信息 看到sqoop帮助命令的特定命令的信息。 #查看sqoop版本 null null null null null null null null null null null null null null nullSqoop简介及安装部署
