Sqoop数据分析引擎安装与使用


<强> <强>

,,,,,Sqoop 是一个开源的数据处理引擎,主要是通过为媒介,,在与传统的)间进行数据的传递

,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

,,,,HDFS  Hive ,HBase ,& lt;,在大敌;甲骨文公司,MySQL,


<强> <强>

,,,,,,,, 1只将安装包解压:焦油zxf sqoop-1.4.6.bin__hadoop-0.23.tar。广州- c/app

,,,,,,,, 2只配置环境变量:

,,,,,,,,,,,, vim ~/. bash_profile

,,,,,,,,,,,,,,,, SQOOP_HOME=/app/sqoop - 1.4.6.bin__hadoop 0.23

,,,,,,,,,,,,,,,, export , SQOOP_HOME

,,,,,,,,,,,,,,,,路径=$ SQOOP_HOME/bin:美元路径

,,,,,,,, 3只,因为需要通过JDBC 与数据库进行数据传输,所以需要将数据库的JDBC 工具包放入到,lib 目录下

,,,,,,,,,,,,,,打开oracle 安装目录:,C: \ oracle jdbc \ lib \生产\ 10.2.0 \ db_1 \

,,,,,,,,,,,,,,,,将ojdbc14.jar 文件复制到sqoop 的bin 目录下:0.23/bin/app/sqoop - 1.4.6.bin__hadoop


<强> <强> ()

,,,,,,<强>,codegen——→, 将关系数据库表映射为一个Java 文件,,Java 类类,以及相关的,jar 包

,,,,,,,,,,,,,,,,,,,, sqoop codegen \

,,,,,,,,,,,,,,,,,,,,, connect jdbc: oracle:薄:@192.168.10.210:1521:orcl \

,,,,,,,,,,,,,,,,,,,,, username ,SCOTT ——password oracle \

,,,,,,,,,,,,,,,,,,,,, table EMP

,,,,,,, <强>,create-hive-table——→强,生成与关系数据库表结构对应的,Hive 表

,,,,,,,,,,,,,,,,,,,, sqoop create-hive-table \

,,,,,,,,,,,,,,,,,,,,, connect jdbc: oracle:薄:@192.168.10.210:1521:orcl \

,,,,,,,,,,,,,,,,,,,,, username SCOTT ——password oracle \

,,,,,,,,,,,,,,,,,,,,, table EMP

,,,,,,,,,,,,,,,,,,,,, hive-table emphive

,,,,,,, <强>,eval ,,,——→,快速地使用SQL 语句对关系数据库进行操作

,,,,,,,,,,,,,,,,,,,,,,,,这可以在使用的,import 这种工具进行数据导入的时候,检查SQL 语句是否正确,并将结果显示在控制台

,,,,,,,,,,,,,,,,,,,, sqoop eval \

,,,,,,,,,,,,,,,,,,,,, connect jdbc: oracal:薄:@192.168.10.210:1521:orcl ,\

,,,,,,,,,,,,,,,,,,,,, username SCOTT ,——password ,甲骨文

,,,,,,,,,,,,,,,,,,,,——query “select *,得到;null

Sqoop数据分析引擎安装与使用