记一次从甲骨文到蜂巢的历史数据迁移(一)

介绍一下具体场景

,,,,需要从现有在用的甲骨文中将历史数据迁移出来并导入到蜂巢中,存在几个问题:1,现有甲骨文数据库在使用无法整个库导出,数据库服务器没有权限;2,由于各个数据提供方的各次升级,甲骨文数据库采取添加字段而不删除字段的方式更新,而蜂巢中建立的表数据结构要按新的来,也就是说甲骨文导出的数据到蜂巢表中需要做字段对应。

,,决定先将oracle导入到另一个甲骨文中,将甲骨文中表字段和蜂巢中的表字段进行比对得到各个的对应关系,之后写对应的sqoop语句对应利用ETL流程安装账期一天一天导入只

,,从一个公司到另一个oracle导入的方案,利用大神写出的sqluldr2工具用来导出数据,导入利用

sqlldr命令导入到另一个库表中。

,,导出的具体命令

sqluldr2。本根/pwd@tnsname查询用户=="选择/* +并行(8)*/*从表,“头==没有文件/数据/oracle/tmp/文件导出到本地目录

,导入的具体命令

sqlldr根/pwd@@ip: 1521/以及控制=/数据/oracle/壳/xxx.ctl 

data=https://www.yisu.com/data/oracle/tmp/file

日志=/数据/oracle/日志/file.log错误=100000 bindsize=1024000000=0行直接=y;

xxx。ctl是用来指定导入表的字段和分割符如下写法

加载数据截断成表,表名

字段被”、“终止#文件的列分隔符

拖曳NULLCOLS

(,

IP char (255),

APPKEY char (255),

平台char (255),

门户char (255),

COMPANYID char (255))


记一次从甲骨文到蜂巢的历史数据迁移(一)