环境:
源端:oracle12.2 ogg oracle 12.3
目标端:卡夫卡ogg bigdata 12.3
将oracle中的数据通过ogg同步到卡夫卡
源端配置:
1,为要同步的表添加附加日志
dblogin USERID ogg@orclpdb,密码ogg
添加trandata斯科特。tab1
添加trandata scott.tab2
2,添加抽取进程
GGSCI>添加提取EXT_KAF1 tranlog集成,现在开始
GGSCI>添加EXTTRAIL。/dirdat/k1,提取EXT_KAF1字节200
编辑抽取进程参数:
GGSCI>编辑params EXT_KAF1
提取EXT_KAF1
userid c # # ggadmin密码ggadmin
LOGALLSUPCOLS
UPDATERECORDFORMAT紧凑
exttrail。/dirdat/k1,格式12.3版
SOURCECATALOG orclpdb——(指定pdb)
表scott.tab1;
表scott.tab2;
注册进程
GGSCI>DBLOGIN USERID c # # ggadmin、密码ggadmin
GGSCI>寄存器提取EXT_KAF1数据库容器(orclpdb)
3,添加投递进程:
GGSCI>添加提取PMP_KAF1 exttrailsource。/dirdat/k1
GGSCI>添加rmttrail。/dirdat/f1,提取PMP_KAF1字节200
编辑投递进程参数:
GGSCI>编辑参数PMP_KAF1
提取PMP_KAF1
USERID c # # ggadmin密码ggadmin
PASSTHRU
RMTHOST 10.1.1.247, MGRPORT 9178
RMTTRAIL。/dirdat/f1,格式12.3版
SOURCECATALOG orclpdb
表scott.tab1;
表scott.tab2;
4,添加数据初始化进程(Oracle初始载荷)可以多个表分开初始化也可以一起初始化,此处选择分开初始化
GGSCI>添加提取ek_01 sourceistable
编辑参数:
GGSCI>编辑PARAMS ek_01
提取ek_01
USERID c # # ggadmin密码ggadmin
RMTHOST 10.1.1.247, MGRPORT 9178
RMTFILE。/dirdat/ka, maxfiles 999字节500格式12.3版
SOURCECATALOG orclpdb表scott.tab1;
GGSCI>添加提取ek_02 sourceistable
编辑PARAMS ek_02
提取ek_02
c # # ggadmin USERID, PASSWORD ggadmin
RMTHOST 10.1.1.247, MGRPORT 9178
RMTFILE。/dirdat/kb, maxfiles 999字节500格式12.3版
SOURCECATALOG orclpdb表scott.tab2;
5,生成def文件:
GGSCI>编辑参数defgen1
USERID c # # ggadmin、密码ggadmin
defsfile/home/oracle/ogg/ggs12/dirdef/defgen1.def,格式12.3版
SOURCECATALOG orclpdb
表scott.tab1;
表scott.tab2;
在OGG_HOME下执行如下命令生成def文件
defgen paramfile dirprm/defgen1.prm
将生成的def文件传到目标端OGG_HOME美元/dirdef下
目标端配置:
1,将美元OGG_HOME/AdapterExamples/大数据/卡夫卡下的所有文件复制到$ OGG_HOME/dirprm下
cd $ OGG_HOME/AdapterExamples/大数据/卡夫卡
cp * OGG_HOME美元/dirprm
2,将$ ORACLE_HOME/AdapterExamples/轨迹下的文件tr000000000复制到$ OGG_HOME/dirdat下
cd $ ORACLE_HOME/AdapterExamples/小道
cp tr000000000 OGG_HOME美元/dirdat
3,添加初始化进程:(可以多表一起初始化也可以分开初始化,此处选择单独初始化)
GGSCI>添加replicat rp_01, specialrun
GGSCI>编辑PARAMS rp_01
SPECIALRUN
结束运行时
setenv (NLS_LANG=癆MERICAN_AMERICA.ZHS16GBK")
targetdb libfile libggjava。因此集属性=/dirprm/kafka1。道具
SOURCEDEFS。/dirdef defgen1.def
EXTFILE。/dirdat ka
reportcount每隔1分钟,率10000
grouptransops orclpdb.scott地图。目标scott.tab1 tab1;
GGSCI>添加replicat rp_02, specialrun
GGSCI>编辑PARAMS rp_02
SPECIALRUN
结束运行时
setenv (NLS_LANG=癆MERICAN_AMERICA.ZHS16GBK")
targetdb libfile libggjava。因此集属性=/dirprm/kafka2。道具
SOURCEDEFS。/dirdef defgen1.def
EXTFILE。
/dirdat/kb reportcount每隔1分钟,率10000
grouptransops orclpdb.scott地图。tab2,目标scott.tab2;
4,添加恢复进程:
GGSCI>添加replicat r_kaf1, exttrail。/dirdat/f1
GGSCI>编辑params r_kaf1
REPLICAT r_kaf1
setenv (NLS_LANG=癆MERICAN_AMERICA.ZHS16GBK")
HANDLECOLLISIONS
targetdb libfile libggjava。因此集属性=/dirprm/kafka1。道具
SOURCEDEFS。/dirdef defgen1.def
reportcount每隔1分钟,率10000
grouptransops orclpdb.scott地图。目标scott.tab1 tab1;
GGSCI>添加replicat r_kaf2, exttrail。/dirdat/f2
GGSCI>编辑params r_kaf2
REPLICAT r_kaf2
setenv (NLS_LANG=癆MERICAN_AMERICA.ZHS16GBK")
HANDLECOLLISIONS
targetdb libfile libggjava。因此集属性=/dirprm/kafka2。道具
SOURCEDEFS。/dirdef defgen1.def
reportcount每隔1分钟,率10000
grouptransops orclpdb.scott地图。tab2,目标scott.tab2;
5,参数配置:
custom_kafka_producer.properties文件内容如下:
