本篇内容主要讲解“Mysql数据怎么同步到Greenplum”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Mysql数据怎么同步到Greenplum”吧!
一、资源信息
这边就不赘述
二,配置相关数据源、目标数据源和java环境
mysql数据源
1,数据库,创建数据库testdb1;
2,用户权限,需要拥有选择权限和binlog拉取权限,此处使用根权限
3,同步的表(切换到syncdb1数据库),创建表tb1 (int、char(10),主键());
pgsql目的数据库
1,用户,创建用户密码& # 39;testdb testdb # 39;;
2,数据库,创建数据库testdb所有者& # 39;testdb # 39;;
3,同步的表(使用testdb用户切换到testdb数据库),创建表tb1 (int、char(10),主键());
java环境的安装
1,下载二进制安装包:jdk-8u101-linux-x64.tar。广州
2,解压二进制包并做软链接:tar xf jdk-8u101-linux-x64.tar。广州,,ln - s/数据/jdk1.8.0_101/usr/java
3,配置路径和java环境变量:vim/etc/profile.d/java.sh
出口JAVA_HOME=/usr/java
出口JRE_HOME=$ JAVA_HOME/jre
出口路径=$ JAVA_HOME/bin: $路径
出口CLASSPATH=: $ JAVA_HOME/lib: $ JAVA_HOME/jre/lib
4,源生效:source /etc/profile.d/java.sh
5,安装jsvc, yum安装jsvc
三,卡夫卡的安装和启动配置
1,下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/
2,卡夫卡官方文档:http://kafka.apache.org/
3,解压缩:tar xf kafka_2.11-2.0.0。tgz,,cd kafka_2.11-2.0.0
4,饲养员
启动,bin/zookeeper-server-start。sh配置/zookeeper.properties
关闭,bin/zookeeper-server-stop。sh配置/动物园管理员。属性
5,卡夫卡服务器
启动,bin/kafka-server-start。sh配置/server.properties
启动,bin/kafka-server-stop。sh配置/server.properties
6,主题
创建,bin/kafka-topics。sh——创建管理员localhost: 2181 - replication因子设置分区1——1——主题绿色
查询,本/kafka-topics。sh——列表管理员localhost: 2181
删除,bin/kafka-topics。sh——删除管理员localhost: 2181——主题绿色
7,生产者(不是本实验必须的,作为学习使用)
/bin/kafka-console-producer。sh——券商名单上localhost: 9092——主题绿色
在aaa
在123年
在
8日消费(不是本实验必须的,作为学习使用)
/bin/kafka-console-consumer。sh - bootstrap-server localhost: 9092——主题绿色从头
aaa
123
四,麦克斯韦的安装和启动配置
1,下载地址:https://github.com/zendesk/maxwell/releases
2,麦克斯韦官方文档:https://github.com/zendesk/maxwell
3,解压缩:tar xf maxwell-1.17.1.tar。广州,,cd maxwell-1.17.1
4,修改配置文件,cp config.properties。配置示例。属性,,vim配置。属性
log_level=info
#卡夫卡信息
=卡夫卡
kafka.bootstrap生产商。服务器=localhost: 9092
kafka_topic=绿色
ddl_kafka_topic=绿色
# mysql登录信息主机=xx.xx.xx
。xx
用户端口=3306
=
根密码=123456
5,启动麦克斯韦,bin/麦克斯韦-配置config.properties
6,麦克斯韦尔默认在源数据库生成库麦克斯韦记录相关信息
五,古代船的安装和启动配置
1,下载地址:https://github.com/HashDataInc/bireme/releases
2,古代船官方文档:https://github.com/HashDataInc/bireme/blob/master/README_zh-cn.md
3,解压缩:tar xf bireme-1.0.0.tar。广州,,cd bireme-1.0.0
4,修改配置文件,vim等/配置。属性
#将同步到目标数据库的数据。
的目标。url=jdbc: postgresql://xxx.xxx.xxx.xxx: 5432/testdb
的目标。用户testdb=
的目标。passwd=
# testdb数据源名称列表,以逗号分隔。
data_source=maxwell1
#数据源“mysql1"
maxwell1类型。类型=麦克斯韦
#卡夫卡麦克斯韦binlog写入服务器。
maxwell1.kafka。服务器=127.0.0.1:9092
#卡夫卡麦克斯韦binlog写入的话题。
maxwell1.kafka。主题=绿色
#卡夫卡groupid用于消费者。
maxwell1.kafka。groupid=古代船
#集古代船状态服务器的IP地址。
state.server。addr=0.0.0.0
#设置端口为古代船状态服务器。
state.server。端口=8080
5,修改配置文件,vim等/maxwell1.properties(表映射配置)
注意:maxwell1.properties的maxwell1一定要和古代船的data_source保持一致
testdb1。tb1=public.tb1
testdb2。tb1=b1
6,启动古代船,bin/古代船开始
,
六、测试
1, mysql数据源
插入tb1选择1 & # 39;一个# 39;;
插入tb1选择2,& # 39;b # 39;;
2, pgsql目标数据库testdb
=# select * from tb1;
,一个|,,,,b ,,,,
- - - - - - + - - - - - - - - - - - -
