Oracle 使用OGG(Oracle GoldenGate) 实现19c PDB与MySQL5.7 数据同步

2024-03-24 07:52
文章标签 oracle 数据 实现 使用 同步 ogg mysql5.7 19c pdb goldengate

本文主要是介绍Oracle 使用OGG(Oracle GoldenGate) 实现19c PDB与MySQL5.7 数据同步，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

OGG 是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增删改变化。

OracleMysql
IP address192.168.80.100192.168.80.16
DB version19.2.05.7
host nametempmysql

OS version： CentOS 7.9

一，Oracle 服务器上的准备工作。

1.在oracle服务器上创建ogg 用户以及工作目录

su - rootuseradd ogg -g oinstallpasswd oggmkdir -p /opt/oggchown -R ogg /opt/oggmkdir -p /home/oracle/oradata/OGG/ORCLCDBmkdir -p /home/oracle/oradata/OGG/tablespacechown -R oracle:oinstall /home/oracle/oradata/OGG

2.安装ogg软件

su - ogg

将ogg安装包 213000_fbo_ggs_Linux_x64_Oracle_shiphome.zip 传到/home/ogg下

unzip -d ~ 213000_fbo_ggs_Linux_x64_Oracle_shiphome.zip
cd fbo_ggs_Linux_x64_Oracle_shiphome/Disk1/response/

编辑 oggcore.rsp

更新以下行：

INSTALL_OPTION=ORA19C
SOFTWARE_LOCATION=/opt/ogg/source_endpoint

cd ..

./runInstaller -silent -nowait -responseFile /home/ogg/fbo_ggs_Linux_x64_Oracle_shiphome/Disk1/response/oggcore.rsp

3.编辑ogg用户环境变量

export PATH
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/19.2.0/db_1
export ORACLE_SID=orcl
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATHexport OGG_HOME=/opt/ogg/source_endpoint/
export PATH=$OGG_HOME:$PATH:$ORACLE_HOME/bin
export TNS_ADMIN=$ORACLE_HOME/network/admin
alias ggsci='cd $OGG_HOME;ggsci'


source ~/.bashrc使其生效：

4.建立软链接


ln -s $ORACLE_HOME/lib/libnnz19.so /opt/ogg/source_endpoint/libnnz19.so
cd $OGG_HOMEldd ggsci

5.检查归档

su - oraclemkdir /home/oracle/archivelogsqlplus / as sysdbaarchive log list

6.开启oracle ogg

alter system set enable_goldengate_replication=true;

7.创建c##ogg所需要的表空间

创建c##ogg所需要的表空间：create tablespace oggtbs datafile '/home/oracle/oradata/OGG/tablespace/oggtbs01.dbf' size 1000M autoextend on;并在上面创建c##ogg用户：create user c##ogg identified by ogg default tablespace oggtbs;赋予权限：grant dba ,connect, resource, unlimited tablespace to c##ogg;exec dbms_goldengate_auth.grant_admin_privilege('c##ogg','*',TRUE);select username,common,con_id from cdb_users where username like '%OGG%';commit;

8.检查pdb状态

9.给c##ogg用户赋权限

grant dba ,connect, resource, unlimited tablespace to c##ogg;

10.编辑$TNS_ADMIN下的 tnsnames.ora文件

pdb =(DESCRIPTION =(ADDRESS_LIST =(ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.80.100)(PORT = 1521)))(CONNECT_DATA =(SERVER = DEDICATED)(SERVICE_NAME =pdb)))

11.创建ogg所需要的表空间

create tablespace mytbs datafile '/home/oracle/oradata/OGG/tablespace/mytbs01.dbf' size 500M autoextend on;并在上面创建ogg用户：create user ogg identified by ogg default tablespace mytbs;赋予权限：grant dba ,connect, resource, unlimited tablespace to ogg;exec dbms_goldengate_auth.grant_admin_privilege('ogg','*',TRUE);select username,common,con_id from cdb_users where username like '%OGG%';commit;

12.验证ogg可以正常登录PDB数据库

13.创建ogg子目录

su - ogg
ggsci
create subdirs

14.切换到oracle用户，创建一个test_ogg用户

create user test_ogg identified by ogg ;grant dba ,connect, resource, unlimited tablespace to test_ogg;quit切换到test_ogg用户登录PDBsqlplus test_ogg/ogg@PDBcreate table test_ogg(id int,name varchar(20),primary key(id));

15.

切换到ogg用户：cd $OGG_HOMEggsciedit param ./globals填写以下内容oggschema ogg

16.输入以下内容

dblogin userid ogg@PDB password oggadd schematrandata PDB.test_oggadd trandata test_ogg.*capture tabledef test_ogg.*

17.OGG源端管理进程MGR配置：

edit param mgr添加以下内容PORT 7809

18.OGG源端抽取进程extoracle配置

edit param extorcl
extract extorclDDL INCLUDE ALLSETENV (ORACLE_HOME = "/u01/app/oracle/product/19.2.0/db_1")
SETENV (ORACLE_SID="orcl")
SETENV (NLS_LANG="american_america.AL32UTF8")
userid c##ogg@orcl , password ogg
exttrail /opt/ogg/source_endpoint/dirdat/to
table PDB.test_ogg.*;

19.

OGG源端传输进程pumysql配置edit param pumysql加入以下内容
extract pumysql
userid c##ogg@orcl, password ogg
rmthost 192.168.80.16,mgrport 7810
rmttrail /opt/ogg/target_endpoint/dirdat/rt
table PDB.test_ogg.*;

20.

delete extract pumysqladd extract pumysql, exttrailsource /opt/ogg/source_endpoint/dirdat/toadd rmttrail /opt/ogg/target_endpoint/dirdat/rt, extract pumysql, megabytes 100

info all

21.把这些全启动

start mgrstart extorclstart pumysql

其实可以看到现在Time Since Chkpt 这里是有问题的，没有及时的重置时间，因为我们mysql那边还没有进行配置

22.

edit param tab1
defsfile /opt/ogg/source_endpoint/dirdef/ogg_test.ogg_test
userid test_ogg@PDB, password ogg
table test_ogg.test_ogg;

23.

quit

./defgen paramfile dirprm/tab1.prm  

二，Mysql服务器上的准备工作。

1.安装Mysql步骤这里不做描述。

2.创建ogg用户

create user 'ogg'@'%' identified by 'ogg';grant all on *.* to 'ogg'@'%';

3.创建目的端ogg用户:ogg2

useradd ogg2passwd ogg2su - ogg2

4.将ogg for mysql安装包 传到/home/ogg2下

unzip -d ~ ./213000_ggs_Linux_x64_MySQL_64bit.zip

5.创建工作目录

mkdir /opt/ogg/target_endpointchown -R ogg2 /opt/ogg/target_endpoint

6.切换回ogg2用户：

tar -xvf ggs_Linux_x64_MySQL_64bit.tar -C /opt/ogg/target_endpoint

7.编辑环境变量

PATH=$PATH:$HOME/.local/bin:$HOME/binexport PATH
export JAVA_HOME=$HOME/jdk1.8.0_141
export PATH=$JAVA_HOME/bin:$PATHexport OGG_HOME=/opt/ogg/target_endpoint
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64/libjsig.so:$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$OGG_HOME/lib:$HOME/libsexport PATH=$OGG_HOME:$PATH
alias ggsci='cd $OGG_HOME;ggsci'

8.

cd $OGG_HOMEggscicreate subdirs

9.edit param mgr

这个端口要和一.19步要对应上

10.OGG目的端检查点日志表checkpoint配置

edit param ./GLOBALS添加如下内容CHECKPOINTTABLE ogg.checkpoint

11.

创建MySQL的ogg用户：drop user ogg;create user 'ogg'@'%' identified by 'ogg';grant all on *.* to 'ogg'@'%';创建checkpoint所需的ogg库：create database ogg;
use oggcreate table test_ogg(id int,name varchar(20),primary key(id));

12.

将上次生成的 /opt/ogg/source_endpoint/dirdef/ogg_test.ogg_test 文件拷贝到 $OGG_HOME/dirdef下：cp /opt/ogg/source_endpoint/dirdef/ogg_test.ogg_test /opt/ogg/target_endpoint/dirdef/ogg_test.ogg_test

目标端：

13.进入ggsci命令行

dblogin sourcedb ogg@127.0.0.1:3306 ,userid ogg, password oggadd checkpointtable ogg.ggs_checkpoint

14.edit params r_tab1  这里重中之重，所参考文档 这一步是有问题的。

replicat r_tab1
targetdb ogg@192.168.80.16:3306,userid ogg,password ogg
sourcedefs /opt/ogg/target_endpoint/dirdef/ogg_test.ogg_test
HANDLECOLLISIONS
MAP PDB.test_ogg.*,target ogg.test_ogg;

翻译过来就是，我理解的意思就是源表你指定了要同步一个PDB的内容，但是params r_tab1这个文件里面却没指定，所以MAP 后面应该是PDB.test_ogg.*。之前参考的文档有些许错误。

15.

dblogin sourcedb ogg@127.0.0.1:3306 ,userid ogg, password oggdelete replicat r_tab1add replicat r_tab1,exttrail /opt/ogg/target_endpoint/dirdat/rt,checkpointtable ogg.ggs_checkpoint
info allstart mgrstart r_tab1

16. 关于排错的体会。

首先看一下RBA是否是有值的，如果是0，证明数据没同步过来，解决思路是看一下Log Read Checkpoint 这个目录里面的文件名字是否对上了。

info all

看一下 Time Since Chkpt 每隔十几秒钟会不会清零，如果没清零，则肯定是有报错，去看日志，

view ggsevt

同时在Oracle这边 PUMYSQL组也Time Since Chkpt也应该十几秒清零一次，做检查点。

一般来讲，如果Time Since Chkpt 一直没清零，则几分钟后该程序就会停止。

最后，检查数据是否同步：

使用OGG实现Oracle 19C到MySQL 5.7的数据同步（1） - 知乎 (zhihu.com)

这篇关于Oracle 使用OGG(Oracle GoldenGate) 实现19c PDB与MySQL5.7 数据同步的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/840930。

相关文章

Python使用Tenacity一行代码实现自动重试详解

Python使用Tenacity一行代码实现自动重试详解

《Python使用Tenacity一行代码实现自动重试详解》tenacity是一个专为Python设计的通用重试库,它的核心理念就是用简单、清晰的方式,为任何可能失败的操作添加重试能力,下面我们就来看... 目录一切始于一个简单的 API 调用Tenacity 入门：一行代码实现优雅重试精细控制：让重试按我
阅读更多...
MySQL中EXISTS与IN用法使用与对比分析

MySQL中EXISTS与IN用法使用与对比分析

《MySQL中EXISTS与IN用法使用与对比分析》在MySQL中,EXISTS和IN都用于子查询中根据另一个查询的结果来过滤主查询的记录,本文将基于工作原理、效率和应用场景进行全面对比... 目录一、基本用法详解1. IN 运算符2. EXISTS 运算符二、EXISTS 与 IN 的选择策略三、性能对比
阅读更多...
Redis客户端连接机制的实现方案

Redis客户端连接机制的实现方案

《Redis客户端连接机制的实现方案》本文主要介绍了Redis客户端连接机制的实现方案,包括事件驱动模型、非阻塞I/O处理、连接池应用及配置优化,具有一定的参考价值,感兴趣的可以了解一下... 目录1. Redis连接模型概述2. 连接建立过程详解2.1 连php接初始化流程2.2 关键配置参数3. 最大连
阅读更多...
SpringBoot多环境配置数据读取方式

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式（传统格式）1.
阅读更多...
Python实现网格交易策略的过程

Python实现网格交易策略的过程

《Python实现网格交易策略的过程》本文讲解Python网格交易策略,利用ccxt获取加密货币数据及backtrader回测,通过设定网格节点,低买高卖获利,适合震荡行情,下面跟我一起看看我们的第一... 网格交易是一种经典的量化交易策略，其核心思想是在价格上下预设多个“网格”，当价格触发特定网格时执行买
阅读更多...
Oracle数据库定时备份脚本方式(Linux)

Oracle数据库定时备份脚本方式(Linux)

《Oracle数据库定时备份脚本方式(Linux)》文章介绍Oracle数据库自动备份方案,包含主机备份传输与备机解压导入流程,强调需提前全量删除原库数据避免报错,并需配置无密传输、定时任务及验证脚本... 目录说明主机脚本备机上自动导库脚本整个自动备份oracle数据库的过程（建议全程用root用户）总结
阅读更多...
使用Python构建智能BAT文件生成器的完美解决方案

使用Python构建智能BAT文件生成器的完美解决方案

《使用Python构建智能BAT文件生成器的完美解决方案》这篇文章主要为大家详细介绍了如何使用wxPython构建一个智能的BAT文件生成器,它不仅能够为Python脚本生成启动脚本,还提供了完整的文... 目录引言运行效果图项目背景与需求分析核心需求技术选型核心功能实现1. 数据库设计2. 界面布局设计3
阅读更多...
使用IDEA部署Docker应用指南分享

使用IDEA部署Docker应用指南分享

《使用IDEA部署Docker应用指南分享》本文介绍了使用IDEA部署Docker应用的四步流程：创建Dockerfile、配置IDEADocker连接、设置运行调试环境、构建运行镜像,并强调需准备本... 目录一、创建 dockerfile 配置文件二、配置 IDEA 的 Docker 连接三、配置 Do
阅读更多...
解决pandas无法读取csv文件数据的问题

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3
阅读更多...
Android Paging 分页加载库使用实践

Android Paging 分页加载库使用实践

《AndroidPaging分页加载库使用实践》AndroidPaging库是Jetpack组件的一部分,它提供了一套完整的解决方案来处理大型数据集的分页加载,本文将深入探讨Paging库... 目录前言一、Paging 库概述二、Paging 3 核心组件1. PagingSource2. Pager3.
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2