OGG-配置源端为Linux和目标端为window10的数据同步

2024-01-20 07:18
文章标签 配置 数据 linux 目标 同步 ogg window10 源端 端为

本文主要是介绍OGG-配置源端为Linux和目标端为window10的数据同步，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1配置前准备(目标端)

1.1创建需要同步的用户和表空间

1.1.1使用数据库管理员登录

$ sqlplus / as sysdba

1.1.2 创建表空间

create tablespace test_tablespace
datafile ' D:\app\JSSR\virtual\oradata\orcl\test_tablespace.dbf'
size 30M
autoextend on next 100M;

1.1.3 创建用户并赋予权限

-- 创建用户
create user test identified by testdefault tablespace test_tablespacetemporary tablespace TEMP;-- 赋予权限
grant CONNECT,RESOURCE,DBA to test;exit;

1.2配置日志模式

1.2.1 配置为规档模式

创建归档日志目录

mkdir D:\app\JSSR\virtual\archive

开启日志

sqlplus / as sysdba
SQL> shutdown immediate;
SQL> startup mount;
SQL> alter database archivelog;
SQL> alter database open;

设置日志目录

SQL> alter system set log_archive_dest_1='location=D:\app\JSSR\virtual\archive' scope=both;

1.2.2打开强制规档与补充日志模式

SQL> alter database add supplemental log data;
SQL> alter database force logging;
SQL> alter system archive log current;

1.2.3 查看配置结果

col open_mode for a10
col LOG_MODE for a20
col  FORCE_LOGGING for a20SQL> select open_mode,log_mode,supplemental_log_data_min,force_logging from v$database;

1.3开启OGG支持

源端和目标端都需要设置

$ sqlplus / as sysdba
SQL> alter system set enable_goldengate_replication = true;
SQL> exit

1.4创建 GoldenGate数据库帐号并赋予权限

1.4.1创建 init.sql文件

vim init.sql
-- drop user ogg cascade; //删除用户
-- drop tablespace tbs_ogg including contents and datafiles; //删除表空间
-- 创建表空间
create tablespace tbs_ogg datafile ' D:\app\JSSR\virtual\oradata\orcl\tbs_ogg.dbf' size 100M
autoextend on next 50M;
-- 创建 ogg 用户
create user ogg identified by ogg default tablespace tbs_ogg temporary tablespace TEMP
quota unlimited on tbs_ogg;
-- 赋予 ogg 用户权限
grant connect,resource,dba to ogg;

1.4.2执行 sql 文件

# su - oracle
$ sqlplus / as sysdba
SQL>@init.sql

测试登录

sqlplus ogg/ogg

1.5安装 GoldenGate(OGG)软件

准备安装包

V978712-01(OracleGoldenGate12.3.0.1.0-windows64).zip

解压缩以后直接安装就好了注意选择ogg的安装目录以及ORACLE_HOME

2 GoldenGateDML同步(目标端配置)

2.1环境说明

这里我配置的是window10企业版，安装的数据库是Oracle12c Release 12.2.0.1.0

科目版本说明
操作系统Windows 10 企业版20H2
OracleOracle 12c Enterprise Edition Release 12.2.0.1.0 - 64bit Production
Oracle GoldenGate（Ogg）Version 12.3.0.1.5

2.2目标端 MGR 进程

编辑 MGR 配置文件

d:
cd oggs

ggsci

GGSCI 1>edit params mgr
port 7809
dynamicportlist 7800-8000
autostart er *
autorestart extract *, waitminutes 2, resetminutes 5
lagreporthours 1
laginfominutes 3
lagcriticalminutes 5
purgeoldextracts  D:\oggs\dirdat\rt*,  usecheckpoints,MINKEEPFILES 5

2.3启动 MGR

GGSCI 2>start mgr

2.4添加检查表

说明: 当我们在 GLOBALS 文件里指定了默认的 checkpoint 之后，新的 Replicat groups 在创建时会自动使用这个参数，不需要其他指令

a> 编辑全局配置文件

GGSCI 3>edit params ./GLOBALS

在弹出的记事本中添加

GGSCHEMA ogg
CHECKPOINTTABLE ogg.checkpoint

保存退出。
这里需要退出 ggsci 终端

GGSCI 2>exit

b> 添加checkpoint

步骤一: 重新进入ggsci.exe

步骤二 :登录数据库

GGSCI 1> dblogin userid ogg,password ogg

步骤三: 添加检查表

GGSCI 2> add checkpointtable ogg.checkpoint

步骤四: 退出ggsci

GGSCI (slave) 3> exit

2.5配置目标端 Replicat 进程组

步骤一: 进入ggsci.exe

步骤二: 编辑配置文件

GGSCI 1>edit params repl

在打开的文本文件中增加如下参数：

replicat repl
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
userid ogg,password ogg
assumetargetdefs
reperror default,discard
discardfile D:\oggs\dirrpt\repl.dsc,append,megabytes 50
dynamicresolution
map test.*, target test.*;

说明:
setenv：设置环境变量
assumetargetdefs：两端数据结构一致使用此参数
reperror：定义出错以后进程的响应一般分为两种：：abend 即一旦错误后立即停止复制，
此为缺省配置；discard 出现错误后继续复制，只是把错误的数据放到 discard 文件中。
discardfile：定义 discardfile 文件位置，如果处理中由于记录出错会写入到此文件中。
Megabytes 指定队列大小，这里我设置的是 50M
dynamicresolution：
map：用于指定源端与目标端表的映射关系

然后保存退出。

步骤三: 添加复制进程

GGSCI  2>add  replicat  repl,exttrail  D:\oggs\dirdat\pt,  CHECKPOINTTABLE ogg.checkpoint

步骤四: 启动进程

GGSCI 3>start repl

3 GoldenGateDML同步(源端配置)

1)源 MGR 进程

编辑主管理进程

ggsci
GGSCI 1>edit params mgr

输入 i 进入编辑模式，在文件中增加如下参数：

port 7809
dynamicportlist 7800-8000
autostart er *
autorestart er *,retries 5,waitminutes 2,resetminutes 5
purgeoldextracts /u01/app/oracle/ogg/dirdat/et*,usecheckpoints,minkeepdays 10

说明:
port 指定 mgr 进程通信端口;
dynamicportlist 表示 mgr 进程可以为源与目的端动态通信指定端口;
autorestart er 表示 mgr 启动以后自动启动所有进程组，每 2 分钟尝试重启所有进程，重试5 次，每 5 分钟清零。
purgeoldextracts表示定期清理tail文件这里设置的是超过10天的tail文件进行删除

配置参数后，重启 mgr 进程生效

启动主管理进程

stop mgr
start mgr

2)配置 Extract 进程组

编辑 eora 配置文件

GGSCI 3>edit params eora

输入 i 进入编辑模式，在文件中增加如下参数：

extract eora
dynamicresolution
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
userid ogg,password ogg
exttrail /u01/app/oracle/ogg/dirdat/et
table test.*;

说明:
extract eora 定义 extract 进程别名
dynamicresolution
setenv 设置环境变量
userid 登录数据库
exttrail 指定本地 trail 文件地址
table 定义同步的表 scott.* 表示 同步 scott 用户下的所有表

添加抽取进程

GGSCI 4>add extract eora, tranlog,begin now

添加本地 trail 文件
添加extract进程的trail文件配置
其中megabytes表示队列大小，这里设置的10m

GGSCI 6>add exttrail /u01/app/oracle/ogg/dirdat/et,extract eora
或
GGSCI 6>add exttrail /u01/app/oracle/ogg/dirdat/et,extract eora,megabytes 10

说明:
创建本地 trail 文件，主 extract 进程负责写这部分文件，pump 负责把这部分文件传到目标服务器端。

启动 eora 服务

GGSCI >start extract eora

查看状态

info all

3)配置 Pump 传输进程组

编辑 pump 配置文件

GGSCI >edit params pump_so
extract pump_so
dynamicresolution
passthru
rmthost 172.23.13.151,mgrport 7809,compress
rmttrail  D:\oggs\dirdat\pt
table test.*;

说明:
dynamicresolution:动态解析表名
passthru：采用 pass-through 模式处理表
rmthost：目标端主机 IP，管理进程端口号，投递传输前压缩队列文件
rmttrail：目标端保存队列文件的目录

添加 pump 进程源端路径

GGSCI 1>add extract pump_so,exttrailsource /u01/app/oracle/ogg/dirdat/et

添加pump 进程远程 trail 文件目标路径

GGSCI 2>add rmttrail D:\oggs\dirdat\pt,extract pump_so

说明: 指定远程 trail 文件

启动 pump 进程

GGSCI 3>start extract pump_so

4 DML同步测试

源端和目标端同时创建 t1 表
注意：需要同步的表必须要有主键，否则更新表数据的时候会报错，从而导致同步失败。

1)源端创建 t1 表

$ sqlplus test/test
SQL> create table t1(
id number(3) primary key,
name varchar2(20)
);

2)目标端创建 t1 表

$sqlplus test/test
SQL> create table t1(
id number(3) primary key,
name varchar2(20)
);

3)源端执行 DML 操作后提交

SQL>insert into t1(id,name) values(100,'张三');
SQL>insert into t1(id,name) values(101,'李四');
SQL>commit;

4)目标端查看

SQL> select * from t1;

能查到下面两条数据，即可

5 GoldenGate DDL 同步

1源端服务器操作

1.1 指定数据库模式

登录ggsci

#su - oracle
$cd /u01/app/oracle/ogg/
$ ggsci

编辑全局参数

GGSCI 1> edit param ./GLOBALS

输入 i 进入编辑模式，在文件中增加如下参数:

ggschema ogg

查看配置

GGSCI 2> view param ./GLOBALS

关闭 MGR

GGSCI 3> stop mgr

退出

GGSCI (master) 4> quit

数据库关闭回收站

关闭回收站。

$sqlplus / as sysdba

在关之前可以先看一下,如果是 on，如下图所示，则回收站是开启的。

SQL>show parameter recyclebin

修改为 off

SQL>alter system set recyclebin=off deferred;

改完需要把数据库重启一下才会生效

SQL>shutdown immediate
SQL>startup
SQL>show parameter recyclebin

1.3 安装 DDL 对象

需要进入 ogg 目录 cd /u01/app/oracle/ogg

$ cd /u01/app/oracle/ogg
$ sqlplus / as sysdba
SQL> grant dba to ogg;

说明: 以下各执行如提示：Enter Oracle GoldenGate schema name，均指定用户：ogg

SQL>@marker_setup
SQL>@ddl_setup
SQL>@role_setup
SQL>grant GGS_GGSUSER_ROLE to ogg;
SQL>@ddl_enable
SQL>@marker_status.sql

注 1: 执行 dbmspool 包将在数据库中创建 DBMS_SHARED_POOL 包，之后 ddl_pin 包需要
用到

SQL>@?/rdbms/admin/dbmspool.sql

注 2: 执行 ddl_pin.sql 通过 dbms_shared_pool.keep 存储过程将 DDLReplication 相关对象
keep 在共享池中，以保证这些对象不要 RELOAD，提升性能。

SQL>@ddl_pin.sql ogg

1.4 修改 eora（抽取）进程的 params 文件

停止 eora（抽取）进程

GGSCI 1> stop extract eora

编辑配置文件

GGSCI 2> edit params eora

输入 i 进入编辑模式，在文件中增加如下红色字体参数：

extract eora
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
userid ogg,password ogg
exttrail /u01/app/oracle/ogg/dirdat/et
ddl include all
ddloptions addtrandata, report
table test.*;

启动 mgr,eora 进程

GGSCI 4> start mgr
GGSCI 5> start extract eora

查看 eora 进程启动情况

GGSCI 6> info extract eora

2目标端操作

2.1给 ogg 用户增加权限

$ sqlplus / as sysdba
SQL> grant dba to ogg;

2.2修改 replicat 进程的 params 文件

停止 mgr 进程

GGSCI 1>stop mgr

停止 repl 进程

GGSCI 2> stop replicat repl

编辑 repl 配置文件

GGSCI 3> edit params repl

在文件中增加如下红色字体参数：

replicat repl
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
userid ogg,password ogg
assumetargetdefs
reperror default,discard
discardfile D:\oggs\dirrpt\repl.dsc,append,megabytes 50
ddloptions report
ddlerror default ignore retryop maxretries 3 retrydelay 5
ddlerror default discard
ddlerror default ignore retryopmap test.*, target test.*;

启动 mgr 和 repl 进程

GGSCI 4>start mgr

查看进程
启动 mgr 进程后，系统会自动启动 repl 进程

GGSCI 5> info all

3 DDL同步测试

本节验证源端 t1 表增加字段后，目标端自动改变。

3.1 添加字段前查看表结构：

源端查看：

$ sqlplus test/test
SQL> desc t1;

目标端查看

$sqlplus test/test
SQL> desc t1;

3.2 源端添加字段

SQL> alter table t1 add(sex varchar2(2) default '男');
SQL>desc t1;

3.3 目标端验证

SQL> desc t1;

到此 DDL 同步配置完成。

这篇关于OGG-配置源端为Linux和目标端为window10的数据同步的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/625193。

相关文章

Linux线程同步/互斥过程详解

Linux线程同步/互斥过程详解

《Linux线程同步/互斥过程详解》文章讲解多线程并发访问导致竞态条件,需通过互斥锁、原子操作和条件变量实现线程安全与同步,分析死锁条件及避免方法,并介绍RAII封装技术提升资源管理效率... 目录01. 资源共享问题1.1 多线程并发访问1.2 临界区与临界资源1.3 锁的引入02. 多线程案例2.1 为
阅读更多...
IDEA中配置Tomcat全过程

IDEA中配置Tomcat全过程

《IDEA中配置Tomcat全过程》文章介绍了在IDEA中配置Tomcat的六步流程,包括添加服务器、配置部署选项、设置应用服务器及启动,并提及Maven依赖可能因约定大于配置导致问题,需检查依赖版本... 目录第一步第二步第三步第四步第五步第六步总结第一步选择这个方框第二步选择+号，找到Tomca
阅读更多...
批量导入txt数据到的redis过程

批量导入txt数据到的redis过程

《批量导入txt数据到的redis过程》用户通过将Redis命令逐行写入txt文件,利用管道模式运行客户端,成功执行批量删除以Product*匹配的Key操作,提高了数据清理效率... 目录批量导入txt数据到Redisjs把redis命令按一条 一行写到txt中管道命令运行redis客户端成功了批量删除k
阅读更多...
Win10安装Maven与环境变量配置过程

Win10安装Maven与环境变量配置过程

《Win10安装Maven与环境变量配置过程》本文介绍Maven的安装与配置方法,涵盖下载、环境变量设置、本地仓库及镜像配置,指导如何在IDEA中正确配置Maven,适用于Java及其他语言项目的构建... 目录Maven 是什么？一、下载二、安装三、配置环境四、验证测试五、配置本地仓库六、配置国内镜像地址
阅读更多...
SpringBoot多环境配置数据读取方式

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式（传统格式）1.
阅读更多...
Oracle数据库定时备份脚本方式(Linux)

Oracle数据库定时备份脚本方式(Linux)

《Oracle数据库定时备份脚本方式(Linux)》文章介绍Oracle数据库自动备份方案,包含主机备份传输与备机解压导入流程,强调需提前全量删除原库数据避免报错,并需配置无密传输、定时任务及验证脚本... 目录说明主机脚本备机上自动导库脚本整个自动备份oracle数据库的过程（建议全程用root用户）总结
阅读更多...
Linux如何查看文件权限的命令

Linux如何查看文件权限的命令

《Linux如何查看文件权限的命令》Linux中使用ls-R命令递归查看指定目录及子目录下所有文件和文件夹的权限信息,以列表形式展示权限位、所有者、组等详细内容... 目录linux China编程查看文件权限命令输出结果示例这里是查看tomcat文件夹总结Linux 查看文件权限命令ls -l 文件或文件夹
阅读更多...
解决pandas无法读取csv文件数据的问题

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3
阅读更多...
idea的终端(Terminal)cmd的命令换成linux的命令详解

idea的终端(Terminal)cmd的命令换成linux的命令详解

《idea的终端(Terminal)cmd的命令换成linux的命令详解》本文介绍IDEA配置Git的步骤：安装Git、修改终端设置并重启IDEA,强调顺序,作为个人经验分享,希望提供参考并支持脚本之... 目录一编程、设置前二、前置条件三、android设置四、设置后总结一、php设置前二、前置条件
阅读更多...
Debian系和Redhat系防火墙配置方式

Debian系和Redhat系防火墙配置方式

《Debian系和Redhat系防火墙配置方式》文章对比了Debian系UFW和Redhat系Firewalld防火墙的安装、启用禁用、端口管理、规则查看及注意事项,强调SSH端口需开放、规则持久化,... 目录Debian系UFW防火墙1. 安装2. 启用与禁用3. 基本命令4. 注意事项5. 示例配置R
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2