OGG-配置源端为Linux和目标端为window10的数据同步

2024-01-20 07:18
文章标签 配置 数据 linux 目标 同步 ogg window10 源端 端为

本文主要是介绍OGG-配置源端为Linux和目标端为window10的数据同步，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1配置前准备(目标端)

1.1创建需要同步的用户和表空间

1.1.1使用数据库管理员登录

$ sqlplus / as sysdba

1.1.2 创建表空间

create tablespace test_tablespace
datafile ' D:\app\JSSR\virtual\oradata\orcl\test_tablespace.dbf'
size 30M
autoextend on next 100M;

1.1.3 创建用户并赋予权限

-- 创建用户
create user test identified by testdefault tablespace test_tablespacetemporary tablespace TEMP;-- 赋予权限
grant CONNECT,RESOURCE,DBA to test;exit;

1.2配置日志模式

1.2.1 配置为规档模式

创建归档日志目录

mkdir D:\app\JSSR\virtual\archive

开启日志

sqlplus / as sysdba
SQL> shutdown immediate;
SQL> startup mount;
SQL> alter database archivelog;
SQL> alter database open;

设置日志目录

SQL> alter system set log_archive_dest_1='location=D:\app\JSSR\virtual\archive' scope=both;

1.2.2打开强制规档与补充日志模式

SQL> alter database add supplemental log data;
SQL> alter database force logging;
SQL> alter system archive log current;

1.2.3 查看配置结果

col open_mode for a10
col LOG_MODE for a20
col  FORCE_LOGGING for a20SQL> select open_mode,log_mode,supplemental_log_data_min,force_logging from v$database;

1.3开启OGG支持

源端和目标端都需要设置

$ sqlplus / as sysdba
SQL> alter system set enable_goldengate_replication = true;
SQL> exit

1.4创建 GoldenGate数据库帐号并赋予权限

1.4.1创建 init.sql文件

vim init.sql
-- drop user ogg cascade; //删除用户
-- drop tablespace tbs_ogg including contents and datafiles; //删除表空间
-- 创建表空间
create tablespace tbs_ogg datafile ' D:\app\JSSR\virtual\oradata\orcl\tbs_ogg.dbf' size 100M
autoextend on next 50M;
-- 创建 ogg 用户
create user ogg identified by ogg default tablespace tbs_ogg temporary tablespace TEMP
quota unlimited on tbs_ogg;
-- 赋予 ogg 用户权限
grant connect,resource,dba to ogg;

1.4.2执行 sql 文件

# su - oracle
$ sqlplus / as sysdba
SQL>@init.sql

测试登录

sqlplus ogg/ogg

1.5安装 GoldenGate(OGG)软件

准备安装包

V978712-01(OracleGoldenGate12.3.0.1.0-windows64).zip

解压缩以后直接安装就好了注意选择ogg的安装目录以及ORACLE_HOME

2 GoldenGateDML同步(目标端配置)

2.1环境说明

这里我配置的是window10企业版，安装的数据库是Oracle12c Release 12.2.0.1.0

科目版本说明
操作系统Windows 10 企业版20H2
OracleOracle 12c Enterprise Edition Release 12.2.0.1.0 - 64bit Production
Oracle GoldenGate（Ogg）Version 12.3.0.1.5

2.2目标端 MGR 进程

编辑 MGR 配置文件

d:
cd oggs

ggsci

GGSCI 1>edit params mgr
port 7809
dynamicportlist 7800-8000
autostart er *
autorestart extract *, waitminutes 2, resetminutes 5
lagreporthours 1
laginfominutes 3
lagcriticalminutes 5
purgeoldextracts  D:\oggs\dirdat\rt*,  usecheckpoints,MINKEEPFILES 5

2.3启动 MGR

GGSCI 2>start mgr

2.4添加检查表

说明: 当我们在 GLOBALS 文件里指定了默认的 checkpoint 之后，新的 Replicat groups 在创建时会自动使用这个参数，不需要其他指令

a> 编辑全局配置文件

GGSCI 3>edit params ./GLOBALS

在弹出的记事本中添加

GGSCHEMA ogg
CHECKPOINTTABLE ogg.checkpoint

保存退出。
这里需要退出 ggsci 终端

GGSCI 2>exit

b> 添加checkpoint

步骤一: 重新进入ggsci.exe

步骤二 :登录数据库

GGSCI 1> dblogin userid ogg,password ogg

步骤三: 添加检查表

GGSCI 2> add checkpointtable ogg.checkpoint

步骤四: 退出ggsci

GGSCI (slave) 3> exit

2.5配置目标端 Replicat 进程组

步骤一: 进入ggsci.exe

步骤二: 编辑配置文件

GGSCI 1>edit params repl

在打开的文本文件中增加如下参数：

replicat repl
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
userid ogg,password ogg
assumetargetdefs
reperror default,discard
discardfile D:\oggs\dirrpt\repl.dsc,append,megabytes 50
dynamicresolution
map test.*, target test.*;

说明:
setenv：设置环境变量
assumetargetdefs：两端数据结构一致使用此参数
reperror：定义出错以后进程的响应一般分为两种：：abend 即一旦错误后立即停止复制，
此为缺省配置；discard 出现错误后继续复制，只是把错误的数据放到 discard 文件中。
discardfile：定义 discardfile 文件位置，如果处理中由于记录出错会写入到此文件中。
Megabytes 指定队列大小，这里我设置的是 50M
dynamicresolution：
map：用于指定源端与目标端表的映射关系

然后保存退出。

步骤三: 添加复制进程

GGSCI  2>add  replicat  repl,exttrail  D:\oggs\dirdat\pt,  CHECKPOINTTABLE ogg.checkpoint

步骤四: 启动进程

GGSCI 3>start repl

3 GoldenGateDML同步(源端配置)

1)源 MGR 进程

编辑主管理进程

ggsci
GGSCI 1>edit params mgr

输入 i 进入编辑模式，在文件中增加如下参数：

port 7809
dynamicportlist 7800-8000
autostart er *
autorestart er *,retries 5,waitminutes 2,resetminutes 5
purgeoldextracts /u01/app/oracle/ogg/dirdat/et*,usecheckpoints,minkeepdays 10

说明:
port 指定 mgr 进程通信端口;
dynamicportlist 表示 mgr 进程可以为源与目的端动态通信指定端口;
autorestart er 表示 mgr 启动以后自动启动所有进程组，每 2 分钟尝试重启所有进程，重试5 次，每 5 分钟清零。
purgeoldextracts表示定期清理tail文件这里设置的是超过10天的tail文件进行删除

配置参数后，重启 mgr 进程生效

启动主管理进程

stop mgr
start mgr

2)配置 Extract 进程组

编辑 eora 配置文件

GGSCI 3>edit params eora

输入 i 进入编辑模式，在文件中增加如下参数：

extract eora
dynamicresolution
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
userid ogg,password ogg
exttrail /u01/app/oracle/ogg/dirdat/et
table test.*;

说明:
extract eora 定义 extract 进程别名
dynamicresolution
setenv 设置环境变量
userid 登录数据库
exttrail 指定本地 trail 文件地址
table 定义同步的表 scott.* 表示 同步 scott 用户下的所有表

添加抽取进程

GGSCI 4>add extract eora, tranlog,begin now

添加本地 trail 文件
添加extract进程的trail文件配置
其中megabytes表示队列大小，这里设置的10m

GGSCI 6>add exttrail /u01/app/oracle/ogg/dirdat/et,extract eora
或
GGSCI 6>add exttrail /u01/app/oracle/ogg/dirdat/et,extract eora,megabytes 10

说明:
创建本地 trail 文件，主 extract 进程负责写这部分文件，pump 负责把这部分文件传到目标服务器端。

启动 eora 服务

GGSCI >start extract eora

查看状态

info all

3)配置 Pump 传输进程组

编辑 pump 配置文件

GGSCI >edit params pump_so
extract pump_so
dynamicresolution
passthru
rmthost 172.23.13.151,mgrport 7809,compress
rmttrail  D:\oggs\dirdat\pt
table test.*;

说明:
dynamicresolution:动态解析表名
passthru：采用 pass-through 模式处理表
rmthost：目标端主机 IP，管理进程端口号，投递传输前压缩队列文件
rmttrail：目标端保存队列文件的目录

添加 pump 进程源端路径

GGSCI 1>add extract pump_so,exttrailsource /u01/app/oracle/ogg/dirdat/et

添加pump 进程远程 trail 文件目标路径

GGSCI 2>add rmttrail D:\oggs\dirdat\pt,extract pump_so

说明: 指定远程 trail 文件

启动 pump 进程

GGSCI 3>start extract pump_so

4 DML同步测试

源端和目标端同时创建 t1 表
注意：需要同步的表必须要有主键，否则更新表数据的时候会报错，从而导致同步失败。

1)源端创建 t1 表

$ sqlplus test/test
SQL> create table t1(
id number(3) primary key,
name varchar2(20)
);

2)目标端创建 t1 表

$sqlplus test/test
SQL> create table t1(
id number(3) primary key,
name varchar2(20)
);

3)源端执行 DML 操作后提交

SQL>insert into t1(id,name) values(100,'张三');
SQL>insert into t1(id,name) values(101,'李四');
SQL>commit;

4)目标端查看

SQL> select * from t1;

能查到下面两条数据，即可

5 GoldenGate DDL 同步

1源端服务器操作

1.1 指定数据库模式

登录ggsci

#su - oracle
$cd /u01/app/oracle/ogg/
$ ggsci

编辑全局参数

GGSCI 1> edit param ./GLOBALS

输入 i 进入编辑模式，在文件中增加如下参数:

ggschema ogg

查看配置

GGSCI 2> view param ./GLOBALS

关闭 MGR

GGSCI 3> stop mgr

退出

GGSCI (master) 4> quit

数据库关闭回收站

关闭回收站。

$sqlplus / as sysdba

在关之前可以先看一下,如果是 on，如下图所示，则回收站是开启的。

SQL>show parameter recyclebin

修改为 off

SQL>alter system set recyclebin=off deferred;

改完需要把数据库重启一下才会生效

SQL>shutdown immediate
SQL>startup
SQL>show parameter recyclebin

1.3 安装 DDL 对象

需要进入 ogg 目录 cd /u01/app/oracle/ogg

$ cd /u01/app/oracle/ogg
$ sqlplus / as sysdba
SQL> grant dba to ogg;

说明: 以下各执行如提示：Enter Oracle GoldenGate schema name，均指定用户：ogg

SQL>@marker_setup
SQL>@ddl_setup
SQL>@role_setup
SQL>grant GGS_GGSUSER_ROLE to ogg;
SQL>@ddl_enable
SQL>@marker_status.sql

注 1: 执行 dbmspool 包将在数据库中创建 DBMS_SHARED_POOL 包，之后 ddl_pin 包需要
用到

SQL>@?/rdbms/admin/dbmspool.sql

注 2: 执行 ddl_pin.sql 通过 dbms_shared_pool.keep 存储过程将 DDLReplication 相关对象
keep 在共享池中，以保证这些对象不要 RELOAD，提升性能。

SQL>@ddl_pin.sql ogg

1.4 修改 eora（抽取）进程的 params 文件

停止 eora（抽取）进程

GGSCI 1> stop extract eora

编辑配置文件

GGSCI 2> edit params eora

输入 i 进入编辑模式，在文件中增加如下红色字体参数：

extract eora
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
userid ogg,password ogg
exttrail /u01/app/oracle/ogg/dirdat/et
ddl include all
ddloptions addtrandata, report
table test.*;

启动 mgr,eora 进程

GGSCI 4> start mgr
GGSCI 5> start extract eora

查看 eora 进程启动情况

GGSCI 6> info extract eora

2目标端操作

2.1给 ogg 用户增加权限

$ sqlplus / as sysdba
SQL> grant dba to ogg;

2.2修改 replicat 进程的 params 文件

停止 mgr 进程

GGSCI 1>stop mgr

停止 repl 进程

GGSCI 2> stop replicat repl

编辑 repl 配置文件

GGSCI 3> edit params repl

在文件中增加如下红色字体参数：

replicat repl
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
userid ogg,password ogg
assumetargetdefs
reperror default,discard
discardfile D:\oggs\dirrpt\repl.dsc,append,megabytes 50
ddloptions report
ddlerror default ignore retryop maxretries 3 retrydelay 5
ddlerror default discard
ddlerror default ignore retryopmap test.*, target test.*;

启动 mgr 和 repl 进程

GGSCI 4>start mgr

查看进程
启动 mgr 进程后，系统会自动启动 repl 进程

GGSCI 5> info all

3 DDL同步测试

本节验证源端 t1 表增加字段后，目标端自动改变。

3.1 添加字段前查看表结构：

源端查看：

$ sqlplus test/test
SQL> desc t1;

目标端查看

$sqlplus test/test
SQL> desc t1;

3.2 源端添加字段

SQL> alter table t1 add(sex varchar2(2) default '男');
SQL>desc t1;

3.3 目标端验证

SQL> desc t1;

到此 DDL 同步配置完成。

这篇关于OGG-配置源端为Linux和目标端为window10的数据同步的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/625193。

相关文章

一文教你Python如何快速精准抓取网页数据

一文教你Python如何快速精准抓取网页数据

《一文教你Python如何快速精准抓取网页数据》这篇文章主要为大家详细介绍了如何利用Python实现快速精准抓取网页数据,文中的示例代码简洁易懂,具有一定的借鉴价值,有需要的小伙伴可以了解下... 目录1. 准备工作2. 基础爬虫实现3. 高级功能扩展3.1 抓取文章详情3.2 保存数据到文件4. 完整示例
阅读更多...
使用Java将各种数据写入Excel表格的操作示例

使用Java将各种数据写入Excel表格的操作示例

《使用Java将各种数据写入Excel表格的操作示例》在数据处理与管理领域,Excel凭借其强大的功能和广泛的应用,成为了数据存储与展示的重要工具,在Java开发过程中,常常需要将不同类型的数据,本文... 目录前言安装免费Java库1. 写入文本、或数值到 Excel单元格2. 写入数组到 Excel表格
阅读更多...
Linux之systemV共享内存方式

Linux之systemV共享内存方式

《Linux之systemV共享内存方式》：本文主要介绍Linux之systemV共享内存方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、工作原理二、系统调用接口1、申请共享内存（一）key的获取（二）共享内存的申请2、将共享内存段连接到进程地址空间3、将
阅读更多...
SpringBoot3.4配置校验新特性的用法详解

SpringBoot3.4配置校验新特性的用法详解

《SpringBoot3.4配置校验新特性的用法详解》SpringBoot3.4对配置校验支持进行了全面升级,这篇文章为大家详细介绍了一下它们的具体使用,文中的示例代码讲解详细,感兴趣的小伙伴可以参考... 目录基本用法示例定义配置类配置 application.yml注入使用嵌套对象与集合元素深度校验开发
阅读更多...
python处理带有时区的日期和时间数据

python处理带有时区的日期和时间数据

《python处理带有时区的日期和时间数据》这篇文章主要为大家详细介绍了如何在Python中使用pytz库处理时区信息,包括获取当前UTC时间,转换为特定时区等,有需要的小伙伴可以参考一下... 目录时区基本信息python datetime使用timezonepandas处理时区数据知识延展时区基本信息
阅读更多...
Qt实现网络数据解析的方法总结

Qt实现网络数据解析的方法总结

《Qt实现网络数据解析的方法总结》在Qt中解析网络数据通常涉及接收原始字节流,并将其转换为有意义的应用层数据,这篇文章为大家介绍了详细步骤和示例,感兴趣的小伙伴可以了解下... 目录1. 网络数据接收2. 缓冲区管理（处理粘包/拆包）3. 常见数据格式解析3.1 jsON解析3.2 XML解析3.3 自定义
阅读更多...
SpringMVC 通过ajax 前后端数据交互的实现方法

SpringMVC 通过ajax 前后端数据交互的实现方法

《SpringMVC通过ajax前后端数据交互的实现方法》：本文主要介绍SpringMVC通过ajax前后端数据交互的实现方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价... 在前端的开发过程中，经常在html页面通过AJAX进行前后端数据的交互，SpringMVC的controll
阅读更多...
IntelliJ IDEA 中配置 Spring MVC 环境的详细步骤及问题解决

IntelliJ IDEA 中配置 Spring MVC 环境的详细步骤及问题解决

《IntelliJIDEA中配置SpringMVC环境的详细步骤及问题解决》：本文主要介绍IntelliJIDEA中配置SpringMVC环境的详细步骤及问题解决,本文分步骤结合实例给大... 目录步骤 1：创建 Maven Web 项目步骤 2：添加 Spring MVC 依赖1、保存后执行2、将新的依赖
阅读更多...
快速修复一个Panic的Linux内核的技巧

快速修复一个Panic的Linux内核的技巧

《快速修复一个Panic的Linux内核的技巧》Linux系统中运行了不当的mkinitcpio操作导致内核文件不能正常工作，重启的时候，内核启动中止于Panic状态，该怎么解决这个问题呢？下面我们就... 感谢China编程(www.chinasem.cn)网友 鸢一雨音 的投稿写这篇文章是有原因的。为了配置完
阅读更多...
Pandas统计每行数据中的空值的方法示例

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据（NaN值）是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值？为什么要统计空值？准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2