OGG实现Oracle19C到postgreSQL14的实时同步

2023-12-05 07:30
文章标签 实现 实时 同步 ogg postgresql14 oracle19c

本文主要是介绍OGG实现Oracle19C到postgreSQL14的实时同步，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

📢📢📢📣📣📣
哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA及大数据工作经验
一位上进心十足的【大数据领域博主】！😜😜😜
中国DBA联盟(ACDU)成员，目前服务于工业互联网
擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。
✨ 如果有对【数据库】感兴趣的【小可爱】，欢迎关注【IT邦德】💞💞💞
❤️❤️❤️感谢各位大可爱小可爱！❤️❤️❤️

文章目录

  • 前言
    • 📣 1.架构设计
    • 📣 2.OGG下载
    • 📣 3.安装OGG for Oracle
      • ✨ 3.1 解压授权
      • ✨ 3.2. 静默安装
      • ✨ 3.3 环境变量
      • ✨ 3.4 创建目录
    • 📣 4.安装OGG for postgreSQL
      • ✨ 4.1 解压及授权
      • ✨ 4.2 修改环境变量
      • ✨ 4.3 创建目录
    • 📣 5.Oracle配置
      • ✨ 5.1 开归档
      • ✨ 5.2 打开附加日志
    • 📣 6.MGR管理进程
    • 📣 7.抽取进程extract
    • 📣 8.传送进程pump
    • 📣 9.目标端配置
    • 📣 10.测试同步

前言

本文详细介绍了我的OGG旅程、从OGG实现Oracle19C到postgreSQL14的实时同步

📣 1.架构设计

主机名IP操作系统内存/空间角色说明
ora19c172.18.12.90centos7.82c/18G 400G源端Oracle 19.3
postgres14172.18.12.50centos7.82c/18G 400G目标库postgreSQL 14

📣 2.OGG下载

1.官方下载
https://www.oracle.com/middleware/technologies/goldengate-downloads.html
1.OGG for oracle安装包
213000_fbo_ggs_Linux_x64_Oracle_shiphome.zip
2.OGG for PostgreSQL安装包
213000_ggs_Linux_x64_PostgreSQL_64bit.zip

在这里插入图片描述

📣 3.安装OGG for Oracle

✨ 3.1 解压授权

mkdir /ogg
mkdir /soft
chown oracle.oinstall /ogg

unzip /opt/213000_fbo_ggs_Linux_x64_Oracle_shiphome.zip -d /soft
cd /soft/fbo_ggs_Linux_x64_Oracle_shiphome/Disk1/
chown -R oracle.oinstall *

✨ 3.2. 静默安装

#使用oracle用户安装ogg
[root@jemora19c ~]# su - oracle
[oracle@jemora19c ~]$ cd /soft/fbo_ggs_Linux_x64_Oracle_shiphome/Disk1/

./runInstaller -silent
oracle.install.responseFileVersion=/oracle/install/rspfmt_ogginstall_response_schema_v21_1_0
INSTALL_OPTION=ORA19c
SOFTWARE_LOCATION=/ogg
START_MANAGER=true
MANAGER_PORT=7809
DATABASE_LOCATION=/opt/oracle/product/19c/dbhome_1
INVENTORY_LOCATION=/opt/oracle/oraInventory
UNIX_GROUP_NAME=oinstall

在这里插入图片描述

✨ 3.3 环境变量

cat >>  /home/oracle/.bash_profile <<"EOF"
export OGG_HOME=/ogg
export PATH=$OGG_HOME:$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$OGG_HOME:$ORACLE_HOME/lib:$LD_LIBRARYPATH
alias ggsci='cd $OGG_HOME;ggsci'
EOFsource /home/oracle/.bash_profile[oracle@jemora19c ~]$ ggsciOracle GoldenGate Command Interpreter for Oracle
Version 21.3.0.0.0 OGGCORE_21.3.0.0.0_PLATFORMS_210728.1047_FBO
Oracle Linux 7, x64, 64bit (optimized), Oracle Database 21c and lower supported versions on Jul 29 2021 03:59:23
Operating system character set identified as UTF-8.Copyright (C) 1995, 2021, Oracle and/or its affiliates. All rights reserved.GGSCI (jemora19c) 1> info allProgram     Status      Group       Lag at Chkpt  Time Since Chkpt
MANAGER     RUNNING

✨ 3.4 创建目录

oracle@jemora19c ~]$ ggsci
GGSCI (jemora19c) 2> create subdirs

📣 4.安装OGG for postgreSQL

✨ 4.1 解压及授权

mkdir /ogg
unzip /opt/213000_ggs_Linux_x64_PostgreSQL_64bit.zip
tar vxf ggs_Linux_x64_PostgreSQL_64bit.tar -C /ogg
chown -R postgres.postgres /ogg

✨ 4.2 修改环境变量

cat >> /var/lib/pgsql/.bash_profile <<"EOF"
export OGG_HOME=/ogg
export PATH=$OGG_HOME:$PATH
export LD_LIBRARY_PATH=$OGG_HOME/lib:$LD_LIBRARY_PATH
alias ggsci='cd $GG_HOME;ggsci'
EOFsource /var/lib/pgsql/.bash_profile

✨ 4.3 创建目录

GGSCI (postgres14) 2> create subdirs

在这里插入图片描述

📣 5.Oracle配置

✨ 5.1 开归档

– mount阶段
alter database archivelog;
archive log list;

✨ 5.2 打开附加日志

lter system set enable_goldengate_replication=true;
alter database add supplemental log data;

SELECT supplemental_log_data_min min,
supplemental_log_data_pk pk,
supplemental_log_data_ui ui,
supplemental_log_data_fk fk,
supplemental_log_data_all allc
FROM v$database;

在这里插入图片描述

📣 6.MGR管理进程

cat > /ogg/dirprm/mgr.prm << “EOF”
PORT 7809
DYNAMICPORTLIST 7810-7830
AUTOSTART EXTRACT *
AUTORESTART EXTRACT , RETRIES 100, WAITMINUTES 2, RESETMINUTES 10
PURGEOLDEXTRACTS ./dirdat/, usecheckpoints, minkeepdays 30
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45
EOF

📣 7.抽取进程extract

cat > /ogg/dirprm/ext_ora.prm << “EOF”
extract ext_ora
setenv (ORACLE_SID=oradb)
setenv (ORACLE_HOME=/opt/oracle/product/19c/dbhome_1)
setenv (NLS_LANG=“AMERICAN_AMERICA.AL32UTF8”)
userid PGOGG@oradb,password oracle
exttrail /ogg/dirdat/ex
table PGOGG.test01;
table STEST.*;
EOF

– 添加进程
add extract ext_ora, tranlog, begin now
add exttrail /ogg/dirdat/ex, extract ext_ora

在这里插入图片描述

📣 8.传送进程pump

cat > /ogg/dirprm/pump_ora.prm << “EOF”
extract pump_ora
setenv (ORACLE_SID=oradb)
setenv (ORACLE_HOME=/opt/oracle/product/19c/dbhome_1)
setenv (NLS_LANG=“AMERICAN_AMERICA.AL32UTF8”)
rmthost 172.18.12.50,mgrport 7809,compress
rmttrail /ogg/dirdat/ex
table PGOGG.test01;
table STEST.*;
EOF

📣 9.目标端配置

cat > /ogg/dirprm/rep_pg.prm <<“EOF”
replicat rep_pg
SOURCEDEFS ./dirdef/defgen_PG.prm
SETENV(PGCLIENTENCODING = “UTF8” )
SETENV(ODBCINI=“/ogg/odbc.ini” )
SETENV(NLS_LANG=“AMERICAN_AMERICA.AL32UTF8”)
TARGETDB PGDSN, userid stest, password post
DISCARDFILE ./discard/rep_pg.dsc, append
–ap lhrogg.test01, target lhrogg.test01;
map stest., target stest.;
EOF

📣 10.测试同步

-- oracle查询
col table_name format a30
SELECT a.table_name,a.num_rows FROM dba_tables a where a.OWNER='STEST' order by num_rows desc ;SYS@oradb> delete from STEST.LOGON;
2383 rows deleted.SYS@oradb> select count(*) from STEST.LOGON;COUNT(*)
----------0jemdb=# select count(*) from stest.LOGON;count 
-------0
(1 row)-- 在pg中查询数据量
select  nspname AS schemaname,relname,reltuples::numeric as rowcount,pg_size_pretty (pg_total_relation_size ( '"' || nspname || '"."' || relname || '"' )) AS SIZE
from    pg_class C LEFT JOIN pg_namespace N ON ( N.oid = C.relnamespace ) 
where   nspname NOT IN ( 'pg_catalog', 'information_schema' ) AND relkind = 'r' 
ORDER by reltuples DESC 
LIMIT 20;schemaname |       relname        | rowcount |    size    
------------+----------------------+----------+------------stest      | inventories          |   899441 | 433 MBstest      | order_items          |     7341 | 1072 kBstest      | addresses            |     1500 | 264 kBstest      | card_details         |     1500 | 264 kBstest      | orders               |     1430 | 376 kBstest      | product_information  |     1000 | 400 kBstest      | warehouses           |     1000 | 192 kBstest      | customers            |     1000 | 440 kBstest      | product_descriptions |     1000 | 288 kBstest      | logon                |        0 | 16 kBstest      | orderentry_metadata  |       -1 | 8192 bytespgogg      | test01               |       -1 | 8192 bytesstest      | checkpointtab        |       -1 | 32 kBstest      | checkpointtab_lox    |       -1 | 16 kB
(14 rows)GGSCI (postgres14) 2> stats rep_pg,table stest.logon, totalSending STATS request to Replicat group REP_PG ...Start of statistics at 2023-12-02 00:27:37.Replicating from STEST.LOGON to stest.logon:*** Total statistics since 2023-12-02 00:24:44 ***Total inserts                              0.00Total updates                              0.00Total deletes                           2383.00Total upserts                              0.00Total discards                             0.00Total operations                        2383.00

这篇关于OGG实现Oracle19C到postgreSQL14的实时同步的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

原文地址:
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.chinasem.cn/article/456689。

相关文章

Java反射实现多属性去重与分组功能

Java反射实现多属性去重与分组功能

《Java反射实现多属性去重与分组功能》在Java开发中,​​List是一种非常常用的数据结构,通常我们会遇到这样的问题：如何处理​​List​​​中的相同字段？无论是去重还是分组,合理的操作可以提高... 目录一、开发环境与基础组件准备1.环境配置：2. 代码结构说明：二、基础反射工具：BeanUtils
阅读更多...
使用Python实现base64字符串与图片互转的详细步骤

使用Python实现base64字符串与图片互转的详细步骤

《使用Python实现base64字符串与图片互转的详细步骤》要将一个Base64编码的字符串转换为图片文件并保存下来,可以使用Python的base64模块来实现,这一过程包括解码Base64字符串... 目录1. 图片编码为 Base64 字符串2. Base64 字符串解码为图片文件3. 示例使用注意
阅读更多...
使用Python实现获取屏幕像素颜色值

使用Python实现获取屏幕像素颜色值

《使用Python实现获取屏幕像素颜色值》这篇文章主要为大家详细介绍了如何使用Python实现获取屏幕像素颜色值,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 一、一个小工具，按住F10键，颜色值会跟着显示。完整代码import tkinter as tkimport pyau
阅读更多...
在Java中将XLS转换为XLSX的实现方案

在Java中将XLS转换为XLSX的实现方案

《在Java中将XLS转换为XLSX的实现方案》在本文中,我们将探讨传统ExcelXLS格式与现代XLSX格式的结构差异,并为Java开发者提供转换方案,通过了解底层原理、性能优势及实用工具,您将掌握... 目录为什么升级XLS到XLSX值得投入？实际转换过程解析推荐技术方案对比Apache POI实现编程
阅读更多...
Mysql的主从同步/复制的原理分析

Mysql的主从同步/复制的原理分析

《Mysql的主从同步/复制的原理分析》：本文主要介绍Mysql的主从同步/复制的原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录为什么要主从同步？mysql主从同步架构有哪些？Mysql主从复制的原理/整体流程级联复制架构为什么好？Mysql主从复制注意
阅读更多...
IDEA如何实现远程断点调试jar包

IDEA如何实现远程断点调试jar包

《IDEA如何实现远程断点调试jar包》：本文主要介绍IDEA如何实现远程断点调试jar包的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录问题步骤总结问题以jar包的形式运行Spring Boot项目时报错，但是在IDEA开发环境javascript下编译
阅读更多...
Python实现自动化Word文档样式复制与内容生成

Python实现自动化Word文档样式复制与内容生成

《Python实现自动化Word文档样式复制与内容生成》在办公自动化领域,高效处理Word文档的样式和内容复制是一个常见需求,本文将展示如何利用Python的python-docx库实现... 目录一、为什么需要自动化 Word 文档处理二、核心功能实现：样式与表格的深度复制1. 表格复制（含样式与内容）2
阅读更多...
python获取cmd环境变量值的实现代码

python获取cmd环境变量值的实现代码

《python获取cmd环境变量值的实现代码》：本文主要介绍在Python中获取命令行（cmd）环境变量的值,可以使用标准库中的os模块,需要的朋友可以参考下... 前言全局说明在执行py过程中，总要使用到系统环境变量一、说明1.1 环境:Windows 11 家庭版 24H2 26100.4061
阅读更多...
Python中bisect_left 函数实现高效插入与有序列表管理

Python中bisect_left 函数实现高效插入与有序列表管理

《Python中bisect_left函数实现高效插入与有序列表管理》Python的bisect_left函数通过二分查找高效定位有序列表插入位置,与bisect_right的区别在于处理重复元素时... 目录一、bisect_left 基本介绍1.1 函数定义1.2 核心功能二、bisect_left 与
阅读更多...
VSCode设置python SDK路径的实现步骤

VSCode设置python SDK路径的实现步骤

《VSCode设置pythonSDK路径的实现步骤》本文主要介绍了VSCode设置pythonSDK路径的实现步骤,包括命令面板切换、settings.json配置、环境变量及虚拟环境处理,具有一定... 目录一、通过命令面板快速切换（推荐方法）二、通过 settings.json 配置（项目级/全局）三、
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2