OGG SQLServer到Oracle同步  在线初始化

2024-01-26 17:30

本文主要是介绍OGG SQLServer到Oracle同步  在线初始化,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Goldengate进行异构数据库同步时,初始化通常是一个比较困难的问题,OGG自带的Initial Load功能不能进行在线初始化,也就是不能保证数据是读一致性的。也不能与后续的增量数据进行无缝衔接。从SQLServer向Oracle进行数据初始化时我们可以借助中间库来实现。先用SQLServer的备份恢复功能,恢复一个中间库,再用OGG Intial Load功能从中间库中进行数据初始化。中间库是静态数据,这个数据的状态是某个LSN时间点的状态。OGG的CSN其实与SQLServer的LSN是同一个值。然后我们可以在Oracle目标端使用aftercsn功能从中间库LSN时间点开始应用数据。实现无缝初始化。

其他异构数据库的在线初始化也可以参考本文中的方法。

OGG CSN

对于 SQLServer的trail来说它的取值为:

从解释中来看当源端为SQL Server时 Goldengate的CSN取值是从数据库中取的。并且该值会为三段第一个值代表虚拟日志文件号,第二段为虚拟日志中的段号,第三段为日志记录号:

虚拟日志文件号:日志文件中的段号:日志记录号

 

例如:

0X00000d7e:0000036b:01bd

0000003454:0000000875:00445

0Xd7e:36b:1bd

3454:875:445

3454000000087500445

不同的SQL Server版本可能返回给OGG的CSN值不同,大体会为上面几种。

SQL Server LSN号

SQL Server LSN(Log Sequence Number),这个LSN也是会为三段。

  • the first part is the VLF sequence number.
  • the middle part is the offset to the log block
  • the last part is the slot number inside the log block

LSN与CSN的关系

OGG官方文档中并没有说明SQLServer LSN与CSN有什么关系。但从这他们两个的结构来看像是同一个值。

 

分析OGG trail文件中的trail并用APEX SQL分析SQL Server 的日志,分析同一条数据变化进行对比:

OGG trail中LOGCSN:

SQLServer中LSN:

 

 

提取CSN和LSN:

CSN: 00000025:0000013d:0003

LSN: 00000025:0000013D:0002

 

  1. LSN中的字母是大写的,而CSN中的值为小写。(该值为16进制值,可以忽略大小写)
  2. 最后一段CSN要比LSN大1个值。(实际测试中可以实验一下看看取哪个值作为aftercsn值比较合适)

在MOS文章中也说到了LSN和CSN是一样的值。

Oracle GoldenGate Best Practices: Instantiation from a SQL Server Source Database (Doc ID 1310946.1)

 

SQLServer在线初始化

使用OGG把SQLServer的数据同步到Oracle时面临的一个问题就是数据如何在线初始化。如果可以停业务那么可以使用initial Load的方式,采用离线初始化的方式。如果业务不能停,那么在线初始化就是个问题。

我们可以结合SQLServer 备份创建一个中间库,然后使用这个静止的中间库中进行数据库初始化。这样初始化到目标端的数据是状态一致的。然后在目标端启动应用进程时通过aftercsn的方式启动。 其中csn的值就是中间库恢复时的lsn。

 

参考:

https://docs.oracle.com/goldengate/1212/gg-winux/GWUAD/wu_csn.htm#GWUAD752

http://rusanu.com/2012/01/17/what-is-an-lsn-log-sequence-number/
Oracle GoldenGate Best Practices: Instantiation from a SQL Server Source Database (Doc ID 1310946.1)

 

山东神仓信息技术有限公司   专业技术服务,值得您信赖!

技术交流请加Goldengate技术交流群:315085903

 

 

这篇关于OGG SQLServer到Oracle同步  在线初始化的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/douchog_13k/article/details/84304088
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/647525

相关文章

Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式

《Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式》本文详细介绍如何使用Java通过JDBC连接MySQL数据库,包括下载驱动、配置Eclipse环境、检测数据库连接等关键步骤,... 目录一、下载驱动包二、放jar包三、检测数据库连接JavaJava 如何使用 JDBC 连接 mys

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

MySQL 中的 CAST 函数详解及常见用法

《MySQL中的CAST函数详解及常见用法》CAST函数是MySQL中用于数据类型转换的重要函数,它允许你将一个值从一种数据类型转换为另一种数据类型,本文给大家介绍MySQL中的CAST... 目录mysql 中的 CAST 函数详解一、基本语法二、支持的数据类型三、常见用法示例1. 字符串转数字2. 数字

Mysql实现范围分区表(新增、删除、重组、查看)

《Mysql实现范围分区表(新增、删除、重组、查看)》MySQL分区表的四种类型(范围、哈希、列表、键值),主要介绍了范围分区的创建、查询、添加、删除及重组织操作,具有一定的参考价值,感兴趣的可以了解... 目录一、mysql分区表分类二、范围分区(Range Partitioning1、新建分区表:2、分

MySQL 定时新增分区的实现示例

《MySQL定时新增分区的实现示例》本文主要介绍了通过存储过程和定时任务实现MySQL分区的自动创建,解决大数据量下手动维护的繁琐问题,具有一定的参考价值,感兴趣的可以了解一下... mysql创建好分区之后,有时候会需要自动创建分区。比如,一些表数据量非常大,有些数据是热点数据,按照日期分区MululbU

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一:桌面图标进入方法二:运行窗口进入检查版本号对照表php方法三:查找文件路径方法四:检查 S

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

MySQL中查找重复值的实现

《MySQL中查找重复值的实现》查找重复值是一项常见需求,比如在数据清理、数据分析、数据质量检查等场景下,我们常常需要找出表中某列或多列的重复值,具有一定的参考价值,感兴趣的可以了解一下... 目录技术背景实现步骤方法一:使用GROUP BY和HAVING子句方法二:仅返回重复值方法三:返回完整记录方法四:

从入门到精通MySQL联合查询

《从入门到精通MySQL联合查询》:本文主要介绍从入门到精通MySQL联合查询,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下... 目录摘要1. 多表联合查询时mysql内部原理2. 内连接3. 外连接4. 自连接5. 子查询6. 合并查询7. 插入查询结果摘要前面我们学习了数据库设计时要满