Oracle复制技术的分布式系统同步应用

2023-11-10 08:40

本文主要是介绍Oracle复制技术的分布式系统同步应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文将结合一个实际案例,讲解Oracle复制技术在分布式信息系统中的同步应用,希望通过这篇文章,大家能更好的理解Oracle复制技术。

  引言

  基于WAN的分布式管理信息系统是当前跨多地域企事业单位信息处理的首选。福建省运政管理信息系统是覆盖全省14个市运管处、84个县运管所的WAN分布式网络管理系统,根据业务特点和实际应用特征,全省数据存储分为二级,在省局中心设立全省数据存储中心,各市处设立本市处数据存储中心,省局数据中心又分内网数据中心和外网数据中心。本文运用Oracle高级复制技术实现各数据中心的数据同步。

  1 Oracle高级复制技术

  Oracle高级复制,也称为对称复制,有基于整个表的复制和基于部分表的复制两种复制方法。这两种复制主要是通过多主复制和可更新快照复制两种机制实现的。同时还可以将这两种复制机制结合起来以满足不断变化的业务需求。

  1.1多主复制

  多主复制方法支持全表在各个主节点间的对称复制,允许所有主节点对主表有更新操作的权力。任何-个主节点上的复制表的更新都会被传播并直接应用到其他所有主表。一个主节点出现问题,不会影响其他主节点之间的传播。

  多主复制采用一种称为“延迟远程过程调用(deferred remoteprocedure calls RPCs)”机制。各节点之间变化的传播,既可以以基于事件的方式立即传播,也可以从某个特定的时间点(如在网络空闲)开始传播。在传播变化时,如果其中的一个远端系统没有准备好,传播变化的延迟远程过程调用就会保存在其本地队列中,等到系统准备好以后再执行。

  1.2可更新快照复制

  Oracle将只读快照机制扩展为一种允许快照可更新的对称复制。快照更新的传播方式也是采用了和多主复制一样的延迟远程过程调用机制。

  快照是对出现在特定时刻的数据的复制,既可以是包含一个主表的完全拷贝,也可以是满足基于值的选择标准的主表中行的子集。快照在主节点的刷新是按照一定的时间间隔或用户单独请求进行的。最后一次刷新后主表的任何变化也同样被传播并应用到快照。多个快照的刷新是在一个一致的事务中完成的,这就确保了数据和引用的完整性。

  1.3混合配置

  可以将多主复制和可更新快照结合在一起,构成一种新的混合配置,这种配置可以完成对全表或子表的复制。例如,一个系统具有两个不同地理区域的中心节点,这两个不同的地理区域下面还有一些分支机构,可以把两个中心节点看作是互为备份节点,采用多主复制方法在两个中心节点之间复制数据,同时采用只读或可更新快照复制方法在区域范围中的主节点之间复制全表或主表。这种配置的一个显著好处就是当其中的一个中心发生问题时,快照的主节点可以被重新定义到另一个良好的中心节点上,从而提高了系统的可靠性。

  1.4过程级复制

  这种复制方法主要应用在存在大量数据以及采取批处理方式操作数据的情况。

  2实际应用

  2.1福建省运输管理局网络环境

  福建省运输管理局根据系统业务的需要,建立了全省的省、市、县业务VPN三级网络系统,各数据中心均采用oracle数据库系统,整个数据的存储采用二级分布存储,以确保全省业务数据存储的快速、稳定、安全。全省数据中心分布如图1。

Oracle复制技术的分布式系统同步应用

  各级数据中心的存储原则:省局数据中心(内网)汇集全省各市运管处的所有业务数据,为各市实现异地备份,提供跨地市数据查询,协助完成异地执法稽查,通过内外网数据交换,实现内网相关数据流向外网,外网提交的数据进入内网,为公众提供数据查询与业务力、理等服务。各市运管处只为本市所辖县的运管所提供存储服务,并将数据汇集到省局数据中心,出现数据故障时自动从省局读取数据进行数据恢复。

  基于以上的数据存储原则,整个数据同步机制主要采用Oracle复制技术的可更新快照机制。省局的数据库系统设置为主数据库,各市处的数据库系统设置为从数据库,所以整个分布式数据库系统是“一主多从”的结构。使用Oracle系统中的增量复制技术,定时或手动进行主数据库与从数据库的数据更新。从数据库复制到主数据库的是全部数据,只要从数据库中的数据有变化,就会反映到主数据库中;主数据库复制到从数据库的是与本市相关的业务数据。省局内网与外网数据中心、省局与省厅之间数据交换同样采用可更新快照要制实现。

  2.2数据复制以及各中心的数据同步过程

  数据库复制操作可以由各市处数据库发起,发起的方式可以是定时自动复制也可以是手动复制。实现数据复制可以用命令方式或用Oracle系统的 Advanced replication manger来定制。下面采用命令方式,以省局和厦门两点为例描述主从数据中心节点的数据同步复制的操作步骤。

  2.2.1实现数据库复制的前提

  (1)用system身份登录各数据库,查看v$option视图,如果其中Advanced replication为TRUE,则支持高级复制功能,否则不支持。

  (2)打开tnsnames.ora文件,设置数据库初始化参数要求:

  ①db_domain=fjysgl.com.cn,/指明数据库的域名(默认的是WORLD),这里用fjysgl.com.cn。

  ②global_names=true//它要求链接(database link)和被连接的数据库名称一致,因而全局数据库名为:db_name+”.”+db_domain。

  ③有跟数据库job执行有关的参数。

  1.job_queue processes=l //定义SNP进程的启动个数为n,系统缺省值为0,正常定义范围为0-36,根据任务的多少,可以配置不同的数值。

  2.job_queue_interval=60 //定义系统每隔N秒唤醒该进程一次,系统缺省值为60秒,正常范围为1~3600秒。

  3.distributed_transactions=lO

  4.open._links=4

  2.2.2实现数据库的同步复制操作

  省局数据中心与厦门市处数据中心的具体配置如表1所示。

  (1)确认网络畅通,两中心数据库服务器之间可以互相访问,在tnsnames.ora里设置数据库连接字符串。

  ①修改厦门市处数据库连接字符串。

  1.fjyg=(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=

  2.(PROTOCOL=TCP)(HOST=10.1.1.3)(PORT=1521)))

  3.(CONNECT_DATA=(SERVICE_NAME=f]yg)))

  运行$tnsping fjyg,出现以下提示符:

  1.Attempting 10 contact(ADDRESS=(PROTOCOL=TCP)

  2.(HOST=10.1.1.3)(PORT=1521))

  OK(10毫秒)则表明有厦门市处数据库可以访问省局中心数据库。

  ②在省局数据库作同样类似配置,并确认$tnsping xm是通的。

  (2)改数据库全局名称,建公共的数据库链接。

  ①用system身份登录xm数据库:

  1.alter database rename global_name t0 xm.1jysgl.com.cn:

  用system身份登录fjyg擞据库:

  1.alter database rename global_name to fjyg.1jysgl.com.cn:

  ②用system身份登录xm数据库:

  1.create public database link fjyg.fjysgl.com.cn using fjyg’:

  测试数据库全局名称和公共的数据库连接:

  1.select。from global_name@t]yg.fjysgl.com.cn:

  返回结果应为fjYg.fjysgl.com.cn;

  用system身份登录fjyg数据库:

  1.create public database link xm.fjysgl.com.cn using‘xm’;

  测试数据库全局名称和公共的数据库链接。


(3)建立管理数据库复制的用户repadmin,并赋权。

  ①用system身份登录xm数据库,分别运行如下命令:

  1.create user repadmin identified by repadmin default

  2.tablespace users temporary tablespace temp;

  3.execute dbms_defer_sys.register_propagator(‘repadmin’):

  4.

  5.grant execute any procedure to repadmin;

  6.execute dbms_repcat_admin.grant_admin_any_repgroup

  7.(‘repadmin’):

  8.grant comment any table t0 repadmin;

  9.grant lock any table tO repadmin;

  ②同样用system身份登录旬yg数据库,运行以上的命令,管理数据库复制的用户repadmin,并赋权。

  (4)在数据库复制的用户repadmin下创建私有的数据库链接。

  ①用repadmin身份登录xm数据库。

  1.create database link fjYg.fjysgl.com.cn connect Io repadmin

  2.identified by repadmin;

  ②用repadmin身份登录fjyg数据库。

  1.create database link xm.fjysgl.com.cn connect to repadmin

  2.identified by repadmin;

  在这里以ORACLE系统的例程用户的scott及dept表。

  (5)创建或选择实现数据库复制的用户和对象,给用户赋权,数据库对象必须有主关键字。

  (6)创建要复制的组scott_mg,加入数据库对象,产生对象的复制支持。

  ①用repadmin身份登录xm数据库,创建主复制组。

  1.scott_mg execute dbms_repcat.create_master_repgroup

  2.(‘scott_mg’):

  ②在复制组scott_mg里加入数据库对象。

  1.execute dbms_repcat.create_master_repobject(sname=>'scott',

  2.oname=>'dept',type=>'table',use_existing_object=>true.

  3.gname=>。scotLmg’):

  ③对数据库对象产生复制支持。

  1.execute dbms_repcat.generate_replication_support(‘scott','dept',

  2.‘tabIe’):

  ④确认复制的组和对象已经加入数据库的数据字典。select gname.master。status from dba_repgroup;select from dba_repobject;

  (7)创建主复制节点。

  ①用repadmin身份登录xm数据库,创建主复制节点。execute dbms_repcat.add_master_database

  1.(gname=>'sco~_mg',master=>'rjyg.fjysgLcom.cn.,

  2.use_existing_objects=>true.copy_rows=>false,

  3.propagation_mode=>。asynchronous');

  ②确认复制的任务队列已经加入数据库的数据字典。select’from useriobs;

  (8)使同步组的状态由停顿(quiesced)改为正常(normal)。

  ①用repadmin身份登录xm数据库,运行以下命令:execute dbms_repcat.resume_master_activity('scott_mg',false);

  ②确认同步组的状态为正常(normal)。select gname,master,status from dba_repgroup;

  ③如果这个①命令不能使同步组的状态为正常(normal),可能有一些停顿的复制,运行以下命令进行处理:execute dbms_repcat.resume_master_activity('scott,mg',true);

  (9)创建复制数据库的时间表,假设10分钟自动复制一次。

  ①用repadmin身份登录xm数据库,运行以下命令:

  1.SQL>begin

  2.dbms_defer_sys.schedule_push

  3.(destination=>'fjyg.fjysgl.com.cn.,interval=>’sysdate

  4.+10/1440',next_date=>sysdate);end;/

  5.

  6.SQL>be_qin

  7.dbms_defer_sys.schedule_purge(next_date=>sysdate.

  8.interval=>’sysdate+10/1440',delay_seconds=>0.

  9.rollback_segment=>”):

  10.end;

  11./

  ②用repadmin身份登录巧yg数据库,运行与①相似命令。

Oracle复制技术的分布式系统同步应用

  通过以上的配置即可实现省局与厦门市处二个数据中心之间的数据同步复制,其他点省局与福州处、省局与泉州处等使用相同的方法进行处理。

  对于省局中心的内外网数据库服务器,因为正常工作时间,内外网均不能停顿,而内外网又不能物理连通,于是设定在每天晚上非工作时间(或其它时段)为维护时段,该时段内外网均停止作业,由系统管理员把与内外网DB相连的所有网线断开,用一根直连网线把两台DB连接,使用相同的方式实现内外网数据的同步。

  3 结束语

  Oracle的高级复制功能为分支机构多、地理范围广的大型企事业单位的分布式数据库系统提供了很好的各中心数据同步的实现方案。而随着网络技术的发展,这种应用也显得越来越重要,变得越来越复杂。为充分利用数据复制来提高数据的可用性和系统的性能,在进行复制之前应作出详细的需求分析才能取得更好的应用效果。


视频:http://www.56.com/u75/v_NTA0NDIzNjg.html

 

这篇关于Oracle复制技术的分布式系统同步应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/381569

相关文章

MySQL主从同步延迟问题的全面解决方案

《MySQL主从同步延迟问题的全面解决方案》MySQL主从同步延迟是分布式数据库系统中的常见问题,会导致从库读取到过期数据,影响业务一致性,下面我将深入分析延迟原因并提供多层次的解决方案,需要的朋友可... 目录一、同步延迟原因深度分析1.1 主从复制原理回顾1.2 延迟产生的关键环节二、实时监控与诊断方案

SpringBoot中四种AOP实战应用场景及代码实现

《SpringBoot中四种AOP实战应用场景及代码实现》面向切面编程(AOP)是Spring框架的核心功能之一,它通过预编译和运行期动态代理实现程序功能的统一维护,在SpringBoot应用中,AO... 目录引言场景一:日志记录与性能监控业务需求实现方案使用示例扩展:MDC实现请求跟踪场景二:权限控制与

C语言中位操作的实际应用举例

《C语言中位操作的实际应用举例》:本文主要介绍C语言中位操作的实际应用,总结了位操作的使用场景,并指出了需要注意的问题,如可读性、平台依赖性和溢出风险,文中通过代码介绍的非常详细,需要的朋友可以参... 目录1. 嵌入式系统与硬件寄存器操作2. 网络协议解析3. 图像处理与颜色编码4. 高效处理布尔标志集合

Java中的Lambda表达式及其应用小结

《Java中的Lambda表达式及其应用小结》Java中的Lambda表达式是一项极具创新性的特性,它使得Java代码更加简洁和高效,尤其是在集合操作和并行处理方面,:本文主要介绍Java中的La... 目录前言1. 什么是Lambda表达式?2. Lambda表达式的基本语法例子1:最简单的Lambda表

Python结合PyWebView库打造跨平台桌面应用

《Python结合PyWebView库打造跨平台桌面应用》随着Web技术的发展,将HTML/CSS/JavaScript与Python结合构建桌面应用成为可能,本文将系统讲解如何使用PyWebView... 目录一、技术原理与优势分析1.1 架构原理1.2 核心优势二、开发环境搭建2.1 安装依赖2.2 验

Java字符串操作技巧之语法、示例与应用场景分析

《Java字符串操作技巧之语法、示例与应用场景分析》在Java算法题和日常开发中,字符串处理是必备的核心技能,本文全面梳理Java中字符串的常用操作语法,结合代码示例、应用场景和避坑指南,可快速掌握字... 目录引言1. 基础操作1.1 创建字符串1.2 获取长度1.3 访问字符2. 字符串处理2.1 子字

SpringShell命令行之交互式Shell应用开发方式

《SpringShell命令行之交互式Shell应用开发方式》本文将深入探讨SpringShell的核心特性、实现方式及应用场景,帮助开发者掌握这一强大工具,具有很好的参考价值,希望对大家有所帮助,如... 目录引言一、Spring Shell概述二、创建命令类三、命令参数处理四、命令分组与帮助系统五、自定

SpringBoot应用中出现的Full GC问题的场景与解决

《SpringBoot应用中出现的FullGC问题的场景与解决》这篇文章主要为大家详细介绍了SpringBoot应用中出现的FullGC问题的场景与解决方法,文中的示例代码讲解详细,感兴趣的小伙伴可... 目录Full GC的原理与触发条件原理触发条件对Spring Boot应用的影响示例代码优化建议结论F

MySQL 分区与分库分表策略应用小结

《MySQL分区与分库分表策略应用小结》在大数据量、复杂查询和高并发的应用场景下,单一数据库往往难以满足性能和扩展性的要求,本文将详细介绍这两种策略的基本概念、实现方法及优缺点,并通过实际案例展示如... 目录mysql 分区与分库分表策略1. 数据库水平拆分的背景2. MySQL 分区策略2.1 分区概念

Spring Shell 命令行实现交互式Shell应用开发

《SpringShell命令行实现交互式Shell应用开发》本文主要介绍了SpringShell命令行实现交互式Shell应用开发,能够帮助开发者快速构建功能丰富的命令行应用程序,具有一定的参考价... 目录引言一、Spring Shell概述二、创建命令类三、命令参数处理四、命令分组与帮助系统五、自定义S