TimesTen 应用层数据库缓存学习:18. 利用TimesTen实现Sharding或数据分区

本文主要是介绍TimesTen 应用层数据库缓存学习:18. 利用TimesTen实现Sharding或数据分区,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

考虑到恢复和磁盘加载到内存的速度,单个TimesTen数据库可以缓存的数据一般不超过100G,如果需要缓存的数据较大,一般可以利用多个TimesTen来实现数据分区或分片(Sharding)。
虽然TimesTen有Cache Grid即Global Cache Group的概念,但由于其还不太成熟,一般采用手工分区的方式,即通过应用服务器定向到指定的TimesTen的方式。

以下给出了只读和读写数据分区的例子。

另外强调一点,TimesTen没有Oracle Partition的概念。

TimesTen can cache Oracle Database partitioned tables at the table level, but individual partitions cannot be cached. The following describes how operations on partitioned tables affect cache groups:
DDL operations on a table that has partitions do not affect the cache group unless there is data loss. For example, if a partition with data is truncated, an AUTOREFRESH operation does not delete the data from the corresponding cached table.
WHERE clauses in any cache group operations cannot reference individual partitions or subpartitions. Any attempt to define a single partition of a table returns an error.

只读分区

利用只读分区可以指定where条件的便利,可以在不同的TimesTen中建立带where条件的cache group,来缓存Oracle数据库不同部分的数据。
以下的例子虽然Oracle中的表具有分区,但只是示例而已,即使没有分区结果也是一样的。

在Oracle中建表,分为东西南北四个区

create table datapart
( region varchar2(1),
id int,
city varchar2(20),
primary key(id)
)
partition by list(region)
( 
partition part_1 values ( 'N' ),
partition part_2 values ( 'S' ),
partition part_3 values ( 'W' ),
partition part_4 values ( 'E' )
);insert into datapart values ('N', 1, 'Beijing');
insert into datapart values ('S', 2, 'Guangzhou');
insert into datapart values ('E', 3, 'Shanghai');
insert into datapart values ('W', 4, 'Chengdu');SQL> select * from datapart partition(part_2);R         ID CITY
- ---------- --------------------
S          2 Guangzhougrant select, delete, update, insert on datapart to cacheadm;

分别在两个TimesTen数据库cachedb1和cachedb2中建立Cache Group,缓存北区和南区的数据

cachedb1>
CREATE READONLY CACHE GROUP "DATAPART1" AUTOREFRESH MODE INCREMENTAL INTERVAL 5 SECONDSSTATE ONFROM"TTHR"."DATAPART" ("REGION" VARCHAR2(1 BYTE) ,"ID"     NUMBER(38)        NOT NULL,"CITY"   VARCHAR2(20 BYTE),PRIMARY KEY("ID"))WHERE (REGION='N')cachedb1> select * from datapart;
< N, Beijing >cachedb2>
CREATE READONLY CACHE GROUP "DATAPART2" AUTOREFRESH MODE INCREMENTAL INTERVAL 5 SECONDSSTATE ONFROM"TTHR"."DATAPART" ("REGION" VARCHAR2(1 BYTE) ,"ID"     NUMBER(38)        NOT NULL,"CITY"   VARCHAR2(20 BYTE),PRIMARY KEY("ID"))WHERE (REGION='S')cachedb2> select * from datapart;
< S, Guangzhou >

在Oracle中插入数据

insert into datapart values ('N', 5, 'Qingdao');
insert into datapart values ('S', 6, 'Haikou');

然后在两个TimesTen中可自动得到新数据

cachedb1> select * from datapart;
< N, 1, Beijing >
< N, 5, Qingdao >cachedb2> select * from datapart;
< S, 2, Guangzhou >
< S, 6, Haikou >

可写分区

可写分区以AWT为例,和只读分区不一样,AWT在建立时不能指定where条件,但是可以在LOAD操作时指定where条件来进行数据分区

在cachedb1中建立Cache Group, LOAD时指定缓存北区的数据:

CREATE ASYNCHRONOUS WRITETHROUGH CACHE GROUP "AWT1" FROM"TTHR"."DATAPART" ("REGION" VARCHAR2(1 BYTE) ,"ID"     NUMBER(38)        NOT NULL,"CITY"   VARCHAR2(20 BYTE),PRIMARY KEY("ID"))cachedb1> call ttrepstart;cachedb1> load cache group awt1 where region = 'N' commit every 256 rows;
cachedb1> select * from datapart;
< N, 1, Beijing >
< N, 5, Qingdao >cachedb1> truncate table datapart;8238: Cannot truncate cache group table DATAPART; please use DROP/REFRESH/UNLOAD CACHE GROUP insteadinsert into datapart values ('N', 7, 'Tianjing');

在cachedb2中建立Cache Group, LOAD时指定缓存南区的数据:

CREATE ASYNCHRONOUS WRITETHROUGH CACHE GROUP "AWT2" FROM"TTHR"."DATAPART" ("REGION" VARCHAR2(1 BYTE) ,"ID"     NUMBER(38)        NOT NULL,"CITY"   VARCHAR2(20 BYTE),PRIMARY KEY("ID"))cachedb2> call ttrepstart;cachedb2> load cache group awt2 where region = 'S' commit every 256 rows;
cachedb2> select * from datapart;
< S, 2, Guangzhou >
< S, 6, Haikou >
cachedb2> insert into datapart values ('S', 8, 'Changsha');

在Oracle中可以看到由各个TimesTen新插入的数据

SQL> select * from datapart order by id; R         ID CITY
- ---------- --------------------
N          1 Beijing
S          2 Guangzhou
E          3 Shanghai
W          4 Chengdu
N          5 Qingdao
S          6 Haikou
N          7 Tianjing
S          8 Changsha8 rows selected.

在Oracle中插入数据,然后各个缓存组通过LOAD/REFRESH操作得到新数据。
注意,对于Explicitly load的缓存组,LOAD和REFRESH的作用是一样的。

SQL>
insert into datapart values ('N', 9, 'Baoding');
insert into datapart values ('S', 10, 'Wuhan');
commit;cachedb1> select * from datapart;
< N, 1, Beijing >
< N, 5, Qingdao >
< N, 7, Tianjing >cachedb1> refresh cache group awt1 where region = 'N' commit every 256 rows;
cachedb1> select * from datapart;
< N, 1, Beijing >
< N, 5, Qingdao >
< N, 7, Tianjing >
< N, 9, Baoding >cachedb2> select * from datapart;
< S, 2, Guangzhou >
< S, 6, Haikou >
< S, 8, Changsha >cachedb2> load cache group awt2 where region = 'S' commit every 256 rows;cachedb2> select * from datapart;
< S, 2, Guangzhou >
< S, 6, Haikou >
< S, 8, Changsha >
< S, 10, Wuhan >

参考

https://community.oracle.com/thread/3594994?start=0&tstart=0

这篇关于TimesTen 应用层数据库缓存学习:18. 利用TimesTen实现Sharding或数据分区的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/677690

相关文章

HTML5 getUserMedia API网页录音实现指南示例小结

《HTML5getUserMediaAPI网页录音实现指南示例小结》本教程将指导你如何利用这一API,结合WebAudioAPI,实现网页录音功能,从获取音频流到处理和保存录音,整个过程将逐步... 目录1. html5 getUserMedia API简介1.1 API概念与历史1.2 功能与优势1.3

Java实现删除文件中的指定内容

《Java实现删除文件中的指定内容》在日常开发中,经常需要对文本文件进行批量处理,其中,删除文件中指定内容是最常见的需求之一,下面我们就来看看如何使用java实现删除文件中的指定内容吧... 目录1. 项目背景详细介绍2. 项目需求详细介绍2.1 功能需求2.2 非功能需求3. 相关技术详细介绍3.1 Ja

使用Python和OpenCV库实现实时颜色识别系统

《使用Python和OpenCV库实现实时颜色识别系统》:本文主要介绍使用Python和OpenCV库实现的实时颜色识别系统,这个系统能够通过摄像头捕捉视频流,并在视频中指定区域内识别主要颜色(红... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间详解

PostgreSQL中MVCC 机制的实现

《PostgreSQL中MVCC机制的实现》本文主要介绍了PostgreSQL中MVCC机制的实现,通过多版本数据存储、快照隔离和事务ID管理实现高并发读写,具有一定的参考价值,感兴趣的可以了解一下... 目录一 MVCC 基本原理python1.1 MVCC 核心概念1.2 与传统锁机制对比二 Postg

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

C++中零拷贝的多种实现方式

《C++中零拷贝的多种实现方式》本文主要介绍了C++中零拷贝的实现示例,旨在在减少数据在内存中的不必要复制,从而提高程序性能、降低内存使用并减少CPU消耗,零拷贝技术通过多种方式实现,下面就来了解一下... 目录一、C++中零拷贝技术的核心概念二、std::string_view 简介三、std::stri

SQL Server数据库死锁处理超详细攻略

《SQLServer数据库死锁处理超详细攻略》SQLServer作为主流数据库管理系统,在高并发场景下可能面临死锁问题,影响系统性能和稳定性,这篇文章主要给大家介绍了关于SQLServer数据库死... 目录一、引言二、查询 Sqlserver 中造成死锁的 SPID三、用内置函数查询执行信息1. sp_w

C++高效内存池实现减少动态分配开销的解决方案

《C++高效内存池实现减少动态分配开销的解决方案》C++动态内存分配存在系统调用开销、碎片化和锁竞争等性能问题,内存池通过预分配、分块管理和缓存复用解决这些问题,下面就来了解一下... 目录一、C++内存分配的性能挑战二、内存池技术的核心原理三、主流内存池实现:TCMalloc与Jemalloc1. TCM

OpenCV实现实时颜色检测的示例

《OpenCV实现实时颜色检测的示例》本文主要介绍了OpenCV实现实时颜色检测的示例,通过HSV色彩空间转换和色调范围判断实现红黄绿蓝颜色检测,包含视频捕捉、区域标记、颜色分析等功能,具有一定的参考... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间