模拟物化视图的实现

2024-03-29 10:18
文章标签 实现 模拟 视图 物化

本文主要是介绍模拟物化视图的实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

物化视图在数据库的数据分析中占有很重要的作用(相关概念记录链接),但是MySQL等数据库只有普通视图,没有实现物化视图。我们可以根据物化视图的思路手动实现类似的功能,即用一个实体表存储经常访问的数据,并按需对其进行更新。

创建物化视图表

首先创建一个物品表并为其填充数据

CREATE TABLE sales (sales_id       INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY, product_name   VARCHAR(128) NOT NULL, product_price  DECIMAL(8,2) NOT NULL, product_amount SMALLINT     NOT NULL
);INSERT INTO sales VALUES(NULL, 'Apple', 1.25, 1), (NULL, 'Apple', 2.40, 2),(NULL, 'Apple', 4.05, 3), (NULL, 'Pear', 6.30, 2),(NULL, 'Pear', 12.20, 4), (NULL, 'Plum', 4.85, 3);

物化视图实际上就是一个物理上真实存在的表,因此首先需要创建存放物化视图的实体表,例如对上面物品表创建物化视图sales_mv用于存放其常用的统计信息:

CREATE TABLE sales_mv (product_name VARCHAR(128)  NOT NULL ,price_sum    DECIMAL(10,2) NOT NULL,amount_sum   INT           NOT NULL,price_avg    FLOAT         NOT NULL,amount_avg   FLOAT         NOT NULL,sales_cnt    INT           NOT NULL,UNIQUE INDEX product (product_name)
);

更新

物化视图的更新时机可以分为以下三种:

  1. 只在开始更新,之后从不更新,用于静态数据
  2. 按频率更新,比如每天
  3. 每次数据修改之后及时更新

更新的方式有:

  1. 完全更新,重新对整个表写入数据,速度慢
  2. 增量更新,使用日志记录发生变化的数据,然后只更新变化的数据

通过如下语句为物化视图填入数据

INSERT INTO sales_mvSELECT product_name, SUM(product_price), SUM(product_amount), AVG(product_price), AVG(product_amount), COUNT(*)FROM salesGROUP BY product_name;

通过如下语句访问物化视图就可以得到我们想要的数据

SELECT * FROM sales_mv;
使用存储过程更新

可以创建一个存储过程refresh_mv来执行对物化视图的更新操作,如下所示为对物化视图进行全量更新

CREATE PROCEDURE refresh_mv (OUT rc INT)
BEGINTRUNCATE TABLE sales_mv;			-- 清空物化视图INSERT INTO sales_mv				-- 重新放入数据SELECT product_name, SUM(product_price), SUM(product_amount), AVG(product_price), AVG(product_amount), COUNT(*)FROM salesGROUP BY product_name;SET rc = 0;
END;

当需要的时候调用存储过程对物化视图进行更新

CALL refresh_mv(@rc);
使用触发器更新

如果每次只对某些行进行更新,那我们只需要对发生改变的行进行更新而不必对整个表进行操作,如下所示定义触发器,当对sales表执行插入后更新物化视图sales_mv

CREATE TRIGGER sales_ins
AFTER INSERT ON sales			-- 对sales表执行插入后触发
FOR EACH ROW
BEGIN# 获取原来的值SET @old_price_sum = 0;SET @old_amount_sum = 0;SET @old_price_avg = 0;SET @old_amount_avg = 0;SET @old_sales_cnt = 0;SELECT IFNULL(price_sum, 0), IFNULL(amount_sum, 0), IFNULL(price_avg, 0), IFNULL(amount_avg, 0), IFNULL(sales_cnt, 0)FROM sales_mvWHERE product_name = NEW.product_nameINTO @old_price_sum, @old_amount_sum, @old_price_avg, @old_amount_avg, @old_sales_cnt;# 计算并更新元组SET @new_price_sum = @old_price_sum + NEW.product_price;SET @new_amount_sum = @old_amount_sum + NEW.product_amount;SET @new_sales_cnt = @old_sales_cnt + 1;SET @new_price_avg = @new_price_sum / @new_sales_cnt;SET @new_amount_avg = @new_amount_sum / @new_sales_cnt;REPLACE INTO sales_mv VALUES(NEW.product_name, @new_price_sum, @new_amount_sum, @new_price_avg, @new_amount_avg, @new_sales_cnt);
END;
使用日志更新

首先需要一个单独的日志表sales_mv_log 来记录发生的改变

CREATE TABLE sales_mv_log (product_name   VARCHAR(128) NOT NULL, product_price  DECIMAL(8,2) NOT NULL, product_amount SMALLINT     NOT NULL, sales_id       INT UNSIGNED NOT NULL, product_ts     TIMESTAMP    NOT NULL DEFAULT CURRENT_TIMESTAMP()
);

当对sales表执行插入操作时,定义触发器动作如下,将插入的信息记录到日志表sales_mv_log

CREATE TRIGGER sales_ins
AFTER INSERT ON sales
FOR EACH ROW
BEGININSERT INTO sales_mv_log VALUES (NEW.product_name, NEW.product_price, NEW.product_amount, NEW.sales_id, NULL);
END;

这篇关于模拟物化视图的实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/858337

相关文章

Spring Boot整合Redis注解实现增删改查功能(Redis注解使用)

《SpringBoot整合Redis注解实现增删改查功能(Redis注解使用)》文章介绍了如何使用SpringBoot整合Redis注解实现增删改查功能,包括配置、实体类、Repository、Se... 目录配置Redis连接定义实体类创建Repository接口增删改查操作示例插入数据查询数据删除数据更

Java Lettuce 客户端入门到生产的实现步骤

《JavaLettuce客户端入门到生产的实现步骤》本文主要介绍了JavaLettuce客户端入门到生产的实现步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要... 目录1 安装依赖MavenGradle2 最小化连接示例3 核心特性速览4 生产环境配置建议5 常见问题

linux ssh如何实现增加访问端口

《linuxssh如何实现增加访问端口》Linux中SSH默认使用22端口,为了增强安全性或满足特定需求,可以通过修改SSH配置来增加或更改SSH访问端口,具体步骤包括修改SSH配置文件、增加或修改... 目录1. 修改 SSH 配置文件2. 增加或修改端口3. 保存并退出编辑器4. 更新防火墙规则使用uf

Java 的ArrayList集合底层实现与最佳实践

《Java的ArrayList集合底层实现与最佳实践》本文主要介绍了Java的ArrayList集合类的核心概念、底层实现、关键成员变量、初始化机制、容量演变、扩容机制、性能分析、核心方法源码解析、... 目录1. 核心概念与底层实现1.1 ArrayList 的本质1.1.1 底层数据结构JDK 1.7

C++中unordered_set哈希集合的实现

《C++中unordered_set哈希集合的实现》std::unordered_set是C++标准库中的无序关联容器,基于哈希表实现,具有元素唯一性和无序性特点,本文就来详细的介绍一下unorder... 目录一、概述二、头文件与命名空间三、常用方法与示例1. 构造与析构2. 迭代器与遍历3. 容量相关4

C++中悬垂引用(Dangling Reference) 的实现

《C++中悬垂引用(DanglingReference)的实现》C++中的悬垂引用指引用绑定的对象被销毁后引用仍存在的情况,会导致访问无效内存,下面就来详细的介绍一下产生的原因以及如何避免,感兴趣... 目录悬垂引用的产生原因1. 引用绑定到局部变量,变量超出作用域后销毁2. 引用绑定到动态分配的对象,对象

SpringBoot基于注解实现数据库字段回填的完整方案

《SpringBoot基于注解实现数据库字段回填的完整方案》这篇文章主要为大家详细介绍了SpringBoot如何基于注解实现数据库字段回填的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以了解... 目录数据库表pom.XMLRelationFieldRelationFieldMapping基础的一些代

Java HashMap的底层实现原理深度解析

《JavaHashMap的底层实现原理深度解析》HashMap基于数组+链表+红黑树结构,通过哈希算法和扩容机制优化性能,负载因子与树化阈值平衡效率,是Java开发必备的高效数据结构,本文给大家介绍... 目录一、概述:HashMap的宏观结构二、核心数据结构解析1. 数组(桶数组)2. 链表节点(Node

Java AOP面向切面编程的概念和实现方式

《JavaAOP面向切面编程的概念和实现方式》AOP是面向切面编程,通过动态代理将横切关注点(如日志、事务)与核心业务逻辑分离,提升代码复用性和可维护性,本文给大家介绍JavaAOP面向切面编程的概... 目录一、AOP 是什么?二、AOP 的核心概念与实现方式核心概念实现方式三、Spring AOP 的关

Python实现字典转字符串的五种方法

《Python实现字典转字符串的五种方法》本文介绍了在Python中如何将字典数据结构转换为字符串格式的多种方法,首先可以通过内置的str()函数进行简单转换;其次利用ison.dumps()函数能够... 目录1、使用json模块的dumps方法:2、使用str方法:3、使用循环和字符串拼接:4、使用字符