模拟物化视图的实现

2024-03-29 10:18
文章标签 实现 模拟 视图 物化

本文主要是介绍模拟物化视图的实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

物化视图在数据库的数据分析中占有很重要的作用(相关概念记录链接),但是MySQL等数据库只有普通视图,没有实现物化视图。我们可以根据物化视图的思路手动实现类似的功能,即用一个实体表存储经常访问的数据,并按需对其进行更新。

创建物化视图表

首先创建一个物品表并为其填充数据

CREATE TABLE sales (sales_id       INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY, product_name   VARCHAR(128) NOT NULL, product_price  DECIMAL(8,2) NOT NULL, product_amount SMALLINT     NOT NULL
);INSERT INTO sales VALUES(NULL, 'Apple', 1.25, 1), (NULL, 'Apple', 2.40, 2),(NULL, 'Apple', 4.05, 3), (NULL, 'Pear', 6.30, 2),(NULL, 'Pear', 12.20, 4), (NULL, 'Plum', 4.85, 3);

物化视图实际上就是一个物理上真实存在的表,因此首先需要创建存放物化视图的实体表,例如对上面物品表创建物化视图sales_mv用于存放其常用的统计信息:

CREATE TABLE sales_mv (product_name VARCHAR(128)  NOT NULL ,price_sum    DECIMAL(10,2) NOT NULL,amount_sum   INT           NOT NULL,price_avg    FLOAT         NOT NULL,amount_avg   FLOAT         NOT NULL,sales_cnt    INT           NOT NULL,UNIQUE INDEX product (product_name)
);

更新

物化视图的更新时机可以分为以下三种:

  1. 只在开始更新,之后从不更新,用于静态数据
  2. 按频率更新,比如每天
  3. 每次数据修改之后及时更新

更新的方式有:

  1. 完全更新,重新对整个表写入数据,速度慢
  2. 增量更新,使用日志记录发生变化的数据,然后只更新变化的数据

通过如下语句为物化视图填入数据

INSERT INTO sales_mvSELECT product_name, SUM(product_price), SUM(product_amount), AVG(product_price), AVG(product_amount), COUNT(*)FROM salesGROUP BY product_name;

通过如下语句访问物化视图就可以得到我们想要的数据

SELECT * FROM sales_mv;
使用存储过程更新

可以创建一个存储过程refresh_mv来执行对物化视图的更新操作,如下所示为对物化视图进行全量更新

CREATE PROCEDURE refresh_mv (OUT rc INT)
BEGINTRUNCATE TABLE sales_mv;			-- 清空物化视图INSERT INTO sales_mv				-- 重新放入数据SELECT product_name, SUM(product_price), SUM(product_amount), AVG(product_price), AVG(product_amount), COUNT(*)FROM salesGROUP BY product_name;SET rc = 0;
END;

当需要的时候调用存储过程对物化视图进行更新

CALL refresh_mv(@rc);
使用触发器更新

如果每次只对某些行进行更新,那我们只需要对发生改变的行进行更新而不必对整个表进行操作,如下所示定义触发器,当对sales表执行插入后更新物化视图sales_mv

CREATE TRIGGER sales_ins
AFTER INSERT ON sales			-- 对sales表执行插入后触发
FOR EACH ROW
BEGIN# 获取原来的值SET @old_price_sum = 0;SET @old_amount_sum = 0;SET @old_price_avg = 0;SET @old_amount_avg = 0;SET @old_sales_cnt = 0;SELECT IFNULL(price_sum, 0), IFNULL(amount_sum, 0), IFNULL(price_avg, 0), IFNULL(amount_avg, 0), IFNULL(sales_cnt, 0)FROM sales_mvWHERE product_name = NEW.product_nameINTO @old_price_sum, @old_amount_sum, @old_price_avg, @old_amount_avg, @old_sales_cnt;# 计算并更新元组SET @new_price_sum = @old_price_sum + NEW.product_price;SET @new_amount_sum = @old_amount_sum + NEW.product_amount;SET @new_sales_cnt = @old_sales_cnt + 1;SET @new_price_avg = @new_price_sum / @new_sales_cnt;SET @new_amount_avg = @new_amount_sum / @new_sales_cnt;REPLACE INTO sales_mv VALUES(NEW.product_name, @new_price_sum, @new_amount_sum, @new_price_avg, @new_amount_avg, @new_sales_cnt);
END;
使用日志更新

首先需要一个单独的日志表sales_mv_log 来记录发生的改变

CREATE TABLE sales_mv_log (product_name   VARCHAR(128) NOT NULL, product_price  DECIMAL(8,2) NOT NULL, product_amount SMALLINT     NOT NULL, sales_id       INT UNSIGNED NOT NULL, product_ts     TIMESTAMP    NOT NULL DEFAULT CURRENT_TIMESTAMP()
);

当对sales表执行插入操作时,定义触发器动作如下,将插入的信息记录到日志表sales_mv_log

CREATE TRIGGER sales_ins
AFTER INSERT ON sales
FOR EACH ROW
BEGININSERT INTO sales_mv_log VALUES (NEW.product_name, NEW.product_price, NEW.product_amount, NEW.sales_id, NULL);
END;

这篇关于模拟物化视图的实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/858337

相关文章

Python使用FFmpeg实现高效音频格式转换工具

《Python使用FFmpeg实现高效音频格式转换工具》在数字音频处理领域,音频格式转换是一项基础但至关重要的功能,本文主要为大家介绍了Python如何使用FFmpeg实现强大功能的图形化音频转换工具... 目录概述功能详解软件效果展示主界面布局转换过程截图完成提示开发步骤详解1. 环境准备2. 项目功能结

SpringBoot使用ffmpeg实现视频压缩

《SpringBoot使用ffmpeg实现视频压缩》FFmpeg是一个开源的跨平台多媒体处理工具集,用于录制,转换,编辑和流式传输音频和视频,本文将使用ffmpeg实现视频压缩功能,有需要的可以参考... 目录核心功能1.格式转换2.编解码3.音视频处理4.流媒体支持5.滤镜(Filter)安装配置linu

在Spring Boot中实现HTTPS加密通信及常见问题排查

《在SpringBoot中实现HTTPS加密通信及常见问题排查》HTTPS是HTTP的安全版本,通过SSL/TLS协议为通讯提供加密、身份验证和数据完整性保护,下面通过本文给大家介绍在SpringB... 目录一、HTTPS核心原理1.加密流程概述2.加密技术组合二、证书体系详解1、证书类型对比2. 证书获

Druid连接池实现自定义数据库密码加解密功能

《Druid连接池实现自定义数据库密码加解密功能》在现代应用开发中,数据安全是至关重要的,本文将介绍如何在​​Druid​​连接池中实现自定义的数据库密码加解密功能,有需要的小伙伴可以参考一下... 目录1. 环境准备2. 密码加密算法的选择3. 自定义 ​​DruidDataSource​​ 的密码解密3

使用Python实现Windows系统垃圾清理

《使用Python实现Windows系统垃圾清理》Windows自带的磁盘清理工具功能有限,无法深度清理各类垃圾文件,所以本文为大家介绍了如何使用Python+PyQt5开发一个Windows系统垃圾... 目录一、开发背景与工具概述1.1 为什么需要专业清理工具1.2 工具设计理念二、工具核心功能解析2.

Java实现本地缓存的常用方案介绍

《Java实现本地缓存的常用方案介绍》本地缓存的代表技术主要有HashMap,GuavaCache,Caffeine和Encahche,这篇文章主要来和大家聊聊java利用这些技术分别实现本地缓存的方... 目录本地缓存实现方式HashMapConcurrentHashMapGuava CacheCaffe

SpringBoot整合Sa-Token实现RBAC权限模型的过程解析

《SpringBoot整合Sa-Token实现RBAC权限模型的过程解析》:本文主要介绍SpringBoot整合Sa-Token实现RBAC权限模型的过程解析,本文给大家介绍的非常详细,对大家的学... 目录前言一、基础概念1.1 RBAC模型核心概念1.2 Sa-Token核心功能1.3 环境准备二、表结

Python实现一键PDF转Word(附完整代码及详细步骤)

《Python实现一键PDF转Word(附完整代码及详细步骤)》pdf2docx是一个基于Python的第三方库,专门用于将PDF文件转换为可编辑的Word文档,下面我们就来看看如何通过pdf2doc... 目录引言:为什么需要PDF转Word一、pdf2docx介绍1. pdf2docx 是什么2. by

使用Python实现网页表格转换为markdown

《使用Python实现网页表格转换为markdown》在日常工作中,我们经常需要从网页上复制表格数据,并将其转换成Markdown格式,本文将使用Python编写一个网页表格转Markdown工具,需... 在日常工作中,我们经常需要从网页上复制表格数据,并将其转换成Markdown格式,以便在文档、邮件或

Python使用pynput模拟实现键盘自动输入工具

《Python使用pynput模拟实现键盘自动输入工具》在日常办公和软件开发中,我们经常需要处理大量重复的文本输入工作,所以本文就来和大家介绍一款使用Python的PyQt5库结合pynput键盘控制... 目录概述:当自动化遇上可视化功能全景图核心功能矩阵技术栈深度效果展示使用教程四步操作指南核心代码解析