PostgreSQL 错了被别人指出,是人生幸事 vacuum 操作修正

2023-11-08 01:50

本文主要是介绍PostgreSQL 错了被别人指出,是人生幸事 vacuum 操作修正,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

问题是这样的,回答一个关于vacuum操作的问题的时候,由于学艺不精,知识不扎实,选择了错误的答案,有幸于马上有人指出错误。才不至于将错误的理解延续,所以的写一篇来将错误的理解纠正,并加深印象。

问题1 为什么要vacuum 

postgresql 数据库并没有使用我们熟悉的类似于ORALCE ,MYSQL的redo,undo的数据库架构,PG独有的架构优点很多,但我们也必须面对部分的问题,在更新或删除PostgreSQL表中的行,会留下死行。Vacuum的作用可以去掉它们,这样空间就可以重复利用了。如果一个表没有被清空,它就会变得臃肿,这就会浪费磁盘空间并降低顺序表扫描的速度(在较小的范围内,还会降低索引扫描的速度)。

问题2 一般我们怎么处理

一般的情况下,我们通过上面的语句可以检测我们的autovacuum到底有没有执行,并且当前各个表的n_dead_tupd的情况如何。以及最近一次的 autovaccum 的情况。

问题 3 autovacuum 不管用怎么办?

事实上是的,如果autovacuum都百分之百的不出问题,那就没有这个话题了

所以有的时候,我们就需要vacuum 来处理一些问题

从下图可以看出,在执行了vacuum 后刚才还15个 dead tuple,已经变成了0

问题 4  vacuum  autovacuum  vacuum full 之间有什么不同

autovacuum 

autovaccum 的主要功能自动执行vacuum 和 Analyze命令,autovacuum检测表有大量的inserted ,updated , deleted操作,另外还需要打开track_counts,否则autovacuum 将不能被正常使用。

autovacuum 实际上是由多个进程组成,主线程autovacuum 会在何时地时间调用,这里与 autovaccum_naptime 以及PG 如果有多个数据库地情况下,还和autovacuum_max_worker有关。每个worker  process将检查每一个数据库表并且执行vacuum 和 分析,这里官方文档中提及,当数据库中有大表情况下,很可能一个数据库一个autovacuum worker process 忙于处理大表,而让其表无法接受到autovacuum ,并且在一个数据库中可以有多少work process是没有限制的,work process 确实试图避免重复其他process已经完成的工作,运行的worker的数量并不计入max_connections。

Vacuum

真空的主要工作是回收被标记为dead 的元组占用的存储空间。回收的存储空间不会返回给操作系统,而是在同一个页面中进行整理,因此将来在同一个表中插入数据时可以重用它们。当对特定表执行真空操作时,可以同时对同一表执行其他读/写操作,因为对特定表不执行独占锁。如果没有指定表名,将对数据库的所有表执行VACUUM。

Vacuum 到当地做了什么是一个需要被了解的地方,之前也是迷迷糊糊

下面列一下

1 扫描所有表,或者特殊表,得到dead tuples

2 如果需要会固化需要清理的dead tuples

3 清理与dead tuples有关的index tuple

4 清理页面中的dead tuples 并将清理后的空间释放

5 更新对应表的FSM 和 VM 文件

6 更新相关的系统表

从上面看VACUUM 操作是非常耗费资源的,这也是其他数据库专家诟病POSTGRESQL 的一个地方,这里我们尽量不要去扫描所有的页,所以VM的存在是很必要的。

FULL Vacuum

从上面的解释看,Vacuum 已经满足了大部分的需求,那Full vacuum的操作的意义是什么,尽管VACUUM删除了所有无效的元组并对页面进行碎片整理以供将来使用,但它并不能帮助减少表的总体存储,因为实际上并没有将空间释放给操作系统。其实其他数据库也有类似的空间释放的方式,但实话是不怎么常用,当然这和他们的数据库原理有关,而放到pg里面可能由于本身的原理结构,这样的操作就被重视起来。

不愿意使用full vacuum 的原因是,他需要对系统有独占的权利

FULL Vacuum 到当地做了什么

1 对于表使用了独占锁 exclusive lock

2 创建一个并行的空的存储文件

3 将目前的标记为存活的tuples(行)拷贝到了新的存储中(其实就是新的物理文件)

4  在将原有的数据都拷贝后,开始释放原有的存储数据的文件

5  释放独占锁

其实上面的full  vacuum 的操作让我想起 mysql 的  

OPTIMIZE TABLE

ALTER TABLE table_name ENGINE = Innodb;

原理与full vacuum 基本上没有什么两样,或许人们已经习惯了 MYSQL 的曾经,但面对PG的类似的这样的操作和问题,就不那么淡定了,或许在心里暗暗的认为PG 这么高大上的数据库不应该存在这样问题。

其实反观商业数据库也有类似的问题,例如去shrink 一个 mdf 文件,ndf 文件,那也和死了一样的恐怖。

回到PG ,我们可以使用下面的命令来查看某个表的free space

SELECT count(*) as npages, round(100 * avg(avail)/8192 ,2) as average_freespace_ratio FROM pg_freespace('test1000');

这告诉你这些空间可以被重用,那到底你要不要 full vacuum 你来自己决定,难道磁盘空间添加的是一件很难的事情吗?

最后,感谢那些指正你错误的人,因为夸奖不能让你进步,友善的指责和指正,才是你变得强大的力量,thanks 

vacuum 命令不会更新统计信息,不会忘记。

这篇关于PostgreSQL 错了被别人指出,是人生幸事 vacuum 操作修正的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/liuhuayang/article/details/106682076
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/367229

相关文章

python操作redis基础

《python操作redis基础》Redis(RemoteDictionaryServer)是一个开源的、基于内存的键值对(Key-Value)存储系统,它通常用作数据库、缓存和消息代理,这篇文章... 目录1. Redis 简介2. 前提条件3. 安装 python Redis 客户端库4. 连接到 Re

Java Stream.reduce()方法操作实际案例讲解

《JavaStream.reduce()方法操作实际案例讲解》reduce是JavaStreamAPI中的一个核心操作,用于将流中的元素组合起来产生单个结果,:本文主要介绍JavaStream.... 目录一、reduce的基本概念1. 什么是reduce操作2. reduce方法的三种形式二、reduce

MySQL表空间结构详解表空间到段页操作

《MySQL表空间结构详解表空间到段页操作》在MySQL架构和存储引擎专题中介绍了使用不同存储引擎创建表时生成的表空间数据文件,在本章节主要介绍使用InnoDB存储引擎创建表时生成的表空间数据文件,对... 目录️‍一、什么是表空间结构1.1 表空间与表空间文件的关系是什么?️‍二、用户数据在表空间中是怎么

Python对PDF书签进行添加,修改提取和删除操作

《Python对PDF书签进行添加,修改提取和删除操作》PDF书签是PDF文件中的导航工具,通常包含一个标题和一个跳转位置,本教程将详细介绍如何使用Python对PDF文件中的书签进行操作... 目录简介使用工具python 向 PDF 添加书签添加书签添加嵌套书签Python 修改 PDF 书签Pytho

一文详解PostgreSQL复制参数

《一文详解PostgreSQL复制参数》PostgreSQL作为一款功能强大的开源关系型数据库,其复制功能对于构建高可用性系统至关重要,本文给大家详细介绍了PostgreSQL的复制参数,需要的朋友可... 目录一、复制参数基础概念二、核心复制参数深度解析1. max_wal_seChina编程nders:WAL

Mysql数据库中数据的操作CRUD详解

《Mysql数据库中数据的操作CRUD详解》:本文主要介绍Mysql数据库中数据的操作(CRUD),详细描述对Mysql数据库中数据的操作(CRUD),包括插入、修改、删除数据,还有查询数据,包括... 目录一、插入数据(insert)1.插入数据的语法2.注意事项二、修改数据(update)1.语法2.有

Python文件操作与IO流的使用方式

《Python文件操作与IO流的使用方式》:本文主要介绍Python文件操作与IO流的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、python文件操作基础1. 打开文件2. 关闭文件二、文件读写操作1.www.chinasem.cn 读取文件2. 写

PostgreSQL 序列(Sequence) 与 Oracle 序列对比差异分析

《PostgreSQL序列(Sequence)与Oracle序列对比差异分析》PostgreSQL和Oracle都提供了序列(Sequence)功能,但在实现细节和使用方式上存在一些重要差异,... 目录PostgreSQL 序列(Sequence) 与 oracle 序列对比一 基本语法对比1.1 创建序

Java实现MinIO文件上传的加解密操作

《Java实现MinIO文件上传的加解密操作》在云存储场景中,数据安全是核心需求之一,MinIO作为高性能对象存储服务,支持通过客户端加密(CSE)在数据上传前完成加密,下面我们来看看如何通过Java... 目录一、背景与需求二、技术选型与原理1. 加密方案对比2. 核心算法选择三、完整代码实现1. 加密上

SQL常用操作精华之复制表、跨库查询、删除重复数据

《SQL常用操作精华之复制表、跨库查询、删除重复数据》:本文主要介绍SQL常用操作精华之复制表、跨库查询、删除重复数据,这些SQL操作涵盖了数据库开发中最常用的技术点,包括表操作、数据查询、数据管... 目录SQL常用操作精华总结表结构与数据操作高级查询技巧SQL常用操作精华总结表结构与数据操作复制表结