大数据 - 行式存储与列式存储

2024-09-07 03:20
文章标签 数据 存储 列式 行式

本文主要是介绍大数据 - 行式存储与列式存储,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为什么要区分?

大多数数据库系统存储一组数据记录,这些记录由表中的列和行组成。表可以水平分区(将属于同一行的值存储在一起),也可以垂直分区(将属于同一列的值存储在一起)。
数据库用于存储、检索和管理大量数据,一般情况下,数据库系统采用了两种主要的存储方式:行式存储和列式存储。
在数据库管理系统中,数据存储的方式对性能和效率有重要影响,所以用户可以根据业务场景自行选择行存还是列存的数据库。
在这里插入图片描述

行式存储

在行式存储中,一条记录(即一行数据)被存储在一块连续的物理空间中,而整张表的所有记录按照一定的顺序依次存放。
适用的场景,如:数据记录(姓名、出生日期和电话号码)类的数据。即:由多个字段组成且用某个键(在本例中为单调递增的ID)进行唯一标识。
表示单个用户的数据记录的所有字段通常被一起读取,在创建数据时(例如,当用户填写注册表单时),我们也将它们一起写入数据库,同时我们可以单独修改某个字段。因为诸如磁盘之类的持久性介质上的数据通常是按块访问的(换句话说,磁盘访问的最小单位是块),所以单个块可能将包含某行中所有列的数据。

对于我们希望访问用户的整条记录的情况非常有用,但这样的存储布局会使访问多个用户记录某个字段的查询(例如,只获取电话号码的查询)开销更大,因为其他字段的数据在这个过程中也会被读入。

优势:
A. 顺序访问:由于行式存储按照记录的顺序进行存储,因此可以快速地访问特定的记录,即通过主键或索引进行查询。
B. 事务处理:由于行式存储按照记录的顺序进行存储,因此在执行事务处理(如增删改查操作)时,行式存储能够更好地支持并发控制和恢复机制。
C. 完整性约束:行式存储可以更好地支持完整性约束,如主键、外键等。
劣势:
A. 空间利用:如果某些行的某些列没有值,那么这些位置将会被占用,造成空间浪费。
B. 数据压缩:由于行式存储是按照记录的顺序进行存储的,因此无法简单地利用数据压缩技术来减少存储空间。
C. 全表扫描:在查询时,如果需要通过全表扫描来查找满足某些条件的数据,那么将会带来较大的性能开销。

列式存储

在列式存储中,同一列的所有数据都被存储在一起,而不同列的数据则被分开存储。
适用的场景,如:存储股票市场的历史价格,那么股票价格这一列的数据便会被存储在一起。不同列的值存储在不同的文件或文件段中,可以按列进行有效的查询,因为它们可以一次性地被读取出来,而不是先对整行进行读取后再丢弃掉不需要的列。

面向列的存储非常适合计算聚合的分析型工作负载,如:查找趋势、计算平均值等。

优势:
A. 数据压缩:在列式存储中,将同一列的数据存储在一起,因此可以使用更高效的数据压缩算法来减少存储空间。如果某一列的数据类型都是相同的(如全部为数字),那么可以使用位图索引等技术来进行压缩。
B. 查询优化:在列式存储中,数据是按照列进行组织的,因此在查询时可以更快地定位到满足条件的数据。此外,列式存储也支持更高级的索引技术(如位图索引、B树索引等),进一步提高了查询性能。
C. 分页和缓存:列式存储在分页和缓存方面也表现出较好的性能。由于同一页或缓存块中的数据是同一列的,因此可以减少I/O操作次数。
劣势:
A. 访问特定行:在列式存储中,数据是按照列进行组织的,因此在访问特定的行数据时需要更多的I/O操作。
B. 事务处理:由于列式存储的数据是分开的,因此在执行事务处理(如增删改查操作)时需要更多的锁资源,可能影响并发性能。

优劣对比

在这里插入图片描述

总结

A. 行式存储在数据写入和修改上具有优势;列式存储在数据读取和解析、分析数据上具有优势。
B. 将具有相同数据类型的值存储在一起(例如,数字与数字在一起,字符串与字符串在一起)可以提高压缩率。我们可以根据不同的数据类型使用不同的压缩算法,并为每种情况选择最有效的压缩方法。

这篇关于大数据 - 行式存储与列式存储的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1143909

相关文章

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal

MySQL存储过程之循环遍历查询的结果集详解

《MySQL存储过程之循环遍历查询的结果集详解》:本文主要介绍MySQL存储过程之循环遍历查询的结果集,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言1. 表结构2. 存储过程3. 关于存储过程的SQL补充总结前言近来碰到这样一个问题:在生产上导入的数据发现

使用SpringBoot整合Sharding Sphere实现数据脱敏的示例

《使用SpringBoot整合ShardingSphere实现数据脱敏的示例》ApacheShardingSphere数据脱敏模块,通过SQL拦截与改写实现敏感信息加密存储,解决手动处理繁琐及系统改... 目录痛点一:痛点二:脱敏配置Quick Start——Spring 显示配置:1.引入依赖2.创建脱敏

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理:从数据搬运工到智能分析师二、PDF处理:文档工厂的智能生产线三、邮件自动化:

Python数据分析与可视化的全面指南(从数据清洗到图表呈现)

《Python数据分析与可视化的全面指南(从数据清洗到图表呈现)》Python是数据分析与可视化领域中最受欢迎的编程语言之一,凭借其丰富的库和工具,Python能够帮助我们快速处理、分析数据并生成高质... 目录一、数据采集与初步探索二、数据清洗的七种武器1. 缺失值处理策略2. 异常值检测与修正3. 数据

pandas实现数据concat拼接的示例代码

《pandas实现数据concat拼接的示例代码》pandas.concat用于合并DataFrame或Series,本文主要介绍了pandas实现数据concat拼接的示例代码,具有一定的参考价值,... 目录语法示例:使用pandas.concat合并数据默认的concat:参数axis=0,join=

C#代码实现解析WTGPS和BD数据

《C#代码实现解析WTGPS和BD数据》在现代的导航与定位应用中,准确解析GPS和北斗(BD)等卫星定位数据至关重要,本文将使用C#语言实现解析WTGPS和BD数据,需要的可以了解下... 目录一、代码结构概览1. 核心解析方法2. 位置信息解析3. 经纬度转换方法4. 日期和时间戳解析5. 辅助方法二、L

使用Python和Matplotlib实现可视化字体轮廓(从路径数据到矢量图形)

《使用Python和Matplotlib实现可视化字体轮廓(从路径数据到矢量图形)》字体设计和矢量图形处理是编程中一个有趣且实用的领域,通过Python的matplotlib库,我们可以轻松将字体轮廓... 目录背景知识字体轮廓的表示实现步骤1. 安装依赖库2. 准备数据3. 解析路径指令4. 绘制图形关键

解决mysql插入数据锁等待超时报错:Lock wait timeout exceeded;try restarting transaction

《解决mysql插入数据锁等待超时报错:Lockwaittimeoutexceeded;tryrestartingtransaction》:本文主要介绍解决mysql插入数据锁等待超时报... 目录报错信息解决办法1、数据库中执行如下sql2、再到 INNODB_TRX 事务表中查看总结报错信息Lock