10G的CSV倒入Oracle数据库会占用多少空间?

2024-02-04 12:32

本文主要是介绍10G的CSV倒入Oracle数据库会占用多少空间?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

利用Oracle示例Schema中的sh.sales表,导出为csv文件。

建立外部表sales_ext,对应此csv文件:

CREATE TABLE sales_ext ("PROD_ID"        NUMBER,"CUST_ID"        NUMBER,"TIME_ID"        DATE,"CHANNEL_ID"     NUMBER,"PROMO_ID"       NUMBER,"QUANTITY_SOLD"  NUMBER(10, 2),"AMOUNT_SOLD"    NUMBER(10, 2)
)
ORGANIZATION EXTERNAL (TYPE ORACLE_LOADERDEFAULT DIRECTORY default_dir ACCESS PARAMETERS ()LOCATION ( 'SALES_DATA_TABLE.csv' )
);

最初的csv文件只有20MB,使用类似以下脚本放大到10G:

for i in {1..6}; do cat SALES_DATA_TABLE.csv >> /u01/tmp/SALES_DATA_TABLE.csv
done

查看文件:

$ ls -l /u01/tmp/SALES_DATA_TABLE.csv
-rw-r--r-- 1 oracle oinstall 10886524012 Jul 16 06:36 /u01/tmp/SALES_DATA_TABLE.csv

查询外部表的行数:

SQL> select count(*) from sales_ext;COUNT(*)
----------334458852

从外部表创建实体表:

set timing on
create table sales nologging as select * from sales_ext;

创建表耗时:

Elapsed: 00:22:49.06

表占用的空间:

SQL> set numformat 999,999,999,999
SQL> select bytes, blocks from user_segments where segment_name = 'SALES';BYTES           BLOCKS
---------------- ----------------13,237,223,424        1,615,872

这个比CSV文件多了2G,多了20%的开销:

SQL> select 13237223424 - 10886524012 from dual;13237223424-10886524012
-----------------------2350699412SQL> select 13237223424/10886524012 from dual;13237223424/10886524012
-----------------------1.21592745

启用压缩:

SQL> set timing on
SQL> alter table sales move compress;

启用压缩耗时:

Elapsed: 00:18:57.82

只用到4G了,压缩效果不错:

SQL> set numformat 999,999,999,999
SQL> select bytes, blocks from user_segments where segment_name = 'SALES';BYTES           BLOCKS
---------------- ----------------4,429,185,024          540,672

查询性能。:

SQL> select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:23.75
SQL> select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:46.51
SQL> select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:18.04
SQL> select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:21.23
SQL>  select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:19.30
SQL>  select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:18.65

去除压缩:

alter table sales move nocompress;

空间占用:

SQL>  select bytes, blocks from user_segments where segment_name = 'SALES';BYTES           BLOCKS
---------------- ----------------11,904,483,328        1,453,184

有个奇怪的问题,就是解压后的空间和最初未压缩时的空间不一致,要小些。

查询时间:

SQL> select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:15.14
SQL> select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:40.84
SQL> select count(*) from sales;COUNT(*)
----------------334,458,852Elapsed: 00:02:19.90
SQL> select count(*) from sales;COUNT(*)
----------------334,458,852Elapsed: 00:02:19.68
SQL> select count(*) from sales;COUNT(*)
----------------334,458,852Elapsed: 00:02:19.38

这篇关于10G的CSV倒入Oracle数据库会占用多少空间?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/677519

相关文章

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

oracle 11g导入\导出(expdp impdp)之导入过程

《oracle11g导入导出(expdpimpdp)之导入过程》导出需使用SEC.DMP格式,无分号;建立expdir目录(E:/exp)并确保存在;导入在cmd下执行,需sys用户权限;若需修... 目录准备文件导入(impdp)1、建立directory2、导入语句 3、更改密码总结上一个环节,我们讲了

Python实现批量CSV转Excel的高性能处理方案

《Python实现批量CSV转Excel的高性能处理方案》在日常办公中,我们经常需要将CSV格式的数据转换为Excel文件,本文将介绍一个基于Python的高性能解决方案,感兴趣的小伙伴可以跟随小编一... 目录一、场景需求二、技术方案三、核心代码四、批量处理方案五、性能优化六、使用示例完整代码七、小结一、

Three.js构建一个 3D 商品展示空间完整实战项目

《Three.js构建一个3D商品展示空间完整实战项目》Three.js是一个强大的JavaScript库,专用于在Web浏览器中创建3D图形,:本文主要介绍Three.js构建一个3D商品展... 目录引言项目核心技术1. 项目架构与资源组织2. 多模型切换、交互热点绑定3. 移动端适配与帧率优化4. 可

如何通过try-catch判断数据库唯一键字段是否重复

《如何通过try-catch判断数据库唯一键字段是否重复》在MyBatis+MySQL中,通过try-catch捕获唯一约束异常可避免重复数据查询,优点是减少数据库交互、提升并发安全,缺点是异常处理开... 目录1、原理2、怎么理解“异常走的是数据库错误路径,开销比普通逻辑分支稍高”?1. 普通逻辑分支 v

Python与MySQL实现数据库实时同步的详细步骤

《Python与MySQL实现数据库实时同步的详细步骤》在日常开发中,数据同步是一项常见的需求,本篇文章将使用Python和MySQL来实现数据库实时同步,我们将围绕数据变更捕获、数据处理和数据写入这... 目录前言摘要概述:数据同步方案1. 基本思路2. mysql Binlog 简介实现步骤与代码示例1

使用shardingsphere实现mysql数据库分片方式

《使用shardingsphere实现mysql数据库分片方式》本文介绍如何使用ShardingSphere-JDBC在SpringBoot中实现MySQL水平分库,涵盖分片策略、路由算法及零侵入配置... 目录一、ShardingSphere 简介1.1 对比1.2 核心概念1.3 Sharding-Sp

Go语言连接MySQL数据库执行基本的增删改查

《Go语言连接MySQL数据库执行基本的增删改查》在后端开发中,MySQL是最常用的关系型数据库之一,本文主要为大家详细介绍了如何使用Go连接MySQL数据库并执行基本的增删改查吧... 目录Go语言连接mysql数据库准备工作安装 MySQL 驱动代码实现运行结果注意事项Go语言执行基本的增删改查准备工作

MySQL 数据库表操作完全指南:创建、读取、更新与删除实战

《MySQL数据库表操作完全指南:创建、读取、更新与删除实战》本文系统讲解MySQL表的增删查改(CURD)操作,涵盖创建、更新、查询、删除及插入查询结果,也是贯穿各类项目开发全流程的基础数据交互原... 目录mysql系列前言一、Create(创建)并插入数据1.1 单行数据 + 全列插入1.2 多行数据

MySQL 数据库表与查询操作实战案例

《MySQL数据库表与查询操作实战案例》本文将通过实际案例,详细介绍MySQL中数据库表的设计、数据插入以及常用的查询操作,帮助初学者快速上手,感兴趣的朋友跟随小编一起看看吧... 目录mysql 数据库表操作与查询实战案例项目一:产品相关数据库设计与创建一、数据库及表结构设计二、数据库与表的创建项目二:员