mysql和pg等数据库之间的数据迁移实战分享

2024-09-02 18:04

本文主要是介绍mysql和pg等数据库之间的数据迁移实战分享,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

mysql和pg等数据库之间的数据迁移是常见的问题:比如一开始使用Oracle,后来想使用mysql,而且需要把Oracle数据库的数据迁移到mysql里面;后期有想使用pg数据库,同时需要把Mysql数据库的数据迁移到pgl里面,等等诸如此类数据迁移,都是一个重要问题。基于此,我们今天分享mysql数据迁移到pg数据库的案例。方案如下:

一、客户端迁移

如果数据量比较小,并且win电脑端可以连上数据库,此种情况下可以使用客户端迁移数据,比如使用Navicat 15及以上版本。现在开始演示:

1、工具栏中选择数据传输

2、选择数据源和目标

点击下一步进入 

3、选择表结构

自定义选择或者选择全部数据,再点击下一步,就可以开始传输数据了,如果有错误,有日志实时打印。 

4、创建自增序列

msql数据库迁移到pg之后,字段类型都改成相应的字段了,比如:

常见数据类型的映射:

  • TINYINT -> SMALLINT
  • INT -> INTEGER
  • BIGINT -> BIGINT
  • VARCHAR -> VARCHAR
  • TEXT -> TEXT
  • DATETIME -> TIMESTAMP
  • DECIMAL -> NUMERIC

只有主键自增这一块,需要单独处理一下:即每张表的主键添加自增序列

参考文章

二、pgLoader 工具迁移

pgloader 使用文档

1、安装 pgLoader

首先,确保你的系统上安装了 pgLoader。你可以使用包管理器安装,也可以从源代码编译安装。

Ubuntu/Debian 环境
sudo apt-get install pgloader或者 CentOS/RHEL 环境sudo yum install pgloader

2、从源代码编译安装

如果你的发行版没有直接提供 pgLoader 包,你可以从源代码安装:

git clone https://github.com/dimitri/pgloader.git
cd pgloader
make build
sudo make install

下载地址

3、Docker 镜像安装

docker pull dimitri/pgloader
运行
docker run --rm dimitri/pgloader:latest pgloader --version

3、命令查看 pgLoader 是否安装成功:

pgloader --version

4、准备 MySQL 和 PostgreSQL 数据库

确保你的 MySQL 数据库和 PostgreSQL 数据库已经准备好,并且你有相应的访问权限。

  • MySQL: 确保你知道 MySQL 数据库的连接信息(用户名、密码、数据库名、主机名、端口)。
  • PostgreSQL: 确保目标 PostgreSQL 数据库已经创建好,并且你有相应的访问权限。

5、使用 pgLoader 迁移数据

pgloader mysql://mysql_user:mysql_password@mysql_host/mysql_dbname postgresql://pg_user:pg_password@pg_host/pg_dbname

参数注释:

  • mysql_user: MySQL 用户名
  • mysql_password: MySQL 密码
  • mysql_host: MySQL 服务器地址(例如 localhost 或 IP 地址)
  • mysql_dbname: 要迁移的 MySQL 数据库名
  • pg_user: PostgreSQL 用户名
  • pg_password: PostgreSQL 密码
  • pg_host: PostgreSQL 服务器地址(例如 localhost 或 IP 地址)
  • pg_dbname: 目标 PostgreSQL 数据库名

三、手动导入

1、使用 mysqldump 导出 SQL 脚本

mysqldump -u [username] -p[password] --compatible=postgresql --no-create-info [database_name] > mysql_data.sql

此命令将生成一个 mysql_data.sql 文件,其中包含 MySQL 表的数据,且格式与 PostgreSQL 兼容。 

2、创建 PostgreSQL 表

根据 MySQL 表的结构,在 PostgreSQL 中创建相应的表。需要注意的是,MySQL 和 PostgreSQL 在数据类型方面有一些差异。以下是一些常见数据类型的映射:

  • TINYINT -> SMALLINT
  • INT -> INTEGER
  • BIGINT -> BIGINT
  • VARCHAR -> VARCHAR
  • TEXT -> TEXT
  • DATETIME -> TIMESTAMP
  • DECIMAL -> NUMERIC

例如,假设 MySQL 中有以下表:

CREATE TABLE employees (id INT PRIMARY KEY,name VARCHAR(255),salary DECIMAL(10, 2),hired_date DATETIME
);

则在 PostgreSQL 中创建相应的表:

CREATE TABLE employees (id SERIAL PRIMARY KEY,name VARCHAR(255),salary NUMERIC(10, 2),hired_date TIMESTAMP
);

3、导入数据到 PostgreSQL

psql -U [username] -d [database_name] -f mysql_data.sql

最后,检查数据是否正确迁移到 PostgreSQL,确保表结构、数据类型和数据内容都无误。 

到此,不同数据库之间的数据迁移暂时分享完成,后面我们会持续更新更新的迁移方案,敬请期待!

这篇关于mysql和pg等数据库之间的数据迁移实战分享的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1130670

相关文章

MySQL中比较运算符的具体使用

《MySQL中比较运算符的具体使用》本文介绍了SQL中常用的符号类型和非符号类型运算符,符号类型运算符包括等于(=)、安全等于(=)、不等于(/!=)、大小比较(,=,,=)等,感兴趣的可以了解一下... 目录符号类型运算符1. 等于运算符=2. 安全等于运算符<=>3. 不等于运算符<>或!=4. 小于运

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成

从入门到进阶讲解Python自动化Playwright实战指南

《从入门到进阶讲解Python自动化Playwright实战指南》Playwright是针对Python语言的纯自动化工具,它可以通过单个API自动执行Chromium,Firefox和WebKit... 目录Playwright 简介核心优势安装步骤观点与案例结合Playwright 核心功能从零开始学习

MySQL进行数据库审计的详细步骤和示例代码

《MySQL进行数据库审计的详细步骤和示例代码》数据库审计通过触发器、内置功能及第三方工具记录和监控数据库活动,确保安全、完整与合规,Java代码实现自动化日志记录,整合分析系统提升监控效率,本文给大... 目录一、数据库审计的基本概念二、使用触发器进行数据库审计1. 创建审计表2. 创建触发器三、Java

MySQL逻辑删除与唯一索引冲突解决方案

《MySQL逻辑删除与唯一索引冲突解决方案》本文探讨MySQL逻辑删除与唯一索引冲突问题,提出四种解决方案:复合索引+时间戳、修改唯一字段、历史表、业务层校验,推荐方案1和方案3,适用于不同场景,感兴... 目录问题背景问题复现解决方案解决方案1.复合唯一索引 + 时间戳删除字段解决方案2:删除后修改唯一字

Zabbix在MySQL性能监控方面的运用及最佳实践记录

《Zabbix在MySQL性能监控方面的运用及最佳实践记录》Zabbix通过自定义脚本和内置模板监控MySQL核心指标(连接、查询、资源、复制),支持自动发现多实例及告警通知,结合可视化仪表盘,可有效... 目录一、核心监控指标及配置1. 关键监控指标示例2. 配置方法二、自动发现与多实例管理1. 实践步骤

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5

SpringBoot中六种批量更新Mysql的方式效率对比分析

《SpringBoot中六种批量更新Mysql的方式效率对比分析》文章比较了MySQL大数据量批量更新的多种方法,指出REPLACEINTO和ONDUPLICATEKEY效率最高但存在数据风险,MyB... 目录效率比较测试结构数据库初始化测试数据批量修改方案第一种 for第二种 case when第三种

Java docx4j高效处理Word文档的实战指南

《Javadocx4j高效处理Word文档的实战指南》对于需要在Java应用程序中生成、修改或处理Word文档的开发者来说,docx4j是一个强大而专业的选择,下面我们就来看看docx4j的具体使用... 目录引言一、环境准备与基础配置1.1 Maven依赖配置1.2 初始化测试类二、增强版文档操作示例2.

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口