【kettle006】kettle访问华为openGauss高斯数据库并处理数据至execl文件(已更新)

本文主要是介绍【kettle006】kettle访问华为openGauss高斯数据库并处理数据至execl文件(已更新),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.一直以来想写下基于kettle的系列文章,作为较火的数据ETL工具,也是日常项目开发中常用的一款工具,最近刚好挤时间梳理、总结下这块儿的知识体系。
2.熟悉、梳理、总结下华为openGauss高斯数据库相关知识体系
3.欢迎批评指正,跪谢一键三连!

  • kettle访问华为openGauss高斯数据库并处理数据至execl文件文章目录索引如下所示:
    在这里插入图片描述
  • 【实操视频,辅助实操学习,跪谢一键三连!】【kettle006】kettle访问华为openGauss高斯数据库并处理数据至execl文件

1.环境搭建、配置

  • 1.0 实验环境信息
    • Windows 10
    • CentOS 7.1(虚拟机)
    • Docker version 26.0.2
    • Dbeaver
    • Kettle 8.2
    • openGauss 2.1.0
  • 1.1 openGauss docker镜像安装
    • 如果本地有openGauss,但拉取了镜像,请调整端口信息,端口已被占用
    • 如果遇到拉取镜像很慢的问题,可以参考 https://kngines.blog.csdn.net/article/details/138142888
    • 1.1.1 操作命令
      # 拉取opengauss镜像
      docker pull enmotech/opengauss:latest# 查看镜像
      docker image# 运行容器
      docker run --name opengauss --privileged=true -d -e GS_PASSWORD=Enmo@123 -p 8090:5432 enmotech/opengauss:latest# 查看容器
      docker ps -adocker exec -it opengauss sh# 切换用户
      su - omm# 数据库登录
      gsql# 查看数据库版本
      select version();# 查看数据库版权
      \copyright# 查看数据库
      \db# 查看所有数据库
      \l
      
    • 1.1.2 容器运行详情
      在这里插入图片描述

2.openGauss高斯数据库容器链接测试

  • 2.1 驱动信息配置、测试
    • 新建 驱动管理器数据库 --》 驱动管理器 --》 新建库 --》 添加GS-DWS驱动文件
      # 类名
      org.postgresql.Driver
      # URL 模板
      jdbc:postgresql://{host}[:{port}]/[{database}]
      
    • 配置详情示例图
      在这里插入图片描述
  • 2.2 驱动包下载及配置引入
    • 高斯数据库驱动包下载地址: https://dws.obs.myhuaweicloud.com/download/dws_8.2.x_jdbc_driver.zip
      • 华为高斯数据库驱动包官网地址: 下载JDBC或ODBC驱动
    • 引入详情如下图所示
      在这里插入图片描述
  • 2.3 DBeaver链接高斯数据库测试
    # 默认数据库,也可新建数据库,如本文新建 youli ;注意 即使数据库名包含大写,链接配置里面配置小写
    postgres
    # 用户名
    gaussdb
    # 本实验密码
    Enmo@123
    
    • 链接测试配置详情
      在这里插入图片描述
  • 2.4 建表建库测试SQL
    create database youli owner gaussdb;
    drop database youli;create table youli_testtable (    id int primary key,    name varchar(100),    age int,    grade varchar(10)
    );delete from youli_testtable;
    insert into youli_testtable values
    (1, 'youli', 12, '1班'),
    (2, '张三', 21, '2班'),
    (3, '张三', 22, '3班'),
    (4, '张三', 23, '4班'),
    (5, '张三', 13, '5班'),
    (6, '张三', 14, '6班'),
    (7, '张三', 15, '7班'),
    (8, '张三', 13, '8班'),
    (9, '张三', 16, '9班'),
    (10, '张三', 19, '10班');select * from youli_testtable;
    

3.kettle流程任务配置、效果验证

  • 3.1 将2.2下载的高斯数据库相应版本驱动包放到 kettlle lib 目录下,重启 kettle,进行链接测试
    在这里插入图片描述
  • 3.2 kettle链接高斯数据库容器环境测试结果
    在这里插入图片描述

4.参考文章

  • https://blog.csdn.net/jmshl/article/details/134578666
  • https://blog.csdn.net/AnillegalName/article/details/135764879
  • https://wenku.csdn.net/column/5tt62irjd2

这篇关于【kettle006】kettle访问华为openGauss高斯数据库并处理数据至execl文件(已更新)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/962858

相关文章

一文教你Python如何快速精准抓取网页数据

《一文教你Python如何快速精准抓取网页数据》这篇文章主要为大家详细介绍了如何利用Python实现快速精准抓取网页数据,文中的示例代码简洁易懂,具有一定的借鉴价值,有需要的小伙伴可以了解下... 目录1. 准备工作2. 基础爬虫实现3. 高级功能扩展3.1 抓取文章详情3.2 保存数据到文件4. 完整示例

使用Java将各种数据写入Excel表格的操作示例

《使用Java将各种数据写入Excel表格的操作示例》在数据处理与管理领域,Excel凭借其强大的功能和广泛的应用,成为了数据存储与展示的重要工具,在Java开发过程中,常常需要将不同类型的数据,本文... 目录前言安装免费Java库1. 写入文本、或数值到 Excel单元格2. 写入数组到 Excel表格

Java 中的 @SneakyThrows 注解使用方法(简化异常处理的利与弊)

《Java中的@SneakyThrows注解使用方法(简化异常处理的利与弊)》为了简化异常处理,Lombok提供了一个强大的注解@SneakyThrows,本文将详细介绍@SneakyThro... 目录1. @SneakyThrows 简介 1.1 什么是 Lombok?2. @SneakyThrows

在 Spring Boot 中实现异常处理最佳实践

《在SpringBoot中实现异常处理最佳实践》本文介绍如何在SpringBoot中实现异常处理,涵盖核心概念、实现方法、与先前查询的集成、性能分析、常见问题和最佳实践,感兴趣的朋友一起看看吧... 目录一、Spring Boot 异常处理的背景与核心概念1.1 为什么需要异常处理?1.2 Spring B

python处理带有时区的日期和时间数据

《python处理带有时区的日期和时间数据》这篇文章主要为大家详细介绍了如何在Python中使用pytz库处理时区信息,包括获取当前UTC时间,转换为特定时区等,有需要的小伙伴可以参考一下... 目录时区基本信息python datetime使用timezonepandas处理时区数据知识延展时区基本信息

Qt实现网络数据解析的方法总结

《Qt实现网络数据解析的方法总结》在Qt中解析网络数据通常涉及接收原始字节流,并将其转换为有意义的应用层数据,这篇文章为大家介绍了详细步骤和示例,感兴趣的小伙伴可以了解下... 目录1. 网络数据接收2. 缓冲区管理(处理粘包/拆包)3. 常见数据格式解析3.1 jsON解析3.2 XML解析3.3 自定义

SpringMVC 通过ajax 前后端数据交互的实现方法

《SpringMVC通过ajax前后端数据交互的实现方法》:本文主要介绍SpringMVC通过ajax前后端数据交互的实现方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价... 在前端的开发过程中,经常在html页面通过AJAX进行前后端数据的交互,SpringMVC的controll

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据(NaN值)是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值?为什么要统计空值?准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

Python Transformers库(NLP处理库)案例代码讲解

《PythonTransformers库(NLP处理库)案例代码讲解》本文介绍transformers库的全面讲解,包含基础知识、高级用法、案例代码及学习路径,内容经过组织,适合不同阶段的学习者,对... 目录一、基础知识1. Transformers 库简介2. 安装与环境配置3. 快速上手示例二、核心模