【kettle005】kettle访问Oracle数据库并处理数据至execl文件（已更新）

2024-04-29 21:28
文章标签 oracle 数据 访问 更新 数据库 处理 kettle execl kettle005

本文主要是介绍【kettle005】kettle访问Oracle数据库并处理数据至execl文件（已更新），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.一直以来想写下基于kettle的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。
2.熟悉、梳理、总结下Oracle数据库相关知识体系
3.欢迎批评指正，跪谢一键三连！

  • kettle访问Oracle数据库并处理数据至execl文件文章目录索引如下所示：
    在这里插入图片描述

  • 【实操视频，辅助实操学习，跪谢一键三连！】【kettle005】kettle访问Oracle数据库并处理数据至execl文件

1.环境搭建、配置

  • 1.0 实验环境信息
    • Windows 10
    • CentOS 7.1（虚拟机）
    • Docker version 26.0.2
    • Dbeaver
    • Kettle 8.2
    • Oracle Database 11g Express Edition Release 11.2.0.2.0 - 64bit Production
      在这里插入图片描述
  • 1.1 镜像操作命令
    mkdir -p ./data/oracle && chmod 777 ./data/oracledocker pull wnameless/oracle-xe-11g-r2docker run --name oracle -d -p 1521:1521 -e ORACLE_ALLOW_REMOTE=true wnameless/oracle-xe-11g-r2docker ps -adocker logs 1baadocker exec -it 1baa /bin/bash-- 登录修改密码等
sqlplus /nolog
connect sys/oracle as sysdba;
alter user sys identified by newpassword;
alter user system identified by newpassword;-- 创建用户和授权
create user xxx identified by password;
grant create session to xxx;
grant create table,unlimited tablespace to xxx;
grant select any table to xxx;
grant update any table,drop any table,insert any table to xxx;-- 查看表空间
select tablespace_name, file_name from dba_data_files;grant connect,resource,dba to youli;
  • 1.2 问题解决记录过程

    • 1.2.1 【问题记录1】oracle比较大，无剩余空间导致拉取镜像失败；删除部分镜像及容器；空间还不够的话，扩容Linux虚拟机或进行虚拟机碎片整理。
      在这里插入图片描述

    • 1.2.2 【问题记录2】oracle-11g镜像格式不兼容问题，寻找其他有效oracle镜像

      • 如 docker pull registry.aliyuncs.com/zhuyijun/oracle:19c，版本太大、没空间启动失败
      • docker pull wnameless/oracle-xe-11g-r2，有效命令

      在这里插入图片描述

    • 1.2.3 【问题记录3】docker镜像版本不兼容问题，尝试了很多次仍旧失败。如改镜像源头，设置环境变量等。
      在这里插入图片描述

    • 1.2.4 【问题记录4】镜像拉取成功，大小区别明显
      在这里插入图片描述

    • 1.2.5 【问题记录5】docker: invalid reference format: repository name (library/ORACLE_PDB=ORCLPDB1) must be lowercase.

      • 手敲一遍，或调整下格式，如 \，包含空格

      在这里插入图片描述

  • 1.3 oracle容器最终运行效果
    在这里插入图片描述

2.oracle-xe-11g-r2数据库容器链接测试

  • hostname: localhost
port: 1521
sid: xe
username: system/sys
password: oracle
  • 2.1 链接测试配置详情
    在这里插入图片描述
  • sqlplus 权限授权
    在这里插入图片描述
  • 2.2 建表测试语句
    create table youli_testtable0 (id number primary key,name varchar2(50) not null,description clob,created_at timestamp default current_timestamp
);comment on table test_table is '这是一个测试表';
comment on column test_table.id is '测试表的唯一标识';
comment on column test_table.name is '测试表的名称';
comment on column test_table.description is '测试表的描述信息';
comment on column test_table.created_at is '记录的创建时间';create table "youli"."youli_testtable" (	"id" number(22,0) not null enable, "name" varchar2(100) not null enable, "email" varchar2(100) not null enable, "age" number(*,0) not null enable, "sex" varchar2(100) not null enable, "id_card" varchar2(100) not null enable, "mobile_phone" varchar2(100) not null enable, "visa_card" varchar2(100) not null enable, "officer_card" varchar2(255), "address" varchar2(255), primary key ("id")
)
tablespace users;INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('1', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸1');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('2', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸2');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('3', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸3');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('4', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸4');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('5', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸5');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('6', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸6');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('7', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸7');SELECT * FROM YOULI."youli_testtable"
  • 2.3 DBeaver SQL效果测试
    在这里插入图片描述

3.kettle流程任务配置、效果验证

  • 3.1 将Oracle驱动包放到 kettlle lib 目录下，重启 kettle，进行链接测试
    在这里插入图片描述
  • 3.2 kettle链接oracle-xe-11g-r2数据库容器环境测试结果
    在这里插入图片描述
  • 3.3 遗留问题： 新建表 kettle中加载失败（待进一步排查、解决）
    在这里插入图片描述

4.参考文章

  • https://www.cnblogs.com/muphy/p/16769579.html

这篇关于【kettle005】kettle访问Oracle数据库并处理数据至execl文件（已更新）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/947197。

相关文章

电脑提示xlstat4.dll丢失怎么修复? xlstat4.dll文件丢失处理办法

电脑提示xlstat4.dll丢失怎么修复? xlstat4.dll文件丢失处理办法

《电脑提示xlstat4.dll丢失怎么修复?xlstat4.dll文件丢失处理办法》长时间使用电脑，大家多少都会遇到类似dll文件丢失的情况，不过，解决这一问题其实并不复杂，下面我们就来看看xls... 在Windows操作系统中，xlstat4.dll是一个重要的动态链接库文件，通常用于支持各种应用程序
阅读更多...
SQL Server修改数据库名及物理数据文件名操作步骤

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,：本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式（断开连接）2.2 修改数据库名称2.3 查找逻辑文件名
阅读更多...
SQL Server数据库死锁处理超详细攻略

SQL Server数据库死锁处理超详细攻略

《SQLServer数据库死锁处理超详细攻略》SQLServer作为主流数据库管理系统,在高并发场景下可能面临死锁问题,影响系统性能和稳定性,这篇文章主要给大家介绍了关于SQLServer数据库死... 目录一、引言二、查询 Sqlserver 中造成死锁的 SPID三、用内置函数查询执行信息1. sp_w
阅读更多...
Java对异常的认识与异常的处理小结

Java对异常的认识与异常的处理小结

《Java对异常的认识与异常的处理小结》Java程序在运行时可能出现的错误或非正常情况称为异常,下面给大家介绍Java对异常的认识与异常的处理,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参... 目录一、认识异常与异常类型。二、异常的处理三、总结 一、认识异常与异常类型。（1）简单定义-什么是
阅读更多...
canal实现mysql数据同步的详细过程

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》：本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal
阅读更多...
使用SpringBoot整合Sharding Sphere实现数据脱敏的示例

使用SpringBoot整合Sharding Sphere实现数据脱敏的示例

《使用SpringBoot整合ShardingSphere实现数据脱敏的示例》ApacheShardingSphere数据脱敏模块,通过SQL拦截与改写实现敏感信息加密存储,解决手动处理繁琐及系统改... 目录痛点一：痛点二：脱敏配置Quick Start——Spring 显示配置：1.引入依赖2.创建脱敏
阅读更多...
Oracle修改端口号之后无法启动的解决方案

Oracle修改端口号之后无法启动的解决方案

《Oracle修改端口号之后无法启动的解决方案》Oracle数据库更改端口后出现监听器无法启动的问题确实较为常见,但并非必然发生,这一问题通常源于​​配置错误或环境冲突​​,而非端口修改本身,以下是系... 目录一、问题根源分析​​​二、保姆级解决方案​​​​步骤1：修正监听器配置文件 (listener.
阅读更多...
Golang 日志处理和正则处理的操作方法

Golang 日志处理和正则处理的操作方法

《Golang日志处理和正则处理的操作方法》：本文主要介绍Golang日志处理和正则处理的操作方法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录1、logx日志处理1.1、logx简介1.2、日志初始化与配置1.3、常用方法1.4、配合defer
阅读更多...
springboot加载不到nacos配置中心的配置问题处理

springboot加载不到nacos配置中心的配置问题处理

《springboot加载不到nacos配置中心的配置问题处理》：本文主要介绍springboot加载不到nacos配置中心的配置问题处理,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录springboot加载不到nacos配置中心的配置两种可能Spring Boot 版本Nacos
阅读更多...
详解如何使用Python构建从数据到文档的自动化工作流

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理：从数据搬运工到智能分析师二、PDF处理：文档工厂的智能生产线三、邮件自动化：
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2