【kettle005】kettle访问Oracle数据库并处理数据至execl文件（已更新）

2024-04-29 21:28
文章标签 oracle 数据 访问 更新 数据库 处理 kettle execl kettle005

本文主要是介绍【kettle005】kettle访问Oracle数据库并处理数据至execl文件（已更新），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.一直以来想写下基于kettle的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。
2.熟悉、梳理、总结下Oracle数据库相关知识体系
3.欢迎批评指正，跪谢一键三连！

  • kettle访问Oracle数据库并处理数据至execl文件文章目录索引如下所示：
    在这里插入图片描述

  • 【实操视频，辅助实操学习，跪谢一键三连！】【kettle005】kettle访问Oracle数据库并处理数据至execl文件

1.环境搭建、配置

  • 1.0 实验环境信息
    • Windows 10
    • CentOS 7.1（虚拟机）
    • Docker version 26.0.2
    • Dbeaver
    • Kettle 8.2
    • Oracle Database 11g Express Edition Release 11.2.0.2.0 - 64bit Production
      在这里插入图片描述
  • 1.1 镜像操作命令
    mkdir -p ./data/oracle && chmod 777 ./data/oracledocker pull wnameless/oracle-xe-11g-r2docker run --name oracle -d -p 1521:1521 -e ORACLE_ALLOW_REMOTE=true wnameless/oracle-xe-11g-r2docker ps -adocker logs 1baadocker exec -it 1baa /bin/bash-- 登录修改密码等
sqlplus /nolog
connect sys/oracle as sysdba;
alter user sys identified by newpassword;
alter user system identified by newpassword;-- 创建用户和授权
create user xxx identified by password;
grant create session to xxx;
grant create table,unlimited tablespace to xxx;
grant select any table to xxx;
grant update any table,drop any table,insert any table to xxx;-- 查看表空间
select tablespace_name, file_name from dba_data_files;grant connect,resource,dba to youli;
  • 1.2 问题解决记录过程

    • 1.2.1 【问题记录1】oracle比较大，无剩余空间导致拉取镜像失败；删除部分镜像及容器；空间还不够的话，扩容Linux虚拟机或进行虚拟机碎片整理。
      在这里插入图片描述

    • 1.2.2 【问题记录2】oracle-11g镜像格式不兼容问题，寻找其他有效oracle镜像

      • 如 docker pull registry.aliyuncs.com/zhuyijun/oracle:19c，版本太大、没空间启动失败
      • docker pull wnameless/oracle-xe-11g-r2，有效命令

      在这里插入图片描述

    • 1.2.3 【问题记录3】docker镜像版本不兼容问题，尝试了很多次仍旧失败。如改镜像源头，设置环境变量等。
      在这里插入图片描述

    • 1.2.4 【问题记录4】镜像拉取成功，大小区别明显
      在这里插入图片描述

    • 1.2.5 【问题记录5】docker: invalid reference format: repository name (library/ORACLE_PDB=ORCLPDB1) must be lowercase.

      • 手敲一遍，或调整下格式，如 \，包含空格

      在这里插入图片描述

  • 1.3 oracle容器最终运行效果
    在这里插入图片描述

2.oracle-xe-11g-r2数据库容器链接测试

  • hostname: localhost
port: 1521
sid: xe
username: system/sys
password: oracle
  • 2.1 链接测试配置详情
    在这里插入图片描述
  • sqlplus 权限授权
    在这里插入图片描述
  • 2.2 建表测试语句
    create table youli_testtable0 (id number primary key,name varchar2(50) not null,description clob,created_at timestamp default current_timestamp
);comment on table test_table is '这是一个测试表';
comment on column test_table.id is '测试表的唯一标识';
comment on column test_table.name is '测试表的名称';
comment on column test_table.description is '测试表的描述信息';
comment on column test_table.created_at is '记录的创建时间';create table "youli"."youli_testtable" (	"id" number(22,0) not null enable, "name" varchar2(100) not null enable, "email" varchar2(100) not null enable, "age" number(*,0) not null enable, "sex" varchar2(100) not null enable, "id_card" varchar2(100) not null enable, "mobile_phone" varchar2(100) not null enable, "visa_card" varchar2(100) not null enable, "officer_card" varchar2(255), "address" varchar2(255), primary key ("id")
)
tablespace users;INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('1', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸1');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('2', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸2');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('3', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸3');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('4', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸4');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('5', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸5');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('6', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸6');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('7', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸7');SELECT * FROM YOULI."youli_testtable"
  • 2.3 DBeaver SQL效果测试
    在这里插入图片描述

3.kettle流程任务配置、效果验证

  • 3.1 将Oracle驱动包放到 kettlle lib 目录下，重启 kettle，进行链接测试
    在这里插入图片描述
  • 3.2 kettle链接oracle-xe-11g-r2数据库容器环境测试结果
    在这里插入图片描述
  • 3.3 遗留问题： 新建表 kettle中加载失败（待进一步排查、解决）
    在这里插入图片描述

4.参考文章

  • https://www.cnblogs.com/muphy/p/16769579.html

这篇关于【kettle005】kettle访问Oracle数据库并处理数据至execl文件（已更新）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/947197。

相关文章

MySQL数据库双机热备的配置方法详解

MySQL数据库双机热备的配置方法详解

《MySQL数据库双机热备的配置方法详解》在企业级应用中,数据库的高可用性和数据的安全性是至关重要的,MySQL作为最流行的开源关系型数据库管理系统之一,提供了多种方式来实现高可用性,其中双机热备（M... 目录1. 环境准备1.1 安装mysql1.2 配置MySQL1.2.1 主服务器配置1.2.2 从
阅读更多...
SpringBoot基于注解实现数据库字段回填的完整方案

SpringBoot基于注解实现数据库字段回填的完整方案

《SpringBoot基于注解实现数据库字段回填的完整方案》这篇文章主要为大家详细介绍了SpringBoot如何基于注解实现数据库字段回填的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以了解... 目录数据库表pom.XMLRelationFieldRelationFieldMapping基础的一些代
阅读更多...
Linux下利用select实现串口数据读取过程

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码（使用select实现）代码解释总结在 linux 系统里，我们可以借助 select、
阅读更多...
解决docker目录内存不足扩容处理方案

解决docker目录内存不足扩容处理方案

《解决docker目录内存不足扩容处理方案》文章介绍了Docker存储目录迁移方法：因系统盘空间不足,需将Docker数据迁移到更大磁盘（如/home/docker）,通过修改daemon.json配... 目录1、查看服务器所有磁盘的使用情况2、查看docker镜像和容器存储目录的空间大小3、停止dock
阅读更多...
5 种使用Python自动化处理PDF的实用方法介绍

5 种使用Python自动化处理PDF的实用方法介绍

《5种使用Python自动化处理PDF的实用方法介绍》自动化处理PDF文件已成为减少重复工作、提升工作效率的重要手段,本文将介绍五种实用方法,从内置工具到专业库,帮助你在Python中实现PDF任务... 目录使用内置库（os、subprocess）调用外部工具使用 PyPDF2 进行基本 PDF 操作使用
阅读更多...
分析 Java Stream 的 peek使用实践与副作用处理方案

分析 Java Stream 的 peek使用实践与副作用处理方案

《分析JavaStream的peek使用实践与副作用处理方案》StreamAPI的peek操作是中间操作,用于观察元素但不终止流,其副作用风险包括线程安全、顺序混乱及性能问题,合理使用场景有限... 目录一、peek 操作的本质：有状态的中间操作二、副作用的定义与风险场景1. 并行流下的线程安全问题2. 顺
阅读更多...
Python异常处理之避免try-except滥用的3个核心原则

Python异常处理之避免try-except滥用的3个核心原则

《Python异常处理之避免try-except滥用的3个核心原则》在Python开发中,异常处理是保证程序健壮性的关键机制,本文结合真实案例与Python核心机制,提炼出避免异常滥用的三大原则,有需... 目录一、精准打击：只捕获可预见的异常类型1.1 通用异常捕获的陷阱1.2 精准捕获的实践方案1.3
阅读更多...
C#使用iText获取PDF的trailer数据的代码示例

C#使用iText获取PDF的trailer数据的代码示例

《C#使用iText获取PDF的trailer数据的代码示例》开发程序debug的时候,看到了PDF有个trailer数据,挺有意思,于是考虑用代码把它读出来,那么就用到我们常用的iText框架了,所... 目录引言iText 核心概念C# 代码示例步骤 1: 确保已安装 iText步骤 2: C# 代码程
阅读更多...
Pandas处理缺失数据的方式汇总

Pandas处理缺失数据的方式汇总

《Pandas处理缺失数据的方式汇总》许多教程中的数据与现实世界中的数据有很大不同,现实世界中的数据很少是干净且同质的,本文我们将讨论处理缺失数据的一些常规注意事项,了解Pandas如何表示缺失数据,... 目录缺失数据约定的权衡Pandas 中的缺失数据None 作为哨兵值NaN：缺失的数值数据Panda
阅读更多...
C++中处理文本数据char与string的终极对比指南

C++中处理文本数据char与string的终极对比指南

《C++中处理文本数据char与string的终极对比指南》在C++编程中char和string是两种用于处理字符数据的类型,但它们在使用方式和功能上有显著的不同,：本文主要介绍C++中处理文本数... 目录1. 基本定义与本质2. 内存管理3. 操作与功能4. 性能特点5. 使用场景6. 相互转换核心区别
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2