【kettle005】kettle访问Oracle数据库并处理数据至execl文件(已更新)

2024-04-29 21:28

本文主要是介绍【kettle005】kettle访问Oracle数据库并处理数据至execl文件(已更新),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.一直以来想写下基于kettle的系列文章,作为较火的数据ETL工具,也是日常项目开发中常用的一款工具,最近刚好挤时间梳理、总结下这块儿的知识体系。
2.熟悉、梳理、总结下Oracle数据库相关知识体系
3.欢迎批评指正,跪谢一键三连!

  • kettle访问Oracle数据库并处理数据至execl文件文章目录索引如下所示:
    在这里插入图片描述

  • 【实操视频,辅助实操学习,跪谢一键三连!】【kettle005】kettle访问Oracle数据库并处理数据至execl文件

1.环境搭建、配置

  • 1.0 实验环境信息
    • Windows 10
    • CentOS 7.1(虚拟机)
    • Docker version 26.0.2
    • Dbeaver
    • Kettle 8.2
    • Oracle Database 11g Express Edition Release 11.2.0.2.0 - 64bit Production
      在这里插入图片描述
  • 1.1 镜像操作命令
    mkdir -p ./data/oracle && chmod 777 ./data/oracledocker pull wnameless/oracle-xe-11g-r2docker run --name oracle -d -p 1521:1521 -e ORACLE_ALLOW_REMOTE=true wnameless/oracle-xe-11g-r2docker ps -adocker logs 1baadocker exec -it 1baa /bin/bash-- 登录修改密码等
    sqlplus /nolog
    connect sys/oracle as sysdba;
    alter user sys identified by newpassword;
    alter user system identified by newpassword;-- 创建用户和授权
    create user xxx identified by password;
    grant create session to xxx;
    grant create table,unlimited tablespace to xxx;
    grant select any table to xxx;
    grant update any table,drop any table,insert any table to xxx;-- 查看表空间
    select tablespace_name, file_name from dba_data_files;grant connect,resource,dba to youli;
    
  • 1.2 问题解决记录过程
    • 1.2.1 【问题记录1】oracle比较大,无剩余空间导致拉取镜像失败;删除部分镜像及容器;空间还不够的话,扩容Linux虚拟机或进行虚拟机碎片整理。
      在这里插入图片描述

    • 1.2.2 【问题记录2】oracle-11g镜像格式不兼容问题,寻找其他有效oracle镜像

      • docker pull registry.aliyuncs.com/zhuyijun/oracle:19c,版本太大、没空间启动失败
      • docker pull wnameless/oracle-xe-11g-r2,有效命令

      在这里插入图片描述

    • 1.2.3 【问题记录3】docker镜像版本不兼容问题,尝试了很多次仍旧失败。如改镜像源头,设置环境变量等。
      在这里插入图片描述

    • 1.2.4 【问题记录4】镜像拉取成功,大小区别明显
      在这里插入图片描述

    • 1.2.5 【问题记录5】docker: invalid reference format: repository name (library/ORACLE_PDB=ORCLPDB1) must be lowercase.

      • 手敲一遍,或调整下格式,如 \,包含空格

      在这里插入图片描述

  • 1.3 oracle容器最终运行效果
    在这里插入图片描述

2.oracle-xe-11g-r2数据库容器链接测试

  • hostname: localhost
    port: 1521
    sid: xe
    username: system/sys
    password: oracle
    
  • 2.1 链接测试配置详情
    在这里插入图片描述
  • sqlplus 权限授权
    在这里插入图片描述
  • 2.2 建表测试语句
    create table youli_testtable0 (id number primary key,name varchar2(50) not null,description clob,created_at timestamp default current_timestamp
    );comment on table test_table is '这是一个测试表';
    comment on column test_table.id is '测试表的唯一标识';
    comment on column test_table.name is '测试表的名称';
    comment on column test_table.description is '测试表的描述信息';
    comment on column test_table.created_at is '记录的创建时间';create table "youli"."youli_testtable" (	"id" number(22,0) not null enable, "name" varchar2(100) not null enable, "email" varchar2(100) not null enable, "age" number(*,0) not null enable, "sex" varchar2(100) not null enable, "id_card" varchar2(100) not null enable, "mobile_phone" varchar2(100) not null enable, "visa_card" varchar2(100) not null enable, "officer_card" varchar2(255), "address" varchar2(255), primary key ("id")
    )
    tablespace users;INSERT INTO YOULI."youli_testtable"
    ("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
    VALUES
    ('1', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸1');
    INSERT INTO YOULI."youli_testtable"
    ("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
    VALUES
    ('2', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸2');
    INSERT INTO YOULI."youli_testtable"
    ("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
    VALUES
    ('3', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸3');
    INSERT INTO YOULI."youli_testtable"
    ("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
    VALUES
    ('4', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸4');
    INSERT INTO YOULI."youli_testtable"
    ("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
    VALUES
    ('5', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸5');
    INSERT INTO YOULI."youli_testtable"
    ("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
    VALUES
    ('6', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸6');
    INSERT INTO YOULI."youli_testtable"
    ("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
    VALUES
    ('7', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸7');SELECT * FROM YOULI."youli_testtable"
    
  • 2.3 DBeaver SQL效果测试
    在这里插入图片描述

3.kettle流程任务配置、效果验证

  • 3.1 将Oracle驱动包放到 kettlle lib 目录下,重启 kettle,进行链接测试
    在这里插入图片描述
  • 3.2 kettle链接oracle-xe-11g-r2数据库容器环境测试结果
    在这里插入图片描述
  • 3.3 遗留问题: 新建表 kettle中加载失败(待进一步排查、解决
    在这里插入图片描述

4.参考文章

  • https://www.cnblogs.com/muphy/p/16769579.html

这篇关于【kettle005】kettle访问Oracle数据库并处理数据至execl文件(已更新)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/947197

相关文章

批量导入txt数据到的redis过程

《批量导入txt数据到的redis过程》用户通过将Redis命令逐行写入txt文件,利用管道模式运行客户端,成功执行批量删除以Product*匹配的Key操作,提高了数据清理效率... 目录批量导入txt数据到Redisjs把redis命令按一条 一行写到txt中管道命令运行redis客户端成功了批量删除k

Java使用Thumbnailator库实现图片处理与压缩功能

《Java使用Thumbnailator库实现图片处理与压缩功能》Thumbnailator是高性能Java图像处理库,支持缩放、旋转、水印添加、裁剪及格式转换,提供易用API和性能优化,适合Web应... 目录1. 图片处理库Thumbnailator介绍2. 基本和指定大小图片缩放功能2.1 图片缩放的

Oracle查询表结构建表语句索引等方式

《Oracle查询表结构建表语句索引等方式》使用USER_TAB_COLUMNS查询表结构可避免系统隐藏字段(如LISTUSER的CLOB与VARCHAR2同名字段),这些字段可能为dbms_lob.... 目录oracle查询表结构建表语句索引1.用“USER_TAB_COLUMNS”查询表结构2.用“a

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

Oracle数据库定时备份脚本方式(Linux)

《Oracle数据库定时备份脚本方式(Linux)》文章介绍Oracle数据库自动备份方案,包含主机备份传输与备机解压导入流程,强调需提前全量删除原库数据避免报错,并需配置无密传输、定时任务及验证脚本... 目录说明主机脚本备机上自动导库脚本整个自动备份oracle数据库的过程(建议全程用root用户)总结

SQL Server跟踪自动统计信息更新实战指南

《SQLServer跟踪自动统计信息更新实战指南》本文详解SQLServer自动统计信息更新的跟踪方法,推荐使用扩展事件实时捕获更新操作及详细信息,同时结合系统视图快速检查统计信息状态,重点强调修... 目录SQL Server 如何跟踪自动统计信息更新:深入解析与实战指南 核心跟踪方法1️⃣ 利用系统目录

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

Python进行JSON和Excel文件转换处理指南

《Python进行JSON和Excel文件转换处理指南》在数据交换与系统集成中,JSON与Excel是两种极为常见的数据格式,本文将介绍如何使用Python实现将JSON转换为格式化的Excel文件,... 目录将 jsON 导入为格式化 Excel将 Excel 导出为结构化 JSON处理嵌套 JSON:

Spring Boot 中的默认异常处理机制及执行流程

《SpringBoot中的默认异常处理机制及执行流程》SpringBoot内置BasicErrorController,自动处理异常并生成HTML/JSON响应,支持自定义错误路径、配置及扩展,如... 目录Spring Boot 异常处理机制详解默认错误页面功能自动异常转换机制错误属性配置选项默认错误处理

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +