【kettle004】kettle访问本地MySQL数据库并处理数据至execl文件

本文主要是介绍【kettle004】kettle访问本地MySQL数据库并处理数据至execl文件,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一直以来想写下基于kettle的系列文章,作为较火的数据ETL工具,也是日常项目开发中常用的一款工具,最近刚好挤时间梳理、总结下这块儿的知识体系。
熟悉、梳理、总结下MySQL关系数据库相关知识体系
3.欢迎批评指正,跪谢一键三连!

  • kettle访问MySQL数据库并处理数据至execl文件文章目录索引如下所示:
    在这里插入图片描述
  • 【实操视频,辅助实操学习,跪谢一键三连!】【kettle004】kettle访问本地MySQL数据库并处理数据至execl文件

1.环境搭建、配置

  • 1.0 实验环境信息
    • Windows 10
    • CentOS 7.1(虚拟机)
    • Docker version 26.0.2
    • Dbeaver
    • Kettle 8.2
    • MySQL 8.3
  • 1.1 MySQL docker镜像安装(如果本地有MySQL环境,可用本地环境进行测试,该环节可略过
    • 如果本地有MySQL,但拉取了镜像,请调整端口信息,端口已被占用
    • 如果遇到拉取镜像很慢的问题,可以参考 https://kngines.blog.csdn.net/article/details/138142888
    • 1.1.1 操作命令
      # 拉取最新版镜像
      docker pull mysql:latest
      # 查看当前环境拉取的所有镜像
      docker images
      # 创建容器并运行
      docker run -p 3306:3306 --name  youli-mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:latest
      # 查看所有已创建容器
      docker ps -a
      
    • 1.1.2 容器运行详情
      在这里插入图片描述
    • 1.1.3 链接MySQL容器测试。其中,192.168.10.183 问虚拟机内MySQL在运行容器IP在这里插入图片描述

2.本地MySQL数据库链接测试

  • 2.1 建表测试语句
    create table youli_testtable(id int not null auto_increment,class int not null,teachername varchar(50),teachertel varchar(50),primary key (id)
    );insert into youli_testtable values
    (1,1,'老韩','15225114562'),
    (2,2,'老朗','123456'),
    (3,3,'老王','456254'),
    (4,4,'张老师','9999999'),
    (5,5,'老韩','15225114562'),
    (6,6,'老朗','123456'),
    (7,7,'老王','456254'),
    (8,8,'张老师','9999999'),
    (9,9,'Youli','Youli'),
    (10,10,'xsimah','xsimah')
    ;select * from youli_testtable;select @@version;
    
  • 2.2 数据查询效果
    在这里插入图片描述

3.kettle流程任务配置、效果验证

  • 3.1 MySQL链接失败,驱动问题,将相应版本MySQL驱动包放到 kettlle lib 目录下,重启 kettle
    在这里插入图片描述
  • 3.2 MySQL 驱动包文件
    在这里插入图片描述
  • 3.3 kettle链接本地MySQL测试结果
    在这里插入图片描述
  • 3.3 kettle查询本地MySQL数据表结果
    在这里插入图片描述
  • 3.4 kettle任务查询数据并输出运行效果
    在这里插入图片描述
  • 3.5 kettle任务输出结果详情
    在这里插入图片描述

4.参考文章

  • https://blog.csdn.net/nandao158/article/details/136477769

这篇关于【kettle004】kettle访问本地MySQL数据库并处理数据至execl文件的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/944805

相关文章

MySQL中EXISTS与IN用法使用与对比分析

《MySQL中EXISTS与IN用法使用与对比分析》在MySQL中,EXISTS和IN都用于子查询中根据另一个查询的结果来过滤主查询的记录,本文将基于工作原理、效率和应用场景进行全面对比... 目录一、基本用法详解1. IN 运算符2. EXISTS 运算符二、EXISTS 与 IN 的选择策略三、性能对比

MySQL常用字符串函数示例和场景介绍

《MySQL常用字符串函数示例和场景介绍》MySQL提供了丰富的字符串函数帮助我们高效地对字符串进行处理、转换和分析,本文我将全面且深入地介绍MySQL常用的字符串函数,并结合具体示例和场景,帮你熟练... 目录一、字符串函数概述1.1 字符串函数的作用1.2 字符串函数分类二、字符串长度与统计函数2.1

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

Oracle数据库定时备份脚本方式(Linux)

《Oracle数据库定时备份脚本方式(Linux)》文章介绍Oracle数据库自动备份方案,包含主机备份传输与备机解压导入流程,强调需提前全量删除原库数据避免报错,并需配置无密传输、定时任务及验证脚本... 目录说明主机脚本备机上自动导库脚本整个自动备份oracle数据库的过程(建议全程用root用户)总结

SQL Server跟踪自动统计信息更新实战指南

《SQLServer跟踪自动统计信息更新实战指南》本文详解SQLServer自动统计信息更新的跟踪方法,推荐使用扩展事件实时捕获更新操作及详细信息,同时结合系统视图快速检查统计信息状态,重点强调修... 目录SQL Server 如何跟踪自动统计信息更新:深入解析与实战指南 核心跟踪方法1️⃣ 利用系统目录

MySQL 内存使用率常用分析语句

《MySQL内存使用率常用分析语句》用户整理了MySQL内存占用过高的分析方法,涵盖操作系统层确认及数据库层bufferpool、内存模块差值、线程状态、performance_schema性能数据... 目录一、 OS层二、 DB层1. 全局情况2. 内存占js用详情最近连续遇到mysql内存占用过高导致

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

Python进行JSON和Excel文件转换处理指南

《Python进行JSON和Excel文件转换处理指南》在数据交换与系统集成中,JSON与Excel是两种极为常见的数据格式,本文将介绍如何使用Python实现将JSON转换为格式化的Excel文件,... 目录将 jsON 导入为格式化 Excel将 Excel 导出为结构化 JSON处理嵌套 JSON:

Mysql中设计数据表的过程解析

《Mysql中设计数据表的过程解析》数据库约束通过NOTNULL、UNIQUE、DEFAULT、主键和外键等规则保障数据完整性,自动校验数据,减少人工错误,提升数据一致性和业务逻辑严谨性,本文介绍My... 目录1.引言2.NOT NULL——制定某列不可以存储NULL值2.UNIQUE——保证某一列的每一

解密SQL查询语句执行的过程

《解密SQL查询语句执行的过程》文章讲解了SQL语句的执行流程,涵盖解析、优化、执行三个核心阶段,并介绍执行计划查看方法EXPLAIN,同时提出性能优化技巧如合理使用索引、避免SELECT*、JOIN... 目录1. SQL语句的基本结构2. SQL语句的执行过程3. SQL语句的执行计划4. 常见的性能优