用sqoop实现mysql和hive数据互导

2024-06-07 08:38

本文主要是介绍用sqoop实现mysql和hive数据互导,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在此测试的是伪分布式

hadoop1.2.1

sqoop-1.4.4.bin__hadoop-1.0.0

hive-0.12.0

1、数据准备

1.1建立测试用户sqoop

grant all privileges on *.* to 'sqoop'@'%' identified by 'sqoop' with grant option;
注意:这一步不是必须,也可以在mysql的root用户下进行

1.2在sqoop用户下,创建sqoop数据库,在sqoop库中建表employee

create database sqoop;use sqoop;create table employee(employee_id int not null primary key,
employee_name varchar(30));
insert into employee values(101,'zhangsan');
insert into employee values(102,'lisi');
insert into employee values(103,'wangwu');

此时,在sqoop库中的employee表中已经存在三条记录,可以select查询验证。

2、将Mysql中的sqoop用户下的sqoop库中的employee表中的数据导入hive中

2.1mysql中的employee表导入hive

sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username sqoop --password sqoop --table employee --hive-import -m 1

在HDFS的/user/hive/warehouse目录下查看导入的结果

cwjy1202@cwjy1202-Lenovo-IdeaPad-Y471A:~$ hadoop dfs -ls /user/hive/warehouse/employee/
Warning: $HADOOP_HOME is deprecated.Found 2 items
-rw-r--r--   1 cwjy1202 supergroup          0 2014-06-04 14:38 /user/hive/warehouse/employee/_SUCCESS
-rw-r--r--   1 cwjy1202 supergroup         33 2014-06-04 14:38 /user/hive/warehouse/employee/part-m-00000

cwjy1202@cwjy1202-Lenovo-IdeaPad-Y471A:~$ hadoop dfs -cat /user/hive/warehouse/employee/part-m-00000
Warning: $HADOOP_HOME is deprecated.101zhangsan
102lisi
103wangwu

2.2去掉导入语句的参数 -m 1

sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username sqoop --password sqoop --table employee --hive-import 
显示的结果如下:

Found 4 items
-rw-r--r--   1 cwjy1202 supergroup          0 2014-06-04 14:10 /user/hive/warehouse/employee/_SUCCESS
-rw-r--r--   1 cwjy1202 supergroup         13 2014-06-04 14:10 /user/hive/warehouse/employee/part-m-00000
-rw-r--r--   1 cwjy1202 supergroup          9 2014-06-04 14:10 /user/hive/warehouse/employee/part-m-00001
-rw-r--r--   1 cwjy1202 supergroup         11 2014-06-04 14:10 /user/hive/warehouse/employee/part-m-00002
三条记录分别存在part-m-00000、part-m-00001和part-m-00002中

3、hive的数据导入mysql

3.1把mysql中的employee表清空

在linux终端输入:

mysql -usqoop -p回车
密码truncate table sqoop.employee;
mysql> select * from sqoop.employee;
Empty set (0.00 sec)
删除成功!!!

3.2从hive到mysql

在linux终端输入:

sqoop export --connect jdbc:mysql://localhost:3306/sqoop -username sqoop -password sqoop --table employee 
--export-dir /user/hive/warehouse/employee --input-fields-terminated-by '\001'

说明:jdbc:mysql://localhost:3306/sqoop  3306是mysql的端口;localhost是mysql的安装ip地址,运行时根据自己的情况而定;sqoop是mysql中的数据库。

hive中字段的默认分割符为'\001'

运行过程的最后显示Export 3 records如下:

14/06/04 14:49:45 INFO mapreduce.ExportJobBase: Transferred 760 bytes in 11.8562 seconds (64.1017 bytes/sec)
14/06/04 14:49:45 INFO mapreduce.ExportJobBase: Exported 3 records.

查询mysql中的employee验证数据是否存在:

mysql> select * from sqoop.employee;
+-------------+---------------+
| employee_id | employee_name |
+-------------+---------------+
|         101 | zhangsan      |
|         102 | lisi          |
|         103 | wangwu        |
+-------------+---------------+
3 rows in set (0.00 sec)

导入mysql成功!!!

额外说明:

因为mysql中的employee表的结构已经确定,employee_id为primary key,所以多次从hive导入相同的数据,只会第一成功。

操作如下,再一次在linux终端输入:

sqoop export --connect jdbc:mysql://localhost:3306/sqoop -username sqoop -password sqoop --table employee 
--export-dir /user/hive/warehouse/employee --input-fields-terminated-by '\001'

运行过程显示:

14/06/04 15:14:34 INFO mapred.JobClient: Task Id : attempt_201406041140_0012_m_000001_1, Status : <span style="color:#FF0000;"><strong>FAILED
Task</strong></span> attempt_201406041140_0012_m_000001_1 failed to report status for 600 seconds. Killing!
14/06/04 15:14:36 INFO mapred.JobClient:  map 25% reduce 0%
14/06/04 15:14:37 INFO mapred.JobClient: Task Id : attempt_201406041140_0012_m_000002_1, Status : <strong style="background-color: rgb(255, 0, 0);">FAILED<span style="color:#FF0000;background-color: rgb(255, 255, 255);">
Task at</span></strong>tempt_201406041140_0012_m_000002_1 failed to report status for 600 seconds. Killing!












这篇关于用sqoop实现mysql和hive数据互导的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1038687

相关文章

HTML5 getUserMedia API网页录音实现指南示例小结

《HTML5getUserMediaAPI网页录音实现指南示例小结》本教程将指导你如何利用这一API,结合WebAudioAPI,实现网页录音功能,从获取音频流到处理和保存录音,整个过程将逐步... 目录1. html5 getUserMedia API简介1.1 API概念与历史1.2 功能与优势1.3

Java实现删除文件中的指定内容

《Java实现删除文件中的指定内容》在日常开发中,经常需要对文本文件进行批量处理,其中,删除文件中指定内容是最常见的需求之一,下面我们就来看看如何使用java实现删除文件中的指定内容吧... 目录1. 项目背景详细介绍2. 项目需求详细介绍2.1 功能需求2.2 非功能需求3. 相关技术详细介绍3.1 Ja

MySQL MCP 服务器安装配置最佳实践

《MySQLMCP服务器安装配置最佳实践》本文介绍MySQLMCP服务器的安装配置方法,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录mysql MCP 服务器安装配置指南简介功能特点安装方法数据库配置使用MCP Inspector进行调试开发指

mysql中insert into的基本用法和一些示例

《mysql中insertinto的基本用法和一些示例》INSERTINTO用于向MySQL表插入新行,支持单行/多行及部分列插入,下面给大家介绍mysql中insertinto的基本用法和一些示例... 目录基本语法插入单行数据插入多行数据插入部分列的数据插入默认值注意事项在mysql中,INSERT I

使用Python和OpenCV库实现实时颜色识别系统

《使用Python和OpenCV库实现实时颜色识别系统》:本文主要介绍使用Python和OpenCV库实现的实时颜色识别系统,这个系统能够通过摄像头捕捉视频流,并在视频中指定区域内识别主要颜色(红... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间详解

PostgreSQL中MVCC 机制的实现

《PostgreSQL中MVCC机制的实现》本文主要介绍了PostgreSQL中MVCC机制的实现,通过多版本数据存储、快照隔离和事务ID管理实现高并发读写,具有一定的参考价值,感兴趣的可以了解一下... 目录一 MVCC 基本原理python1.1 MVCC 核心概念1.2 与传统锁机制对比二 Postg

一文详解MySQL如何设置自动备份任务

《一文详解MySQL如何设置自动备份任务》设置自动备份任务可以确保你的数据库定期备份,防止数据丢失,下面我们就来详细介绍一下如何使用Bash脚本和Cron任务在Linux系统上设置MySQL数据库的自... 目录1. 编写备份脚本1.1 创建并编辑备份脚本1.2 给予脚本执行权限2. 设置 Cron 任务2

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

C++中零拷贝的多种实现方式

《C++中零拷贝的多种实现方式》本文主要介绍了C++中零拷贝的实现示例,旨在在减少数据在内存中的不必要复制,从而提高程序性能、降低内存使用并减少CPU消耗,零拷贝技术通过多种方式实现,下面就来了解一下... 目录一、C++中零拷贝技术的核心概念二、std::string_view 简介三、std::stri