如何上传数据到集群的HDFS上

2024-09-04 07:18
文章标签 数据 集群 hdfs 上传

本文主要是介绍如何上传数据到集群的HDFS上,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

直接甩例子,如下。

背景

我windows机子上有一个rai_4m1.txt文件。
我要将它传到一个hadoop集群上去,放到hdfs上。
集群中有一台机器,地址为192.168.0.41。

借用工具

1、Xftp
传文件从一台机器上到另一台机器上。配好会话后可直接给目标机器新建目录,将源机器上的文件拖到目标机器上。
2、Xshell
敲命令,远程访问机器。

如何将这个rai_4m1.txt数据放到集群的HDFS上?

要先把我windows机子上的rai_4m1.txt数据传到集群中随意一台机子上去,之后,再用hdfs命令将该数据上传到hdfs上。

具体:

1、将文件传到集群里的任意一台机器上(也就是通常说的本地)

假如就放到192.168.0.41这个机器上。

工具:Xftp 6
下载下来后,配好后,把rai_4m1.txt文件拖上去(自己选好目录)。
具体配置时,需要目标机器地址、用户名、密码、协议(SFTP)+端口(22)

2、用hdfs命令将该文件上传到HDFS上

工具: Xshell
它可以让我们远程访问集群。
把Xshell配好会话,在这里写命令。

(1)在hdfs上创建一个文件夹(你将把数据放在这里)
我建了个input文件夹。

在这里插入图片描述
(2)将本地文件传上去
在这里插入图片描述
查看:
在这里插入图片描述
也可以在浏览器打开http://192.168.0.41:50070,在 Utilities下的Browse Directory中查看:
在这里插入图片描述
The end啦~

这篇关于如何上传数据到集群的HDFS上的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1135363

相关文章

使用Java将各种数据写入Excel表格的操作示例

《使用Java将各种数据写入Excel表格的操作示例》在数据处理与管理领域,Excel凭借其强大的功能和广泛的应用,成为了数据存储与展示的重要工具,在Java开发过程中,常常需要将不同类型的数据,本文... 目录前言安装免费Java库1. 写入文本、或数值到 Excel单元格2. 写入数组到 Excel表格

python处理带有时区的日期和时间数据

《python处理带有时区的日期和时间数据》这篇文章主要为大家详细介绍了如何在Python中使用pytz库处理时区信息,包括获取当前UTC时间,转换为特定时区等,有需要的小伙伴可以参考一下... 目录时区基本信息python datetime使用timezonepandas处理时区数据知识延展时区基本信息

Qt实现网络数据解析的方法总结

《Qt实现网络数据解析的方法总结》在Qt中解析网络数据通常涉及接收原始字节流,并将其转换为有意义的应用层数据,这篇文章为大家介绍了详细步骤和示例,感兴趣的小伙伴可以了解下... 目录1. 网络数据接收2. 缓冲区管理(处理粘包/拆包)3. 常见数据格式解析3.1 jsON解析3.2 XML解析3.3 自定义

SpringMVC 通过ajax 前后端数据交互的实现方法

《SpringMVC通过ajax前后端数据交互的实现方法》:本文主要介绍SpringMVC通过ajax前后端数据交互的实现方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价... 在前端的开发过程中,经常在html页面通过AJAX进行前后端数据的交互,SpringMVC的controll

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据(NaN值)是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值?为什么要统计空值?准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

Spring 请求之传递 JSON 数据的操作方法

《Spring请求之传递JSON数据的操作方法》JSON就是一种数据格式,有自己的格式和语法,使用文本表示一个对象或数组的信息,因此JSON本质是字符串,主要负责在不同的语言中数据传递和交换,这... 目录jsON 概念JSON 语法JSON 的语法JSON 的两种结构JSON 字符串和 Java 对象互转

C++如何通过Qt反射机制实现数据类序列化

《C++如何通过Qt反射机制实现数据类序列化》在C++工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作,所以本文就来聊聊C++如何通过Qt反射机制实现数据类序列化吧... 目录设计预期设计思路代码实现使用方法在 C++ 工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作。由于数据类

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

springboot上传zip包并解压至服务器nginx目录方式

《springboot上传zip包并解压至服务器nginx目录方式》:本文主要介绍springboot上传zip包并解压至服务器nginx目录方式,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录springboot上传zip包并解压至服务器nginx目录1.首先需要引入zip相关jar包2.然