从linux拷贝到HDFS分区表报错，查看是编码问题

本文主要是介绍从linux拷贝到HDFS分区表报错，查看是编码问题，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

从linux拷贝到HDFS分区表报错，查看是编码问题，应该是解析的哥们用dos。

在分区字段出现乱码  ，导致分区乱伦。

^M   应该是windows \n

--怎么解决?  那就用dos2unix 转一下编码。

1.首先安装包。

[root@jiexi_71 Packages]# rpm -ivh dos2unix-3.1-37.el6.x86_64.rpm 
warning: dos2unix-3.1-37.el6.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID fd431d51: NOKEY
Preparing...                ########################################### [100%]1:dos2unix               ########################################### [100%]
[root@jiexi_71 Packages]# 

2. 后台运行

[root@jiexi_71 finish]# more do.sh 
#!/bin/sh
cd /data1/load/finish
dos2unix *

例子：

[root@jiexi_71 finish]# dos2unix S_COM_GN__20160507__00108__20160518145218-897888-4.dat
dos2unix: converting file S_COM_GN__20160507__00108__20160518145218-897888-4.dat to UNIX format ...
[root@jiexi_71 finish]# 

 

3.执行hdfs拷贝， 执行应该不会报错。

这篇关于从linux拷贝到HDFS分区表报错，查看是编码问题的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---