pig安装及其过程中一个啼笑皆非的问题

2024-02-04 16:40

本文主要是介绍pig安装及其过程中一个啼笑皆非的问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

pig的安装和配置大概是我见过的最简单的了
先说一下大环境
Ubuntu1604
hadoop2.7.2
pig-0.17.0
安装和配置

1.下载pig源码

http://mirror.bit.edu.cn/apache/pig/
pig-0.17.0.tar.gz

2.将pig源码导入Ubuntu,解压

tar-zxvf pig-0.17.0.tar.gz

3.hadoop用户配置环境变量

vim ~/.profile//注意一定是hadoop用户,root用户和hadoop用户打开的配置文件的内容不同,打开之后添加以下内容export PIG_HOME=/home/hadoop/hadoop_home/pig-0.17.0//我的是这个路径,具体路径按实际情况配置
export PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop//连接hadoop分布式平台
export PATH=$PATH:$PIG_HOME/binsource~/.profile

4.pig的两种模式

输入pig -x local,开启pig本地模式

在这里插入图片描述
输入pig -x mapreduce,开启mapreduce模式
在这里插入图片描述

题外话:

小可昨日安装pig时遇到一个让我啼笑皆非的问题
在配置环境变量的时候,配成了这样
export PIG_HOME=/home/Hadoop/hadoop_home/pig-0.17.0
是的,有一个字母大写了!!!
然后就出现了这个问题:在这里插入图片描述
提示安装一个bsdgames,等我安装之后,启动pig还是失败,等我发现配置文件出问题并修改后依旧无法正常启动pig,最后是卸载了bsdgames才恢复的!
至于这个bsdgames,好像是个游戏的包,知道的大佬能够解释一下也是极好的!!!

这篇关于pig安装及其过程中一个啼笑皆非的问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/678176

相关文章

解决hive启动时java.net.ConnectException:拒绝连接的问题

《解决hive启动时java.net.ConnectException:拒绝连接的问题》Hadoop集群连接被拒,需检查集群是否启动、关闭防火墙/SELinux、确认安全模式退出,若问题仍存,查看日志... 目录错误发生原因解决方式1.关闭防火墙2.关闭selinux3.启动集群4.检查集群是否正常启动5.

idea Maven Springboot多模块项目打包时90%的问题及解决方案

《ideaMavenSpringboot多模块项目打包时90%的问题及解决方案》:本文主要介绍ideaMavenSpringboot多模块项目打包时90%的问题及解决方案,具有很好的参考价值,... 目录1. 前言2. 问题3. 解决办法4. jar 包冲突总结1. 前言之所以写这篇文章是因为在使用Mav

Django HTTPResponse响应体中返回openpyxl生成的文件过程

《DjangoHTTPResponse响应体中返回openpyxl生成的文件过程》Django返回文件流时需通过Content-Disposition头指定编码后的文件名,使用openpyxl的sa... 目录Django返回文件流时使用指定文件名Django HTTPResponse响应体中返回openp

Linux线程同步/互斥过程详解

《Linux线程同步/互斥过程详解》文章讲解多线程并发访问导致竞态条件,需通过互斥锁、原子操作和条件变量实现线程安全与同步,分析死锁条件及避免方法,并介绍RAII封装技术提升资源管理效率... 目录01. 资源共享问题1.1 多线程并发访问1.2 临界区与临界资源1.3 锁的引入02. 多线程案例2.1 为

批量导入txt数据到的redis过程

《批量导入txt数据到的redis过程》用户通过将Redis命令逐行写入txt文件,利用管道模式运行客户端,成功执行批量删除以Product*匹配的Key操作,提高了数据清理效率... 目录批量导入txt数据到Redisjs把redis命令按一条 一行写到txt中管道命令运行redis客户端成功了批量删除k

分布式锁在Spring Boot应用中的实现过程

《分布式锁在SpringBoot应用中的实现过程》文章介绍在SpringBoot中通过自定义Lock注解、LockAspect切面和RedisLockUtils工具类实现分布式锁,确保多实例并发操作... 目录Lock注解LockASPect切面RedisLockUtils工具类总结在现代微服务架构中,分布

Win10安装Maven与环境变量配置过程

《Win10安装Maven与环境变量配置过程》本文介绍Maven的安装与配置方法,涵盖下载、环境变量设置、本地仓库及镜像配置,指导如何在IDEA中正确配置Maven,适用于Java及其他语言项目的构建... 目录Maven 是什么?一、下载二、安装三、配置环境四、验证测试五、配置本地仓库六、配置国内镜像地址

Python安装Pandas库的两种方法

《Python安装Pandas库的两种方法》本文介绍了三种安装PythonPandas库的方法,通过cmd命令行安装并解决版本冲突,手动下载whl文件安装,更换国内镜像源加速下载,最后建议用pipli... 目录方法一:cmd命令行执行pip install pandas方法二:找到pandas下载库,然后

Python实现网格交易策略的过程

《Python实现网格交易策略的过程》本文讲解Python网格交易策略,利用ccxt获取加密货币数据及backtrader回测,通过设定网格节点,低买高卖获利,适合震荡行情,下面跟我一起看看我们的第一... 网格交易是一种经典的量化交易策略,其核心思想是在价格上下预设多个“网格”,当价格触发特定网格时执行买

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3