aws 云上的 spark standalone 模式下，hadoop集群的core-site.xml有： <property><name>io.compression.codec.lzo.class</name> <value>com.hadoop.compression.lzo.LzoCodec</value></property> spark on yarn会默认使用集群

一、首先得配置好开发环境 1.加入插件包如下所示 2.启动eclipse window->preferences:如下图所示 点击map/reduce，配置好hadoop的目录 按照下图步骤1、2、3 在控制台点击右键创建new hadoop location 配置如上图所示： 1.你可以随意取个名字 2.填写hadoop主节点的位置 3.为默认，不用修改