本文主要是介绍使用idea sbt运行spark程序，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
scala-sbt 项目（参考 http://blog.sina.com.cn/s/blog_5742944d0102vfwo.html）
2.待sbt及相关依赖下载完成后，配置spark依赖
spark 2.0.0后，目录下没有lib文件夹，也找不到assembly jar包，实际上该jar已经分拆成了spark安装目录下的jars文件夹下的各jar包。导入依赖如下
打开idea - file - project structure - libraries，点击“+” - java，选择jars文件夹，“确定”
3.配置application 和 scala consle
点击 Edit Configurations，在Defaults中选择application 和 scala consle，按“+”添加
4.如果有需要，配置启动参数
点击Edit Configurations，配置configuration的VM options 和 Program arguments，分别设置
1）单机模式运行
VM options = -Dspark.master=local
Program arguments = 文件在本地机器上的绝对路径
2）standalone 集群模式运行
VM options = -Dspark.master=spark://master:7077 (master应该替换为所需要的集群主机名)
Program arguments = 文件在本地机器上的绝对路径(或者hdfs://... 或者其他路径)
按照如上参数直接在idea启动spark任务，会出现异常
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 4.0 failed 4 times, most recent failure: Lost task 0.3 in stage 4.0 (TID 77, 192.168.1.194): java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$SerializationProxy to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD （见 https://issues.apache.org/jira/browse/SPARK-9219）
因此，改用submit的方式提交
①点击 File - project structure -artifacts - jar - from modules with dependency，选择对应的module和main class。
②设置VM options = -Dspark.master=spark://master:7077
！！！注意：此模式下，sc.textFile(path)实际上是 hdfs://master:7077/path
③点击 build - build artifacts，生成jar包（位于自己在idea中指定的路径下，本文在项目/out/..目录下）
④zip -d /usr/mywork/project/scala/FirstSpark/out/artifacts/firstspark_jar/firstspark.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF
（ /usr/mywork/project/scala/FirstSpark/out/artifacts/firstspark_jar/firstspark.jar是生成的jar路径 ）
（参考 http://blog.csdn.net/dai451954706/article/details/50086295，如果不加入这一步，会出现错误：Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
）
⑤以standalone模式提交（还有其它模式， 参见 http://blog.csdn.net/kinger0/article/details/46562473）
./spark-submit --class WordCount --master spark://pmaster:7077 /usr/mywork/project/scala/FirstSpark/out/artifacts/firstspark_jar/firstspark.jar
（WordCount 代表要执行的任务的入口类；
spark://pmaster:7077 代表所提交的集群的master机器；
/usr/mywork/project/scala/FirstSpark/out/artifacts/firstspark_jar/firstspark.jar 代表所要提交的jar包）
非sbt scala项目（参考 《Spark实战高手之_从零开始》）
1）新建非sbt scala项目，为 Scala sdk选择scala的本机安装目录
2）在Project Structure - Libraries中导入spark的jar包（spark安装目录下的jars文件夹）
3）代码完成后，在Project Structure -Artifacts中，添加 jar - from modules with dependency，选择对应的module和main class。把生成的artifacts的name由 xxx:jar 改成xxxJar，把outputlayout中scala和spark相关的依赖都移除（因为每台机器都安装有scala和spark，所以不需要输出scala和spark相关的依赖包）
4）点击 Build -Build Artifacts，生成jar包（第一次是build，后面可以使用rebuild生成jar）
5）提交任务到集群（standalone模式）
spark-submit --master spark://pmaster:7077 --class testy.MyEntry /usr/mywork/project/scala/NonSBTProject/out/artifacts/NonSBTProjectJar/NonSBTProject.jar hdfs://pmaster:9000/movie/ml-100k/u.user hdfs://pmaster:9000/movie/result
注：①pmaster是集群master机器的hostname；
②testy.MyEntry 是所要运行的程序的scala文件全名，包括包名；
③hdfs://pmaster:9000/movie/ml-100k/u.user是输入文件的路径；hdfs://pmaster:9000/movie/result是输出文件的路径（这个路径在程序执行的时候必须是空的）
参考书中说在 Project Structure - Modules - Sources中，在src目录下新建文件夹并关联为Sources。实际上不需要这么做，也不能这么做，关联之后会导致错误：入口类（对象）名 is already defined...
这篇关于使用idea sbt运行spark程序的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
