本文主要是介绍spark-submit以集群方式提交应用报错：Exception in thread main java.sql.SQLException: No suitable driver，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
一、问题背景
因现场项目临近上线，在现场测试环境部署后台程序时候出现各种奇怪的问题，这些都是在公司内部测试环境都没有遇到过的，很有记录下来的必要。
Spark应用程序的主要业务逻辑是将MySQL中表数据全量同步到Spark中，以yarn-client模式提交执行报错：
Exception in thread "main" java.sql.SQLException: No suitable driver
看到这个报错的第一反应就是环境问题，ClassPath路径下没有mysql驱动包。
二、错误方案
由于笔者当时认为原因就是ClassPath路径下没有mysql驱动包，进行了以下操作步骤：
1. 查看系统的classpath路径下是否有驱动包
# 查看用户环境变量
cat ~/.bash_profile
# 找到export classpath的路径
# 逐个cd进去，发现没有mysql驱动包2. 复制mysql-connector-java-5.1.39-bin.jar包到classpath所在的路径下
重新spark-submit提交应用还是报同样的错误。
3. 查看应用启动日志
INFO ZooKeeper: Client environment:java.class.path= ......
里面看到了Spark安装目录下的lib文件夹下的相关jar包，想到把mysql-connector-java-5.1.39-bin.jar包复制到这个目录下，但是还是报同样的错误。
4. 想到Spark运行应用是分布式的
因此，就想到把驱动包放到Spark集群的所有节点上。考虑到工作量的问题，想起可以在命令行中增加--jars的参数。
5. 执行命令增加--jars
--jars ./mysql-connector-java-5.1.39-bin.jar很不幸还是报错。
三、成功方案之spark-submit命令增加参数
通过第二部分的错误尝试和搜索网上同样问题的解决方案，发现只增加--jars参数确实不可行。于是尝试再增加--driver-class-path参数。
--jars ./mysql-connector-java-5.1.39-bin.jar \
--driver-class-path ./mysql-connector-java-5.1.39-bin.jar \执行并没有报错，成功！
四、成功方案之代码修改
经过一番折腾，笔者脑海中突然闪过之前好像也遇到Spark从MySQL中读取数据时报找不到XXX类的情况，于是翻出之前整理的笔记，下面这句话让我突然意识到了可能是代码的问题。
//注意：集群上运行时，一定要添加下句话，否则会报找不到mysql驱动的错误prop.put("driver","com.mysql.jdbc.Driver")查看读取MySQL的工具类代码，发现确实少了“driver”参数，正确的读取MySQL数据的代码如下：
def readMySqlTable(hiveContext:HiveContext, dbTable:String):DataFrame = {val jdbcDF = hiveContext.read.format( "jdbc" ).options(Map( "url" -> this.url,"driver" -> "com.mysql.jdbc.Driver","user" -> this.user,"password" -> this.pwd,"dbtable" -> dbTable )).load()jdbcDF}重新打包测试，执行命令中不加--jars和--driver-class-path参数，运行没有报错，成功！
五、总结
遇到找不到XXXX类、XXXX方法的报错，先排查是不是依赖冲突的问题，大部分情况都是因为依赖冲突，版本不兼容导致找不到类或方法的情况。
本文算是一种特殊情况，用压缩工具打开程序jar包，pom文件中加入的mysql-connect-java驱动确实打入的jar包中，而且工具类中也加入了Class.forName(“com.mysql.jdbc.Driver”)命令，所以发现问题还是比较困难，记录下以后就会避免类似的问题。
这篇关于spark-submit以集群方式提交应用报错：Exception in thread main java.sql.SQLException: No suitable driver的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
