Spark 3.5.1 升级 Java 17 异常 cannot access class sun.nio.ch.DirectBuffer

2024-06-02 13:36

本文主要是介绍Spark 3.5.1 升级 Java 17 异常 cannot access class sun.nio.ch.DirectBuffer,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

异常说明

使用Spark 3.5.1 升级到Java17的时候会有一个异常,异常如下

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
Exception in thread "main" java.lang.IllegalAccessError: class org.apache.spark.storage.StorageUtils$ (in unnamed module @0x1c88c82d) cannot access class sun.nio.ch.DirectBuffer (in module java.base) because module java.base does not export sun.nio.ch to unnamed module @0x1c88c82dat org.apache.spark.storage.StorageUtils$.<clinit>(StorageUtils.scala:213)at org.apache.spark.storage.BlockManagerMasterEndpoint.<init>(BlockManagerMasterEndpoint.scala:121)at org.apache.spark.SparkEnv$.$anonfun$create$9(SparkEnv.scala:358)at org.apache.spark.SparkEnv$.registerOrLookupEndpoint$1(SparkEnv.scala:295)at org.apache.spark.SparkEnv$.create(SparkEnv.scala:344)at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:196)at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:284)at org.apache.spark.SparkContext.<init>(SparkContext.scala:483)at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2888)at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$2(SparkSession.scala:1099)at scala.Option.getOrElse(Option.scala:201)at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:1093)at org.apache.spark.examples.JavaStatusTrackerDemo.main(JavaStatusTrackerDemo.java:55)

原因分析

分析下来是因为新版本的jdk是引入了模块的概念,在常规的包引入的时候是都有模块定义的
最关键的信息

cannot access class sun.nio.ch.DirectBuffer (in module java.base)

按照这个信息分析了一把,在Java9以上的版本里面会有module-info.class这部分信息,这个是对模块的定义,当然我们没有主动去引入,这部分就是jdk默认帮我们引入的模块信息。

在这部分我们可以找到sun.nio.ch的引入范围,其实可以发现 sun.nio.ch.DirectBuffer的类并不在引入的范围内

module java.base {exports java.io;exports java.lang;exports java.lang.annotation;exports java.lang.constant;...exports sun.nio.ch tojava.management,jdk.crypto.cryptoki,jdk.incubator.foreign,jdk.net,jdk.sctp;}

这个其实就是一种兼容性的需求了,为了解决这种问题,jdk提供了一些启动的参数,可以强制引入,类似下面这样,其实含义就是主动开发一些内部的模块对外部使用

--add-opens=java.base/java.lang=ALL-UNNAMED
--add-opens=java.base/java.lang.invoke=ALL-UNNAMED
--add-opens=java.base/java.lang.reflect=ALL-UNNAMED
--add-opens=java.base/java.io=ALL-UNNAMED
--add-opens=java.base/java.net=ALL-UNNAMED

参数是怎么来的

另外一个问题是,怎么知道Spark启动的时候都开放哪些参数呢,陆陆续续查询到资料,这个参数信息其实是在
org.apache.spark.launcher.JavaModuleOptions 中定义的
Spark启动的时候会追加

private static final String[] DEFAULT_MODULE_OPTIONS = {"-XX:+IgnoreUnrecognizedVMOptions","--add-opens=java.base/java.lang=ALL-UNNAMED","--add-opens=java.base/java.lang.invoke=ALL-UNNAMED","--add-opens=java.base/java.lang.reflect=ALL-UNNAMED","--add-opens=java.base/java.io=ALL-UNNAMED","--add-opens=java.base/java.net=ALL-UNNAMED","--add-opens=java.base/java.nio=ALL-UNNAMED","--add-opens=java.base/java.util=ALL-UNNAMED","--add-opens=java.base/java.util.concurrent=ALL-UNNAMED","--add-opens=java.base/java.util.concurrent.atomic=ALL-UNNAMED","--add-opens=java.base/sun.nio.ch=ALL-UNNAMED","--add-opens=java.base/sun.nio.cs=ALL-UNNAMED","--add-opens=java.base/sun.security.action=ALL-UNNAMED","--add-opens=java.base/sun.util.calendar=ALL-UNNAMED","--add-opens=java.security.jgss/sun.security.krb5=ALL-UNNAMED"};

解决方案

在java启动的时候追加参数,问题可以解决
在这里插入图片描述

进一步追问

这个问题其实是在jira中间有记录的
可以看链接 https://issues.apache.org/jira/browse/SPARK-33772

我依旧纠结的情况是这个其实是在3.3.0版本就解决了,我这个可是3.5.1不应该出这个问题啊。
在这里插入图片描述

我找到了引用这段代码的地方,是在类
org.apache.spark.launcher.SparkSubmitCommandBuilder.java里面

  private List<String> buildSparkSubmitCommand(Map<String, String> env)//这里构造启动参数...if (isClientMode) {//这里构造客户端参数...}//追加参数addOptionString(cmd, JavaModuleOptions.defaultModuleOptions());cmd.add("org.apache.spark.deploy.SparkSubmit");cmd.addAll(buildSparkSubmitArgs());return cmd;}

其实上游就是构造参数的地方。

悟了

看到这里,我终于联系起来了。咋回事呢

在这里插入图片描述
我自己写的程序其实就是在main函数上面执行,所以需要添加参数什么的需要自己去指定。
这种其实就是单机模式。我们日常在启动spark程序从控制台上启动,spark-submit这种,其实是SparkSubmit这个程序去帮我们拼接里面的参数,其实我们可以改变这种local模式,我们可以启动一种叫做本地的集群模式,需要改变master参数,完整代码如下:

public final class JavaSparkPi {public static void main(String[] args) throws Exception {System.out.println(JavaModuleOptions.defaultModuleOptions());SparkSession spark = SparkSession.builder().appName("JavaSparkPi").master("local-cluster[8,2,1024]").getOrCreate();System.out.println(spark.sparkContext().uiWebUrl());spark.sparkContext().addJar("/Users/zhuxuemin/spark-examples-3.5.1/target/spark-examples-3.5.1-0.1-SNAPSHOT.jar"); //集群模式需要添加jar路径JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());jsc.setLogLevel("INFO");...//这里是代码逻辑}
}

启动之后从控制台里面java命令可以看到参数:

前面这部分参数是我们自己加的
/Library/Java/JavaVirtualMachines/jdk-17.jdk/Contents/Home/bin/java --add-exports java.base/sun.nio.ch=ALL-UNNAMED -Dfile.encoding=UTF-8 -classpath 这里中间很多jar包,下面找到参数,这部分就是spark代码自己加的"--add-opens=java.base/sun.nio.cs=ALL-UNNAMED" "--add-opens=java.base/sun.security.action=ALL-UNNAMED" "--add-opens=java.base/sun.util.calendar=ALL-UNNAMED" "--add-opens=java.security.jgss/sun.security.krb5=ALL-UNNAMED" "-Djdk.reflect.useDirectMethodHandle=false" "org.apache.spark.executor.CoarseGrainedExecutorBackend" "--driver-url" "spark://CoarseGrainedScheduler@www.kube.com:50404" "--executor-id" "57" "--hostname" "192.168.31.89" "--cores" "2" "--app-id" "app-20240602104758-0000" "--worker-url" "spark://Worker@192.168.31.89:50411" "--resourceProfileId" "0"

这里面的逻辑就是我们启动的main函数,会按照分布式的模式去启动worker,启动之前会生成命令行,就是我们看到的样子。

好了,死磕到这里了,算是可以睡着了,zzzz~~~

参考资料

翻了很多资料,贴上
https://cloud.tencent.com/developer/ask/sof/107234786
https://issues.apache.org/jira/browse/SPARK-33772
https://issues.apache.org/jira/browse/SPARK-36796
https://stackoverflow.com/questions/72724816/running-unit-tests-with-spark-3-3-0-on-java-17-fails-with-illegalaccesserror-cl
https://github.com/apache/spark/blob/v3.3.0/launcher/src/main/java/org/apache/spark/launcher/JavaModuleOptions.java
https://stackoverflow.com/questions/76969857/storageutils-cannot-access-class-sun-nio-ch-directbuffer
https://spark.apache.org/docs/latest/index.html

这篇关于Spark 3.5.1 升级 Java 17 异常 cannot access class sun.nio.ch.DirectBuffer的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1024117

相关文章

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务,主要功能包括:1.缓存结构:本地缓存:使

Java Spring的依赖注入理解及@Autowired用法示例详解

《JavaSpring的依赖注入理解及@Autowired用法示例详解》文章介绍了Spring依赖注入(DI)的概念、三种实现方式(构造器、Setter、字段注入),区分了@Autowired(注入... 目录一、什么是依赖注入(DI)?1. 定义2. 举个例子二、依赖注入的几种方式1. 构造器注入(Con

SpringBoot 异常处理/自定义格式校验的问题实例详解

《SpringBoot异常处理/自定义格式校验的问题实例详解》文章探讨SpringBoot中自定义注解校验问题,区分参数级与类级约束触发的异常类型,建议通过@RestControllerAdvice... 目录1. 问题简要描述2. 异常触发1) 参数级别约束2) 类级别约束3. 异常处理1) 字段级别约束

如何在Java Spring实现异步执行(详细篇)

《如何在JavaSpring实现异步执行(详细篇)》Spring框架通过@Async、Executor等实现异步执行,提升系统性能与响应速度,支持自定义线程池管理并发,本文给大家介绍如何在Sprin... 目录前言1. 使用 @Async 实现异步执行1.1 启用异步执行支持1.2 创建异步方法1.3 调用

java内存泄漏排查过程及解决

《java内存泄漏排查过程及解决》公司某服务内存持续增长,疑似内存泄漏,未触发OOM,排查方法包括检查JVM配置、分析GC执行状态、导出堆内存快照并用IDEAProfiler工具定位大对象及代码... 目录内存泄漏内存问题排查1.查看JVM内存配置2.分析gc是否正常执行3.导出 dump 各种工具分析4.

Spring Boot配置和使用两个数据源的实现步骤

《SpringBoot配置和使用两个数据源的实现步骤》本文详解SpringBoot配置双数据源方法,包含配置文件设置、Bean创建、事务管理器配置及@Qualifier注解使用,强调主数据源标记、代... 目录Spring Boot配置和使用两个数据源技术背景实现步骤1. 配置数据源信息2. 创建数据源Be

Spring Boot 3.x 中 WebClient 示例详解析

《SpringBoot3.x中WebClient示例详解析》SpringBoot3.x中WebClient是响应式HTTP客户端,替代RestTemplate,支持异步非阻塞请求,涵盖GET... 目录Spring Boot 3.x 中 WebClient 全面详解及示例1. WebClient 简介2.

Java中使用 @Builder 注解的简单示例

《Java中使用@Builder注解的简单示例》@Builder简化构建但存在复杂性,需配合其他注解,导致可变性、抽象类型处理难题,链式编程非最佳实践,适合长期对象,避免与@Data混用,改用@G... 目录一、案例二、不足之处大多数同学使用 @Builder 无非就是为了链式编程,然而 @Builder

在IntelliJ IDEA中高效运行与调试Spring Boot项目的实战步骤

《在IntelliJIDEA中高效运行与调试SpringBoot项目的实战步骤》本章详解SpringBoot项目导入IntelliJIDEA的流程,教授运行与调试技巧,包括断点设置与变量查看,奠定... 目录引言:为良驹配上好鞍一、为何选择IntelliJ IDEA?二、实战:导入并运行你的第一个项目步骤1

Spring Boot从main方法到内嵌Tomcat的全过程(自动化流程)

《SpringBoot从main方法到内嵌Tomcat的全过程(自动化流程)》SpringBoot启动始于main方法,创建SpringApplication实例,初始化上下文,准备环境,刷新容器并... 目录1. 入口:main方法2. SpringApplication初始化2.1 构造阶段3. 运行阶