Android音视频 - EGL源码解析以及C++实现

2024-05-12 01:58

本文主要是介绍Android音视频 - EGL源码解析以及C++实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

PS
我们在前面的文章中就说过关于EGL的出现原因以及其作用

OpenGL 是一个跨平台的API,而不同的操作系统(Windows,Android,IOS)各有自己的屏幕渲染实现。所以OpenGL定义了一个中间接口层EGL(Embedded Graphics Library)标准,具体实现交给各个操作系统本身

EGL

简单来说EGL是一个中间接口层,是一个规范,由于OpenGL的跨平台性,所以说这个规范显得尤其重要,不管各个操作系统如何蹦跶,都不能脱离我所定义的规范。

EGL的一些基础知识

  • EGLDisplay

EGL定义的一个抽象的系统显示类,用于操作设备窗口。

  • EGLConfig

EGL配置,如rgba位数

  • EGLSurface

渲染缓存,一块内存空间,所有要渲染到屏幕上的图像数据,都要先缓存在EGLSurface上。

  • EGLContext

OpenGL上下文,用于存储OpenGL的绘制状态信息、数据。

初始化EGL的过程可以说是对上面几个信息进行配置的过程

OpenGL ES绘图完整流程

我们在使用Java GLSurfaceView的时候其实只是自定义了Render,该Render实现了GLsurfaceView.Renderer接口,然后自定义的Render中的3个方法就会得到回调,Android 系统其实帮我省掉了其中的很多步骤。所以我们这里来看一下完整流程
(1). 获取显示设备(对应于上面的EGLDisplay)

/** Get an EGL instance */mEgl = (EGL10) EGLContext.getEGL();/** Get to the default display. */mEglDisplay = mEgl.eglGetDisplay(EGL10.EGL_DEFAULT_DISPLAY);

(2). 初始化EGL

int[] version = new int[2];
//初始化屏幕
if(!mEgl.eglInitialize(mEglDisplay, version)) {throw new RuntimeException("eglInitialize failed");
}

(3). 选择Config(用EGLConfig配置参数)

//这段代码的作用是选择EGL配置, 即可以自己先设定好一个你希望的EGL配置,比如说RGB三种颜色各占几位,你可以随便配,而EGL可能不能满足你所有的要求,于是它会返回一些与你的要求最接近的配置供你选择。
if (!egl.eglChooseConfig(display, mConfigSpec, configs, numConfigs,num_config)) {throw new IllegalArgumentException("eglChooseConfig#2 failed");
}

(4). 创建EGLContext

//从上一步EGL返回的配置列表中选择一种配置,用来创建EGL Context。
egl.eglCreateContext(display, config, EGL10.EGL_NO_CONTEXT,mEGLContextClientVersion != 0 ? attrib_list : null);

(5). 获取EGLSurface

//创建一个窗口Surface,可以看成屏幕所对应的内存egl.eglCreateWindowSurface(display, config, nativeWindow, null)

PS
这里的nativeWindow是GLSurfaceView的surfaceHolder

(6). 绑定渲染环境到当前线程

/** Before we can issue GL commands, we need to make sure * the context is current and bound to a surface. */if (!mEgl.eglMakeCurrent(mEglDisplay, mEglSurface, mEglSurface, mEglContext)) {/** Could not make the context current, probably because the underlying * SurfaceView surface has been destroyed. */ logEglErrorAsWarning("EGLHelper", "eglMakeCurrent", mEgl.eglGetError());return false;}

循环绘制

loop:{//绘制中....//(7).交换缓冲区mEglHelper.swap();
}public int swap() {if (! mEgl.eglSwapBuffers(mEglDisplay, mEglSurface)) {return mEgl.eglGetError();}return EGL10.EGL_SUCCESS;
}

Java - GLSurfaceView/GLTextureView

上面我们介绍了EGL的一些基础知识,接着我们来看在GLSurfaceView/GLTextureView中EGL的具体实现,我们来从源码上剖析Android系统EGL及GL线程

GLThread

我们来看一下GLThread,GLThread也是从普通的Thread类继承而来,理论上就是一个普通的线程,为什么它拥有OpenGL绘图能力?继续往下看,里面最重要的部分就是guardedRun()方法

static class GLThread extends Thread {...@Overridepublic void run() {try {guardedRun();} catch (InterruptedException e) {// fall thru and exit normally} finally {sGLThreadManager.threadExiting(this);}}
}

让我们来看一下guardedRun()方法里有什么东西,guardedRun()里大致做的事情:

private void guardedRun() throws InterruptedException {while(true){//if ready to draw...mEglHelper.start();//对应于上面完整流程中的(1)(2)(3)(4)...mEglHelper.createSurface()//对应于上面完整流程中的(5)(6)...回调GLSurfaceView.Renderer的onSurfaceCreated();...回调GLSurfaceView.Renderer的onSurfaceChanged();...回调GLSurfaceView.Renderer的onDrawFrame();...mEglHelper.swap();//对应于上面完整流程中的(5)(7)}
}

从上面我们的分析得知GLSurfaceView 中的GLThread就是一个普通的线程,只不过它按照了OpenGL绘图的完整流程正确地操作了下来,因此它有OpenGL的绘图能力。那么,如果我们自己创建一个线程,也按这样的操作方法,那我们也可以在自己创建的线程里绘图吗?答案是肯定的(这不正是EGL的接口意义),下面我会给出EGL在Native C/C++中的实现。

Native - EGL

Android Native环境中并不存在现成的EGL环境,所以我们在进行OpenGL的NDK开发时就必须自己实现EGL环境,那么如何实现呢,我们只需要参照GLSurfaceView中的GLThread的写法就能实现Native中的EGL

PS
一下的内容可能需要你对C/C++以及NDK 有一定熟悉

第1步实现类似于Java GLSurfaceView中的GLThread的功能

gl_render.h

class GLRender {private:const char *TAG = "GLRender";//OpenGL渲染状态enum STATE {NO_SURFACE, //没有有效的surfaceFRESH_SURFACE, //持有一个为初始化的新的surfaceRENDERING, //初始化完毕,可以开始渲染SURFACE_DESTROY, //surface销毁STOP //停止绘制};JNIEnv *m_env = NULL;//线程依附的jvm环境JavaVM *m_jvm_for_thread = NULL;//Surface引用,必须要使用引用,否则无法在线程中操作jobject m_surface_ref = NULL;//本地屏幕ANativeWindow *m_native_window = NULL;//EGL显示表面EglSurface *m_egl_surface = NULL;int m_window_width = 0;int m_window_height = 0;// 绘制代理器ImageRender *pImageRender;//OpenGL渲染状态STATE m_state = NO_SURFACE;// 初始化相关的方法void InitRenderThread();bool InitEGL();void InitDspWindow(JNIEnv *env);// 创建/销毁 Surface void CreateSurface();void DestroySurface();// 渲染方法void Render();void ReleaseSurface();void ReleaseWindow();// 渲染线程回调方法static void sRenderThread(std::shared_ptr<GLRender> that);public:GLRender(JNIEnv *env);~GLRender();//外部传入Surfacevoid SetSurface(jobject surface);void Stop();void SetBitmapRender(ImageRender *bitmapRender);// 释放资源相关方法void ReleaseRender();ImageRender *GetImageRender();
};

gl_render.cpp

//构造函数
GLRender::GLRender(JNIEnv *env) {this->m_env = env;//获取JVM虚拟机,为创建线程作准备env->GetJavaVM(&m_jvm_for_thread);InitRenderThread();
}
//析构函数
GLRender::~GLRender() {delete m_egl_surface;
}//初始化渲染线程
void GLRender::InitRenderThread() {// 使用智能指针,线程结束时,自动删除本类指针std::shared_ptr<GLRender> that(this);std::thread t(sRenderThread, that);t.detach();
}//线程回调函数
void GLRender::sRenderThread(std::shared_ptr<GLRender> that) {JNIEnv *env;//(1) 将线程附加到虚拟机,并获取envif (that->m_jvm_for_thread->AttachCurrentThread(&env, NULL) != JNI_OK) {LOGE(that->TAG, "线程初始化异常");return; }// (2) 初始化 EGL if (!that->InitEGL()) {//解除线程和jvm关联that->m_jvm_for_thread->DetachCurrentThread();return; }//进入循环while (true) {//根据OpenGL渲染状态进入不同的处理switch (that->m_state) {//刷新Surface,从外面设置Surface后m_state置为该状态,说明已经从外部(java层)获得Surface的对象了case FRESH_SURFACE:LOGI(that->TAG, "Loop Render FRESH_SURFACE")// (3) 初始化Windowthat->InitDspWindow(env);// (4) 创建EglSurfacethat->CreateSurface();// m_state置为RENDERING状态进入渲染that->m_state = RENDERING;break; case RENDERING:LOGI(that->TAG, "Loop Render RENDERING")// (5) 渲染that->Render();break; case STOP:LOGI(that->TAG, "Loop Render STOP")//(6) 解除线程和jvm关联that->ReleaseRender();that->m_jvm_for_thread->DetachCurrentThread();return; case SURFACE_DESTROY:LOGI(that->TAG, "Loop Render SURFACE_DESTROY")//(7) 释放资源that->DestroySurface();that->m_state = NO_SURFACE;break; case NO_SURFACE:default:break;}usleep(20000);}
}

我们定义的GLRender各个流程代码里已经标注了步骤,虽然代码量比较多,但是我们的c++ class分析也是跟java类似,
在这里插入图片描述

PS
上图中的(3)(4)等步骤对应于代码中的步骤注释

小结

本篇文章我们介绍了EGL,以及分析了Java 中GLSurfaceView中的EGL实现,然后我们试着参照Java端的代码实现Native中的EGL环境,关于代码以及流程图中的细节,我们下篇再来分析。

这篇关于Android音视频 - EGL源码解析以及C++实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/981281

相关文章

使用Python实现IP地址和端口状态检测与监控

《使用Python实现IP地址和端口状态检测与监控》在网络运维和服务器管理中,IP地址和端口的可用性监控是保障业务连续性的基础需求,本文将带你用Python从零打造一个高可用IP监控系统,感兴趣的小伙... 目录概述:为什么需要IP监控系统使用步骤说明1. 环境准备2. 系统部署3. 核心功能配置系统效果展

Python实现微信自动锁定工具

《Python实现微信自动锁定工具》在数字化办公时代,微信已成为职场沟通的重要工具,但临时离开时忘记锁屏可能导致敏感信息泄露,下面我们就来看看如何使用Python打造一个微信自动锁定工具吧... 目录引言:当微信隐私遇到自动化守护效果展示核心功能全景图技术亮点深度解析1. 无操作检测引擎2. 微信路径智能获

C#如何调用C++库

《C#如何调用C++库》:本文主要介绍C#如何调用C++库方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录方法一:使用P/Invoke1. 导出C++函数2. 定义P/Invoke签名3. 调用C++函数方法二:使用C++/CLI作为桥接1. 创建C++/CL

Python中pywin32 常用窗口操作的实现

《Python中pywin32常用窗口操作的实现》本文主要介绍了Python中pywin32常用窗口操作的实现,pywin32主要的作用是供Python开发者快速调用WindowsAPI的一个... 目录获取窗口句柄获取最前端窗口句柄获取指定坐标处的窗口根据窗口的完整标题匹配获取句柄根据窗口的类别匹配获取句

在 Spring Boot 中实现异常处理最佳实践

《在SpringBoot中实现异常处理最佳实践》本文介绍如何在SpringBoot中实现异常处理,涵盖核心概念、实现方法、与先前查询的集成、性能分析、常见问题和最佳实践,感兴趣的朋友一起看看吧... 目录一、Spring Boot 异常处理的背景与核心概念1.1 为什么需要异常处理?1.2 Spring B

Python位移操作和位运算的实现示例

《Python位移操作和位运算的实现示例》本文主要介绍了Python位移操作和位运算的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 位移操作1.1 左移操作 (<<)1.2 右移操作 (>>)注意事项:2. 位运算2.1

如何在 Spring Boot 中实现 FreeMarker 模板

《如何在SpringBoot中实现FreeMarker模板》FreeMarker是一种功能强大、轻量级的模板引擎,用于在Java应用中生成动态文本输出(如HTML、XML、邮件内容等),本文... 目录什么是 FreeMarker 模板?在 Spring Boot 中实现 FreeMarker 模板1. 环

Qt实现网络数据解析的方法总结

《Qt实现网络数据解析的方法总结》在Qt中解析网络数据通常涉及接收原始字节流,并将其转换为有意义的应用层数据,这篇文章为大家介绍了详细步骤和示例,感兴趣的小伙伴可以了解下... 目录1. 网络数据接收2. 缓冲区管理(处理粘包/拆包)3. 常见数据格式解析3.1 jsON解析3.2 XML解析3.3 自定义

SpringMVC 通过ajax 前后端数据交互的实现方法

《SpringMVC通过ajax前后端数据交互的实现方法》:本文主要介绍SpringMVC通过ajax前后端数据交互的实现方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价... 在前端的开发过程中,经常在html页面通过AJAX进行前后端数据的交互,SpringMVC的controll

Spring Security自定义身份认证的实现方法

《SpringSecurity自定义身份认证的实现方法》:本文主要介绍SpringSecurity自定义身份认证的实现方法,下面对SpringSecurity的这三种自定义身份认证进行详细讲解,... 目录1.内存身份认证(1)创建配置类(2)验证内存身份认证2.JDBC身份认证(1)数据准备 (2)配置依