Android SurfaceTexture简析

2024-05-04 03:48

本文主要是介绍Android SurfaceTexture简析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

https://www.jianshu.com/p/b19a0f49d4ac

 

Android SurfaceTexture简析

96 Jimmy2012 关注

 0.3 2017.10.29 23:48* 字数 879 阅读 5169评论 1喜欢 5

简介

最近工作中接触到SurfaceTexture,因此打算分析一下SurfaceTexture的原理,提到SurfaceTexture一般会提到与它相关的SurfaceView、GLSurfaceView、TextureView,这几个都可以将图形生产者的数据(比如Camera)送到SurfaceFlinger中显示,而SurfaceTexture可以看做Surface和Texture的组合,是将图形生产者的数据送到Texture,然后是由应用程序自己来处理。这里的Texture应该是属于opengl的概念,由于本人对这块不熟,等后续熟悉了再来分析Texture吧。

调用流程

一般SurfaceTexture的调用流程如下所示:

图一

应用程序会先创建一个SurfaceTexture,然后将SurfaceTexture传递给图形生产者对象(比如Camera,通过调用setPreviewTexture传递),图形生产者对象生产一帧数据后,会回调onFrameAvailable通知应用程序有新的图像数据可以使用,应用程序就可以调用updateTexImage将图像数据先送到Texture,之后就可以调用opengl接口做些具体的业务了。

下面说说具体的流程吧。

step1到step13

这几个流程就是初始化SurfaceTexture,在native层创建了BufferQueue、GLConsumer、JNISurfaceTextureContext,BufferQueue提供图形生产者消费者机制,具体内容请见Android BufferQueue简析,GLConsumer就是SurfaceTexture的图形消费者,即通过调用opengl接口将图形生产者的图像数据送到Texture,JNISurfaceTextureContext是个简单的代理对象,持有java层的SurfaceTexture对象,完成帧可用事件回调。

主要类的关系如下所示,绿色的为java层的SurfaceTexture对象,黄色的都是native层的对象,可见SurfaceTexture功能基本都在native层实现,java层的SurfaceTexture对象的mSurfaceTexture成员指向的是native层的GLConsumer对象,mProducer成员指向的是native层的BufferQueueProducer对象,当将SurfaceTexture对象传给图形生产者对象比如Camera时,就可以从该成员获取到native层的BufferQueueProducer,用于生产者对象输出。如下所示:

static void android_hardware_Camera_setPreviewTexture(JNIEnv *env,jobject thiz, jobject jSurfaceTexture)
{ALOGV("setPreviewTexture");sp<Camera> camera = get_native_camera(env, thiz, NULL);if (camera == 0) return;sp<IGraphicBufferProducer> producer = NULL;if (jSurfaceTexture != NULL) {producer = SurfaceTexture_getProducer(env, jSurfaceTexture);if (producer == NULL) {jniThrowException(env, "java/lang/IllegalArgumentException","SurfaceTexture already released in setPreviewTexture");return;}}if (camera->setPreviewTarget(producer) != NO_ERROR) {jniThrowException(env, "java/io/IOException","setPreviewTexture failed");}
}

mFrameAvailableListener成员指向的是native层的JNISurfaceTextureContext对象,JNISurfaceTextureContext是OnFrameAvailableListener从native到java的跳板。

该类图与Android BufferQueue简析图三的类图很像,那张类图说的是显示流程中的主要类之间的关系,可见SurfaceTexture和SurfaceView原理上基本相似,BufferQueue都是其核心,当然也有一些不同的地方,比如SurfaceTexture的BufferQueue是在应用程序进程这边创建的,而SurfaceView对应的BufferQueue是在SurfaceFlinger进程创建的。

图二

step14到step16

这几个流程就是图形生产者生产一帧数据后,通过BufferQueueCore层层调用,最后回调OnFrameAvailableListener的onFrameAvailable,通知Listener有新的图像数据可以使用,一般应用程序会实现该Listener以接收通知。

step17到step35

这几个流程就是从BufferQueueCore取出图形生产者生产的帧数据GraphicBuffer,然后调用opengl接口将GraphicBuffer更新到Texture上,等熟悉了opengl再来分析。

step36到step36

应用程序一般还会根据需要调用getTransformMatrix、getTimestamp获取矩阵和时间戳信息,这些信息是在调用updateTexImage时更新的。

通过以上分析,可见要理解SurfaceTexture的关键是要理解BufferQueue和opengl,BufferQueue已经分析过了,opengl等后续熟悉了再抽空分析吧。

这篇关于Android SurfaceTexture简析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/958277

相关文章

Android实现图片浏览功能的示例详解(附带源码)

《Android实现图片浏览功能的示例详解(附带源码)》在许多应用中,都需要展示图片并支持用户进行浏览,本文主要为大家介绍了如何通过Android实现图片浏览功能,感兴趣的小伙伴可以跟随小编一起学习一... 目录一、项目背景详细介绍二、项目需求详细介绍三、相关技术详细介绍四、实现思路详细介绍五、完整实现代码

在Android中使用WebView在线查看PDF文件的方法示例

《在Android中使用WebView在线查看PDF文件的方法示例》在Android应用开发中,有时我们需要在客户端展示PDF文件,以便用户可以阅读或交互,:本文主要介绍在Android中使用We... 目录简介:1. WebView组件介绍2. 在androidManifest.XML中添加Interne

Android协程高级用法大全

《Android协程高级用法大全》这篇文章给大家介绍Android协程高级用法大全,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友跟随小编一起学习吧... 目录1️⃣ 协程作用域(CoroutineScope)与生命周期绑定Activity/Fragment 中手

Android 缓存日志Logcat导出与分析最佳实践

《Android缓存日志Logcat导出与分析最佳实践》本文全面介绍AndroidLogcat缓存日志的导出与分析方法,涵盖按进程、缓冲区类型及日志级别过滤,自动化工具使用,常见问题解决方案和最佳实... 目录android 缓存日志(Logcat)导出与分析全攻略为什么要导出缓存日志?按需过滤导出1. 按

Android Paging 分页加载库使用实践

《AndroidPaging分页加载库使用实践》AndroidPaging库是Jetpack组件的一部分,它提供了一套完整的解决方案来处理大型数据集的分页加载,本文将深入探讨Paging库... 目录前言一、Paging 库概述二、Paging 3 核心组件1. PagingSource2. Pager3.

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

Android ClassLoader加载机制详解

《AndroidClassLoader加载机制详解》Android的ClassLoader负责加载.dex文件,基于双亲委派模型,支持热修复和插件化,需注意类冲突、内存泄漏和兼容性问题,本文给大家介... 目录一、ClassLoader概述1.1 类加载的基本概念1.2 android与Java Class

Android DataBinding 与 MVVM使用详解

《AndroidDataBinding与MVVM使用详解》本文介绍AndroidDataBinding库,其通过绑定UI组件与数据源实现自动更新,支持双向绑定和逻辑运算,减少模板代码,结合MV... 目录一、DataBinding 核心概念二、配置与基础使用1. 启用 DataBinding 2. 基础布局

Android ViewBinding使用流程

《AndroidViewBinding使用流程》AndroidViewBinding是Jetpack组件,替代findViewById,提供类型安全、空安全和编译时检查,代码简洁且性能优化,相比Da... 目录一、核心概念二、ViewBinding优点三、使用流程1. 启用 ViewBinding (模块级

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio