Android SurfaceTexture简析

2024-05-04 03:48

本文主要是介绍Android SurfaceTexture简析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

https://www.jianshu.com/p/b19a0f49d4ac

 

Android SurfaceTexture简析

96 Jimmy2012 关注

 0.3 2017.10.29 23:48* 字数 879 阅读 5169评论 1喜欢 5

简介

最近工作中接触到SurfaceTexture,因此打算分析一下SurfaceTexture的原理,提到SurfaceTexture一般会提到与它相关的SurfaceView、GLSurfaceView、TextureView,这几个都可以将图形生产者的数据(比如Camera)送到SurfaceFlinger中显示,而SurfaceTexture可以看做Surface和Texture的组合,是将图形生产者的数据送到Texture,然后是由应用程序自己来处理。这里的Texture应该是属于opengl的概念,由于本人对这块不熟,等后续熟悉了再来分析Texture吧。

调用流程

一般SurfaceTexture的调用流程如下所示:

图一

应用程序会先创建一个SurfaceTexture,然后将SurfaceTexture传递给图形生产者对象(比如Camera,通过调用setPreviewTexture传递),图形生产者对象生产一帧数据后,会回调onFrameAvailable通知应用程序有新的图像数据可以使用,应用程序就可以调用updateTexImage将图像数据先送到Texture,之后就可以调用opengl接口做些具体的业务了。

下面说说具体的流程吧。

step1到step13

这几个流程就是初始化SurfaceTexture,在native层创建了BufferQueue、GLConsumer、JNISurfaceTextureContext,BufferQueue提供图形生产者消费者机制,具体内容请见Android BufferQueue简析,GLConsumer就是SurfaceTexture的图形消费者,即通过调用opengl接口将图形生产者的图像数据送到Texture,JNISurfaceTextureContext是个简单的代理对象,持有java层的SurfaceTexture对象,完成帧可用事件回调。

主要类的关系如下所示,绿色的为java层的SurfaceTexture对象,黄色的都是native层的对象,可见SurfaceTexture功能基本都在native层实现,java层的SurfaceTexture对象的mSurfaceTexture成员指向的是native层的GLConsumer对象,mProducer成员指向的是native层的BufferQueueProducer对象,当将SurfaceTexture对象传给图形生产者对象比如Camera时,就可以从该成员获取到native层的BufferQueueProducer,用于生产者对象输出。如下所示:

static void android_hardware_Camera_setPreviewTexture(JNIEnv *env,jobject thiz, jobject jSurfaceTexture)
{ALOGV("setPreviewTexture");sp<Camera> camera = get_native_camera(env, thiz, NULL);if (camera == 0) return;sp<IGraphicBufferProducer> producer = NULL;if (jSurfaceTexture != NULL) {producer = SurfaceTexture_getProducer(env, jSurfaceTexture);if (producer == NULL) {jniThrowException(env, "java/lang/IllegalArgumentException","SurfaceTexture already released in setPreviewTexture");return;}}if (camera->setPreviewTarget(producer) != NO_ERROR) {jniThrowException(env, "java/io/IOException","setPreviewTexture failed");}
}

mFrameAvailableListener成员指向的是native层的JNISurfaceTextureContext对象,JNISurfaceTextureContext是OnFrameAvailableListener从native到java的跳板。

该类图与Android BufferQueue简析图三的类图很像,那张类图说的是显示流程中的主要类之间的关系,可见SurfaceTexture和SurfaceView原理上基本相似,BufferQueue都是其核心,当然也有一些不同的地方,比如SurfaceTexture的BufferQueue是在应用程序进程这边创建的,而SurfaceView对应的BufferQueue是在SurfaceFlinger进程创建的。

图二

step14到step16

这几个流程就是图形生产者生产一帧数据后,通过BufferQueueCore层层调用,最后回调OnFrameAvailableListener的onFrameAvailable,通知Listener有新的图像数据可以使用,一般应用程序会实现该Listener以接收通知。

step17到step35

这几个流程就是从BufferQueueCore取出图形生产者生产的帧数据GraphicBuffer,然后调用opengl接口将GraphicBuffer更新到Texture上,等熟悉了opengl再来分析。

step36到step36

应用程序一般还会根据需要调用getTransformMatrix、getTimestamp获取矩阵和时间戳信息,这些信息是在调用updateTexImage时更新的。

通过以上分析,可见要理解SurfaceTexture的关键是要理解BufferQueue和opengl,BufferQueue已经分析过了,opengl等后续熟悉了再抽空分析吧。

这篇关于Android SurfaceTexture简析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/958277

相关文章

Android Paging 分页加载库使用实践

《AndroidPaging分页加载库使用实践》AndroidPaging库是Jetpack组件的一部分,它提供了一套完整的解决方案来处理大型数据集的分页加载,本文将深入探讨Paging库... 目录前言一、Paging 库概述二、Paging 3 核心组件1. PagingSource2. Pager3.

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

Android ClassLoader加载机制详解

《AndroidClassLoader加载机制详解》Android的ClassLoader负责加载.dex文件,基于双亲委派模型,支持热修复和插件化,需注意类冲突、内存泄漏和兼容性问题,本文给大家介... 目录一、ClassLoader概述1.1 类加载的基本概念1.2 android与Java Class

Android DataBinding 与 MVVM使用详解

《AndroidDataBinding与MVVM使用详解》本文介绍AndroidDataBinding库,其通过绑定UI组件与数据源实现自动更新,支持双向绑定和逻辑运算,减少模板代码,结合MV... 目录一、DataBinding 核心概念二、配置与基础使用1. 启用 DataBinding 2. 基础布局

Android ViewBinding使用流程

《AndroidViewBinding使用流程》AndroidViewBinding是Jetpack组件,替代findViewById,提供类型安全、空安全和编译时检查,代码简洁且性能优化,相比Da... 目录一、核心概念二、ViewBinding优点三、使用流程1. 启用 ViewBinding (模块级

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

Android NDK版本迭代与FFmpeg交叉编译完全指南

《AndroidNDK版本迭代与FFmpeg交叉编译完全指南》在Android开发中,使用NDK进行原生代码开发是一项常见需求,特别是当我们需要集成FFmpeg这样的多媒体处理库时,本文将深入分析A... 目录一、android NDK版本迭代分界线二、FFmpeg交叉编译关键注意事项三、完整编译脚本示例四

Android与iOS设备MAC地址生成原理及Java实现详解

《Android与iOS设备MAC地址生成原理及Java实现详解》在无线网络通信中,MAC(MediaAccessControl)地址是设备的唯一网络标识符,本文主要介绍了Android与iOS设备M... 目录引言1. MAC地址基础1.1 MAC地址的组成1.2 MAC地址的分类2. android与I

Android 实现一个隐私弹窗功能

《Android实现一个隐私弹窗功能》:本文主要介绍Android实现一个隐私弹窗功能,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 效果图如下:1. 设置同意、退出、点击用户协议、点击隐私协议的函数参数2. 《用户协议》、《隐私政策》设置成可点击的,且颜色要区分出来res/l

Android实现一键录屏功能(附源码)

《Android实现一键录屏功能(附源码)》在Android5.0及以上版本,系统提供了MediaProjectionAPI,允许应用在用户授权下录制屏幕内容并输出到视频文件,所以本文将基于此实现一个... 目录一、项目介绍二、相关技术与原理三、系统权限与用户授权四、项目架构与流程五、环境配置与依赖六、完整