Android SurfaceTexture简析

2024-05-04 03:48

本文主要是介绍Android SurfaceTexture简析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

https://www.jianshu.com/p/b19a0f49d4ac

 

Android SurfaceTexture简析

96 Jimmy2012 关注

 0.3 2017.10.29 23:48* 字数 879 阅读 5169评论 1喜欢 5

简介

最近工作中接触到SurfaceTexture,因此打算分析一下SurfaceTexture的原理,提到SurfaceTexture一般会提到与它相关的SurfaceView、GLSurfaceView、TextureView,这几个都可以将图形生产者的数据(比如Camera)送到SurfaceFlinger中显示,而SurfaceTexture可以看做Surface和Texture的组合,是将图形生产者的数据送到Texture,然后是由应用程序自己来处理。这里的Texture应该是属于opengl的概念,由于本人对这块不熟,等后续熟悉了再来分析Texture吧。

调用流程

一般SurfaceTexture的调用流程如下所示:

图一

应用程序会先创建一个SurfaceTexture,然后将SurfaceTexture传递给图形生产者对象(比如Camera,通过调用setPreviewTexture传递),图形生产者对象生产一帧数据后,会回调onFrameAvailable通知应用程序有新的图像数据可以使用,应用程序就可以调用updateTexImage将图像数据先送到Texture,之后就可以调用opengl接口做些具体的业务了。

下面说说具体的流程吧。

step1到step13

这几个流程就是初始化SurfaceTexture,在native层创建了BufferQueue、GLConsumer、JNISurfaceTextureContext,BufferQueue提供图形生产者消费者机制,具体内容请见Android BufferQueue简析,GLConsumer就是SurfaceTexture的图形消费者,即通过调用opengl接口将图形生产者的图像数据送到Texture,JNISurfaceTextureContext是个简单的代理对象,持有java层的SurfaceTexture对象,完成帧可用事件回调。

主要类的关系如下所示,绿色的为java层的SurfaceTexture对象,黄色的都是native层的对象,可见SurfaceTexture功能基本都在native层实现,java层的SurfaceTexture对象的mSurfaceTexture成员指向的是native层的GLConsumer对象,mProducer成员指向的是native层的BufferQueueProducer对象,当将SurfaceTexture对象传给图形生产者对象比如Camera时,就可以从该成员获取到native层的BufferQueueProducer,用于生产者对象输出。如下所示:

static void android_hardware_Camera_setPreviewTexture(JNIEnv *env,jobject thiz, jobject jSurfaceTexture)
{ALOGV("setPreviewTexture");sp<Camera> camera = get_native_camera(env, thiz, NULL);if (camera == 0) return;sp<IGraphicBufferProducer> producer = NULL;if (jSurfaceTexture != NULL) {producer = SurfaceTexture_getProducer(env, jSurfaceTexture);if (producer == NULL) {jniThrowException(env, "java/lang/IllegalArgumentException","SurfaceTexture already released in setPreviewTexture");return;}}if (camera->setPreviewTarget(producer) != NO_ERROR) {jniThrowException(env, "java/io/IOException","setPreviewTexture failed");}
}

mFrameAvailableListener成员指向的是native层的JNISurfaceTextureContext对象,JNISurfaceTextureContext是OnFrameAvailableListener从native到java的跳板。

该类图与Android BufferQueue简析图三的类图很像,那张类图说的是显示流程中的主要类之间的关系,可见SurfaceTexture和SurfaceView原理上基本相似,BufferQueue都是其核心,当然也有一些不同的地方,比如SurfaceTexture的BufferQueue是在应用程序进程这边创建的,而SurfaceView对应的BufferQueue是在SurfaceFlinger进程创建的。

图二

step14到step16

这几个流程就是图形生产者生产一帧数据后,通过BufferQueueCore层层调用,最后回调OnFrameAvailableListener的onFrameAvailable,通知Listener有新的图像数据可以使用,一般应用程序会实现该Listener以接收通知。

step17到step35

这几个流程就是从BufferQueueCore取出图形生产者生产的帧数据GraphicBuffer,然后调用opengl接口将GraphicBuffer更新到Texture上,等熟悉了opengl再来分析。

step36到step36

应用程序一般还会根据需要调用getTransformMatrix、getTimestamp获取矩阵和时间戳信息,这些信息是在调用updateTexImage时更新的。

通过以上分析,可见要理解SurfaceTexture的关键是要理解BufferQueue和opengl,BufferQueue已经分析过了,opengl等后续熟悉了再抽空分析吧。

这篇关于Android SurfaceTexture简析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/958277

相关文章

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

Android NDK版本迭代与FFmpeg交叉编译完全指南

《AndroidNDK版本迭代与FFmpeg交叉编译完全指南》在Android开发中,使用NDK进行原生代码开发是一项常见需求,特别是当我们需要集成FFmpeg这样的多媒体处理库时,本文将深入分析A... 目录一、android NDK版本迭代分界线二、FFmpeg交叉编译关键注意事项三、完整编译脚本示例四

Android与iOS设备MAC地址生成原理及Java实现详解

《Android与iOS设备MAC地址生成原理及Java实现详解》在无线网络通信中,MAC(MediaAccessControl)地址是设备的唯一网络标识符,本文主要介绍了Android与iOS设备M... 目录引言1. MAC地址基础1.1 MAC地址的组成1.2 MAC地址的分类2. android与I

Android 实现一个隐私弹窗功能

《Android实现一个隐私弹窗功能》:本文主要介绍Android实现一个隐私弹窗功能,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 效果图如下:1. 设置同意、退出、点击用户协议、点击隐私协议的函数参数2. 《用户协议》、《隐私政策》设置成可点击的,且颜色要区分出来res/l

Android实现一键录屏功能(附源码)

《Android实现一键录屏功能(附源码)》在Android5.0及以上版本,系统提供了MediaProjectionAPI,允许应用在用户授权下录制屏幕内容并输出到视频文件,所以本文将基于此实现一个... 目录一、项目介绍二、相关技术与原理三、系统权限与用户授权四、项目架构与流程五、环境配置与依赖六、完整

Android 12解决push framework.jar无法开机的方法小结

《Android12解决pushframework.jar无法开机的方法小结》:本文主要介绍在Android12中解决pushframework.jar无法开机的方法,包括编译指令、框架层和s... 目录1. android 编译指令1.1 framework层的编译指令1.2 替换framework.ja

Android开发环境配置避坑指南

《Android开发环境配置避坑指南》本文主要介绍了Android开发环境配置过程中遇到的问题及解决方案,包括VPN注意事项、工具版本统一、Gerrit邮箱配置、Git拉取和提交代码、MergevsR... 目录网络环境:VPN 注意事项工具版本统一:android Studio & JDKGerrit的邮

Android实现定时任务的几种方式汇总(附源码)

《Android实现定时任务的几种方式汇总(附源码)》在Android应用中,定时任务(ScheduledTask)的需求几乎无处不在:从定时刷新数据、定时备份、定时推送通知,到夜间静默下载、循环执行... 目录一、项目介绍1. 背景与意义二、相关基础知识与系统约束三、方案一:Handler.postDel

Android使用ImageView.ScaleType实现图片的缩放与裁剪功能

《Android使用ImageView.ScaleType实现图片的缩放与裁剪功能》ImageView是最常用的控件之一,它用于展示各种类型的图片,为了能够根据需求调整图片的显示效果,Android提... 目录什么是 ImageView.ScaleType?FIT_XYFIT_STARTFIT_CENTE

Android实现在线预览office文档的示例详解

《Android实现在线预览office文档的示例详解》在移动端展示在线Office文档(如Word、Excel、PPT)是一项常见需求,这篇文章为大家重点介绍了两种方案的实现方法,希望对大家有一定的... 目录一、项目概述二、相关技术知识三、实现思路3.1 方案一:WebView + Office Onl