Android_ics openmax in stagefright 学习记录------2

2023-10-24 23:48

本文主要是介绍Android_ics openmax in stagefright 学习记录------2,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

/
//4,回到awesomeplayer initVideoDecoder()中
/mVideoSource = OMXCodec::Create(mClient.interface(), mVideoTrack->getFormat(),false, // createEncodermVideoTrack,NULL, flags, USE_SURFACE_ALLOC ? mNativeWindow : NULL);if (mVideoSource != NULL) {int64_t durationUs;if (mVideoTrack->getFormat()->findInt64(kKeyDuration, &durationUs)) {Mutex::Autolock autoLock(mMiscStateLock);if (mDurationUs < 0 || durationUs > mDurationUs) {mDurationUs = durationUs;}}//这里的mVideoSource就是上面返回的OMXCodec类型,所以mVideoSource->start()的函数定义如下,但是这里的OMXCodec类型靠node_id来标示,而且OMXCodec(mVideoSource)所扮演的角色类型也不同(setComponentRole())。status_t err = mVideoSource->start();status_t OMXCodec::start(MetaData *meta) {CODEC_LOGV("OMXCodec::start ");Mutex::Autolock autoLock(mLock);if(mPaused) {if (!strncmp(mComponentName, "OMX.qcom.", 9)) {while (isIntermediateState(mState)) {mAsyncCompletion.wait(mLock);}CHECK_EQ(mState, (status_t)PAUSED);status_t err = mOMX->sendCommand(mNode,OMX_CommandStateSet, OMX_StateExecuting);CHECK_EQ(err, (status_t)OK);setState(IDLE_TO_EXECUTING);mPaused = false;while (mState != EXECUTING && mState != ERROR) {mAsyncCompletion.wait(mLock);}drainInputBuffers();return mState == ERROR ? UNKNOWN_ERROR : OK;} else {   // SW CodecmPaused = false;return OK;}}if (mState != LOADED) {return UNKNOWN_ERROR;}sp<MetaData> params = new MetaData;if (mQuirks & kWantsNALFragments) {params->setInt32(kKeyWantsNALFragments, true);}if (meta) {int64_t startTimeUs = 0;int64_t timeUs;if (meta->findInt64(kKeyTime, &timeUs)) {startTimeUs = timeUs;}params->setInt64(kKeyTime, startTimeUs);}//第一次跳过前面的代码,走到这里,注意这里的mSource是OMXCodec构造函数中传进来的。追根溯源会发 现这里的mSource其实是mVideoTrack(awesomeplayer的成员变量),而mVideoTrack又是在AwesomePlayer::setVideoSource中被赋值的,在awesomeplayer的setdatasource()函数中setVideoSource(extractor->getTrack(i));所以这里的mSource应该是一个具体的XXXExtractor.getTrack(i)之后得到的。最终发现,mSource实际上是某种格式的一段媒体流。例如MPEG4Source等等。所以这个start函数的做用是根据这段媒体流的实际需要,分配一个合适大小的buf供以后使用。status_t err = mSource->start(params.get());if (err != OK) {return err;}mCodecSpecificDataIndex = 0;mInitialBufferSubmit = true;mSignalledEOS = false;mNoMoreOutputData = false;mOutputPortSettingsHaveChanged = false;mSeekTimeUs = -1;mSeekMode = ReadOptions::SEEK_CLOSEST_SYNC;mTargetTimeUs = -1;mFilledBuffers.clear();mPaused = false;//从这个函数开始通过OMX和OMX的components通信了return init();
}status_t OMXCodec::init() {// mLock is held.CHECK_EQ((int)mState, (int)LOADED);status_t err;//mQuirks是一些和具体编解码组件相关的特性参数,他描述了该组件在工作时候需要的一些注意事项//mQuirks主要很硬件编解码组件有关if (!(mQuirks & kRequiresLoadedToIdleAfterAllocation)) {//向特定的node放送Command,这个node有node_id即mNode表示,后面会详细介绍-------------    1 err = mOMX->sendCommand(mNode, OMX_CommandStateSet, OMX_StateIdle);CHECK_EQ(err, (status_t)OK);setState(LOADED_TO_IDLE);}//为不同的nodeInstance分配其输入和输出端口上的buffer,并确定分配大小和分配策略err = allocateBuffers();if (err != (status_t)OK) {CODEC_LOGE("Allocate Buffer failed - error = %d", err);setState(ERROR);return err;}if (mQuirks & kRequiresLoadedToIdleAfterAllocation) {err = mOMX->sendCommand(mNode, OMX_CommandStateSet, OMX_StateIdle);CHECK_EQ(err, (status_t)OK);setState(LOADED_TO_IDLE);}while (mState != EXECUTING && mState != ERROR) {mAsyncCompletion.wait(mLock);}return mState == ERROR ? UNKNOWN_ERROR : OK;
}///
//5,看看mOMX->sendCommand(mNode,...,...)做了什么
///
在OMXCodec会通过OMX服务去调用://该函数会查找node_id号所对应的nodeInstance,然后去调用这个nodeInstance的sendCommand函数。
status_t OMX::sendCommand(node_id node, OMX_COMMANDTYPE cmd, OMX_S32 param) {return findInstance(node)->sendCommand(cmd, param);
}|||V
//注意这里这个OMXNodeInstance对应就是具体node了,OMX_SendCommand函数中的第一个参数就是在instance->setHandle(*node, handle)传进出的,而且这个handle是由mMaster->makeComponentInstance传出的,上面有提到。
status_t OMXNodeInstance::sendCommand(OMX_COMMANDTYPE cmd, OMX_S32 param) {Mutex::Autolock autoLock(mLock);OMX_ERRORTYPE err = OMX_SendCommand(mHandle, cmd, param, NULL);return StatusFromOMXError(err);
}//OMX_SendCommand由下面的宏定义,可以看到最后调用的就是那个mHandle的SendCommand方法
#define OMX_SendCommand(                                    \hComponent,                                        \Cmd,                                               \nParam,                                            \pCmdData)                                          \((OMX_COMPONENTTYPE*)hComponent)->SendCommand(         \hComponent,                                        \Cmd,                                               \nParam,                                            \pCmdData)                          /* Macro End *///特别要注意的地方是上面((OMX_COMPONENTTYPE*)hComponent)->SendCommand函数实际上是调用的过程是,首先通过
SoftOMXComponent::SendCommandWrapper----->SoftOMXComponent *me =(SoftOMXComponent *)((OMX_COMPONENTTYPE *)component)->pComponentPrivate;(me被转换成一个this指针)---->me->sendCommand(cmd, param, data);(这个me->sendCommand调用的肯定是SimpleSoftOMXComponent::sendCommand) 
注意一个继承关系   SoftMPEG4--->SimpleSoftOMXComponent--->SoftOMXComponent  (箭头理解为继承于)//sendCommand的函数实现如下:
OMX_ERRORTYPE SimpleSoftOMXComponent::sendCommand(OMX_COMMANDTYPE cmd, OMX_U32 param, OMX_PTR data) {CHECK(data == NULL);sp<AMessage> msg = new AMessage(kWhatSendCommand, mHandler->id());msg->setInt32("cmd", cmd);msg->setInt32("param", param);//消息被投递出去了msg->post();------------------------------------------------------- 1return OMX_ErrorNone;
}//消息投递出去之后,什么时候得到处理呢?看下 SimpleSoftOMXComponent的构造函数就明白了
SimpleSoftOMXComponent::SimpleSoftOMXComponent(const char *name,const OMX_CALLBACKTYPE *callbacks,OMX_PTR appData,OMX_COMPONENTTYPE **component): SoftOMXComponent(name, callbacks, appData, component),mLooper(new ALooper),mHandler(new AHandlerReflector<SimpleSoftOMXComponent>(this)),mState(OMX_StateLoaded),mTargetState(OMX_StateLoaded) {mLooper->setName(name);mLooper->registerHandler(mHandler);mLooper->start(false, // runOnCallingThreadfalse, // canCallJavaANDROID_PRIORITY_FOREGROUND);
}//在 SimpleSoftOMXComponent中有一个mHandler(new AHandlerReflector<SimpleSoftOMXComponent>(this)),---注意这个mHandle的参数,其中 SimpleSoftOMXComponent做为这个mHandle的投递目标,也就是消息将有 SimpleSoftOMXComponent处理。
最终,消息会被投递到mLooper中的mEventQueue,并在消息循环(也就是mLooper.loop()函数中,被deliverMessage,然后被相应的hanler处理,也就是SimpleSoftOMXComponent::onMessageReceived函数)。


在来看一个继承关系图。


这个继承关系图,也许能说明一些问题。最右边的是具体的软件编/解码模块的实现的代码,在openmanx框架中,为了实现动态绑定,这些moudle最终会被编译成libstagefright_soft_XXXX.so。具体的编译步骤,可以去看相关路径下的Android.mk文件。可以说明一点的是,这些libstagefright_soft_XXXX.so是首先由一些编解码的srcfile编译出一个类似于libstagefright_m4vh263dec的静态库,然后这个静态库再被编译进一个.so里。

        在这个继承关系图上,位于中间的SimpleSoftOMXComponent,完成了大部分的工作,它负责sendCommand的同时又要将一些反馈信息notify到其父类SoftOMXCodec来处理。这些反馈的信息包括,组件状态的变化,ports的状态的变化等等。父类SoftOMXComponent来处理的notify的信息,其主要的工作是,找到具体的handler然后调用适当的CallBacks。


关于组建的结构再来看一张图,下面是一张组件的模型图:


说的简单一点,command从组件的外部进来,在组件内进行一系列的传递和处理(组件内部自己处理)之后,再将反馈信息传回组件外部,传递给OMXCodec框架层。


说点废话,把时序图再贴一次:




首先,可以明确一点的是,整个stagefright框架都是事件驱动模式的。上面的时序图主要描述了,收到onPrepareAsyncEvent时间后,OMX框架是如何是如何建立自己的编解码组件。上面的时序图中,要明确两点 1,事件驱动模式是异步的 2,时序图的末端 CallbackDispatcher也是异步分派的从上面的时序图中还有一点没有办法看出来。就是对应于具体的编解码组件,编解码的过程时候时候发生。下面就这个问题,展开讨论。//
//下面的研究将围绕三个问题
/
1,待解码的原始数据问题  
2,具体编解码组件是如何完成编解码工作的  
3,解码之后的数据处理问题


以上的三个问题,在我的《数据流向分析》中有介绍。


OK,备忘做完了,还是那句话,菜鸟们请批判性的看,comments are very welcome.

 

 

 

这篇关于Android_ics openmax in stagefright 学习记录------2的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/278581

相关文章

Android协程高级用法大全

《Android协程高级用法大全》这篇文章给大家介绍Android协程高级用法大全,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友跟随小编一起学习吧... 目录1️⃣ 协程作用域(CoroutineScope)与生命周期绑定Activity/Fragment 中手

Unity新手入门学习殿堂级知识详细讲解(图文)

《Unity新手入门学习殿堂级知识详细讲解(图文)》Unity是一款跨平台游戏引擎,支持2D/3D及VR/AR开发,核心功能模块包括图形、音频、物理等,通过可视化编辑器与脚本扩展实现开发,项目结构含A... 目录入门概述什么是 UnityUnity引擎基础认知编辑器核心操作Unity 编辑器项目模式分类工程

Python学习笔记之getattr和hasattr用法示例详解

《Python学习笔记之getattr和hasattr用法示例详解》在Python中,hasattr()、getattr()和setattr()是一组内置函数,用于对对象的属性进行操作和查询,这篇文章... 目录1.getattr用法详解1.1 基本作用1.2 示例1.3 原理2.hasattr用法详解2.

Android 缓存日志Logcat导出与分析最佳实践

《Android缓存日志Logcat导出与分析最佳实践》本文全面介绍AndroidLogcat缓存日志的导出与分析方法,涵盖按进程、缓冲区类型及日志级别过滤,自动化工具使用,常见问题解决方案和最佳实... 目录android 缓存日志(Logcat)导出与分析全攻略为什么要导出缓存日志?按需过滤导出1. 按

基于Spring Boot 的小区人脸识别与出入记录管理系统功能

《基于SpringBoot的小区人脸识别与出入记录管理系统功能》文章介绍基于SpringBoot框架与百度AI人脸识别API的小区出入管理系统,实现自动识别、记录及查询功能,涵盖技术选型、数据模型... 目录系统功能概述技术栈选择核心依赖配置数据模型设计出入记录实体类出入记录查询表单出入记录 VO 类(用于

Android Paging 分页加载库使用实践

《AndroidPaging分页加载库使用实践》AndroidPaging库是Jetpack组件的一部分,它提供了一套完整的解决方案来处理大型数据集的分页加载,本文将深入探讨Paging库... 目录前言一、Paging 库概述二、Paging 3 核心组件1. PagingSource2. Pager3.

java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)

《java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)》:本文主要介绍java中pdf模版填充表单踩坑的相关资料,OpenPDF、iText、PDFBox是三... 目录准备Pdf模版方法1:itextpdf7填充表单(1)加入依赖(2)代码(3)遇到的问题方法2:pd

Zabbix在MySQL性能监控方面的运用及最佳实践记录

《Zabbix在MySQL性能监控方面的运用及最佳实践记录》Zabbix通过自定义脚本和内置模板监控MySQL核心指标(连接、查询、资源、复制),支持自动发现多实例及告警通知,结合可视化仪表盘,可有效... 目录一、核心监控指标及配置1. 关键监控指标示例2. 配置方法二、自动发现与多实例管理1. 实践步骤

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

Android ClassLoader加载机制详解

《AndroidClassLoader加载机制详解》Android的ClassLoader负责加载.dex文件,基于双亲委派模型,支持热修复和插件化,需注意类冲突、内存泄漏和兼容性问题,本文给大家介... 目录一、ClassLoader概述1.1 类加载的基本概念1.2 android与Java Class