Android 用MediaCodec实现编码camera再解码

2024-02-05 10:18
文章标签 实现 android 编码 解码 camera mediacodec

本文主要是介绍Android 用MediaCodec实现编码camera再解码，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

http://blog.csdn.net/mirkerson/article/details/37694719


http://blog.csdn.net/halleyzhang3/article/details/11473961

http://www.360doc.com/content/14/0119/10/8122810_346350456.shtml


Android 用MediaCodec实现视频硬解码

本文向你讲述如何用Android标准的API （MediaCodec）实现视频的硬件编解码。例程将从摄像头采集视频开始，然后进行H264编码，再解码，然后显示。我将尽量讲得简短而清晰，不展示那些不相关的代码。但是，我不建议你读这篇文章，也不建议你开发这类应用，而应该转而开发一些戳鱼、打鸟、其乐融融的程序。好吧，下面的内容是写给那些执迷不悟的人的，看完之后也许你会同意我的说法：Android只是一个玩具，很难指望它来做靠谱的应用。

1、从摄像头采集视频

      可以通过摄像头Preview的回调，来获取视频数据。

      首先创建摄像头，并设置参数：


[java]  view plain copy
  1.                      cam = Camera.open();  
  2. cam.setPreviewDisplay(holder);                    
  3. Camera.Parameters parameters = cam.getParameters();  
  4. parameters.setFlashMode("off"); // 无闪光灯  
  5. parameters.setWhiteBalance(Camera.Parameters.WHITE_BALANCE_AUTO);  
  6. parameters.setSceneMode(Camera.Parameters.SCENE_MODE_AUTO);  
  7. parameters.setFocusMode(Camera.Parameters.FOCUS_MODE_AUTO);   
  8. parameters.setPreviewFormat(ImageFormat.YV12);       
  9. parameters.setPictureSize(camWidth, camHeight);  
  10. parameters.setPreviewSize(camWidth, camHeight);  
  11.     //这两个属性 如果这两个属性设置的和真实手机的不一样时，就会报错  
  12. cam.setParameters(parameters);            
宽度和高度必须是摄像头支持的尺寸，否则会报错。要获得所有支持的尺寸，可用getSupportedPreviewSizes，这里不再累述。据说所有的参数必须设全，漏掉一个就可能报错，不过只是据说，我只设了几个属性也没出错。    然后就开始Preview了：

[java]  view plain copy
  1. buf = new byte[camWidth * camHeight * 3 / 2];  
  2. cam.addCallbackBuffer(buf);  
  3. cam.setPreviewCallbackWithBuffer(this);           
  4. cam.startPreview();   

  setPreviewCallbackWithBuffer是很有必要的，不然每次回调系统都重新分配缓冲区，效率会很低。

    在onPreviewFrame中就可以获得原始的图片了（当然，this 肯定要 implements PreviewCallback了）。这里我们是把它传给编码器：

[java]  view plain copy
  1. public void onPreviewFrame(byte[] data, Camera camera) {  
  2.     if (frameListener != null) {  
  3.         frameListener.onFrame(data, 0, data.length, 0);  
  4.     }  
  5.     cam.addCallbackBuffer(buf);  
  6. }  
2、编码

    首先要初始化编码器：

[java]  view plain copy
  1.       mediaCodec = MediaCodec.createEncoderByType("Video/AVC");  
  2. MediaFormat mediaFormat = MediaFormat.createVideoFormat(type, width, height);  
  3. mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 125000);  
  4. mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 15);  
  5. mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar);  
  6. mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 5);  
  7. mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);  
  8. mediaCodec.start();  

    然后就是给他喂数据了，这里的数据是来自摄像头的：

[java]  view plain copy
  1. public void onFrame(byte[] buf, int offset, int length, int flag) {  
  2.    ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers();  
  3.    ByteBuffer[] outputBuffers = mediaCodec.getOutputBuffers();  
  4.    int inputBufferIndex = mediaCodec.dequeueInputBuffer(-1);  
  5.    if (inputBufferIndex >= 0)  
  6.        ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];  
  7.        inputBuffer.clear();  
  8.        inputBuffer.put(buf, offset, length);  
  9.        mediaCodec.queueInputBuffer(inputBufferIndex, 0, length, 0, 0);  
  10.    }  
  11.    MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();  
  12.    int outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo,0);  
  13.    while (outputBufferIndex >= 0) {  
  14.        ByteBuffer outputBuffer = outputBuffers[outputBufferIndex];  
  15.        if (frameListener != null)  
  16.            frameListener.onFrame(outputBuffer, 0, length, flag);  
  17.        mediaCodec.releaseOutputBuffer(outputBufferIndex, false);  
  18.        outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);  
  19.    }   
先把来自摄像头的数据喂给它，然后从它里面取压缩好的数据喂给解码器。

3、解码和显示

     首先初始化解码器：

[java]  view plain copy
  1. mediaCodec = MediaCodec.createDecoderByType("Video/AVC");  
  2. MediaFormat mediaFormat = MediaFormat.createVideoFormat(mime, width, height);  
  3. mediaCodec.configure(mediaFormat, surface, null, 0);  
  4. mediaCodec.start();  

             这里通过给解码器一个surface，解码器就能直接显示画面。

     然后就是处理数据了：

[java]  view plain copy
  1. public void onFrame(byte[] buf, int offset, int length, int flag) {  
  2.         ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers();  
  3.             int inputBufferIndex = mediaCodec.dequeueInputBuffer(-1);  
  4.         if (inputBufferIndex >= 0) {  
  5.             ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];  
  6.             inputBuffer.clear();  
  7.             inputBuffer.put(buf, offset, length);  
  8.             mediaCodec.queueInputBuffer(inputBufferIndex, 0, length, mCount * 1000000 / FRAME_RATE, 0);  
  9.                    mCount++;  
  10.         }  
  11.   
  12.        MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();  
  13.        int outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo,0);  
  14.        while (outputBufferIndex >= 0) {  
  15.            mediaCodec.releaseOutputBuffer(outputBufferIndex, true);  
  16.            outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);  
  17.        }  
  18. }  
        queueInputBuffer第三个参数是时间戳，其实怎么写都无所谓，只要是按时间线性增加的就可以，这里就随便弄一个了。后面一段的代码就是把缓冲区给释放掉，因为我们直接让解码器显示，就不需要解码出来的数据了，但是必须要这么释放一下，否则解码器始终给你留着，内存就该不够用了。


好了，到现在，基本上就可以了。如果你运气够好，现在就能看到视频了，比如在我的三星手机上这样就可以了。但是，我试过几个其他平台，多数都不可以，总是有各种各样的问题，如果要开发一个不依赖平台的应用，还有很多的问题要解决。说说我遇到的一些情况：


1、视频尺寸

     一般都能支持176X144/352X288这种尺寸，但是大一些的，640X480就有很多机子不行了，至于为什么，我也不知道。当然，这个尺寸必须和摄像头预览的尺寸一致，预览的尺寸可以枚举一下。

2、颜色空间

    根据ANdroid SDK文档，确保所有硬件平台都支持的颜色，在摄像头预览输出是YUV12，在编码器输入是COLOR_FormatYUV420Planar，也就是前面代码中设置的那样。       不过，文档终究是文档，否则安卓就不是安卓。

    在有的平台上，这两个颜色格式是一样的，摄像头的输出可以直接作为编码器的输入。也有的平台，两个是不一样的，前者就是YUV12，后者等于I420，需要把前者的UV分量颠倒一下。下面的代码效率不高，可供参考。

[java]  view plain copy
  1. byte[] i420bytes = null;  
  2. private byte[] swapYV12toI420(byte[] yv12bytes, int width, int height) {  
  3.     if (i420bytes == null)  
  4.         i420bytes = new byte[yv12bytes.length];  
  5.     for (int i = 0; i < width*height; i++)  
  6.         i420bytes[i] = yv12bytes[i];  
  7.     for (int i = width*height; i < width*height + (width/2*height/2); i++)  
  8.         i420bytes[i] = yv12bytes[i + (width/2*height/2)];  
  9.     for (int i = width*height + (width/2*height/2); i < width*height + 2*(width/2*height/2); i++)  
  10.         i420bytes[i] = yv12bytes[i - (width/2*height/2)];  
  11.     return i420bytes;  
  12. }  
      这里的困难是，我不知道怎样去判断是否需要这个转换。据说，Android 4.3不用再从摄像头的PreView里面取图像，避开了这个问题。这里有个例子，虽然我没读，但看起来挺厉害的样子，应该不会有错吧（觉厉应然）。 http://bigflake.com/mediacodec/CameraToMpegTest.java.txt


3、输入输出缓冲区的格式

    SDK里并没有规定格式，但是，这种情况H264的格式基本上就是附录B。但是，也有比较有特色的，它就是不带那个StartCode，就是那个0x000001，搞得把他编码器编出来的东西送给他的解码器，他自己都解不出来。还好，我们可以自己加。

[java]  view plain copy
  1. ByteBuffer outputBuffer = outputBuffers[outputBufferIndex];  
  2. byte[] outData = new byte[bufferInfo.size + 3];  
  3.        outputBuffer.get(outData, 3, bufferInfo.size);  
  4. if (frameListener != null) {  
  5.     if ((outData[3]==0 && outData[4]==0 && outData[5]==1)  
  6.     || (outData[3]==0 && outData[4]==0 && outData[5]==0 && outData[6]==1))  
  7.     {  
  8.         frameListener.onFrame(outData, 3, outData.length-3, bufferInfo.flags);  
  9.     }  
  10.     else  
  11.     {  
  12.      outData[0] = 0;  
  13.      outData[1] = 0;  
  14.      outData[2] = 1;  
  15.         frameListener.onFrame(outData, 0, outData.length, bufferInfo.flags);  
  16.     }  
  17. }  

4、有时候会死在dequeueInputBuffer(-1)上面

根据SDK文档，dequeueInputBuffer 的参数表示等待的时间（毫秒），-1表示一直等，0表示不等。按常理传-1就行，但实际上在很多机子上会挂掉，没办法，还是传0吧，丢帧总比挂掉好。当然也可以传一个具体的毫秒数，不过没什么大意思吧。


在遇到上述的问题之后，我给出了我的感慨：Android是一个玩具。

这篇关于Android 用MediaCodec实现编码camera再解码的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/680596。

相关文章

Python使用Tenacity一行代码实现自动重试详解

Python使用Tenacity一行代码实现自动重试详解

《Python使用Tenacity一行代码实现自动重试详解》tenacity是一个专为Python设计的通用重试库,它的核心理念就是用简单、清晰的方式,为任何可能失败的操作添加重试能力,下面我们就来看... 目录一切始于一个简单的 API 调用Tenacity 入门：一行代码实现优雅重试精细控制：让重试按我
阅读更多...
Redis客户端连接机制的实现方案

Redis客户端连接机制的实现方案

《Redis客户端连接机制的实现方案》本文主要介绍了Redis客户端连接机制的实现方案,包括事件驱动模型、非阻塞I/O处理、连接池应用及配置优化,具有一定的参考价值,感兴趣的可以了解一下... 目录1. Redis连接模型概述2. 连接建立过程详解2.1 连php接初始化流程2.2 关键配置参数3. 最大连
阅读更多...
Python实现网格交易策略的过程

Python实现网格交易策略的过程

《Python实现网格交易策略的过程》本文讲解Python网格交易策略,利用ccxt获取加密货币数据及backtrader回测,通过设定网格节点,低买高卖获利,适合震荡行情,下面跟我一起看看我们的第一... 网格交易是一种经典的量化交易策略，其核心思想是在价格上下预设多个“网格”，当价格触发特定网格时执行买
阅读更多...
Android Paging 分页加载库使用实践

Android Paging 分页加载库使用实践

《AndroidPaging分页加载库使用实践》AndroidPaging库是Jetpack组件的一部分,它提供了一套完整的解决方案来处理大型数据集的分页加载,本文将深入探讨Paging库... 目录前言一、Paging 库概述二、Paging 3 核心组件1. PagingSource2. Pager3.
阅读更多...
python设置环境变量路径实现过程

python设置环境变量路径实现过程

《python设置环境变量路径实现过程》本文介绍设置Python路径的多种方法：临时设置（Windows用`set`,Linux/macOS用`export`）、永久设置（系统属性或shell配置文件... 目录设置python路径的方法临时设置环境变量（适用于当前会话）永久设置环境变量（Windows系统
阅读更多...
Python对接支付宝支付之使用AliPay实现的详细操作指南

Python对接支付宝支付之使用AliPay实现的详细操作指南

《Python对接支付宝支付之使用AliPay实现的详细操作指南》支付宝没有提供PythonSDK,但是强大的github就有提供python-alipay-sdk,封装里很多复杂操作,使用这个我们就... 目录一、引言二、准备工作2.1 支付宝开放平台入驻与应用创建2.2 密钥生成与配置2.3 安装ali
阅读更多...
Spring Security 单点登录与自动登录机制的实现原理

Spring Security 单点登录与自动登录机制的实现原理

《SpringSecurity单点登录与自动登录机制的实现原理》本文探讨SpringSecurity实现单点登录（SSO）与自动登录机制,涵盖JWT跨系统认证、RememberMe持久化Token... 目录一、核心概念解析1.1 单点登录（SSO）1.2 自动登录（Remember Me）二、代码分析三、
阅读更多...
PyCharm中配置PyQt的实现步骤

PyCharm中配置PyQt的实现步骤

《PyCharm中配置PyQt的实现步骤》PyCharm是JetBrains推出的一款强大的PythonIDE,结合PyQt可以进行pythion高效开发桌面GUI应用程序,本文就来介绍一下PyCha... 目录1. 安装China编程PyQt1.PyQt 核心组件2. 基础 PyQt 应用程序结构3. 使用 Q
阅读更多...
Python实现批量提取BLF文件时间戳

Python实现批量提取BLF文件时间戳

《Python实现批量提取BLF文件时间戳》BLF（BinaryLoggingFormat）作为Vector公司推出的CAN总线数据记录格式,被广泛用于存储车辆通信数据,本文将使用Python轻松提取... 目录一、为什么需要批量处理 BLF 文件二、核心代码解析：从文件遍历到数据导出1. 环境准备与依赖库
阅读更多...
linux下shell脚本启动jar包实现过程

linux下shell脚本启动jar包实现过程

《linux下shell脚本启动jar包实现过程》确保APP_NAME和LOG_FILE位于目录内,首次启动前需手动创建log文件夹,否则报错,此为个人经验,供参考,欢迎支持脚本之家... 目录linux下shell脚本启动jar包样例1样例2总结linux下shell脚本启动jar包样例1#!/bin
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2