Android音视频全面介绍与代码实践之CameraX(三)

本文主要是介绍Android音视频全面介绍与代码实践之CameraX(三)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Android在应用层提供丰富的音视频多媒体接口，本文主要介绍CameraX，背景是在Camera2基础上，提供Lifecycle生命周期管理，提供更加简洁易用接口，包括摄像头预览、拍照、录像、图片分析，另外支持扩展接口：自动切换弱光模式、焦外成像、HDR拍摄等。

第一篇文章探讨：MediaPlayer、MediaCodec、AudioTrack、MediaMuxer、MediaExtractor。第二篇文章探讨：MediaRecorder、AudioRecord、MediaMetadataRetriever、MediaProjection、AudioManager。

一、权限与依赖

二、配置参数

1、旋转角度

2、矩形裁剪

3、选择摄像头

4、相机分辨率

5、变焦与曝光

三、摄像头预览

1、使用PreviewView布局

2、请求CameraProvider

3、检查CameraProvider可用性

4、选择相机并绑定生命周期

5、监听相机状态

四、拍照

1、拍照接口

2、拍照模式

3、拍照实例并绑定生命周期

4、拍照保存

五、录像

1、配置录像参数

2、开始录像

六、图像分析

1、创建图像分析器

2、自定义分析器

七、扩展API

一、权限与依赖

使用摄像头需要camera权限和feature：

<uses-feature android:name="android.hardware.camera" />
<uses-permission android:name="android.permission.CAMERA" />

如果要录像录音，需要额外权限：

<uses-permission android:name="android.permission.RECORD_AUDIO" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />

摄像头核心库与扩展库依赖：

// CameraX core library
def camerax_version = '1.1.0-beta02'
implementation "androidx.camera:camera-core:$camerax_version"
implementation "androidx.camera:camera-camera2:$camerax_version"
implementation "androidx.camera:camera-lifecycle:$camerax_version"
implementation "androidx.camera:camera-view:$camerax_version"
implementation "androidx.camera:camera-video:${camerax_version}"
// CameraX Extensions library
implementation "androidx.camera:camera-extensions:$camerax_version"

二、配置参数

1、旋转角度

相机的旋转角度会设置为与默认的显示屏旋转角度保持一致。也可以通过Preview、ImageCapture、ImageAnalysis设置旋转角度。以ImageCapture拍照为例，监听屏幕方向变化，自适应设置旋转角度：

    val imageCapture = ImageCapture.Builder().build()val orientationEventListener = object : OrientationEventListener(this as Context) {override fun onOrientationChanged(orientation : Int) {val rotation : Int = when (orientation) {in 45..134 -> Surface.ROTATION_270in 135..224 -> Surface.ROTATION_180in 225..314 -> Surface.ROTATION_90else -> Surface.ROTATION_0}imageCapture.targetRotation = rotation}}orientationEventListener.enable()

2、矩形裁剪

默认情况下，显示完整预览画面，按照完整尺寸进行拍照。我们也可以通过ViewPort和UseCaseGroup自定义裁剪矩形区域。裁剪代码示例如下：

val viewPort =  ViewPort.Builder(Rational(width, height), display.rotation).build()
val useCaseGroup = UseCaseGroup.Builder().addUseCase(preview).addUseCase(imageAnalysis).addUseCase(imageCapture).setViewPort(viewPort).build()
cameraProvider.bindToLifecycle(lifecycleOwner, cameraSelector, useCaseGroup)

3、选择摄像头

CameraX会自动选择最佳摄像头设备。可以使用 CameraSelector.DEFAULT_FRONT_CAMERA 设置默认为前置摄像头，使用CameraSelector.DEFAULT_BACK_CAMERA 设置默认为后置摄像头。另外，可以通过CameraSelector来动态切换摄像头。

4、相机分辨率

CameraX会默认选择最佳分辨率，并且默认宽高比为4:3。也可以通过如下方法指定分辨率：

setTargetResolution(Size resolution);

5、变焦与曝光

CameraControl提供变焦、对焦、手电筒、曝光补偿等控制。按照变焦比例进行变焦setZoomRatio()，按照变焦系数进行变焦setLinearZoom()。对焦的方法如下：

CameraControl.startFocusAndMetering();

当应用需要对自动曝光 (AE) 输出结果以外的曝光值 (EV) 进行微调时，曝光补偿很有用。CameraX 将按以下方式组合曝光补偿值，以确定当前图像条件下所需的曝光：

Exposure = ExposureCompensationIndex * ExposureCompensationStep

设置曝光补偿索引值的方法如下：

Camera.CameraControl.setExposureCompensationIndex();

完整的CameraX介绍与参数配置，请查看文档：CameraX官方文档

三、摄像头预览

1、使用PreviewView布局

CameraX配合PreviewView控件进行预览，布局示例如下：

<FrameLayoutandroid:id="@+id/root"><androidx.camera.view.PreviewViewandroid:id="@+id/preview_view" />
</FrameLayout>

2、请求CameraProvider

在onCreate生命周期时，进行请求：

cameraProviderFuture = ProcessCameraProvider.getInstance(this)

3、检查CameraProvider可用性

得到CameraProvider后，检查其是否可用：

cameraProviderFuture.addListener(Runnable {val cameraProvider = cameraProviderFuture.get()bindPreview(cameraProvider)
}, ContextCompat.getMainExecutor(this))

4、选择相机并绑定生命周期

以选择后置摄像头为例，示例代码如下：

fun bindPreview(cameraProvider : ProcessCameraProvider) {// 1、创建Previewvar preview : Preview = Preview.Builder().build()// 2、选择后置摄像头var cameraSelector : CameraSelector = CameraSelector.Builder().requireLensFacing(CameraSelector.LENS_FACING_BACK).build()// 3、preview连接到previewViewpreview.setSurfaceProvider(previewView.getSurfaceProvider())// 4、绑定生命周期var camera = cameraProvider.bindToLifecycle(this as LifecycleOwner, cameraSelector, preview)
}

5、监听相机状态

相机状态包括：准备打开、打开中、已打开、关闭中、已关闭。而错误状态包括：流配置出错、相机在使用中、已达到最大数量、相机关闭等等。示例代码如下：

private fun observeCameraState(cameraInfo: CameraInfo) {cameraInfo.cameraState.observe(viewLifecycleOwner) { cameraState ->run {when (cameraState.type) {CameraState.Type.PENDING_OPEN -> {Toast.makeText(context, "CameraState: Pending Open", Toast.LENGTH_SHORT).show()}CameraState.Type.OPENING -> {Toast.makeText(context, "CameraState: Opening", Toast.LENGTH_SHORT).show()}CameraState.Type.OPEN -> {Toast.makeText(context, "CameraState: Open", Toast.LENGTH_SHORT).show()}CameraState.Type.CLOSING -> {Toast.makeText(context, "CameraState: Closing", Toast.LENGTH_SHORT).show()}CameraState.Type.CLOSED -> {Toast.makeText(context, "CameraState: Closed", Toast.LENGTH_SHORT).show()}}}cameraState.error?.let { error ->when (error.code) {CameraState.ERROR_STREAM_CONFIG -> {Log.e(TAG, "Stream config error")}CameraState.ERROR_CAMERA_IN_USE -> {Log.e(TAG,  "Camera is in using")}CameraState.ERROR_MAX_CAMERAS_IN_USE -> {Log.e(TAG, "Max cameras in use")}CameraState.ERROR_CAMERA_DISABLED -> {Log.e(TAG, "Camera disabled")}}}}
}

四、拍照

1、拍照接口

CameraX的拍照提供自动白平衡、自动曝光和自动对焦 (3A) 功能。使用takePicture进行拍照：

takePicture(Executor, OnImageCapturedCallback)：为拍摄的图片提供内存缓冲区；
takePicture(OutputFileOptions, Executor, OnImageSavedCallback)：将拍摄的图片保存到指定的文件位置；

2、拍照模式

拍照时使用闪光灯选项和连续自动对焦进行拍摄。如需缩短照片拍摄的延迟时间，我们可以把 ImageCapture.CaptureMode 设置为 CAPTURE_MODE_MINIMIZE_LATENCY。如需优化照片质量，则设置为 CAPTURE_MODE_MAXIMIZE_QUALITY。

3、拍照实例并绑定生命周期

创建ImageCapture对象实例，并且绑定到生命周期：

val imageCapture = ImageCapture.Builder().setTargetRotation(view.display.rotation).setCaptureMode(ImageCapture.CAPTURE_MODE_MINIMIZE_LATENCY).build()cameraProvider.bindToLifecycle(lifecycleOwner, cameraSelector, imageCapture,imageAnalysis, preview)

4、拍照保存

以拍照保存为例，相关代码如下：

fun doTakePicture(photoFile: File) {imageCapture?.let { imageCapture ->val metadata = Metadata().apply {// 前置摄像头需要水平镜像isReversedHorizontal = lensFacing == CameraSelector.LENS_FACING_FRONT}// 指定保存图片路径，并设置metadataval outputOptions = ImageCapture.OutputFileOptions.Builder(photoFile).setMetadata(metadata).build()// 开始拍照，监听拍照结果回调imageCapture.takePicture(outputOptions, cameraExecutor, object : ImageCapture.OnImageSavedCallback {override fun onError(exc: ImageCaptureException) {Log.e(TAG, "Photo capture error: ${exc.message}")}override fun onImageSaved(output: ImageCapture.OutputFileResults) {val savedUri = output.savedUri ?: Uri.fromFile(photoFile)// 发送广播通知更新相册if (Build.VERSION.SDK_INT < Build.VERSION_CODES.N) {requireActivity().sendBroadcast(Intent(android.hardware.Camera.ACTION_NEW_PICTURE, savedUri))}// 扫描媒体库val mimeType = MimeTypeMap.getSingleton().getMimeTypeFromExtension(savedUri.toFile().extension)MediaScannerConnection.scanFile(context,arrayOf(savedUri.toFile().absolutePath),arrayOf(mimeType)) { _, uri ->Log.d(TAG, "Photo scanned into media store: $uri")}}})}
}

五、录像

1、配置录像参数

CameraX提供VideoCapture进行录像，配置步骤：选择摄像头、选择分辨率、连接PreviewView、创建videoCapture对象、绑定生命周期。示例代码如下：

    private suspend fun bindCaptureUsecase() {val cameraProvider = ProcessCameraProvider.getInstance(requireContext()).await()// 选择前置/后置摄像头val cameraSelector = getCameraSelector(cameraIndex)// 选择分辨率val quality = cameraCapabilities[cameraIndex].qualities[qualityIndex]val qualitySelector = QualitySelector.from(quality)// 连接preview到previewViewval preview = Preview.Builder().setTargetAspectRatio(quality.getAspectRatio(quality)).build()preview.setSurfaceProvider(captureViewBinding.previewView.surfaceProvider)// 创建videoCapture对象val recorder = Recorder.Builder().setQualitySelector(qualitySelector).build()videoCapture = VideoCapture.withOutput(recorder)try {// 绑定生命周期cameraProvider.unbindAll()cameraProvider.bindToLifecycle(viewLifecycleOwner, cameraSelector, videoCapture, preview)} catch (e: Exception) {Log.e(TAG, "VideoCapture binding failed:$e")}}

2、开始录像

先调用VideoCapture的prepareRecording()准备就绪，然后调用start()开始。示例代码如下：

    private fun startRecording() {// 设置存储路径与名称val name = "hello.mp4"val contentValues = ContentValues().apply {put(MediaStore.Video.Media.DISPLAY_NAME, name)}val mediaStoreOutput = MediaStoreOutputOptions.Builder(requireActivity().contentResolver,MediaStore.Video.Media.EXTERNAL_CONTENT_URI).setContentValues(contentValues).build()// 准备与开始录像currentRecording = videoCapture.output.prepareRecording(requireActivity(), mediaStoreOutput).apply { if (audioEnabled) withAudioEnabled() }.start(mainThreadExecutor, captureListener)}

六、图像分析

1、创建图像分析器

使用ImageAnalysis创建图像分析器，设置图像宽高比、旋转角度，然后设置自定义分析器，最终绑定生命周期，示例代码如下：

// 构建图像分析器
imageAnalyzer = ImageAnalysis.Builder().setTargetAspectRatio(screenAspectRatio).setTargetRotation(rotation).build()
// 设置亮度分析器
imageAnalyzer?.setAnalyzer(cameraExecutor, LuminanceAnalyzer { luma ->Log.d(TAG, "Average luminance: $luma")})
// 绑定生命周期
camera = cameraProvider.bindToLifecycle(this, cameraSelector, preview, imageCapture, imageAnalyzer)

2、自定义分析器

自定义的图像亮度分析器，继承ImageAnalysis.Analyzer，示例代码如下：

    private class LuminosityAnalyzer(listener: LumaListener? = null) : ImageAnalysis.Analyzer {private val listeners = ArrayList<LumaListener>().apply { listener?.let { add(it) } }private fun ByteBuffer.toByteArray(): ByteArray {rewind()val data = ByteArray(remaining())get(data)return data}override fun analyze(image: ImageProxy) {if (listeners.isEmpty()) {image.close()return}// 取出luminance plane，即Y分量val buffer = image.planes[0].bufferval data = buffer.toByteArray()// 转成像素数组，取值范围0-255val pixels = data.map { it.toInt() and 0xFF }// 计算平均亮度val luma = pixels.average()// 结果回调listeners.forEach { it(luma) }// 关闭imageimage.close()}}

七、扩展API

CameraX提供Extensions API接口，用于实现如下特效：

自动切换：根据周围场景自动调整最终图片。例如，扩展库会执行弱光检测，切换到弱光模式或 HDR 模式以拍摄照片；
焦外成像：焦外成像模式会使前景人物看起来更加清晰，并对照片背景进行模糊处理；
脸部修复：拍摄静态图片时修复脸部肤色；
HDR：HDR 模式会在黑暗环境凸显亮度，提升画质；
夜间模式：在光线较暗的情况下（通常是在夜间）拍摄最佳的静态图片；

扩展库的框架图如下：

初始化扩展库过程如下：

    fun initExtension() {// 创建扩展管理器val extensionsManager = ExtensionsManager.getInstanceAsync(context, cameraProvider).await()// 选择摄像头val cameraSelector = CameraSelector.DEFAULT_BACK_CAMERA// 检测扩展库是否可用if (extensionsManager.isExtensionAvailable(cameraSelector, ExtensionMode.BOKEH)) {cameraProvider.unbindAll()val bokehCameraSelector = extensionsManager.getExtensionEnabledCameraSelector(cameraSelector, ExtensionMode.BOKEH)// 创建ImageCapture和Preview实例val imageCapture = ImageCapture.Builder().build()val preview = Preview.Builder().build()// 绑定生命周期cameraProvider.bindToLifecycle(lifecycleOwner, bokehCameraSelector, imageCapture, preview)}}

至此，Android多媒体CameraX的相机预览、拍照、录像、图像分析、扩展库介绍完毕。

这篇关于Android音视频全面介绍与代码实践之CameraX(三)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

Android音视频全面介绍与代码实践之CameraX(三)

一、权限与依赖

二、配置参数

1、旋转角度

2、矩形裁剪

3、选择摄像头

4、相机分辨率

5、变焦与曝光

三、摄像头预览

1、使用PreviewView布局

2、请求CameraProvider

3、检查CameraProvider可用性

4、选择相机并绑定生命周期

5、监听相机状态

四、拍照

1、拍照接口

2、拍照模式

3、拍照实例并绑定生命周期

4、拍照保存

五、录像

1、配置录像参数

2、开始录像

六、图像分析

1、创建图像分析器

2、自定义分析器

七、扩展API

相关文章

使用Python和PaddleOCR实现图文识别的代码和步骤

Android 实现一个隐私弹窗功能

Redis实现分布式锁全解析之从原理到实践过程

Android实现一键录屏功能(附源码)

Android 12解决push framework.jar无法开机的方法小结

MySQL主从同步延迟问题的全面解决方案

SpringBoot中四种AOP实战应用场景及代码实现

Android开发环境配置避坑指南

Android实现定时任务的几种方式汇总(附源码)

在 Spring Boot 中实现异常处理最佳实践

Android音视频全面介绍与代码实践之CameraX(三)

一、权限与依赖

二、配置参数

1、旋转角度

2、矩形裁剪

3、选择摄像头

4、相机分辨率

5、 变焦与曝光

三、摄像头预览

1、使用PreviewView布局

2、请求CameraProvider

3、检查CameraProvider可用性

4、选择相机并绑定生命周期

5、监听相机状态

四、拍照

1、拍照接口

2、拍照模式

3、拍照实例并绑定生命周期

4、拍照保存

五、录像

1、配置录像参数

2、开始录像

六、图像分析

1、创建图像分析器

2、自定义分析器

七、扩展API

相关文章

5、变焦与曝光