YUV图像格式详解

2023-11-04 21:30
文章标签 详解 yuv 图像格式

本文主要是介绍YUV图像格式详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.概述

YUV是一种图像颜色编码方式。

相对于常见且直观的RGB颜色编码,YUV的产生自有其意义,它基于人眼对亮度色彩的敏感度更高的特点,使用Y、U、V三个分量来表示颜色,并通过降低U、V分量的采样率,尽可能保证图像质量的情况下,做到如下3点:

  • 占用更低的存储空间
  • 数据传输效率更高
  • 兼容黑白与彩色显示

具体是怎么做到的,后文中会一一讲解,在此之前,先简单过一下图像基础知识

2.像素

想要深入了解YUV格式,必须得从Bit、Byte级别“看穿看透”

Bit:位 —— 计算机硬件系统能识别的最基础单位
Byte:字节 —— 计算机文件系统能识别的最基础单位
像素:Pixel —— 显示图像的最基础单位

显示器上的一个像素点对应图像里的一个像素,不管哪种显示器,最终都是以像素为最小单位进行图像呈现。

  • 早期CRT显示器通过显像管中电子枪喷射电子流到屏幕实现。
  • 现在的LCD显示器通过电压改变液晶分子排列实现。
  • LED和OLED显示器则是通过点阵式发光二极管实现。

不论技术怎么革新,有两点是始终不变的:

  1. 显示的基础单元是像素
  2. 每个像素的色彩由红、绿、蓝三原色混合实现

三原色是什么?显示器像素点的颜色数据是怎么排列存储的?

带着问题先了解下RGB,为YUV的了解做个铺垫

3.RGB

RGB:用R、G、B三个分量来表示像素点颜色

  • R:红(Red)
  • G:绿(Green)
  • B:蓝(Blue)

这三种颜色就称为三原色,它们以不同比例混合能生成其他任意颜色

RGB表示一帧图像:

  • 每个像素点背后都包含一组R、G、B分量,像素点的颜色就是它们的混合
  • R、G、B每个分量分别占1个byte,也就是8个bit (也有其他精度,本博文不作研究)

一张分辨率 1280 * 720 的RGB图片,占用 1280 * 720 * 3 / 1024 / 1024 = 2.63MB 空间。

4.YUV表示图像

YUV:用Y、U、V三个分量来表示像素颜色

  • Y 表示亮度(Luminance、缩写Luma),即为灰度值
  • U 和 V 表示色度(Chrominance、缩写Chroma),即为色调和饱和度

YUV表示一帧图像:

默认Y、U、V每个分量占用存储空间1个byte(也有其他精度,本博文不作研究)

一张分辨率为 1280 * 720 的YUV图片,采用上图里每个像素都包含一组Y、U、V分量的情况下,还是会占用 "1280 * 720 * 3 / 1024 / 1024 = 2.63 MB" 空间。

问题来了,这不是跟RGB占用的空间一样吗?并没有什么优化啊!

前文概述中提到过,YUV是通过降低U、V分量的采样率来实现它占用空间小传输效率高的优势。

也就是图像每个像素的Y分量都被完整采样全部保存,但是U、V分量只做部分采样,让多个像素按照一些规则共用U、V分量

5.YUV类别

根据U、V分量的采样率不同也就是多个像素共用U、V分量的规则不同YUV有如下几个常见类别:

  • 4:4:4 一个像素一组Y、U、V
  • 4:4:0 垂直方向两个像素共用一组U、V
  • 4:2:2 水平方向两个像素共用一组U、V
  • 4:2:0 水平垂直四个像素共用一组U、V
  • 4:1:1 水平方向四个像素共用一组U、V

(1).YUV444:

每个像素都包含一组完整的Y、U、V分量
YUV444 每个像素占用的存储空间,也就是像素深度(piex_depth)为:3 * 8bit = 24bits
一帧 YUV444 图像占用的空间就是:w * h * 3byte 

(2).YUV440:

垂直方向两个相邻的像素共用一组U、V
YUV440的像素深度(piexl_depth):(1 * 8bit) + (0.5 *8bit) + (0.5 *8bit) = 16bits
一帧 YUV444 图像占用的空间就是:w * h * 2byte 

(3).YUV422:

水平方向两个相邻的像素共用一组U、V
YUV422 的像素深度(piexl_depth):(1 * 8bit) + (0.5 *8bit) + (0.5 *8bit) = 16bits
一帧 YUV444 图像占用的空间就是:w * h * 2byte 

(4).YUV411:

水平方向两个相邻的像素共用一组U、V
YUV411 的像素深度(piexl_depth):(1 * 8bit) + 2*(0.25 *8bit)  = 12bits
一帧 YUV444 图像占用的空间就是:w * h * 1.5byte

(5).YUV420:

水平垂直方向四个相邻的像素共用一组U、V
YUV420的像素深度(piexl_depth):(1 * 8bit) + 2*(0.25 *8bit)  = 12bits
一帧YUV444图像占用的空间就是:w * h * 1.5byte

注意: 

YUV420 因为是 2x2 矩阵平面的4个像素共用一组U、V
所以它的像素排列顺序在内存空间中有其特定规律,按"Z"字型排列

参考链接:2.7.1.2. Planar YUV formats — The Linux Kernel documentation 

(6).综述

如上所述,根据U、V分量不同的采样规则,YUV可以分为多个类别

以上列举的是较为常见的几种,还有其他YUV类别,有兴趣可自行研究

每一类YUV又可以根据Y、U、V三个分量数据的存储排列方式不同细分出不同格式

6.YUV数据存储模式

(1).三种存储模式

  • planar平面模式:先连续存储所有像素点的 Y 分量,
                                 再连续存 U 分量,
                                 然后连续存 V 分量
  • Semi-Planar半平面模式:先连续存储所有像素点的 Y 分量,
                                              再交替存储U、V分量
  • packed 打包模式:连续交替存储每个像素点的 Y、U、V 分量

注:在YUV422中,有时候会看到还有一种 Interleaved 模式,它其实就是 Packed,
       只不过YUV422格式中有人觉得用 Interleaved 这个词更形象一些,
       所以在YUV422中有时会用 Interleaved 代替 Packed 表述。

(2).三种存储模式图示:

以一张全采样 4x4=16 个像素的 ​​​​​​YUV444 格式图像为例,
它在三种模式下各分量在内存空间的排列如下:

Planar:3个矩阵平面分别存储Y、U、V分量数据

Semi-Planar:Semi即为"一半",一个矩阵平面存Y,存U、V只用Planar的一半一个矩阵平面

Packed:Y、U、V三个分量交替存一个矩阵平面

当然,即便是YUV444全采样类别,三种模式下Y、U、V分量的存储排列也不仅仅只有上述三种,还可以排列出很多花样,产生多种格式,这一点在后面的章节会详细讲到。

(3) Y、U、V分量对应Byte[ ]数组示例

如果要对图像做一些操作,比如图像格式转换,任意区域裁剪,色值修改,像素插值等,就需要在图像最基础单元byte层面,将图像数据从内存中读出解析到byte[ ]数组来操作。

不同模式解析出来的byte[ ]数组个数是不一样的

  • Planar:          3个byte[ ],分别对应Y、U、V 分量数据
  • Semi-Planar:2个byte[ ],分别对应 Y 和 (U、V)
  • Packed:        1个byte[ ],对应(Y、U、V)

Android Camera2中有个很形象的示例:
onImageAvailable(ImageReader reader) 回调获取到的Image图像就是YUV420 planar格式,Image3个分别包含ByteBufferPlane,每个PlaneByteBuffer解析成byte[ ]后,就会有如下对应关系:

@Override
public void onImageAvailable(ImageReader reader) {Image image = reader.acquireNextImage();ByteBuffer bufferY = image.getPlanes()[0].getBuffer();ByteBuffer bufferU = image.getPlanes()[1].getBuffer();ByteBuffer bufferV = image.getPlanes()[2].getBuffer();byte[] bytesY = new byte[bufferY.capacity()];byte[] bytesU = new byte[bufferU.capacity()];byte[] bytesV = new byte[bufferV.capacity()];bufferY.get(bytesY);bufferU.get(bytesU);bufferV.get(bytesV);image.close();
}

YUV420 planar:
byetdata[0]
—— Y分量, Y1, Y2, Y3, Y4, Y5, Y6, Y7, Y8…, Y16, …
byetdata[1] —— U分量, U1, U2, U3, U4……
byetdata[2] —— V分量, V1, V2, V3, V4 ……

假设一下,
如果拿到的不是planar而是YUV420 semi-planar  YUV444 packed
图像数据解析成byte[ ]后的对应关系:
YUV420 semi-planar
byetdata[0] —— Y分量,        Y1, Y2, Y3, Y4, Y5, Y6, Y7, Y8……
byetdata[1] —— U、V分量,  U1, V1, U2, V2……
byetdata[2] 没有

YUV444 packed:
byetdata[0] ——-Y、U、V分量,  Y1, U1, V1, Y2, U2, V2, Y3, U3, V3……
byetdata[1] byetdata[2] 没有

这么看可能不是太直观,下面就用图示看看不同格式的YUV,它的三个分量是怎么排列存储的

7.YUV格式详细注解

一帧宽:w,高:h 的YUV图像,

8个像素为例,一些常见YUV格式分量的存储排列如下:

7.1 YUV420

(1).YUV420 Plannar:I420

YUV分量分别存放,先是 w * h 个的 Y,后面跟 w * h * 0.25 个 U, 最后是 w * h * 0.25 个 V
每个像素占用空间(像素深度):1.5byte
总大小为: w * h * 1.5

(2).YUV420 Plannar:YV12

YUV 分量分别存放,先是 w * h 个 Y,后面跟 w * h * 0.25 个 V, 最后是 w * h * 0.25 个 U
每个像素占用空间(像素深度):1.5byte
总大小为: w * h * 1.5

(3).YUV420 Semi-Planar:NV12

Y 分量单独存放,UV 分量交错存放,UV 在排列的时候,从 U 开始
每个像素占用空间(像素深度):1.5byte
总大小为: w * h * 1.5

(4).YUV420 Semi-Planar:NV21

Y 分量单独存放,UV 分量交错存放,UV 在排列的时候,从 V开始
每个像素占用空间(像素深度):1.5byte
总大小为:w * h * 1.5

7.2 YUV422

(1).YUV422 Plannar:I422

YUV 分量分别存放,先是 w * h 个 Y,后面跟 w * h * 0.5 个 U, 最后是 w * h * 0.5 个 V
每个像素占用空间(像素深度):2byte
总大小为: w * h * 2

(2).YUV422 Plannar:YV16

UV 分量分别存放,先是 w * h 个 Y,后面跟 w * h * 0.5 个 V, 最后是 w * h * 0.5 个 U
每个像素占用空间(像素深度):2byte
总大小为: w * h * 2

(3).YUV422 Semi-Planar:NV61

Y 分量单独存放,UV 分量交错存放,UV 在排列的时候,从 V 开始
每个像素占用空间(像素深度):2byte
总大小为:w * h * 2

(4).YUV422 Semi-Planar:NV16

Y 分量单独存放,UV 分量交错存放,UV 在排列的时候,从 U 开始
每个像素占用空间(像素深度):2byte
总大小为:w * h * 2

(4).YUV422Packed (Interleaved):YUVY

Interleaved 即是 Packed ,在 Packed 内部,YUV 的排列顺序是 Y U V Y,两个 Y 共用一组 UV
每个像素占用空间(像素深度):2byte
总大小为:w * h * 2

(6).YUV422Packed (Interleaved):UYVY

YUV 的排列顺序是 UYVY,两个 Y 共用一组 UV
每个像素占用空间(像素深度):2byte
总大小为:w * h * 2

7.3 YUV444

(1).YUV444 Plannar:I444

YUV 分量分别存放,先是 w * h 个 Y,后面跟 w * h 个 U, 最后是 w * h 个 V
每个像素占用空间(像素深度):3byte
总大小为: w * h * 3

(2).YUV444 Plannar:YV24

YUV 分量分别存放,先是 w * h 个 Y,后面跟 w * h 个 V, 最后是 w * h 个 U
每个像素占用空间(像素深度):3byte
总大小为:w * h * 3

(3).YUV444 Semi-Planar:NV24

Y 分量单独存放,UV 分量交错存放,UV 在排列的时候,从 U 开始。
每个像素占用空间(像素深度):3byte
总大小为:w * h * 3

(4).YUV444 Semi-Planar:NV42

Y 分量单独存放,UV 分量交错存放,UV 在排列的时候,从 V 开始。
每个像素占用空间(像素深度):3byte
总大小为:w * h * 3

8.YUV格式详图

下图即为YUV常见格式详细图示,方便后续查阅

最后一列仍是以8个像素点为例,简略地表示每个格式Y、U、V分量的存储排列

9.结束语

关于YUV格式就先讲解这么多。

在此篇博文撰写过程中,也参考了多篇官方和非官方的资料文档。

非官方的博文资料有的会出现一些纰漏,比如某种格式NV24,是UV交替还是VU交替,有的个人文档里就表述错了,遇到这种问题就需要参考官方资料进行比对。

感谢这些官方机构和个人博主们。

参考链接如下:

官方参考链接:
2. Image Formats — The Linux Kernel documentation
2.10. YUV Formats — The Linux Kernel documentation
2.7.1.2. Planar YUV formats — The Linux Kernel documentation
YUV - VideoLAN Wiki
Video Rendering with 8-Bit YUV Formats | Microsoft Learn

个人博客参考连接:
YUV 格式详解,只看这一篇就够了(转) - 知乎
YUV图像的常见格式(图示)_yuv图片-CSDN博客
YUV格式到底是什么?-CSDN博客
【精选】YUV格式详解【全】_编码笔记的博客-CSDN博客
音视频基础之YUV格式-CSDN博客
【精选】安卓camera2 API获取YUV420_888格式详解_yuv_420_888-CSDN博客

这篇关于YUV图像格式详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/345506

相关文章

Java注解之超越Javadoc的元数据利器详解

《Java注解之超越Javadoc的元数据利器详解》本文将深入探讨Java注解的定义、类型、内置注解、自定义注解、保留策略、实际应用场景及最佳实践,无论是初学者还是资深开发者,都能通过本文了解如何利用... 目录什么是注解?注解的类型内置注编程解自定义注解注解的保留策略实际用例最佳实践总结在 Java 编程

MySQL数据库约束深入详解

《MySQL数据库约束深入详解》:本文主要介绍MySQL数据库约束,在MySQL数据库中,约束是用来限制进入表中的数据类型的一种技术,通过使用约束,可以确保数据的准确性、完整性和可靠性,需要的朋友... 目录一、数据库约束的概念二、约束类型三、NOT NULL 非空约束四、DEFAULT 默认值约束五、UN

Python使用Matplotlib绘制3D曲面图详解

《Python使用Matplotlib绘制3D曲面图详解》:本文主要介绍Python使用Matplotlib绘制3D曲面图,在Python中,使用Matplotlib库绘制3D曲面图可以通过mpl... 目录准备工作绘制简单的 3D 曲面图绘制 3D 曲面图添加线框和透明度控制图形视角Matplotlib

MySQL中的分组和多表连接详解

《MySQL中的分组和多表连接详解》:本文主要介绍MySQL中的分组和多表连接的相关操作,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录mysql中的分组和多表连接一、MySQL的分组(group javascriptby )二、多表连接(表连接会产生大量的数据垃圾)MySQL中的

Java 实用工具类Spring 的 AnnotationUtils详解

《Java实用工具类Spring的AnnotationUtils详解》Spring框架提供了一个强大的注解工具类org.springframework.core.annotation.Annot... 目录前言一、AnnotationUtils 的常用方法二、常见应用场景三、与 JDK 原生注解 API 的

redis中使用lua脚本的原理与基本使用详解

《redis中使用lua脚本的原理与基本使用详解》在Redis中使用Lua脚本可以实现原子性操作、减少网络开销以及提高执行效率,下面小编就来和大家详细介绍一下在redis中使用lua脚本的原理... 目录Redis 执行 Lua 脚本的原理基本使用方法使用EVAL命令执行 Lua 脚本使用EVALSHA命令

SpringBoot3.4配置校验新特性的用法详解

《SpringBoot3.4配置校验新特性的用法详解》SpringBoot3.4对配置校验支持进行了全面升级,这篇文章为大家详细介绍了一下它们的具体使用,文中的示例代码讲解详细,感兴趣的小伙伴可以参考... 目录基本用法示例定义配置类配置 application.yml注入使用嵌套对象与集合元素深度校验开发

Python中的Walrus运算符分析示例详解

《Python中的Walrus运算符分析示例详解》Python中的Walrus运算符(:=)是Python3.8引入的一个新特性,允许在表达式中同时赋值和返回值,它的核心作用是减少重复计算,提升代码简... 目录1. 在循环中避免重复计算2. 在条件判断中同时赋值变量3. 在列表推导式或字典推导式中简化逻辑

Java Stream流使用案例深入详解

《JavaStream流使用案例深入详解》:本文主要介绍JavaStream流使用案例详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录前言1. Lambda1.1 语法1.2 没参数只有一条语句或者多条语句1.3 一个参数只有一条语句或者多

SpringBoot整合mybatisPlus实现批量插入并获取ID详解

《SpringBoot整合mybatisPlus实现批量插入并获取ID详解》这篇文章主要为大家详细介绍了SpringBoot如何整合mybatisPlus实现批量插入并获取ID,文中的示例代码讲解详细... 目录【1】saveBATch(一万条数据总耗时:2478ms)【2】集合方式foreach(一万条数