VVC/H.266 VTM10.0 代码阅读记录 (1. nal_unit_type 与 帧类型)

2023-10-30 22:59

本文主要是介绍VVC/H.266 VTM10.0 代码阅读记录 (1. nal_unit_type 与 帧类型),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

从2019年12月后,由于先后两段实习,没有认真跟过最新的标准和代码,感觉落下挺多东西。
接下来的一段时间,没有了秋招和paper的压力,下定决心重新整理和学习一下视频编解码的东西,包括VVC、AVS3和X264,有时间再看一下AV1。
在此系列,记录一下VVC的学习心得以及VTM10.0的代码阅读记录(可能会比较乱,博客主要是当成草稿纸使用)。

在之前发的博客里面,总结过 NALU提取 和 non-VCLU解码 两部分代码和内容。

VVC/H.266代码阅读(VTM8.0)(一. NALU提取)
VVC/H.266代码阅读(VTM8.0)(二. non-VCLU解码)

但是,现在回顾博客,针对 nal_unit_type 和 帧类型 这块,并没有学习记录也没有理解透彻,现在根据 draft 记录一下这部分的学习内容。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

nal_unit_type 指定了 NALU 的类型。应遵循以下规则:

① 对于一个 subpicture 的所有 VCL NAL,nal_unit_type 应该是相同的。
② PPS 里面有一个 pps_mixed_nalu_types_in_pic_flag。该值等于0时,指定引用PPS的每个图片有一个或多个VCL NAL单位,并且引用PPS的每个图片的VCL NAL单位具有相同的nal_unit_type值。该值等于1时,指定引用PPS的每个图片有一个以上的VCL NAL单元,并且VCL NAL单元不具有相同的nal_unit_type值。
③ 如果 pps_mixed_nalu_types_in_pic_flag 等于0, 一幅图像的所有 VCL NAL 单元的 nal_unit_type应当相同的。如果 pps_mixed_nalu_types_in_pic_flag 等于1: ① 图片最少有两个 subpictures。 ② 图片的 VCL NAL 单元应该有两个或更多不同的nal_unit_type 值。③ 图片中没有 nal_unit_type 等于 GDR_NUT 的 VCL NAL 单元。④ 当图片的一个 VCL NAL 单位有nal_unit_type 等于 nalUnitTypeA (IDR_W_RADL, IDR_N_LP或CRA_NUT),图片的其他 VCL NAL 单位 nal_unit_type 都等于 nalUnitTypeA 或 TRAIL_NUT。
④ IRAP 或 GDR AU 中的所有图片的 nal_unit_type 的值应该是相同的。

下表就是 nal_unit_type 对应的 NALU的类型。下面的叙述不区分 picture 和 subpicture,一律用 帧/图像 来统一描述。

在这里插入图片描述

  • 0 - 3,7 - 10 对应的是VCLU,负责高效的视频内容表示。

  • 12 - 25 对应的是non-VCLU,是一些参数集或者信息内容。

  • 0 - 1 后置图像,2 - 3 前置图像,7 - 10 IRAP 帧内随机接入点图像。

  • 0 Trail 是后置接入图像,解码顺序和显示顺序都在 IRAP 和 GDR 帧之后。Trail 图像可以参考相关联的 IRAP 和 GDR 图像以及他们的相关联的后置图像,不可以参考其前置图像或者相关联的非后置图像。

如下图的B33、B34、B35就是I28的后置图像,其解码顺序和显示顺序都在I28 (CRA图像是IRAP图像的一种) 之后。
在这里插入图片描述

  • 1 STSA 是分布时域子层接入图像。在 STSA 图像编码时,STSA 图像能够从同一层的下一层向上切换到包含 STSA 图像的子层。STSA 图像保证 STSA图像自己、同一子层中跟随在此 STSA 之后图像(解码顺序)不参考同层子层超前 STSA 的图像。

① 如下图中的P2就是STSA图像。在P2后,可以从TS0上切换到TS1层,也就说可以保证 “在 STSA 图像编码时,STSA 图像能够从同一层的下一层向上切换到包含 STSA 图像的子层。” 但是,并不可以继续切换到TS2层,因为后面的P3需要参考P1,而P1在P2之前解码,可能是被丢弃。至于可以从TS0切换到TS1,是因为P2无需参考TS1的任何图像,只用参考TS0的图像,而且P2也不用参考在解码顺序中跟随在P2后面的任何TS1子层的图像。
② 此外,其实在P6后,允许TS0直接切换到TS1,乃至更高层TS2。这是因为按照后续参考逻辑来看,TS1乃至TS2层的后续图像都可以找到肯定可以解码的参考图像。在HEVC中,这种图像叫做 STA 图像(时域子层接入图像),但是VVC目前没看到有这个图像的定义。
③ STSA 图像是一种特殊的 Trail 图像。
在这里插入图片描述

  • 2 RADL 是可解码随机接入前置图像。RADL 图像不需要参考任何解码顺序在 IRAP之前的图像。
  • 3 RASL 是跳过随机接入前置图像。RASL 图像需要参考解码器中可能不存在的图像,所以解码器只能跳过这部分图像继续解码处理。

① 前置图像就是指解码顺序在 IRAP 之前,显示顺序在 IRAP 图像之后的图像。
② 如下图的B29和B31就是RADL图像,如果在 I28 (CRA) 随机接入,B29 和 B31 是在 I28 (CRA) 之后进行解码的,但是 B29只参考 I28,B31参考 I28 和 B29,都是可以正常解码的。
③ 如下图的B30就是RASLT图像,B30还需要参考P24,这可能不存在于解码器中,所以B30只能被跳过。
在这里插入图片描述

  • 7 - 8 IDR 即时解码刷新图像,不使用帧间预测,可以是比特流中的首帧或后续帧。在解码顺序上,IDR帧 是 CVS(coded video sequence) 的首帧。IDR帧有两种类型,分别是 IDR_N_LP (8) 和 IDR_W_RADL (7) ,二者都不允许有 RASL 帧。而 IDR_N_LP 不能有前置帧,而 IDR_W_RADL 可以有前置的 RADL 帧。

  • 9 CRA 纯随机接入图像。处于比特流 GOP的第一帧,而且引领开放式GOP,在解码过程中允许参考其他GOP中的图像数据。CRA图像是和相应前置图像有关联的图像。CRA图像的前置图像被允许参考CRA前面的已解码图像。

  • 10 GDR 渐近解码刷新图像,是与IDR相关的一个概念,这是一种特别帧,每个GDR包含一个I-Slice,几个连续的GDR帧可以起到一个I帧相同的作用,但由于GDR帧的大小与P帧接近,因此可以起到平滑码率的作用,减少超大I帧对网络的冲击,减少传输延迟,同时也能起到阻隔错误的作用。GDR是通过P帧内包括I块组的方法来实现渐近刷新。
    在这里插入图片描述

  • 12 OPI 操作点信息,提供解码器的操作点信息。
    在这里插入图片描述

  • 13 DCI 解码能力信息。
    在这里插入图片描述

  • 后面的比较常规,不再赘述。

这篇关于VVC/H.266 VTM10.0 代码阅读记录 (1. nal_unit_type 与 帧类型)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/311137

相关文章

Django开发时如何避免频繁发送短信验证码(python图文代码)

《Django开发时如何避免频繁发送短信验证码(python图文代码)》Django开发时,为防止频繁发送验证码,后端需用Redis限制请求频率,结合管道技术提升效率,通过生产者消费者模式解耦业务逻辑... 目录避免频繁发送 验证码1. www.chinasem.cn避免频繁发送 验证码逻辑分析2. 避免频繁

精选20个好玩又实用的的Python实战项目(有图文代码)

《精选20个好玩又实用的的Python实战项目(有图文代码)》文章介绍了20个实用Python项目,涵盖游戏开发、工具应用、图像处理、机器学习等,使用Tkinter、PIL、OpenCV、Kivy等库... 目录① 猜字游戏② 闹钟③ 骰子模拟器④ 二维码⑤ 语言检测⑥ 加密和解密⑦ URL缩短⑧ 音乐播放

Python使用Tenacity一行代码实现自动重试详解

《Python使用Tenacity一行代码实现自动重试详解》tenacity是一个专为Python设计的通用重试库,它的核心理念就是用简单、清晰的方式,为任何可能失败的操作添加重试能力,下面我们就来看... 目录一切始于一个简单的 API 调用Tenacity 入门:一行代码实现优雅重试精细控制:让重试按我

java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)

《java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)》:本文主要介绍java中pdf模版填充表单踩坑的相关资料,OpenPDF、iText、PDFBox是三... 目录准备Pdf模版方法1:itextpdf7填充表单(1)加入依赖(2)代码(3)遇到的问题方法2:pd

Java获取当前时间String类型和Date类型方式

《Java获取当前时间String类型和Date类型方式》:本文主要介绍Java获取当前时间String类型和Date类型方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录Java获取当前时间String和Date类型String类型和Date类型输出结果总结Java获取

Python实现MQTT通信的示例代码

《Python实现MQTT通信的示例代码》本文主要介绍了Python实现MQTT通信的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 安装paho-mqtt库‌2. 搭建MQTT代理服务器(Broker)‌‌3. pytho

SpringBoot改造MCP服务器的详细说明(StreamableHTTP 类型)

《SpringBoot改造MCP服务器的详细说明(StreamableHTTP类型)》本文介绍了SpringBoot如何实现MCPStreamableHTTP服务器,并且使用CherryStudio... 目录SpringBoot改造MCP服务器(StreamableHTTP)1 项目说明2 使用说明2.1

MySQL进行数据库审计的详细步骤和示例代码

《MySQL进行数据库审计的详细步骤和示例代码》数据库审计通过触发器、内置功能及第三方工具记录和监控数据库活动,确保安全、完整与合规,Java代码实现自动化日志记录,整合分析系统提升监控效率,本文给大... 目录一、数据库审计的基本概念二、使用触发器进行数据库审计1. 创建审计表2. 创建触发器三、Java

Zabbix在MySQL性能监控方面的运用及最佳实践记录

《Zabbix在MySQL性能监控方面的运用及最佳实践记录》Zabbix通过自定义脚本和内置模板监控MySQL核心指标(连接、查询、资源、复制),支持自动发现多实例及告警通知,结合可视化仪表盘,可有效... 目录一、核心监控指标及配置1. 关键监控指标示例2. 配置方法二、自动发现与多实例管理1. 实践步骤

Java中调用数据库存储过程的示例代码

《Java中调用数据库存储过程的示例代码》本文介绍Java通过JDBC调用数据库存储过程的方法,涵盖参数类型、执行步骤及数据库差异,需注意异常处理与资源管理,以优化性能并实现复杂业务逻辑,感兴趣的朋友... 目录一、存储过程概述二、Java调用存储过程的基本javascript步骤三、Java调用存储过程示