ICIP2020：VVC无损模式中ISP的快速实现

​本文来自ICIP2020论文《A FAST LOSSLESS IMPLEMENTATION OF THE INTRA SUBPARTITION MODE FOR VVC》

VVC主要通过 Transform Skip Mode(TSM) 实现无损编码，由于VVC不支持同时使用TSM和Intra Subpartition (ISP)，本文将研究在VVC在无损编码中结合TSM和ISP。

VVC中无损编码的实现的主要配置如下：

• 对所有CU使用TSM模式。

• 对于8比特输入信号选择QP为4。

• 禁用环路滤波。

ISP简介

ISP就是将亮度帧内预测块进一步划分为子块。它在水平或垂直方向上将亮度帧内预测块划分为n个子块，划分的子块数量n取决于CU尺寸，

• 如果CU中包含超过32个像素，n=4

• 如果CU中包含正好32个像素，n=2

• 如果CU中包含16个像素（4x4），不允许使用ISP模式

Fig.1是CU中包含超过32个像素时ISP划分的情况。

ISP划分的每个子块都采用同样的帧内预测模式所以对于一个CU只需要传输一次帧内模式，它们的帧内预测过程和普通帧内预测一样：首先，生成预测值和残差值，然后，对残差进行变换量化，非零系数进行熵编码传到解码端。其结果重建后可以用于预测下一个子块。

在VVC中同一个CU不允许同时使用ISP和TSM模式，这主要是因为在有损编码时两者结合编码增益不高。但这没有考虑到无损编码的情况，本文主要完成下面两件事：

• 允许CU在使用TSM的同时使用ISP

• 通过在无损情况下实现快速搜索算法来达到编码时间和编码增益的平衡

无损编码中的ISP

ISP和TSM的结合

为了在无损编码中将TSM和ISP结合，需要进行以下改进：

• 允许CU的每个子块使用ISP编码，且当对应的CBF非零时要能解析TSM标志位。TSM在熵编码中的上下文模型还使用VVC中提供的。

• 在编码端，始终为ISP模式生成的子块选择使用TSM模式。

编码端估计

• VTM7.0中帧内预测搜索

帧内预测搜索过程用于选择最优的模式，包括帧内预测模式、MRL、MIP、ISP等。从中选择RD cost最小的模式，失真用原始像素和重建像素的均方误差度量。但是为所有模式计算RD cost复杂度太高了，所以VTM7.0构建了Most Promising Candidates (MPC) 列表，只需要为MPC中的模式计算RD cost。MPC列表创建过程如下：

1. 对MRL、MIP和普通帧内候选模式（不包括ISP）的RD cost进行排序，失真用预测像素和原始像素的SAD度量。

2. 只取K个候选项，K由块尺寸和MIP模式的RD cost决定。

3. 将 Most Probable Modes (MPM)中的候选项加入列表。

4. 将ISP模式加到列表最末端。

可以看见，上面没有对ISP模式进行RD cost估计。这是因为在有损编码中ISP模式无法准确计算SAD，除第一个子块外，其他子块需要利用前一个子块的重建值来预测，而这又必须等所有RD cost计算完之后才能获得。

VTM7.0中无损编码的帧内搜索和上面相同，唯一的区别在于计算RD cost时不用计算失真。

• 无损编码ISP快速搜索优化

无损编码的一个特点是所有重建像素都可以估计到，因为它和原始像素相同，这样就可以对ISP模式计算SAD。本文提出快速算法替换上面MPC列表构建的第四步，

4.a 令C等于MPC列表（ISP模式加入之前）中第二好的RD cost。

4.b 计算所有预选的普通帧内预测模式的ISP-SAD构建一个子列表，每个模式计算两遍因为ISP有水平和垂直两种划分方式。

4.c 为ISP-SAD子列表的所有元素计算基于SAD的RD cost。

4.d 将所有基于SAD的RD cost小于C的ISP模式加入MPC。此外，每加入一个ISP模式同时移除一个最差的非ISP模式。但是至少保留一个非ISP模式。

MPC构建流程如Fig.2所示，

实验结果

实验在VTM7.0无损模式下完成。共两组实验：TSM和ISP结合但没有搜索优化（V1）、TSM和ISP结合同时有搜索优化（V2）。

实验结果如表所示，V1编码增益0.73%同时编码耗时127%，V2编码增益0.71%同时编码耗时111%。结果表明快速搜索优化可以达到更好的编码时间和编码增益的平衡。同时，V1和V2都节省了码率，表明在VVC无损编码中将TSM和ISP结合能取得很好的结果。

感兴趣的请关注微信公众号Video Coding