SVC可伸缩视频编码技术.

1.SVC技术的由来及现状

随着H.2国际视频编码标准的逐渐成熟和推广，越来越多的视频应用采用H。2标准。由于存在不同的网络和不同的终端，客户对于视频编码的可伸缩性方面的要求也越来越迫切，因此SVC技术应运而生，成为当前网络视频监控的热门话题，势必将引领下一代网络视频技术的发展方向。

SVC，即Scalable Video Coding，可伸缩视频编解码，是一种能将视频流分割为多个分辨率、质量和帧速率层的技术，SVC是对规定设备如何对多层视频流进行编码和解码的H。2视频编解码标准的扩展，被称为H.2‐SVC。2005年1月，ISO的MPEG和ITU‐T的VCEG联合将SVC的扩展集草案提交给联合视频组（JVT）讨论，联合视频组（JVT）将此标准定为H.2‐SVC标准。此后，每次JVT的会议都围绕着SVC技术对标准进行修订和完善。H.2‐SVC 在2007年10月成为正式标准。

SVC技术将收发的数据分为一个小的基础层和多个可提高分辨率、帧速率和质量的其它可选层组成的多层视频流，这种分层方式可以大大提高设备相互通信时的误码弹性和视频质量，而且对带宽没有很高的要求。另外，一个多层SVC视频流可以支持多种设备和网络。

SVC技术使低码流下的传输和解码成为可能，对于部分码流采用低的时间或者空间分辨率、或者低的保真度（高压缩率），而对于部分码流保留高的重建质量，简而言之，SVC被设计为向传输和存储应用提供各种增强功能，SVC技术逐渐成为当前国际上对于视频编码技术的研究热点。

2.SVC分级编码的概念H。2‐SVC以先进视频编解码器标准H。2AVC为基础，并高度利用了原始编解码器的各种工具以及概念。然而，它产生的编码视频是空间上临时可扩展的，并且是在视频质量方面可扩展的。编码器产生的码流包含一个或多个可以单独解码的子码流，子码流可以具有不同的码率，帧率和空间分辨率。

分级的类型：

时域可分级（Temporal scalability）：可以从码流中提出具有不同帧频的码流。

空间可分级（Spatial scalability）：可以从码流中提出具有不同图像尺寸的码流。

质量可分级（Quality scalability）：可以从码流中提出具有不同图像质量的码流。

图2‐0 分级类型示意图

SVC技术引入了一种原始H.2AVC编解码器在编码视频内的各层不存在的概念，基础层对视频流的最低临时、空间和品质表现进行编码；增强各层利用基础层作为起点，对附加信息进行编码，从而在解码过程中把编码结果用于重构高质量、高分辨率或临时的视频版本。通过对基础层以及仅仅是所需要的后来增强层进行解码，解码器能够以所希望的特征产生一种视频流。在编码的过程中，要利用仅仅对较低级各层的参考，小心地解码一个特殊层。以这种方式，编码流可以在任意点被删节，但是，仍然维持有效的、可解码的视频流。

图2‐1 SVC编码器结构

图2‐2 H.2SVC分层结构

这种分层方法让所生成的一个编码流能够被删节以所消耗的带宽或者降低解码计

算的要求。删节过程完全通过从编码视频流提取所需要的各层而构成，这个过程甚至能够在

网络中执行。

为了实现临时的可扩展性，H。2SVC链接其参考帧以及预测帧，这与传统的H。2AVC

编码器稍微不同。SVC采用分层预测结构，如图2‐3所示，而不是传统的内帧（I帧）、双向

帧（B帧）以及预测帧（P帧）的关系。

图2‐3 传统的I、P和B帧的关系

分层结构定义最终视频流的临时分层。图2‐4描述了可能的分层结构。在这个特殊的例子中，各帧仅仅根据上次出现的各帧进行预测。这就确保该结构不仅仅展示临时的可扩展性，而且显示了低的延迟。

图2‐4 在SVC中的分层预测帧

这个方案具有四个嵌套的临时层：T0（基础层）、T1、T2和T3。由T1和T2各层构成的帧仅仅由T0层中的各帧预测。在T3层中的各帧仅仅由T1或T2各层中的各帧来预测。为了以3.75帧每秒的速度播放编码帧，仅仅构成T0的各帧需要被解码。所有的其它各帧可以被丢弃。为了以7.5fps的速度播放，要对构成T0以及T1的各层进行解码。在T2和T3中的各帧被丢弃。类似地，如果构成T0、T1和T2的各帧被解码，所得到的视频流将以15fps的速度播放。如果所有帧均被解码，那么，完全的30fps视频流被恢复。

图2‐5 H.2‐AVC和H.2‐SVC

相比之下，在H.2AVC中，不管需要的显示率是什么，所有帧均需被解码。为了转换

至一个低带宽网络，整个视频流均需要被解码，不需要的帧可以被丢弃，然后，重新编码。

在H.2SVC中的空间可扩展性遵循类似的原则，在这一情形下，较低分辨率的各帧被

编码为基础帧。经解码和上行采样的基础帧被用于对较高阶各层进行预测。重构原始场景细

节所需要的附加信息被编码为一个的增强层。在某些情形下，重用运动信息能够进一步

增加编码效率。

2.1.时域可伸缩技术

时域可伸缩技术是指允许单一码流支持多帧率的技术，它由标准所定义的时域预测结构

决定。

图2‐11 时域分级示意图

提供时间可伸缩的比特流中，编码视频序列的所有访问单元按照其时间等级（temporal_id）分成一个时间基本层和一个或多个时间增强层。时间等级从基本层到各个增

强层逐一递增，时间基本层的时间等级为0。提取一个时间层为k的比特流，则是把时间等

级大于k的所有访问单元从比特流中移除。时间等级为k的时间层只使用时间等级小于或等

于k的时间层图像作运动补偿预测。

SVC中的时间可伸缩是通过层次预测结构（Hierarchical prediction structure）实现的，层

次预测结构在H.2/AVC中已经实现，SVC需要更改的是对图像所属时间层的指示。层次预

测结构如图2‐11和图2‐12所示。

图2‐11层次预测B帧，编码延迟为8

图2‐12层次预测P帧，编码延迟为0

当使用层次B帧预测时，时间基本层的图象只使用本层的前一个图象进行预测，而时间

增强层使用周围的两个低时间层的图象进行双向预测。层次B帧预测时编码效率要比经典的IBBP编码有更好的编码效率，且编码效率随着GOP增大而增大，不过缺点是编码延迟较大，

如图2‐11中所示的图象序列编码最大延迟为8；允许调整层次预测的结构，使得编码延迟

减少，如图2‐12中所示图像序列编码延迟为0，编码效率会有所降低，但仍然高于IPPP编

码。

2.2.空域可伸缩技术

可伸缩编码为了达到比同时广播具有更好的编码效率，必须使用层间预测机制，利用不

同空间层间的相关性，使用空间基本层的信息去改进增强层的率失真优化性能。先前的可伸

缩标准中的空间可伸缩只使用空间基本层的上采样或者空间基本层上采样和增强层的时域

预测作平均来预测增强层图像；通常基本层的上采样需要和时域的预测作竞争，尤其在运动

小，空间细节比较丰富的时候，时间预测通常比基本层上采样预测更好。因此在层间帧内预

测模式（Inter‐layer intra prediction）的基础上，SVC在新增了层间运动预测（Inter‐layer motion prediction）和层间残差预测（Inter‐layer residual prediction）两种预测模式。增强层宏块可

以按照需要选择层间预测或层内预测进行预测补偿。某一时刻的所有不同分辨率的层表现组

成一个访问单元，层间预测只在一个访问单元内进行，为了减小复杂度和编解码缓存，参考

层和增强层的图像的宏块对应的编码顺序是一致的，访问单元中的每一层都选择同一个层作

为其参考层。图2‐21是一个多空间层使用层间预测的示意图，层间预测只发生在时间层对

齐的访问单元中。

图2‐21多层结构使用层间预测实现空间可伸

将原始尺寸的输入视频序列进行下采样，得到所需的较低的空间分辨率，每个空间分辨

率都是一个新的空间编码层，并且在各空间分辨率层的基础上进一步实现时域和SNR的可

伸缩性。每层相互地编码，有各自的编码参数如运动信息、变换参数、量化参数等。

图2‐22空域分级示意图

1、层间帧内预测：这种预测方式的宏块信息完全由层间参考帧（一般是低分辨率的重

建帧）通过上采样预测。但是这种方式缺乏消除时间相关性所得到的码率削减。

2、层间运动预测：宏块使用类似AVC的帧间预测进行编码，其宏块模式采用层间参考

帧相应块的模式，其对应的运动矢量也利用层间参考帧相应块的运动信息进行预测编码。

3、层间残差预测：利用残差的层间相关性，可以对于帧间预测的图像继续进行层间预

测，以进一步削减码流。

三种层间预测的概要图示如下

图2‐23层间预测技术

2.3.质量（SNR）可伸缩技术

访问单元中属于一个空间层的图像包括多个质量层，其中质量等级最小的层表现称为质

量基本层，其余的层表现为质量增强层。质量基本层具有最差的图像重建质量或者保真度，

质量等级逐渐增大的质量增强层具有逐渐改善图像的质量。质量增强层有着较好的图像质量，

使用高质量层的重建图像去预测后续的各个质量层的图像，基本层和质量层图像的编码效率

都得到改善；当终端不支持质量增强层或者网络发送拥塞时，质量增强层部分会从比特流中

移除，解码端并不能获得质量增强层；因此如果编码时使用了质量增强层的重建图像作为后

续质量基本层的参考图像时，则会造成编码和解码端的不同步，而产生漂移。质量可伸缩实

现方式需要在编码效率和漂移之间进行取舍，各种取舍策略如图2‐31所示。

图2‐31质量可伸缩实现方式的取舍策略

图2‐31（a）表示了FGS采用的策略，其只使用质量基本层的图像作为参考图像，解码

图像缓存中只需要存储质量基本层的解码重建图像，基本层和增强层都不会产生漂移，导致

基本层和增强层的编码效率低。图2‐31（b）则显示了MPEG2中采用的另一种极端策略，

只使用增强层图像作参考图像，解码图像缓存中只需要存储增强层的解码重建图像，基本层

和增强层的编码效率高，但会出现比较严重漂移。图2‐31（c）显示了一种编码效率和漂移

折中的策略，因其解码图像缓存中需要同时存储质量基本层和增强层的解码重建图像，需要

的解码缓存大，因而不曾被采用。图2‐31（d）显示了SVC采用的MGS选择的策略。MGS

使用了关键帧的概念，所有时间基本层的图像作为关键帧，两个关键帧间的图像以及后面的

关键帧构成一个图像组（GOP）。关键帧的质量基本层图像用于预测后续的关键帧的质量基

本层图像，关键帧的质量增强层图像和低时间层的质量增强层图像用于预测高时间层的基本

层图像。MGS使得质量基本层和质量增强层图像都具有高的编码效率，而关键帧之间只使

用先前关键帧的基本层作参考，不会因此漂移，所以关键帧作为重同步点，使得漂移在GOP范围内。此外，当关键帧的基本层重建图像完成对后续的关键帧基本层图像的预测后，

该关键帧的基本层重建图像会从解码图像中移除，减少了解码缓存的需求。通过比较可知，

MGS在漂移和编码效率之间取得一个较好的平衡，而且实现复杂度比FGS低。

图2‐32SVC编码三维可伸缩空间

质量分级往往可以被认为是一种特殊（解析度相同）的空间分级编码，因此传统的coarse‐grain quality scalable coding（CGS，粗粒度质量分级编码）很容易被想到，而在实际应

用中，还发展了medium‐grain quality scalability（MGS，中等粒度质量分级编码），下面将分

别描述他们：

1、CGS：CGS有类似空间分级中层间预测，但是无需有上采样的过程，为了更好的视频

质量需要呈现更多的图像纹理，因此，在质量分层的层间预测中，对纹理的提纯通常通过采

用更小量化步长的重新量化。

2、MGS：由于CGS对码率控制不能灵活处理，一种叫MGS的衍生方式被提出采用，MGS可以灵活的权衡漂移（draft，运动补偿预测循环中的编解码不同步）和层次预测的编

码效率。

2.4.组合可伸缩

SVC可以支持时间可伸缩，空间可伸缩，保真度可伸缩的联合可伸缩特性，时间层等级（temporal_id） 空间层等级（dependency_id）以及保真度等级（quality_id）的组合构成

一个三维可伸缩空间。

3.SVC技术优缺点

3.1.优点

分级码流优点是应用非常灵活，可以根据需要产生不同的码流或者提取出不同的码流。 3.1.1.SVC只提供唯一码流

SVC一种能将视频流分割为多个分辨率、质量和帧速率层的技术，支持支持多种设备和

网络同时访问SVC视频流。

3.1.2.支持时间、空间、图像质量的扩展

SVC支持视频流时间、空间、图像质量的扩展，空间上的伸缩性是指对于同样的视频源，可以在同一时间内得到不同解析度的画面（D1，CIF，QCIF）；时间轴上的可伸缩性是指在播放时帧率的可调性；因此通过一台标准的PC机可实现多种方式的解码以满足不同处理能力的设备的需求，多个用户可以同时对同一视频用不同的分辨率进行解码，可解码出多种分辨率、质量、帧速率的图像。

3.1.3.压缩网络带宽，传输带宽低

总体来说，H。2SVC跟不具备可扩展性的全分辨率以及全帧速率视频构成的H。2视频流相比，具有三层临时可扩展性以及三层空间可扩展性，同时SVC视频要小20%以上。如果采用H。2编解码器对可扩展性进行仿真，就需要多个编码视频流，从而导致更高的带宽要求或贯穿网络的昂贵解码和二次编码。

3.1.

4.更强的网络带宽适用性

SVC的目标是希望在一个很宽的码率范围内都能获得高的传输效率和解码量，在一个较低复杂度上提供时间、空间、质量全可伸缩性编码，提供网络、端、流媒体格式无缝自适应的发布。

和传统的不可伸缩编码相比，可伸缩码流能够自动适应带宽变化。当带宽值较大时，两者图像质量都较好；当带宽值较低时，不可伸缩编码的质量变得很差，而可伸缩编码维持着尽可能好的质量。

图3‐1‐41SVC和传统不可伸缩编码对网络带宽的适应性

3.1.5.误码恢复

误码恢复的传统实现方法是把附加的信息添加至视频流之中，以便监测和校正误码。SVC

的分层方法意味着不需要增加大的开销，就可以在较小的基本层上执行高级别的误码监测和

校正。如果要把相同程度的误码监测和校正功能应用于AVC视频流中，那就需要把整个视

频流保护起来，从而导致视频流更大。如果在SVC视频流中监测出误码，那么，就可以逐渐

让分辨率和帧速率退化，直至—如果需要的话—只有高度受保护的基础层才可以使用。按照

这一方式，在噪声条件下的退化要比在H.2AVC环境下更让人可以接受。

3.1.6.灵活的存储管理

因为SVC视频流或文件即使在被删节的情况下仍然可被解码，SVC既可以在传输过程之

中、也可以在文件被存储之后采用。把被分解的文件存储在光盘上并取消增强层，就可以在

不对存储在文件中的视频流进一步处理的情况下，压缩文件的大小。这对于需要“要么全部

管、要么不管”的方法进行光盘管理的AVC文件来说是不可能的。

3.1.7.内容管理

SVC视频流或文件固有地包含较低分辨率以及帧速率的视频流。这些视频流可以被用于

加速视频分析的应用或分类各种算法。临时可扩展性也使得视频流易于以快速进退的方式搜索。

3.2.缺点

万物都是有两面的，有利必有弊，分级码流的缺点是：编码效率降低，解码复杂度增加。

基本层是AVC兼容码流，编码效率没有影响。在同样的条件下，分级码流比单层码流的压

缩效率要低10%左右，分级层数越多，效率下降越多，现在的JSVM编码器最多支持3个空

域分级层。在同样的条件下，分级码流比单层码流的解码计算复杂度高。

图3‐2‐1分级编码和单层编码效率对比1

图3‐2‐2分级编码和单层编码效率对比2注：该图引用自德国HHI网站。

（1）对于时域分级，AVC已经实现，时域分级对编码效率没有影响。

（2）质量分级如图3‐2‐1所示，质量可分级码流对编码效率影响大约在10%。

（3）空域分级如图3‐2‐2所示，SVC空域分级编码，不只是影响整体编码效率，对于基

本层（AVC层）的编码效率也有10%的降低，基本层编码效率降低的原因是基本层帧内预测

受限。

4.SVC技术发展及应用

监控领域：监控视频流一般产生2路，1路质量好的用于存储，1路用于预览。用SVC

编码器可以产生2层的分级码流，1个基本层用于预览，1个增强层保证存储的图像质量是

较高的。使用手机远程监控预览的情况下，可以产生一个低码率的基本层。

流媒体IPTV应用：服务器可以根据不同的网络情况丢弃质量层，保证视频的流畅。

兼容不同网络环境和终端的应用。

图4‐1 针对不同网络和终端的应

图4‐2 H.2SVC视频监控应用在目前中国国内地铁监控中，对于视频的传输和存储分别采用了MPEG‐2和MPEG‐4的

压缩方式，要在控制中心大屏幕浏览需要保证图像的质量，因而采用MPEG‐2编码方式进行

传输，而MPEG‐2编码码流通常大于10mb/s。进行实时存储时，系统需要的存储空间会很

大，将会大大增加投资成本，于是采用MPEG‐4编码，用以解决存储所需的存储空间问题。

采用可伸缩编码技术SVC可解决地铁监控中的问题，图像存储和浏览采用同一码流，解决了

带宽和存储空间问题。

图4‐3 SVC视频服务器应用

5.SVC技术发展趋势

H.2SVC作为时下流行的H.2视频标准的拓展，得到了通讯行业的广泛认可。随着

处理器、传感器以及显示技术的进步，目前SVC技术正逐步在视频应用领域得到应用推广，

如网络视频监控、数字硬盘录像机、视频会议系统等。目前深圳市景阳科技股份有限公司在

中国国内推出第一台自主知识产权SVC技术的网络摄像机和混合式DVR，必将引爆SVC技

术在国内的推广，带领SVC技术在国内的产业化，相信在不久的将来，你会看到更多的产品

在国内市场的应用和发展。