CN101366283A

CN101366283A - 具有精细粒度空间可缩放性的视频编码

Info

Publication number: CN101366283A
Application number: CNA2007800020018A
Authority: CN
Inventors: 鲍易亮; 叶琰
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2006-01-11
Filing date: 2007-01-11
Publication date: 2009-02-11
Anticipated expiration: 2027-01-11
Also published as: JP2012213190A; WO2007082288A1; US8315308B2; EP1972146A1; JP2009523395A; US20070160133A1; KR20080094041A; CN101366283B; JP5497101B2; JP5296228B2; JP2012114928A; KR101005682B1; US20120201301A1

Abstract

本发明针对使用通用精细粒度可缩放性(FGS)途径支持空间可缩放性的视频编码技术。通过以通用FGS格式发送空间可缩放增强层，可实现各种程度的空间可缩放性。可任意地截断空间可缩放性增强位流以符合网络条件、信道条件及/或解码器能力。可将用于空间可缩放性的编码系数及语法要素嵌入通用FGS格式中。对于良好网络或信道条件及/或增强的解码器能力来说，经由一个或多个增强层所接收的额外位允许以提高的空间分辨率及跨不同空间分辨率的连续改善的视频质量重构经编码视频。所述技术允许将空间可缩放性层编码为FGS层，而非离散层，从而允许任意可缩放性。所述技术可包括用以抑制原本由于部分解码可能会出现的误差传播的特征。

Description

具有精细粒度空间可缩放性的视频编码

相关申请交叉参考案

本申请案主张基于2006年1月11日申请的题为“具有普通精细粒度可缩放性的视频编码(VIDEO CODING WITH GENERIC FINE GRANULARITY SCALABILITY)”的美国临时申请案第60/758.323号的优先权。

技术领域

本发明涉及视频，且更具体来说，涉及数字视频的编码。

背景技术

数字视频能力可包含于各种各样的装置中，包括数字电视、数字直播系统、无线通信装置、个人数字助理(PDA)、膝上型计算机、台式计算机、数码相机、数字记录装置、蜂窝式或卫星无线电电话、及类似装置。在有效创建、修改、传输、存储、记录及播放运动视频序列方面，数字视频装置可提供胜过模拟视频系统的显著改善。

精细粒度可缩放性(FGS)通常是指可任意截断视频位流而在既定位速率范围内实现合理视频质量降级的能力。经FGS编码的视频位流包括具有指定质量的基础层及一个或多个链接到所述基础层的增强层。所述增强层包括用以细化所述基础层质量的额外数据。随着经由一个或多个增强层接收及解码FGS位流越多，所述经解码视频的质量会改善。

发明内容

一般来说，本发明是关于使用通用精细粒度可缩放性(FGS)途径而支持空间可缩放性的视频编码技术。根据本发明，可通过以通用FGS格式发送空间可缩放增强层实现各种程度的空间可缩放性。可将所述空间可缩放性层编码为FGS增强层而非离散增强层，从而允许具有连续增强的视频质量的空间可缩放性。

可通过一个或多个特征补充所述视频编码技术以降低否则由于部分解码所致而出现的误差传播。举例来说，所述视频编码技术可应用用于帧内预测的漏预测方案以降低漂移误差，用于块内的特殊DC模式以降低空间误差传播，及应用针对帧内预测仅使用基础层内的像素的约束条件。

重构所述空间可缩放性增强层所需的系数及语法要素可嵌入通用FGS格式中。经由增强层所接收的额外位允许以提高的空间分辨率及跨不同空间分辨率的连续改善的视频质量重构经解码视频。可在任一点任意地截断空间可缩放增强位流以符合网络或信道条件，或符合解码器能力。

在一个实施例中，本发明提供一种视频编码方法，其包含：解码精细粒度可缩放性(FGS)基础层以重构定义处于第一空间分辨率的视频的基础层视频块；至少部分地解码一个或多个FGS增强层以重构定义处于大于或等于所述第一空间分辨率的第二空间分辨率的视频的基础层视频块；及基于由所述基础层视频块形成的第一预测块与由所述增强层视频块中的相邻像素形成的第二预测块的经加权和预测帧内编码视频块(intra-coded video block)。在某些实施例中，所述第二空间分辨率大于所述第一空间分辨率，且所述方法进一步包含对所述基础层视频块进行上采样(upsampling)，在这种情况下所述第一预测块是由经上采样的基础层视频块形成。

在另一个实施例中，本发明提供一种视频编码装置，其包括解码器，所述解码器解码精细粒度可缩放性(FGS)基础层以重构定义处于第一空间分辨率的视频的基础层视频块，至少部分地解码一个或多个FGS增强层以重构定义处于大于或等于所述第一空间分辨率的第二空间分辨率的视频的增强层视频块，并基于由所述基础层视频块形成的第一预测块与由所述增强层视频块中的相邻像素形成的第二预测块来预测帧内编码的视频块。在某些实施例中，所述第二空间分辨率大于所述第一空间分辨率，且所述解码器对所述基础层视频块进行上采样，在这种情况下所述第一预测块是由经上采样的基础层视频块形成。

在再一个实施例中，本发明提供一种方法，其包含：解码精细粒度可缩放性(FGS)基础层，其包括定义处于第一空间分辨率的视频信息的基础层视频块；至少部分地解码一个或多个FGS增强层，其包括定义处于大于所述第一空间分辨率的第二空间分辨率的视频信息的增强层视频块；及在不使用从相同层中的相同帧推导出的视频信息的情况下预测帧内编码的视频块。

在另一个实施例中，本发明提供一种装置，其包含解码器，所述解码器解码精细粒度可缩放性(FGS)基础层，其包括定义处于第一空间分辨率的视频信息的基础层视频块；至少部分地解码一个或多个FGS增强层，其包括定义处于大于所述第一空间分辨率的第二空间分辨率的视频信息的增强层视频块；及在不使用从相同层中的相同帧推导出的视频信息的情况下预测帧内编码的视频块。

在另一个实施例中，本发明提供一种方法，其包含：解码精细粒度可缩放性(FGS)基础层，其包括定义处于第一空间分辨率的视频信息的基础层视频块；解码一个或多个FGS增强层，其包括定义处于大于所述第一空间分辨率的第二空间分辨率的视频信息的增强层视频块；及使用特殊DC模式解码所述FGS增强层中的某些块，在所述特殊DC模式中从编码器及解码器两者已知的默认值中预测DC系数且在没有从相邻块计算出的预测的情况下解码AC系数。

在另一个实施例中，本发明提供一种装置，其包含解码器，所述解码器解码精细粒度可缩放性(FGS)基础层，其包括定义处于第一空间分辨率的视频信息的基础层视频块；解码一个或多个FGS增强层，其包括定义处于大于所述第一空间分辨率的第二空间分辨率的视频信息的增强层视频块；及使用特殊DC模式解码所述FGS增强层中的某些块，在所述特殊DC模式中从编码器及解码器两者已知的默认值中预测DC系数且在没有从相邻块计算出的预测的情况下解码AC系数。

可以硬件、软件、固件或其任一组合实施本发明中所阐述的技术。如果以软件实施，则所述软件可在例如数字信号处理器(DSP)等处理器中执行。最初可将执行所述技术的软件存储在计算机可读媒体中并将其载入处理器并执行。因此，本发明还预期一种计算机可读媒体，其包含指令以实施用于使用通用FGS途径实现空间可缩放性的技术。

本发明的一个或多个实施例的细节陈述于随附图式及下文说明中。根据本说明、附图且根据权利要求书，将明了本发明的其他特点、目的及优点。

附图说明

图1是图解说明视频编码及解码系统的框图。

图2是图解说明视频位流的多层FGS编码的图式。

图3是进一步详细图解说明图1的系统的框图，其包括基础层及增强层编码器及解码器。

图4是图解说明视频帧的FGS编码中所使用的经z字形块的图式。

图5是图解说明以z字形顺序所布置的不同视频块的FGS层中的语法要素及系数的实例性编码顺序的图式。

图6是图解说明以传输顺序针对不同视频块所布置的FGS层中的语法要素及系数的实例性编码顺序的图式。

图7A是图解说明实例性多层空间可缩放性位流的图式。

图7B是图解说明图7A的空间可缩放性位流的速率-失真性能的图式。

图8A是图解说明因编码器及解码器中使用不同参考信号所致的漂移误差问题的图式。

图8B是图解说明用以削弱图8A中所示的漂移误差问题的根据基础层的部分预测的图式。

图9是图解说明由相邻块的部分解码所致的漂移误差的图式。

图10是图解说明用以削弱帧内编码块中的漂移误差的漏预测技术的图式。

图11是图解说明如图10中所示的漏预测技术的操作的流程图。

图12是图解说明将特殊DC模式应用于视频块的图式。

图13是图解说明针对不同帧内预测模式使用图12的特殊DC模式的图式。

图14是图解说明根据基础层中的帧的帧内预测的图式。

图15是图解说明在16乘16帧内预测模式下宏块中的卢马(luma)DC块的图式。

具体实施方式

图1是图解说明视频编码及解码系统10的框图。系统10经配置以应用通过使用通过精细粒度可缩放性(FGS)途径而支持空间可缩放性的视频编码技术。如图1中所示，系统10包括源装置12，其经由信道16将经编码视频传输到接收装置14。源装置12可包括视频捕获装置18、视频编码器20及传输器22。接收装置14可包括接收器24、视频解码器26及视频显示装置28。

在系统10中，可通过以通用FGS格式发送空间可缩放增强层(而非依赖于解码离散增强层)来实现各种程度的空间可缩放性。基础层载送具有最低质量等级的视频序列。增强层载送额外位流以支持更高的质量等级。此外，根据本发明，由一个或多个增强层所载送的所述额外位流支持提高的空间可缩放性。

视频编码器20及视频解码器26经配置以提供可任意被截断的空间可缩放增强位流。经由一个或多个增强层所接收的额外位允许以提高的空间分辨率及跨不同空间分辨率的连续改善的视频质量重构经解码视频。

如将阐述，系统10可应用各种方案以降低可由增强层的部分解码所致的漂移误差。重构所述空间可缩放性增强层所需的系数及语法要素可嵌入通用FGS格式中。通过通用FGS格式及合适的漂移误差控制方案，可依据系统条件在连续质量改善或逐渐质量降级的情况下提高或降低空间分辨率。

系统10可避免使用离散增强层，所述离散增强层必须被整体编码以实现空间可缩放性。然而，在某些实施例中，系统10可经配置以支持在选择的基础上使用通用FGS途径或离散增强层来支持空间可缩放性。

在图1的实例中，通信信道16可包含任一无线或有线通信媒体，例如射频(RF)频谱或一个或多个物理传输线路，或无线及有线媒体的任一组合。信道16可形成基于包的网络的一部分，例如局域网络、广域网络或全球网络(例如，因特网)。一般来说，通信信道16表示任一合适的通信媒体或不同通信媒体的集合以从源装置12到接收装置14传输视频数据。

源装置12可以是能够编码并传输视频数据的任一数字视频装置。视频捕获装置18捕获视频序列并将所捕获的序列存储于存储器(未显示)中以供视频编码器20存取。视频捕获装置18可以是摄像机、视频档案或视频转换器，所述视频转换器将模拟视频数据转换为数字视频数据，例如从电视、光盘录像机(video disc-recorder)、卡带式录像机(video cassette recorder)、便携式摄像机或其他视频装置，在所有情况下视频编码器20均编码所捕获的视频以有效地传输到接收装置14。

源装置12可经配置以经由通信信道16传输存档或实时视频序列。对于实时视频序列来说，源装置12及接收装置14可经配置以支持实时双向视频电话(VT)及/或实时单向视频流。对于非实时视频流，源装置12及接收装置14可支持诸如视频片段重放或视频邮件等应用且包括适当的控制媒体，例如播放、暂停、前进及后退按钮。

视频编码器20及解码器26可包括适合于编码由视频捕获装置18所获得的视频的各种硬件、软件及/或固件。视频编码器18可包括一个或多个数字信号处理器(DSP)，其执行用于视频编码的可编程软件模块。可提供相关联的存储器及逻辑电路以支持DSP控制所述视频编码过程。在某些实施例中，视频编码器18可形成组合视频编码器-解码器(CODEC)的一部分。

视频编码器20及视频解码器26可经配置以应用一种或多种编码技术，例如一般来说符合MPEG-1、MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264标准或其他标准的技术。作为特定实施例，视频编码器20及解码器26可符合ITU-T H，264/MPEG-4部分10，也就是高级视频编码(AVC)，数字视频编码标准，其是由ITU-T视频编码专家组(VCEG)同ISO/IEC运动图像专家组(MPEG)作为称为联合视频组(JVT)的集体合作成果的产品所制定。在技术上讲ITU-T H.264标准及ISO/TEC MPEG-4部分10标准是相同的。

当前，联合视频组(JVT)正从事于H.264/AVC的可缩放视频编码(SVC)扩展部分，H.264/AVC及正展开的SVC扩展部分两者的标准规范均是呈联合草案(JD)的形式。由JVT所创建的联合可缩放视频模型(JSVM)可构建供可缩放视频中使用的工具，且可同系统10一起用于本发明中所述的各种编码任务。JSVM支持各种可缩放特征。可在所述联合草案中找到关于精细粒度SNR可缩放性(FGS)编码的详细信息。然而，出于说明的目的，本文将阐述FGS的某些基本概念及独特特性。

视频序列包括一系列视频帧。视频编码器20操作单个视频帧内的像素块以编码所述视频数据。所述视频块可具有固定或变化的大小，且可根据特定编码标准在大小上不同。作为实例，ITU-T H.264标准支持各种块大小的帧内预测(例如16乘16、8乘8、4乘4的卢马分量及8x8色度分量)以及各种块大小的帧间预测(例如16乘16、16乘8、8乘16、8乘8、8乘4及4乘4的卢马分量及相应缩放大小的色度分量)。较小的视频块可提供更佳的分辨率，且可用于定位包括较高细节等级的视频帧的位置。在所述预测之后，可对所述8 x 8剩余块或4 x 4剩余块实施变换，且如果使用16 x 16帧内预测模式则可针对色度分量或卢马分量将额外变换应用于所述4 x 4块的DC系数。

进一步参考图1，传输器22可包括适当的调制解调器及驱动器电路以经由信道16传输经编码视频，信道16可以是有线或无线，或包括有线及无线媒体的组合。对于无线应用来说，传输器22包括RF电路以传输载送所述经编码视频数据的无线数据。在某些实施例中，源装置12可采用以下形式：一个或多个服务器、工作站、台式计算机、移动计算机、个人数字助理(PDA)、无线电话、卫星电话或其他有线或无线通信装置。

在接收装置14中，视频解码器26可同源装置12的视频编码器20一样形成CODEC的一部分。接收装置14可采用任一数字视频装置或能够接收并解码视频数据的装置的组合的形式，例如一个或多个工作站、台式计算机、移动计算机、个人数字助理(PDA)、无线电话、卫星电话或其他有线或无线通信装置。

同传输器22一样，接收器24可包括适当的调制解调器及驱动器电路以经由信道16接收经编码视频，且在无线应用中可包括RF电路以接收载送所述经编码视频数据的无线数据。在某些实施例中，源装置12及接收装置14各自可包括互逆传输及接收电路以便各自可用作经由信道16所传输的经编码视频或其他信息的源装置及接收装置两者。在这种情况中，源装置12及接收装置14两者均可编码、传输、接收并解码视频序列。

显示装置28可以是用于将视频呈现给用户的任一合适的装置，例如LCD或等离子平板显示器、阴极射线管显示器或任一其他显示器。此外，可将显示装置28与接收装置14集成或将其提供为经由有线或无线连接耦合到接收装置14的分立装置。显示装置28还可用作接收装置14的用户接口的一部分。源装置12也可包括显示装置以允许查看所接收视频及与源装置12的用户交互作用。

编码器20及解码器26经配置以支持精细粒度可缩放性(FGS)。FGS允许在某一位速率范围内几乎任意地截断位流。将一种形式的FGS应用于信号噪声比(SNR)可缩放性。常见情况包括用具有某一质量等级的基础层及以相同分辨率向所述基础层提供细化的一个或多个FGS增强层来编码视频位流。例如，在以公用中间格式(common intermediate format)(CIF)分辨率编码基础层的情况下，通过FGS增强层传输额外位流改善所述GIF分辨率视频的质量(例如，SNR)。

根据本发明，开发FGS以经由根据通用FGS途径所传输的一个或多个增强层来支持空间可缩放性。举例来说，可通过一个或多个FGS增强层增大以四分之一公用中间格式(quarter common intermediate format)(QCIF)分辨率所编码的基础层来提高所述视频的空间分辨率，例如从QCIF分辨率到CIF分辨率。所述空间可缩放性FGS增强层还可包括足以提高QCIF及/或CIF分辨率的视频的质量的额外位流。因此，本发明所述的通用FGS途径支持空间可缩放性，但还可支持SNR可缩放性。特别的，编码器20及解码器26经配置以减轻可因一个或多个增强层的部分解码所致的漂移误差。

图2是图解说明视频位流的多层式FGS编码的图式。如图2中所示，对视频位流的FGS编码产生基础层30及一个或多个增强层32A-32N(统称为层32)。基础层30包括一系列帧36A-36N，所述帧在既定位速率下以最小质量等级来编码所述视频位流。每一增强层32提供额外的视频位流信息，解码器26可使用所述额外的视频位流信息逐渐地提高基础层30所提供的初始质量。由解码器26处理的增强层32的数量取决于(例如)在既定信道条件或其他限制下由源装置14传输的增强层的数量，及由解码器26处理的所接收的增强层的数量。

一般来说，根据本发明，每一由解码器22所处理的各自增强层32A-32N或其部分可在SNR及/或空间分辨率方面使自基础层30获得的视频的质量递增地提高。并非同离散增强层一样整体处理每一增强层32A-32N，本发明希望系统10允许使用通用FGS途径来编码、传输及处理空间可缩放性增强层。以此方式，可以以精细粒度来缩放空间分辨率，从而在部分解码空间增强层时提供连续之质量改善。如将阐述，部分解码可造成误差传播问题，所述问题可通过使用本发明中还提供的一个或多个方案来解决。

图3是进一步详细图解说明图1的系统10的框图，其包括基础层及增强层编码器及解码器。特定来说，在图3的实例中，视频编码器20包括基础层编码器38及增强层编码器40。视频解码器26包括基础层解码器42及增强层解码器44。装置12及14在其他方面通常与图1一致。此外，源装置12及接收装置14可各自包括互逆传输/接收及编码/解码组件。然而，同图1一样，位易于图解说明起见，图3呈现一个装置12作为源/编码装置及另一个装置14作为接收/解码装置。

基础层编码器38编码至少一部分的从摄像机18所获得的视频位流以提供在既定位速率下提供最小质量等级及/或最小空间大小。增强层编码器40编码所述视频位流的额外部分以产生增强层，如果被解码则所述增强层提供额外质量及/或允许一个或多个更大空间格式。在随着其被解码而可提供逐渐提高的质量的意义上，所述增强层可分等级。举例来说，解码所有的增强层将产生最高质量及最大空间大小，而仅解码第一增强层将相对于仅解码基础层产生逐渐提高的质量。

所述增强层可允许在增加的图像帧质量的情况从第一大小到第二大小的空间可缩放性。或者，在某些实施例中，所述增强层可允许从第一大小到第二大小、从所述第二大小到第三大小及(可能)从所述第三大小到一个或多个更大大小的空间可缩放性。举例来说，所述增强层可允许仅从QCIF到CIF，或仅从CIF到VGS(视频图形阵列)或仅从VGA到SVGA(超级VGS)缩放视频帧或序列。或者，所述增强层可允许从QCIF到CIF，从CIF到VGA及从VGA到SVGA缩放视频。尽管为图解说明的目的而提及QCIF、CIF、VGA及SVGA，但其他空间大小及格式也可能作为替代或附加。

在操作中，基础层解码器42解码经由信道16所接收的基础层以产生由摄像机18所获得视频位流的一部分来呈现于显示装置28上。增强层解码器44通过解码一个或多个增强层(如果可用)来提高经解码视频的质量。此外，由接收装置14所接收的增强层的数量可取决于信道条件或其他限制。另外，由增强层解码器44所处理的接收的增强层数量可取决于解码器限制。一般来说，所述基础层结合所选择数量的增强层的编码及解码允许所解码视频的SNR质量的递增改善。

除SNR可缩放性外，还希望提供空间可缩放性。根据本发明，系统10经配置以经由通用FGS编码途径支持空间可缩放性。如将阐述，系统10可部分通过循环交错不同视频块的经编码系数及语法要素以保证多层FGS编码视频中每一增强层均匀地提高基础层的视频质量。

部分解码以经由FGS实现空间可缩放性可产生误差。出于这一原因，系统10可应用一种或多种方法以抑制误差传播，包括帧内预测中的漏预测以减少漂移，用于块内的特殊DC模式以减少误差传播及针对帧间预测仅使用基础层内的像素的约束条件。系统10可发送阐述应如何预测增强层的语法要素，例如其是帧间预测还是帧内预测及如何分割所述块。系统10还可在选择的基础上支持FGS空间可缩放性或离散空间可缩放性。换句话说，系统10可支持FGS空间可缩放性及经由离散增强层的可缩放性并基于网络条件、信道条件、解码器能力或其他考虑在其间转换。

图4是图解说明视频帧的FGS编码中所使用的z字形扫描块的图式。在图4的实例中，假设块46A、46B及46C是视频帧的增强层中的前三个块。在此实例中，每一块46A、46B、46C均是4乘4系数块。以变换域绘示块46A、46B及46C。因此，块46A、46B、46C中的每一数或变量均是要通过无损耗熵编码过程编码的量化系数。例如，如块46A中的参考编号41所指示，具有以字母“S”开始的标号的系数均是非零有效系数。因块46A在FGS SNR可缩放性增强层中，针对块中每一系数，在所述基础层中均存在对应系数。

对于非零有效系数，其值为非零且其对应基础层系数为零。举例来说，系数“S0，1”对应于块“0”中z字形扫描索引为“1”的非零有效系数。标为“0”的系数位零系数且其对应基础层系数同样为零。例如，如块46A中的参考编号43所指示，具有以字母“R”开始的标号的系数是具有非零(也就是，有效)对应基础层系数的细化系数。举例来说，系数“R2，2”是块“2”中z字形扫描索引位“2”的细化系数。在分类增强层系数时，通常会使用有效性映射。所述映射会指示在基础层中已变为有效的系数的位置。在增强层中，所述位置处的系数是改善系数。

如本文所述，可将增强层编码器40看作编码所述基础层中所使用的熵编码器(例如诸如ITU-T H.264标准所预期的熵编码器)的扩展。特定来说，增强层中所使用的块分割、变换及量化类似于所述基础层中所使用的块分割、变换及量化。为更加有效地编码所述零，可使用诸如编码块旗标(CBF)及块结束(EOB)的语法要素。在所述基础层编码中也可使用类似的语法要素。对于每一块均发送一次CBF，且所述CBF指示所述块中存在非零有效系数。如果所述CBF为0，则不存在非零有效系数，否则存在至少一个有效系数。所述EOB旗标用于指示刚刚所编码的非零系数是否是所述扫描顺序中的最后一个非零有效系数。

基础层编码器38与增强层编码器40之间的一个区别是在所述FGS层及编码顺序中细化系数与其他系数的分离。在所述基础层中，在编码下一块之间完全地编码一块。然而，根据本发明的实施例，增强层编码器40的一个特征是将来自不同块的系数彼此交错。将所述块的系数循环编码。在每一循环中，仅编码来自既定块的某些系数。以此方式，增强层编码器40保证每当截断所述位流时对视频质量的改善更均匀。

图5是图解说明以z字形顺序所布置的不同视频块46A、46B、46C的语法要素及系数的实例性编码顺序的图式。图6图解说明用于传输语法要素的实例性编码顺序，其中以z字形顺序水平地布置来自每一块的系数。在图5及6中，每一系数由一个块来代表。在图5及6的实例中，在单个循环中，对于指定块，至多编码一个非零系数，且所述循环索引正好与Z字形扫描索引相同。然而，依据设计考虑，也可不同地定义所述循环索引且可编码多于一个的非零系数。图5中的每一循环对应于以图4的z字形顺序从一个系数转换到另一个系数的既定箭头。

如图4中所示，对于循环0，针对每一块46A、46B、46B均发送一次CBF，且所述CBF指示所述块中存在非零有效系数。举例来说，CBF0/1对应于第一块0，且其指示所述块中存在非零有效系数。另外，在循环0中发送零系数“0”及来自块0的非零系数“S0，1”(其对应于块“0”中Z字形扫描索引为“1”的非零有效系数)。然而，CBF1/0对应于第二块1且指示所述块中不存在任何非零有效系数。因此，在随后循环不针对块1发送任何系数。循环0进一步包括CBF2/1(其指示块2包括非零有效系数(S2，0))及所述系数S2，0自身。

循环1包括用于块2的EOB旗标(EOB2/0)，其指示循环0中刚刚所编码的非零有效系数(其是S2，0)并非所述扫描顺序中的最后非零有效系数，在剩余循环中，块的编码继续跟随所述扫描z字形顺序，且适当地包括诸如CBF及EOB等语法要素。图4、5及6的实例是关于视频帧的增强层中的前三个4 x 4块。然而，图4-6中所图解说明的通用方案可应用于具有更大大小以及更大块数量的块。

图6是图解说明以传输顺序针对不同视频块所布置的语法要素及系数的编码顺序的图式。图6中的编码顺序等同于图5中的编码顺序，只是语法要素及系数经布置以便水平地列出既定循环中所发送的语法要素及系数。在图6的图式中，以递增循环索引顺序从上到下发送所述语法要素及系数，且通过每一循环将其从左到右发送。

举例来说，循环0针对第一块显示CBF0/1，后面是零系数，后面是S0，1，S0，1对应于块“0”中z字形扫描索引位“1”的非零有效系数。循环0进一步包括CBF1/0(其指示块1中的非零有效系数)及CBF2/1及S2，0，所述CBF2/1及S2，0指示并提供块2的非零有效系数。所述过程以所述Z字形扫描次序继续进行循环1-15，其中每一循环均对应于图4中的一个箭头转换。

空间可缩放性允许视频解码器26通过解码来自可缩放视频位流的增强层位流而重构并显示具有更高空间分辨率(例如，GIF而非四分之一公用中间格式(QCIF))的视频信号。图4-6中的语法要素及系数的实例性顺序支持使用用于空间可缩放性及FGS SNR可缩放性两者的通用FGS格式。解码所述基础层位流允许解码器26获得较低空间分辨率视频，而解码一个或多个增强层允许改善所述基础层空间分辨率的SNR及/或将空间分辨率提高到更大格式。

图7A是图解说明包括空间可缩放性增强层位流的多层位流的图式。图7B是图解说明图7A的空间可缩放性位流的速率-失真(R-D)性能的图式。图7A及7B提供空间可缩放性及FGS SNR可缩放性两者的实例。解码基础层45产生图7A的位流1，其允许解码器26获得处于最小质量(SNR)水平的相对低的空间分辨率视频(例如，30帧每秒(fps)的QCIF空间分辨率)。将图7A中的位流2提供于第一FGS增强层位流47中，其将所述QCIF视频质量(SNR)改善达某一量(例如，3dB)。

增强层49的解码提供支持空间可缩放性的额外位流3。解码图7A的增强层49中的位流3允许解码器26获得更高空间分辨率视频(例如，以30fps的CIF空间分辨率)。增强层51提供也具有FGS SNR可缩放性的额外位流4。增强层51的解码进一步改善CIF视频质量但不影响所得视频的空间分辨率。如图7A中所示，基础层45、增强层47、增强层49及增强层51分别需要96千位每秒(kbps)、192kbps、384kbps及512kbps的信道带宽以进行完全传输。在所述实例中，增强层的位速率包括所有较低层的位速率。举例来说，层47的192kbps的位速率包括层45的96kbps。同样地，层49的384位速率包括层47的192kbps位速率及层45的96kbps位速率。

根据本发明，系统10经配置以支持通用精细粒度可缩放性(FGS)。在此意义上，系统10提供优于其中仅通过发送离散增强层实现空间可缩放性的其他系统的改善。通过FGS而非整体处理离散增强层，可能在几乎任一点截断空间可缩放增强层。因此，通过FGS，解码器26可提高视频帧的空间分辨率而无需语法分析和解码整个增强层位流。然而，系统10进一步实施一个或多个方案以降低由于部分解码所致的误差传播。

图7B显示不同位速率及空间分辨率的以分贝(dB)为单位的峰值信号噪声比(PSNR)。特定来说，图7B显示CIF及QCIF速率-失真(RD)曲线。在图7B的实例中，在位速率转变方面所述CIF及QCIF速率-失真曲线是不连贯的。图7B中的参考编号53识别QCIF SNR可缩放性路径，而参考编号55识别CIF SNR可缩放性路径。参考编号57显示QCIF与CIF之间的渐进且大致连续的FGS空间可缩放性路径，而参考编号59显示不连贯离散增强层空间可缩放性路径。

在参考图7A中所示的层的情况下，图7B中的符号指示用于将SNR及/或空间可缩放性从一点增加到另一点的基础层及增强层的组合。举例来说，“仅1”指示仅解码图7A的基础层位流以产生具有最小SNR质量的QCIF视频帧。符号“1+部分2”指示解码所述基础层位流及所述第一增强层位流的一部分两者来产生具有提高的SNR质量的QCIF视频帧，其中“1+2”指示完全解码所述基础层位流及所述第一增强层位流两者以实现提高的SNR质量。符号“1+2+部分3”识别根据本发明通过使用通用FGS途径解码增强层3允许从QCIF到CIF的空间可缩放性路径。

如本发明中所述，系统10通过以FGS格式发送空间可缩放增强层为空间分辨率提高提供通用FGS。这一途径允许在任一点截断空间可缩放性增强位流一适合某一网络/信道条件及/或解码器能力。以此方式，更好的网络/信道条件及/或具有更高能力的解码器将能够重构具有更高空间分辨率及连续改善的视频质量的视频，同事接受并解码更多位。使用用于空间可缩放性的通用FGS途径提供超过完全解码离散增强层的显著改善。

通过用于空间分辨率提高的通用FGS，在位速率转变方面具有不同空间分辨率的视频的RD曲线将连接在一起。以此方式，用于空间分辨率提高的通用FGS在不同空间分辨率视频(例如QCIF53及CIF55)之间提供具有大致连续RD曲线57(而非不连贯RD曲线，例如曲线59)的连续改善的视频质量。特定来说，请注意，QCIF SNR曲线53上的点1+2(其指示完全解码图7A的所述基础层及第一增强层)与离散空间增强层曲线59上的点1+3(其指示完全解码图7A的基础层及第二增强层)之间的间隙。

作为实例，参考图7A的图式及图7B的相关联曲线图，假设希望产生CIF视频而非有基础层1提供的QCIF视频。然而，进一步假设信道条件将不支持完全传输并解码离散增强层49所需的384千位每秒(kbps)速率。在此情况中，可将FGS增强层47截断为可接受水平以获得具有小于384kbps的位速率的CIF视频。虽然这允许288kbps(其中发送0％的位流2)与384kbps(其中发送100％的位流2)之间的连续质量改善，但如图7B中的曲线59所指示(1+部分2+3)所指示，所述位流截断的RD性能可能是次优。在这种情况中，1+部分2+3表示完全解码基础层1，部分解码FGS增强层2及完全解码离散增强层3。这种RD性能并不合乎需要。允许通用FGS，而非完全地解码离散增强层3，连接两个空间分辨率的RD性能曲线将从曲线59(1+部分2+3)改善为曲线57(1+2+部分3，“新截断路径”)，其大致跨QCIF曲线53与CIF曲线55之间的整个空间尺度。

因此，为避免不同空间分辨率视频之间的不连贯RD曲线及/或避免较不合乎需要的编码性能，系统10经配置以提供用于空间分辨率提高的通用FGS。为使用具有良好编码性能的通用FGS实现空间可缩放性，单独或组合地应用一个或多个唯一编码方案以抑制误差传播，部分解码增强层以支持FGS空间可缩放性可产生显著误差传播。本发明中所述的额外方案可有效抑制否则将由于使用通用FGS所导致的误差传播以实现具有连续提高的视频质量的空间可缩放性。

举例来说，在一个实施例中，系统10在帧内预测中应用漏预测方案以减少漂移，用于块内的特殊DC模式以减少空间误差传播，及/或针对帧内预测仅使用所述基础层内的像素的约束条件。此外，系统10可发送阐述应如何预测增强层的语法要素，例如其是帧间预测还是帧内预测及如何分割所述块。在某些实施例中，系统10还在选择基础上支持FGS空间可缩放性或离散空间可缩放性。下文将进一步详细阐述所述额外误差消除方案中的每一者。

FGS层位流可仅含有量化剩余变换系数而无模式及运动信息。为使用FGS实现空间可缩放性，还应发送模式及运动信息。这可通过使用类似于针对离散增强层所定义语法的语法来实现。针对宏块模式，可支持内部(I)模式(I_N x N、I_16 x 16)、BL(基础层)内部模式及(P或B)间模式。所述I_BL模式是层间纹理预测模式。在此模式中，从基础层中重构的像素预测增强层中的像素块。如果所述增强层的分辨率不同于所述基础层的分辨率，则应正确地将所述基础层重构像素上采样为所述增强层分辨率。如果所述增强层的分辨率与所述基础层一样，则不需要上采样所述基础层重构像素以实现所述漏预测技术。而是，可在不上采样的情况下完成所述漏预测。在需要上采样的情况中，可将各种插值技术中的任一者用于上采样。对于运动向量及参考图像索引来说，可将其从所述基础层位流推导出或细化或直接地在增强层位流进行发送。

图8A是图解说明由于部分解码FGS增强层而在编码器及解码器中使用不同参考帧所致的漂移问题的图式。图8B是图解说明从基础层部分预测(也就是漏预测)以削弱图8A中所示的漂移问题的图式。部分解码所述FGS位流(也就是位流截断)可导致漂移问题。特定来说，当解码器26使用部分接收的增强层位流来重构宏块且稍后在帧间预测中使用相同宏块时，在所述编码器与解码器之间存在失配，如图8A中所示。根据本发明，漏预测可至少部分减轻所述漂移问题。如图8B中所示，在漏预测中，部分有所述FGS增强层(例如，按因数a，其中0<＝a<1)及部分由所述基础层(例如，按因数1-a)形成所述预测信号。因为始终完全接收所述基础层信号，由于部分解码所述增强层所致的任何误差E将被消弱因数V切变成a*E、a²*E、a³*￡，且在后续帧中阐述。

图9是图解说明由部分解码相邻像素所致的漂移误差的图式。图10是图解说明通过使用所述漏预测方案来削弱漂移误差的相邻像素的形成的图式。系统10可经配置以将漏预测扩展到宏块内以及宏块间。在图9的实例中，参考编号50指示当前I_4 x 4块，参考编号52指示编码器侧的预测中所使用的相邻像素，且参考编号54指示使用部分解码的解码器侧的预测中所使用的相邻像素。对于帧内预测，从相邻先前所解码块的边缘像素预测块像素。部分解码增强层块导致解码器针对视频块的帧内预测所使用的相邻像素将不同于由所述解码器所使用的相邻像素，从而导致漂移误差。

图9显示漏预测方案的(I)_4 x 4内部对角模式的实例。在图9的实例中，针对当前块50，部分解码表示相邻块的增强层位导致解码器侧的I_4 x 4对角模式中所使用的相邻像素54将不同于编码器侧所使用的相邻像素52。换句话说，当解码器仅部分解码所述增强层位时在解码器及编码器处预测既定块50所使用的相邻像素可以是不同于的。因此，改变了所预测的4 x 4块，从而导致重构块的漂移误差。当在所述解码器侧将当前块50中的像素用于预测下一块时所述漂移误差将再次传播到相邻4 x 4块，从而导致潜在严重误差传播。

为削弱漏问题，图10图解说明漏预测技术的应用，其中4 x 4预测块58是由增强层相邻像素54所构造的预测块及上采样基础层预测块56的经加权平均值(其中加权因数为a)。用于形成所述预测块的上采样基础层像素是对应于待预测实际块的像素。用于形成由所述增强层所构造的预测块的像素是来自先前所解码块沿待预测实际块的边缘的相邻像素。在解码器侧，所得预测块58中的像素值是由所述增强层视频块的相邻像素值所构造的预测块乘以因数a与由上采样基础层预测块56所构造的预测块乘以因数1-a的和。

在每一情况中，将来自增强层预测块的相邻像素结合上采样基础层预测块用于预测帧内块。对于增强层来说，不接收所有块，从而导致仅部分解码。对于所述基础层，接收所有块，但其分辨率低于所述增强层。增强层预测块的相邻像素与上采样基础层预测块的经加权平均值用于减少重构块中的漂移误差58，并减轻在空间FGS编码中因部分解码增强层所呈现的潜在问题。

因此，在所述漏预测方案中，将由增强层相邻像素形成的预测块及由上采样基础层像素形成的预测块加权以产生供编码中使用的实际预测块。所述基础层像素的上采样以与增强层预测块相同的分辨率提供基础层预测块。然而，在某些实施例中，如果所述基础层及增强层具有相同分辨率，则不需要上采样所述基础层，而是可在无上采样的情况下实施漏预测。如果由增强层所定义视频的分辨率大于由基础层所定义视频的分辨率，则实施基础层像素的上采样。尽管将4 x 4内预测用作图9及10中的实例，但可将所述漏预测方案应用于其他帧内预测类型，例如8 x 8内或16 x 16内卢马样本的预测或色度帧内预测。在图10的实例中，解码器26应用漏预测以用权重a来加权由增强层相邻像素构造的预测块并用权重1-a加权上采样基础层预测块来产生削弱漂移误差的预测块。然而，可使用其他因数或加权(包括更复杂的加权函数)以减少漂移误差，例如如下文所述。

如图9及10中所示，对帧内编码块的漏预测会抑制误差传播并促进通用FGS技术中的质量改善。当部分解码所述位流时，可使用其他技术。如果对于某些块来说，在某一点未接收有效量的增强层，则相邻预测将比所述基础层预测差。可使计算所述预测值中所使用的加权因子(其是由相邻像素所构造的预测值与基础层预测值之间的经加权平均值)变为动态可调。所述加权因子的值可取决于所解码位流的量。如果所解码位流越多，则由相邻像素所构造的预测值的加权因子可越大。当解码整个增强层时所使用的加权因子也可以是内容相依。举例来说，应用于帧内预测的加权因子值可取决于如何预测所述基础层。

图11是图解说明如图10中所示的漏预测技术的操作的图式。如图11中所示，解码器26解码所述FGS基础层以重构基础层视频块(57)，且至少部分解码一个或多个FGS增强层以重构增强层视频块(59)。因可以仅部分解码所述FGS增强层，解码器26针对帧内编码块的解码应用漏预测技术。出于此原因，依靠来自部分解码增强层的相邻像素重构帧内编码预测块将产生由于使用编码器及解码器侧上的不同像素的可能性所致的显著漂移误差。

为实施所述漏预测技术，在一个实例性实施例中，解码器26对所述基础层像素(61)进行上采样并由经上采样的基础层像素(63)形成第一预测块。如果所述增强层分辨率大于所述基础层分辨率，则可将所述基础层像素上采样到所述增强层的分辨率，从而产生对应于要预测的帧内编码块的分辨率的预测块。如果所述增强层及所述基础层的分辨率相等，则不需要对所述基础层像素进行上采样。而是，可在由未经上采样的基础层像素形成的预测块的基础上进行所述漏预测技术。相应地，对所述基础层像素的上采样是可选的且在所述增强层分辨率大于所述基础层分辨率时应用。通过进一步参考图1，解码器26还从对应增强层视频块(65)的相邻像素形成第二预测块。特定来说，解码器26选择邻近待预测帧内编码块的所解码增强层中的像素。使用所述第一及第二预测块，解码器26预测帧内编码块(67)。

具体来说，如图11的实例中所示，解码器26基于由上采样基础层像素产生的第一预测块及由增强层块(67)中的相邻像素产生的第二预测块的经加权和预测所述帧内块。以此方式，通过组合基础层及增强层像素，解码器26减少否则可由于所述增强层的部分解码所致的漂移误差的量。所述漏预测技术可应用于视频片段中的某些或所有帧内编码块。在每一情况中，选择增强层相邻像素及基础层像素的不同组合以对应于待预测的帧内编码块。

除漏预测外，用于空间可缩放性的通用FGS途径可提供用于帧内宏块的特殊DC模式以防止空间误差传播。甚至在使用基础层信息的漏预测的情况下，所述漂移误差仍可随着距误差源点的距离增加而累积。DC系数通常是指块的左上角中的系数，且其被以从相邻块所推导出的预测而编码。

为减轻空间误差传播，系统10可经配置以提供用于通用FGS的特殊DC模式。所有帧内宏块类型(包括I_4 x 4、I_8 x 8及I_16 x 16)可使用这一特殊DC模式。当使用所述特殊DC模式时，从编码器及解码器两者已知的默认值而非从相邻块中的信息推导出的任一值中预测所述N x N块(N＝4、8或16)的DC系数，且在无任何预测的情况下编码所述AC系数。因此，所述特殊DC模式避免从相邻块推导值而是依靠预定默认值。在本发明中，所述特殊DC模式用于控制误差传播，且甚至在所有所需相邻块均可用于帧内预测的情况下仍可使用所述特殊DC模式。编码所述DC值所需的位数量取决于量化参数。一旦确定所述位数量，则可使用固定长度编码来编码所述DC值。也可使用其他可变长度的代码来编码所述DC值。

图12是图解说明视频块的特殊DC模式的应用的图式。特定来说，作为实例图12显示使用4 x 4块的I_4 x 4特殊DC模式的编码。对于图12的实例来说，I_8 x 8特殊DC模式类似于I_4 x 4特殊DC模式，只是使用8 x 8块变换且从8 x 8块计算所述DC系数。对于I_16 x 16特殊DC模式，可使用ITU-T H.264中所定义的变换策略且所述DC系数是在应用哈达马变换之后的块94中的DC系数，例如如图15中所示。

可通过所编码位流将所述特殊DC模式作为额外模式(也就是除其他已建立帧内预测模式之外)发送。举例来说，在ITU-T H.264标准中，已存在9个所属技术领域的技术人员已知的I_4 x 4预测模式。如果所述特殊DC模式是额外模式，则其可以是第十个模式。对于I_16 x 16宏块来说，所述特殊DC模式可以是第五模式。根据替代实施方案，所述特殊DC模式可代替已建立的模式。作为另一替代，在可由所述位流推导出的特定条件下所述特殊DC模式可代替原始DC模式。

如图12中所示，编码器20应用特殊DC模式以编码I_4 x 4块60。编码器20对块60应用4 x 4块转换61，且通过预测器70应用DC系数预测62，预测器70产生编码器及解码器两者均已知的默认DC系数值。编码器20在DC预测后对所转换块应用量化63，且然后应用熵编码器61以产生将要传输的经编码块。一逆过程用于重构所述块。举例来说，解码器26应用熵解码器65及去量化66，随后是使用由默认DC系数预测器70产生的值的逆DC系数值预测67。因此，编码器20及解码器26各自可包括用作默认DC系数预测器70的功能单元以产生编码器及解码器两者均已知的默认DC系数值。在逆DC预测67之后，解码器26实施4 x 4块逆转换以产生所预测块69。也可通过从所述块中的所有像素减去预测值而在像素域中等效地实施DC系数预测。

图13是图解说明针对不同帧内预测模式使用所述特殊DC模式的图式。某些系统具有单环路解码选项。举例来说，位流可具有两个具有不同分辨率的层。如果用户仅关注高分辨率视频，且所述位流支持单回路解码，则仅需要于高分辨率层处实施运动补偿。这通过强制实施某些预测约束条件来实现。举例来说，一个约束条件可要求不能从相邻帧间宏块预测帧内宏块，且仅在以正常帧内模式或BL内模式编码所述基础层时可将所述BL(基础层)内模式用于增强层中，以便可重构所述基础层中的宏块并用于预测，而无需实施任一运动补偿。

当使用单回路解码且不帧内编码相应基础层宏块时，不能使用漏预测，这是因为不存在可用的基础层像素。在这种情况下，为限制来自空间相邻的误差传播，当将所述增强层宏块信令位I_4 x 4时，在一个实施例中，可推断七个边界4 x 4块呈特殊DC模式。在单回路解码中，当增强层宏块在帧内时，推断边界块(图13中的暗块72)呈特殊DC模式。非边界块74仍可在上文所呈现正确误差控制方案下使用任一帧内预测模式。

类似地，当将增强层宏块信令为I_8 x 8时，则推断三个边界8 x 8块76呈特殊DC模式，同时块78可在上文所呈现的正确误差控制方案下使用任一帧内预测模式。如由参考编号80所指示，当增强层宏块是I_16 x 16时，可推断使用特殊DC模式。请注意，在图13中各个宏块中的其他非边界4 x 4或8 x 8块74、78仍可使用其他帧内预测模式。在另一个实施例中，任一位置处的块可以是DC模式且可明确地信令所述模式。

图14是图解说明来自基础层中的帧82的帧内预测的图式。图14显示上采样基础层的帧82中的块84以产生上采样块86。上采样块86用于预测增强层的帧90中的待编码块88。如图14中所示，也可将约束条件应用于所述增强层中以不使用层内帧内预测。在一个实施例中，举例来说，可强制实施一个约束条件以便不由来自与待预测块相同层内的相同帧的像素(或从所述像素推导出的其他信息)形成所述预测。换句话说，不使用从与所述待预测块相同层及相同帧所获得的像素或其他信息来预测增强层中的块。在这种情况下，通过来自基础层中的帧或其他已编码帧或两者的组合的像素(或从所述像素推导出的其他信息)形成所述预测。以此方式，解码器26可应用针对帧内预测仅使用所述基础层中的像素的约束条件。基础层中的帧82可具有相同分辨率或不同分辨率。

为支持使用通用FGS的空间可缩放性，可在经编码位流中传输各种宏块语法要素以信令解码器应如何预测增强层中的每一宏块。所述语法要素可包括诸如将要帧间或帧内预测宏块的信息。如果帧间预测所述宏块，则还应传输诸如如何分割宏块及每一分区的运动向量及参考帧索引的信息。如果帧内预测宏块，则可从基础层中的相同时间位置处的帧或相同层中的相同帧发送诸如帧内预测模式的额外信息。

可以以不同方式实现语法要素的传输。在一个实施例中，在传输任一纹理信息之前传输帧或片段的所有语法要素，所述纹理信息是与转换系数有关的信息。在另一个实施例中，可将所述语法要素与所述纹理信息交错。然而，所编码位流仍可通常符合所述FGS格式，从而避免完全地重设计所述编码技术的结构及格式。

在H.264实施方案中，宏块可以呈B片段(也就是，使用过去片段、未来片段或两者的双向或双预测编码片段)中的直接模式。B片段可形成视频帧的一部分或覆盖整个视频帧。当宏块呈B片段中的直接模式时，从已编码的信息推导出这一宏块的运动向量及参考帧索引。所述用于推导出所述运动向量及参考帧索引的信息是来自相同帧且有时可来自所述参考帧。如果宏块(MB)呈空间直接模式，可从相邻MB的运动向量推导出每一分区的运动向量。然而，也可通过参考帧中的共定位块的运动向量限制每一所推导出的运动向量。在所述时间直接模式中，可基于当前帧与其参考帧之间的时间关系从参考帧中的共定位块的运动向量推导出运动向量。

与依赖参考帧的信息推导出运动向量有关的一个问题是在解码器26中可截断所述参考帧。因此，可用于解码器20的信息不可用于解码器26。运动向量的不正确重构通常导致大的误差。在一个实施例中，在将增强层编码于B片段中且不通过来自参考帧的任一信息限制所推导出的运动向量时将仅使用空间直接模式。换句话说，如果将增强层编码于双预测(B)片段中，则解码器26仅应用修改的空间直接模式，其不使用来自所述参考帧的任一信息。

在一个实施例中，因此增强层呈现更高空间分辨率，在用于FGS系数编码过程中之前可上采样来自所述基础层的有效性映射。在另一个实施例中，可在编码所述空间增强层处的FGS位流之前清除所述有效性映射。在这种情况下，没有系数被编码为具有提高的空间分辨率的FGS增强层中的细化系数。因此，重置来自所述基础层的有效性映射，且仅将系数解码为所述增强层中的一者或多者中的零系数或不具有细化系数的非零有效系数。

在某些系统中，可需要在选择基础上除FGS空间增强层外保留编码离散空间增强层的能力。举例来说，复杂性考虑可保证相同系统中离散空间增强层的选择。在这种情况下，系统10可经配置以支持与离散空间增强层的相容性。如果可以可靠地递送所述增强层，则使用离散空间增强层编码可提供更高编码性能。可在所传输位流中信令离散空间增强层编码的选择。举例来说，所述位流可包括指示针对所述位流支持离散空间增强层编码还是FGS空间增强层编码的信息，如本文所述。一个实例是将新旗标引入可缩放片段标头中以指示是否在所述片段中使用FGS编码。

图15是图解说明，具有16乘16帧内预测模式的宏块中卢马DC块的图式。对16 x 16内部宏块92，可对卢马DC系数进行哈达马(Hadamard)变换。如图15中所示，如果使用16 x 16帧内模式预测宏块，则将卢马预测剩余首先转换为16个4 x 4块，且16个块的DC系数形成另一个4 x 4块94。在本发明中将这一额外4 x 4块称作16 x 16内部DC块。根据ITU-T H.264独立于所述AC块编码所述DC块。对于ITU-T H.264来说，所述这一分立的额外实施复杂性最小。然而，因其特定设计如果在FGS编码器中独立地编码则实施复杂性的影响将更大。

因此，在FGS编码中，尽管对DC系数实施额外转换，但仍不独立地编码所述DC系数。对于常规FGS来说这可能不成问题，其仅支持对相同分辨率的视频的细化。然而，针对偏好16 x 16帧内预测的某些视频内容来说其可显著地影响经由通用FGS的空间可缩放性的性能。一种在不引入过多复杂性的情况下提供FGS空间可缩放性的途径是以在ITU-T H.26基础层中编码的方式编码16 x 16内部DC块。举例来说，一旦遇到所述16 x 16内部DC块的第一系数，则在编码任一其他系数之前编码整个块。

本发明阐述用于使用通用FGS编码的空间可缩放性的技术。使用通用FGS格式允许视频编码器实现跨不同空间分辨率的连续质量改善。如本发明中所述，用于使用通用FGS的空间可缩放性的技术可利用数种不同方案来支持具有可接受的性能及复杂性的空间可缩放性。举例来说，所述技术可并入用以抑制由于部分解码所致的误差传播的方案，其包括使用由增强层相邻像素形成的预测值及上采样基础层预测值的经加权平均值的帧内编码宏块的漏预测，在部分解码中预测源的自适应性切换，及停止由于剩余漂移误差所致的空间误差传播的特殊DC模式。

在某些实施例中，可强制实施约束条件以便不通过来自相同层中的相同帧的像素或从所述像素推导出的其他信息形成预测来简化所述设计。此外，如果将增强层编码于B片段中则可仅使用空间直接模式，且不通过来自所述参考帧的任一信息限制所推导出的运动向量。作为另一特征，可将来自基础层图像的有效性映射上采样并用于增强层剩余的FGS编码中以改善编码性能。另外，所述空间增强层中的系数可未编码任何细化系数。同样，可将特殊1位语法添加于所述可缩放片段标头以信令所述解码器所述空间可缩放性层是使用FGS编码还是用作离散空间增强层。

本发明中所述的技术可实施于硬件、软件、固件或其任一组合中。特定来说，如本文所述，可通过各种硬件、软件及固件组件中的任一者来实现编码或解码器。举例来说，所述技术的各个方面可实施于一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(PPGA)或其他等效集成或离散逻辑电路以及所述组件的任一组合中。术语“处理器”或“处理电路”通常是指单独或与其他逻辑电路组合的前述逻辑电路中的任一者或任一其他等效电路。在某些实施例中，可将本文所述的功能性提供于专用软件模块中或经配置以进行编码及解码的硬件单元中，或并入组合视频编码器-解码器(CODEC)中。

如果实施于软件中，则所述技术可部分地通过一种计算机可读媒体来实现，所述计算机可读媒体包含在由处理器执行时可实施上文所述的功能中的一者或多者的程序代码或指令。存储所述程序代码或指令的计算机可读媒体可包含随机存取存储器，例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦可编程只读存储器(EEPRQM)、快闪存储器、磁性或光学数据存储媒体或所述存储器或存储媒体的任一组合。

本文已阐述本发明的各种实施例。所述及其它实施例均在随附权利要求书的范围内。

Claims

1.一种视频编码方法，其包含：

对精细粒度可缩放性(FGS)基础层进行解码以重构定义处于第一空间分辨率的视频的基础层视频块；

至少部分地对一个或多个FGS增强层进行解码以重构定义处于大于或等于所述第一空间分辨率的第二空间分辨率的视频的增强层视频块；及

基于由所述基础层视频块形成的第一预测块及由所述增强层视频块中的相邻像素形成的第二预测块的经加权和来预测帧内编码视频块。

2.如权利要求1所述的方法，其中所述第二空间分辨率大于所述第一空间分辨率，所述方法进一步包含对所述基础层视频块进行上采样，且其中所述第一预测块由所述经上采样的基础层视频块形成。

3.如权利要求2所述的方法，其进一步包含基于所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二空间分辨率的视频。

4.如权利要求2所述的方法，其中所述FGS基础层以第一质量等级定义所述视频，且所述FGS增强层中的至少一者以大于所述第一质量等级的第二质量等级定义所述视频。

5.如权利要求4所述的方法，其进一步包含基于所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二质量等级的视频。

6.如权利要求4所述的方法，其进一步包含基于所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二空间分辨率的视频，且基于所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二质量等级的视频。

7.如权利要求2所述的方法，其进一步包含在不使用从与所述各个帧内编码视频块相同层内的相同帧推导出的视频信息的情况下预测所述帧内编码视频块。

8.如权利要求2所述的方法，其进一步包含仅使用来自所述基础层的像素预测所述帧内编码视频块。

9.如权利要求2所述的方法，其进一步包含使用特殊DC模式对所述FGS增强层中的块进行解码，在所述特殊DC模式中从编码器及解码器两者已知的默认值中预测DC系数且在没有从相邻块计算出的预测的情况下对AC系数进行解码。

10.如权利要求2所述的方法，其进一步包含：如果将增强层编码在双预测(B)片段中，则仅将经修改的空间直接模式应用于所述增强层，所述经修改的空间直接模式不使用来自参考帧的信息。

11.如权利要求2所述的方法，其进一步包含对来自所述基础层的有效性映射进行上采样，并使用所述经上采样的有效性映射来对所述增强层中的一者或多者进行解码。

12.如权利要求1所述的方法，其进一步包含重置来自所述基础层的有效性映射，并将系数仅解码为所述增强层中的一者或多者内的零系数或不具有细化系数的非零有效系数。

13.如权利要求2所述的方法，其进一步包含借助所述增强层中的至少一者接收1位语法要素以发信号通知针对空间可缩放性使用FGS编码。

14.一种视频编码装置，其包括解码器，所述解码器对精细粒度可缩放性(FGS)基础层进行解码以重构定义处于第一空间分辨率的视频的基础层视频块，至少部分地对一个或多个FGS增强层进行解码以重构定义处于大于或等于所述第一空间分辨率的第二空间分辨率的视频的增强层视频块，并基于由所述基础层视频块形成的第一预测块及由所述增强层视频块中的相邻像素形成的第二预测块的经加权和来预测帧内编码视频块。

15.如权利要求14所述的装置，其中所述第二空间分辨率大于所述第一空间分辨率，所述解码器对所述基础层视频块进行上采样，且其中所述第一预测块是由所述经上采样的基础层视频块形成。

16.如权利要求15所述的装置，其中所述解码器基于所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二空间分辨率的视频。

17.如权利要求15所述的装置，其中所述FGS基础层以第一质量等级定义所述视频，且所述FGS增强层中的至少一者以大于所述第一质量等级的第二质量等级定义所述视频。

18.如权利要求17所述的装置，其中所述解码器基于所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二质量等级的视频。

19.如权利要求17所述的装置，其中所述解码器基于所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二空间分辨率的视频，且基于所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二质量等级的视频。

20.如权利要求17所述的装置，其中所述解码器在不使用从与所述各个帧内编码视频块相同层中的相同帧推导出的视频信息的情况下预测所述帧内编码视频块。

21.如权利要求15所述的装置，其中所述解码器仅使用来自所述基础层的像素预测所述帧内编码视频块。

22.如权利要求15所述的装置，其中所述解码器使用特殊DC模式对所述FGS增强层中的块进行解码，在所述特殊DC模式中从编码器及解码器两者均已知的默认值中预测DC系数，且在没有从相邻块计算出的预测的情况下对AC系数进行解码。

23.如权利要求15所述的装置，其中如果将增强层编码在双预测(B)片段中，则所述解码器仅将空间直接模式应用于所述增强层，而不使用来自参考帧的信息。

24.如权利要求15所述的装置，其中所述解码器对来自所述基础层的有效性映射进行上采样，并使用所述经上采样的有效性映射来对所述增强层中的一者或多者进行解码。

25.如权利要求14所述的装置，其中所述解码器重置来自所述基础层的有效性映射，并将系数仅解码为所述增强层中的一者或多者内的零系数或不具有细化系数的非零有效系数。

26.如权利要求15所述的装置，其中所述解码器借助所述增强层中的至少一者接收1位语法要素以发信号通知针对空间可缩放性使用FGS编码。

27.一种计算机可读媒体，其包含致使处理器执行如下操作的指令：

28.如权利要求27所述的计算机可读媒体，其中所述第二空间分辨率大于所述第一空间分辨率，所述指令进一步致使所述处理器对所述基础层视频块进行上采样，且其中所述第一预测块是由所述经上采样的基础层视频块形成。

29.如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器基于所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二空间分辨率的视频。

30.如权利要求29所述的计算机可读媒体，其中所述FGS基础层以第一质量等级定义所述视频，且所述FGS增强层中的至少一者以大于所述第一质量等级的第二质量等级定义所述视频。

31.如权利要求30所述的计算机可读媒体，其中所述指令致使所述处理器基于所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二质量等级的视频。

32.如权利要求30所述的计算机可读媒体，其中所述指令致使所述处理器基于所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二空间分辨率的视频，且基于所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二质量等级的视频。

33.如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器在不使用从与所述各个帧内编码块相同层内的相同帧推导出的视频信息的情况下预测所述帧内编码视频块。

34.如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器仅使用来自所述基础层的像素预测所述帧内编码视频块。

35.如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器使用特殊DC模式对所述FGS增强层中的块进行解码，在所述特殊DC模式中从编码器及解码器两者均已知的默认值中预测DC系数，且在没有从相邻块计算出的预测的情况下对AC系数进行解码。

36.如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器在将增强层编码在双预测(B)片段中的情况下仅将空间直接模式应用于所述增强层，而不使用来自参考帧的信息。

37.如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器对来自所述基础层的有效性映射进行上采样，并使用所述经上采样的有效性映射来对所述增强层中的一者或多者进行解码。

38.如权利要求27所述的计算机可读媒体，其中所述指令致使所述处理器重置来自所述基础层的有效性映射，并将系数仅解码为所述增强层中的一者或多者内的零系数或不具有细化系数的非零有效系数。

39.如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器借助所述增强层中的至少一者接收1位语法要素以发信号通知针对空间可缩放性使用FGS编码。

40.一种方法，其包含：

对精细粒度可缩放性(FGS)基础层进行解码，所述精细粒度可缩放性(FGS)基础层包括定义处于第一空间分辨率的视频信息的基础层视频块；

至少部分地对一个或多个FGS增强层进行解码，所述一个或多个FGS增强层包括定义处于大于所述第一空间分辨率的第二空间分辨率的视频信息的增强层视频块；及

在不使用从与所述各个帧内编码视频块相同层内的相同帧所推导出的视频信息的情况下预测帧内编码视频块。

41.如权利要求40所述的计算机可读媒体，其进一步包含仅使用来自所述基础层的像素预测所述帧内编码视频块。

42.如权利要求40所述的方法，其进一步包含使用特殊DC模式对所述FGS增强层中的块进行解码，在所述特殊DC模式中从编码器及解码器两者均已知的默认值中预测DC系数，且在没有从相邻块计算出的预测的情况下对AC系数进行解码。

43.如权利要求40所述的方法，其进一步包含：如果将增强层编码在双预测(B)片段中，则仅将空间直接模式应用于所述增强层，而不使用来自参考帧的信息。

44.如权利要求40所述的方法，其进一步包含对来自所述基础层的有效性映射进行上采样，并使用所述经上采样的有效性映射来对所述增强层中的一者或多者进行解码。

45.如权利要求40所述的方法，其进一步包含重置来自所述基础层的有效性映射，并将系数仅解码为所述增强层中的一者或多者内的零系数或不具有细化系数的非零有效系数。

46.一种装置，其包含解码器，所述解码器对包括定义处于第一空间分辨率的视频信息的基础层视频块的精细粒度可缩放性(FGS)基础层进行解码，至少部分地对包括定义处于大于所述第一空间分辨率的第二空间分辨率的视频信息的增强层视频块的一个或多个FGS增强层进行解码，并在不使用从与所述各个帧内编码视频块相同层内的相同帧所推导出的视频信息的情况下预测帧内编码视频块。

47.如权利要求46所述的装置，其中所述解码器仅使用来自所述基础层的像素预测所述帧内编码视频块。

48.如权利要求46所述的装置，其中所述解码器使用特殊DC模式对所述FGS增强层中的块进行解码，在所述特殊DC模式中从编码器及解码器两者均已知的默认值中预测DC系数，且在没有从相邻块计算出的预测的情况下对AC系数进行解码。

49.如权利要求46所述的装置，其中如果将增强层编码在双预测(B)片段中，则所述解码器仅将空间直接模式应用于所述增强层，而不使用来自参考帧的信息。

50.如权利要求46所述的装置，其中所述解码器对来自所述基础层的有效性映射进行上采样，并使用所述经上采样的有效性映射来对所述增强层中的一者或多者进行解码。

51.如权利要求46所述的装置，其中所述解码器重置来自所述基础层的有效性映射，并将系数仅解码为所述增强层中的一者或多者内的零系数或不具有细化系数的非零有效系数。

52.一种方法，其包含：

对一个或多个FGS增强层进行解码，所述一个或多个FGS增强层包括定义处于大于所述第一空间分辨率的第二空间分辨率的视频信息的增强层视频块；及

使用特殊DC模式对所述FGS增强层中的所述块中的每一者进行解码，在所述特殊DC模式中从编码器及解码器两者均已知的默认值中预测DC系数，且在没有从相邻块计算出的预测的情况下对AC系数进行解码。

53.如权利要求52所述的方法，其中所述FGS基础层以第一质量等级定义所述视频信息，且所述FGS增强层中的至少一者以大于所述第一质量等级的第二质量等级定义所述视频信息。

54.如权利要求52所述的方法，其进一步包含借助所述增强层中的至少一者接收1位语法要素以发信号通知针对空间可缩放性使用FGS编码。

55.一种装置，其包含解码器，所述解码器对包括定义处于第一空间分辨率的视频信息的基础层视频块的精细粒度可缩放性(FGS)基础层进行解码，对包括定义处于大于所述第一空间分辨率的第二空间分辨率的视频信息的增强层视频块的一个或多个FGS增强层进行解码，并使用特殊DC模式对所述FGS增强层中的所述块中的每一者进行解码，在所述特殊DC模式中从编码器及解码器两者均已知的默认值中预测DC系数，且在没有从相邻块计算出的预测的情况下对AC系数进行解码。

56.如权利要求55所述的装置，其中所述FGS基础层以第一质量等级定义所述视频信息，且所述FGS增强层中的至少一者以大于所述第一质量等级的第二质量等级定义所述视频信息。

57.如权利要求55所述的装置，其进一步包含借助所述增强层中的至少一者接收1位语法要素以发信号通知针对空间可缩放性使用FGS编码。