JP2016527794A

JP2016527794A - クラスタに基づいた依存信号

Info

Publication number: JP2016527794A
Application number: JP2016526588A
Authority: JP
Inventors: カルステンズューリング; トーマスシーアル; デトレフマルペ; ローベルトスクーピン; デラフエンテヤーゴサンチェス; ゲルハルトテヒ
Original assignee: ジーイービデオコンプレッションエルエルシー
Priority date: 2013-07-15
Filing date: 2014-07-15
Publication date: 2016-09-08
Also published as: WO2015007750A1; KR20180127524A; KR101921646B1; JP2024020424A; US11546618B2; US20190253725A1; JP2024012407A; EP3905683C0; CN110225358B; JP2022184978A; JP2021048591A; KR102388631B1; CN105532002B; JP7509839B2; JP7745417B2; US20240007657A1; WO2015007753A1; KR102656946B1; US20210211687A1; JP2022008511A

Abstract

多層データストリームの層間の相互層依存の信号化が説明される。一方の相互層依存の潜在的な多様性の非常に集中的な制限と他方の相互層依存の非常に複雑な信号との間の良好な妥協案は、ベース層ＩＤによって表現できる異なる値のペア間に相互依存を示している第１相互依存構文構造と、多層データストリームの部分が関連する層に索引を付ける拡張層ＩＤ、又は、ベース層ＩＤおよび拡張層ＩＤによって表現できる異なる値のペア間の相互依存を標示している第２相互依存構文構造との方法によって、相互層依存を説明することによって見つけられる。この概念に従って、強調が、一方の信号化できる相互層依存の増大した多様性と他方の相互層依存を信号で伝えるための減少したサイド情報オーバーヘッドとの間にシフトされる。例えば、共通のベース層ＩＤを持つ層のセットは、それぞれ、「クラスタ」と呼ぶ。同じ第２相互依存構文構造が、全てのクラスタ内の相互依存と第１相互依存構文構造を介して互いに関連した全てのクラスタ間の相互依存とを調節するために別々に使用される。代わりに、第２相互依存構文構造の２つの実例が、一方のクラスタ内の層の相互依存と他方の異なるクラスタの層間の相互依存とを説明するために用いられる。増大した多様性または減少したサイド情報オーバーヘッドに置かれた強調とは無関係に、概念を信号で伝えている相互依存は、信号オーバーヘッドを低く保持することを生じる。【選択図】図３

Description

本発明は、例えば多層ビデオ符号化の分野などの・・・・に関する。

ＨＥＶＣ基本仕様［非特許文献１］などのビデオ符号器規格、および、多ビュー（ｖｉｅｗ）拡張［非特許文献２、３］などのその拡張は、通常、層にされた符号化シナリオにおいて、ビデオデータの個々の符号化された大きな塊が属する層を信号で伝えるためのメカニズムを引き継ぐ。信号化メカニズムはすぐに利用できることを必要とする（図１の表に与えられたＨＥＶＣのＮＡＬユニットヘッダー（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）の中の層識別子と比較してください）。

ビットについてその有限サイズに関して、個々のＨＥＶＣ構文要素は、スケーラブル層、ビューおよび／または奥行きを識別するために用いられる６４個の値を許容する。例えば、現在のＨＥＶＣＮＡＬユニットヘッダー構文を使っている多ビュービデオに対して、これは、最大６４個のビュー、または、３２個のビュー＋奥行きの組み合わせの制限を暗示している。これは多くの共通のステレオビューシナリオおよび他の応用のために十分であるけれども、光分野画像処理［非特許文献４、５］またはホログラフィックディスプレイ［非特許文献６］のような応用のための１００個を超えるビューを有する莫大なカメラ配列は、層識別子のより大きい空間を信号で伝えるために拡張可能なメカニズムを必要とする。

さらに、それらの符号化依存（ｃｏｄｉｎｇｄｅｐｅｎｄｅｎｃｉｅｓ）もしくは互いの空間関係の観点から、所定の層またはビューをグループ化することによって層識別子の空間を構造化することが有利である。さらに、そのような情報を符号化されたビデオビットストリーム内の既に利用可能な情報から引き出すことが耐えられない計算処理源を必要とするので、構造化された層識別子空間の中の符号化依存のコンパクトな表現も利点がある。

Ｂ．ブロス、Ｗ．−Ｊ．ハン、Ｊ．−Ｒ．オーム、Ｇ．Ｊ．サリバン、Ｔ．ウィーガント（編集）、「高能率ビデオ符号化（ＨＥＶＣ）テキスト仕様書草稿１０」、ＪＣＴＶＣ−Ｌ１００３、ジュネーブ、ＣＨ、２０１３年１月Ｇ．テク、Ｋ．ウェグナー、Ｙ．チェン、Ｍ．ハンニュクセラ、Ｊ．ボイス（編集）、「ＭＶ−ＨＥＶＣ草稿テキスト３（ＩＳＯ／ＩＥＣ２３００８−２ＰＤＡＭ２）」、ＪＣＴ３Ｖ−Ｃ１００４、ジュネーブ、ＣＨ、２０１３年１月Ｇ．テク、Ｋ．ウェグナー、Ｙ．チェン、Ｓ．イア（編集）、「３Ｄ−ＨＥＶＣテストモデル説明書、草稿仕様書」、ＪＣＴ３Ｖ−Ｃ１００５、ジュネーブ、ＣＨ、２０１３年１月ウィルバーン、ベネット他、大きいカメラ配列を使用している高性能画像、グラフィックのＡＣＭトランスアクション、２００５、２４。Ｊｇ．、Ｎｒ．３、Ｓ．７６５−７７６ウィルバーン、ベネットＳ．他、光分野ビデオカメラ、電子画像処理２００２、光学と光通信学のための国際協会、２００１．Ｓ．２９−３６ホリマイヒデヨシ他、３６０度水平線視角を持つフルカラー３Ｄディスプレイシステム、Ｐｒｏｃ．Ｉｎｔ．３Ｄとコンテンツのシンポジウム、２０１０、Ｓ．７−１０

従って、例えば、減少したサイド情報オーバーヘッド、および／または、発展したバックワード互換性について、より効率的である多層符号化に関連して・・・・の信号のための概念を提供することが、本応用の目的である。この目的は保留中の独立請求項の主題によって達成される。

本応用の面のうちの１つは、多層データストリームの層間の相互層依存の信号化に関係している。この面によると、一方の相互層依存の潜在的な多様性の非常に集中的な制限と、他方の相互層依存の非常に複雑な信号との間の良好な妥協案は、ベース層ＩＤによって表現可能な異なる値のペア間の相互依存を標示している第１相互依存構文構造と、拡張層ＩＤによって表現可能な異なる値のペア間の相互依存を標示している第２相互依存構文構造との方法によって、相互層依存を説明することによって見付けられる。多層データストリームの部分は、層に索引を付けているベース層ＩＤおよび拡張層ＩＤに関連する。この概念に従って、強調は、一方の信号化できる相互層依存の増大した多様性と、他方の相互層依存を信号で伝えるための減少したサイド情報オーバーヘッドとの間を移行する。例えば、共通のベース層ＩＤを持つ層のセットを、それぞれ「クラスタ（群れ）」と呼ぶ。同じ第２相互依存構文構造は、第１の相互依存構文構造を介して、全てのクラスタ内の、および、互いに関連した全てのクラスタ間の相互依存を調節するために、別々に使用される。代わりに、第２相互依存構文構造の２つの例示が、一方のクラスタ内の層と他方の異なるクラスタの層間との相互依存を説明するために用いられる。増大した多様性または減少したサイド情報オーバーヘッドに置かれた強調とは無関係に、相互依存信号概念が、信号オーバーヘッドを低く保持することを生じる。

本応用の面のうちの１つは、多層ビデオ信号のパケットの各々が関連する層ＩＤの信号に関係している。特にこの面は、この層関係を信号で伝える効率的な方法を達成する。それでも、ベース層ＩＤフィールドの所定の値が、ベース層ＩＤフィールドのベース層ＩＤ値が０のように拡張できないと制限される符号でバックワード互換性を維持する。この拡張できないベース層ＩＤ値についてこの制限を特に回避する代わりに、多層データストリームの部分の層ＩＤは、ベース層ＩＤフィールドを第１副フィールドおよび第２副フィールドに区分することによって拡張できる方法で信号で伝えられる。ベース層ＩＤフィールドの第１の副フィールドが予め決められた基準を満たせば、いつでも、拡張層ＩＤフィールドが提供される。仮にベース層ＩＤフィールドの第１副フィールドが、予め決められた基準を満たさないならば、拡張層ＩＤフィールドは省略される。前記の拡張できないベース層ＩＤ値は、ベース層ＩＤフィールドの第１副フィールドが予め決められた基準を満たさないベース層ＩＤ値のグループ内に「隠されて」いる。従って、この拡張できないベース層ＩＤ値は別々に処理さるのではなく、前者のグループの部分が処理される。むしろ、仮にベース層ＩＤフィールドの第１副フィールドが、予め決められた基準を満たすならば、拡張値は、拡張値のドメインの第１副セットの中に存在するように、多層データストリーム内の信号で伝えられた拡張層ＩＤフィールドから引き出される。そして、仮にベース層ＩＤフィールドの第１副フィールドが、予め決められた基準を満たさないならば、この拡張値は、拡張値のドメインの第１副セットに解体する値に設定される。個々の部分が関連する層は、その時、ベース層ＩＤフィールドの第２副フィールドから引き出されるクラスタ値と同様の拡張値を使って索引を付けられる。大体、信号効率は、バックワード互換性の維持にも関わらず失われない。

本応用の面のうちの１つは、多層ビデオ信号などの層のための最低１つの特徴の信号（例えばそれぞれの層毎にそれぞれの層が相互層予測を介して直接に関連する依存層の標示）または、前述の第２相互依存構文構造の信号に関係している。この面に従って、最大の構文要素は、多層ビデオ信号のパケットの拡張層ＩＤフィールドの最大限に使われた値を示すために、多層ビデオ信号内で信号が伝えられる。例えば、最大の構文要素の範囲は、多層ビデオ信号のいくつかの部分を横切って拡張している、多層ビデオ信号の予め決められた部分である。従って、この面によると、多層ビデオ信号の相対的に大きい予め決められた部分に対して、拡張層ＩＤフィールドによって信号化できる可能な値の可能なドメインの実際に消費された部分についての知識を得ることは、多層ビデオ信号を受信するデコーダやネットワーク要素などの装置に対して適当である。最低１つの特徴が、ベース層ＩＤフィールド値と拡張層ＩＤフィールド値とのそれぞれの結合のために信号で伝えられる必要はないけれども、むしろ、最大限に仮定された値に基づいて決定された層の最大値のための最低１つの特徴を信号で伝えることは重要である。従って、最低１つの特徴は、層ＩＤを持つ層のために送信／信号することは必要でない。その拡張層ＩＤは、多層ビデオ信号の予め決められた部分内で起こらない。これを越えて、別の実施の形態に従って、最大限に仮定された値の知識は、個々の部分の層ＩＤを信号で伝えるためのサイド情報オーバーヘッドを減らすために、すなわち、多層ビデオ信号のパケット内の拡張層ＩＤフィールドを信号で伝えるために必要なビットを減らすために使用される。

概説された面は結合され又は個々に使用され、上で概説された面の好ましい実例は、従属請求項の主題であり、図に関して後で議論される。

図１は、ＨＥＶＣのＮＡＬユニットヘッダーの構文を示す。図２は、多層ビデオエンコーダ、ネットワーク要素および多層ビデオデコーダを含む環境を模式的に説明する。多層ビデオエンコーダ、ネットワーク要素および多層ビデオデコーダは、以下の図面において説明された概念のいずれか、または、いずれかの結合によって改善される。図３は、ネットワーク装置、および、ネットワーク装置に到達する多層データストリーム内のクラスタな方法の層相互依存において信号で伝える概念を模式的に示す。図４は、図３の概念に従って相互層依存を信号で伝える方法を模式的に説明する。図５は、図３の信号概念を使う場合に相互層依存を引き出すために、より具体的な例を模式的に説明する。図６は、層ＩＤ拡張を示している構文要素の方法によって拡張されたＨＥＶＣ構文の一部分を示すことによって、スライスセグメントヘッダーのＨＥＶＣ構文の可能な拡張を示す。図７は、図３の信号概念を実施するために、例示的に拡張されたＶＰＳ構文の一例を示す。図８は、図７の例の代案を示す。図９は、図７の例の代案を示す。図１０は、図７の例の代案を示す。図１１は、拡張層ＩＤフィールドの最大限に仮定された値が、データストリームの中で信号によって伝えられる本応用のより一層の概念を設定するための装置を模式的に示す。図１２は、図１１の概念を模式的に説明する。図１３は、拡張層ＩＤフィールドを含むように拡張されたＨＥＶＣのスライスセグメントヘッダーを取り出す部分の一例を示す。図１４は、図１３の拡張層ＩＤフィールドの長さを示すために、構文要素を含むように拡張されたＶＰＳ構文の一例を示す。図１５は、拡張層ＩＤフィールドの最大値を示している構文要素を含むように拡張されたＶＰＳ構文の一例を示す。図１６ａは、拡張層ＩＤフィールドを含むように拡張されたＳＥＩ拡張の構文構造を取り出す部分の一例を示す。図１６ｂは、拡張層ＩＤフィールドを含むように拡張されたＳＰＳ拡張の構文構造を取り出す部分の一例を示す。図１６ｃは、拡張層ＩＤフィールドを含むように拡張されたＰＰＳ拡張の構文構造を取り出す部分の一例を示す。図１７は、図１１および図１２について説明された最大限に仮定された値に依存している構文部分を、複数回繰り返して通ることによって、ビデオデータストリーム内の層に情報を信号で伝えているＶＰＳ構文の一例を示す。図１８は、特定の例に従って、特に、拡張層ＩＤフィールドを示すためにｌａｙｅｒ＿ｉｄ＿ｅｘｔを使用して、ベース層ＩＤフィールドを示すためにｎｕｈ＿ｌａｙｅｒ＿ｉｄを使用して、及び、層ＩＤを示すためにｌａｙｅｒＩＤを使用して、拡張層ＩＤフィールド、ベース層ＩＤフィールドおよび層ＩＤの間の模式的な例示関係を示す。そして、拡張層ＩＤフィールドの表現可能な値の数が、ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ（ｐｌｕｓ１）によって示されている。ここでは、例として、ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎを２と等しく設定することによって、拡張層ＩＤフィールドの長さを２に選択することによって３に設定されている。図１９は、拡張層ＩＤフィールドを含むように拡張されたスライスセグメントヘッダーを取り出す部分の一例を示す。図２０ａは、ベース層ＩＤフィールドの副フィールドの長さを示す構文要素を含むように拡張されたＶＰＳ構文の一例を示す。図２０ｂは、拡張層ＩＤフィールドを条件付きで明示的に信号で伝えるように修正されたスライスセグメントヘッダー構文を取り出す部分の一例を示す。図２１は、図１８の概念に従って実施された関係を使用して層ＩＤを引き出しているネットワーク装置の機能を説明するフローチャートを示す。

本応用の特定の実施の形態を説明する前に、例示的な多層ビデオ符号器の環境が図２に関して説明される。以下で概説される実施の形態と面は有利に使用される。例示的な多層ビデオ符号器の環境のこの概要は、さらに以下で概説される実施の形態を限定するものと理解してはならないけれども、以下の図について例示的に提供される詳細と機能は、より詳細な実施の形態を生じるように以下でさらに概説される実施の形態の可能な拡張の予定を説明するとみなされる。ともかく、以下に提供された説明の多層ビデオ符号器の環境は、以下で概説される実施の形態の利点の理解をより容易にする。

図２は、入力でビデオ素材２０２を受信する多層ビデオエンコーダ２００を説明的に示す。説明の目的だけのために、ビデオ素材２０２は、ビデオの個々の画像のためのテクスチャーや奥行きなどの複数のビューのそれぞれのためにビデオデータを移送する多ビュービデオ信号として説明される。一般的に、ビデオ素材２０２は１つの場面の多次元サンプリングを表している。１つの次元は時間ｔである。すなわち、ビデオ素材２０２はこの場面を時間的にサンプリングし、従って、１つの時間瞬間（ｔｉｍｅｉｎｓｔａｎｔ）当たり１つの画像を生じる。さらに、この場面は異なる視点から捕らえられ、従って、１つのビュー当たり１つのビデオ、または、時間瞬間ごとに１つのビュー当たり１つの画像を生じる。さらに、ビデオ素材２０２は、場面のテクスチャーの空間的サンプリング（すなわち、個々のビュー毎の、場面の色や場面の奥行きマップの空間的サンプリング）に加えて、個々のビュー、または個々のビューの副セットを提供する。図２は、例えば、ハッチングを使用して説明された奥行きマップとハッチングが描かれていないテクスチャーマップまたはイメージとの間で異なる。しかし、さらに以下で概説される実施の形態のどれもが、そのような多ビュー素材に限定されないこと注意するべきである。むしろ、図２の説明は、以下で前面に出された説明を緩和するように提供されただけである。

多層ビデオエンコーダ２００は、多層データストリームまたはビデオ信号２０４の中にビデオ素材２０２を符号化するように構成されている。特に、多層ビデオエンコーダ２００は、相互層予測を使用して、情報量の異なるレベルと一致する異なる層で、多層データストリーム２０４の中にビデオ素材を符号化する。これは以下を意味している。多層ビデオエンコーダ２００は、複数のパケット２０６を含むように多層データストリームを生成する。パケット２０６のそれぞれは、異なる層のうちの１つと関連する。多層ビデオエンコーダ２００は、例えば、所定のベース層のパケット２０６の中に、ビデオ素材２０２（例えば単に１つのビューのテクスチャーまたは同類など）の情報量のあるベースレベルを符号化する。例えば、様々な層のうちのいずれかにパケット２０６の関連が、個々のパケット２０６内の層識別構文要素構造２０８から引き出せる。例えば、層識別構文要素構造２０８は、個々のパケット２０６のヘッダー２１０内に含まれている。例えば、説明の目的のために、数字１、２、および３が、パケット２０６の中に記入されるように示される。従って、層ＩＤを持つ層がそれぞれ１、２、および３によって説明される。例えば、これらの層の間で、層ＩＤ１を持つ層は、情報量のベースレベルを提供する最も低い層またはベース層を形成する。他の層のパケット２０６は、１以上または様々な情報タイプについてのみ、ベース層のパケット２０６で利用可能な情報量を増大する。例えば、特定の層のパケット２０６は、ベース層またはリファレンス層のパケット２０６内で既に符号化されたビューに加えて、その中で符号化された別のビューを持つ。代わりに、特定の層のパケット２０６は、ビデオ素材２０２の場面の奥行き情報（ビューの奥行き情報など）を持ってもよい。そのテクスチャーは、ベース層またはより一般的にはより下の層であるリファレンス層のパケットの中に既に符号化されている。同様に、表面反射率情報は、別の層（すなわち、照明状況とは無関係にその場面内のオブジェクトの表面反射率についての場面の空間サンプリング）のパケットの中に符号化される。そして、さらに、アルファ混合情報は、別の層（すなわち、個々の画像サンプルと一致している場面ポイントの透明度の空間のサンプリング）のパケットの中に符号化される。また、特定の層のパケット２０６は、特定の色組み合わせ情報を追加し、または、空間解像度を増大する（すなわち、空間解像度改良を提供する）。同様に、特定の層のパケット２０６は、ＳＮＲ解像度改良を単に提供する、すなわち、符号化されたビデオ素材の信号対ノイズ比を増大させる。様々な層が関係している限り、多層データストリーム２０４内の冗長性を避けるために、相互層予測が多層ビデオエンコーダ２００によって使用される。すなわち、特定の層のパケット２０６は、前者の層についてリファレンス層と呼ばれる１つ以上の他の層から得られるように、相互層予測について予測残差をその中で符号化する。相互層予測は、ビデオ素材２０２を説明している構文要素やパラメータなどの異なる実体に適用される。例えば、特定の層のパケット２０６によって運ばれた予測残差は、1つ毎の画素に基づいて空間ドメインの中の１つ以上のリファレンス層から得られるように相互層予測を訂正する。代わりに、多層ビデオエンコーダ２００は、例えば、変換残差符号化を使用し、相互層予測訂正が変換係数ベース毎にＤＣＴドメインなどの変換ドメイン内で起こる。代わりに又は追加的に、多層ビデオエンコーダ２００は、空間的および／または時間的な予測を使用するハイブリッドビデオ符号器タイプであり、例えば、相互層予測は、動作ベクトルの改良に追加的または代替的に関係する。さらに、多層ビデオエンコーダ２００は、異なる予測モード（空間的および時間的予測など）が適用されるユニットの中の符号化ブロックの中に、および／または、前記の変換が予測残差上で実行されるユニットの中の変換ブロックの中に、および／または、特定の符号化パラメータがビデオ素材２０２を符号化するためにセットされるユニットの中の別のブロックの中に、ビデオ素材２０２の画像を副分割するために、階層的な多ツリー副分割を使用する。そして、改めて別の層のための副分割情報を信号で伝える代わりに、副分割化が１つ以上のベース層のいずれかから完全に採用されるか、または、その副分割情報についての改良が信号で伝えられるかのいずれかである。

層間の相互層依存の方法によって、多層ビデオ信号２０４の層が、ツリー２１２の枝を介して相互に関係付けられる。ツリー２１２の節（ノード）は前記の層によって形成される。層間の相互層依存についての情報を移送する（すなわち、復号化側で利用できる相互依存ツリー２１２上の情報を提出する）ために、多層ビデオ信号２０４は、そこに符号化されたそこの情報を持つ。

図２において、例えば、多層ビデオエンコーダ２００が、ビデオデータストリーム２０４の中に、情報２１４を構成する又は移送するハイレベル構文パケット２１６を散在させることが説明されている。情報２１４は、ツリー２１２の中の相互層依存を説明するために相互依存構文構造を含む。

しかし、ツリー２１２の情報は、エンコーダおよびデコーダでの欠陥（デフォルト）によって、代替的に知られている又は再建可能である。従って、追加的または代わりに、層関連情報２１４は、ある層ＩＤ拡張機構に関連した情報を含む。特に、多くの応用に対して、層の適度な数は、多層ビデオ信号２０４を形成するために重要であるけれども、いくつかの別の応用は、層識別構文要素構造２０８によって信号化可能な非常に小さい数の層から損害を被る。すなわち、層識別構文要素構造２０８が、高い数の層を必要とするそれらの応用に対して、莫大な数の層に適応するように、層識別構文要素構造２０８を構成することは、応用の全体の多様性を考慮するとき、高いサイドの情報オーバーヘッドの中に不利を生じさせる。そして、層識別構文要素構造２０８が適度な数の層にのみ適応するように、層識別構文要素２０８を構成することは、データストリーム２０４を根底にしている多層ビデオ符号器によって十分にサポートされることから別の応用を除外する。従って、ある拡張機構は、データストリーム２０４のモード間で切り替えできるように使用される。ここで、層識別構文要素構造２０８はより低い適数の層にのみ適応する。そして、層識別構文要素構造が高い数の層および情報２１４に適応するモードは、これらのモード間の切り替えに追加的または代替的に関与する。

ハイレベル構文パケット２１６の妥当性の範囲は、多層ビデオ信号２０４の全体を取り巻くけれども、例えば、それらは多層ビデオ信号２０４が時間的に分割される大きな塊と関連するように、パケット２１６が属する予め決められた部分がより小さいことも可能である。それぞれの大きな塊は画像のシーケンスである。例えば、ＤＡＳＨまたは別の適応したストリーミングプロトコルを使用して、多層ビデオエンコーダ２００は、ちょうど言及した予め決められた部分のユニットの中のビットストリーム２０４の中に符号化された層数、ツリー構造２１２の形式の相互層依存、および／または、層識別構文要素構造２０８について拡張または不拡張の間の切り替えを変更する。とにかく、ハイレベル構文パケット２１６を周期的に送信することは、受信者を、ランダムアクセスに基づいて、両者間で多層ビデオ信号２１４を復号化し始めるために複数のランダムアクセス時間瞬間を持つことができるようにする。

図２は、多層データストリームを受信するための装置も例示的に示す。例えば、オプションのネットワーク要素２１８は、多層ビデオデータストリーム２０４を受信し、それを多層ビデオデータストリーム２０４の受信者に転送するために処理する。従って、図２は、多層ビデオデータストリーム２０４を復号するように構成された多層ビデオデコーダ２２０も示す。両方の実体、すなわちネットワーク要素２１８および多層ビデオデコーダ２２０は、多層データストリーム２０４を処理するための装置のための例を形成する。

ネットワーク要素２１８は、そこから様々な層間の相互層予測を使って、多層データストリーム２０４を復号できる必要はない。これにもかかわらず、ネットワーク要素２１８および多層ビデオデコーダ２２０（すなわち受信者）は、ツリー２１２によって定義されるように、様々な層とそれらの層間の相互層依存とに関連するパケット２０６を知らせる必要がある。ネットワーク要素２１８は、例えば、提供された追加の情報量がネットワーク要素２１８と多層ビデオデコーダ２２０との間の別の連結内でそれぞれ予備的に必要ではない層に関連したデータストリーム２０４のパケット２０６を除去する。例えば、連結内のビットレート欠点のために、追加の情報量または同類を再生するための受信者の無能力を除去する。同様に、多層ビデオデコーダ２２０も、現在利用できる計算能力、空間解像度などの再生装置のディスプレイ性能、インプットビューまたは同類の最大数のような外部パラメータに対応した特定の層のパケット２０６のうちのいくつかを捨てることを決める。すなわち、装置２１８／２２０は、パケット２０６の層識別構文要素構造２０８を読み取り、もし存在するならば、層間の相互層依存を情報２１４から引き出し、および／または、情報２１４に対応した層識別構文要素構造２０８に関する拡張モードまたは不拡張モードの間で切り替え、および／または、情報２１４から層に関する別の特徴を読み取ることが可能である。

それを超えて、多層ビデオデコーダ２２０は、その層と、この層が相互予測依存によって相互に関連した全ての層とに関連したパケット２０６の情報を収集して使用することによって、所定のレベルに引き上げて、インバウンド（帰航）データストリーム２０４からビデオ素材２０２を再構成することができる（ツリー構造２１２を参照）。すなわち、上で概説したように多層ビデオデコーダ２２０は、多層ビデオデコーダ２２０がその層の１つ以上のリファレンス層のパケット２０６から引き出す相互層予測に関する予測残差として、特定の層のパケット２０６を使用する。この点について、多層ビデオデコーダ２２０は、上で概説したように、変換残差復号化、ハイブリッドビデオ復号化、階層的多ツリー副分割化および／または別の符号化概念を使用するデコーダである。

完全性だけのために、図２は、多層ビデオエンコーダ２００とデータストリーム２０４が、異なる時間瞬間または画像に属しているパケット２０６が互いに挟まれない方法で、時間瞬間毎に連続的アクセスユニット２２２を形成するように、パケット２０６がデータストリーム２０４内に含まれるように例示的に提供されることを示す。それぞれは、そのアクセスユニット２２２の個々の時間瞬間に属しているパケット２０６を収集している。その結果、別の時間瞬間に属しているパケット２０６は、データストリーム２０４内において、このアクセスユニット２２２の前又は後に続くかのいずれかである。しかし、この制限は説明目的のために選択されただけであり、データストリーム２０４内のパケット２０６のより緩和した配置が代わりに選択されてもよいことは注意するべきである。

以下において、ツリー構造２１２に従って相互層依存を信号で伝える可能性が、より詳細に説明される。前記したように、この信号は情報２１４を含む。この可能性に従って、層はクラスタにグループ化される。データストリーム内において、一方のクラスタ間の相互層依存と他方のクラスタ内の層とが、別々に信号で伝えられる。その限りにおいて、以下で前面に出される説明は、相互層依存２１２を信号で伝えるために、図２の情報２１４を実施する可能性を表現している。しかし、既に上で注意したように、図３に関して以下に説明される詳細は、図２に発表された詳細に限定されない。むしろ図２は図３に関する説明のための可能な実施貯蔵所と見られるべきである。

図３は、図２のネットワーク要素２１８または多層ビデオデコーダ２２０であるネットワーク装置１８を説明する。そして、多層データストリーム１０は、図２のデータストリーム２０４のように処理するように構成される。

図３は、層ＩＤｌＩＤによって識別された異なる層で、ビデオ素材をその中に符号化された多層データストリーム１０を説明する。個々の層は、情報量の異なるレベルと一致する。この点における可能性は、既に図２に関して議論されているけれども、より容易な理解のために、特定のビューをデータストリーム１０に追加している個々の層について考える。しかし、これは図３の説明を制限することを意図しない。個々の層は、代替的に、情報量（例えば、ビューの数および空間解像度の数または同類など）のための異なる手段の結合に一致している。

従って、多層データストリーム１０は、図２のパケット２０６に例示的に一致している複数のパケット１２から成る。そのようなパケット１２（または２０６）は、例えばビデオ信号１０の中に符号化された個々の画像の波面並列処理を許している副ストリームである。副ストリームは、順に、ＮＡＬユニット、スライスまたは同類などのより小さいユニットから構成されている。しかし、図２および図３のパケット１２またはパケット２０６は、ＮＡＬユニット、スライスまたは別のユニットでもあることが、同封して提出される。

個々のパケット１２は、異なる層のうちの１つと関連する。そして、多層データストリーム１０のビット消費を減らすために、個々のパケット１２がデータストリーム１０のより低い層の特定の副セットのパケットに「残差」を単に追加するように、相互層予測が使用される。符号１４で示されるように、「より低い層」は個々の層毎に小さいドットによって説明される。

図３において示された実施の形態に従って、相互層予測依存は、以下でより詳細に説明され、図において実線１６を使用して説明されるように限定される。特に、層ＩＤは、以下において説明されるように、２つの値の連結によって形成される。特に、多層データストリーム１０を受信するネットワーク装置は、パケット１２毎に、図２のリファレンス記号２０８を使用して示された層ＩＤ構文構造を読み取る。しかし、ここは、ベース層ＩＤフィールド２０と、条件付きで、−例えば拡張機構をオンとオフに切り換えるベース層ＩＤフィールドまたはハイレベル構文要素に条件的に依存する−拡張層ＩＤフィールド２２とから成る。例示的に、両方のフィールドを持っているパケット１２のみが、図において示される。しかし、前記したように、ベース層ＩＤフィールド２０の１つ以上の値が、個々のパケット１２のためのフィールド２２の不存在を信号で伝える。例えば、拡張機能全体は、データストリームの中の拡張フラグを介して、データストリームの中でオン／オフ切り換え可能である。拡張層ＩＤフィールドを必要とする又は必要としない可能な条件は、前記したように、ベース層ＩＤフィールドが０である、または、特定のビットを設定する又は設定しない、または、フィールド２０の副部分内の特定の値を仮定する、または、ベース層ＩＤフィールドがある値より大きい又は小さい値を持っていることである。別の例が以下に発表される。

層ＩＤ構文構造２０と２２に基づいて、ネットワーク装置１８は、個々のパケット１２が関連する層を識別している層ＩＤ、すなわちｌＩＤを引き出す。異なる可能性は以下に説明される。ネットワーク装置１８は、多層データストリーム１０から、例えば前記で識別されたｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇｓを含んでいる第１相互依存構文構造、および、例えば以下で示されたｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇおよび／またはｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇｓを含んでいる第２相互依存構文構造も読み取る。第１相互依存構文構造は、ベース層ＩＤフィールド２０によって表現可能な異なる値のペア間の相互依存を２進数の方法で示す。これに対して、第２相互依存構文構造は、拡張層ＩＤフィールドによって表現可能な異なる値のペア間の相互依存を２進数の方法で示す。両方の相互依存構文構造に基づいて、ネットワーク装置１８は、その時、異なる層（図において符号１４で描かれたものなど）の間の相互層予測依存を明らかにしている相互層依存マトリクスを形成する。派生される方法は、以下において、第１および第２相互依存構文構造に関係するフォアーネクストループを使用している擬似符号を使用して説明され、そして、以下の図に関しても説明される。しかし、信号で伝えられた相互層予測依存が、実際にデータストリームにおいて使われることは必要ないことは注意するべきである。むしろ、可能な相互層予測依存の信号化は、デコーダまたは別のネットワーク装置に、相互に関係付けられたパケット、すなわち、リファレンスパケットに先がけて相互層予測依存に従って別のパケットによってリファレンスされたパケットが、適切な順序で利用可能である必要なステップを取ることを指示するためにある。

以下の説明から明らかになるように、相互層依存マトリクス１４の構築は、第２相互依存構文構造が、相互層依存マトリクス１４がベース層ＩＤフィールド２０内の同じ値から引き出され、その結果、それと関連している層ＩＤの層間の相互層予測依存に関連する全ての事例に適用されるように実行される。また、以下に、より詳細に説明された別の実施の形態に従って、第２相互依存構文構造が、例えばベース層ＩＤフィールド２０の個々の可能な値に対して、または、ベース層ＩＤフィールド２０の可能な値の副セットに対して読み取られ、そして、ビットストリーム１０内に数回送信される。一方、第２相互依存構文構造の様々な具体例が、索引付けを使用して、例えば、以下に示された例の中のｉｎｃｌｕｄｅｄ＿ｎｕｈ＿ｌａｙｅｒ＿ｉｄを使用するなどして、ベースの層ＩＤフィールド２０の可能な値に関係付けられる。別の実施の形態においてさえ、構造は、全ての可能な相互層予測依存が許されて、第２相互依存構文構造の方法で、すなわち第１相互依存構文構造が相互依存の存在を示すベース層ＩＤフィールドの異なる値のペア毎に第２相互依存構文構造を送信することによって描写できることにおいて一般化される。

言い換えると、図４においてさらに説明されるように、図３は、別々の相互依存構文構造２４と２６が、データストリームの個々のパケット内のフィールド２０と２２によって提供されたベース層ＩＤおよび拡張層ＩＤの範囲の間のインタフェースと一致している両方の相互依存構文構造２４と２６の範囲の間のインタフェースを持つ階層的な方法で、相互層依存を説明するために使用されることに従って、相互層依存を信号で伝えるための例を示す。フィールド２０と２２によって提供されるようなベース層ＩＤおよび拡張層ＩＤは、フィールド２０と２２が構成される個々のパケットの層ＩＤを独自に定義する。拡張層ＩＤおよびベース層ＩＤの結合によって表現可能な全ての表現可能な層ＩＤのセットは、円２８内でドット３０によって示される。すなわち、個々のドット３０は、ベース層ＩＤおよび拡張層ＩＤの異なるカップルに一致している。例えば、層ＩＤは、ベース層ＩＤおよび拡張層ＩＤの連結である。フィールド２０だけによって提供されるベース層ＩＤを使用して、層ＩＤ３０の完全なセット２８が、以下のクラスタ３２と称される層ＩＤの解体セット３２に副分割される。特定のクラスタ３２に属している全ての層ＩＤは、同じベース層ＩＤを持つ。以前に図２に関して説明したように、層ＩＤ３０と関連した層が、ドット３０の間の点線を使用して、図４において説明したこれらの相互層依存を持つ相互層予測のためにツリー似の方法で相互に連結される。理解し易くするために、実際の相互層依存の副セットだけが図４において説明される。

ともかく、２つのクラスタ３２の間の連結化（このペアの第１クラスタ３２の層と第２クラスタ３２の層との間の相互層依存の方法による）が、第１相互依存構文構造２４の方法によって示される。すなわち、第１相互依存構文構造２４は、層間の相互依存を粗く又はクラスタ状（群れ状）に説明する。図４おいて、これらの相互依存は、クラスタ３２の間の実線を使って説明される。第１クラスタの最低１つの層が第２クラスタの中の１つのクラスタに連結している第１および第２クラスタ３２の全てのペアは、相互連結され、第１相互依存構文構造２４において表示されている。第２相互依存構文構造２６は、その時、第１相互依存構文構造２４によって相互連結されると表示されたクラスタ３２のペアの層のどちらが、相互層予測によって互いに実際に関連するかを明確にする。すなわち、第２相互依存構文構造２６は、微細粒状の相互依存を明確にする。しかし、第２相互依存構文構造２６は、個々のクラスタ３２内の層の間の相互依存、すなわち層間の内部クラスタ依存も個別に定義する。図４において、例えば６つのクラスタ３２が示され、従って、第２相互依存構文構造２６が別のクラスタ３２の層間の微細粒状の相互依存を調節するクラスタ３２の１５個の可能なペアに加えて、第２相互依存構文構造２６が相互依存を内部で調節する６つのクラスタを生じる。上で概説したように、そして、以下に更に概説するように、従って、最大で第２相互依存構文構造の１個〜２１個の実例３４が、つまり、個別にクラスタ当たり１つとクラスタ３２の連結されたペア当たり１つとが存在する。明らかに、第２相互依存構文構造２６は、第１相互依存構文構造２４によって連結されないように信号で伝えられたクラスタ３２のペアに対して、信号で伝えられる必要はなく、従って、貴重なサイド情報ビットレートが抑制される。クラスタ３２の異なるペアの層の相互層依存を説明するために第２相互依存構文構造２６を使う場合において、クラスタ３２当たりの層数が、全てのクラスタ３２に対して等しいことに注意するべきである。仮に、層ＩＤがベース層ＩＤおよび拡張層ＩＤの連結を使って説明されるならば、これは典型的な例である。しかし、クラスタ３２の層数がクラスタ３２の間で理論上変わることは注意するべきである。その典型的な例において、第２相互依存構文構造２６の個々の実例３４が、例えばデータストリーム内でクラスタ３２の個々の相互連結されたペアに対して信号で伝えられ、最低１つの実例３４が個々のクラスタサイズに対して送信される。

図３は、例えば、層ＩＤが、最も重要な数字としてベース層ＩＤを使い、より重要でない数字として拡張層ＩＤを使うことによって、ベース層ＩＤおよび拡張層ＩＤから得られる場合を説明する。図３は、１つの実例３４が１つのクラスタ内の層の相互層依存を記述するために用いられ、別の実例３４が異なるクラスタの層間の依存を記述するために用いられる例示的な場合も説明する。完全性のために、図３のマトリクス１４が層ＩＤとして多くの線と多くの列を持つことが、注意される。対角線の下半分だけが満たされる。なぜなら、単に、どの層も、相互層予測の方法で、前の層に（すなわち階層的に低い層に）依存するからである。図３の例において、列数は、相互層予測の使用によって別の層（すなわちベース層）に依存する層の層ＩＤと一致している。これらのベース層は、例えば２進数によって示される。２進数のゼロが、個々の層を予測している相互層に関与していない層を示す一方、その層ＩＤは現在の列と一致する。その限りにおいて、図３の実施の形態において、第２相互依存構文構造２６はマトリクス１４の副マトリクスを多少説明する。

上に既に記述したように、第１相互依存構文構成２４および第２相互依存構文構成２６は、ハイレベルパケット２１６内の情報２１４によって構成される（図２と比較してください）。図５は、第１相互依存構文構造２４が符号３６で描かれた層クラスタの間の相互依存を明らかにする例を説明する。例えば、ベース層ＩＤ２を持つクラスタは、ベース層ＩＤ２および１を持つクラスタに依存する。

また、第２相互依存構文構造の第１実例３４は、データストリームの中に存在し、副マトリクス３８の形式で図５の中に描かれた層の間の内部クラスタ依存を調節する。さらに、図５の例に従って、データストリームは、また、異なるクラスタの層の層状相互依存を調節する第２相互依存構文構造２６の実例３４を含む。特に、第２実例は、リファレンスされたクラスタのエンハンスメント層ＩＤ当たり１つの行、および、リファレンスしているクラスタのエンハンスメント層ＩＤ当たり１つの列を持っている副マトリクス４０を介して、異なるクラスタの層間の依存を説明する。

図５の例において、副マトリクス３８は、マトリクス３６がクラスタ間の相互依存を示す個々の位置（すなわち、１が置かれる個々の位置）に置かれ、そのクラスタは同じベース層ＩＤのクラスタ（すなわち、マトリクス３６の対角線上にあるクラスタ）である。そして、副マトリクス４０は、マトリクス３６が異なるベース層ＩＤのクラスタ間の相互依存を「１」で示す位置に置かれる。結果は符号４２で示される。

マトリクス４２などのマトリクスを介する相互層依存の説明が、相互層依存を説明するための単なる１つの例であることは注意すべきである。別の説明が同様に使われうる。マトリクス３６〜４０が第１および第２相互依存構文構造によって符号化される方法は、次の通りである。第１相互依存構文構造２４は、対角線の下でかつ対角線を含むマトリクス３６の各係数に対して、２進値を信号で伝える。マトリクス３８を標示する第２相互依存構文構造２６の実例３４は、対角線の下でかつ対角線を含むマトリクス３８の各係数に対して、２進値を信号で伝える。マトリクス４０を標示する第２相互依存構文構造２６の実例３４は、マトリクス４０の全ての係数に対して、２進値を信号で伝える。

相互層依存をどのように信号で伝えるかについて可能性を説明した後に、より詳細な実例がＨＥＶＣ規格の拡張として以下に例示的に提供される。

特に、層識別クラスタ化およびクラスタ依存信号化は、存在する符号器の中に次の通り構築される。

２つの構文要素ｎｕｈ＿ｌａｙｅｒ＿ｉｄとｌａｙｅｒ＿ｉｄ＿ｅｘｔが、ビデオビットストリーム内の符号化された層を、いわゆる互いの空間関係などの特性に基づいて依存又は別の物を符号化しているクラスタの中にグループ化するために使用される。クラスタの中への層識別子の構造化は、個々のクラスタ内の等しく構造化された符号化依存を持つクラスタに対して許される。すなわち、定義されたクラスタの全て又は副セット内の符号化依存は、同じである。特定の層のリファレンス層を決めるために、依存フラグの追加のセットとしてクラスタ内の依存を信号で伝えること、および、依存を既存の依存信号化（ＨＥＶＣ拡張のＶＰＳ拡張の中のｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇと比較してください）に結合することは、図６に記述されるように行われる。

０と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックス（索引）ｊを持つ層が、同じ層クラスタ内の拡張インデックスｉを持つ層に対して、直接的リファレンス層でないことを規定する。１と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックスｊを持つ層が、同じクラスタ内の拡張インデックスｉを持つ層に対して、直接的リファレンス層であることを規定する。ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０から（１＜＜ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ）−１の範囲内のｉとｊに対して、存在しないとき、それは０に等しいと推定される。

代替えの構文は、未使用の層識別子に依存を符号化することを信号で伝えることを避けるために、ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔによってｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｃｅｎｃｙ＿ｆｌａｇ構文要素のループを制限する。

クラスタ内の及びクラスタ間の符号化依存のより柔軟な信号は次の通り許される。
ａ）クラスタ毎に基づいてクラスタ内の依存を符号化する信号によって。
ｂ）クラスタ依存セットの数の定義、および、定義されたクラスタ依存セットが適用されるクラスタの識別（例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄによってどちらか一方）によって。
ｃ）クラスタ間の第１依存が信号で伝えられ、２つの依存するクラスタ内の層の第２依存が信号で伝えられる方法の中の依存の階層的信号によって。
ｄ）ｂ）とｃ）の組み合わせによって。従って、以下のデータが信号で伝えられる。
１．クラスタ間の依存（例えば、リファレンスのペアおよび依存するクラスタ）。
２．リファレンス（リファレンスされた）クラスタおよび依存する（リファレンスしている）クラスタ内の層間の依存を定義しているクラスタ依存セットの数。
３．個々のクラスタ依存セットに対して、クラスタ依存が適用する標示（１において信号で伝えられるように）。
クラスタ内の層間に依存があるとき、ｃ）とｄ）に対してクラスタが自身に依存できることに注意しなさい。
ａ）からｄ）は、構造化のために使用される特性空間（例えばカメラの空間的位置）が均一に使われないとき、層識別子の空間を構造化することを許す。１つの例が、空間密度が一定でない二次元カメラアレイ、または、矩形ではない二次元カメラアレイである。以下は、上記に従って、複数の方法において、クラスタ依存セットの定義を信号で伝えるための構文例を与える。

ａ）図７は、クラスタ毎に基づいて、クラスタ内の依存を符号化することを定義するビデオパラメータセット（設定）拡張構文について例示的に実施の形態を与える。

０と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを持つ層またはクラスタが、インデックスｉを持つ層またはクラスタに対して、直接的なリファレンス層またはリファレンスクラスタでないことを規定する。１と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを持つ層またはクラスタが、インデックスｉを持つ層またはクラスタに対して、直接的なリファレンス層またはリファレンスクラスタであることを規定する。ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内で、ｉとｊに対して存在しないとき、それは０に等しいと推定される。
０と等しいｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックスｊを持つ層が、同じ層クラスタ内の拡張インデックスｉを持つ層に対して、直接的なリファレンス層ではないことを規定する。１と等しいｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックスｊを持つ層が、同じクラスタ内の拡張インデックスｉを持つ層に対して、直接的なリファレンス層であることを規定する。ｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０からｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔの範囲内で、ｉとｊに対して存在しないとき、それは０に等しいと推定される。
０と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］は、拡張インデックスｋを持つ層が、ｉ番目の層クラスタ内の拡張インデックスｊを持つ層に対して、直接的なリファレンス層ではないことを規定する。１と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］は、拡張インデックスｋを持つ層が、ｉ番目の層クラスタ内の拡張インデックスｊを持つ層に対して、直接的なリファレンス層であることを規定する。ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］が、０からｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔの範囲内で、ｉ、ｊおよびｋに対して存在しないとき、それは０に等しいと推定される。

ｂ）図８は、クラスタ依存セットの数の信号（ｎｕｍｂｅｒ＿ｏｆ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓ）を通して、クラスタ内の依存を符号化すること、個々のクラスタ依存セット内の依存（ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ）を符号化すること、および、クラスタ（たとえば、クラスタの個々のｎｕｈ＿ｌａｙｅｒ＿ｉｄのためのポジティブなフラグを通して、与えられた構文要素ｉｎｃｌｕｄｅｄ＿ｎｕｈ＿ｌａｙｅｒ＿ｉｄによって識別されたクラスタ）を適用することを定義するビデオパラメータセット拡張の中の構文について例示的な実施の形態を与える。

ｃ）図９は、クラスタ間の第１依存が信号で伝えられ、および、２つの依存するクラスタ内の層の第２依存だけが信号で伝えられる方法で、依存の階層的な信号のための例示的な実施の形態を与える。

０と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを持つ層またはクラスタが、インデックスｉを持つ層またはクラスタに対して、直接的なリファレンス層またはリファレンスクラスタではないことを規定する。１と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを持つ層またはクラスタが、インデックスｉを持つ層又はリファレンスクラスタに対して、直接的なリファレンス層又はリファレンスクラスタであることを規定する。ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内で、ｉとｊに対して存在しないとき、それは０に等しいと推定される。
注記：仮に、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０より大きければ、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、クラスタ間の依存を信号で伝える。そうでなければ（ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０と等しいならば）、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、層のための依存を信号で伝える。

０と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］［ｌ］は、ｊ番目のクラスタの中のｌ番目の層が、ｉ番目のクラスタの中のｋ番目の層に対して、直接的なリファレンス層ではないことを規定する。１と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］［ｌ］は、ｊ番目のクラスタの中のｌ番目の層が、ｉ番目のクラスタの中のｋ番目の層に対して、直接的なリファレンス層であることを規定する。ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］［ｌ］が存在しないとき、それは０に等しいと推定される。

ｄ）図１０は、ｂ）とｃ）の組み合わせのための例示的な実施の形態を与える。

０と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを持つ層またはクラスタが、インデックスｉを持つ層またはクラスタに対して、直接的なリファレンス層またはリファレンスクラスタでないことを規定する。１と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを持つ層またはクラスタが、インデックスｉを持つ層またはリファレンスクラスタに対して、直接的なリファレンス層またはリファレンスクラスタであることを規定する。ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内で、ｉとｊに対して存在しないとき、それは０に等しいと推定される。
注記：仮に、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０より大きければ、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、クラスタ間の依存を信号で伝える。そうでなければ（ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０と等しいならば）、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、層のための依存を信号で伝える。

０と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］は、ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が１に等しいとき、ｊ番目のクラスタの中のｌ番目の層が、ｉ番目のクラスタの中のｋ番目の層に対して、直接的なリファレンス層ではないことを規定する。１と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］は、ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が１に等しいとき、ｊ番目のクラスタの中のｌ番目の層が、ｉ番目のクラスタの中のｋ番目の層に対して、直接的なリファレンス層であることを規定する。
０と等しいｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］は、ｉ番目のクラスタの中の層とｊ番目のクラスタの中の層との間の依存が、ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］によって規定されないことを規定する。１と等しいｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］は、ｉ番目のクラスタの中の層とｊ番目のクラスタの中の層との間の依存が、ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］によって規定されることを規定する。ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が存在しないとき、それは０に等しいと推定される。ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が、０から（ｎｕｍｂｅｒ＿ｏｆ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓ−１）の範囲内で、ｉとｊと全てのｎとの特定の結合に対して０と等しいとき、ｊ番目のクラスタの中の層は、ｉ番目のクラスタの中のどの層に対しても、直接的なリファレンス層でないことを含む。

従って、ＨＥＶＣ拡張の中に図２から図５のクラスタに基づいた相互依存信号を実行する上の例において、図２のパケット２０６はスライスまたはスライスセグメントであり、パケット２１６は例えばビデオ、画像または連続パラメータセットなどのパラメータセットである。図７の構文例に従って、第１相互依存構文構造２４は、ｉ≦ｊを持つクラスタｉ、ｊの各ペアに対して、構文要素ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇを使って信号で伝えられる。ここで、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１は、ベース層ＩＤ−１の最大値である。従って、構文要素は、例えば図５の粗いマトリクス３６を明らかにする。ｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇと称する構文要素４４は、２つのオプション（第２相互依存構文構造２６の１つの実例は全てのベース層ＩＤに提出されて適用される、または、もう１つの実例は個々のベース層ＩＤｉに対して送られるのいずれか）の間を区別する。第１ケースにおいて、フラグｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは、共通して、ベース層ＩＤ毎に３８に従って副マトリクスを築く。第２ケースにおいて、フラグｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは、別々に、ベース層ＩＤ毎に符号３８に従って副マトリクスを築く。ｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇは、両方のオプションの間を切り替える。従って、図７の場合において、仮に、ｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇが０に等しいならば、結果として生じる副マトリクス３８は、マトリクス３６内の、リファレンスしている及びリファレンスされたクラスタＩＤに等しいように一致している個々のポジションに置かれる。ここで、１はｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇによって示される。第１相互依存構文構造２４が異なるクラスタＩＤのクラスタ間の相互依存を示す残留ポジションは、予め決められた副マトリクス（すなわち、エンコーダ、ネットワーク要素および多層ビデオデコーダなどの全ての参加装置によって知られている副マトリクス）を使用して、欠陥によって満たされる。１に等しいｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇの場合において、第１相互依存構文構造２４が、等しいリファレンスされた及びリファレンスしているクラスタＩＤのポジションで１を示す個々のポジションに対して、このまさしくそのクラスタＩＤのための別個の副マトリクスが、マトリクス４２の中の個々のポジションに、信号で伝えられて置かれる。従って、ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１クラスタのそれぞれの内部の層の数に一致する。

図８の場合、第１相互依存構文構造２４は、図７の例と同じ方法で送られる：個々のクラスタＩＤに対して、クラスタＩＤ当たり１つのフラグは、個々のクラスタＩＤと等しい又はより小さい。フラグｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ４６は、上で既に概説していた構文要素ｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇを使って、図７の第１オプション間を切り換える。第２相互依存構文構造２６の実例の数が、構文要素ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇを使って、データストリームの中に提出されることに従う異なるモードが、ｎｕｍｂｅｒ＿ｏｆ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓと称される構文要素を使って、明示的に信号で伝えられる。これらの実例は、その時、個々の実例が構文要素ｉｎｃｌｕｄｅｄ＿ｎｕｈ＿ｌａｙｅｒ＿ｉｄ５０を使って適用されるクラスタＩＤを明示的に記載することによって、これらの実例が適用されるクラスタＩＤに関連する。この手段によって、第２相互依存構文構造２６の実例３４は、個々のクラスタＩＤに対して提出されない。むしろ、第２相互依存構文構造２６の実例のより小さい数のみが、１と等しいｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの場合に提出される。個々の実例は、実例に関連するクラスタＩＤに関連している。また、異なるクラスタの相互依存するペアが関係する限り、欠陥規則がマトリクス４２をそのようなポジション（クラスタ対角線の下側）で満たすために適用される。

図９の例に従って、第２相互依存構文構造の信号は、第１相互依存構文構造について差し挟まれた方法で、例示的に信号で伝えられる。しかし、この差し挟みは代わりの実施の形態に従って除外される。ともかく、図９の実施の形態において、副マトリクス３８または４０（すなわち、第２相互依存構文構造２６の実例３４）は、第１相互依存構文構造２４が相互クラスタ依存を標示する（等しい又は等しくない）クラスタＩＤの個々のペアに対して提出される。構文例から引き出されるように、副マトリクス４０の送信は、副マトリクス３８より多いビットｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇを消費する。これは条件条項５２と条件条項５４からそれぞれ引き出すことができる。すなわち、クラスタ内部の相互依存規則のために第２相互依存構文構造２６の実例を送信することにおいて、カウンターｉによって示されたリファレンスしているクラスタＩＤは、カウンターｊによって示されたリファレンスされたクラスタＩＤに等しく、ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは、エンハンスメント層ＩＤの結合のために、リファレンス及びリファレンスしている層（リファレンスされた層（ここではｌ）のエンハンスメント層ＩＤが、リファレンスされた層（ここではｋ）のエンハンスメント層ＩＤのエンハンスメント層ＩＤより小さい）に対してのみ送信される。すなわち、副マトリクス３８のｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは、副マトリクス３８の対角線の下側のポジションに対してのみ送信される。別の場合において、すなわち、相互依存するクラスタペアｉ≠ｊのための第２相互依存構文構造２６の実例に対して、完全な副マトリクスが送信される。すなわち、フラグｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇが、副マトリクス４０のそれぞれのポジション毎に送信される。

図１０の実施の形態は、図８及び図９の実施の形態の特定の特性：完全な副マトリクスを結合する。すなわち、第２相互依存構文構造２６の実例が、つまり数の中のｎｕｍｂｅｒ＿ｏｆ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓが提出される。そして、その時、これらの実例のそれぞれは、マトリクス３６のグリッドサイトに関連する。ここで、例えば、第２相互依存構文構造２６の個々の実例が、第１相互依存構文構造２４がそれによってクラスタ独立性の存在を示すために（符号５６と比較してください）それらの間で適用される。

言い換えると、図９について説明したように、第２相互依存構文構造２６の複数の実例３４は、多層データストリームから、つまり、ベース層ＩＤによって表現できる数値であるＮを持つ値０＜ｋ≦ｊ≦ｎ＜Ｎのペア（ｊ、ｋ）に対して読み取られる。ｎはＮに等しいように設定される。しかし、また、ここに説明されるように、実際に使われたクラスタ濃度の明示的な信号は、送信オーバーヘッドを制限するために使われる。ペア（ｊ、ｋ）は詳察されて（図９の符号２４でｉとｊに亘るループを見てください）、そして、第２相互依存構文構造を読み取ることが、このペア間の相互依存の存在または不存在を示している第１相互依存構文構造に条件付きで依存しているペア（ｊ、ｋ）に対して実行される又は抑制される（図９の「ｉｆ（ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］）」を見てください、ここで、ｉ、ｊはｊとｋにそれぞれ一致する）。ｊ＝ｋを持つペア（ｊ、ｋ）に対して読み取る第２相互依存構文構造２６の実例３４は、ベース層ＩＤｊを持つそれらの間の層が、ベース層ＩＤｊを持つそれらの間の別の層に依存する相互層予測であることを示す。ｊ＞ｋを持つ異なる値のペア（ｊ、ｋ）に対して読み取る第２相互依存構文構造２６の実例３４は、ベース層ＩＤｊを持つそれらの間の層が、ベース層ＩＤｋを持つそれらの間の層に依存する相互層予測であることを示す。しかし、図７と同様に、第２相互依存構文構造２６の１つの実例が、多層データストリームから読み取られることもある。第２相互依存構文構造２６の１つの実例は、個々のクラスタ値ペア（ｊ、ｊ）に対して、共通して示す。ベース層ＩＤｊを持つそれらの間の層は、ベース層ＩＤｊを持つそれらの間の別の層に依存する相互層予測である。図７の場合、仮に、ｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇが０に等しい、または、ｊ≠ｋを持つペア（ｊ、ｋ）に対して共通しているならば、第１相互依存構文構造２４は、個々のペア間の相互依存の存在を示す。ベース層ＩＤｊを持つそれらの間の層は、ベース層ＩＤｋを持つそれらの間の層に依存する相互層予測である。拡張層ＩＤ２２によって表現できる数値をＭと示し、第２相互依存構文構造は、ベース層ＩＤｉを持つそれらの間の層が、ベース層ＩＤｉを持つそれらの間の別の層に依存する相互層予測であることを示すために、拡張値０＜ｑ＜ｐ≦ｍ＜Ｍの個々のペア（ｐ、ｑ）に対して１つの２進数の値を含み、そして、拡張値ｐおよびベース層ＩＤｊを持つ層が、拡張値ｑおよびベース層ＩＤｋを持つ層に依存する相互層予測であることを示すために、拡張値０＜ｐ、ｑ≦ｍ＜Ｍの個々のペアに対して１つの２進数の値を含む。また、明細書の中の別の場所で説明されるように、ｍがＭと等しいように設定される。しかし、また、ここに説明されるように、実際に使われた拡張濃度の明示的な信号は、送信オーバーヘッドを制限するために使われる。さらに、図８と図１０に示すように、インデックス構文構造５０が、第２相互依存構文構造の実例をベース層ＩＤ値の個々のペア（ｊ、ｋ）に関連付けるために使用される。ここで、図１０は、関連構文構造がペア（ｊ、ｋ）毎にフラグを含み、関連構文構造の構造解析が、第１相互依存構文構造がペア（ｊ、ｋ）間の相互依存の不存在（独立性）を示す値０＜ｋ≦ｊ≦ｎ＜Ｎのスキップペア（ｊ、ｋ）を含むことを明らかにする。

すなわち、上のセクションの中で説明されたものは、「層識別子クラスタ化とクラスタ依存信号化」として示される。これに関して、装置はビデオデコーダである。このように動作するビデオデコーダは、復号化に対して、（拡張された）層ＩＤによって識別されたビットストリームのパケットを選択することができる。しかし、装置は、代わりに、ネットワーク利用（デコーダなどについての知識）のような外部のファクターに基づいた（拡張された）層ＩＤによって識別されたビットストリームのパケットを捨てることができるネットワーク要素であってもよい。

当然、上で概説された概念は、概念によって改善されるべき符号器の既存のエンコーダも詰め込む。図２の１つのようなエンコーダは、情報量の異なるレベルと一致している異なる層で、相互層予測を使って、ビデオ素材を多層データストリーム１０の中に符号化するように構成される。多層データストリームは、それぞれが異なる層のうちの１つと関連する複数のパケット１２を含む。各層は、ベース層ＩＤ２０、または、ベース層ＩＤ２０及び拡張層ＩＤ２２によって索引を付けられ、多層データストリームの中に挿入される。第１相互依存構文構造２４は、ベース層ＩＤ２０によって表現できる異なる値のペア間の相互依存を示す。そして、第２相互依存構文構造２６は、拡張層ＩＤ２２によって表現できる異なる値のペア間の相互依存を示す。第１および第２相互依存構文構造をそのように設定することで、第１および第２相互依存構文構造に基づいて、異なる層間の可能な相互層予測依存を明らかにする相互層依存記述１４が、組み立て可能である。

次に記述される詳細は、効率的な方法で、層関連の情報を信号で伝える可能性に関する。そのような層関連の情報は、例えば、図２から図１０について概説した相互層依存に関する情報を含む。出発点として、しばしば上に示された状況が、個々のパケット２０６によって構成された層識別構文要素構造２０８（図２と比較してください）が、図１１において描かれたベース層ＩＤフィールド１０８と拡張層ＩＤフィールド１１２とから成ることに従って、使われる。図１１は、図２の中に示されるネットワーク要素２１８または多層ビデオデコーダ２２０などの多層データストリームを処理するための装置１００を示す。装置１００は、一連のパケット（そのそれぞれが層識別構文要素を含む）から成る多層ビデオ信号を受信するように構成されたレシーバー１０２を含むとして示される。

レシーバー１０２によって受信された多層ビデオ信号１０４（図２の符号２０４と一致している）は、一連のパケット１０６（図２の符号２０６と一致している）から成る。各パケット１０６は、少なくともベース層ＩＤフィールド１０８を含む層識別構文要素構造（図２の符号２０８と一致している）を含み、ハイレベル構文要素またはベース層ＩＤフィールド１０８または拡張層ＩＤフィールド１１２の値に無条件に又は条件付きで依存する。

例えば、パケット１０６は、多層ビデオ信号１０４が副分割されるＮＡＬユニット、スライス、タイル、画、または別のパケットである。また、装置１００に含まれた層識別エクステンダー１１０は、部分１１３のような複数のパケット１０６を含む多層ビデオ信号の予め決められた部分に対して、多層ビデオ信号の予め決められた部分１１３を含むパケット１０８の拡張層ＩＤフィールド１１２の最大限に仮定された値を示す多層ビデオ信号から最大構文要素を読み取る。予め決められた部分１１３は、例えば、符号化されたビデオシーケンス、大きな塊、画像のグループなどである。最大構文要素１１４は、例えばＶＰＳＮＡＬユニットのような部分１１３の特定のパケット内に含まれる。予め決められた部分１１３内のパケットのそれぞれに対して、エクステンダー１１０は、符号１０８、そして、条件付きで符号１１２から成る層ＩＤ構文構造に基づいて個々のパケットのために層ＩＤを決定する。例えば、構文要素１０８と１１２の両方の値の連結は、層ＩＤを生じる。

エクステンダー１１０は、上で説明された最大構文要素を使って、拡張層ＩＤフィールドのビット長さを引き出す。代わりに、特別な構文要素が、この終わりに使用されてもよい。代わりでも、拡張層ＩＤフィールド１１２を表すためのビット数は、欠陥（デフォルト）によって固定される。

エクステンダー１１０は、その時、最大限に仮定された値に基づいて、部分１１２内の層の最大数を決定する。例えば、エクステンダー１１０は、部分１１３に対して、部分１１３内のパケット１０６のベース層ＩＤフィールド１０８のための最大限に仮定された値を示すデータストリーム１０４から構文要素も読み取り、そして、層の最大数を決定するために両方の最大限に仮定された値を結合する。

エクステンダー１１０は、層の最大数のそれぞれに対して、多層ビデオ信号の層特徴付け構文部分を、層の最大数と等しい回数繰り返して構文解析することによって、最低１つの特徴を決定する。利点的に、データストリーム１０４は、それぞれの可能な値に対して（すなわち、拡張層ＩＤフィールド１１２の全体の濃度全体に対してではなく、この濃度の外の実際に使われた副部分に対して）、最低１つの特徴を信号で伝えることを必要としない。さらに、最大構文要素１１４は、丁度記載されたように、データストリーム１０４内の拡張層ＩＤフィールド１１２の表現ビット数を引き出すように使われさえする。例えば、「特徴」は、別の層または同類に対する相互層予測である。

すなわち図１１について、データストリーム２０４／１０４内で、重要性の予め決められた部分１１３内の全てのパケット１０６／２０６を考慮するとき、拡張層ＩＤフィールドの表現できる状態の外のいくつが実際に仮定されるかの明示的な信号化を送ることが可能であることが説明される。例えば、拡張層ＩＤフィールド１１２がＮビットのフィールドであるとすると、２^N個の拡張層ＩＤ１２０が拡張層ＩＤフィールド１１２によって表現できる。フィールド１１２の長さは、固定されるか、または信号で伝えられて、データストリーム内で、図１２の点線１２２を使って示された所定のハイレベル構文要素の方法によって設定される。しかし、いくつかの理由のために、利用できる拡張層ＩＤの全てが、重要性の予め決められた部分１１３内で使われない。例えば、図１２において、７個の表現できる拡張層ＩＤのみが使われることが描かれる、すなわちハッチングの方法によって描かれる。

図１１に従って、最大構文要素１１４が、拡張層ＩＤフィールド１１２の実際に使われた／仮定された値のこの数を示す。この構文要素１１４のため、拡張層ＩＤフィールド１１２の表現できる値の完全な数に対してというよりも、むしろ拡張層ＩＤの実際に仮定された数についてのみ層特定情報をデータストリームの中に挿入することが実現できる。従って、図１２の符号１２２で説明されるように、多層ビデオ信号を構文解析している装置は、例えば、拡張層ＩＤフィールドの実際に利用できる／表現できる値の完全な数よりもむしろ構文要素１１４によって示された層の最大数に等しい回数だけ、多層ビデオ信号の所定の層特徴付け構文部分１２４を構文解析する。データストリームによって消費されたサイド情報量は、従ってより低く保持される。例えば図６から図１０の例において、拡張層ＩＤフィールド１１２の表現できる値の最大数と等しいようにこの値（ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ）を設定するよりもむしろ、構文要素１１４によって示される拡張状態の最大限に仮定された数と等しいようにｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔを設定することが実現できる。従って、「特徴付け構文部分」１２４は、以前に提出されたフラグｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇによって具体的に示される。

上で既に概説したように、フィールド１１２のビット長さの存在／信号化はオプションである。ともかく、構文要素１１４が実際に使用した／アクティブな拡張層ＩＤの数を示す粒状性／忠実性は、構文要素１２２によって設定された拡張層ＩＤフィールド１１２の利用できる／表現できる値の数をより粗く設定することに比べて増大する。好ましくは、構文要素１１４が拡張層ＩＤフィールド１１２の実際に仮定された値の数を示す忠実性または粒状性は、実際に仮定された値の正確な数を示すために極めて十分である。代わりに、ものの間のどこかの忠実性／粒状性、および、構文要素１２２によって提供されたフィールド１１２の利用できる／表現できる値の最大数の信号化の忠実性／粒状性が同様に実現できる。すなわち、最大構文要素１１４は、拡張層ＩＤフィールドのビット長さであるｎを持つ（ｎ−１）²より小さい又は等しいユニットの中の拡張層ＩＤフィールド１０８の最大限に仮定された値を示す。

従って、図１１と図１２に従って、ネットワーク要素または多層ビデオデコーダなどの装置が、レシーバー１０２およびエクステンダー１１０を含むことが説明される。レシーバー１０２は、一連のパケット１０６から成る多層ビデオ信号１０４を受信するように構成されている。パケット１０６のそれぞれは、ベース層ＩＤフィールドおよびことによると条件付きのみで拡張層ＩＤフィールド１１２から成る層識別構文要素構造を含む。層識別エクステンダー１１０は、一連のパケット１０６の外の複数のパケットを含む多層ビデオ信号の予め決められた部分１１３に対して、多層ビデオ信号１０４から最大構文要素１１４読み取るように構成されている。最大構文要素１１４は、予め決められた部分１１３によって構成されたパケット１０６の間の拡張層ＩＤフィールド１１２の最大限に仮定された値を示す。エクステンダー１１０は、予め決められた部分１１３内のパケット１０６のそれぞれに対して、上で概説されたフィールド１０８と１１２のベース層ＩＤと拡張層ＩＤとを連結することなどによって、層識別構文要素構造に基づいた個々のパケット１０６のための層ＩＤを決定する。エクステンダー１１０は、また、最大限に仮定された値に基づいた予め決められた部分１１３内の層の最大数を決定し、層の最大数のそれぞれに対して、層特徴付け構文部分１０４を、層の最大数と等しい回数繰り返して構文解析することによって、最低１つの特徴を決定する。「層の最大数」は、図１１と１２の実施の形態を図２〜図１０について上記で概説した実施の形態と結合するとき、クラスタ当たり層の最大数を示す。この場合、「層の最大数」の決定は、例えば、最大限に仮定された値を「層の最大数」として直接に採用する。「最低１つの特徴」は、第２相互依存構文構造内の相互層依存を示しているフラグの数である。しかし、特徴の別の例は、個々の層ＩＤに対して設定された一致している符号化パラメータのデータストリーム内の信号化でもある。その場合、「層の最大数」は、使われた又は表現できるベース層ＩＤの数×最大限に仮定された値、すなわち実際に使用された／仮定された拡張層ＩＤの数と等しいように決定される。別の例は同様に実現可能である。ともかく、構文要素１１４の方法によって実際に仮定された値の伝達は、貴重なサイド情報ビットレートを保存することを可能にする。

図１１と図１２の概念は、上で既に概説されたように、図２〜図１０について上に概説した概念と結合される、または、以前に説明された概念を使わないで単独で使われる。

しかし、図２〜図１０について前に提出された上記の説明と同様に、以下の説明は、ＨＥＶＣの拡張などの既存のビデオ符号器の中に、図１１と図１２の概念をいかにして築くかの可能性を明らかにする。

ＨＥＶＣにおいて、層識別子変数（ＬａｙｅｒＩＤと称する）は、ビデオおよびメタデータパケットのヘッダー、例えばビデオまたはメタデータパケットの大きな塊のそれぞれの中において信号で伝えられたｎｕｈ＿ｌａｙｅｒ＿ｉｄおよび追加の情報の明示的に信号で伝えられた層識別子から引き出され、その識別のために使われるように、特定のデータパケットの新しい可変のＬａｙｅｒＩｄを形成する。

図１１と図１２に従って信号で伝えられた追加の情報は、特定のビデオまたはメタデータパケットがエンハンスメント層（向上層）に属し、それ故、レガシー（古くて機能的には劣るけれども普及していて替えることができない）装置のみベース層と互換性を維持することを与えられた追加の構文要素（ビデオまたはメタデータパケットのヘッダーまたはペイロードのいくらかの部分内のｌａｙｅｒ＿ｉｄ＿ｅｘｔと比較してください）を含む。ビデオまたはメタデータパケットが、ベース層に属すけれども、有能な装置を処理しているエンハンスメント層によって処理されるとき、デフォルト値はｌａｙｅｒ＿ｉｄ＿ｅｘｔに対して仮定される。

図１３は、ＨＥＶＣ符号化ビデオのエンハンスメント層（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＞０と比較してください）のビデオデータパケットの中に含まれるスライスヘッダーの中の構文要素ｌａｙｅｒ＿ｉｄ＿ｅｘｔとして、追加の情報を信号で伝えるスライスセグメントヘッダーのための例を与える。

数学的な操作は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄとｌａｙｅｒ＿ｉｄ＿ｅｘｔを、より大きい識別子空間を許し、かつｎｕｈ＿ｌａｙｅｒ＿ｉｄとｌａｙｅｒ＿ｉｄ＿ｅｘｔの２つの値の特別な組み合わせに対して特別であるＬａｙｅｒＩｄの中に結合するために使われる。数学的な操作は、例えば以下のように、ＬａｙｅｒＩｄ変数のＭＳＢとしてｎｕｈ＿ｌａｙｅｒ＿ｉｄのビットが、そして、ＬａｙｅｒＩｄ変数のＬＳＢとしてｌａｙｅｒ＿ｉｄ＿ｅｘｔのビットが使われる（または、逆もまた同様である）。

可変のＬａｙｅｒＩｄは次の通り決定される。そこで、ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎはビットについてのｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の長さである。

ＬａｙｅｒＩｄ＝（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＜＜ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）＋ｌａｙｅｒ＿ｉｄ＿ｅｘｔ

図１１と図１２の概念は、送られたデータ量を効率的に利用するために、ビデオまたはメタデータパケットのヘッダーまたはペイロードのいくらかの部分の追加の情報（上のＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎと比較してください）を伝えるために使用されるビットの量の明示的な信号化を含む。図１４は、ＨＥＶＣビデオパラメータセット拡張構文などのメタデータパケットにおいて信号で伝えているＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ値の例示的な構文と意味を与える。

ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎは、ＬａｙｅｒＩｄ範囲を拡張するために使われるビット数を示す。

図１１と図１２の概念は、符号化されたビデオビットストリーム（例えばｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ）において使われたｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の最大値の明示的な信号化を含む。それに基づいて、ビデオまたはメタデータパケットのヘッダーまたはペイロードのいくらかの部分の追加の情報（上のＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎと比較してください）を伝えるために必要なビットの最低可能量が、送られたデータ量を効率的に利用するために引き出される。図１５は、ＨＥＶＣビデオパラメータセット拡張構文などのメタデータパケットにおいて信号で伝えているｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素値の最大値の構文と意味を例示的に与える。

ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、符号化されたビデオシーケンス内のスライスヘッダーの中のｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の最大値を示す。
発明の上記の拡張に依存しているｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の意味の２つの例示的なバリエーションが、以下において与えられる。
ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、層を識別するために、ｎｕｈ＿ｌａｙｅｒ＿ｉｄとの結合において使用される。構文要素ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎビットを使って符号化される。存在しないとき、その値は０と推定される。
ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、層を識別するために、ｎｕｈ＿ｌａｙｅｒ＿ｉｄとの結合において使用される。構文要素ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、符号化されたＣｅｉｌ（Ｌｏｇ２（ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ））ビットである。存在しないとき、その値は０と推定される。

ＨＥＶＣビデオ符号器規格のパラメータセットまたはＳＥＩメッセージの層識別子は、図１６ａ〜図１６ｃにおいて与えられた依存を構造解析すること無く拡張される。

層にされた符号化シナリオにおいて、図１７のビデオパラメータセット拡張のための構文テーブルで例示的に与えられるように、層識別子またはその最大数に関連する信号化は、正規の明示的な層識別子空間（ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値範囲と比較してください）の代わりに拡張層識別子空間（ＬａｙｅｒＩｄの値範囲と比較してください）をカバーするために適合される。ここで、可変のＶｐｓＭａｘＮｕｍＬａｙｅｒｓが、次の通り例示的に与えられる。
拡張層の範囲の中の層の最大数を規定している可変のＶｐｓＭａｘＮｕｍＬａｙｅｒｓは、（ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）＊２^{layer＿id＿ext＿len}．＋１と等しく設定される。または
拡張層の範囲の中の層の最大数を規定している可変のＶｐｓＭａｘＮｕｍＬａｙｅｒｓは、（ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）^*ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ．＋１と等しく設定される。

ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］は、ｉ番目の層のＶＣＬＮＡＬユニットと関連したＬａｙｅｒＩｄ値の値を規定する。０からＶｐｓＭａｘＮｕｍＬａｙｅｒｓ−１の範囲内のｉに対して、包括的に、存在しないとき、ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］の値はｉに等しいと推定される。

ｉが０より大きいとき、ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］は、ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ−１］より大きい。０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内のｉに対して、包括的に、可変のＬａｙｅｒＩｄＩｎＶｐｓ［ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］］はｉと等しく設定される。

ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ］は、ｉ番目の層のｊ番目の現在のスケーラビリティ次元タイプの識別子を規定する。ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ］の表現のために使われたビット数は、ｄｉｍｅｎｓｉｏｎ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１［ｊ］＋１ビットである。ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ］が、０からＮｕｍＳｃａｌａｂｉｌｉｔｙＴｙｐｅｓ−１の範囲内のｊに対して、存在しないとき、包括的に、ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ］は、（（ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］＆（（１＜＜ｄｉｍＢｉｔＯｆｆｓｅｔ［ｊ＋１］）−１））＞＞ｄｉｍＢｉｔＯｆｆｓｅｔ［ｊ］）に等しいと推定される。

ｉ番目の層のｓｍＩｄｘ番目のスケーラビリティ次元タイプの識別子を規定している可変のＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［ｓｍＩｄｘ］、ｉ番目の層のビュー識別子を規定している可変のＶｉｅｗＩｄ［ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］］、および、ｉ番目の層がビュースケーラビリティ拡張層であるかどうかを規定している可変のＶｉｅｗＳｃａｌＥｘｔＬａｙｅｒＦｌａｇは、次の通り引き出される。
ｆｏｒ（ｉ＝１；ｉ＜＝ＶｐｓＭａｘＮｕｍＬａｙｅｒｓ；ｉ＋＋）｛
ｌＩｄ＝ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］
ｆｏｒ（ｓｍＩｄｘ＝０、ｊ＝０；ｓｍＩｄｘ＜１６；ｓｍＩｄｘ＋＋）
ｉｆ（ｉ！＝０）＆＆ｓｃａｌａｂｉｌｉｔｙ＿ｍａｓｋ［ｓｍＩｄｘ］）
ＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［ｓｍＩｄｘ］＝ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ＋＋］
ｅｌｓｅ
ＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［ｓｍＩｄｘ］＝０
ＶｉｅｗＩｄ［ｌＩｄ］＝ＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［０］
ＶｉｅｗＳｃａｌＥｘｔＬａｙｅｒＦｌａｇ［ｌＩｄ］＝（ＶｉｅｗＩｄ［ｌＩｄ］！＝ＶｉｅｗＩｄ［０］）
｝

当然、上で概説された概念は、概念によって改善される符号器の既存のエンコーダも詰め込む。図２のようなエンコーダは、一連のパケット１０６から成る多層ビデオ信号１０４の中にビデオ信号を符号化するように構成されている。パケット１０６のそれぞれは、ベース層ＩＤフィールド１０８と拡張層ＩＤフィールド１１２から成る層識別構文構造を含む。さらに、このエンコーダは、複数のパケットを含む多層ビデオ信号の予め決められた部分１１３に対して、最大構文要素１１４を多層ビデオ信号の中に挿入し、多層ビデオ信号の予め決められた部分１１３を含むパケットの拡張層ＩＤフィールド１０８の最大限に仮定された値を示し、最大限に仮定された値に基づいて多層ビデオ信号の予め決められた部分内の層の最大数を決定し、層の最大数のそれぞれに対して、多層ビデオ信号の層特徴付け構文部分１２４を層の最大数と等しい回数繰り返し書くことによって、多層ビデオ信号１０４の中に最低１つの特徴を信号で伝えるように構成されている。例えば、エンコーダは、部分１１３の符号化を終えるまで、ストリーム１０４の出力を延期する。

以下の図面は、多層データストリームに含まれたパケットの層ＩＤを信号で伝える概念、および、どのような推論のためでも、０などのベース層ＩＤの特定の値が、そこにおいて拡張層ＩＤを付加した可能性から除外されることを要求することが必要な場合において、バックワード互換性を解決すること無く拡張メカニズムを使って、この層ＩＤを効率的に信号で伝えることを達成する可能性を扱う。後者の必要性は以下の非対称を生じる：ベース層ＩＤの殆んど全ての可能な値に対して、拡張層ＩＤを付加することが実現できる。これは以下の非対称を生じる：ベース層ＩＤの殆んど全ての値に対して、拡張層ＩＤの付加が実現でき、従って、ベース層ＩＤの殆んど全ての値の数×層ＩＤ値を表現可能な拡張層ＩＤの表現可能な値の数を生じる。しかし、限定されたベース層ＩＤ値は、どのような拡張層ＩＤでも付加する可能性を除く。従って、この非対称が受け入れられるか、または、ベース層ＩＤの禁じられた値が、拡張メカニズムを使う場合において使われないかのいずれかである。以下に発表された解決は、より効率的な方法でこの問題を克服する。

今回、この次の概念の説明は、ちょうど概説された制限が正確に適用されるＨＥＶＣ規格の可能な拡張について直ちに概説される。しかし、以下で概説された概念は、例えば層識別拡張メカニズムの上に同様な制限を課す別の符号器にも移送可能である。

ＨＥＶＣの制限は、上で概説したように、ベース層が拡張できないことである。ゆえに、ＨＥＶＣ規格に従うために、層ｉｄ拡張値ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、０と等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを持つ層に対して、信号で伝えることができない。従って、０と等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄに関連したクラスタは、ベース層自身のみを含むことができる。そのような異なるクラスタの中の層の等しくない数は不適当である。

問題は、以下に概説された概念によって解決できる。それは、クラスタおよびクラスタ内の層ｉｄ拡張値を、上の説明とは異なる方法で引き出す。それは、０と等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄに対して複数の層を持つことができないので、複数の層を持たない制限は、０と等しくない別のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に拡張される。これらの限定されたｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に属する層は、そのとき、層の等しい数を持つクラスタを形成するために、無制限のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値からの層と結合される。

基本的なアイデアは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが、例えばビットマスキングによって２つの値に分離されることである。１つの値は、クラスタを決定するために用いられる。この方法の異なるｎｕｈ＿ｌａｙｅｒ＿ｉｄ値は同じクラスタに属することができる。もう１つの値は、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ値の存在を決定し（それゆえ、仮に、複数の層がｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に属することができるならば、決定し）、そして、ＬａｙｅｒＩｄ派生においてｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｖａｌｕｅに追加のオフセットを決定するために利用される。

基本的なアイデアの実施の形態のための例は、以下において与えられ、図１８において説明される。従って、図１８は、３と等しいｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ（２と等しいＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）の例示的な場合に対して、ｌａｙｅｒ＿ｉｄ＿ｅｘｔとｎｕｈ＿ｌａｙｅｒ＿ｉｄとＬａｙｅｒＩｄとの間の関係のための例を提供する。

この例のみにおいて、６ビットｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のうち５個の最も重要なビットが、クラスタを決定するために用いられる。ゆえに、異なる最も重要でないビットを持つ２つのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値が、１つのクラスタに属している。

仮に、最も重要でないビットが０と等しいならば、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ値は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄおよびｕｈ＿ｌａｙｅｒ＿ｉｄに属する１つの層のみに対して、信号で伝えられない。定義によって、この層は、５個の最も重要なビットによって規定されたクラスタ内の０と等しいｌａｙｅｒ＿ｉｄ＿ｅｘｔを持つ層である。さもなければ、仮に、最も重要でないビットが１と等しいならば、複数の層はｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に属する。個々の層に対して、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ値は明示的に信号で伝えられ、個々の層は５個の最も重要なビットによって規定されたクラスタに属する。

図１９の構文テーブルは実施の形態のために使われる。それはパケット２０６のヘッダー、すなわちスライスセグメントのヘッダー、または、より精密なその破片を示す。

ｎｕｈ＿ｌａｙｅｒ＿ｉｄの最も重要でないビットが０と等しいとき、Ｌａｙｅｒ＿ｉｄ＿ｅｘｔは存在しない。それが存在しないとき、それは０に等しいと推定される。可変のＬａｙｅｒＩｄは次の通り決定される。ここで、ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎは、ビットについてのｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の長さである。
ＬａｙｅｒＩｄ＝（（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＞＞１）＜＜ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）＋ｌａｙｅｒ＿ｉｄ＿ｅｘｔ

別の実施の形態において、可変のａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎは、ビットストリ−ム、例えばＶＰＳにおいて信号で伝えられる。（前に説明した実施の形態が、１と等しいａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎを持つこの実施の形態の特別な場合であることに注意してください）。６ビットｎｕｈ＿ｌａｙｅｒ＿ｉｄ構文要素の最も重要なビット（６−ａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ）は、クラスタを決定するために使われる。最も重要でないビットａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎは、ｌａｙｅｒ＿ｉｄ＿ｅｘｔが推定されるかどうかを規定する。さらに、それらはｌａｙｅｒ＿ｉｄ＿ｅｘｔ値に追加のオフセットを規定する。図２０ａおよび図２０ｂの構文テーブルは、実施の形態を示すために用いられる。

実施の形態において、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの最も重要でないビット（ａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ）が１と等しいとき、ｌａｙｅｒ＿ｉｄ＿ｅｘｔのみが存在する。ｌａｙｅｒ＿ｉｄ＿ｅｘｔが存在しないとき、それは０に等しいと推定される。可変のＬａｙｅｒＩｄは次の通り決定される。ここで、ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎは、ビットについてのｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の長さである。
ＬａｙｅｒＩｄ＝
（（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＞＞ａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ）＜＜ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）＋ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＋ｌａｙｅｒＩｄＥｘｔＯｆｆｓｅｔ

従って、図１８〜図２０ｂについて上で概説された概念に従って、図２において描かれた多層ビデオデコーダのネットワーク要素などの装置は、相互層予測を使って、ビデオ素材が、情報量の異なるレベルに一致している異なる層で符号化される多層データストリームを処理するように構成される。装置は、多層データストリームを含むパケットのそれぞれに対して、以下のことを行う。個々のパケットは、上で既に説明したように、異なる層のうちの１つと関連している。

特に、図２１に示すように、装置は、多層データストリームから、または、より精密であるように現在のパケットから、ベース層ＩＤフィールド３０８を読み取る。ベース層ＩＤフィールドは第１副フィールド３０８ａと第２副フィールド３０８ｂとを含む。例えば、第１副フィールドは、フィールド３０８の１つ以上の最も重要でないビットによって形成される。一方、第２副フィールド３０８ｂは、フィールド３０８の別の最も重要なビットによって形成される。図２０ｂの例において示されるように、ａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎと称される高レベル構文要素３１０は、副フィールド３０８ａの長さを定義する。

ステップ３１２において、装置はベース層ＩＤフィールド３０８を読み取った後、ステップ３１４において、副フィールド３０８ａが、予め決められた基準を満たすかどうかをチェックする。例えば、仮に、副フィールドが１つであるか、または「全く同じシーケンス」であるならば、基準は満たされる。予め決められた基準が満たされる場合、装置は、ステップ３１８において、データストリームから、または、より精密であるように、現在のパケットから拡張層ＩＤフィールド３１６を読み取る。そして、ステップ３２０において、拡張値が拡張値のドメインの第１副セット内にあるように、拡張層ＩＤフィールドを使って拡張値を引き出す。ステップ３２０における引き出しは、フィールド３１６内のビット表現の単なるコピーと一致する。拡張層ＩＤフィールド３１６内の値が０などの特定の値を仮定しないことは、データストリームの要件である。さらに以下で概説されるように、ベース層ＩＤフィールド３０８の副フィールド３０８ａが基準を満たさない場合、後者の値が確保される。

ステップ３２０の後、装置は、第２副フィールド３０８ｂの可能な値のドメインからクラスタ値のドメイン上にマッピングすることによって、クラスタ値を第２副フィールド３０８ｂから引き出す。現在のパケットが関連する層、すなわち、フィールド３０８および３１６を構成している層が、ステップ３２４において、ステップ３２０と３２２において引き出されたクラスタと拡張値を使って索引を付けられる。例えば、クラスタおよび拡張値は、例えば最も重要な数字のためのクラスタ値を使って、お互いに単に連結される。副フィールド３０８ｂに基づいたクラスタ値３２２の引き出しは、また、例えば、クラスタ値の２進数の表現として、副フィールド３０８ｂのビットの直接的な使用から成る。

しかし、仮に、ステップ３１４のチェックが、予め決められた基準が合致しないならば、装置は、現在のパケットに対して多層データストリームから拡張層ＩＤフィールドを読み取ることを控える。むしろ、装置は、ステップ３２６において、拡張値を０に設定することなどによって、拡張値のドメインの第１副セットに解体する値の上に拡張値を設定し、そして、クラスタ値のドメインの上に第２副フィールド３０８ｂの可能な値のドメインからマッピングすることによって、クラスタ値を第２副フィールド３０８ｂから引き出す。ステップ３２２と３２８の引き出しは、同じマッピングを使って実行される。次に、現在のパケットの層ＩＤは、ステップ３２６と３２８において設定されて引き出されたクラスタと拡張値から決定される。ここで、仮に、クラスタと拡張値がステップ３２０と３２２において引き出されるならば、層ＩＤの決定が同じ方法で再び実行される。

図２１の説明を図１８の実施の形態に関連させて、第１副フィールド３０８ａは、１ビットの長さであり、特にフィールド３０８のＬＳＢである。仮に、このＬＳＢ３０８ａが勝ち取られて、拡張層ＩＤフィールド３１６にわたる拡張値の前記ドメインが｛０、１、２、３｝であり、図１８の場合において、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ、すなわちフィールド３１６が２ビットの長さであるならば、予め決められた基準が満たされる。従って、拡張値のドメイン、すなわちステップ３２０における引き出しの共通ドメインの第１副セットは、｛１、２、３｝である。特に、ステップ３２０における引き出しは、図１８の例の中で、拡張層ＩＤフィールドに適用されたユニットのマトリクスの方法によって実施される。代わりに、いくらかの別の計算が、第１副フィールド３０８ａの値をユニットのマトリクス応用の結果に追加するように使われる。従って、ステップ３２６において、拡張値は、｛１、２、３｝に解体する値、すなわち０に設定される。引き出し３２２と３２８において使われたマッピングは同じであるけれども、代わりに異なっていてもよい。マッピングは特にバイジェクティブ（ｂｉｊｅｃｔｉｖｅ）である。

ステップ３２４の中のインデックスの決定は、図１８において説明されるように、より重要な数字を設定するためのクラスタ値と、より重要でない数字を設定するための拡張値とを使用する。従って、図１８において説明したように、ｌａｙｅｒ＿ｉｄ＿ｅｘｔフィールド、すなわち拡張層ＩＤフィールド３１６は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ、すなわちベース層ＩＤフィールド３０８のＬＳＢが１である場合に単に存在する。その他の場合は、ｌａｙｅｒ＿ｉｄ＿ｅｘｔフィールドは０であると推定される。従って、ｌａｙｅｒ＿ｉｄ＿ｅｘｔとｎｕｈ＿ｌａｙｅｒ＿ｉｄの結合に対して層ＩＤのマッピングは、完全に対称であり、未使用のビット表現は存在しない。ｌａｙｅｒ＿ｉｄ＿ｅｘｔの推定された値は、ｌａｙｅｒ＿ｉｄ＿ｅｘｔを移送することによって、データストリームの中で利用される。その結果、ｌａｙｅｒ＿ｉｄ＿ｅｘｔの移送のためのデータストリームの中に亘るビットが、実のところ、ｌａｙｅｒ＿ｉｄ＿ｅｘｔが３つの異なる値｛１、２、３｝を単に仮定するという事実を説明するように減少する。例えば、２進数の単項符号は、エントロピー符号化／復号化を使って、データストリームの中に符号化され、かつ、そこから復号化された２進数のストリングスの上に、｛１、２、３｝の３つの要素をマップするために使用される。

従って、相互エイリアスが後ろの概念について記述される。相互層予測を使って、情報量の異なるレベルに一致している異なる層でビデオ素材が符号化される多層データストリームを処理するように構成された装置。それぞれが異なる層のうちの１つと関連する複数のパケットを含む多層データストリーム。多層データストリームのパケットのそれぞれに対して、多層データストリームからベース層ＩＤフィールドを読み取るように構成された装置。第１副フィールドおよび第２副フィールドを含むベース層ＩＤフィールド。ベース層ＩＤフィールドの第１副フィールドが、予め決められた基準を満たすかどうかについてのチェック。

仮に、ベース層ＩＤフィールドの第１副フィールドが、予め決められた基準を満たすならば、多層データストリームから拡張層ＩＤフィールドを読み取り、拡張値が拡張値のドメインの第１副セット内にあるように、拡張層ＩＤフィールドを使って拡張値を引き出し、そして、第２副フィールドの可能な値のドメインからクラスタ値のドメイン上にマッピングすることによって、クラスタ値を第２副フィールドから引き出しなさい。

仮に、ベース層ＩＤフィールドの第１副フィールドが、予め決められた基準を満たさないならば、多層データストリームから拡張層ＩＤフィールドを読み取ることを控え、拡張値を拡張値のドメインの第１副セットに解体する値に設定し、そして、第２副フィールドの可能な値のドメインからクラスタ値のドメイン上にマッピングすることによって、クラスタ値を第２副フィールドから引き出しなさい。

ここで、装置は、個々のパケットが、クラスタと拡張値を使って関連する層に索引を付ける。予め決められた基準が多層データストリームから読み取られることに注意するべきである。上で説明したように、「第１副フィールド」は、「予め決められた基準」が「仮に１つならば」、１ビットの長さおよび特にＬＳＢである。「拡張値のドメイン」は、例えば｛０、１、２、３｝である。「第１副セット」は｛１、２、３｝である。「拡張層ＩＤフィールドを使って」は、代わりに、ユニットのマトリクス応用の結果に第１副フィールドの値を加えている、拡張層ＩＤフィールドに適用されたユニットのマトリクスである。「拡張値に解体する値に設定しなさい」は、「０に」設定することである。「第１副フィールドの可能な値のドメインからクラスタ値のドメイン上にマッピングすること」は、両方の場合に対して同じである。しかし、代わりに異なっていてもよい。マッピングはバイジェクティブである。「クラスタと拡張値を使って、個々のパケットが関連する層に索引を付ける」は、例えば、より重要でない数字を設定するために、より重要な数字および拡張値を設定することに対して、クラスタ値を使うことを含む。

後ろの概念は、相互層予測を使って、情報量の異なるレベルに一致している異なる層で、ビデオ素材２０２を多層データストリーム２０４の中に符号化するように構成された符号器の中に直接に移送される。多層データストリームは、それぞれが異なる層の１つと関連する複数のパケット２０６を含む。個々のパケットが関連する層が、クラスタと拡張値によって唯一に決定される。符号器は、仮に、拡張値が拡張値のドメインの第１副セット内にあるならば、多層データストリームのパケット２０６のそれぞれに対して、第２副フィールドを設定するためのクラスタ値を使って、予め決められた基準を満たすために第１副フィールドを設定することで、第１副フィールド３０８ａおよび第２副フィールド３０８ｂを含むベース層ＩＤフィールド３０８を多層データストリームの中に挿入するように構成されている。そして、符号器は、拡張層ＩＤを設定するための拡張値を使って、拡張層ＩＤを多層のデータストリームの中に挿入するように構成されている。そして、符号器は、仮に、拡張値が拡張値のドメインの第１副セットに解体する値に等しいならば、予め決められた基準を満たさないように、第２副フィールドを設定するためのクラスタ値を使って、第１副フィールドを設定することで、多層のデータストリームの中に、拡張層ＩＤフィールドを挿入することおよびベース層ＩＤフィールド３０８を挿入３１２することを控えるように構成されている。すなわち、符号器は、復号器が、正しい層ＩＤを上で概説した方法で引き出して、復号側または受信側について上で概説したこれらに比較した逆マッピングをこの終わりに使うように、データストリームを生成する。

上の説明を要約すると、同じく、エンハンスメント層データの層識別子、クラスタの中の層識別子のグループ化およびクラスタ内の符号化依存の効率的な信号に対して、拡張メカニズムが提供される。

上に発表された詳細は、層にされた符号化シナリオの中のエンハンスメント層のデータに適用される。一方、ベース層のデータは不変に置かれる。層にされた符号化シナリオのベース層は、ベース層とエンハンスメント層のデータパケットの共通のヘッダー構文の中の層識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄと比較してください）を通じて識別される。

上の例では、受信者側の個々の装置はビデオデコーダである。従って動作するビデオデコーダは、復号化のための（拡張された）ｌａｙｅｒＩＤによって識別されたビットストリームのパケットを選ぶことができる。しかし、装置は、代わりに、ネットワーク利用、復号器についての知識などの外部のファクターに基づいて、（拡張された）ｌａｙｅｒＩＤによって識別されるビットストリームのパケットを捨てることができるネットワーク要素である。

上の実施の形態の全てにおいて、多層データストリームは、別の層から予測された層相互層が、１つ以上のさらなるビュー、奥行き情報、表面反射率情報、色組み合わせ情報、空間解像度改良およびＳＮＲ解像度改良を追加するように、相互層予測を使って、異なる層にてその中で符号化されたビデオ素材を持つ。

いくつかの面が装置の文脈において説明されたけれども、これらの面が、また、ブロックまたは装置が方法ステップまたは方法ステップの特徴に対応する対応方法の説明を表現することは明らかである。相似的に、方法ステップの文脈において説明された面は、また、対応する装置の対応するブロックまたはアイテムまたは特徴の説明を表現する。方法ステップのうちのいくつかまたは全ては、例えばマイクロプロセッサー、プログラム可能なコンピュータ、または電子回路のようなハードウェア装置によって（または使って）実行される。いくつかの実施の形態において、最も重要な方法ステップのうちの約１つ以上は、そのような装置によって実行される。

上で述べられた発明の符号化された信号は、デジタル記憶媒体に蓄えられるか、または、無線通信媒体のような通信媒体またはインターネットのような有線通信媒体で移送される。

特定の実行要件に依存することによって、本発明の実施の形態はハードウェアまたはソフトウェアにおいて実行できる。実行は、個々の方法が実行されるようなプログラム可能なコンピュータシステムと協力し（または、協力する可能性があり）、そこに蓄えられた電子的に読み取り可能な制御信号を持つデジタル記憶媒体（例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリ）を使って実行できる。従って、デジタル記憶媒体は読み取り可能なコンピュータであってもよい。

本発明に従ったいくつかの実施の形態は、ここに説明された方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協力する可能性がある電子的に読み取り可能な制御信号を持つデータキャリアを含む。

一般に、本発明の実施の形態は、プログラム符号を持つコンピュータプログラム製品として実行できる。コンピュータにおいてコンピュータプログラム製品が稼働するとき、プログラム符号は方法のうちの１つを実行するために操作される。例えば、プログラム符号は機械的に読み取り可能なキャリアに蓄えられてもよい。

別の実施の形態は、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムを含み、機械的に読み取り可能なキャリアに蓄えられる。

すなわち、本発明の方法の実施の形態は、従って、コンピュータプログラムがコンピュータにおいて稼働するとき、ここに説明された方法のうちの１つを実行するためのプログラム符号を持つコンピュータプログラムである。

従って、本発明の方法の別の実施の形態は、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムを含む、その上において記録されるデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は、一般に実在し、および／または、非移行である。

従って、本発明の方法の別の実施の形態は、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムを表現しているデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えばデータ通信接続（例えばインターネット）を介して転送されるように構成される。

別の実施の形態は、ここに説明された方法のうちの１つを実行するように構成された、または適用された処理手段（例えばコンピュータまたはプログラム可能な論理デバイス）を含む。

別の実施の形態は、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムをインストールしているコンピュータを含む。

本発明に従う別の実施の形態は、レシーバーに対して、ここに記述された方法のうちの１つを実行するためのコンピュータプログラムを転送する（例えば、電子的にまたは光学的に）ように構成された装置またはシステムを含む。例えば、受信器は、コンピュータ、モバイル装置、メモリー装置または同類である。例えば、装置またはシステムは、コンピュータプログラムを受信器に転送するためのファイルサーバーを含む。

いくつかの実施の形態において、プログラム可能な論理デバイス（例えば、フィールドプログラム可能ゲートアレイ）は、ここに説明された方法の機能のいくつかまたは全てを実行するために使用される。いくつかの実施の形態において、フィールドプログラム可能ゲートアレイは、ここに説明された方法のうちの１つを実行するために、マイクロプロセッサーと協働する。一般に、方法は、どのようなハードウェア装置によっても好ましく実行される。

上に説明された実施の形態は、本発明の原則のためにのみ説明される。ここに説明された配置と詳細の部分修正と変化は、この分野における熟練した者に明白であることは理解される。従って、切迫した特許の請求項の範囲のみによって制限され、ここの実施の形態の説明と例示の方法によって提出された特定の詳細によって制限されない。

本発明は、例えば多層ビデオ符号化の分野などのクラスタに基づいた依存信号に関する。

従って、例えば、減少したサイド情報オーバーヘッド、および／または、発展したバックワード互換性について、より効率的である多層符号化に関連してクラスタに基づいた依存信号のための概念を提供することが、本応用の目的である。この目的は保留中の独立請求項の主題によって達成される。

Claims

ビデオ素材が相互層予測を使用して情報量の異なるレベルと一致している異なる層で符号化される、多層データストリーム（１０）を処理するように構成され、前記多層データストリームは複数のパケット（１２）を含み、前記複数のパケット（１２）のそれぞれは前記異なる層の１つと関連し、それぞれの層はベース層ＩＤ（２０）、または、ベース層ＩＤ（２０）および拡張層ＩＤ（２２）によって索引を付けられ、
前記ベース層ＩＤ（２０）によって表現できる異なる値のペア間の相互依存を示している第１相互依存構文構造（２４）、および、前記拡張層ＩＤ（２２）によって表現できる異なる値のペア間の相互依存を示している第２相互依存構文構造（２６）を、前記多層データストリームから読み取るように構成され、
前記第１相互依存構文構造および前記第２相互依存構文構造に基づいて、前記異なる層間の可能な相互層予測依存を明らかにしている相互層依存記述（１４）を組み立てるように構成されていることを特徴とする装置。
ペア（ｊ、ｋ）間の相互依存の存在または不存在を表示している前記第１相互依存構文構造に条件付きで依存しているペア（ｊ、ｋ）に対して、前記多層データストリームから前記第２相互依存構文構造（２６）を読み取る又は抑制しながら読み取ることによって、前記多層データストリームから、すなわち、前記ベース層ＩＤによって表現できる数値であるＮを持つ、前記ベース層ＩＤによって表現できる値０＜ｋ≦ｊ≦ｎ＜Ｎの異なるペア（ｊ、ｋ）に対して、前記第２相互依存構文構造（２６）の複数の実例（３４）を読み取るように構成され
ｊ＝ｋを持つペア（ｊ、ｋ）に対して読み取る前記第２相互依存構文構造（２６）の前記実例（３４）は、ベース層ＩＤｊを持つそれらの間の層が、ベース層ＩＤｊを持つそれらの間の別の層に依存する相互層予測であることを示し、そして、ｋ＜ｊを持つペア（ｊ、ｋ）に対して読み取る前記第２相互依存構文構造（２６）の前記実例（３４）は、ベース層ＩＤｊを持つそれらの間の層が、ベース層ＩＤｋを持つそれらの間の層に依存する相互層予測であることを示していること、
を特徴とする請求項１に記載の装置。
前記多層データストリームから前記第２相互依存構文構造（２６）の１つの実例を読み取り、前記ベース層ＩＤによって表現できる数値であるＮを有して、前記第２相互依存構文構造（２６）の１つの実例が、
前記ベース層ＩＤによって表現できる値０＜ｉ≦ｎ＜Ｎのそれぞれに共通して、ベース層ＩＤｉを持つそれらの間の層が、ベース層ＩＤｉを持つそれらの間の別の層に依存する相互層予測であるか、または、
０＜ｋ＜ｊ≦ｎ＜Ｎを持つペア（ｊ、ｋ）のセットのそれぞれに共通して、ベース層ＩＤｊを持つそれらの間の層が、ベース層ＩＤｋを持つそれらの間の層に依存する相互層予測であるかのいずれかである、
ことを示すように構成されていること、を特徴とする請求項１に記載の装置。
前記第２相互依存構文構造（２６）の実例のそれぞれに対して、前記ベース層ＩＤによって表現できる数値であるＮを有して、前記ベース層ＩＤによって表現できる値０＜ｋ≦ｊ≦ｎ＜Ｎのペア（ｊ、ｋ）の個々の副セットを持つ前記第２相互依存構文構造（２６）の個々の実例を関連付ける関連構文構造と一緒に、前記多層データストリームから前記第２相互依存構文構造（２６）の実例を読み取るように構成されていること、を特徴とする請求項１に記載の装置。
前記関連構文構造がペア（ｊ、ｋ）毎にフラグを含み、
前記第１相互依存構文構造がペア（ｊ、ｋ）間の相互依存の不存在を示す、値０＜ｋ≦ｊ≦ｎ＜Ｎのスキップペア（ｊ、ｋ）を持つ前記関連構文構造を構文解析するように構成されていること、を特徴とする請求項４に記載の装置。
前記拡張層ＩＤ（２２）によって表現できる数値がＭであり、前記第２相互依存構文構造が、
ベース層ＩＤｊを持つそれらの間の層が、ベース層ＩＤｊを持つそれらの間の別の層に依存する相互層予測であることを示すために、拡張値０＜ｑ＜ｐ≦ｍ＜Ｍのペア（ｐ、ｑ）毎に１つの２進数の値を含み、および
拡張値ｐ及びベース層ＩＤｊを持つ層が、拡張値ｑ及びベース層ＩＤｋ＜ｊを持つ層に依存する相互層予測であることを示すために、拡張値０＜ｐ、ｑ≦ｍ＜Ｍのペア（ｐ、ｑ）毎に１つの２進数の値を含む、
を特徴とする請求項１〜請求項５のいずれかに記載の装置。
前記多層データストリームにおいて、前記ベース層ＩＤによって表現できるＮ値の間の最大限に仮定される値の明示的な信号からｎを引き出す、および／または、前記多層データストリームにおいて、前記拡張層ＩＤによって表現できるＭ値の間の最大限に仮定される値の明示的な信号からｍを引き出すように構成されていること、を特徴とする請求項１〜請求項６のいずれかに記載の装置。
前記第１相互依存構文構造（２４）が、層の異なるセットの間の相互依存を定義し、前記第２相互依存構文構造（２６）が、依存するセットの中の層の間の相互依存を定義していること、を特徴とする請求項１〜請求項７のいずれかに記載の装置。
前記第１相互依存構文構造および前記パケットのベース層ＩＤに基づいて、共通のベース層ＩＤをそれぞれ持つ層のセットのユニットの中のパケットを捨てるように構成されていること、を特徴とする請求項１〜請求項８のいずれかに記載の装置。
前記第１相互依存構文構造、前記第２相互依存構文構造、前記パケットのベース層ＩＤおよび前記パケットの拡張層ＩＤに基づいて、さらに個々の層を捨てるように構成されていること、を特徴とする請求項９に記載の装置。
前記相互層予測と前記相互層依存マトリクスとを使って、前記多層ビデオ信号を復号するように構成されたビデオデコーダ、または
前記相互層依存マトリクスに基づいて、前記多層ビデオ信号のパケットを捨てるように構成されたネットワーク要素であること、を特徴とする請求項１〜請求項１０のいずれかに記載の装置。
別の層から相互層予測されたどんな層でも、更なるビュー、奥行き情報、アルファ混合情報、色組み合わせ情報、空間の解像度改良およびＳＮＲ解像度改良のうちの１つ以上を追加するように、前記多層ビデオ信号が相互層予測を使用して前記異なる層で符号化された前記ビデオ素材を持つこと、を特徴とする請求項１〜請求項１１のいずれかに記載の装置。
ビデオ素材が相互層予測を使用して、情報量の異なるレベルと一致している異なる層で符号化される、多層データストリーム（１０）を処理するように構成され、前記多層データストリームは複数のパケット（１２）を含み、前記複数のパケット（１２）のそれぞれは前記異なる層の１つと関連し、それぞれの層はベース層ＩＤ（２０）、または、ベース層ＩＤ（２０）および拡張層ＩＤ（２２）によって索引を付けられ、
前記ベース層ＩＤ（２０）によって表現できる異なる値のペア間の相互依存を示している第１相互依存構文構造（２４）、および、前記拡張層ＩＤ（２２）によって表現できる異なる値のペア間の相互依存を示している第２相互依存構文構造（２６）を、前記多層データストリームから読み取るように構成され、
前記第１相互依存構文構造および前記第２相互依存構文構造に基づいて、前記異なる層の間の可能な相互層予測依存を明らかにしている相互層依存記述（１４）を組み立てるように構成されていることを特徴とする装置。
相互層予測を使用して、情報量の異なるレベルと一致している異なる層で、多層データストリーム１０の中にビデオ素材を符号化するように構成され、前記多層データストリームは複数のパケット（１２）を含み、前記複数のパケット（１２）のそれぞれは前記異なる層の１つと関連し、それぞれの層はベース層ＩＤ（２０）、または、ベース層ＩＤ（２０）および拡張層ＩＤ（２２）によって索引を付けられ、
前記ベース層ＩＤ（２０）によって表現できる異なる値のペア間の相互依存を示している第１相互依存構文構造（２４）、および、前記拡張層ＩＤ（２２）によって表現できる異なる値のペア間の相互依存を示している第２相互依存構文構造（２６）を、前記多層データストリームの中に挿入するように構成され、
前記第１相互依存構文構造および前記第２相互依存構文構造に基づいて、前記異なる層の間の可能な相互層予測依存を明らかにしている相互層依存記述（１４）が組み立てられるように、前記第１相互依存構文構造および前記第２相互依存構文構造が設定されていることを特徴とするエンコーダ。
相互層予測を使用して、情報量の異なるレベルと一致している異なる層で、多層データストリーム１０の中にビデオ素材を符号化し、前記多層データストリームは複数のパケット（１２）を含み、前記複数のパケット（１２）のそれぞれは前記異なる層の１つと関連し、それぞれの層はベース層ＩＤ（２０）、または、ベース層ＩＤ（２０）および拡張層ＩＤ（２２）によって索引を付けられ、
前記ベース層ＩＤ（２０）によって表現できる異なる値のペア間の相互依存を示している第１相互依存構文構造（２４）、および、前記拡張層ＩＤ（２２）によって表現できる異なる値のペア間の相互依存を示している第２相互依存構文構造（２６）を、前記多層データストリームの中に挿入し、
前記第１相互依存構文構造および前記第２相互依存構文構造に基づいて、前記異なる層の間の可能な相互層予測依存を明らかにしている相互層依存記述（１４）が組み立てられるように、前記第１相互依存構文構造および前記第２相互依存構文構造を設定することを特徴とする符号化方法。
プログラム符号がコンピュータ上で実行されると、前記コンピュータが請求項１３または請求項１５の方法を実行する、前記プログラム符号を有するコンピュータプログラム。