JP2025020160A

JP2025020160A - 並列処理を許容している符号化概念、トランスポートデマルチプレクサおよびビデオビットストリーム

Info

Publication number: JP2025020160A
Application number: JP2024181775A
Authority: JP
Inventors: トーマスシーアル; Schierl Thomas; ヴァレーリジョージ; George Valeri; カルステングルーエネベルク; Grueneberg Karsten; ハイナーキルヒホッファー; Kirchhoffer Heiner; アナスタージアヘンケル; Henkel Anastasia; デトレフマルペ; Detlev Marpe
Original assignee: GE Video Compression LLC
Current assignee: GE Video Compression LLC
Priority date: 2012-01-20
Filing date: 2024-10-17
Publication date: 2025-02-12
Also published as: TWI753214B; IN2014KN01699A; KR102781409B1; AU2017210565A1; IL262644A; IL284595B; JP2022165992A; TWI835639B; BR112014017915B1; MX376757B; US20180167640A1; IL262644B; AU2021290315A1; CA2861951A1; IL267776A; KR102210228B1; US20180167641A1; JP2018198447A; TWI804390B; IL310411A

Abstract

【課題】並列処理環境において、より効果的な、低遅延符号化を可能にする符号化概念、伝送デマルチプレクス概念及びビデオビットストリームを提供する復号化器並びに符号化器を提供する。【解決手段】復号化器は、スライス，波面並列処理（ＷＰＰ）サブストリーム９２又はタイル内に画像を記述しコンテキスト適応二進算術符号化を用いて符号化されたローバイトシーケンスペイロードを、切片境界９２を越えてコンテキスト適応二進算術符号化確率適合の継続を伴い切片９８ａ、９８ｂに再分割，切断する。スライス，ＷＰＰサブストリーム又はタイル内に付加的に導入された切片境界は、これらの要素のエントロピー符号化効率を減少させない。しかしながら、切片は、元のスライス，ＷＰＰサブストリーム又はタイルより小さく、従って、切断されていない元の実体、すなわちスライス，ＷＰＰサブストリーム又はタイルより早く、すなわちより小さい遅延で転送できる。【選択図】図４

Description

本願発明は、例えば発展しているＨＥＶＣ（High Efficiency Video Coding）、トランスポートデマルチプレクサおよびビデオビットストリーム等において並列処理を許容する符号化概念に関する。

符号化器および復号化器の並列化は、ＨＥＶＣ規格により増加した処理要求のためのみならず、ビデオ解像度の予想される増加によっても非常に重要である。マルチコアアーキテクチャは、様々な現代の電子装置において利用できるようになっている。従って、複数のマルチコアアーキテクチャの利用を可能にする効率的な方法が、必要とされる。

ＬＣＵ（largest coding unit）（複数）の符号化または復号化は、ラスタースキャンで生じ、それにより、ＣＡＢＡＣ（Context based Adaptive Binary Arithmetic Coding）確率は各画像の特性に適合される。空間依存性が、隣接するＬＣＵ（複数）の間に存在する。異なる構成要素、たとえば動きベクトル、予測、イントラ予測およびその他のために、各ＬＣＵは、その左の、上の、左上のおよび右上の隣接するＬＣＵ（複数）に依存する。復号化の並列化を可能にするために、これらの依存性は、概して中断されることを必要とし、あるいは最新のアプリケーションにおいて中断される。

並列化、すなわち、エントロピースライス［３］を使用している波面処理、サブストリーム［２］［４］，〔１１〕を使用している波面並列処理（ＷＰＰ）動作、またはタイル［５］のいくつかの概念が、提案された。後者が、必ずしも復号化器または符号化器で並列化を許容するための波面処理と結合される必要があるわけではない。この観点から、タイルは、ＷＰＰサブストリームと類似している。エントロピースライス概念の更なる研究のための我々の最初の動機付けは、技術を実行することであり、それは符号化効率損失を低下させて、符号化器および復号化器の並列化方法のためのビットストリーム上の負担を軽減させる。

より良い理解を提供するために、特にＬＣＵ（複数）の使用の中で、Ｈ．２６４／ＡＶＣ［１］の構造に、最初に目を通すことができる。

Ｈ．２６４／ＡＶＣの符号化ビデオシーケンスは、ＮＡＬ（Network Abstruction Layer）ユニットストリームにおいて集められる一連のアクセスユニットから成り、それらは１つのシーケンスパラメータセットのみを使用する。各ビデオシーケンスは、独立に復号化されうる。符号化シーケンスは、一連の符号化画像から成る。符号化フレームは、全フレームまたは単一フィールドでありうる。各画像は、固定サイズのマクロブロックに分割される（ＨＥＶＣ［５］において：ＬＣＵ（複数）)。いくつかのマクロブロックまたはＬＣＵ（複数）は、一緒に１枚のスライスに併合できる。１枚の画像は、従って、一つ以上のスライスの集まりである。このデータ分離の目的は、画像のエリアのサンプルの独立復号化を可能にすることであり、それは、他のスライスからのデータを使用せずに、スライスにより表される。

"エントロピースライス"［３］としばしば呼称される技術は、付加的なサブスライスへの従来のスライスの分割である。具体的には、それは、単一のスライスのエントロピー符号化データの分割を意味する。スライスにおけるエントロピースライスの配置は、異なる種類を有しうる。最も単純なものは、１枚のエントロピースライスとしてフレームにおけるＬＣＵ（複数）／マクロブロックの各行を使用することである。代わりに、列または別々の領域が、エントロピースライスとして利用されることができ、それは例えば、図１のスライス１のように各々により中断さえでき、互いに切り換えさえできる。

エントロピースライス概念の明らかな目的は、復号化プロセス時間を改善するために、すなわちプロセスをスピードアップするために、並列ＣＰＵ／ＧＰＵおよびマルチコアアーキテクチャを利用できることである。現在のスライスは、他のスライスデータに関係なく、分析でき再構成できるパーティションに分割でき、いくつかの効果がエントロピースライス法により達成できるにもかかわらず、これにより、いくつかの不利益が生じる。

〔２〕、〔１０〕、［１１］において提案され、部分的に〔５〕に組み込まれたように、エントロピースライス概念は、サブストリーム波面処理（ＷＰＰ）まで更に拡張された。ここで、サブストリームの反復スキームが、定義される。それは、エントロピースライスと比較して線ごとに改良されたエントロピー状態初期化を有する。

タイル概念は、画像情報の分離が符号化されるのを可能とし、その一方で、各タイトルは、それ自身のラスタースキャン順序を有する。タイルは一般的な構造により定義され、それはフレーム内で繰り返される。タイルは、ＬＣＵ（複数）またはＣＵ（複数）に関して特定の列幅および線高を有することもできる。タイトルは、独立に符号化されることもでき、復号化器スレッドは、アクセスユニットのタイルを完全に、または、少なくとも独立した方法、すなわちエントロピー符号化および変換符号化、におけるいくらかの符号化動作ステップのために処理しうるように、タイトルが他のタイルとの共同処理を必要としない方法に符号化されることもできる。

従って、タイルは、後者の場合、例えばＨＥＶＣコーデックのフィルタステージに対するｕでは、タイル符号化器および復号化器が完全に、または、部分的に独立して、並行して実行するのと同様に動作するのを大いに可能とする。

キャプチャ、符号化、伝送、復号化、および一連のビデオ通信システムのプレゼンテーションチェーン、あるいは類似のシステムにおける並列化技術の完全な使用を行うために、通信参加者間のデータの転送およびアクセスは、全部のエンドツーエンドの遅延注入のために重要かつ時間を要するステップである。これは、並列化技術、例えばタイル、サブストリームまたはエントロピースライス等、を使用する場合に、特に問題である。

ＷＰＰサブストリームのデータアプローチは、パーティションの符号化データが処理される場合、データ局所性を持たない、すなわちアクセスユニットを復号化している単一スレッドは、次のＷＰＰサブストリームラインのデータにアクセスするために潜在的に大きいメモリ部分を飛び越える必要があることを意味する。完全に並列化された方法で動作するために、マルチスレッド復号化システムは、特定のデータ、すなわちＷＰＰサブストリームの伝送を待つ必要があり、波面処理を利用する。

ビデオストリーミングにおいて、より高い解像度（フルＨＤ、クアッドＨＤ等）を可能にすることは、伝送されるべきデータがより大きな量となることにつながる。時間感受性シナリオのために、いわゆる低遅延使用の場合、例えばテレビ会議（＜１４５ｍｓ）、またはゲームアプリケーション（＜４０ｍｓ）の非常に低いエンドツーエンドの遅延が、必要とされる。従って、伝送時間は、重要な要素になる。テレビ会議アプリケーションのためのＡＤＳＬのアップロードリンクを考慮されたい。ここで、ストリームのいわゆるランダムアクセスポイントは、通常、これらは、Ｉフレームを参照し、伝送中に、ボトルネックを生じる候補であろう。

ＨＥＶＣは、復号化器側と同様に符号化器で、タイル処理と同様にいわゆる波面処理を可能とする。これは、エントロピースライス、ＷＰＰサブストリームまたはそれらの組合せを用いて可能にされる。並列処理は、並列タイル符号化および復号化により可能とされもする。

「非並列化ターゲッティング」の場合において、全スライスのデータが、一度に配信され、それ故、スライスの最後のＣＵは、それが送信された場合、復号化器によりアクセス可能である。単一スレッドの復号化器がある場合、これは問題ではない。

マルチスレッドのケースにおいて、複数のＣＰＵまたはコアが使用されうる場合、復号化プロセスは、しかしながら、符号化されたデータが波面復号化器またはタイル復号化器スレッドに到着すると、すぐに開始することを希望する。

このように、並列処理環境において、符号化効率をそれほど落とさずに符号化遅延を減らすことができるコンセプトが手元にあれば好都合である。

従って、並列処理環境において、より効果的な、低遅延符号化を可能にする符号化概念、伝送デマルチプレクス概念およびビデオビットストリームを提供することが、本願発明の目的である。

この目的は、添付の独立クレームの主題により達成される。

本出願の第１の態様によれば、スライス、ＷＰＰサブストリームまたはタイルにおける１枚の画像を表現しているローバイトシーケンスペイロード、およびコンテキスト適応二値算術符号化を用いた符号化は、コンテキスト適応二値算術符号化確率適合を継続しながら切片（tranche）境界を越えて切片に再分割されるか切断される。この手法により、スライス、ＷＰＰサブストリームまたはタイルの範囲内で付加的に導入された切片境界は、これらの要素のエントロピー符号化効率の減少をもたらさない。しかしながら、一方で、切片は、元のスライス、ＷＰＰサブストリームまたはタイルより小さく、そして、したがってそれらは、切断されていない元の実体、すなわちスライス、ＷＰＰサブストリームまたはタイルより早く、すなわちより少ない遅延により、伝送されうる。

第１の態様と組み合わせ可能な別の態様によれば、サブストリームマーカーＮＡＬユニットは、トランスポートデマルチプレクサがＮＡＬユニット内のスライスのデータを対応するサブストリームまたはタイルに割り当て、対応するサブストリームまたはタイルでマルチスレッド復号化器を並行して提供できるように、ビデオビットストリームのＮＡＬユニットのシーケンス内で使用されている。

有利な実施態様は、従属クレームの主題である。更に、本願発明の好ましい実施例は、図について以下で更に詳細に説明される。

図１はエントロピースライスの可能な合成物を例示している概略図を示す。図２は３枚のスライスの上に広がる３つのタイルを例示している概略図を示す。図３は４つの可変長切片サイクルインターリーブスキームの切片のインターリーブの例を示している概略図を示す。図４はエントロピースライスデータの符号化、セグメンテーション、インターリーブおよび復号化を示している概略図を示す。図５は常にマーカーコードを使用していて、複数のＮＡＬユニット上の実際のスライスデータの中で広がっているスキームを周期的にインターリーブする４つの可変長切片の切片のインターリーブ例を例示している概略図を示す。パーティションが存在しない場合であっても、マーカーコードが用いられる。これは、切片識別子を使用し、マーカーに追従し、切片数を示すことで、更に強化しうる。これは、周期的モードのために必要とされるように、これは常にマーカーを送信する必要性を減少させる。図６ＡはＮＡＬユニットシンタックスを例示している疑似コードの表を示す。図６ＢはＮＡＬユニットシンタックスを例示している疑似コードの表を示す。図７はシーケンスパラメータセットシンタックスを例示している疑似コードの表を示す。図８は低遅延スライス層ＲＢＳＰシンタックスを例示している疑似コードの表を示す。図９はスライスヘッダシンタックスを例示している疑似コードの表を示す。図１０はサブストリームマーカーシンタックスを例示している疑似コードの表を示す。図１１はエントロピースライスデータの単純なカプセル化のための例を例示している概略図を示す（ＡＦは、ＭＰＥＧ－２ＴＳアダプションフィールドである）。図１２はエントロピースライスデータの単一のＥＳ（Elementary Stream）カプセル化のための他の実施例を例示している概略図を示す。図１３はエントロピースライスデータのパックドマルチＥＳカプセル化のための他の例を例示している概略図を示す。図１４は単一のＥＳのためのトランスポートデマルチプレクサを示している概略ブロック図を示す。図１５はマルチＥＳのためのトランスポートデマルチプレクサを示している概略ブロック図を示す。図１６は符号化器を示している概略ブロック図を示す。図１７は復号化器を示している概略ブロック図を示す。図１８は復号化器により実行されるステップのフローチャートを示す。図１９はＲＴＰを使用しているマルチＥＳのための実施例を例示している概略図を示す。

時間を短縮するために、並列復号化器スレッドを開始でき、フレームのそのデータを終了でき、下記の実施例は、データのセグメンテーション、並列化のための構造化、例えば一つ以上のタイルのデータまたは低遅延インターリーブアプローチによる小さい切片への一つ以上のＷＰＰサブストリームのデータ、を使用する。

従って、符号化器は、ＬＣＵ（複数）の特定セットまたはサブストリームの少なくともバイト配列部分またはタイルまたはそれらの部分に一致して、切片の形で符号化器から復号化器まで伝送パスを経由して復号化器にデータを配信しうる。

切片が完全なＷＰＰサブストリームまたはタイルより小さくて、および／または伝送パスの実際の最大の転送ユニット（ＭＴＵ）に適しうるので、複数のＷＰＰストリームまたは切片は完全なアクセスユニットのファイナライズの前に、符号化器および復号化器の間に転送ユニットにおいて配置されることができ、復号化器側の復号化は、アクセスユニットの完全なＷＰＰサブストリームまたはタイルのシーケンシャル伝送を使用する場合よりも、非常に以前に開始できる。

これは、明らかに、復号化器における切片のより速い伝送および並列復号化プロセスのより早いスタートをもたらす。その方法は、例えば波面法において、次のフレームの（複数の）スライスまたは（複数の）エントロピースライスが、次のフレームのエントロピースライスを復号化するための必要な情報がフレーム間参照の有効性によるとの知見に基づいて、すでに復号化されうる場合、フレーム境界を通じても適用できる。復号化順序における後続のフレームのそれらのすでに復号化可能なデータは、データパーツの依存性を先行する（複数の）フレーム、またはパラメータセット等の順序固定位置において信号伝送された使用された位置を示す固定参照方式を示しているストリームにおける最大限許容された／信号伝送された動きベクトル長または付加的情報から導出できる。

画像は、最大符号化ユニット（ＬＣＵ）－行（複数）につき１枚のエントロピースライスにより、またはＷＰＰサブストリームを用いて、または、分離されたエントロピースライスにおいてさらに含まれうる行につき１つのＷＰＰサブストリームとしての組合せさえも、符号化できる。この種のデータ構造は、復号化器側で波面処理テクニックを利用するために必要である。または、タイルは、並列処理を許容するために使用できる。

符号化プロセスの間、ＷＰＰストリームまたはタイルのデータを含む各スライスのビットストリームは、符号化器および復号化器の間で、最大転送ユニットサイズに合致するために、可変サイズの切片に分割できる。そのとき、結果として生じた切片は、インターリーブされて、伝送のために通過でき、ＭＴＵサイズのパケットに入れられる。

復号化器側で処理を許容するために、各切片の前か後に、マーカーコードが、挿入できる。ＨＥＶＣのための適切なマーカーコードは、"０ｘ０００００２"でありえて、それは、スタートコードエミュレーション防止さえ通過する。複数の切片を含むパケットを受信した後、レシーバまたは復号化器は、付加的な分析ステップを必要としないために、スタートコードエミュレーション防止プロセスの間、実際に含まれたビットストリームを分析できる。例えば、切片識別のための２つのモードが、存在できる。１に等しいｔｒａｎｃｈｅ＿ｉｄ（切片識別子）を有する切片から始まり、ｎに等しいｔｒａｎｃｈｅ＿ｉｄを有する切片まで、切片の周期的配列が、常に存在できる。これは、第２の一般的な方式に安全にデータを信号伝送できる。代替方式は、例えば８ビット値として、ｔｒａｎｃｈｅ＿ｉｄを示す、マーカーに続く、特定のヘッダであってもよい。

インターリーブされた切片データをデインターリーブすることは、パケットにつき切片の数についての知識に基づいて適用可能で、それはＮＡＬユニットパケットであってもよい。従って、ＷＰＰサブストリームまたはタイルの切片へのマッピングが、さらに存在できる。このマッピングは、タイルの数／ＷＰＰサブストリームの数に暗に由来しうる、またはＳＰＳにおいて直接信号伝送できる。マッピングは、デインターリーブプロセスにとって重要であり、その結果、特定のＷＰＰサブストリームまたはタイルのデータは、ＷＰＰサブストリームまたは問題のタイルを復号化することを担って波面または並列復号化器スレッドを確認でき、役立つことができる。

低遅延カプセル化のためのインターリーブスキームの使用に関して、復号化器に知らせるために、ＮＡＬユニットヘッダにおいて低遅延フラグ（low_delay_flag）が、存在できる。

他のモードは、トランスポート層上、すなわち、ＲＴＰ［８］［９］［１３］またはＭＰＥＧ－２トランスポートストリーム［７］層の復号化プロセスの外側での、インターリーブおよびデインターリーブでもよい：

従って、ヘッダはパケットの前に置くことができ、そして、現在の切片につきサイズ情報をバイトに含んでいるフラグにより切片の存在を示すことができる。トランスポート層が復号化プロセスから切り離されるので、トランスポート層の付加的情報が復号化器にそれらのデータを通過する前に常に削除される必要があるという理由で、マーカーコードを集積する必要性は存在しないかもしれない。トランスポート層は、それからまた、復号化器にビットストリームを送出するためにデータを並べ換える。

可変長ヘッダが、余分な多重化層に使用できる。この多重化層は、コーデックの一部でもよく、復号化器の実際のローバイトシーケンスデータ（ＲＢＳＰ）アクセスの前に導入されることもできる。１つのヘッダ方式は、図３で見出すことができる。しかし、そのインジケータと同様に１つのヘッダが、直接、長さを示している各切片の前にも存在できる。すでに上述したように、インジケータをビットストリーム構造にマップする必要性が依然として存在する。

切片サイズは、恒常的なサイズ、例えば切片につきｘバイトでもよい。これは、例えば図４に示される等、単純な多重化方式をもたらす。

セグメントの恒常的なサイズは、その可変長のためビットストリームの終りで課題をもたらしうる。

実行可能な２つの一般的な解答が、存在する。最初の１つは、周期的ｘ－バイトセグメント（通常、スライスのビットストリーム表現は、バイト整列される）の生成および各復号化器エンジンによる、各バイトの消費の制御、すなわち、復号化器は、エントロピースライスの、または、マーカーコードを示す完成を検出する。

図示されるように、ヘッダにおける切片が可変長である場合、第２の方法は、切片長を信号伝送する。

セグメントおよびインターリーブモードのサイズは、１つのＳＥＩ（Supplemental Enhancement Information）－メッセージにおいて、または、ＳＰＳ（Sequence Parameter Set）において信号伝送できる。

伝送スキームは、図４に示される。

他の興味深い方法は、パケット、例えばＮＡＬまたはスライスパケット、の切片のセットの終りでファイナライズコードまたはマーカーコードを使用することである。この場合、可変長セグメントが可能であり、従って、ビットストリームの完全な分析が、必要とされる。メモリアクセスをここで制限するために、多重化のためのこの付加的な分析方法は、スタートコードエミュレーション防止分析と結合できる、そして、ＮＡＬユニットに含まれるＲＢＳＰデータにアクセスする前の第１段階として必要である。この種のマーカー方式は、図５に示される。

ここにあるアイデアは、データを切片にインターリーブする間、例えば現実のスライス、エントロピースライスや類似のもの等、より高レベル構造を、例えばＷＰＰサブストリームやタイル等、その含まれたより低レベルのデータ構造に、インターリーブ方法において分割することにある。各々がより低レベルの構造、例えば特定のＷＰＰサブストリームまたはタイル、に属するこれらの切片は、低遅延パケットにおいてインターリーブされ、それは特定のＮＡＬユニットであり、低遅延インターリーブフラグにより付加的に信号伝送されるＮＡＬユニット、またはスライスでさえ、または図において"ＮＡＬユニット♯１"として示されるように、フラグまたはスライスタイプにより低遅延インターリーブアプローチを示す軽量スライスヘッダでありうる、それ故、復号化器は、"シングル"スレッド復号化器に対し、並べ換え機能を適用することを通知し、それは、復号化器における元の／デインターリーブされた順序における切片の順次処理を使用する。低遅延特性を得るために複数パケット上にインターリーブされた切片として現実のスライスのデータを分割するために、トランスポート層は、最大ＭＴＵ（Maximum Transmission Unit）サイズのネットワークパケットへの低遅延インターリーブされたデータを含む前記ＮＡＬユニットを断片化しうる。複数のＮＡＬユニットへの現実のスライスデータの断片化は、符号化層によっても直接適用されうる、それ故、図５において"ＮＡＬユニット♯２"に示されるように、スライスの継続を含むＮＡＬユニットのその種のタイプを信号伝送する必要がある。ＮＡＬユニット等の複数のパケットにおいて、インターリーブされたデータのファイナライズを検出するために、図において"ＮＡＬユニット♯２"にも示されるように、特定のファイナライズコード、またはスライスまたはＮＡＬヘッダにおける完了を示すフラグの必要性が存在しうる。

ＮＡＬパケットが消失した場合、消失を検出する必要性も存在する。これは、ヘッダ、例えば軽量スライスヘッダ、例えば含まれた切片の第１のＭＢ等、または特定の切片＃１のみにおける追加情報に適用できる。例えばＷＰＰサブストリームまたは切片の現実のサイズのためのオフセット等の情報があれば、ファイナライズコードおよび先行ＮＡＬユニットとともにＮＡＬユニットを受信した後、サニティチェックを行うために、誰もがこれらのサイズ値（特定のＷＰＰサブストリームまたはタイルのオフセット値）を使用できる。

即ち、記載されているように、切片は、各パケット３００が、ＷＰＰサブストリームまたはタイルの間で定義された順序♯で配列された画像の各ＷＰＰサブストリームまたはタイルの１つの切片Ｔ♯または画像の複数のＷＰＰサブストリームまたは複数のタイルの１つのサブセットから構成される方法で（その理由は、例えば、ある特定のＷＰＰサブストリームまたはタイルは、先行するパケットにより既に完全に運ばれているからである）パケット３００にパケット化され得て、各パケットは、それぞれのパケット３００にパックされた切片Ｔ♯の位置、および／または、長さを示す情報を有するヘッダ３０２、あるいはそれぞれのパケット３００内で切片Ｔ♯を互いに分離するマーカー３０４、を有し、復号化器は、ローバイトシーケンスペイロードを受信するにあたり、パケット内の切片にアクセスするためにヘッダ３０２またはマーカー３０４により構成された情報を使用するように構成できる。画像のＷＰＰサブストリームまたはタイルの最初（第１）の－ＷＰＰサブストリームまたはタイルの間で定義された順序に従って－切片を有するパケット３００ａは、低遅延特性インジケータ３０６を有することができる。かつ、画像のＷＰＰサブストリームまたはタイルの２番目（第２）またはそれ以降の－ＷＰＰサブストリームまたはタイルの間で定義された順序に従って－切片Ｔ♯、を有するパケット３００ｂは、連続性インジケータ３０８を有しうる。パケット３００は、ＮＡＬユニットまたはスライスでありうる。

以下に、切片への低遅延インターリーブのためのシンタックスおよびセマンティックスを信号伝送するための例が、提供されている。

それにもかかわらず、上述したように、切片データ、例えばＷＰＰサブストリームまたはタイルのデータ等、を分割することは、スライスレベルまたは下記にも適用できる。

現在、１つの方法が示され、そして、それは付加的な処理ステップを減少するためにスタートコードエミュレーション防止のための分析と結合できる。従って、インターリーブは、ＨＥＶＣコーデックのＲＢＳＰレベルで適用される。

一つの切片は、低遅延データアクセスのためにＮＡＬユニットペイロード部において分割ＲＢＳＰデータをインターリーブされるべきセクションに分割するとみなすことができる。一つの切片のファイナライズは、コード０ｘ０００００２により示すことができる、かつ、８ビットの切片識別子ｔｒａｎｃｈｅ＿ｉｄが続くことができる。前記切片は、周期的態様でインターリーブできる、その結果、前記切片エンドコードは、暗に導出されるｔｒａｎｃｈｅ＿ｉｄにより後続されない。単一切片におけるＲｂｓｐデータは、タイルのデータ、サブストリームのデータ、スライスのデータかエントロピースライスのデータに対応する。

ＮＡＬユニットシンタックスにおいて、"ｌｏｗｄｅｌａｙｅｎｃａｐｓｕｌａｔｉｏｎ＿ｆｌａｇ"により示された低遅延インターリーブのための２つのモードが許容できる。それは、切片の周期的配置であり、また、ＮＡＬユニットヘッダにおける例えば"ｌｏｗｄｅｌａｙｃｙｃｌｉｃ＿ｆｌａｇ"等のフラグによるマーカーコーダに続く付加的な識別子"ｔｒａｎｃｈｅ＿ｉｄ"による切片の指示でもある。これら２つのフラグは、ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔｓまたはＡＰＳにさえも存在できる。周期的切片配置のために、分析の間、例えばＳＰＳにおいて"ｎｕｍ＿ｌｏｗ＿ｄｅｌａｙ＿ｔｒａｎｃｈｅｓ"として設けられたように、切片の数を知っている必要が依然存在できる。

ＮＡＬユニットにおいて、インターリーブされた"ＬＤ＿ｒｂｓｐ＿ｂｙｔｅ"（複数）は、ＮＡＬシンタックスにおける最後のforループにおける現実の逐次ＲＢＳＰ順序への並べ換えが、パーサにより読まれる：

for ( i= 0, i++, i < num＿low＿delay＿tranches)[

for ( j= 0, j++, j < NumBytesInRBSP[i] )[
rbsp＿byte[NumBytesInRBSP++] = LD＿rbsp＿byte[j][i]
]

"ｌｏｗ＿ｄｅｌａｙ＿ｔｒａｎｃｈｅ＿ｌｅｎｇｈｔ＿ｍｉｎｕｓ１"に示されたように、循環的に配置された切片の固定サイズのためにＳＰＳまたはＡＰＳにおける明確な信号伝送も存在しうる。後者は、ＮＡＬユニットシンタックスの実施例において使用されていないが、図４に示されるように、パケット化を念頭においた場合、容易なことである。図６のＮＡＬユニットシンタックスにおいて、図５に示すようなパケット化および上述の議論は、基本的であった。

複数のパケット、例えばスライスおよび／またはＮＡＬユニット等の上の切片のこのインターリーブ特性を可能にするために、グローバルバッファ、例えば切片のためのＬＤ＿ｒｂｓｐ＿ｂｙｔｅのアレイ、のための要求が、既に受信されたＮＡＬユニットのＲＢＳＰデータに繰り返しアクセスするために、存在できる。

エラー回復を可能にするために、確定コードを受信した後、または、切片の受信バイト数の合計が切片サイズに等しい場合、これは、含まれる切片データに提供されるオフセット値、例えば、問題の切片が一部であるそれぞれのＷＰＰサブストリームまたはタイルに関するデータから導き出すことができる。

インターリーブされた低遅延切片に配置されたＷＰＰサブストリームのための重要な要求は、切片ｎ＋１により切片ｎからのデータのみがアクセスされ、それは、既に切片ｎ内に与えられ、既に蓄積されるか復号化器で利用可能である。

スライスレベル上の再順序化／デインターリーブのための低遅延スライス層ＲＢＳＰシンタックスは、次のように設計できる。特に、前記シンタックスは、その場合にＮＡＬユニット層上のようにほとんど同じ振る舞いを有するべきであるが、前記並べ換えは、前記スライスレベル上で定義されねばならない。図８は、低遅延スライス層ＲＢＳＰシンタックスを示す。

インターリーブされた切片をパケット化するためにスライスヘッダを使用する場合、新たなスライスを受信した場合、ＣＡＢＡＣ状態をリセットするのではなく、例えばＷＰＰサブストリームの切片のエントロピー符号化が割り込まれるべきではないので、コーデックレベルを示す必要が存在しうる。スライスのＣＡＢＡＣをリセットしないことは、スライスヘッダにおいて"ｎｏ＿ｃａｂａｃ＿ｒｅｓｅｔ＿ｆｌａｇ"として示される。示されるスライスヘッダは、低遅延スライスに適しており、従って、ｅｎｔｒｏｐｙ＿ｓｌｉｃｅの特徴は、また存在しなければならない。対応するスライスヘッダシンタックスは、図９に示される。

前記トランスポート層は、符号化層におけるサブストリーム／タイル／切片（トランスポート層上で、サブストリーム、またはタイル、またはサブストリームまたはタイルの一部、またはビットストリームの一部により表わすことができる抽象的存在を仮定し、それは類似の機能、即ち、並列復号化または漸進的な復号化器のリフレッシュを可能にする）の数が互いに独立に処理できる場合その事実に基づいて、復号化器ユニットに転送されるデータのスケジューリングの最適化を可能にする。１つの可能性は、いくつかの復号化装置に並行して切片を最小遅延で送り始めることである。前記ビットストリームは、トランスポート層上で独立に取り扱うことが可能な最小の項目である一連のＮＡＬユニットからなる。それ故、トランスポート層上で取り扱う次の方法は、セパレートスライスまたはエントロピースライスＮＡＬユニットに含まれるサブストリーム／タイル／切片に基づく。

トランスポート層は、符号化層が漸次復号化器リフレッシュを使用する場合その事実に基づき復号化器性能および誤り回復力も最適化すべきである。１つの選択肢は、ビットストリームの前の部分が例えば伝送エラーにより正しく受信されない場合、あるいは例えば伝送チャンネル間のスイッチにより全く受信されなかった場合、ビットストリームの無関係の部分を棄却することである。

この種の開発／最適化を許可するために、さまざまな情報が、トランスポート層に信号伝送される。

一般的なサイド情報は、記述子を用いて信号伝送される。
－サブストリーム／タイルの個数、そこでは"１"は、全てのビデオフレームを含む唯一のストリーム／タイルが存在することを意味する
－全てのサブストリーム／タイルに共通する情報、例えば、全てのサブストリーム／タイルが同じサイズか、あるいは、バッファ要求が同じか
－各サブストリーム／タイルに関する独立した情報、例えば、サブストリーム／タイルが異なるサイズか、あるいはそのバッファ要求が異なるか
－逐次復号化器リフレッシュステップの個数、そこでは"１"は、逐次復号化器リフレッシュ要求が使用されないことを意味する
－これらのサブストリーム／タイルが、低遅延並列処理が可能かを示す１つのフラグ

サブストリーム／タイルの個数が＞１の場合、シンタックス要素は、ストリーム内のあるサブストリーム／タイルを含む各データブロックの前に挿入される。これらのシンタックス要素は、ＮＡＬユニットシンタックスに続くが、符号化層（例えばｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝０ｘ１９またはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝０ｘ１Ｆ）により使用されない一意的なＮＡＬユニットタイプを使用し、以下では、サブストリームマーカーと呼ばれる。

これらシンタックス要素は、マーカーとして使用され、少なくともサブストリーム／タイルと同一視されるデータフィールドに続くデータブロックに関してキャリー情報として使用される。

漸次復号化器リフレッシュステップの個数＞１の場合、これらシンタックス要素もサブストリーム／タイルがイントラ符号化された（逐次復号化器リフレッシュを可能にする）旨を示すフラグを掲げる。

対応するシンタックスは、図１０に示される。以下の制約を適用できる。

ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔは、０に等しい。
ｎａｌ＿ｒｅｆ＿ｆｌａｇは、０に等しい。
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、０ｘ１９に等しい。
ｓｕｂｓｔｒｅａｍ＿ＩＤ：画像に属する第１のスライスのための０から始まるカウンタ値、同じ画像に属する各更なるスライスまたはエントロピースライスにより増加する。ｉｓ＿ｉｎｔｒａ：'１'である場合、以下のＮＡＬユニットは、イントラ符号化スライスまたはイントラ符号化エントロピースライスを含む。

トランスポートマルチプレックスにおけるビデオストリームのカプセル化のための方法は、図１１に示され、そこでは、各スライスまたはエントロピースライスがトランスポートストリームパケットの整数個において別に伝送される。ペイロードのサイズが固定サイズのＴＳパケットの利用できるバイトに正確に一致しない場合、最後のＴＳパケットは、適応フィールドを含む。

ＭＰＥＧ－２トランスポートストリームのエレメンタリーストリームの類似のビヘイビアが、図１９にて示したように、リアルタイム転送プロトコルのＲＴＰセッションまたはＲＴＰストリームにより設けることができる点にも留意すべきである。ＲＴＰ［８］において、ＲＴＰストリーム（ＳＤＰ［１２］に示すように、メディアタイプおよびペイロードタイプにより確認される）は、それ自身のＲＴＰセッションに含まれることができる、そこにおいて、ＲＴＰセッションは、（ＩＰ）ネットワークアドレス、（ＵＤＰ）ポート、その上にソース識別子（ＳＳＲＣ）により確認される。ＳＰＤにおいて示されたメディアセッションは、複数のＲＴＰセッションを含むことができる、そして、各々が異なるメディアタイプを含む。しかし、異なるＲＴＰストリームの同じメディアストリーム（例えばビデオ）を転送することも、可能であり、そこにおいて、ＲＴＰストリームは、同じＲＴＰセッション（下の１に類似している）に含まれうるか、またはそれら自身のＲＴＰセッション（下の２に類似している）に含まれうる。図１９は、ケース２を例示する。

ＲＴＰペイロードフォーマット［９］［１３］は、復号化順序番号（ＤＯＮ）を有し、それらは、［９］［１３］にて説明されたように、エラー回復力目的のために復号化順序から故意に外れて送信される場合に、レシーバでＮＡＬユニットの復号化順序を回復するのを可能にする。追加マーカーＭＫＲは、従って、必要でない。ＷＰＰサブストリームまたはタイルの切片を転送する場合に、それらが符号化プロセスから利用可能になるときの順で、前記ＤＯＮは、それらを単一の復号化器に提供する前に、切片の復号化順序を回復するために用いることもできる。しかし、この場合において、追加の遅延は、復号化プロセスの前に別々のデインターリーブプロセスのために、復号化器で導入される。本明細書に記載されているシステムは、データがレシーバに到達する間に、符号化された切片を直接、異なるＷＰＰサブストリームまたはタイルの復号化プロセスに提供できる。ＲＴＰヘッダにおけるＲＴＰシーケンス番号により示されるように、ＷＰＰサブストリームまたはタイルに関連した切片の識別は、スライスセグメントのスライスセグメントヘッダおよびパケットの伝送順序のスライスアドレスにより導出できる。このシナリオにおいて、ＤＯＮが、下位互換性、すなわち、復号化器が、到着したとき復号化順序外で送信されたＷＰＰサブストリームまたはタイルの切片を復号化する改良された能力を備えない、用途のみに使われる。復号化順序外の切片データの送信は、ＷＰＰサブストリームおよびタイルのレベルに関してちょうど適用される、すなわち伝送データにおいて、単一のＷＰＰサブストリームまたはタイルの切片は、復号化順序において伝送され、異なるＷＰＰサブストリームまたはタイルのデータがインターリーブされる。

２つの考えられるオプションが、存在する：
１．すべてのスライスおよびエントロピースライスは、同じ基本ストリームに含まれる、すなわち同じＰＩＤが、そのビデオストリームのすべてのＴＳパケットに割り当てられる；
以下のテキストで、この方法は、一回のＥＳカプセル化に言及される。
２．異なるＰＩＤは、同じビデオビットストリームのスライスおよびエントロピースライスに割り当てられる；以下のテキストで、この方法は、マルチＥＳカプセル化に言及される。

第１のオプションが、同じＰＩＤをすべてのＥＳに設定することでより一般の構造の特例として扱われる場合、図１１は両方のオプションに有効である。

単一のＥＳのカプセル化のためのより効率的な方法は、図１２に示される。ここで、画像につき多くとも１つの適応フィールドが、必要である。

複数のＥＳのカプセル化のためのより効率的な方法は、図１３に示される。ここで、適応フィールドは回避される。代わりに別のスライス、例えば次の図の連結されたタイルが同じトランスポートストリームパケットにおいて、すぐに開始される。

マルチスレッドの復号化器を対象としている１つの単一の基本ストリーム（ＥＳ）を有するカプセル化のためのトランスポートデマルチプレクサの考えられる構造は、図１４に示される。図のエントロピースライスは、特定のＷＰＰサブストリームまたはタイルのデータを含みうる。

トランスポートバッファ（ＴＢ）は、トランスポートパケットに属するデータを集めて、マルチプレックスバッファ（ＭＢ）に、それを転送する。ＭＢの出力で、ＮＡＬユニットヘッダは評価され、サブストリームマーカーは、棄却される。その一方で、サブストリームマーカーにおいて運ばれるデータは、格納される。各スライスまたはエントロピースライスのデータは、一旦復号化器スレッドが利用できるならば、それがマルチスレッド復号化器により取り出されるところから、別々のスライスバッファ（ＳＢ）に格納される。

マルチスレッド復号化器をターゲットとしている複数の基本ストリームを有するカプセル化のためのトランスポートデマルチプレクサの考えうる構造は、図１５に示される。

上記の概説された概念は、換言すれば再び以下で記載される。下記の説明は、従って、個々に上記説明の付加的な詳細により、結合可能である。

図１６は、本出願の実施例による符号化器の一般的な構造を示す。符号化器１０は、マルチスレッド法、あるいはそうでない、すなわち単にシングルスレッドで作動が可能であるように実装できる。すなわち、符号化器１０は、例えば、複数のＣＰＵカーネルを使用して実装できる。換言すれば、符号化器１０は並列処理をサポートできるが、そうしなければならないことはない。本出願の符号化概念は、並列処理符号化器が、しかしながら、圧縮効率を低下させることのない並列処理を効率的に適用できる。並列処理能力に関して、類似の記載は復号化器に当てはまり、それは図１７に関して後ほど記載されている。

符号化器１０はビデオ符号化器であるが、一般に、符号化器１０は画像符号化器でもよい。ビデオ１４の画像１２は、入力１６で符号化器１０に入力するとして示される。

符号化器１０は、ハイブリッド符号化器、すなわち、画像１２が予測器１８で予測され、残差決定器２２、例えば減算器等、により得られた予測残差２０が、変換／量子化モジュール２４において、変換、例えばＤＣＴのようなスペクトル分解、および量子化を受ける。こうして得られた量子化残差２６は、エントロピー符号化器２８においてエントロピー符号化、すなわちコンテキスト適応二値算術符号化を受ける。復号化器が利用できる残差の再構成的なバージョン、すなわち、逆量子化および再変換残差信号３０は、再変換および再量子化モジュール３１により回復され、合成器３３により予測器１８の予測信号３２と合成され、それにより画像１２の再構成３４が得られる。しかしながら、符号化器１０は、ブロックベースで動作する。従って、再構成された信号３４は、ブロック境界で不連続性が生じ、従って、フィルタ３６は、予測器１８が後続の符号化画像を予測するための参照画像３８を生じるために、再構成された信号３４に適用できる。図１６の破線により示されたように、予測器１８は、しかしながら、再構成された信号３４もフィルタ３６または中間バージョンなしで直接利用する。画像を符号化する場合において、フィルタ３６は、放置できる。

予測器１８は、画像１２のあるブロックを予測するために、異なる予測モードの間から選択しうる。以前に符号化された画像に基づきどのブロックが予測されたかに応じた一時的予測モード、どのブロックが同じ画像の以前に符号化されたブロックに基づき予測されたかに応じた空間予測モード、より上位層、例えばより上位の空間分解能でまたはさらなるビューポイントから、場面を示す画像のどのブロックが、より下位層、例えばより下位の空間分解能でまたは他のビューポイントから、この場面を示す対応画像に基づき予測されたかに基づく層間予測モードが存在できる。

あるシンタックスが、量子化残差データ２６、すなわち、変換係数レベルおよび他の残差データ、のみならず例えば予測器１８により決定された画像１２の個々のブロックのための予測モードおよび予測パラメータを含んでいる符号化モードデータをコンパイルするために使用され、かつ、これらのシンタックス要素は、エントロピー符号化器２８によるエントロピー符号化に依存する。従って、エントロピー符号化器２８により出力された、得られたデータストリームは、ローバイトシーケンスペイロード４０と呼ばれる。

図１６の符号化器１０の要素は、図１６に示されるように相互接続される。

図１７は、図１６の符号化器に適合する復号化器を示し、すなわち、ローバイトシーケンスペイロードを復号化できる。図１７の復号化器は、一般に参照符号５０により示され、エントロピー復号化器５２、再変換／逆量子化モジュール５４、合成器５６、フィルタ５８および予測器６０からなる。エントロピー復号化器４２は、ローバイトシーケンスペイロード４０を受信し、残差信号６２および符号化パラメータ６４を回復するために、コンテキスト適応二値算術復号化を用いてエントロピー復号化を行う。前記再変換／逆量子化モジュール５４は、残差データ６２の逆量子化および再変換を行い、こうして得られた残差信号を合成器５６に転送する。合成器５６は、合成器５６により予測信号６６および残差信号６５を合成することで決定された再構成された信号６８に基づき符号化パラメータ６４を用いて前記予測信号６６を順に形成する予測器６０から予測信号６６も受信する。図１６に関し、既に上記で説明したように、予測器６０は、再構成された信号６８のフィルタリングされたバージョンまたはそのいくつかの中間バージョンを、代わりにまたは付加的に使用しうる。最終的に再生され復号化器５０の出力７０から出力されるべき画像は、合成信号６８のフィルタされないバージョンまたはいくつかのフィルタされたバージョンの上で、同様に決定できる。

タイルの概念に従って、画像１２は、タイルに再分割され、かつこれらタイル内の少なくともブロックの予測は、空間予測の基礎として、単に同じタイルに関するデータの使用を制限される。この測定により、少なくとも予測は、個々のタイルに対し並列に実行できる。例証目的のみで、図１６は、９つのタイルに再分割されたものとして画像１２を示す。図１６に示すように、各タイルの９つのブロックへの再分割も、単に実施例としての機能を果たす。さらに、完全性のために、タイルを別々に符号化する方法は、空間予測（イントラ予測）に制限できない点に留意すべきである。むしろ、タイルの境界を越えてそれぞれのタイルの符号化パラメータの任意の予測およびそれぞれのタイルの境界を越えてそれぞれのタイルのエントロピー符号化におけるコンテキストセレクションの任意の依存性は、同じタイルのデータのみに依存するように制限されるために、禁じることができる。従って、前記復号化器は、ちょうど述べた操作を並列に、すなわち、タイルを単位にして、実行できる。

いくつかの伝送チャネルにより伝送するために、シンタックス要素は、エントロピー符号化器２８によりスライス単位でエントロピー符号化されなければならない。この目的を達成するため、エントロピー符号化器２８は、タイルのブロックを、第１のタイルのブロックを最初に横断してスキャンし、その後、タイル順その他に次のタイルのブロックに進める。ラスタースキャン順は、例えば、タイル内でタイルごとにブロックをスキャンするために用いることができる。スライスは、その後、伝送の最小単位であるＮＡＬユニットにパックされる。スライスをエントロピー符号化する前に、エントロピー符号器２８は、そのＣＡＢＡＣ確率、すなわち、そのスライスのシンタックス要素を算術符号化するのに使用される確率、を初期化する。前記エントロピー復号化器５２は、同じこと、すなわち、スライス開始での確率を初期化する。確率は、様々なコンテキストの現実のシンボル確率統計値に連続的に適合され、従ってＣＡＢＡＣ確率のリセットは、適合状態からの偏差を示すので、各初期化は、しかしながら、エントロピー符号化効率に悪影響を与える。当業者に知られているように、確率が現実のシンボル確率統計値に適合する場合のみに、エントロピー符号化は、最適圧縮につながる。

従って、復号化器は、本出願の実施例に一致して、図１８に示されるように動作する。前記復号化器は、ステップ８０において、タイルにおける切片内にタイル８２における画像１２を描くローバイトシーケンスペイロードを受信する。図１８において、タイル順８４における前記第１のタイル８２は、切頂されあるいは２つの切片８６ａおよび８６ｂに分割されるように、模範的に示され、各々はタイル内のブロックのシーケンスのサブシーケンスを模範的に覆う。そのとき、ステップ８２において、切片８６ａおよび８６ｂは、エントロピー復号化される。しかしながら、切片８６ａおよび８６ｂのエントロピー復号化において、ＣＡＢＡＣ確率適応は、切片境界を越えて連続している。すなわち、切片８６ａを復号化している間、ＣＡＢＡＣ確率は、連続的に現実のシンボル統計に適合され、かつエントロピー復号化切片８６ａの終りの状態は、エントロピー復号化切片８６ｂの開始に適合される。ステップ９０において、ローバイトシーケンスペイロード、従ってエントロピー復号化、は、画像１２を得るために復号化される。

タイル８２の内部に位置する切片境界９２を超えてＣＡＢＡＣ確率適合を継続することにより、これら切片境界は、画像１２の再分割を越えてタイル８２へのエントロピー符号化効率に悪影響を与えない。他方では、タイル並列処理は、依然可能である。そのうえ、切片を個々に送信することは、可能であり、かつ、切片は、完璧なタイル８２より小さいので、それぞれのタイルの第１の切片が受信されエントロピー復号化されるとすぐに、ステップ９０における各タイルの復号化が、開始できる。

図１６から１８の記述は、第１に、タイルの使用に関係する。上述したように、タイルは、画像の空間分割から生じる。タイルと同様に、スライスも画像を空間的に再分割する。スライスは、従って、並列符号化／復号化を可能とする手段でもある。タイルと同様、スライスが個々に復号化可能なように、予測等は、禁止される。従って、図１６から１８の記述も、スライスを切片に分割するのに有効である。

ＷＰＰサブストリームを使用する際、同上があてはまる。ＷＰＰサブストリームも、画像１２の空間分割、即ちＷＰＰサブストリームへの分割を表す。タイルおよびスライスと対照的に、ＷＰＰサブストリームは、予測上に制限を課さず、ＷＰＰサブストリームを越えてセレクションに接触しない。ＷＰＰサブストリームは、図４に示すように、例えばＬＣＵ行のようなブロック行に沿って伸長する、そして、並列処理を可能にするために、単に１つの妥協が、ＷＰＰサブストリーム（図４参照）９２間に定義されたようにかつ第１のＷＰＰサブストリームを除く各ＷＰＰサブストリーム９２に対しＣＡＢＡＣエントロピー符号化に関して順になされ、ＣＡＢＡＣ確率は、完全にリセットされないが、導入され、あるいは、等しく設定され、ＣＡＢＡＣ確率は、各ＷＰＰサブストリームに対し、画像１２の同じ側、図４に示されたように、例えば左側などで、ＬＣＵ順序が開始するとともに、第２のＬＣＵ９４まですぐ先行するＷＰＰサブストリームをエントロピー復号化された後に生じる。従って、ＷＰＰサブストリームのシーケンスの間でのいくらかの符号化遅延に従い、これらＷＰＰサブストリーム９２は、画像１２が並列に、すなわち同時に復号化される部分が、左から右へ傾いた態様で画像を横断して動くある種の波面９６を形成するように、並列に復号化しうる。

すなわち、図１６から１８の記述をＷＰＰサブストリームへ送信する際に、任意のＷＰＰサブストリーム９２（図４）も、それぞれのＷＰＰサブストリーム９２の内部におけるこれら切片９８ａおよび９８ｂの間の境界１００におけるＣＡＢＡＣ確率適合の割り込みなしで切片９８ａおよび９８ｂに再分割でき、それにより、両切片９８ａおよび９８ｂの個々の伝送能力によるエントロピー符号化効率に関するペナルティを避けるが波面並列処理の使用能力を維持し、切片は完全なＷＰＰサブストリーム９２より小さいためこの波面並列処理をより早く開始できる。

図１ないし１５に関し、上述したように、ＮＡＬユニットに切片をパケット化して伝送するいくつかの可能性が存在する。参照が、図３になされ、その切片またはサブストリームのタイルまたはサブストリームまたはスライスが、各サブストリームまたはタイルの第ｎ切片に先行し、切片境界が局在するのを可能にする情報を示すヘッダとともに算術符号化領域において切片に分割される。他の実施例は、図９において示されるものである。そこで、タイルまたはＷＰＰサブストリームの切片への再分割が、スライス構造をわずかに変更することで実行される：スライスは、タイルまたはＷＰＰサブストリーム境界で開始される、すなわち、タイルまたはＷＰＰサブストリームの最初で開始される。No＿cabac＿reset＿flagがゼロにセットされ、それにより、通常のＣＡＢＡＣ確率は、初期化／リセットを引き起こす。しかしながら、タイルまたはＷＰＰサブストリームの内部で始まる切片を運ぶスライスは、１にセットされるno＿cabac＿reset＿flagを有し、それにより前述のＣＡＢＡＣ確率適合の継続を引き起こす。

デインターリーブに関する限り、それは、レセプションステップ８０において行われる、例えば、各切片に対し、どのＷＰＰサブストリームまたはタイルに関して、それぞれの切片が属するかが決定される。例えば、現在の画像のＷＰＰサブストリームまたはタイルの数を通した総当り循環など異なる可能性が、上述される。その代わりに、前記切片を運ぶためにスライスヘッダを使用する場合に、前記スライスヘッダは、現在の画像１２の範囲内でそれぞれのスライスの開始を特定しうる指示を含むことができる。

この点に関し、スライス、ＷＰＰサブストリームまたはタイルの切片への分解は、各スライス、ＷＰＰサブストリーム、またはタイル内で定義された復号化順序に沿って実行されることが指摘される。すなわち、各スライス、ＷＰＰサブストリームまたはタイル内において、それぞれのスライス、ＷＰＰサブストリームまたはタイルによって空間的にカバーされた画像の部分は、その復号化順序においてそれぞれのスライス、ＷＰＰサブストリームまたはタイルに符号化され／から復号化され、それぞれのスライス、ＷＰＰサブストリームまたはタイルの各切片は、その復号化順序に沿ってそれぞれのスライス、ＷＰＰサブストリームまたはタイルの連続的な部分を覆う。こうして、同じスライス、ＷＰＰサブストリーム、またはタイルに属する切片の間での順序、すなわち、符号化／復号化の順序が定義され、各切片はその順序内でランクを持つことになる。ＷＰＰサブストリームまたはタイルへの画像の再分割は復号化器に信号伝送されるので、前記復号化器は再分割について知ることになる。従って、各切片をそれぞれのＷＰＰサブストリームまたはタイルに関連付けるために、例えば、各切片が一部を成すタイル／ＷＰＰサブストリームの符号化／復号化順序を用いてそれぞれの切片が連続的に画像を覆う開始位置を識別する開始アドレスを有していれば十分となる。所定のタイルあるいはＷＰＰサブストリームに属する切片間の順序でさえ、例えば開始位置を用いれば転送デマルチプレクサまたは復号化器によって再構成できる。しかしながら、再ソートするためには、ＲＴＰ伝送に関し上述したように、低位ＯＳＩ（Open Systems Interconnection）層の転送パケットヘッダの情報は、例えば、復号化順序番号、すなわちＤＯＮと同様に使用できる。上記タイプの転送デマルチプレクサは、１つのスライスバッファに等しいＷＰＰサブストリームまたは、タイルの切片のデータを格納し、異なるスライスバッファに異なるＷＰＰサブストリームまたはタイルに関連付けられたＷＰＰサブストリームまたはタイルの切片のデータを格納するように、上述の転送デマルチプレクサと同様に構成することができる。上述したように、スライス構造、すなわちスライスヘッダは、切片を運ぶのに使用できる。

次に、図１１から１５の実施例が、再度換言するために、参照される。これらの図面に記述されたように、スライスＳｉはＮＡＬユニットへパケット化され、各ＮＡＬユニット１１０（図１１参照）は、ＮＡＬユニットヘッダ１１２を有する。スライスＳｉはノーマルのスライスもしくは図９に従い切片を運ぶスライスでありうる点に留意すべきである。従って、これらスライスは、単に１つのＷＰＰサブストリームに関するデータまたは現在の画像のタイル、すなわち、第ｉのＷＰＰサブストリームのデータまたはタイルをそれぞれ運ぶ。断片化のために、前記ＮＡＬユニット１１０は、トランスポートストリーム（ＴＳ）パケット１１４、すなわちそのペイロードセクション１１６により伝送される。そうするために、各ＮＡＬユニット１１０および前記対応するスライスＳｉは、ｉを示すそれぞれのサブストリームマーカーＭＫＲ、すなわち、ＮＡＬユニット１１０に直接後続する直接後続するスライスが属する前記ＷＰＰサブストリームまたはタイルにより先行される。

異なるＷＰＰサブストリームまたはタイルに属するスライスを運ぶＮＡＬユニット１１０は、図１１から１３に説明されたように、１つ以上の基本ストリームＥＳ上にまたは同じ基本ストリーム上に分配できる。上述したように、"基本ストリーム"は、それ自身のＲＴＰセッション中の分離ＲＴＰストリームも特定しうる。

図１４および１５に関して説明したように、トランスポートデマルチプレクサは、マルチプレックスバッファＭＢ、スライスバッファＳＢおよび転送バッファＴＢを有することができる。スライスバッファＳＢは、ＷＰＰサブストリームまたはタイルの画像を並列復号化できるマルチスレッド復号化器ＭＴＤにより引き込まれる。転送バッファＴＢは、ビデオビットストリームの所定の基本ストリームのＴＳパケットに属するデータを集め、そのデータをマルチプレックスバッファＭＢに転送するように構成されている。転送デマルチプレクサは、マルチプレックスバッファＭＢの出力でＴＳパケットにパケット化されたＮＡＬユニットシーケンスのＮＡＬユニットのＮＡＬユニットヘッダを評価し、サブストリームマーカーＮＡＬユニット内に運ばれたサブストリームマーカーデータを蓄積するとともにサブストリームマーカーＮＡＬユニットＭＫＲを棄却し、サブストリームマーカーＮＡＬユニットに続くＮＡＬユニット内のサブストリームのスライスまたはタイルのデータ、ひとつの、すなわち同じスライスバッファＳＢ内の等しいＷＰＰサブストリームまたはタイルとみなすデータフィールド、および、サブストリームマーカーＮＡＬユニットに続くＮＡＬユニット内のＷＰＰサブストリームまたはタイルのスライスのデータ、異なるスライスバッファＳＢにおける異なるＷＰＰサブストリームまたはタイルと見なすデータフィールド、を蓄積するように構成されている。図１５に示されるように、トランスポートデマルチプレクサは、図１５におけるＴＳｄｅｍｕｘと呼ばれるデマルチプレクサからなり、ビデオビットストリームを受信し、ビデオビットストリームのＴＳパケットを異なる基本ストリームに分割、すなわち、ビデオビットストリームのＴＳパケットを異なる基本ストリームに分配する。前記デマルチプレクサは、この分割または分配を、各基本ストリームが他の基本ストリームのＴＳパケットのＰＡＤと異なるＰＡＤのＴＳパケットからなるように、ＴＳパケットのＴＳヘッダに含まれる複数のＰＩＤ（図１５中ではＰＩＤｓと記す）に従って実行する。

すなわち、スライスが図９の実施例の意味で切片と対応する場合に、それぞれのＷＰＰサブストリームまたはタイルの対応するスライスバッファＳＢがそこに含まれるデータを有すると同時に、前記ＭＴＤ、すなわち、前記マルチスレッド復号化器が、現在の画像の１つ以上のＷＰＰサブストリームまたはタイルを処理開始しうる、その結果、遅延が減少する。

若干の態様が、装置に関連して記載されているが、これらの態様は、対応する方法の記載も表すことは明らかである。ここで、１ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップに関連して記載されている形態は、対応するブロックまたは項目または対応する装置の特徴の説明を表す。方法のステップのいくつかまたは全てが、例えば、マイクロプロセッサ、プログラミング可能なコンピュータ、または電子回路のようなハードウェア装置により（または使用して）実行できる。若干の実施の形態において、最も重要な方法ステップの若干またはより多くは、そのような装置により実行できる。

発明の符号化されたビットストリームは、デジタル記憶メディア上に記憶でき、または、例えば無線伝送メディアなどの伝送メディアまたはインターネットなどの有線伝送メディア上に伝送できる。

この上記貢献は、それ故、例えばタイル、波面並列処理（ＷＰＰ）サブストリーム、スライスまたはエントロピースライスなどにおける構造化、とりわけ低遅延カプセル化および新たなＨＥＶＣ符号化規格により提供されるような構造化ビデオデータの伝送のための方法を記述する。技術は、とりわけエントロピースライス／スライス／タイル／サブストリームのインターリーブされた伝送を介した並列処理符号化器－トランスミッタ－レシーバ－復号化器環境における低遅延伝送を可能にするものを提供する。明細書の導入部で概説されたボトルネック問題を解決するために、および伝送遅延および復号化時間、すなわちエンドツーエンド遅延を最小化するために、並列伝送および処理のためのインターリーブされたエントロピースライススキームのための技術が、とりわけ提供される。

特定の実現要求に応じて、本願発明の実施の形態は、ハードウェアにおいて、または、ソフトウェアにおいて、実行できる。その実施態様は、それぞれの方法が実行されるように、プログラミング可能なコンピュータシステムと協働するか（または、協働しうる）、そこに格納された電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えば、フロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはＦＬＡＳＨメモリを使用して実行できる。従って、デジタル記憶媒体は、コンピュータ読み込み可能でもよい。

本願発明による若干の実施の形態は、本願明細書において記載される方法のうちの１つが実行されるように、プログラミング可能なコンピュータシステムと協働することができる電子的に読み込み可能な制御信号を有するデータキャリアを含む。

通常、本願発明の実施の形態は、プログラムコードを有するコンピュータプログラム製品として実施でき、コンピュータプログラム製品がコンピュータ上で実行する場合、プログラムコードは、方法のうちの１つを実行するために作動される。プログラムコードは、機械可読キャリアに、例えば、格納できる。

他の実施の形態は、機械可読キャリアに格納され、本願明細書において記載される方法のうちの１つを実行するためのコンピュータプログラムを含む。

換言すれば、従って、コンピュータプログラムがコンピュータ上で実行する場合、本願発明の方法の実施の形態は、本願明細書において記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

従って、本願発明の方法の更なる実施の形態は、その上に記録され、本願明細書において記載される方法のうちの１つを実行するためのコンピュータプログラムを含むデータキャリア（または、デジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録された媒体は、一般的には、有形でありおよび／または、非過渡的である。

従って、本願発明の方法の更なる実施の形態は、本願明細書において記載される方法のうちの１つを実行するためのコンピュータプログラムを表しているデータストリームまたは一連の信号である。例えば、データストリームまたは一連の信号は、データ通信接続、例えば、インターネットを介して転送されるように構成できる。

更なる実施の形態は、本願明細書において記載される方法のうちの１つを実行するために構成され、または適応される処理手段、例えば、コンピュータ、またはプログラミング可能な論理回路を含む。

更なる実施の形態は、その上にインストールされ、本願明細書において記載される方法のうちの１つを実行するためのコンピュータプログラムを有するコンピュータを含む。

本願発明による更なる実施の形態は、レシーバに本願明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）転送するために構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、メモリ素子等でもよい。装置またはシステムは、例えば、レシーバにコンピュータプログラムを転送するためのファイルサーバを含むことができる。

いくつかの実施の形態において、プログラミング可能な論理回路（例えば、フィールドプログラマブルゲートアレイ）が、本願明細書において記載される方法のいくつかのまたは全ての機能を実行するために使用できる。いくつかの実施の形態において、フィールドプログラマブルゲートアレイは、本願明細書において記載される方法の１つを実行するために、マイクロプロセッサと協働できる。一般に、方法は、いくつかのハードウェア装置により、好ましくは実行される。

上述した実施の形態は、本願発明の原則の例を表すだけである。本願明細書において記載される装置の修正および変更および詳細は、他の当業者にとって明らかであるものと理解される。従って、既決の特許請求の範囲だけによりのみ制限され、ならびに、本願発明の記述および説明により表された明細書の詳細な記載によっては、制限されないことが意図される。

文献
［１］Thomas Wiegand, Gary J. Sullivan, Gisle Bjontegaard, Ajay Luthra, "Overvie
w of the H.264/AVC Video Coding Standard", IEEE Trans. Circuits Syst. Vide
o Technol., vol. 13, N7, July 2003.

［２］JCTVC-E196,"Wavefront Parallel Processing", 5th JCT-VC Meeting, Geneva 2011.

［３］JCTVC-D070, "Lightweight slicing for entropy coding", 4th Meeting, Daegu,
2011.

［４］JCTVC-D073, "Periodic initialization for wavefront coding functionality",
4th Meeting, Daegu, 2011.

［５］HEVC WD5: Working Draft 5 of High-Efficiency Video Coding JTCVC-G1103, 5th
JCT-VC Meeting, Geneva Meeting November 2011.

［６］JTCVC-D243, "Analysis of entropy slices approaches", 4th Meeting, Daegu, 2011.

［７］ISO/IEC13818-1/2011, MPEG-2 Transport Stream including AMDs 1-6.
［８］IETF Real-time transport protocol, RTP RFC 3550.
［９］IETF RTP Payload Format, IETF RFC 6184.
［１０］JCTVC-F275, Wavefront and Cabac Flush: Different Degrees of Parallelism
Without Transcoding, , Torino Meeting
［１１］JCT-VC-F724, Wavefront Parallel Processing for HEVC Encoding and Decoding,Torino Meeting** at end of description
［１２］IETF Session Description Protocol (SDP), RFC 4566
［１３］IETF RTP Payload Format for High Efficiency Video Coding, draft-schierl- payload-h265

Claims

画像のＬＣＵ行ごとに１つのＷＰＰサブストリームで前記画像をＷＰＰサブストリームで記述し、ＣＡＢＡＣを使用して符号化されたローバイトシーケンスペイロードを、前記ＷＰＰサブストリームがセグメント化されひいては切片境界が導入されている切片で符号化器から受信するように構成された、受信モジュールと、
前記切片をエントロピー復号化するとともに前記ＷＰＰサブストリームに導入された前記切片境界を越えてＣＡＢＡＣ確率適合を継続するように構成された、エントロピー復号化モジュールと、
前記ローバイトシーケンスペイロードを復号化して前記画像を得るように構成された復号化モジュールと、
を備えることを特徴とする、復号化器。
前記切片はスライスヘッダを使用してパケット化され、かつ、前記復号化器は、前記切片を受信する際に、新たな切片を受信すると直ちに、前記新たな切片の前記スライスヘッダ内のフラグ、または前記新たな切片のスライスタイプ、または前記新たな切片を含むＮＡＬユニットのＮＡＬユニットタイプに応答して、ＣＡＢＡＣ確率をリセットすることにより前記ＣＡＢＡＣ確率適合を中断する、または前記ＣＡＢＡＣ確率適合を継続するように構成されることを特徴とする、請求項１に記載の復号化器。
前記復号化器は、前記切片を受信する際に、各切片について、前記各切片がどのＷＰＰサブストリームに属するかを確認することにより、前記切片をデインターリーブするように構成されることを特徴とする、請求項１に記載の復号化器。
前記切片は、前記ＷＰＰサブストリーム間で定義された順序で配列されたパケットに、各パケットが前記画像の各ＷＰＰサブストリームの１つの切片、または前記画像の前記ＷＰＰサブストリームのサブセットを含むようにパケット化され、各パケットは、それぞれのパケットにパックされた前記切片の位置および／または長さを示すヘッダまたは前記それぞれのパケット内で前記切片を互いに分離するマーカーを含み、前記復号化器は、前記ローバイトシーケンスペイロードを受信する際に、前記ヘッダまたは前記マーカーが含む情報を使用して前記パケット内の前記切片にアクセスするように構成されることを特徴とする、請求項１に記載の復号化器。
前記画像の前記ＷＰＰサブストリームの、前記ＷＰＰサブストリーム間で定義された順序によれば最初の切片を含むパケットは低遅延特性インジケータを含み、前記画像の前記ＷＰＰサブストリームの、前記ＷＰＰサブストリーム間で定義された前記順序によれば２番目以降の切片を含むパケットは連続性インジケータを含むことを特徴とする、請求項４に記載の復号化器。
前記パケットはＮＡＬユニットまたはスライスであることを特徴とする、請求項４に記載の復号化器。
画像をＷＰＰサブストリームで記述し、ＣＡＢＡＣを用いて符号化されているローバイトシーケンスペイロードを、前記ＷＰＰサブストリームがセグメント化されひいては切片境界が導入されている切片で符号化器から受信するように構成された受信モジュールと、
前記切片をエントロピー復号化するとともに、前記ＷＰＰサブストリームの１つの切片のエントロピー復号化を開始する際に、前記ＷＰＰサブストリームの別の切片のエントロピー復号化の最後のＣＡＢＡＣ確率を採用することによって、前記ＷＰＰサブストリーム内に導入された前記切片境界を越えてＣＡＢＡＣ確率適合を継続するように構成されたエントロピー復号化モジュールと、
前記ローバイトシーケンスペイロードを復号化して前記画像を取得するように構成された復号化モジュールと
を備えることを特徴とする、復号化器。
画像を符号化することによりローバイトシーケンスペイロードを形成して、前記画像のＬＣＵ行あたり１つのＷＰＰサブストリームで画像をＷＰＰサブストリームで記述するとともに、ＣＡＢＡＣを使用して前記ローバイトシーケンスをエントロピー符号化し、前記ＷＰＰサブストリームがセグメント化されひいては切片境界が導入されている切片で前記ローバイトシーケンスを伝送し、前記ＷＰＰサブストリーム内に導入された前記切片境界を越えたエントロピー符号化においてＣＡＢＡＣ確率適合を継続するように構成された、符号化モジュールを備えることを特徴とする、符号化器。
前記符号化器は、前記切片が最大転送ユニットサイズに合致するように、前記ローバイトシーケンスを形成するように構成されることを特徴とする、請求項８に記載の符号化器。
データ送信方法であって、画像のＬＣＵ行ごとに１つのＷＰＰサブストリームで前記画像をＷＰＰサブストリームで記述し、ＣＡＢＡＣを用いて符号化されているローバイトシーケンスペイロードを含むビデオビットストリームであって、前記ビデオビットストリームは、前記ＷＰＰサブストリームがセグメント化されひいては切片境界が導入されている前記ＷＰＰサブストリームの切片に分解されるとともに、前記ＷＰＰサブストリームに導入された前記切片境界を越えてＣＡＢＡＣ確率適合が継続される、ビデオビットストリームを送信するステップを含み、ここで各切片は、前記各切片が属する前記ＷＰＰサブストリームが順次分解される前記切片間でのランクの明示的な表示を含む
ことを特徴とする、方法。
前記切片は、各パケットが前記画像の各ＷＰＰサブストリームの１つの切片、または前記ＷＰＰサブストリーム間で定義された順序で配列された、前記画像の前記ＷＰＰサブストリームのサブセットを含むように、パケットにパケット化され、各パケットは、前記それぞれのパケットにパックされた前記切片の位置および／または長さを示すヘッダまたは前記それぞれのパケット内の前記切片を互いに分離するマーカーを含むことを特徴とする、請求項１０に記載の方法。
前記画像の前記ＷＰＰサブストリームの、前記ＷＰＰサブストリーム間で定義された順序によれば最初の切片を含むパケットは低遅延特性インジケータを含み、前記画像の前記ＷＰＰサブストリームの、前記ＷＰＰサブストリームの間で定義された前記順序によれば２番目以降の切片を含むパケットは連続性インジケータを含むことを特徴とする、請求項１０に記載の方法。
パケットはＮＡＬユニットまたはスライスであることを特徴とする、請求項１０に記載の方法。
画像のＬＣＵ行ごとに１つのＷＰＰサブストリームで前記画像をＷＰＰストリームで記述し、ＣＡＢＡＣを使用して符号化されているローバイトシーケンスペイロードを、前記ＷＰＰサブストリームがセグメント化されひいては切片境界が導入されている前記ＷＰＰサブストリームの切片で受信するステップと、
前記ＷＰＰサブストリーム内に導入された切片境界を越えてＣＡＢＡＣ確率適合を継続するとともに前記切片をエントロピー復号化するステップと、
前記ローバイトシーケンスペイロードを復号化して前記画像を取得するステップと、
を含むことを特徴とする、復号化方法。
画像のＬＣＵ行ごとに１つのＷＰＰサブストリームで前記画像をＷＰＰサブストリームで記述し、ＣＡＢＡＣを用いて符号化されたローバイトシーケンスペイロードを含むビデオビットストリームであって、前記ビデオビットストリームは、前記ＷＰＰサブストリームがセグメント化されひいては切片境界が導入されている前記ＷＰＰサブストリームの切片に分解されるとともに、前記ＷＰＰサブストリーム内に導入された前記切片境界を越えたＣＡＢＡＣ確率適合が継続される、ビデオビットストリームを受信するステップを含み、ここで前記各切片は各切片について、それぞれの切片がどのＷＰＰサブストリームに属するかを特定する情報を含む、ビデオビットストリームを受信するステップと、前記情報を使用して前記切片を前記ＷＰＰサブストリームに関連付けることを特徴とする、トランスポートデマルチプレックス方法。
画像を符号化することによりローバイトシーケンスペイロードを形成して、前記画像のＬＣＵ行ごとに１つのＷＰＰサブストリームで前記画像をＷＰＰサブストリームで記述するとともに、ＣＡＢＡＣを使用して前記ローバイトシーケンスをエントロピー符号化するステップと、前記ＷＰＰサブストリームがセグメント化されひいては切片境界が導入されている切片で前記ローバイトシーケンスを伝送するステップと、前記エントロピー符号化するステップにおいて前記ＷＰＰサブストリームに導入された前記切片境界を越えてＣＡＢＡＣ確率適合を継続するステップとを含むことを特徴とする、符号化方法。
コンピュータ上で実行されるとき、請求項１４ないし１６のいずれかに記載の方法を実行するためのプログラムコードを有するコンピュータプログラムを記憶していることを特徴とする、コンピュータ可読デジタル記憶媒体。