JP5529040B2 - イントラ予測されたビデオの照明補償の方法及び装置 - Google Patents

Description

本発明は、ビデオ符号化及び復号化に関し、より詳細には、イントラ予測されたビデオの照明補償の方法及び装置に関する。
本出願は、2008年1月10日に提出された米国特許仮出願第01/020228（代理人番号PU080002）の利益を特許請求するものである。

イントラ予測を改善するため、様々な予測方法が提案されている。近年、比較的許容可能な符号化効率を達成する変位イントラ予測（DIP：Displaced Intra-Prediction）及びテンプレートマッチング（TMP：Template Matching Prediction）のような幾つかのイントラ予測に対する非局所的なアプローチが導入されている。非局所的なピクチャデータ予測技術は、符号化されているピクチャの他の領域からデコーダで既に利用可能な復号化されたデータの関数として現在のデータをモデリング／予測する可能な技術を考慮する。DIPアプローチとTMPアプローチとの間の類似性は、両者が符号化されている現在のピクチャの以前に符号化されたイントラ領域をサーチし（すなわち、両者は現在のピクチャをリファレンスとして使用し）、たとえば領域マッチング及び／又は自己回帰テンプレートマッチングを実行することで、幾つかの符号化コストに従って最良の予測を発見することである。DIPアプローチとTMPアプローチとの間の違いは、DIPは、変位ベクトルがビットストリームで明示的に符号化される前方予測アプローチである一方で、TMPは、テンプレートが変位ベクトルを推定するために使用される後方予測アプローチであることである。係るアプローチの１つの問題は、類似性の基準として強度の違いを直接に測定することで、両者は、ピクチャ内の非一様な照度によりもたらされるミスマッチを扱うことができないことである。照度の変動は、自然のビデオ系列で遭遇されることがある、非一様な照明、被写体の幾何学的な変化又はマテリアル特性の変動により生じる可能性がある。確かに、２つの構造的に類似のピクチャパッチは、照度の変化による著しく異なる輝度特性を有する場合がある。非局所的な予測アプローチは、非局所的な情報を使用してコントラスト及び明るさのようなピクチャの特徴における変化を常にモデル化することはできない。非一様な照明効果が存在する場合、そのままで、予測されるべき信号を効果的に表現するには不十分である不完全な情報セットとして非局所的なデータを使用することができる。このケーースでは、同じ構造的な信号パターンが既に復号化されたピクチャデータで発見されたとしても、予測信号と原信号との間のミスマッチは、かなりの量の符号化すべきビットを必要とする場合がある重要な量の残差を生成する。

［MPEG-4 AVC標準のイントラ予測］
ISO/IEC（International Organization for Standardization/International Electrical Commission）MPEG-4（Moving Picture Experts Group-4）Part10 AVC（Advanced Video Coding）規格／ITU-T（International Telecommunication Union, Telecommunication Sector）H.264勧告（以下、MPEG-4AVC規格）は、イントラ符号化向け空間方向予測を利用する最初のビデオ符号化規格である。MPEG-4AVC規格は、より柔軟な予測フレームワークを提供し、したがってイントラ予測が変換領域で行われた以前の規格に対して高い符号化効率を提供する。MPEG-4AVC規格では、同じスライス内のデコーダで利用可能な以前に再構築されたサンプルである、周辺の利用可能なサンプルを使用して、空間イントラ予測が形成される。輝度サンプルについて、４×４ブロックベース（Intra_4×4と示す）、８×８ブロックベース（Intra_8×8と示す）、及び１６×１６マクロブロックベース（Intra_16×16と示す）に関してイントラ予測が実行される。図１Ａを参照して、４×４ブロックベース（Intra_4×4）に関するMPEG-4AVC規格の方向性イントラ予測は、参照符号１００により示される。予測の方向は、参照符号１１０により示され、画像ブロックは、参照符号１２０により示され、現在のブロックは、参照符号１３０により示される。輝度予測に加えて、個別の色度予測が行われる。Intra_4×4及びIntra_8×8について９つの予測モード、Intra_16×16について４つのモード、及び色度成分について４つのモードが全体で存在する。エンコーダは、現在のブロックを符号化するコストを最小にする予測モードを典型的に選択する。更なるイントラ予測モードI_PCMにより、エンコーダは、予測及び変換符号化プロセスをシンプルにバイパスすることができる。I_PCMにより、エンコーダは、サンプルの値を正確に表現することができ、復号化された画質を制限することなしに符号化されたマクロブロックに含まれるビット数に絶対限界を配置する。

図２を参照して、MPEG-4AVC規格のIntra_4×4モードの予測サンプルのラベリングは、参照符号２００により示される。図２は、予め符号化及び再構築され、したがって予測を形成するためにエンコーダ及びデコーダで利用可能な現在のブロックの上及び現在のブロックの左にあるサンプルを示す。

図３Ｂ〜図３Ｊを参照して、MPEG-4AVC規格のIntra_4×4輝度予測モードは、参照符号３００により示される。予測ブロックのサンプルａ，ｂ，ｃ，．．．，ｐは、Intra_4×4輝度予測モード３００を使用してサンプルＡ〜Ｍに基づいて計算される。図３Ｂ〜図３Ｊにおける矢印は、Intra_4×4モード３００のそれぞれについて予測の方向を示す。Intra_4×4輝度予測モード３００は、モード０〜８を含み、（図３Ｂにおける参照符号３１０により示される）モード０は、垂直予測モードに対応し、（図３Ｃにおける参照符号３１１により示される）モード１は、水平予測モードに対応し、（図３Ｄにおける参照符号３１２により示される）モード２は、ＤＣモードに対応し、（図３Ｅにおける参照符号３１３により示される）モード３は、対角の左下モードに対応し、（図３Ｆにおける参照符号３１４により示される）モード４は、対角の右下モードに対応し、（図３Ｇにおける参照符号３１５により示される）モード５は、垂直右モードに対応し、（図３Ｈにおける参照符号３１６により示される）モード６は、水平下モードに対応し、（図３Ｉにおける参照符号３１７により示される）モード７は、垂直左モードに対応し、（図３Ｊにおける参照符号３１８により示される）モード８は、水平上モードに対応する。図３Ａは、Intra_4×4モード３００のそれぞれに対応する一般的な予測方向３３０を示す。

モード３〜８では、予測されるサンプルは、予測サンプルＡ〜Ｍの重み付け平均から形成される。Intra_8×8は、４×４予測と同じ概念を基本的に使用するが、予測性能を改善するため、８×８の予測ブロックサイズ及び予測器のロウパスフィルタリングによる。図４Ａ〜図４Ｄを参照して、MPEG-4AVC規格に対応する４つのIntra_16×16モードは、参照符号４００により示される。４つのIntra_16×16モード４００は、モード０〜３を含み、（図４Ａにおける参照符号４１０により示される）モード０は、垂直予測モードに対応し、（図４Ｂにおける参照符号４１１により示される）モード１は、水平予測モードに対応し、（図４Ｃにおける参照符号４１２により示される）モード２は、ＤＣ予測モードに対応し、（図４Ｄにおける参照符号４１３により示される）モード３は、平面予測モードに対応する。イントラ符号化マクロブロックのそれぞれの８×８色度成分は、上及び／又は左に対して以前に符号化された色度成分から予測される。両方の色度成分は、同じ予測モードを使用する。４つの予測モードは、モードのナンバリングが異なることを除いて、Intra_16×16に非常に類似である。モードは、ＤＣ（モード０）、水平（モード１）、垂直（モード２）及び平面（モード３）である。MPEG-4AVC規格におけるイントラ予測はビデオ符号化効率を改善するとしても、エッジ、輪郭及び指向されたテクスチャに沿って存在する幾何学的な冗長度を利用することにおいてなお最適ではなく、テクスチャを符号化することにおいて効率的ではない。

［DIP（Displaced Intra Prediction）］
ITU-T H.26L規格の開発の間、DIPが提案された。この提案は、イントラ予測についてMPEG-4AVC規格において規定されるように可変のブロックサイズのインター予測の概念を再使用する。図１Ｂを参照して、DIPの例は、参照符号１５０により示される。DIP１５０は、イントラ符号化領域１５２、現在のブロック１５４、候補となるブロック１５６を含む。一般に、あるスライスの以前に符号化されたイントラ領域（たとえばイントラ符号化領域１５２）は、現在のブロック（たとえば現在のブロック１５４）の予測について変位ベクトル（たとえば変位ベクトル１５６）により参照される。DIP１５０は、マクロブロックベースで実現される。変位ベクトルは、MPEG-4AVC規格におけるインター動きベクトルに類似して、隣接するブロックの中間値により予測を使用して異なって符号化される。

テクスチャ又はパターンがイントラ符号化ピクチャにおいて繰り返されるとき、DIPが符号化効率を効果的に改善するとしても、構造的に類似の領域が同じピクチャ内で異なる照明特性を有する場合がある事実により、DIPは制限される。

［TMP（Template Matching Prediction）］
TMPは、所与のサンプルに類似する連続するテクスチャの生成に対処するための、テクスチャの合成の概念である。

MPEG-4AVC規格の環境におけるテンプレートマッチングを使用したイントラ予測が提案されている。この提案では、MPEG-4AVC規格におけるIntra_4×4又はIntra_8×8予測の更なるモードとしてスキームが統合される。TMPにより、予測のために画像領域の自己相似性が利用される。予測のため、あるスライスの以前に符号化されたイントラ領域が再使用される。TMPアルゴリズムは、復号化されたデータの（１以上の画素の）少なくとも１つのパッチを選択することで、予測下にある現在の画素の値を再帰的に決定する。マッチングルールに従って、パッチは選択され、この場合、パッチの隣接する画素は、現在のブロックの隣接する画素に比較され、最も類似する隣接画素を有するパッチが選択される。図１Ｃを参照して、テンプレートマッチングイントラ予測の例は、参照符号１７０により示される。テンプレートマッチングイントラ予測１７０は、候補となる周辺１７２、候補となるパッチ１７４、テンプレート１７６、及びターゲット１７８を含む。現在の画素（たとえばターゲット１７８）のサーチ領域及び周辺（たとえば候補となる周辺１７２）は、エンコーダ及びデコーダサイドで既知であり、更なる副情報が送信されず、両サイドに関して同じ予測が達成される。ここで、４：２：０ビデオ系列において輝度及び色度サンプルについてジョイント予測を可能にするため、２×２輝度サンプルグリッドに関するテンプレートマッチングが適用される。

DIP及びTMPの両者は、現在のピクチャにおける以前に符号化された領域をサーチする。それら符号化された領域は、符号化されるべきブロックと同じ照明特性を有さない場合があり、これにより符号化性能が低下する可能性がある。

［インター予測向け重み付け予測］
動き補償について一時的な照度の変化又はフェードイン／アウト効果を扱うため、重み付け予測が提案された。しかし、あるピクチャ内の照度の変化を扱うため、イントラ予測について、重み付け予測は提案されていない。

本発明により、従来技術のこれらの課題及び問題、並びに他の課題及び問題が対処され、イントラ予測されたビデオの照明補償の方法及び装置に向けられる。

本発明の態様によれば、装置が提供され、本装置は、非局所的なイントラ予測を使用してピクチャを符号化するエンコーダを含む。エンコーダは、非局所的なイントラ予測から得られた予測データに照明補償を適用する照明補償処理ユニット（照明補償部分）を含む。

本発明の別の態様によれば、方法が提供され、本方法は、非局所的なイントラ予測を使用してピクチャを符号化するステップを含む。符号化ステップは、非局所的なイントラ予測から得られた予測データに照明補償を適用するステップを含む。

本発明の更に別の態様によれば、装置が提供され、本装置は、非局所的なイントラ予測を使用してピクチャを復号化するデコーダを含む。デコーダは、非局所的なイントラ予測から得られた予測データに照明補償を適用する照明補償処理ユニット（照明補償部分）を含む。

本発明の更に別の態様によれば、方法が提供され、本方法は、非局所的なイントラ予測を使用してピクチャを復号化するステップを含む。復号化ステップは、非局所的なイントラ予測から得られた予測データに照明補償を適用するステップを含む。

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれることとなる例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。

本発明は、以下の例示的な図面に従って良好に理解される。
４×４ブロックベース（Intra_4×4）に関するMPEG-4AVC規格の方向性イントラ予測を示す図である。 DIPの例を示す図である。 テンプレートマッチングイントラ予測の例を示す図である。 MPEG-4AVC規格のIntra_4×4モードの予測サンプルのラベリングを示す図である。 MPEG-4AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4AVC規格に対応する４つのIntra_16×16モードを示す図である。 MPEG-4AVC規格に対応する４つのIntra_16×16モードを示す図である。 MPEG-4AVC規格に対応する４つのIntra_16×16モードを示す図である。 MPEG-4AVC規格に対応する４つのIntra_16×16モードを示す図である。 本発明の実施の形態に係る、明示的な照明補償を使用したピクチャデータを符号化する例示的なエンコーダを示すブロック図である。 本発明の実施の形態に係る、明示的な照明補償を使用したピクチャデータを復号化する例示的なデコーダを示すブロック図である。 本発明の実施の形態に係る、暗黙の照明補償を使用したピクチャデータを復号化する例示的なエンコーダを示すブロック図である。 本発明の実施の形態に係る、暗黙の照明補償を使用したピクチャデータを復号化する例示的なデコーダを示すブロック図である。 本発明の実施の形態に係る、非局所的なイントラ予測の例を示す図である。 本発明の実施の形態に係る、DIP（Displaced Intra Prediction）及び明示的な照明補償を使用したピクチャデータを符号化する例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、DIP（Displaced Intra Prediction）及び明示的な照明補償を使用したピクチャデータを復号化する例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、TMP（Template Matching Prediction）及び明示的な照明補償を使用したピクチャデータを符号化する例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、TMP（Template Matching Prediction）及び明示的な照明補償を使用したピクチャデータを復号化する例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、DIP（Displaced Intra Prediction）及び暗黙的な照明補償を使用したピクチャデータを符号化する例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、DIP（Displaced Intra Prediction）及び暗黙的な照明補償を使用したピクチャデータを復号化する例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、TMP（Template Matching Prediction）及び暗黙的な照明補償を使用したピクチャデータを符号化する例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、TMP（Template Matching Prediction）及び暗黙的な照明補償を使用したピクチャデータを復号化する例示的な方法を示すフローダイアグラムである。

本発明は、イントラ予測されたビデオの照明補償の方法及び装置に向けられる。

本実施の形態の記載は、本発明を例示するものである。したがって、当業者であれば、本実施の形態では記載又は図示されないが、本発明を実現し、本発明の範囲及び精神に含まれる様々なアレンジメントを創作するであろうことが理解される。

本実施の形態で引用される全ての例及び条件付き言語は、当該技術分野を促進するために本発明者により寄与される本発明及び概念の理解において読者を支援する教育的な目的が意図され、係る特に参照される例及び条件に限定されるものではないと解釈されるべきである。

さらに、本発明及び本発明の特定の例、原理、態様及び実施の形態を参照する全ての説明は、本発明の構造的及び機能的に等価な概念の両者を包含することが意図される。さらに、係る等価な概念は現在知られている等価な概念と同様に、将来において開発される等価な概念、すなわち構造に関わらずに同じ機能を実行する開発されたエレメントの両者を含むことが意図される。

したがって、たとえば、本実施の形態で与えられるブロック図は本発明を実施する例示的な回路の概念図を表すことが当業者により理解されるであろう。同様に、フローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ読み取り可能な媒体で実質的に表され、明示的に図示されないコンピュータ又はプロセッサにより実行される様々なプロセスを表すことが理解されるであろう。

図示される様々なエレメントの機能は、専用のハードウェアの使用と同様に、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアを通して提供される場合がある。プロセッサにより提供されたとき、１つの専用プロセッサにより、１つの共有プロセッサにより、又はそのうちの幾つかが共有される複数の個々のプロセッサにより、機能が提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すものと解釈されるべきではなく、限定されるものではないが、デジタルシグナルプロセッサ（DSP）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ROM）、ランダムアクセスメモリ（RAM）、及び不揮発性ストレージを暗黙的に含む場合がある。

コンベンショナル及び／又はカスタムな他のハードウェアが含まれる場合がある。同様に、図示されるスイッチは、概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックの相互作用を通して、又は手動により実行される場合があり、特定の技術は、文脈からより詳細に理解されるように実現者により選択可能である。

特許請求の範囲では、特定の機能を実行する手段として表現されるエレメントは、ａ）その機能を実行する回路素子の組み合わせ、ｂ）その機能を実行するためのそのソフトウェアを実行する適切な回路と組み合わされるファームウェア、マイクロコード等を含む任意の形態におけるソフトウェアを含めて、その機能を実行する任意の方法を包含することが意図される。係る請求項により定義される本発明は、様々な引用される手段により提供される機能が請求項が求めるやり方で結合され、纏められるという事実にある。したがって、それらの機能を提供することができる任意の手段は、本実施の形態で図示されるものに等価であると見なされる。

本発明の「１実施の形態」又は「実施の形態」に対する明細書における参照は、本発明の他の変形例と同様に、実施の形態に関連して記載される特定の特徴、構造、特性等は、本発明の少なくとも１つの実施の形態に含まれることを意味する。したがって、明細書を通して様々な位置に現れるフレーズ「１実施の形態では」、「実施の形態では」、及び他の変形の出現は、必ずしも同じ実施の形態を全て参照するものではない。

以下の「／」、「及び／又は」、「少なくとも１つの」の任意の使用は、たとえば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」のケースにおいて、最初に列挙されたオプションＡのみの選択、第二に列挙されたオプションＢのみの選択、或いは両方のオプションＡ及びＢの選択を包含することが意図される。更なる例として、「Ａ、Ｂ及び／又はＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」のケースでは、係るフレーズは、第一の列挙されたオプションのみの選択、又は第二に列挙されたＢのみの選択、第三に列挙されたオプションＣのみの選択、或いは、第一及び第二に列挙されたオプション（Ａ及びＢ）の選択、或いは、第一及び第三に列挙されたオプション（Ａ及びＣ）のみの選択、或いは、第二及び第三に列挙されたオプション（Ｂ及びＣ）のみの選択、或いは、全ての３つのオプション（Ａ及びＢ及びＣ）の選択を包含することが意図される。これは、当業者により容易に理解されるように、列挙される多数の項目に関して拡張される場合がある。

さらに、本発明の１以上の実施の形態は、MPEG-4AVC規格に関して記載されるが、本発明は、この規格にのみ限定されるものではなく、したがって、本発明の精神を維持しつつ、MPEG-4AVC規格の拡張を含めて、他のビデオ符号化規格、勧告及びその拡張に関して利用される場合があることが理解される。

さらに、本発明の１以上の実施の形態は輝度Ｙ成分に関して記載されたが、本発明はこの成分にのみ制限されるものではなく、本発明の精神を維持しつつ、（たとえばピクチャ、画像、及び／又はビデオデータの）他の成分に関して利用される場合があることを理解されたい。たとえば、本発明は、ＲＧＢ色成分、色度成分、ビューの奥行き成分等に適用される場合がある。

本実施の形態では使用されるように、「高水準シンタックス」は、マクロブロックレイヤの上に階層的にあるビットストリームに存在するシンタックスを示す。たとえば、本実施の形態で使用されるように、高水準シンタックスは、限定されるものではないが、スライスヘッダレベル、SEI（Supplemental Enhancement Information）レベル、PPS（Picture Parameter Set）レベル、SPS（Sequence Parameter Set）レベル及びNAL（Network Abstraction Layer）ユニットヘッダレベルでのシンタックスを示す場合がある。

図５を参照して、明示的な照明補償を使用したピクチャデータを符号化する例示的なエンコーダは、参照符号５００により示される。

エンコーダ５００は、結合器５８５の非反転入力と接続される出力を有するフレームオーダリングバッファ５１０を含む。結合器５８５の出力は、変換器及び量子化器５２５の第一の入力に接続される。変換器及び量子化器５２５の出力は、エントロピーコーダ５４５の第一の入力と、逆変換器及び逆量子化器５５０の第一の入力とに接続される。エントロピーコーダ５４５の出力は、結合器５９０の第一の非反転入力と接続される。結合器５９０の出力は、出力バッファ５３５の第一の入力と接続される。

エンコーダコントローラ５０５の第一の出力は、フレームオーダリングバッファ５１０の第二の入力、逆変換器及び逆量子化器５５０の第二の入力、ピクチャタイプ判定モジュール５１５の入力、マクロブロックタイプ（MB-type）判定モジュール５２０の第一の入力、イントラ予測モジュール５６０の第二の入力、デブロッキングフィルタ５６５の第二の入力、動き補償器５７０の第一の入力、動き予測器５７５の第一の入力、リファレンスピクチャバッファ５８０の第二の入力に接続される。

エンコーダコントローラ５０５の第二の出力は、SEI（Supplemental Enhancement Information）挿入器５３０の第一の入力、変換器及び量子化器５２５の第二の入力、エントロピーコーダ５４５の第二の入力、出力バッファ５３５の第二の入力、SPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器５４０の入力と接続される。

SEI挿入器５３０の出力は、結合器５９０の第二の非反転入力と接続される。ピクチャタイプ判定モジュール５１５の第一の出力は、フレームオーダリングバッファ５１０の第三の入力と接続される。ピクチャタイプ判定モジュール５１５の第二の出力は、マクロブロックタイプ判定モジュール５２０の第二の入力と接続される。

SPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器５４０の出力は、結合器５９０の第三の非反転入力に接続される。

逆量子化器及び逆変換器５５０の出力は、結合器５１９の第一の非反転入力と接続される。結合器５１９の出力は、イントラ予測モジュール５６０の第一の入力と、デブロッキングフィルタ５６５の第一の入力とに接続される。デブロッキングフィルタ５６０の出力は、リファレンスピクチャバッファ５８０の第一の入力と接続される。リファレンスピクチャバッファ５８０の第一の出力は、動き予測器５７５の第二の入力、及び動き補償器５７０の第三の入力と接続される。動き予測器５７５の第一の出力は、動き補償器５７０の第二の入力と接続される。動き補償器５７５の第二の出力は、エントロピーコーダ５４５の第三の入力と接続される。

動き補償器５７０の出力は、スイッチ５９７の第一の入力と接続される。イントラ予測モジュール５６０の出力は、スイッチ５９７の第二の入力と接続される。マクロブロックタイプ判定モジュール５２０の出力は、スイッチ５９７の第四の入力と接続される。スイッチ５９７の第四の入力は、（制御入力、すなわち第四の入力に比較して）スイッチの「データ」入力が動き補償器５７０又はイントラ予測モジュール５６０により供給されるか否かを判定する。スイッチ５９７の出力は、結合器５１９の第二の非反転入力、結合器５８５の反転入力と接続される。

リファレンスピクチャバッファ５８０の第二の出力は、明示的な照明補償パラメータ計算器５６１の第一の入力、照明補償をもつ非局所的なイントラ予測器５６３の第一の入力と接続される。エンコーダコントローラ５０５の第三の出力は、明示的な照明補償パラメータ計算器５６１の第二の入力、照明補償をもつ非局所的なイントラ予測器の第二の入力と接続される。明示的な照明補償パラメータ計算器５６１の第一の出力は、照明補償をもつ非局所的なイントラ予測器５６３の第三の入力と接続される。明示的な照明補償パラメータ計算器５６１の第二の出力は、エントロピーコーダ５４５の第四の入力と接続される。照明補償５６３をもつ非局所的イントラ予測器の出力は、スイッチ５９７の第三の入力と接続される。

フレームオーダリングバッファ５１０の第一の入力、及びエンコーダコントローラ５０５の入力は、入力ピクチャを受けるため、エンコーダ５００の入力として利用可能である。さらに、SEI（Supplemental Enhancement Information）挿入器５３０の第二の入力は、メタデータを受けるため、エンコーダ５００の入力として利用可能である。出力バッファ５３５の出力は、ビットストリームを出力するため、エンコーダ５００の出力として利用可能である。

図６を参照して、明示的な照明補償を使用したピクチャデータを復号化する例示的なデコーダは、参照符号６００により示される。

ビデオデコーダ６００は、エントロピーデコーダ６４５の第一の入力と接続される出力を有する入力バッファ６１０を含む。エントロピーデコーダ６４５の第一の出力は、逆変換器及び逆量子化器６５０の第一の入力と接続される。逆変換器及び逆量子化器６５０の出力は、結合器６２５の第二の非反転入力と接続される。結合器６２５の出力は、デブロッキングフィルタ６６５の第二の入力、イントラ予測モジュール６６０の第一の入力と接続される。デブロッキングフィルタ６６５の第二の出力は、リファレンスピクチャバッファ６８０の第一の入力と接続される。リファレンスピクチャバッファ６８０の第一の出力は、動き補償器６７０の第二の入力と接続される。

エントロピーデコーダ６４５の第二の出力は、動き補償器６７０の第三の入力、及びデブロッキングフィルタ６６５の第一の入力と接続される。エントロピーデコーダ６４５の第三の出力は、デコーダコントローラ６０５の入力と接続される。デコーダコントローラ６０５の第一の出力は、エントロピーデコーダ６４５の第二の入力と接続される。デコーダコントローラ６０５の第二の出力は、逆変換器及び逆量子化器６５０の第二の入力と接続される。デコーダコントローラ６０５の第三の出力は、デブロッキングフィルタ６６５の第三の出力と接続される。デコーダコントローラ６０５の第四の出力は、イントラ予測モジュール６６０の第二の入力と、動き補償器６７０の第一の入力、照明補償をもつ非局所的なイントラ予測器６６３の第三の入力、及びリファレンスピクチャバッファ６８０の第二の入力と接続される。

動き補償器６７０の第一の出力は、スイッチ６９７の第一の入力と接続される。イントラ予測モジュール６６０の出力は、スイッチ６９７の第二の入力と接続される。スイッチ６９７の出力は、結合器６２５の第一の非反転入力と接続される。

エントロピーデコーダ６４５の第四の出力は、照明補償をもつ非局所的なイントラ予測器６６３の第一の入力と接続される。リファレンスピクチャバッファ６８０の第二の出力は、照明補償をもつ非局所的なイントラ予測器６６３の第二の入力と接続される。照明補償をもつ非局所的なイントラ予測器６６３の出力は、スイッチ６９７の第三の入力と接続される。

入力バッファ６１０の入力は、入力ビットストリームを受けるため、デコーダ６００の入力として利用可能である。幾何学的な拡張をもつデブロッキングフィルタ６６５の第一の出力は、出力ピクチャを出力するため、デコーダ６００の出力として利用可能である。

図７を参照して、暗黙の照明補償を使用したピクチャを符号化する例示的なエンコーダは、参照符号７００により示される。

エンコーダ７００は、結合器７８５の非反転入力と接続される出力を有するフレームオーダリングバッファ７１０を含む。結合器７８５の出力は、変換器及び量子化器７２５の第一の入力と接続される。変換器及び量子化器７２５の出力は、エントロピーコーダ７２５の第一の入力、逆変換器及び逆量子化器７５０の第一の入力と接続される。エントロピーコーダ７４５の出力は、結合器７９０の第一の非反転入力に接続される。結合器７９０の出力は、出力バッファ７３５の第一の入力と接続される。

エンコーダコントローラ７０５の第一の出力は、フレームオーダリングバッファ７１０の第二の入力、逆変換器及び逆量子化器７５０の第二の入力、ピクチャタイプ判定モジュール７１５の入力、マクロブロックタイプ（MB-type）判定モジュール７２０の第一の入力、イントラ予測モジュール７６０の第二の入力、デブロッキングフィルタ７６５の第二の入力、動き補償器７７０の第一の入力、動き予測器７７５の第一の入力、及びリファレンスピクチャバッファ７８０の第二の入力に接続される。

エンコーダコントローラ７０５の第二の出力は、SEI（Supplemental Enhancement Information）挿入器７３０の第一の入力、変換器及び量子化器７２５の第二の入力、エントロピーコーダ７４５の第二の入力、出力バッファ７３５の第二の入力、SPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器７４０の第二の入力に接続される。

SEI挿入器７３０の出力は、結合器７９０の第二の非反転入力に接続される。

ピクチャタイプ判定モジュール７１５の第一の出力は、フレームオーダリングバッファ７１０の第三の入力と接続される。ピクチャタイプ判定モジュール７１５の第二の出力は、マクロブロックタイプ判定モジュール７２０の第二の入力と接続される。SPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器７４０の出力は、結合器７９０の第三の非反転入力と接続される。

逆量子化器及び逆変換器７５０の出力は、結合器７１９の第一の非反転入力と接続される。結合器７１９の出力は、イントラ予測モジュール７６０の第一の入力、及びデブロッキングフィルタ７６５の第一の入力と接続される。デブロッキングフィルタ７６５の出力は、リファレンスピクチャバッファ７８０の第一の入力と接続される。リファレンスピクチャバッファ７８０の第一の出力は、動き予測器７７５の第二の入力、動き補償器７７０の第三の入力と接続される。動き予測器７７５の第一の出力は、動き補償器７７０の第二の入力と接続される。動き予測器７７５の第二の出力は、エントロピーコーダ７４５の第三の入力と接続される。

動き補償器７７０の出力は、スイッチ７９７の第一の入力と接続される。イントラ予測モジュール７６０の出力は、スイッチ７９７の第二の入力と接続される。マクロブロックタイプ判定モジュール７２０の出力は、スイッチ７９７の第四の入力と接続される。スイッチ７９７の第四の入力は、（制御入力、すなわち第四の入力と比較して）スイッチの「データ」入力が動き補償器７７０又はイントラ予測モジュール７６０により提供されるか否かを判定する。スイッチ７９７の出力は、結合器７１９の第二の非反転入力、結合器７８５の反転入力と接続される。

リファレンスピクチャバッファ７８０の第二の出力は、暗黙の照明補償パラメータ計算器７６１の第一の入力、及び照明補償をもつ非局所的なイントラ予測器７６３の第一の入力と接続される。エンコーダコントローラ７０５の第三の出力は、暗黙の照明補償パラメータ計算器７６１の第二の入力、及び照明補償をもつ非局所的イントラ予測器７６３の第二の入力に接続される。暗黙の照明補償パラメータ計算器７６１の出力は、照明補償をもつ非局所的なイントラ予測器の第三の入力と接続される。照明補償をもつ非局所的なイントラ予測器の出力は、スイッチ７９７の第三の入力と接続される。

フレームオーダリングバッファ７１０の第一の入力、エンコーダコントローラ７０５の入力は、入力ピクチャを受けるため、エンコーダ７００の入力として利用可能である。さらに、SEI（Supplemental Enhancement Information）挿入器７３０の第二の入力は、メタデータを受信するため、エンコーダ７００の入力として利用可能である。出力バッファ７３５の出力は、ビットストリームを出力するため、エンコーダ７００の出力として利用可能である。

図８を参照して、暗黙の照明補償を使用したピクチャデータを復号化する例示的なデコーダは、参照符号８００により示される。

ビデオデコーダ８００は、エントロピーデコーダ８４５の第一の入力と接続される出力を有する入力バッファ８１０を含む。エントロピーデコーダ８４５の第一の出力は、逆変換器及び逆量子化器８５０の第一の入力と接続される。逆変換器及び逆量子化器８５０の出力は、結合器８２５の第二の非反転入力と接続される。結合器８２５の出力は、デブロッキングフィルタ８６５の第二の入力、及びイントラ予測モジュール８６０の第一の入力と接続される。デブロッキングフィルタ８６５の第二の出力は、リファレンスピクチャバッファ８８０の第一の入力と接続される。リファレンスピクチャバッファ８８０の第一の出力は、動き補償器８７０の第二の入力と接続される。

エントロピーデコーダ８４５の第二の出力は、動き補償器８７０の第三の入力、デブロッキングフィルタ８６５の第一の入力と接続される。エントロピーデコーダ８４５の第三の出力は、デコーダコントローラ８０５の入力と接続される。デコーダコントローラ８０５の第一の出力は、エントロピーデコーダ８４５の第二の入力と接続される。デコーダコントローラ８０５の第二の出力は、逆変換器及び逆量子化器８５０の第二の入力と接続される。デコーダコントローラ８０５の第三の出力は、デブロッキングフィルタ６６５の第三の入力と接続される。デコーダコントローラ８０５の第四の出力は、イントラ予測モジュール８６０の第二の入力、動き補償器８７０の第一の入力、照明補償をもつ非局所的なイントラ予測器８６３の第三の入力、リファレンスピクチャバッファ８８０の第二の入力、暗黙の照明補償パラメータ計算器８６１の第一の入力、及びスイッチ８９７の（第一、第ニ及び第三の入力間の選択を制御する）制御入力と接続される。

動き補償器８７０の第一の出力は、スイッチ８９７の第一の入力に接続される。イントラ予測モジュール８６０の出力は、スイッチ８９７の第二の入力と接続される。スイッチ８９７の出力は、結合器８２５の第一の非反転入力と接続される。

リファレンスピクチャバッファ８８０の第二の出力は、照明補償をもつ非局所的なイントラ予測器８６３の第二の入力、暗黙の照明補償パラメータ計算器８６１の第二の入力と接続される。照明補償をもつ非局所的なイントラ予測器８６３の出力は、照明補償をもつ非局所的なイントラ予測器８６３の第三の入力と接続される。照明補償をもつ非局所的なイントラ予測器８６３の出力は、スイッチ８９７の第三の入力と接続される。入力バッファ８１０の入力は、入力ビットストリームを受けるため、デコーダ８００の入力として利用可能である。幾何学的な拡張をもつデブロッキングフィルタ８６５の第一の出力は、出力ピクチャを出力するため、デコーダ８００の出力として利用可能である。

上述されたように、本発明は、イントラ予測されたビデオの照明補償の方法及び装置に向けられる。

１以上の実施の形態によれば、ピクチャ、画像及びビデオデータ（集合的に、「ピクチャ」と呼ばれる）の少なくとも１つにおける空間変動をモデル化するため、イントラ予測の適応的な照明補償（Illumination Compensation）技術が提案される。特に、デコーダが照明補償モデルのパラメータをどのように回復できるかに向けられる２つの例示的なスキームが提案される。第一のスキームでは、ビットストリームにおいて、パラメータは明示的に信号で伝送される。したがって、デコーダは、関連されるシンタックスをデコードして、パラメータを取得する。第二のスキームでは、パラメータは信号で伝送されない。代わりに、既に再構成された画素を使用して、パラメータは導出される。

それぞれのスキームについて、適応的な照明補償を使用して、入力ピクチャ又は画像ブロックを符号化するため、ビデオエンコーダ、デコーダ及び対応する方法が提供される。例示的なエンコーダは、照明補償モデルにおいてパラメータを計算するエレメント、及び予測データに照明補償モデルを適用するエレメントを含む。例示的な方法は、実質的に圧縮されていない画像ブロックを受信すること、照明補償パラメータを計算すること、DIP及び／又はTMIを実行して予測ブロックを取得すること、予測ブロックぶ照明補償パラメータを提要して、照明補償されたブロックを取得すること、実質的に圧縮されていない画像ブロックから照明補償されたブロックを引くこと、及び、実質的に圧縮されていない画像ブロックとDIP又はTMPとの間の差を符号化するステップを含む。

したがって、１以上の実施の形態によれば、イントラ予測の適応的な照明補償が提案される。本発明を説明する例として、TMP（Template Matching Prediction）及びDIP（Displaced Intra Prediction）を使用した、非局所的なイントラ予測技術がフォーカスされる。

図９を参照して、非局所的なイントラ予測の例は、参照符号９００により示される。表記に関して、再構成されたピクチャは参照符号９６０により示され、予測されないピクチャは参照符号９５０により示され、オリジナルブロックはＹにより示され、その対応する再構成されたブロック及びテンプレートは、

（図示せず）及びＸによりそれぞれ示される。Ｙの予測されたブロックはＰとして示され、Ｐの対応するテンプレートはＱとして示される。残差信号はＲとして示され、再構成された残差信号は、

として示される。したがって、Ｐ1及びＰ2は、第一の予測及び第二の予測をそれぞれ表し、Ｑ1及びＱ2は、第一の予測及び第二の予測のテンプレートをそれぞれ表す。

本発明によれば、エンコーダでＲ＝Ｙ−Ｐを適用する代わりに、又はデコーダで

を適用する代わりに、エンコーダでＲ＝Ｙ−Ψ（Ｐ）又はデコーダで

を提案する。ここで、Ψ［・］は、実施の形態では、IC／重み関数を示す。また、Ψ［・］内で幾つかのフィルタを適用することができ、又はΨ［・］はＰに関する線形演算及び／又は非線形演算を意味する。説明を簡単にするため、フィルタは、Ψ［・］の一部とすることができ、又はΨ［・］をフィルタリングステップであると想定することができる。

簡単さのため、Ψ［・］の１実施の形態では、多項式関数

を使用して提案する。ここでｎ＝−１，０，１，．．．である。ｎ＝−１は先の方法が使用されないことを意味する。多項式の次数ｎは、ヘッダで指定されるか又は幾つかの高水準シンタックスを使用して指定される。ｎ＝１の場合、線形モデルである。

以下では、本発明が適応的な照明補償のためにどのように機能するかを説明する例として線形モデルを使用する。実施の形態では、以下のような照明補償予測信号を表すことができる。

ここで、ａは乗法の重み付け要素であり、ｂは追加のオフセットであり、この場合、両者はコントラスト及び明るさを合わせて補償する。別の実施の形態では、照明補償が非常に小さな領域に適用されるとき、コントラストの適応は、それほど重要なことではないとする。このことは、パラメータａ＝１に設定することを意味する。したがって、式（１）におけるモデルは、以下のようにオフセットのみのモデルに変わる。

モデルパラメータのシグナリングに関して、明示的なシグナリング又は暗黙的なシグナリングといった２つのスキームを提案する。１実施の形態では、式（１）におけるパラメータは、ブロックレベルで明示的に信号伝送されるか、限定されるものではないが、スライスヘッダ、PPS（Picture Parameter Set）、SPS（Sequence Parameter Set）、NAL（Network Abstraction Layer）ユニットヘッダ、又はSEI（Supplemental Enhancement Information）メッセージにおけるような１以上の高水準のシンタックスエレメントを使用することで明示的に信号により伝送される。この方法を明示的な照明補償と呼ぶ。別の実施の形態では、式（１）におけるパラメータは、エンコーダとデコーダの両者で暗黙的に導出される。この方法を暗黙の照明補償と呼ぶ。

以下では、例としてブロックレベルの照明補償が使用される。同じことを考慮して、明示的及び暗黙的照明補償がどのように機能するかに関する例を更に示す。

［明示的な照明補償］
明示的な照明補償がDIPについてどのように機能するかをはじめに説明する。

実施の形態では、エンコーダサイドで、サーチ手順の間、以下のコスト／距離を最小にする予測ブロックが探される。

ここでａは乗法の重み付け要素であり、ｂは加法的なオフセットであり、この場合、両者は、コントラスト及び明るさを合わせて補償する。式（３）に関して、ａ及びｂは、最小自乗フィッティング／直線回帰を使用して解くことができる。勿論、本発明は先のコスト測定に制限されず、したがって、本発明の精神を維持しつつ、本実施の形態で提供される本発明の教示に従って、他のコスト測定が利用される場合がある。式（２）における簡略されたモデルが使用された場合、mean-removed距離の基準、すなわちｂ＝Ｅ（Ｙ）−Ｅ（Ｐ）を使用することができ、ここでＥ［・］は期待関数である。最良の予測は、最小の距離で発見される。対応するパラメータは、幾つかのデータシンタックスにより信号により伝送される。シンタックス値は、無条件に符号化されるか、又は差動／予測符号化することができる。表１は、照明補償オフセットの例示的なシンタックスを示す。シンタックスは、式（２）について信号により伝送される。

mb_ic_flagは、１に等しく、これは、照明補償が現在のマクロブロックについて使用されることを規定する。mb_ic_flagは、０に等しく、これは、照明補償が現在のマクロブロックについて使用されないことを規定する。mb_ic_flagのデフォルト値は、ゼロである。

dpcm_of_icは、現在のマクロブロックについて使用されるべき照明補償のオフセットを規定する。照明補償は、デコーダで利用可能な周囲の隣接するデータの関数に関して異なって符号化される。

実施の形態では、例示的なエンコーダにおける全体的な手順は、以下のとおりである。それぞれの予測の候補について、式（３）におけるテンプレート距離を最小にすることで、直線回帰を使用して補償パラメータａ及びｂを計算する。補償された距離は、式（３）で定義される歪みを最小にすることで計算される。全ての予測候補のなかで最小の距離を有する最良の予測が選択される。照明補償の予測信号は、式（１）により生成される。残差が生成され、符号化される。照明補償パラメータ及び変位パラメータは、ブロックレベルで信号により伝送される。

実施の形態では、デコーダで、変位ベクトル及び照明補償モデルパラメータは、ビットストリームから受信され、デコードされる。照明補償の予測信号は、照明補償モデルパラメータ及び変位ベクトルを使用して、式（１）により生成される。デコードされた残差は、照明補償の予測信号に加えられる。

テンプレートマッチング予測について、唯一のテンプレートが使用される場合、サーチがテンプレートに基づく点を除いて、DIPのケースと手順は同じである。したがって、式（３）を使用する代わりに、最良の予測を発見するため、以下が使用される。

ここでａは乗法の重み付けファクタであり、ｂは加法的なオフセットであり、両者は、コントラスト及び明るさを合わせて補償する。Ｘ及びＱは、エンコーダ及びデコーダで共に利用可能であるので、それぞれのテンプレートサーチについて、直線回帰を使用して対応するａ及びｂが計算される。確かに、Ｘ及びＱは、それぞれ、予測（Ｙ）下にあり、予測（Ｐ）のために使用される実際のデータに隣接するデータである。最良のテンプレートを発見した後、式（３）を使用して、ブロックレベルで信号により伝送されるモデルパラメータが計算される。アプローチは、多数のテンプレートのケースに直接的に適用することができる。

実施の形態では、例示的なエンコーダにおける全体的な手順は、以下の通りである。それぞれの予測の候補について、式（４）におけるテンプレート距離を最小にすることで、直線回帰を使用して補償パラメータａ及びｂを計算する。補償された距離は、式（４）を使用して計算される。全ての予測の候補のうちで最小のテンプレートの距離を有する最良の予測が選択される。パラメータａ及びｂは、式（３）により計算され、ブロックレベルで信号により伝送される。照明補償の予測信号は、式（１）により生成される。残差が生成され、符号化される。

実施の形態では、デコーダで、パラメータが受信され、ビットストリームからデコードされる。次いで、エンコーダでの同じテンプレートサーチ手順が実行される。すなわち、それぞれの予測候補について、式（４）におけるテンプレートの距離を最小にすることで、直線回帰を使用して補償パラメータａ及びｂが計算される。全ての予測候補のうちで最小のテンプレート距離を有する最良の予測が選択される。照明補償された予測信号は、デコードされたICパラメータを使用して式（１）により生成される。デコードされた残差は、照明補償の予測信号に加えられる。

図１０を参照して、DIP（Displaced Intra Prediction）及び明示的な照明補償を使用したピクチャデータを符号化する例示的な方法は、参照符号１０００により示される。

本方法１０００は、開始ブロック１００５を含み、このブロックは、ループリミットブロック１０１０に制御を移す。ループリミットブロック１０１０は、０からマクロブロック数−１までの範囲（num_MBs_minus1）を有する変数ｉを使用してループを開始し、判定ブロック１０１５に制御を移す。判定ブロック１０１５は、現在のモードがDIPモードであるか否かを判定する。現在のモードがDIPモードである場合、制御は機能ブロック１０２０に移る。さもなければ、制御は機能ブロック１０４５に移る。

機能ブロック１０２０は、DIPにおけるそれぞれのサーチ候補について、照明補償パラメータを計算し、照明補償を実行して現在のブロックを最良に近似し、機能ブロック１０２５に制御を移す。機能ブロック１０２５は、現在のブロックに与えられた最小のコストをもつ候補を選択し、機能ブロック１０３０に制御を移す。機能ブロック１０３０は、現在のブロックに与えられた選択された候補の予測の残差を計算し、機能ブロック１０３５に制御を移す。機能ブロック１０３５は、変位ベクトル、照明補償パラメータ、残差及び他のシンタックスをエントロピー符号化し、ループリミットブロック１０４０に制御を移す。ループリミットブロック１０４０は、ループを終了し、終了ブロック１０９９に制御を移す。

機能ブロック１０４５は、非DIPモードについて符号化プロセスを実行し、ループリミットブロック１０４０に制御を移す。

図１１を参照して、DIP（Displaced Intra Prediction）及び明示的な照明補償を使用したピクチャデータをデコードする例示的な方法は、参照符号１１００により示される。

本方法１１００は、開始ブロック１１０５を含み、このブロックは、機能ブロック１１１０に制御を移す。機能ブロック１１１０は、ビットストリームを分析し、ループ制御ブロック１１１５に制御を移す。ループ制御ブロック１１１５は、０からマクロブロック数−１までの範囲（num_MBs_minus1）を有する変数ｉを使用してループを開始し、判定ブロック１１２０に制御を移す。判定ブロック１１２０は、現在のモードがDIPモードであるか否かを判定する。現在のモードがDIPモードである場合、機能ブロック１１２５に制御が移る。さもなければ、機能ブロック１１４５に制御が移る。

機能ブロック１１２５は、変位ベクトル、照明補償パラメータ、残差及び他のシンタックスをデコードし、機能ブロック１１３０に制御を移す。機能ブロック１１３０は、現在のブロックについて照明補償を実行し、機能ブロック１１３５に制御を移す。機能ブロック１１３５は、残差を現在のブロックに加え、ループリミットブロック１１４０に制御を移す。ループリミットブロック１１４０は、ループを終了し、終了ブロック１１９９に制御を移す。

機能ブロック１１４５は、非DIPモードについて復号化プロセスを実行し、ループ制御ブロック１１４０に制御を移す。

図１２を参照して、TMP（Template Matching Prediction）及び明示的な照明補償を使用したピクチャデータを符号化する例示的な方法は、参照符号１２００により示される。

本方法１２００は、開始ブロック１２０５を含み、ループリミットブロック１２１０に制御を移す。ループリミットブロック１２１０は、０からマクロブロック数−１までの範囲（num_MBs_minus1）を有する変数ｉを使用してループを開始し、判定ブロック１２１５に制御を移す。判定ブロック１２１５は、現在のモードがTMPモードであるかを判定する。現在のモードがTMPモードである場合、機能ブロック１２２０に制御を移す。さもなければ、機能ブロック１２５０に制御を移す。

機能ブロック１２２０は、DIPにおけるそれぞれのサーチ候補において、照明補償パラメータを計算し、照明補償を実行して現在のブロックを最良に近似し、機能ブロック１２２５に制御を移す。機能ブロック１２２５は、現在のブロックが与えられる最小のコストをもつ候補を選択し、機能ブロック１２３０に制御を移す。機能ブロック１２３０は、現在のブロックの照明補償のパラメータを計算し、現在のブロックの照明補償を実行し、機能ブロック１２３５に制御を移す。機能ブロック１２３５は、現在のブロックの残差を計算し、機能ブロック１２４０に制御を移す。機能ブロック１２４０は、補償パラメータ、残差及び他のシンタックスをエントロピー符号化し、ループリミットブロック１２４５に制御を移す。ループリミットブロック１２４５は、ループを終了し、終了ブロック１２９９に制御を移す。

機能ブロック１２５０は、非TMPモードについて符号化プロセスを実行し、ループリミットブロック１２４５に制御を移す。

図１３を参照して、TMP（Template Matching Prediction）及び明示的な照明補償を使用してピクチャデータを復号化する例示的な方法は、参照符号１３００により示される。

本方法１３００は、開始ブロック１３０５を含み、機能ブロック１３１０に制御を移す。機能ブロック１３１０は、ビットストリームを分析し、ループリミットブロック１３１５に制御を移す。ループリミットブロック１３１０は、０からマクロブロック数−１までの範囲（num_MBs_minus1）を有する変数ｉを使用してループを開始し、判定ブロック１３２０に制御を移す。判定ブロック１３２０は、現在のモードがTMPモードであるか否かを判定する。現在のモードがTMPモードである場合、機能ブロック１３２５に制御を移す。さもなければ、機能ブロック１３５５に制御を移す。

機能ブロック１３２５は、照明補償パラメータ、残差及び他のシンタックスをデコードし、機能ブロック１３３０に制御を移す。機能ブロック１３３０は、TMPにおけるそれぞれのサーチ候補について、照明補償パラメータを計算し、照明補償を実行して現在のブロックを最良に近似し、機能ブロック１３３５に制御を移す。機能ブロック１３３５は、現在のブロックテンプレートについて最小のコストをもつ候補を選択し、機能ブロック１３４０に制御を移す。機能ブロック１３４０は、現在のブロックについて照明補償を実行し、機能ブロック１３４５に制御を移す。機能ブロック１３４５は、残差を現在のブロックに追加し、ループリミットブロック１３５０に制御を移す。ループリミットブロック１３５０は、ループを終了し、終了ブロック１３９９に制御を移す。機能ブロック１３５５は、非TMPモードについて復号化プロセスを実行し、ループリミットブロック１３５０に制御を移す。

［暗黙の照明補償］
はじめに、TMPを使用して、暗黙の照明補償がどのように機能するかを説明する。TMPにおいて、テンプレートに基づいた自己回帰サーチが使用され、同じサーチ手順がエンコーダ及びデコーダの両者で実行されるので、それぞれのテンプレート候補について式（４）を最小することにより、ａ及びｂパラメータの導出をテンプレートサーチに組み込む。式（１）におけるのと同じパラメータを予測について使用することができる。

例示的なエンコーダにおける全体の手順は以下の通りである。それぞれの予測の候補について、式（４）におけるテンプレートの距離を最小にすることによる直線回帰を使用して、補償パラメータａ及びｂを計算する。補償された距離は、式（４）を使用して計算される。全ての予測候補のうちで最小のテンプレートの距離を有する最良の予測が選択される。照明補償の予測信号を生成するため、式（１）におけるTMPから計算された同じパラメータａ及びｂが使用される。残差が生成され、符号化される。

例示的なデコーダでは、エンコーダでの同じテンプレートサーチ手順が実行される。すなわち、それぞれの予測候補について、式（４）におけるテンプレートの距離を参照にすることによる直線回帰を使用して補償パラメータａ及びｂを計算する。補償された距離は、式（４）を使用して計算される。全ての予測候補のうちで最小のテンプレートの距離を有する最良の予測が選択される。照明補償の予測信号を生成するため、式（１）においてTMPにから計算された同じパラメータａ及びｂが使用される。復号化された残差は、照明補償の予測された信号に加えられる。

DIPについて、TMPと同じやり方で現在の信号及び予測信号のテンプレートを使用して、パラメータが予測される。

実施の形態では、例示的なエンコーダでの全体的な手順は以下の通りである。それぞれの予測候補について、式（４）におけるテンプレート距離を最小にすることによる直線回帰を使用して補償パラメータａ及びｂを計算する。補償された距離は、式（３）を使用して計算される。全ての予測候補のうちで式（３）に従う最小の距離を有する最良の予測が選択される。式（１）を使用して、照明補償の予測信号が生成される。残差が生成され、符号化される。変位ベクトルは、信号により伝送される。

デコーダで、変位ベクトルが受信され、デコードされる。次いで、変位ベクトルにより生成される目標とされる予測候補について、式（４）におけるテンプレート距離を参照にすることによる直線回帰を使用して、補償パラメータａ及びｂが計算される。式（１）を使用して、照明補償の予測信号が生成される。復号化された残差は、照明補償の予測信号に加えられる。

図１４を参照して、TMP（Template Matching Prediction）及び暗黙の照明補償を使用したピクチャデータを符号化する例示的な方法は、参照符号１４００により示される。

本方法１４００は、開始ブロック１４０５を含み、このブロックは、ループリミットブロック１４１０に制御を移す。ループリミットブロック１４１０は、０からマクロブロック数−１までの範囲（num_MBs_minus1）を有する変数ｉを使用してループを開始し、判定ブロック１４１５に制御を移す。判定ブロック１４１５は、現在のモードがTMPモードであるか否かを判定する。現在のモードがTMPモードである場合、機能ブロック１４２０に制御を移す。さもなければ、機能ブロック１４５０に制御を移す。

機能ブロック１４２０は、TMPにおけるそれぞれのサーチ候補について、照明補償のパラメータを計算し、現在のブロックのテンプレートについて照明の補償を実行し、機能ブロック１４２５に制御を移す。機能ブロック１４２５は、現在のブロックのテンプレートについて最小のコストをもつ候補を選択し、対応する照明補償パラメータを記憶し、機能ブロック１４３０に制御を移す。機能ブロック１４３０は、現在のブロックについて照明の補償を実行し、機能ブロック１４３５に制御を移す。機能ブロック１４３５は、現在のブロックの残差を計算し、機能ブロック１４４０に制御を移す。機能ブロック１４４０は、残差及び他のシンタックスをエントロピー符号化し、ループリミットブロック１４４５に制御を移す。ループリミットブロック１４４５は、ループを終了し、終了ブロック１４９９に制御を移す。

機能ブロック１４５０は、非TMPモードについて符号化プロセスを実行し、ループリミットブロック１４４５に制御を移す。

図１５を参照して、TMP（Template Matching Prediction）及び明示的な照明補償を使用したピクチャデータを復号化する例示的な方法は、参照符号１５００により示される。

本方法１５００は、開始ブロック１５０５を含み、このブロックは、機能ブロック１５１０に制御を移す。機能ブロック１５１０は、ビットストリームを分析し、ループリミットブロック１５１５に制御を移す。ループリミットブロック１５１５は、０からマクロブロック数−１までの範囲（num_MBs_minus1）を有する変数ｉを使用してループを開始し、判定ブロック１５２０に制御を移す。判定ブロック１５２０は、現在のモードがTMPモードであるか否かを判定する。現在のモードがTMPモードである場合、機能ブロック１５２５に制御を移す。さもなければ、機能ブロック１５５５に制御を移す。

機能ブロック１５２５は、残差及び他のシンタックスを復号化し、機能ブロック１５３０に制御を移す。機能ブロック１５３０は、TMPにおけるそれぞれのサーチ候補について、照明補償パラメータを計算し、照明補償を実行して現在のブロックを最良に近似し、機能ブロック１５３５に制御を移す。機能ブロック１５３５は、現在のブロックのテンプレートについて最小のコストをもつ候補を選択し、対応する照明補償パラメータを記憶し、機能ブロック１５４０に制御を移す。機能ブロック１５４０は、現在のブロックについて照明の補償を実行し、機能ブロック１５４５に制御を移す。機能ブロック１５４５は、残差を現在のブロックに加え、ループリミットブロック１５５０に制御を移す。ループリミットブロック１５５０は、ループを終了し、終了ブロック１５９９に制御を移す。

機能ブロック１５５５は、非TMPパラメータについて復号化プロセスを実行し、ループリミットブロック１５５０に制御を移す。

図１６を参照して、DIP（Displacement Intra Prediction）及び暗黙の照明補償を使用したピクチャデータを符号化する例示的な方法は、参照符号１６００により示される。

本方法１６００は、開始ブロック１００５を含み、ループリミットブロック１６１０に制御を移す。ループリミットブロック１６１０は、０からマクロブロック数−１までの範囲（num_MBs_minus1）を有する変数ｉを使用してループを開始し、判定ブロック１６１５に制御を移す。判定ブロック１６１５は、現在のモードがDIPモードであるか否かを判定する。現在のモードがDIPモードである場合、機能ブロック１６２０に制御を移す。さもなければ、機能ブロック１６４５に制御を移す。

機能ブロック１６２０は、DIPにおけるそれぞれのサーチ候補について、テンプレートを使用して照明補償パラメータを計算し、現在のブロックについて照明の補償を実行し、機能ブロック１６２５に制御を移す。機能ブロック１６２５は、現在のブロックについて最小のコストをもつ候補を選択し、機能ブロック１６３０に制御を移す。機能ブロック１６３０は、現在のブロックの残差を計算し、機能ブロック１６３５に制御を移す。機能ブロック１６３５は、変位ベクトル、残差及び他のシンタックスをエントロピー符号化し、ループリミットブロック１６４０に制御を移す。ループリミットブロック１６４０は、ループを終了し、終了ブロック１６９９に制御を移す。

機能ブロック１６４５は、非DIPモードについて符号化プロセスを実行し、ループリミットブロック１６４０に制御を移す。

図１７を参照して、DIP（Displacement Intra Prediction）及び暗黙の照明補償を使用したピクチャデータを復号化する例示的な方法は、参照符号１７００により示される。

本方法１７００は、開始ブロック１７０５を含み、ループリミットブロック１７１０に制御を移す。機能ブロック１７１０は、ビットストリームを分析し、ループリミットブロック１７１５に制御を移す。ループリミットブロック１７１５は、０からマクロブロック数−１までの範囲（num_MBs_minus1）を有する変数ｉを使用してループを開始し、判定ブロック１７２０に制御を移す。判定ブロック１７２０は、現在のモードがDIPモードであるか否かを判定する。現在のモードがDIPモードである場合、機能ブロック１７２５に制御を移す。さもなければ、機能ブロック１７４５に制御を移す。

機能ブロック１７２５は、変位ベクトル及び他のシンタックスを復号化し、機能ブロック１７３０に制御を移す。機能ブロック１７３０は、テンプレートを使用して照明補償パラメータを計算し、機能ブロック１７３５に制御を移す。機能ブロック１７３５は、現在のブロックについて照明補償を実行し、機能ブロック１７４０に制御を移す。機能ブロック１７４０は、現在のブロックに残差を加え、ループリミットブロック１７４５に制御を移す。ループリミットブロック１７４５は、ループを終了し、終了ブロック１７９９に制御を移す。機能ブロック１７５０は、非DIPモードについて復号化プロセスを実行し、ループリミットブロック１７４５に制御を移す。

以下、本発明の多くの付随する利点／特徴の幾つかについて説明が与えられ、そのうちの幾つかは、既に上述された。たとえば、１つの利点／特徴は、非局所的なイントラ予測を使用してピクチャを符号化するエンコーダを有する装置である。このエンコーダは、照明補償を非局所的なイントラ予測から得られた予測データに適用する照明補償処理ユニット（照明補償部分）を含む。

別の利点／特徴は、上述されたエンコーダを有する装置であり、照明補償が適応的に予測データに適用される。予測データは、DIP及びTMPの少なくとも１つを含む。

更に別の利点／特徴は、上述されたエンコーダを有する装置であり、照明補償は、結果的に得られるモデルを得るためにモデル化される。結果的に得られるモデルは、多項式関数、線形関数及び非線形関数の少なくとも１つに基づく。

更に別の利点／特徴は、エンコーダを有する装置であり、照明補償は、上述された結果的に得られるモデルを得るためにモデル化され、結果的に得られるモデルは、一次多項式に基づく線形モデルである。

さらに、別の利点／特徴は、エンコーダを有する装置であり、結果的に得られるモデルは、上述のような一次多項式に基づく線形モデルであり、一次多項式は、加法的な定数に基づくオフセットのみの関数である。

さらに、別の利点／特徴は、エンコーダを有する装置であり、照明補償は、上述のような結果的に得られるモデルを得るためにモデル化され、結果的に得られるモデルのパラメータは、最小自乗関数を使用して解かれる。

また、別の利点／特徴は、エンコーダを有する装置であり、照明補償は、上述のように結果的に得られるモデルを得るためにモデル化され、非局所的なイントラ予測は、輝度データ、色データ及び奥行きビューデータのうちの少なくとも１つに適用される。

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、照明補償は、結果的に得られるモデルを得るためにモデル化される。結果的に得られるモデルのパラメータは、少なくとも１つのブロックレベルのシンタックスエレメントと少なくとも１つの高水準のシンタックスエレメントのうちの少なくとも１つを使用して明示的に信号で伝送される。

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、照明補償は、結果的に得られるモデルを得るためにモデル化される。結果的に得られるモデルのパラメータは、ピクチャの現在のブロックと、現在のブロックに関する対応する予測されたブロックとに適用されるテンプレートマッチングから導出される。

本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本実施の形態の教示に基づいて当業者により容易に確かめられる。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はその組み合わせの様々な形態で実現される場合があることを理解されたい。

最も好ましくは、本発明の原理は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される場合がある。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされ実行される場合がある。好ましくは、コンピュータは、１以上の中央処理装置（CPU）、ランダムアクセスメモリ（RAM）、及び入力／出力（I/O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合がある。本実施の形態で記載される様々なプロセス及び機能は、CPUにより実行されるマイクロ命令コードの一部又はアプリケーションプログラムの一部、或いはその組み合わせの何れかである場合がある。さらに、様々な周辺ユニットは、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。

なお、添付図面に示されるシステム構成要素及び方法の幾つかはソフトウェアで実現されることが好ましいので、システム構成要素間又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされるやり方に依存して異なる場合があることを理解されたい。本発明の教示が与えられると、当業者であれば、本発明のこれらの実現又はコンフィギュレーション、或いは他の実現又はコンフィギュレーションを創作することができるであろう。

例示的な実施の形態は添付図面を参照して記載されたが、本発明はそれら正確な実施の形態に限定されず、様々な変形及び変更は本発明の範囲又は精神から逸脱することなしに当業者により実施される場合があることを理解されたい。全ての係る変形及び変更は、特許請求の範囲で述べられるように本発明の範囲に含まれることが意図される。

Claims (36)

1. テンプレートマッチングイントラ予測を使用してピクチャを符号化するエンコーダを有する装置であって、
   前記エンコーダは、照明補償を前記テンプレートマッチングイントラ予測から得られた予測データに適用する暗黙の照明補償の処理手段を含み、
   前記暗黙の照明補償処理手段は、線形モデルを使用し、前記線形モデルのパラメータは、候補となるテンプレートの間で距離の関数を最小にする直線回帰を使用して導出され、前記線形モデルのパラメータは、対応するデコーダにより再構成された画素を使用して導出され、前記候補となるテンプレートは、前記ピクチャの以前に符号化された部分から発見される、
   ことを特徴とする装置。
2. 前記照明補償は、前記予測データに適応的に適用され、前記予測データは、変位されたイントラ予測及びテンプレートマッチング予測の少なくとも１つを有する、
   請求項１記載の装置。
3. 前記照明補償は、結果的に得られるモデルを得るためにモデル化され、前記結果的に得られるモデルは、多項式関数、線形関数及び非線形関数の少なくとも１つに基づく、
   請求項１記載の装置。
4. 前記結果的に得られるモデルは、一次多項式に基づく線形モデルである、
   請求項３記載の装置。
5. 前記一次多項式は、加法的な定数に基づくオフセットのみの関数である、
   請求項４記載の装置。
6. 前記結果的に得られるモデルのパラメータは、最小自乗関数を使用して解かれる、
   請求項３記載の装置。
7. 前記テンプレートマッチングイントラ予測は、輝度データ、色度データ及び奥行きビューデータの少なくとも１つに適用される、
   請求項３記載の装置。
8. 前記照明補償は、結果的に得られるモデルを得るためにモデル化され、前記結果的に得られるモデルのパラメータは、少なくとも１つのブロックレベルのシンタックスエレメント及び少なくとも１つの高水準のシンタックスエレメントのうちの少なくとも１つを使用して明示的に信号で伝送される、
   請求項１記載の装置。
9. 前記照明補償は、結果的に得られたモデルを得るためにモデル化され、前記結果的に得られたモデルのパラメータは、前記ピクチャの現在のブロックと、前記現在のブロックに関して対応する予測されるブロックとに適用されるテンプレートマッチング手順から導出される、
   請求項１記載の装置。
10. テンプレートマッチングイントラ予測を使用してピクチャを符号化するステップを含む方法であって、
    前記符号化するステップは、照明補償を前記テンプレートマッチングイントラ予測から得られる予測データに適用するステップを含む、
    前記適用するステップは、線形モデルを使用し、前記線形モデルのパラメータは、候補となるテンプレートの間で距離の関数を最小にする直線回帰を使用して導出され、前記線形モデルのパラメータは、対応するデコーダにより再構成された画素を使用して導出され、前記候補となるテンプレートは、前記ピクチャの以前に符号化された部分から発見される、
    ことを特徴とする方法。
11. 前記照明補償は、前記予測データに適応的に適用され、前記予測データは、変位されたイントラ予測及びテンプレートマッチング予測の少なくとも１つを含む、
    請求項１０記載の方法。
12. 前記照明補償は、結果的に得られるモデルを得るためにモデル化され、前記結果的に得られモデルは、多項式関数、線形関数及び非線形関数の少なくとも１つに基づく、
    請求項１０記載の方法。
13. 前記結果的に得られるモデルは、一次多項式に基づく線形モデルである、
    請求項１２記載の方法。
14. 前記一次多項式は、加法的な定数に基づくオフセットのみの関数である、
    請求項１３記載の方法。
15. 前記結果的に得られるモデルのパラメータは、最小自乗関数を使用して解かれる、
    請求項１２記載の方法。
16. 前記テンプレートマッチングイントラ予測は、輝度データ、色度データ及び奥行きビューデータの少なくとも１つに適用される、
    請求項１２記載の方法。
17. 前記照明補償は、結果的に得られるモデルを得るためにモデル化され、前記結果的に得られるモデルのパラメータは、少なくとも１つのブロックレベルのシンタックスエレメント及び少なくとも１つの高水準のシンタックスエレメントのうちの少なくとも１つを使用して明示的に信号で伝送される、
    請求項１０記載の方法。
18. 前記照明補償は、結果的に得られたモデルを得るためにモデル化され、前記結果的に得られたモデルのパラメータは、前記ピクチャの現在のブロックと、前記現在のブロックに関して対応する予測されるブロックとに適用されるテンプレートマッチング手順から導出される、
    請求項１０記載の方法。
19. テンプレートマッチングイントラ予測を使用してピクチャを復号化するデコーダを有する装置であって、
    前記デコーダは、照明補償を前記テンプレートマッチングイントラ予測から得られた予測データに適用する暗黙の照明補償の処理手段を含む、
    前記暗黙の照明補償処理手段は、線形モデルを使用し、前記線形モデルのパラメータは、候補となるテンプレートの間で距離の関数を最小にする直線回帰を使用して導出され、前記線形モデルのパラメータは、対応するデコーダにより再構成された画素を使用して導出され、前記候補となるテンプレートは、前記ピクチャの以前に符号化された部分から発見される、
    ことを特徴とする装置。
20. 前記照明補償は、前記予測データに適応的に適用され、前記予測データは、変位されたイントラ予測及びテンプレートマッチング予測の少なくとも１つを有する、
    請求項１９記載の装置。
21. 前記照明補償は、結果的に得られるモデルを得るためにモデル化され、前記結果的に得られるモデルは、多項式関数、線形関数及び非線形関数の少なくとも１つに基づく、
    請求項１９記載の装置。
22. 前記結果的に得られるモデルは、一次多項式に基づく線形モデルである、
    請求項２１記載の装置。
23. 前記一次多項式は、加法的な定数に基づくオフセットのみの関数である、
    請求項２２記載の装置。
24. 前記結果的に得られるモデルのパラメータは、最小自乗関数を使用して解かれる、
    請求項２１記載の装置。
25. 前記テンプレートマッチングイントラ予測は、輝度データ、色度データ及び奥行きビューデータの少なくとも１つに適用される、
    請求項２１記載の装置。
26. 前記照明補償は、結果的に得られるモデルを得るためにモデル化され、前記結果的に得られるモデルのパラメータは、少なくとも１つのブロックレベルのシンタックスエレメント及び少なくとも１つの高水準のシンタックスエレメントのうちの少なくとも１つを使用して明示的に信号で伝送される、
    請求項１９記載の装置。
27. 前記照明補償は、結果的に得られたモデルを得るためにモデル化され、前記結果的に得られたモデルのパラメータは、前記ピクチャの現在のブロックと、前記現在のブロックに関して対応する予測されるブロックとに適用されるテンプレートマッチング手順から導出される、
    請求項１９記載の装置。
28. テンプレートマッチングイントラ予測を使用してピクチャを復号化するステップを含む方法であって、
    前記復号化するステップは、照明の補償を前記テンプレートマッチングイントラ予測から得られる予測データに適用するステップを含み、
    前記適用するステップは、線形モデルを使用し、前記線形モデルのパラメータは、候補となるテンプレートの間で距離の関数を最小にする直線回帰を使用して導出され、前記線形モデルのパラメータは、対応するデコーダにより再構成された画素を使用して導出され、前記候補となるテンプレートは、前記ピクチャの以前に符号化された部分から発見される、
    ことを特徴とする方法。
29. 前記照明補償は、前記予測データに適応的に適用され、前記予測データは、変位されたイントラ予測及びテンプレートマッチング予測の少なくとも１つを有する、
    請求項２８記載の方法。
30. 前記照明補償は、結果的に得られるモデルを得るためにモデル化され、前記結果的に得られるモデルは、多項式関数、線形関数及び非線形関数の少なくとも１つに基づく、
    請求項２８記載の方法。
31. 前記結果的に得られるモデルは、一次多項式に基づく線形モデルである、
    請求項３０記載の方法。
32. 前記一次多項式は、加法的な定数に基づくオフセットのみの関数である、
    請求項３１記載の方法。
33. 前記結果的に得られるモデルのパラメータは、最小自乗関数を使用して解かれる、
    請求項３０記載の方法。
34. 前記テンプレートマッチングイントラ予測は、輝度データ、色度データ及び奥行きビューデータの少なくとも１つに適用される、
    請求項３０記載の方法。
35. 前記照明補償は、結果的に得られるモデルを得るためにモデル化され、前記結果的に得られるモデルのパラメータは、少なくとも１つのブロックレベルのシンタックスエレメント及び少なくとも１つの高水準のシンタックスエレメントのうちの少なくとも１つを使用して明示的に信号で伝送される、
    請求項２８記載の方法。
36. 前記照明補償は、結果的に得られたモデルを得るためにモデル化され、前記結果的に得られたモデルのパラメータは、前記ピクチャの現在のブロックと、前記現在のブロックに関して対応する予測されるブロックとに適用されるテンプレートマッチング手順から導出される、
    請求項２８記載の方法。

Images