JP2024531144A - ブロックベースのビデオ符号化のための符号予測 - Google Patents

Abstract

本開示の実装形態は、ビデオデコーダ側での変換係数符号予測のためのビデオ復号装置および方法を提供する。方法は、逆量子化された変換係数から変換係数候補のセットを選択することを含んでもよい。方法は、テンプレートベースの仮説生成スキームを適用して、変換係数候補のセットに対する複数の仮説候補から仮説を選択することを含んでもよい。方法は、選択された仮説に関連付けられた符号候補の組み合わせを、変換係数候補のセットに対する予測符号のセットであると決定することを含んでもよい。方法は、ビデオエンコーダから受信した予測符号のセットおよび符号シグナリングビットのシーケンスに基づいて、変換係数候補のセットの元の符号を推定することを含んでもよい。方法は、推定された変換係数候補のセットの元の符号に基づいて、逆量子化された変換係数を更新することを含んでもよい。

Description

関連出願の相互参照
本出願は、２０２１年８月１７日に出願された米国仮出願第６３／２３３，９４０号に基づき、当該仮出願に対する優先権を主張するものであり、当該仮出願の内容全体は、参照により本明細書に組み込まれる。
本出願は、ビデオの符号化および圧縮に関する。より詳細には、本出願は、ブロックベースのビデオ符号化における符号（ｓｉｇｎ）予測のためのビデオ処理システムおよび方法に関する。

デジタルビデオは、デジタルテレビ、ラップトップコンピュータまたはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、スマートフォン、ビデオ電話会議デバイス、ビデオストリーミングデバイスなど、様々な電子デバイスによってサポートされている。電子デバイスは、通信ネットワークを介してデジタルビデオデータを送信および受信するか、もしくは他の方法で通信し、かつ／またはデジタルビデオデータを記憶デバイスに記憶する。通信ネットワークの帯域幅容量に制限があるため、また記憶デバイスのメモリリソースに制限があるため、ビデオデータが通信または記憶される前に１つまたは複数のビデオ符号化標準に従ってビデオデータを圧縮するためにビデオ符号化が使用される場合がある。例えば、ビデオ符号化標準は、多用途ビデオ符号化（ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、共同探索テスト・モデル（ＪＥＭ：Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ ｔｅｓｔ Ｍｏｄｅｌ）、高効率ビデオ符号化（ＨＥＶＣ：Ｈｉｇｈ－Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ／Ｈ．２６５）、高度ビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ／Ｈ．２６４）、動画像専門家グループ（ＭＰＥＧ：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）符号化などを含む。ビデオ符号化は、一般に、ビデオデータに固有の冗長性を活用する予測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオ符号化は、ビデオ品質の低下を回避または最小化しながら、ビデオデータをより低いビットレートを使用する形式に圧縮することを目的としている。

本開示の実装形態は、ビデオデコーダ側での変換係数符号予測のためのビデオ復号方法を提供する。

ビデオ復号方法は、１つまたは複数のプロセッサによって、逆量子化（ｄｅｑｕａｎｔｉｚｅ）された変換係数から、変換係数符号予測のための変換係数候補のセットを選択することを含んでもよい。逆量子化された変換係数は、ビデオからのビデオフレームの変換ブロックに関連付けられる。ビデオ復号方法は、１つまたは複数のプロセッサによって、テンプレートベースの仮説生成スキームを適用して、変換係数候補のセットに対する複数の仮説候補から仮説を選択することをさらに含んでもよい。ビデオ復号方法は、１つまたは複数のプロセッサによって、選択された仮説に関連付けられた符号候補の組み合わせを、変換係数候補のセットに対する予測符号のセットであると決定することをさらに含んでもよい。ビデオ復号方法は、１つまたは複数のプロセッサによって、ビデオエンコーダから受信した予測符号のセットおよび符号シグナリングビットのシーケンスに基づいて、変換係数候補のセットの元の符号を推定することをさらに含んでもよい。ビデオ復号方法は、１つまたは複数のプロセッサによって、推定された変換係数候補のセットの元の符号に基づいて、逆量子化された変換係数を更新することをさらに含んでもよい。

本開示の実装形態は、ビデオデコーダ側での変換係数符号予測のためのビデオ復号装置も提供する。ビデオ復号装置は、複数のビデオフレームを含むビデオを記憶するように構成されたメモリと、メモリに結合された１つまたは複数のプロセッサとを含んでもよい。１つまたは複数のプロセッサは、変換係数符号予測のために逆量子化された変換係数から変換係数候補のセットを選択するように構成されてもよい。逆量子化された変換係数は、ビデオからのビデオフレームの変換ブロックに関連付けられる。１つまたは複数のプロセッサは、テンプレートベースの仮説生成スキームを適用して、変換係数候補のセットに対する複数の仮説候補から仮説を選択するようにさらに構成されてもよい。１つまたは複数のプロセッサは、選択された仮説に関連付けられた符号候補の組み合わせを、変換係数候補のセットに対する予測符号のセットであると決定するようにさらに構成されてもよい。１つまたは複数のプロセッサは、ビデオエンコーダから受信した予測符号のセットおよび符号シグナリングビットのシーケンスに基づいて、変換係数候補のセットの元の符号を推定するようにさらに構成されてもよい。１つまたは複数のプロセッサは、推定された変換係数候補のセットの元の符号に基づいて、逆量子化された変換係数を更新するようにさらに構成されてもよい。

本開示の実装形態はまた、命令を記憶した非一時的コンピュータ可読記憶媒体も提供し、命令は、１つまたは複数のプロセッサによって実行されたとき、ビデオデコーダ側での変換係数符号予測のためのビデオ復号方法を１つまたは複数のプロセッサに実行させる。ビデオ復号方法は、逆量子化された符号予測の変換係数から変換係数候補のセットを選択することを含んでもよい。逆量子化された変換係数は、ビデオからのビデオフレームの変換ブロックに関連付けられる。ビデオ復号方法は、テンプレートベースの仮説生成スキームを適用して、変換係数候補のセットに対する複数の仮説候補から仮説を選択することをさらに含んでもよい。ビデオ復号方法は、選択された仮説に関連付けられた符号候補の組み合わせを、変換係数候補のセットに対する予測符号のセットであると決定するステップをさらに含んでもよい。ビデオ復号方法は、予測符号のセットおよびビデオエンコーダからビットストリームを通じて受信された符号シグナリングビットのシーケンスに基づいて、変換係数候補のセットの元の符号を推定することをさらに含んでもよい。ビデオ復号方法は、推定された変換係数候補のセットの元の符号に基づいて、逆量子化された変換係数を更新することをさらに含んでもよい。ビットストリームは、非一時的コンピュータ可読記憶媒体に記憶される。

本開示の実装形態はまた、ビデオ方法によって復号可能なビットストリームを記憶した非一時的コンピュータ可読記憶媒体を提供する。ビデオ方法は、変換係数符号予測のために逆量子化された変換係数から変換係数候補のセットを選択するステップを含む。逆量子化された変換係数は、ビデオからのビデオフレームの変換ブロックに関連付けられる。ビデオ方法は、テンプレートベースの仮説生成スキームを適用して、変換係数候補のセットに対する複数の仮説候補から仮説を選択することを含む。ビデオ方法は、選択された仮説に関連付けられた符号候補の組み合わせを、変換係数候補のセットに対する予測符号のセットであると決定することを含む。ビデオ方法は、予測符号のセットおよびビデオエンコーダからビットストリームを通じて受信された符号シグナリングビットのシーケンスに基づいて、変換係数候補のセットの元の符号を推定することを含む。ビデオ方法は、推定された変換係数候補のセットの元の符号に基づいて、逆量子化された変換係数を更新することを含む。

前述の概略的な説明と以下の詳細な説明はどちらも単なる例であり、本開示を限定するものではないことを理解されたい。

本明細書に組み込まれ本明細書の一部を構成する添付図面は、本開示と一致する例を示し、説明とともに本開示の原理を説明する役割を果たす。

本開示のいくつかの実装形態に係るビデオブロックを符号化および復号するための例示的なシステムを示すブロック図である。 本開示のいくつかの実装形態に係る例示的なビデオエンコーダを示すブロック図である。 本開示のいくつかの実装形態に係る例示的なビデオデコーダを示すブロック図である。 本開示のいくつかの実装形態に係るフレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すグラフィカル表現である。 本開示のいくつかの実装形態に係るフレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すグラフィカル表現である。 本開示のいくつかの実装形態に係るフレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すグラフィカル表現である。 本開示のいくつかの実装形態に係るフレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すグラフィカル表現である。 本開示のいくつかの実装形態に係るフレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すグラフィカル表現である。 いくつかの例に係る係数グループ内の変換係数の左上走査順序を示すグラフィカル表現である。 いくつかの例に係る低周波非分離変換（ＬＦＮＳＴ：ｌｏｗ－ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）プロセスを示すグラフィカル表現である。 いくつかの例に係る順方向ＬＦＮＳＴに入力される一次変換係数の左上領域を示すグラフィカル表現である。 いくつかの例に係るイントラテンプレートマッチングの検索エリアを示すグラフィカル表現である。 いくつかの例に係る符号予測の例示的なプロセスを示すグラフィカル表現である。 いくつかの例に係る符号予測のためのコスト関数の算出を示すグラフィカル表現である。 本開示のいくつかの実装形態に係るブロックベースのビデオ符号化における例示的な符号予測処理を示すブロック図である。 本開示のいくつかの実装形態に係るテンプレートの線形結合に基づく例示的な仮説生成を示すグラフィカル表現である。 いくつかの例に係る既存の符号予測スキームの例示的な実装形態を示すグラフィック表現である。 本開示のいくつかの実装形態に係るベクトルベースの符号予測スキームの例示的な実装形態を示すグラフィカル表現である。 本開示のいくつかの実装形態に係る左対角方向に沿った左対角コスト関数の例示的な算出を示すグラフィカル表現である。 本開示のいくつかの実装形態に係る右対角方向に沿った右対角コスト関数の例示的な算出を示すグラフィカル表現である。 本開示のいくつかの実装形態に係るブロックベースのビデオ符号化における符号予測のための例示的な方法のフローチャートである。 本開示のいくつかの実装形態に係るブロックベースのビデオ符号化における符号予測のための別の例示的な方法のフローチャートである。 本開示のいくつかの実装形態に係るユーザインターフェースと結合されたコンピューティング環境を示すブロック図である。 本開示のいくつかの実装形態に係るビデオデコーダ側での変換係数符号予測のための例示的なビデオ復号方法のフローチャートである。

次に、特定の実装形態を詳細に参照するが、その実装形態の例は添付の図面に示されている。以下の詳細な説明では、本明細書に提示される主題の理解を助けるために、非限定的な具体的な詳細が多数記載されている。しかしながら、特許請求の範囲から逸脱することなく様々な代替案が使用され得ること、および、これらの具体的な詳細なしに主題が実践され得ることは、当業者には明らかであろう。例えば、本明細書で提示される主題がデジタルビデオ能力を有する多くのタイプの電子デバイス上で実装され得ることは、当業者には明らかであろう。

本開示の説明、特許請求の範囲、および添付の図面で使用される「第１」、「第２」などの用語は、対象物を区別するために使用されており、特定の順序またはシーケンスを説明するために使用されるものではないことが示されるべきである。このように使用されるデータは、本明細書に記載された本開示の実施形態が、添付図面に示されている順序または本開示に記載されている順序以外の順序で実施され得るように、適切な条件の下で交換されてもよいことを理解されたい。

図１は、本開示のいくつかの実装形態に係るビデオブロックを並行して符号化および復号するための例示的なシステム１０を示すブロック図である。図１に示されるように、システム１０は、宛先デバイス１４によって後で復号されるビデオデータを生成および符号化するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップまたはラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップ・ボックス、デジタルテレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイスなどを含む、多種多様な電子デバイスのいずれかを含んでもよい。いくつかの実装形態では、ソースデバイス１２および宛先デバイス１４にはワイヤレス通信機能が装備されている。

いくつかの実装形態では、宛先デバイス１４は、復号対象となる符号化済みビデオデータを、リンク１６を介して受信してもよい。リンク１６は、符号化済みビデオデータをソースデバイス１２から宛先デバイス１４に転送することが可能な任意のタイプの通信媒体またはデバイスを含んでもよい。一例において、リンク１６は、ソースデバイス１２が符号化済みビデオデータを宛先デバイス１４にリアルタイムで直接送信できるようにする通信媒体を含んでもよい。符号化済みビデオデータは、ワイヤレス通信プロトコルなどの通信標準に従って変調され、宛先デバイス１４に送信されてもよい。通信媒体は、無線周波数（ＲＦ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）スペクトルまたは１つもしくは複数の物理伝送線など、任意のワイヤレスまたはワイヤード通信媒体を含んでもよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成してもよい。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にするのに有用であり得る任意の他の機器を含んでもよい。

いくつかの他の実装形態では、符号化済みビデオデータは、出力インターフェース２２から記憶デバイス３２に送信されてもよい。その後、記憶デバイス３２内の符号化済みビデオデータは、入力インターフェース２８を介して宛先デバイス１４によってアクセスされてもよい。記憶デバイス３２は、ハードドライブ、ブルーレイディスク、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化済みビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、分散されたまたはローカルにアクセスされる様々なデータ記憶媒体のいずれかを含んでもよい。さらなる例では、記憶デバイス３２は、ソースデバイス１２によって生成された符号化済みビデオデータを記憶することができるファイルサーバまたは別の中間記憶デバイスに対応してもよい。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、記憶デバイス３２から、記憶されたビデオデータにアクセスしてもよい。ファイルサーバは、符号化済みビデオデータを記憶し、符号化済みビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのコンピュータであってもよい。例示的なファイルサーバは、ウェブサーバ（例えば、ウェブサイト用）、ファイル転送プロトコル（ＦＴＰ：Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバ、ネットワーク接続ストレージ（ＮＡＳ：Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、ワイヤレスチャネル（例えば、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）接続）、ワイヤード接続（例えば、デジタル加入者線（ＤＳＬ：Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、ケーブルモデムなど）、またはファイルサーバに記憶されている符号化済みビデオデータにアクセスするのに好適なそれらの任意の組み合わせを含む任意の標準データ接続を通じて、符号化済みビデオデータにアクセスしてもよい。記憶デバイス３２からの符号化済みビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組み合わせであってもよい。

図１に示されるように、ソースデバイス１２は、ビデオソース１８、ビデオエンコーダ２０、および出力インターフェース２２を含む。ビデオソース１８は、ビデオ捕捉デバイス、例えば、ビデオカメラ、以前に捕捉されたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオデータを受信するためのビデオフィードインターフェース、および／もしくはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータ・グラフィックス・システム、またはそのようなソースの組み合わせなどのソースを含んでもよい。一例として、ビデオソース１８がセキュリティ監視システムのビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、カメラ電話またはビデオ電話を含んでもよい。しかしながら、本開示で説明される実装形態は、一般にビデオ符号化に適用可能であってもよく、ワイヤレスおよび／またはワイヤード・アプリケーションに適用可能であってもよい。

捕捉されたビデオ、事前に捕捉されたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化されてもよい。符号化済みビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信されてもよい。符号化済みビデオデータはまた（または代替として）、復号および／または再生のために宛先デバイス１４または他のデバイスによって後でアクセスするために、記憶デバイス３２に記憶されてもよい。出力インターフェース２２は、モデムおよび／または送信機をさらに含んでもよい。

宛先デバイス１４は、入力インターフェース２８、ビデオデコーダ３０、およびディスプレイデバイス３４を含む。入力インターフェース２８は、受信機および／またはモデムを含み、リンク１６を介して、符号化済みビデオデータを受信してもよい。リンク１６を介して通信されるまたは記憶デバイス３２上に提供される符号化済みビデオデータは、ビデオデータを復号する際にビデオデコーダ３０によって使用するための、ビデオエンコーダ２０によって生成される様々な構文要素を含んでもよい。このような構文要素は、通信媒体上で送信される、記憶媒体上に記憶される、またはファイルサーバ上に記憶される、符号化済みビデオデータ内に含まれてもよい。

いくつかの実装形態では、宛先デバイス１４は、ディスプレイデバイス３４を含んでもよく、ディスプレイデバイス３４は、一体化されたディスプレイデバイス、および宛先デバイス１４と通信するように構成された外部ディスプレイデバイスであり得る。ディスプレイデバイス３４は、復号されたビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、プラズマ・ディスプレイ、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ、または別のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのいずれかを含んでもよい。

ビデオエンコーダ２０およびビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ１０、ＡＶＣ、またはそのような標準の拡張などの独自の標準または業界標準に従って動作してもよい。本開示は特定のビデオ符号化／復号標準に限定されず、他のビデオ符号化／復号標準にも適用可能であることを理解されたい。ソースデバイス１２のビデオエンコーダ２０が、これらの現在または将来の標準のいずれかに従ってビデオデータを符号化するように構成され得ることが一般に企図されている。同様に、宛先デバイス１４のビデオデコーダ３０が、これらの現在または将来の標準のいずれかに従ってビデオデータを復号するように構成され得ることも一般に企図されている。

ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせなど、様々な好適なエンコーダおよび／またはデコーダ回路のいずれかとして実装されてもよい。電子デバイスは、ソフトウェアにおいて部分的に実装される場合、ソフトウェア用の命令を好適な非一時的コンピュータ可読媒体に記憶し、１つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行して、本開示で開示されたビデオ符号化／復号動作を実施してもよい。ビデオエンコーダ２０およびビデオデコーダ３０のそれぞれは、１つもしくは複数のエンコーダまたはデコーダに含まれてもよく、そのいずれも、それぞれのデバイス内の組み合わされたエンコーダ／デコーダ（ＣＯＤＥＣ：ｃｏｍｂｉｎｅｄ ｅｎｃｏｄｅｒ／ｄｅｃｏｄｅｒ）の一部として統合されてもよい。

図２は、本出願で説明されるいくつかの実装形態に係る、例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックのイントラ予測符号化およびインター予測符号化を実施してもよい。イントラ予測符号化は、空間予測に依存して、所与のビデオフレームまたはピクチャ内のビデオデータにおける空間的冗長性を削減または除去する。インター予測符号化は、時間予測に依存して、ビデオシーケンスの隣接するビデオフレームまたはピクチャ内のビデオデータにおける時間的冗長性を削減または除去する。「フレーム」という用語は、ビデオ符号化の分野では「画像」または「ピクチャ」という用語と同義語として使用される場合があることに留意されたい。

図２に示されるように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理ユニット４１、復号化ピクチャバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）６４、加算器５０、変換処理ユニット５２、量子化ユニット５４、およびエントロピー符号化ユニット５６を含む。予測処理ユニット４１はさらに、動き推定ユニット４２、動き補償ユニット４４、区分ユニット４５、イントラ予測処理ユニット４６、イントラブロックコピー（ＢＣ）ユニット４８を含む。いくつかの実装形態では、ビデオエンコーダ２０は、ビデオブロック再構築のための逆量子化ユニット５８、逆変換処理ユニット６０、および加算器６２も含む。ブロック境界をフィルタリングして、再構築されたビデオデータからブロックアーチファクトを除去するために、加算器６２とＤＰＢ６４との間にデブロッキングフィルタなどのループ内フィルタ６３が配置されてもよい。加算器６２の出力をフィルタリングするために、デブロッキングフィルタに加えて、ＳＡＯフィルタおよび／または適応ループ内フィルタ（ＡＬＦ：Ａｄａｐｔｉｖｅ ｉｎ－Ｌｏｏｐ Ｆｉｌｔｅｒ）などの別のループ内フィルタも使用されてもよい。いくつかの例では、ループ内フィルタは省略されてもよく、復号されたビデオブロックは、加算器６２によってＤＰＢ６４に直接提供されてもよい。ビデオエンコーダ２０は、固定のもしくはプログラム可能なハードウェアユニットの形式をとってもよく、または、図示された固定のもしくはプログラム可能なハードウェアユニットの１つまたは複数に分割されてもよい。

ビデオデータメモリ４０は、ビデオエンコーダ２０の構成要素によって符号化されるビデオデータを記憶してもよい。ビデオデータメモリ４０内のビデオデータは、例えば、図１に示されたビデオソース１８から取得されてもよい。ＤＰＢ６４は、ビデオエンコーダ２０によって（例えば、イントラ予測符号化モードまたはインター予測符号化モードで）ビデオデータを符号化する際に使用する参照ビデオデータ（例えば、参照フレームまたは参照ピクチャ）を記憶するバッファである。ビデオデータメモリ４０およびＤＰＢ６４は、様々なメモリ・デバイスのいずれかによって形成されてもよい。様々な例において、ビデオデータメモリ４０は、ビデオエンコーダ２０の他の構成要素とオンチップであってもよく、または、それらの構成要素に対してオフチップであってもよい。

図２に示されるように、予測処理ユニット４１内の区分ユニット４５は、ビデオデータを受信した後、ビデオデータをビデオブロックに区分する。この区分は、ビデオデータに関連付けられた４分木（ＱＴ：Ｑｕａｄ－Ｔｒｅｅ）構造などの事前定義された分裂構造に従ってビデオフレームをスライス、タイル（例えば、ビデオブロックのセット）、または他のより大きな符号化ユニット（ＣＵ）に区分することも含んでもよい。ビデオフレームは、サンプル値を有するサンプルの２次元配列または行列であるか、またはそれらとみなされてもよい。配列内のサンプルは、画素またはペルと呼ばれることもある。配列またはピクチャの水平方向および垂直方向（または軸）のサンプルの数が、ビデオフレームのサイズおよび／または解像度を定義する。ビデオフレームは、例えばＱＴ区分を使用することによって複数のビデオブロックに分割されてもよい。ビデオブロックもやはり、ビデオフレームよりも小さい寸法ではあるが、サンプル値を有するサンプルの２次元配列または行列であるか、またはそれらとみなされてもよい。ビデオブロックの水平方向および垂直方向（または軸）のサンプルの数が、ビデオブロックのサイズを定義する。ビデオブロックは、例えば、ＱＴ区分、２分木（ＢＴ：Ｂｉｎａｒｙ－Ｔｒｅｅ）区分、もしくは３分木（ＴＴ：Ｔｒｉｐｌｅ－Ｔｒｅｅ）区分、またはそれらの任意の組み合わせを反復的に使用することによって、（再びブロックを形成し得る）１つもしくは複数のブロック区分またはサブブロックにさらに区分されてもよい。本明細書で使用される「ブロック」または「ビデオブロック」という用語がフレームまたはピクチャの一部分、特に矩形（正方形または非正方形）部分であり得ることに留意されたい。例えば、ＨＥＶＣおよびＶＶＣを参照すると、ブロックまたはビデオブロックは、符号化木ユニット（ＣＴＵ）、ＣＵ、予測ユニット（ＰＵ）、もしくは変換ユニット（ＴＵ）であるかもしくはそれらに対応してもよく、かつ／または、対応するブロック、例えば、符号化木ブロック（ＣＴＢ）、符号化ブロック（ＣＢ）、予測ブロック（ＰＢ）、もしくは変換ブロック（ＴＢ）であるかもしくはそれらに対応してもよい。代替としてまたは追加として、ブロックまたはビデオブロックは、ＣＴＢ、ＣＢ、ＰＢ、ＴＢなどのサブブロックであるか、またはそれに対応してもよい。

予測処理ユニット４１は、誤差結果（例えば、符号化レートおよび歪みのレベル）に基づいて現在のビデオブロックに対して、複数のイントラ予測符号化モードのうちの１つ、または複数のインター予測符号化モードのうちの１つなど、複数の可能な予測符号化モードのうちの１つを選択してもよい。予測処理ユニット４１は、結果として得られるイントラ予測符号化ブロックまたはインター予測符号化ブロック（例えば、予測ブロック）を、加算器５０に提供して残差ブロックを生成し、加算器６２に提供して、後で参照フレームの一部として使用するために符号化ブロックを再構築してもよい。予測処理ユニット４１はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのような構文情報などの構文要素をエントロピー符号化ユニット５６に提供する。

現在のビデオブロックにとって適切なイントラ予測符号化モードを選択するために、予測処理ユニット４１内のイントラ予測処理ユニット４６は、符号化対象となる現在ブロックと同じフレーム内の１つまたは複数の隣接ブロックに対する現在のビデオブロックのイントラ予測符号化を実行して、空間予測を提供してもよい。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、１つまたは複数の参照フレーム内の１つまたは複数の予測ブロックに対する現在のビデオブロックのインター予測符号化を実行して、時間予測を提供してもよい。ビデオエンコーダ２０は、例えば、ビデオデータのブロックごとに適切な符号化モードを選択するために、複数の符号化パスを実行してもよい。

いくつかの実装形態では、動き推定ユニット４２は、ビデオフレームのシーケンス内の所定のパターンに従って、参照フレーム内の予測ブロックに対する現在のビデオフレーム内のビデオブロックの変位を示す動きベクトルを生成することによって、現在のビデオフレームのインター予測モードを決定する。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定し得る動きベクトルを生成するプロセスであってもよい。動きベクトルは、例えば、参照フレーム内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックの変位を示してもよい。所定のパターンは、シーケンス内のビデオフレームをＰフレームまたはＢフレームとして指定してもよい。イントラＢＣユニット４８は、インター予測のための動き推定ユニット４２による動きベクトルの決定と同様の方法で、イントラＢＣ符号化のためのベクトル、例えばブロックベクトルを決定してもよく、または、動き推定ユニット４２を利用してブロックベクトルを決定してもよい。

ビデオブロックの予測ブロックは、差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）、または他の差分メトリックによって決定され得る画素差分の観点から、符号化対象となるビデオブロックと厳密に一致するとみなされる参照フレームのブロックもしくは基準ブロックであるか、またはそれらに対応してもよい。いくつかの実装形態では、ビデオエンコーダ２０は、ＤＰＢ６４に記憶された参照フレームのサブ整数画素位置の値を算出してもよい。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位置、１／８画素位置、または他の分数画素位置の値を補間してもよい。したがって、動き推定ユニット４２は、全体の画素位置および分数画素位置に対する動き探索を実行し、分数画素精度を有する動きベクトルを出力してもよい。

動き推定ユニット４２は、ビデオブロックの位置を第１の参照フレームリスト（リスト０）または第２の参照フレームリスト（リスト１）から選択された参照フレームの予測ブロックの位置と比較することによって、インター予測符号化フレーム内のビデオブロックの動きベクトルを算出し、参照フレームリストはそれぞれ、ＤＰＢ６４に記憶されている１つまたは複数の参照フレームを識別する。動き推定ユニット４２は、算出された動きベクトルを動き補償ユニット４４に送り、次いで、エントロピー符号化ユニット５６に送る。

動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを含んでもよい。動き補償ユニット４４は、現在のビデオブロックの動きベクトルを受信すると、参照フレームリストのうちの１つにおいて動きベクトルが指し示す予測ブロックの位置を特定し、その予測ブロックをＤＰＢ６４から取得し、その予測ブロックを加算器５０に転送してもよい。次いで、加算器５０は、符号化されている現在のビデオブロックの画素値から、動き補償ユニット４４によって提供される予測ブロックの画素値を減算することによって、画素差分値の残差ブロックを形成する。残差ブロックを形成する画素差分値は、ルマ差分成分もしくはクロマ差分成分、またはその両方を含んでもよい。動き補償ユニット４４はまた、ビデオフレームのビデオブロックを復号する際にビデオデコーダ３０によって使用される、ビデオフレームのビデオブロックに関連付けられた構文要素を生成してもよい。構文要素は、例えば、予測ブロックを識別するために使用される動きベクトルを定義する構文要素、予測モードを示す任意のフラグ、または本明細書に記載の任意の他の構文情報を含んでもよい。動き推定ユニット４２および動き補償ユニット４４は統合されてもよく、概念的な目的のために図２に別々に図示されていることに留意されたい。

いくつかの実装形態では、イントラＢＣユニット４８は、動き推定ユニット４２および動き補償ユニット４４に関連して上記で説明された方法と同様の方法で、ベクトルを生成して予測ブロックをフェッチしてもよいが、予測ブロックは、符号化されている現在ブロックと同じフレーム内にあり、ベクトルは、動きベクトルではなくブロックベクトルと呼ばれる。具体的には、イントラＢＣユニット４８は、現在ブロックを符号化するために使用するイントラ予測モードを決定してもよい。いくつかの例では、イントラＢＣユニット４８は、例えば別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し、レート歪み分析を通じてそれらの性能をテストしてもよい。次に、イントラＢＣユニット４８は、テストされた様々なイントラ予測モードの中から、使用する適切なイントラ予測モードを選択し、それに応じてイントラモードインジケータを生成してもよい。例えば、イントラＢＣユニット４８は、テストされた様々なイントラ予測モードに対するレート歪み分析を使用してレート歪み値を算出し、テストされたモードの中から、最良のレート歪み特性を有するイントラ予測モードを、使用する適切なイントラ予測モードとして選択してもよい。レート歪み分析は、一般に、符号化ブロックと、符号化ブロックを作成するために符号化された元の符号化されていないブロックとの間の歪み（または誤差）の量、および、符号化ブロックを作成するために使用されたビットレート（すなわち、ビット数）を決定する。イントラＢＣユニット４８は、様々な符号化ブロックの歪みおよびレートから比率を算出して、どのイントラ予測モードがそのブロックに対して最良のレート歪み値を示すかを判定してもよい。

他の例では、イントラＢＣユニット４８は、動き推定ユニット４２および動き補償ユニット４４を全体的または部分的に使用して、本明細書に記載の実装形態に係るイントラＢＣ予測のためのそのような機能を実行してもよい。いずれの事例においても、イントラブロックコピーの場合、予測ブロックは、ＳＡＤ、ＳＳＤ、または他の差分メトリックによって決定され得る画素差分の観点から、符号化対象となるブロックと厳密に一致するとみなされるブロックであってもよく、予測ブロックの識別は、サブ整数画素位置の値の算出を含んでもよい。

予測ブロックがイントラ予測による同じフレームからのブロックであるか、インター予測による異なるフレームからのブロックであるかに関わらず、ビデオエンコーダ２０は、符号化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算することによって残差ブロックを形成し、画素差分値を形成してもよい。残差ブロックを形成する画素差分値は、ルマ成分差分とクロマ成分差分との両方を含んでもよい。

イントラ予測処理ユニット４６は、上記で説明されたように、動き推定ユニット４２および動き補償ユニット４４によって実行されるインター予測、またはイントラＢＣユニット４８によって実行されるイントラブロックコピー予測の代替として、現在のビデオブロックをイントラ予測してもよい。具体的には、イントラ予測処理ユニット４６は、現在ブロックを符号化するために使用するイントラ予測モードを決定してもよい。例えば、イントラ予測処理ユニット４６は、例えば別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化してもよく、イントラ予測処理ユニット４６（または、いくつかの例では、モード選択ユニット）は、テストされたイントラ予測モードから、使用する適切なイントラ予測モードを選択してもよい。イントラ予測処理ユニット４６は、ブロックに対して選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供してもよい。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報をビットストリームに符号化してもよい。

予測処理ユニット４１がインター予測またはイントラ予測によって現在のビデオブロックの予測ブロックを決定した後、加算器５０は、現在のビデオブロックから予測ブロックを減算することによって残差ブロックを形成する。残差ブロック内の残差ビデオデータは、１つまたは複数のＴＵに含まれてもよく、変換処理ユニット５２に提供される。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを変換係数に変換する。

変換処理ユニット５２は、結果として生じる変換係数を量子化ユニット５４に送ってもよい。量子化ユニット５４は、変換係数を量子化してビットレートをさらに低減する。量子化プロセスはまた、係数の一部またはすべてに関連付けられたビット深度を低減してもよい。量子化の程度は、量子化パラメータを調整することによって修正されてもよい。いくつかの例では、量子化ユニット５４は、次いで、量子化された変換係数を含む行列の走査を実行してもよい。代替として、エントロピー符号化ユニット５６が走査を実行してもよい。

量子化に続いて、エントロピー符号化ユニット５６は、例えば、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）、構文ベースのコンテキスト適応型２値算術符号化（ＳＢＡＣ：Ｓｙｎｔａｘ－ｂａｓｅｄ ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）、確率間隔区分エントロピー（ＰＩＰＥ：Ｐｒｏｂａｂｉｌｉｔｙ Ｉｎｔｅｒｖａｌ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｅｎｔｒｏｐｙ）符号化、または別のエントロピー符号化方法論または技法を使用して、量子化された変換係数をビデオビットストリームに符号化するエントロピー符号化技法を使用してもよい。次いで、符号化されたビットストリームは、図１に示されるようにビデオデコーダ３０に送信されるか、または、後のビデオデコーダ３０への送信もしくはビデオデコーダ３０による取得のために、図１に示されるように記憶デバイス３２にアーカイブされてもよい。エントロピー符号化ユニット５６はまた、エントロピー符号化技法を使用して符号化されている現在のビデオフレームの動きベクトルおよび他の構文要素を符号化してもよい。

逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、他のビデオブロックの予測のための基準ブロックを生成するために画素領域において残差ブロックを再構築する。再構築された残差ブロックは、そのように生成されてもよい。上述されたように、動き補償ユニット４４は、ＤＰＢ６４に記憶されたフレームの１つまたは複数の基準ブロックから、動き補償された予測ブロックを生成してもよい。動き補償ユニット４４はまた、１つまたは複数の補間フィルタを予測ブロックに適用して、動き推定で使用するためのサブ整数画素値を算出してもよい。

加算器６２は、再構築された残差ブロックを、動き補償ユニット４４によって作成された動き補償された予測ブロックに加算して、ＤＰＢ６４に記憶するための基準ブロックを作成する。次いで、基準ブロックは、イントラＢＣユニット４８、動き推定ユニット４２、および動き補償ユニット４４によって、後続のビデオフレーム内の別のビデオブロックをインター予測するための予測ブロックとして使用されてもよい。

図３は、本出願のいくつかの実装形態に係る、例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号ユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、加算器９０、およびＤＰＢ９２を含む。予測処理ユニット８１はさらに、動き補償ユニット８２、イントラ予測ユニット８４、およびイントラＢＣユニット８５を含む。ビデオデコーダ３０は、図２に関連してビデオエンコーダ２０に関して上記で説明された符号化プロセスとほぼ逆の復号プロセスを実行してもよい。例えば、動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルに基づいて予測データを生成してもよく、一方、イントラ予測ユニット８４は、エントロピー復号ユニット８０から受信されたイントラ予測モード・インジケータに基づいて予測データを生成してもよい。

いくつかの例では、ビデオデコーダ３０のユニットは、本出願の実装形態を実行するようにタスクを課されてもよい。また、いくつかの例では、本開示の実装形態は、ビデオデコーダ３０のユニットのうちの１つまたは複数に分割されてもよい。例えば、イントラＢＣユニット８５は、単独で、または動き補償ユニット８２、イントラ予測ユニット８４、およびエントロピー復号ユニット８０などのビデオデコーダ３０の他のユニットと組み合わせて、本出願の実装形態を実行してもよい。いくつかの例では、ビデオデコーダ３０は、イントラＢＣユニット８５を含まなくてもよく、イントラＢＣユニット８５の機能は、動き補償ユニット８２などの予測処理ユニット８１の他の構成要素によって実行されてもよい。

ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素によって復号される、符号化されたビデオビットストリームなどのビデオデータを記憶してもよい。ビデオデータメモリ７９に記憶されるビデオデータは、例えば、記憶デバイス３２から、カメラなどのローカルビデオソースから、ビデオデータのワイヤードもしくはワイヤレス・ネットワーク通信を介して、または物理的なデータ記憶媒体（例えば、フラッシュ・ドライブもしくはハード・ディスク）にアクセスすることによって取得されてもよい。ビデオデータメモリ７９は、符号化されたビデオビットストリームからの符号化済みビデオデータを記憶する符号化ピクチャ・バッファ（ＣＰＢ）を含んでもよい。ビデオデコーダ３０のＤＰＢ９２は、ビデオデコーダ３０によって（例えば、イントラ予測符号化モードまたはインター予測符号化モードで）ビデオデータを復号する際に使用する参照ビデオデータを記憶する。ビデオデータメモリ７９およびＤＰＢ９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリ・デバイスを含むダイナミック・ランダムアクセスメモリ（ＤＲＡＭ）などの様々なメモリ・デバイスのいずれかによって形成されてもよい。例示のために、図３では、ビデオデータメモリ７９およびＤＰＢ９２は、ビデオデコーダ３０の２つの別個の構成要素として描写されている。しかしながら、当業者には、ビデオデータメモリ７９およびＤＰＢ９２が同じメモリ・デバイスまたは別個のメモリ・デバイスによって提供され得ることが明らかであろう。いくつかの例では、ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素とオンチップであってもよく、または、それらの構成要素に対してオフチップであってもよい。

復号プロセス中、ビデオデコーダ３０は、符号化されたビデオフレームのビデオブロックおよび関連する構文要素を表す符号化されたビデオビットストリームを受信する。ビデオデコーダ３０は、ビデオフレーム・レベルおよび／またはビデオブロック・レベルで構文要素を受信してもよい。ビデオデコーダ３０のエントロピー復号ユニット８０は、ビットストリームを復号するエントロピー復号技法を使用して、量子化係数、動きベクトルまたはイントラ予測モード・インジケータ、および他の構文要素を取得してもよい。次いで、エントロピー復号ユニット８０は、動きベクトルまたはイントラ予測モード・インジケータおよび他の構文要素を予測処理ユニット８１に転送する。

ビデオフレームがイントラ予測符号化（例えば、Ｉ）フレームとしてまたは他のタイプのフレーム内のイントラ符号化予測ブロックに対して符号化されるとき、予測処理ユニット８１のイントラ予測ユニット８４は、信号伝達されたイントラ予測モード、および現在のフレームの以前に復号されたブロックからの参照データに基づいて、現在のビデオフレームのビデオブロックに対する予測データを生成してもよい。

ビデオフレームがインター予測符号化（すなわち、ＢまたはＰ）フレームとして符号化されるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロックに対する１つまたは複数の予測ブロックを作成する。予測ブロックのそれぞれは、参照フレームリストのうちの１つの中の参照フレームから作成されてもよい。ビデオデコーダ３０は、ＤＰＢ９２に記憶された参照フレームに基づくデフォルトの構築技法を使用して、参照フレームリストである、例えばリスト０およびリスト１を構築してもよい。

いくつかの例では、ビデオブロックが本明細書に記載のイントラＢＣモードに従って符号化されるとき、予測処理ユニット８１のイントラＢＣユニット８５は、エントロピー復号ユニット８０から受信されたブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックの予測ブロックを作成する。予測ブロックは、ビデオエンコーダ２０によって処理された現在のビデオブロックと同じピクチャの再構築された領域内にあってもよい。

動き補償ユニット８２および／またはイントラＢＣユニット８５は、動きベクトルおよび他の構文要素を解析することによって現在のビデオフレームのビデオブロックの予測情報を決定し、次いで、その予測情報を使用して、復号されている現在のビデオブロックの予測ブロックを作成する。例えば、動き補償ユニット８２は、受信された構文要素のいくつかを使用して、ビデオフレームのビデオブロックを符号化するために使用される予測モード（例えば、イントラ予測またはインター予測）、インター予測フレーム・タイプ（例えば、ＢまたはＰ）、フレームの参照フレームリストのうちの１つまたは複数に関する構築情報、フレームの各インター予測符号化ビデオブロックの動きベクトル、フレームの各インター予測符号化ビデオブロックのインター予測ステータス、および現在のビデオフレーム内のビデオブロックを復号するための他の情報を決定する。

同様に、イントラＢＣユニット８５は、受信された構文要素のいくつか、例えばフラグを使用して、現在のビデオブロックがイントラＢＣモードを使用して予測されたこと、フレームのどのビデオブロックが再構築領域内にありＤＰＢ９２に記憶されるべきであるかに関する構築情報、フレームの各イントラＢＣ予測ビデオブロックのブロックベクトル、フレームの各イントラＢＣ予測ビデオブロックのイントラＢＣ予測ステータス、および現在のビデオフレーム内のビデオブロックを復号するための他の情報を決定してもよい。

動き補償ユニット８２はまた、ビデオブロックの符号化中にビデオエンコーダ２０によって使用される補間フィルタを使用して補間を実行して、基準ブロックのサブ整数画素の補間値を算出してもよい。この場合、動き補償ユニット８２は、受信された構文要素からビデオエンコーダ２０によって使用される補間フィルタを決定し、その補間フィルタを使用して予測ブロックを作成してもよい。

逆量子化ユニット８６は、ビデオフレーム内のビデオブロックごとにビデオエンコーダ２０によって算出された同じ量子化パラメータを使用して、ビットストリーム内に提供されエントロピー復号ユニット８０によって復号された量子化変換係数を逆量子化して、量子化度を決定する。逆変換処理ユニット８８は、画素領域内の残差ブロックを再構築するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。

動き補償ユニット８２またはイントラＢＣユニット８５がベクトルおよび他の構文要素に基づいて現在のビデオブロックの予測ブロックを生成した後、加算器９０は、逆変換処理ユニット８８からの残差ブロックと動き補償ユニット８２およびイントラＢＣユニット８５によって生成された対応する予測ブロックとを加算することによって、現在のビデオブロックの復号されたビデオブロックを再構築する。復号されたビデオブロックは、現在のビデオブロックの再構築されたブロックと呼ばれることもある。復号されたビデオブロックをさらに処理するために、加算器９０とＤＰＢの間にデブロッキングフィルタ、ＳＡＯフィルタ、および／またはＡＬＦなどのループ内フィルタ９１が配置されてもよい。いくつかの例では、ループ内フィルタ９１は省略されてもよく、復号されたビデオブロックは加算器９０によってＤＰＢ９２に直接提供されてもよい。次いで、所与のフレーム内の復号されたビデオブロックは、次のビデオブロックの後続の動き補償に使用される参照フレームを記憶するＤＰＢ９２に記憶される。ＤＰＢ９２またはＤＰＢ９２とは別個のメモリ・デバイスは、図１のディスプレイデバイス３４などのディスプレイデバイス上に後で提示するために、復号されたビデオを記憶してもよい。

（例えば、ビデオ符号化プロセスおよびビデオ復号プロセスを含む）典型的なビデオ符号化プロセスでは、ビデオシーケンスは、典型的には、順序付けされたフレームまたはピクチャのセットを含む。各フレームは、ＳＬ、ＳＣｂ、およびＳＣｒで示される３つのサンプル配列を含んでもよい。ＳＬは、ルマサンプルの２次元配列である。ＳＣｂは、Ｃｂクロマサンプルの２次元配列である。ＳＣｒは、Ｃｒクロマサンプルの２次元配列である。他の例では、フレームは、単色であってもよく、したがってルマサンプルの２次元配列を１つだけ含む。

図４Ａに示されるように、ビデオエンコーダ２０（または、より具体的には区分ユニット４５）は、最初にフレームを１組のＣＴＵに区分することによって、フレームの符号化された表現を生成する。ビデオフレームは、ラスタ走査順序で左から右および上から下に連続して配置された整数個のＣＴＵを含んでもよい。各ＣＴＵは最も大きい論理符号化単位であり、ビデオシーケンス内のすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２、および１６×１６のいずれか１つである同じサイズを有するように、ＣＴＵの幅および高さはシーケンスパラメータセットにおいてビデオエンコーダ２０によって信号伝達される。しかしながら、本開示におけるＣＴＵが必ずしも特定のサイズに限定されるわけではないことに留意されたい。図４Ｂに示されるように、各ＣＴＵは、ルマサンプルの１つのＣＴＢと、クロマサンプルの２つの対応する符号化木ブロックと、符号化木ブロックのサンプルを符号化するために使用される構文要素とを含んでもよい。構文要素は、画素の符号化されたブロックの異なるタイプの単位の特性、ならびにインター予測またはイントラ予測、イントラ予測モード、動きベクトル、および他のパラメータを含む、ビデオデコーダ３０においてビデオシーケンスがどのように再構築され得るかを記述する。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＴＵは、単一の符号化木ブロックと、符号化木ブロックのサンプルを符号化するために使用される構文要素とを含んでもよい。符号化木ブロックは、サンプルのＮ×Ｎブロックであってもよい。

より良好な性能を実現するために、ビデオエンコーダ２０は、ＣＴＵの符号化木ブロック上で２分木区分、３分木区分、４分木区分、またはそれらの組み合わせなどの木区分を再帰的に実行し、ＣＴＵをより小さいＣＵに分割してもよい。図４Ｃに描写されるように、６４×６４のＣＴＵ４００は、最初に、それぞれが３２×３２のブロックサイズを有する４つのより小さいＣＵに分割される。４つのより小さいＣＵのうち、ＣＵ４１０およびＣＵ４２０はそれぞれ、ブロックサイズによって１６×１６の４つのＣＵに分割される。２つの１６×１６のＣＵ４３０およびＣＵ４４０はそれぞれ、ブロックサイズによって８×８の４つのＣＵにさらに分割される。図４Ｄは、図４Ｃに描写されたＣＴＵ４００の区分プロセスの最終結果を示す４分木データ構造を描写しており、４分木の各葉ノードは、３２×３２から８×８までの範囲のそれぞれのサイズの１つのＣＵに対応する。図４Ｂに描写されたＣＴＵと同様に、各ＣＵは、ルマサンプルのＣＢと、同じサイズのフレームのクロマサンプルの２つの対応する符号化ブロックと、符号化ブロックのサンプルを符号化するために使用される構文要素とを含んでもよい。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するために使用される構文構造とを含んでもよい。図４Ｃおよび図４Ｄに描写された４分木区分は説明のみを目的としており、様々な局所特定に適応するために、１つのＣＴＵが４分木／３分木／２分木区分に基づいてＣＵに分裂され得ることに留意されたい。マルチタイプ木構造では、１つのＣＴＵは４分木構造によって区分され、各４分木葉ＣＵは２分木構造および３分木構造によってさらに区分され得る。図４Ｅに示されるように、幅Ｗおよび高さＨを有する符号化ブロックの複数の可能な区分タイプ、すなわち、４区分、垂直２区分、水平２区分、垂直３区分、垂直拡張３区分、水平３区分、および水平拡張３区分がある。

いくつかの実装形態では、ビデオエンコーダ２０は、ＣＵの符号化ブロックを１つまたは複数のＭ×ＮのＰＢにさらに区分してもよい。ＰＢは、インター予測またはイントラ予測の同じ予測が適用されるサンプルの矩形（正方形または非正方形）ブロックを含んでもよい。ＣＵのＰＵは、ルマサンプルのＰＢと、クロマサンプルの２つの対応するＰＢと、ＰＢを予測するために使用される構文要素とを含んでもよい。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＰＵは、単一のＰＢと、ＰＢを予測するために使用される構文構造とを含んでもよい。ビデオエンコーダ２０は、ＣＵの各ＰＵのルマ、Ｃｂ、およびＣｒのＰＢに対する予測ルマブロック、予測Ｃｂブロック、および予測Ｃｒブロックを生成してもよい。

ビデオエンコーダ２０は、イントラ予測またはインター予測を使用してＰＵの予測ブロックを生成してもよい。ビデオエンコーダ２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレームの復号されたサンプルに基づいてＰＵの予測ブロックを生成してもよい。ビデオエンコーダ２０がインター予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレーム以外の１つまたは複数のフレームの復号されたサンプルに基づいてＰＵの予測ブロックを生成してもよい。

ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵに対して予測ルマブロック、予測Ｃｂブロック、および予測Ｃｒブロックを生成した後、ビデオエンコーダ２０は、ＣＵのルマ残差ブロック内の各サンプルがＣＵの予測ルマブロックのうちの１つ内のルマサンプルとＣＵの元のルマ符号化ブロック内の対応するサンプルとの間の差分を示すように、ＣＵの予測ルマブロックをその元のルマ符号化ブロックから減算することによってＣＵのルマ残差ブロックを生成してもよい。同様に、ビデオエンコーダ２０は、ＣＵのＣｂ残差ブロック内の各サンプルがＣＵの予測Ｃｂブロックのうちの１つ内のＣｂサンプルとＣＵの元のＣｂ符号化ブロック内の対応するサンプルとの間の差分を示すように、またＣＵのＣｒ残差ブロック内の各サンプルがＣＵの予測Ｃｒブロックのうちの１つ内のＣｒサンプルとＣＵの元のＣｒ符号化ブロック内の対応するサンプルとの間の差分を示し得るように、ＣＵのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成してもよい。

さらに、図４Ｃに示されるように、ビデオエンコーダ２０は、４分木区分を使用して、ＣＵのルマ残差ブロック、Ｃｂ残差ブロック、およびＣｒ残差ブロックをそれぞれ１つまたは複数のルマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解してもよい。変換ブロックは、同じ変換が適用されるサンプルの矩形（正方形または非正方形）ブロックを含んでもよい。ＣＵのＴＵは、ルマサンプルの変換ブロックと、クロマサンプルの２つの対応する変換ブロックと、変換ブロック・サンプルを変換するために使用される構文要素とを含んでもよい。したがって、ＣＵの各ＴＵは、ルマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられてもよい。いくつかの例では、ＴＵに関連付けられたルマ変換ブロックは、ＣＵのルマ残差ブロックのサブブロックであってもよい。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであってもよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであってもよい。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するために使用される構文構造とを含んでもよい。

ビデオエンコーダ２０は、ＴＵのルマ変換ブロックに１つまたは複数の変換を適用して、ＴＵのルマ係数ブロックを生成してもよい。係数ブロックは変換係数の２次元配列であってもよい。変換係数はスカラ量であってもよい。ビデオエンコーダ２０は、ＴＵのＣｂ変換ブロックに１つまたは複数の変換を適用して、ＴＵのＣｂ係数ブロックを生成してもよい。ビデオエンコーダ２０は、ＴＵのＣｒ変換ブロックに１つまたは複数の変換を適用して、ＴＵのＣｒ係数ブロックを生成してもよい。

ビデオエンコーダ２０は、係数ブロック（例えば、ルマ係数ブロック、Ｃｂ係数ブロック、またはＣｒ係数ブロック）を生成した後、係数ブロックを量子化してもよい。量子化は、一般に、変換係数を表現するために使用されるデータ量を可能性として削減してさらなる圧縮を実現するために、変換係数が量子化されるプロセスを指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、エントロピー符号化技法を適用して量子化された変換係数を示す構文要素を符号化してもよい。例えば、ビデオエンコーダ２０は、量子化された変換係数を示す構文要素に対してＣＡＢＡＣを実行してもよい。最後に、ビデオエンコーダ２０は、符号化されたフレームおよび関連データの表現を形成するビットのシーケンスを含むビットストリームを出力してもよく、ビットストリームは、記憶デバイス３２に保存されるか、または宛先デバイス１４に送信される。

ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信した後、ビットストリームを解析してビットストリームから構文要素を取得してもよい。ビデオデコーダ３０は、ビットストリームから取得された構文要素に少なくとも部分的に基づいてビデオデータのフレームを再構築してもよい。ビデオデータを再構築するプロセスは、ビデオエンコーダ２０によって実行される符号化プロセスとほぼ逆である。例えば、ビデオデコーダ３０は、現在のＣＵのＴＵに関連付けられた係数ブロックに対して逆変換を実行して、現在のＣＵのＴＵに関連付けられた残差ブロックを再構築してもよい。ビデオデコーダ３０はまた、現在のＣＵのＰＵの予測ブロックのサンプルを現在のＣＵのＴＵの変換ブロックの対応するサンプルに加算することによって、現在のＣＵの符号化ブロックを再構築する。ビデオデコーダ３０は、フレームの各ＣＵについて符号化ブロックを再構築した後、フレームを再構築してもよい。

上述されたように、ビデオ符号化は、主に２つのモード、すなわちフレーム内予測（またはイントラ予測）およびフレーム間予測（またはインター予測）を使用してビデオ圧縮を実現する。イントラブロックコピー（ＩＢＣ）はフレーム内予測または第３のモードとみなされ得ることに留意されたい。参照ビデオブロックから現在のビデオブロックを予測するために動きベクトルを使用するので、２つのモードのうち、フレーム間予測の方がフレーム内予測よりも符号化効率に大きく寄与する。

しかしながら、ビデオデータ捕捉技術が常に向上しており、ビデオデータの詳細を保持するためのビデオブロックサイズがより微細化されているため、現在のフレームの動きベクトルを表現するために必要なデータ量も大幅に増加している。この課題を克服する方法の１つは、空間領域と時間領域との両方における隣接するＣＵのグループが予測目的のために類似するビデオデータを有するだけでなく、これらの隣接するＣＵ間の動きベクトルも類似しているという事実から恩恵を受けることである。したがって、空間的に隣接するＣＵおよび／または時間的に同じ場所にあるＣＵの動き情報を、それらの空間的相関および時間的相関を調査することによって現在のＣＵの動き情報（例えば、動きベクトル）の近似値として使用することが可能であり、これは、現在のＣＵの「動きベクトル予測子（ＭＶＰ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）」とも呼ばれる。

現在のＣＵの実際の動きベクトルをビデオビットストリームに符号化する代わりに（例えば、実際の動きベクトルは、図２に関連して上記で説明されたように動き推定ユニット４２によって決定される）、現在のＣＵの動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）を作成するために、現在のＣＵの実際の動きベクトルから現在のＣＵの動きベクトル予測子が減算される。そうすることにより、動き推定ユニット４２によってフレームのＣＵごとに決定された動きベクトルをビデオビットストリームに符号化する必要がなくなり、ビデオビットストリーム内の動き情報を表現するために使用されるデータ量が大幅に削減され得る。

符号ブロックのフレーム間予測中に参照フレーム内の予測ブロックを選ぶプロセスと同様に、現在のＣＵの空間的に隣接するＣＵおよび／または時間的に同じ位置にあるＣＵに関連付けられた潜在的な候補動きベクトルを使用して現在のＣＵの動きベクトル候補リスト（「マージ・リスト」とも呼ばれる）を構築し、次いで、動きベクトル候補リストから現在のＣＵの動きベクトル予測子として１つの要素を選択するために、ビデオエンコーダ２０とビデオデコーダ３０との両方によって一連の規則が採用され得る。そうすることにより、動きベクトル候補リスト自体をビデオエンコーダ２０からビデオデコーダ３０に送信する必要がなくなり、ビデオエンコーダ２０およびビデオデコーダ３０が現在のＣＵを符号化および復号するために動きベクトル候補リスト内の同じ動きベクトル予測子を使用するには、動きベクトル候補リスト内の選択された動きベクトル予測子のインデックスで十分である。したがって、選択された動きベクトル予測子のインデックスのみがビデオエンコーダ２０からビデオデコーダ３０に送られる必要がある。

ブロックベースのビデオ符号化プロセスにおける（例えば、拡張圧縮モデル（ＥＣＭ：Ｅｎｈａｎｃｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ Ｍｏｄｅｌ）における）変換係数符号化に関する簡単な説明が、本明細書に提供される。具体的には、各変換ブロックは、最初に、複数の係数グループ（ＣＧ：ｃｏｅｆｆｉｃｉｅｎｔ ｇｒｏｕｐ）に分割され、各係数グループは、ルマ成分の４×４サブブロックおよびクロマ成分の２×２サブブロックの変換係数を含む。変換ブロック内の変換係数の符号化は、係数グループ単位で実施される。例えば、変換ブロック内の係数グループは、第１の所定の走査順序に基づいて走査および符号化される。各係数グループを符号化するとき、係数グループの変換係数は、各サブブロック内の第２の所定の走査順序に基づいて走査される。ＥＣＭでは、変換ブロック内の係数グループと各係数グループ内の異なる変換係数とを走査するために、同じ左上走査順序が適用される（例えば、第１の所定の走査順序と第２の所定の走査順序はどちらも、左上走査順序である）。図５は、いくつかの例に係る、係数グループ内の変換係数の左上走査順序を示すグラフィカル表現である。図５の０から１５の数字は、係数グループ内の各変換係数の対応する走査順序を示す。

ＥＣＭにおける変換係数符号化方式によれば、最初に、変換ブロックごとに、その変換ブロックが非ゼロ変換係数を含むかどうかを示すためのフラグが信号伝達される。変換ブロック内に少なくとも非ゼロ変換係数がある場合、左上走査順序に従って走査された最後の非ゼロ変換係数の位置は、ビデオエンコーダ２０からビデオデコーダ３０に明示的に信号伝達される。最後の非ゼロ変換係数の位置が信号伝達されると、最後の係数グループ（すなわち、最後の非ゼロ係数を含む係数グループ）の前に符号化されるすべての係数グループについてフラグがさらに信号伝達される。同様に、フラグの数字は、各係数グループが非ゼロ変換係数を含むかどうかを示す。係数グループのフラグがゼロに等しい場合（係数グループ内のすべての変換係数がゼロであることを示す）、その係数グループに関してそれ以上の情報が送られる必要はない。それ以外の場合（例えば、係数グループのフラグが１に等しい場合）、絶対値、および係数グループ内の各変換係数の符号が、走査順序に従ってビットストリームで信号伝達される。しかしながら、既存の設計では、変換係数の符号がバイパス符号化され（例えば、コンテキスト・モデルが適用されない）、現在の設計における非効率的な変換符号化につながる。本開示によれば、変換符号化効率が改善され得るような、変換係数の符号予測を伴う改良されたＬＦＮＳＴプロセスが以下でより詳細に説明される。

図６は、いくつかの例に係る、ＬＦＮＳＴプロセスを示すグラフィカル表現である。ＶＶＣでは、一次変換後に、イントラ符号化されたブロックの変換係数のエネルギーを圧縮するために、二次変換ツール（例えば、ＬＦＮＳＴ）が適用される。図６に示されるように、ビデオエンコーダ２０において、順方向一次変換６０３と量子化６０５との間に順方向ＬＦＮＳＴ６０４が適用され、ビデオデコーダ３０において、逆量子化６０７と逆一次変換６０９との間に逆ＬＦＮＳＴ６０８が適用される。例えば、ＬＦＮＳＴプロセスは、順方向ＬＦＮＳＴ６０４と逆ＬＦＮＳＴ６０８との両方を含んでもよい。いくつかの例として、４×４の順方向ＬＦＮＳＴ６０４の場合、１６個の入力係数があり得、８×８の順方向ＬＦＮＳＴ６０４の場合、６４個の入力係数があり得、４×４の逆ＬＦＮＳＴ６０８の場合、８個の入力係数があり得、８×８の逆ＬＦＮＳＴ６０８の場合、１６個の入力係数があり得る。

順方向ＬＦＮＳＴ６０４では、符号化ブロックのサイズに基づいて、可変変換サイズの非分離変換が適用され、これは、行列乗算プロセスを使用して表され得る。例えば、順方向ＬＦＮＳＴ６０４が４×４ブロックに適用されると仮定する。４×４ブロック内のサンプルは、次の式（１）に示されるように行列Ｘを使用して表現され得る。

上記の式（１）または（２）において、Ｘは、順方向一次変換６０３を通じて得られる係数行列を指し、Ｘ_ｉｊは、行列Ｘにおける一次変換係数を指す。次いで、式（３）に従って順方向ＬＦＮＳＴ６０４が次のように適用される。

いくつかの実装形態では、ＬＦＮＳＴプロセスにおいて、縮小された非分離変換カーネルが適用され得る。例えば、上記の式（３）に基づけば、順方向ＬＦＮＳＴ６０４は、計算演算および変換係数を記憶するメモリソースの観点でコストが高い直接行列乗算に基づいている。したがって、縮小された非分離変換カーネルをＬＦＮＳＴ設計で使用して、Ｒ＜Ｎの場合においてＮ次元ベクトルを別の空間のＲ次元ベクトルにマッピングすることによって、ＬＦＮＳＴプロセスの実装コストを削減することができる。例えば、変換カーネルにＮ×Ｎ行列を使用する代わりに、順方向ＬＦＮＳＴ６０４の変換カーネルとして、式（４）に示されるようなＲ×Ｎ行列が使用される。

上記の式（４）において、Ｔ_Ｒ×ＮのＲ基底ベクトルは、元のＮ次元変換カーネル（すなわち、Ｎ×Ｎ）の最初のＲ基底を選択することによって生成される。さらに、Ｔ_Ｒ×Ｎが直交であるとすると、逆ＬＦＮＳＴ６０８の逆変換行列は、順変換行列Ｔ_Ｒ×Ｎの転置である。

８×８ＬＦＮＳＴの場合、因数Ｎ／Ｒ＝４が適用される場合、順方向ＬＦＮＳＴ６０４では、６４×６４変換行列が１６×４８変換行列に縮小され、逆ＬＦＮＳＴ６０８では、６４×６４逆変換行列が４８×１６逆変換行列に縮小される。これは、一次変換係数の左上領域内の８×８サブブロックにＬＦＮＳＴプロセスを適用することによって実現される。具体的には、１６×４８順方向ＬＦＮＳＴが適用されるとき、左上の８×８サブブロック（右下の４×４サブブロックを除く）内の３つの４×４サブブロックから４８個の変換係数を入力として取得する。いくつかの例では、ＬＦＮＳＴプロセスは、左上の４×４サブブロックの外側のすべての変換係数がゼロである場合にのみ適用可能であるように制限され、これは、ＬＦＮＳＴが適用されるとき、すべての１次のみの変換係数がゼロでなければならないことを示す。さらに、（画素ごとの乗算に関して）最悪の場合の複雑性を制御するために、４×４符号化ブロックおよび８×８符号化ブロックのＬＦＮＳＴ行列には、それぞれ８×１６変換および８×４８変換が強制される。４×Ｍ符号化ブロックおよびＭ×４符号化ブロック（Ｍ＞４）の場合、ＬＦＮＳＴの非分離変換行列は１６×１６である。

ＬＦＮＳＴ変換信号伝達において、合計４つの変換セットがあり、ＬＦＮＳＴ設計では変換セットごとに２つの非分離変換カーネルが有効である。イントラブロックのイントラ予測モードに従って、４つの変換セットの中から変換セットが選択される。イントラ予測モードから変換セットへのマッピングは、以下の表１に示されるように予め定められている。現在ブロック（８１＜＝ｐｒｅｄＭｏｄｅＩｎｔｒａ＜＝８３）について、３つの交差成分線形モデル（ＣＣＬＭ：Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｍｏｄｅｌ）モード（例えば、ＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭ、またはＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ）のうちの１つが使用される場合、現在のクロマブロックには変換セット「０」が選択される。変換セットごとに、選択された非分離二次変換候補は、ビットストリームにおいてＬＦＮＳＴインデックスを信号伝達することによって示される。

いくつかの例では、最初の１６×１６サブブロックの外側のすべての変換係数がゼロである場合にＬＦＮＳＴがイントラブロックに適用されるように制限されるので、ＬＦＮＳＴインデックス信号伝達は、最後の有効な（すなわち、非ゼロの）変換係数の位置に依存する。例えば、４×４符号化ブロックおよび８×８符号化ブロックの場合、ＬＦＮＳＴインデックスは、最後の有効な変換係数の位置が８未満の場合にのみ信号伝達される。他の符号化ブロックサイズの場合、ＬＦＮＳＴインデックスは、最後の有効な変換係数の位置が１６未満の場合にのみ信号伝達される。それ以外の場合（すなわち、ＬＦＮＳＴインデックスが信号伝達されない場合）、ＬＦＮＳＴインデックスはゼロである、すなわち、ＬＦＮＳＴは無効であると推論される。

さらに、変換係数をキャッシュするためのバッファのサイズを縮小するために、現在の符号化ブロックの幅または高さが、シーケンスパラメータセット（ＳＰＳ）で信号伝達される最大変換サイズ（すなわち、６４）より大きい場合、ＬＦＮＳＴは許可されない。一方、ＬＦＮＳＴは、一次変換がＤＣＴ２である場合にのみ適用される。さらに、ＬＦＮＳＴは、イントラスライスとインタースライスとの両方におけるイントラ符号化ブロックに対して、またルマ成分とクロマ成分との両方について適用される。二重ツリー（ｄｕａｌ－ｔｒｅｅ）またはローカルツリー（ｌｏｃａｌ－ｔｒｅｅ）が有効である場合（すなわち、ルマ成分の区分とクロマ成分の区分とが整列していない場合）、ＬＦＮＳＴインデックスはルマ成分とクロマ成分とに対して個別に信号伝達される（すなわち、ルマ成分とクロマ成分は異なるＬＦＮＳＴ変換を適用することができる）。それ以外の場合、単一木が適用されるとき（ルマ成分の区分とクロマ成分の区分とが整列している場合）、ＬＦＳＮＴは、単一のＬＦＮＳＴインデックスが信号伝達される状態でルマ成分にのみ適用される。

ＥＣＭにおけるＬＦＮＳＴ設計は、大きなブロックサイズの残差サンプルのエネルギー圧縮の向上を実現するために追加のＬＦＮＳＴカーネルが導入されることを除いて、ＶＶＣにおける設計と同様である。具体的には、変換ブロックの幅または高さが１６以上であるとき、一次変換から生成された低周波変換係数の左上領域に新しいＬＦＮＳＴ変換が導入される。現在のＥＣＭでは、図７に示されるように、低周波領域は、一次変換係数の左上隅に６つの４×４サブブロック（例えば、図７では灰色で示された６つの４×４サブブロック）を含む。この場合、順方向ＬＦＮＳＴ６０４への係数入力の数は９６である。さらに、最悪の場合の計算複雑性を制御するために、順方向ＬＦＮＳＴ６０４の係数出力の数は３２に設定される。具体的には、Ｗ＞＝１６およびＨ＞＝１６のＷ×Ｈ変換ブロックの場合、左上領域内の６つの４×４サブブロックから９６個の変換係数を入力として取得して３２個の変換係数を出力する、３２×９６順方向ＬＦＮＳＴが適用される。一方、ＥＣＭにおける８×８ＬＦＮＳＴは、４つの４×４サブブロックすべての変換係数を入力として利用し、３２個の変換係数を出力する（すなわち、順方向ＬＦＮＳＴ６０４の場合は３２×６４行列であり、逆ＬＦＮＳＴ６０８場合は６４×３２行列である）。これは、８×８ＬＦＮＳＴが左上領域内の３つの４×４サブブロックにのみ適用されて１６個の変換係数のみを生成する（すなわち、順方向ＬＦＮＳＴ６０４の場合は１６×４８行列であり、逆ＬＦＮＳＴ６０８の場合は４８×１６行列である）ＶＶＣとは異なる。さらに、ＬＦＮＳＴセットの総数は、ＶＶＣにおける４からＥＣＭにおける３５に増加する。ＶＶＣと同様に、ＬＦＮＳＴセットの選択は現在の符号化単位のイントラ予測モードに依存し、各ＬＦＮＳＴセットは３つの異なる変換カーネルを含む。

いくつかの例では、ＨＥＶＣで使用されるＤＣＴ２変換に加えて、インター符号化ブロックとイントラ符号化ブロックとの両方の残差を変換するための多重変換選択（ＭＴＳ：ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ）方式が適用される。ＭＴＳ方式は、ＤＣＴ８変換およびＤＳＴ７変換から選択された複数の変換を使用する。

例えば、イントラモードおよびインターモードのＭＴＳ方式を個別に有効にするために、シーケンスレベルで２つの制御フラグが指定される。ＭＴＳ方式がシーケンスレベルで有効であるとき、ＭＴＳ方式が適用されるか否かを示すために、別のＣＵレベルフラグがさらに信号伝達される。いくつかの実装形態では、ＭＴＳ方式はルマ成分にのみ適用される。さらに、ＭＴＳ方式は、次の条件（ａ）幅と高さとの両方が３２以下であること、（ｂ）符号化ブロックフラグ（ＣＢＦ：Ｃｏｄｅｄ Ｂｌｏｃｋ Ｆｌａｇ）が１に等しいことが満たされる場合にのみ信号伝達される。ＭＴＳのＣＵフラグがゼロに等しい場合、ＤＣＴ２は水平方向と垂直方向との両方に適用される。ＭＴＳのＣＵフラグが１に等しい場合、水平方向および垂直方向の変換タイプを個々に示すために、追加として他の２つのフラグが信号伝達される。次の表２には、ＭＴＳの水平制御フラグおよび垂直制御フラグと適用される変換との間のマッピングが示されている。

変換行列の精度に関しては、ＭＴＳ変換係数はすべて、ＤＣＴ２コア変換と同じ６ビット精度である。ＨＥＶＣで使用されるすべての変換サイズをＶＶＣがサポートしているとすると、４点、８点、１６点、および３２点ＤＣＴ－２変換ならびに４点ＤＳＴ－７変換を含むＨＥＶＣで使用されるすべての変換コアは、ＶＶＣと同じに保たれる。一方、６４点ＤＣＴ－２、４点ＤＣＴ－８、８点、１６点、３２点ＤＳＴ－７およびＤＣＴ－８を含む他の変換コアも、ＶＶＣ変換設計においてさらにサポートされている。さらに、大きなサイズのＤＳＴ－７およびＤＣＴ－８の複雑性を軽減するために、幅または高さのいずれかが３２に等しいとき、ＤＳＴ－７およびＤＣＴ－８変換ブロックでは、１６×１６の低周波領域の外側に位置する高周波変換係数がゼロに設定される（ゼロアウトとも呼ばれる）。

ＶＶＣでは、イントラ符号化およびインター符号化のために、ＤＣＴ２に加えて、ＤＳＴ７およびＤＣＴ８変換カーネルのみが使用される。イントラ符号化の場合、通常、残差信号の統計的特性はイントラ予測モードに依存する。追加の一次変換は、残差特性の多様性を処理するのに有益な場合がある。

ＤＣＴ５、ＤＳＴ４、ＤＳＴ１、および恒等変換（ＩＤＴ：ｉｄｅｎｔｉｔｙ ｔｒａｎｓｆｏｒｍ）を含む追加の一次変換がＥＣＭで使用される。また、ＭＴＳセットは、ＴＵサイズおよびイントラモード情報に依存して作成される。１６の異なるＴＵサイズが考慮され、ＴＵサイズごとにイントラモード情報に応じて５つの異なるクラスが考慮され得る。クラスごとに４つの異なる変換ペアが考慮される（ＶＶＣのものと同じ）。合計８０の異なるクラスが考慮され得るが、多くの場合、それらの異なるクラスのうちのいくつかは同じ変換セットを共有する。したがって、結果として得られるルックアップ・テーブル（ＬＵＴ）には５８（８０未満）の一意のエントリが存在する。

角度モードの場合、ＴＵ形状およびイントラ予測にわたる結合対称性（ｊｏｉｎｔ ｓｙｍｍｅｔｒｙ）が考慮される。したがって、ＴＵ形状Ａ×Ｂを有するモードｉ（ｉ＞３４）は、ＴＵ形状Ｂ×Ａを有するモードｊ＝（６８－ｉ）に対応する同じクラスにマッピングされてもよい。しかしながら、変換ペアごとに、水平変換カーネルおよび垂直変換カーネルの順序が入れ替わる。例えば、モード１８（水平予測）を有する１６×４ブロックおよびモード５０（垂直予測）を有する４×１６ブロックは、垂直変換カーネルと水平変換カーネルとが入れ替わった状態で、同じクラスにマッピングされる。広角モードの場合、最も近い従来の角度モードが変換セットの決定に使用される。例えば、モード２は、－２から－１４の間のすべてのモードに使用される。同様に、モード６６は、モード６７からモード８０までに使用される。

イントラテンプレートマッチング予測は、現在のフレームの再構築された部分から予測ブロックをコピーするイントラ予測モードの一例であり、予測ブロックのＬ字型テンプレートは、現在のテンプレートと一致する。所定の検索範囲について、ビデオエンコーダ２０は、現在のフレームの再構築された部分において（例えば、ＳＡＤコストに基づいて）現在のテンプレートに最も類似したテンプレートを検索し、対応するブロックを予測ブロックとして使用する。次いで、ビデオエンコーダ２０は、このモードの使用を信号伝達し、デコーダ側で同じ予測動作が実行される。予測信号は、図８に示されるように（ａ）現在のＣＴＵ（Ｒ１）、（ｂ）左上のＣＴＵ（Ｒ２）、（ｃ）上のＣＴＵ（Ｒ３）、および（ｄ）左のＣＴＵ（Ｒ４）を含む所定の検索エリアにおいて、現在ブロックのＬ字型因果的隣接部（ｃａｕｓａｌ ｎｅｉｇｈｂｏｒ）を別のブロックと一致させることによって生成される。イントラテンプレートマッチングは、幅および高さが６４以下のサイズのＣＵに対して有効である。一方、イントラテンプレートマッチング予測モードは、ＣＵレベルでフラグを信号伝達することによって示される。幅または高さが４から１６の間（４および１６を含む）の符号化ブロックにイントラテンプレートマッチングが適用される場合、対応する寸法に適用される一次変換は、ＤＳＴ－ＶＩＩに設定される。それ以外の場合（すなわち、幅または高さが４より小さいか、または１６より大きい場合）、ＤＣＴ－ＩＩがその寸法に適用される。

図９は、いくつかの例に係る符号予測の例示的なプロセスを示すグラフィカル表現である。いくつかの実装形態では、符号予測は、変換ブロック内の変換係数の符号をその隣接ブロックのサンプルから推定し、推定された各符号と対応する真の符号との間の差を「０」（または「１」）を用いて符号化して、推定された符号が真の符号と同じである（または同じでない）ことを示すように意図され得る。符号が高割合で正確に推定され得る（例えば、符号の９０％または９５％が正しく推定される）場合、推定された符号と真の符号との間の差は０になる傾向があり、これは、ＶＶＣの変換係数のバイパス符号化された符号と比較された場合、ＣＡＢＡＣによって効率的にエントロピー符号化され得る。

一般に、現在ブロックとその隣接ブロックとの間の境界におけるサンプル間には高相関があり、この高相関は、現在ブロックの変換係数の符号を予測するために符号予測スキームによって利用され得る。図９に示されるように、現在ブロック内にＭ個の非ゼロ変換係数があると仮定する（Ｍ個の符号はそれぞれ＋または－のどちらかである）。この場合、符号の可能な組み合わせの総数は２^Ｍ通りである。符号予測スキームは、符号の各組み合わせを使用して、対応する仮説（例えば、現在ブロックの上境界および左境界にある再構築されたサンプル）を生成し、対応する仮説内の再構築されたサンプルを隣接ブロックからの外挿サンプルと比較して、再構築されたサンプルと外挿サンプルとの間のサンプル差（例えば、ＳＳＤまたはＳＡＤ）を取得する。（符号の２^Ｍ通りの可能な組み合わせのうち）サンプル差を最小にする符号の組み合わせが、現在ブロック内の予測符号として選択される。

いくつかの実装形態では、図９に示されるように、Ｍ個の符号の各組み合わせに対する対応する仮説を生成するために、逆量子化演算および逆変換によってＭ個の対応する変換係数が処理されて、残差サンプルを得ることができる。残差サンプルが予測サンプルと加算されて、再構築されたサンプルを得ることができ、再構築されたサンプルは、（Ｌ字型の灰色のエリア９０２に示されるように）現在ブロックの上境界および左境界にある再構築されたサンプルを含む。

いくつかの実装形態では、符号の組み合わせの選択のために、現在ブロックとその隣接ブロックとの境界におけるサンプル間の空間不連続性を測定するコスト関数が使用される。コスト関数は、Ｌ２ノルム（ＳＳＤ）を使用する代わりに、以下の式（５）に示されるようにＬ１ノルム（ＳＡＤ）に基づくことができる。

上記の式（５）において、Ｂ_ｉ，ｎ（ｉ＝－２、－１）は、上隣接ブロックからの現在ブロックの隣接サンプルを表す。Ｃ_ｍ，ｊ（ｊ＝－２、－１）は、左隣接ブロックからの現在ブロックの隣接サンプルを表す。Ｐ_０，ｎおよびＰ_ｍ，０は、それぞれ、現在ブロックの上境界および左境界にある対応する再構築されたサンプルを表す。ＮおよびＭは、それぞれ、現在ブロックの幅および高さを表す。図１０は、符号予測のためのコスト関数を算出するために使用される、現在ブロックの対応するサンプルＰ_０，ｎおよびＰ_ｍ，０と、隣接ブロックの対応するサンプルＢ_ｉ，ｎおよびＣ_ｍ，ｊとを示す。

いくつかの実装形態では、複数の逆変換を行うことの複雑さを回避するために、符号予測スキームにおいて、テンプレートベースの仮説再構築方法が適用され得る。各テンプレートは、現在ブロックの上境界および左境界にある再構築されたサンプルのセットとすることができ、係数行列に逆変換を適用することによって取得され得、特定の係数は１に設定され、他のすべての係数は０に等しい。逆変換（例えば、ＤＣＴ、ＤＳＴ）が線形であるとすると、対応する仮説は、事前に算出されたテンプレートのセットの線形結合によって生成され得る。

いくつかの実装形態では、予測符号は２つのセットに分類され、各セットは単一のＣＡＢＡＣコンテキストによって符号化される。例えば、第１のセットは、変換ブロックの左上隅にある変換係数の予測符号を含み、第２のセットは、変換ブロックの他のすべての位置にある変換係数の予測符号を含む。

符号予測スキームの現在の設計に存在するいくつかの例示的な欠陥が本明細書において特定される。第１の例では、現在のＥＣＭにおける符号予測は、一次変換（例えば、ＤＣＴ変換およびＤＳＴ変換）のみが適用される変換ブロックにおける変換係数に対する符号の予測にのみ適用可能である。上述されたように、イントラ符号化ブロックの残差サンプルのエネルギー圧縮の向上を実現するために、一次変換からの変換係数にＬＦＮＳＴが適用され得る。しかしながら、現在のＥＣＭ設計でＬＦＮＳＴが適用される変換ブロックでは、符号予測がバイパスされる。

第２の例では、符号予測の複雑性を制御するために、変換ブロックに対して予測符号の所定の最大数（「Ｌ_ｍａｘ」と表記される）が決定される。現在のＥＣＭでは、ビデオエンコーダは、複雑性と符号化効率との間のトレードオフに基づいて最大数の値（例えば、Ｌ_ｍａｘ＝８）を決定し、その値をビデオデコーダに送る。さらに、変換ブロックごとに、ビデオエンコーダまたはデコーダは、すべての変換係数をラスタ走査順序で走査してもよく、最初のＬ_ｍａｘ個の非ゼロ変換係数が符号予測のための変換係数候補として選択される。変換ブロック内の異なる変換係数をこのように均等に処理することは、符号予測の正確性の観点からは最適ではない可能性がある。例えば、比較的大きな大きさの変換係数の場合、その符号の予測は、正しい予測を達成する可能性が高まることがある。これは、これらの変換係数に誤った符号を使用すると、ブロック境界上の再構築されたサンプル上に、比較的小さい大きさの変換係数を使用することによって生じる影響よりも大きな影響が生じる傾向があるからである。

第３の例では、ビデオエンコーダまたはデコーダは、明示的な符号値を直接符号化する代わりに、予測符号の正しさを符号化することができる。例えば、正の符号を有する変換係数に関して、その予測符号も正である場合、ビデオエンコーダからビデオデコーダへのビットストリーム内で示される必要があるのはビン「０」のみである。この場合、予測符号は、変換係数の真の符号（または元の符号）と同じであり、この変換係数の符号予測が正しいことを示している。それ以外の場合（例えば、予測符号が負であるのに対し、真の符号が正である場合）、ビデオエンコーダからビデオデコーダへのビットストリーム内にビン「１」が含まれてもよい。すべての符号が正しく予測されている場合、ビットストリーム内で示される対応するビンは０であり、これは、ＣＡＢＡＣによって効率的にエントロピー符号化され得る。符号のうちのいくつかが誤って予測されている場合、ビットストリーム内で示される対応するビンは１である。算術符号化および適切なコンテキスト・モデルは、その対応する確率に従ってビンを符号化するのに効率的であり得るが、符号値を示すためにビットストリーム内に生成される無視できないビットが依然として存在する。

第４の例では、ＥＣＭにおける符号予測の現在の設計における最良の符号予測の組み合わせの選択のために、現在ブロックとその隣接ブロックとの間の境界におけるサンプル間の空間不連続性が使用される。空間不連続性を捕捉するために、垂直方向および水平方向に沿った勾配差のＬ１ノルムが利用される。しかしながら、通常、画像信号の分布は不均一であるため、垂直方向および水平方向だけを使用すると、空間不連続性を正確に捕捉することができない場合がある。

本開示によれば、上記の例示的な欠陥のうちの１つまたは複数に対処するために、ブロックベースのビデオ符号化における符号予測のためのビデオ処理方法およびシステムが本明細書で提供される。本明細書で開示される方法およびシステムは、ハードウェア・コーデック実装の使いやすさを考慮しながら、符号予測の符号化効率を向上させることができる。本明細書で開示される方法およびシステムは、ブロックの係数を変換するために符号予測技術を適用する変換ブロックの符号化効率を向上させることができる。

例えば、上述されたように、符号予測は、変換ブロックとその空間的に隣接するブロックとの境界またはその境界近くに位置する境界サンプル（境界線サンプルとも呼ばれる）間の相関に基づいて、変換ブロック内の変換係数の符号を予測してもよい。相関の存在がどの特定の変換が適用されるかに依存しないとすると、２つの符号化ツール（すなわち、ＬＦＮＳＴおよび符号予測）は互いに干渉せず、共同で適用され得る。さらに、ＬＦＮＳＴは一次変換の変換係数のエネルギーをさらに圧縮するので、ＬＦＮＳＴの変換係数の符号予測は、一次変換の符号予測よりも正確になる可能性がある。これは、ＬＦＮＳＴからの変換係数の符号予測が正しくないと、境界サンプルの平滑性にさらに大きな不一致が生じる可能性があるからである。したがって、本開示によれば、ＬＦＮＳＴと符号予測との組み合わせを可能にして変換係数符号化の符号化効率を向上させる調和方式が本明細書に開示される。さらに、逆変換の数を低減するために、予測符号の異なる組み合わせに対する境界線サンプルを再構築するテンプレートベースの仮説生成スキームも本明細書で開示される。

別の例では、上記で説明されたように、符号予測のための変換係数候補を選択するために変換ブロック内の異なる変換係数に同等の処理を与える代わりに、隣接ブロックの境界サンプル間の不一致につながる可能性がある変換係数の符号がより容易に予測されると仮定して、これらの変換係数に対してより高い重みが与えられてもよい。本開示によれば、本明細書に開示される方法およびシステムは、符号予測の正確性を向上させるために、１つまたは複数の選択基準に基づいて、符号予測のための変換係数候補（例えば、変換ブロックについてその符号が予測される変換係数）を選択することができる。例えば、符号予測の正確性を向上させることができるように、（再構築された境界線サンプルに対する影響が小さい変換係数ではなく）再構築された境界線サンプルにより大きな影響を与える変換係数が、符号予測のための変換係数候補として選択される。

さらに別の例では、変換ブロック内の変換係数の符号が高い正確率で予測されるとき（例えば、予測符号の正しさが８０％または９０％などの閾値よりも高いとき）、変換ブロックとその隣接ブロックとの境界サンプル間には強い相関が存在する。この場合、ほとんどのシナリオについて正しく予測され得る連続した変換係数（例えば、特に変換ブロックの先頭のいくつかの非ゼロ変換係数）が存在する可能性があるという状況が一般的に生じる。このようなシナリオでは、（複数のビンの代わりに）単一のビンを使用して、すべての連続する変換係数の符号が正しく予測されているか否かを示し、符号予測の信号伝達オーバーヘッドを節約することができる。本開示によれば、符号予測の信号伝達オーバーヘッドを削減するために、ベクトルベースの符号予測スキームが本明細書に開示される。各非ゼロ変換係数の符号を個別に予測する既存の符号予測とは異なり、開示されたベクトルベースの符号予測スキームは、予測符号の正しさを示すために使用されるビン（またはビット）の平均数を効率的に低減できるように、連続する非ゼロ変換係数候補のセットをグループ化し、それらの対応する符号を一緒に予測する。

さらに別の例では、垂直方向および水平方向のみを使用すると、現在ブロックとその隣接ブロックとの間の境界におけるサンプル間の空間不連続性を正確に捕捉できない可能性がある。したがって、空間不連続性をより正確に捕捉するために、より多くの方向が導入されてもよい。本開示によれば、空間不連続性をより正確に捕捉するために垂直方向および水平方向の勾配と対角方向の勾配との両方を考慮する改良されたコスト関数が本明細書に開示される。

図１１は、本開示のいくつかの実装形態に係るブロックベースのビデオ符号化における例示的な符号予測処理１１００を示すブロック図である。いくつかの実装形態では、符号予測処理１１００は、変換処理ユニット５２によって実行されてもよい。いくつかの実装形態では、符号予測処理１１０は、ビデオエンコーダ２０またはデコーダ３０の１つまたは複数のプロセッサ（例えば、１つまたは複数のビデオプロセッサ）によって実行されてもよい。本開示全体を通して、ＬＦＮＳＴは、一般性を失うことなく二次変換の一例として使用される。本明細書において二次変換の他の例も適用され得ることが企図される。

ＥＣＭの既存の設計では、符号予測は、ＬＦＮＳＴが適用される変換ブロックに対しては無効である。しかしながら、符号予測の原理は、変換ブロックとその空間的に隣接するブロックとの境界線サンプル間の相関に基づいて変換係数の符号を予測することであり、これは、変換ブロックに適用される特定の変換タイプ（例えば、変換タイプが一次変換か二次変換か）または変換コア（例えば、変換コアがＤＣＴかＤＳＴか）に依存しない。したがって、符号予測およびＬＦＮＳＴを共同で適用して、本明細書の変換符号化の効率をさらに向上させることができる。本開示によれば、符号予測処理１１００は、変換ブロック内の変換係数の符号を予測するために適用され得、一次変換および二次変換は共同で適用される。

符号予測処理１１００の例示的な概要が本明細書に提供される。最初に、符号予測処理１１００は、ビデオからのビデオフレームの変換ブロックに一次変換および二次変換を適用して変換ブロックの変換係数を生成することによって、係数生成動作１１０２を実行してもよい。次に、符号予測処理１１００は、符号予測の変換係数から変換係数候補のセットを選択することによって、係数選択動作１１０４を実行してもよい。続いて、符号予測処理１１００は、テンプレートベースの仮説生成スキームを適用して、変換係数候補のセットに対する複数の仮説候補から仮説を選択することによって、仮説生成動作１１０６を実行してもよい。さらに、符号予測処理１１００は、選択された仮説に関連付けられた符号候補の組み合わせを、変換係数候補のセットに対する予測符号のセットであると決定することによって、符号生成動作１１０８を実行してもよい。動作１１０２、１１０４、１１０６、および１１０８は、それぞれ以下でより詳細に説明される。

例えば、ビデオエンコーダ２０の変換処理ユニット５２は、（例えば、順方向一次変換６０３および順方向ＬＦＮＳＴ６０４が一緒に適用される図６に示されるように）一次変換および二次変換を共同で適用することによって、残差ビデオデータを変換ブロックの変換係数に変換してもよい。１≦Ｌ≦予測され得る符号の最大数として、以下に説明される１つまたは複数の選択基準に基づいて、変換ブロックの変換係数から所定数（例えば、Ｌ個）の非ゼロ変換係数が変換係数候補として選択され得る。次に、テンプレートベースの仮説生成スキームを適用することによって、Ｌ個の変換係数候補のそれぞれに符号候補の異なる組み合わせを使用して複数の仮説候補が生成され得、その結果、合計２^Ｌ個の仮説候補がもたらされることになる。各仮説候補には、変換ブロックの上境界および左境界における再構築されたサンプルを含んでもよい。次いで、水平方向、垂直方向、および対角方向に沿った組み合わせ勾配（ｃｏｍｂｉｎｅｄ ｇｒａｄｉｅｎｔ）を組み込んだコスト関数を使用して、仮説候補再構築ごとにコストが算出され得る。Ｌ個の変換係数候補の符号を予測するための仮説として、複数の仮説候補から最小コストに関連する仮説候補が決定され得る。例えば、最小コストに関連する仮説候補を生成するために使用される符号候補の組み合わせが、Ｌ個の変換係数候補の予測符号として使用される。

まず、符号予測処理１１００は、係数生成動作１１０２を実行することができ、この動作では、変換ブロックの変換係数を生成するために、一次変換（例えば、ＤＣＴ、ＤＳＴなど）および二次変換（例えば、ＬＦＮＳＴ）が変換ブロックに共同で適用されてもよい。例えば、変換ブロックの一次変換係数を生成するために、一次変換が変換ブロックに適用されてもよい。次いで、一次変換係数に基づいてＬＦＮＳＴ変換係数を生成するために、ＬＦＮＳＴが変換ブロックに適用されてもよい。

符号予測処理１１００は、続いて係数選択動作１１０４を実行してもよく、この動作では、１つまたは複数の選択基準に基づいて、変換ブロックの変換係数から符号予測のための変換係数候補のセットが選択され得る。変換係数候補を選択することにより、正しく予測され得る変換係数候補の数を最大化することができ、符号予測の正確性を向上させることができる。

いくつかの実装形態では、変換係数候補のセットは、変換係数の大きさに基づいて変換ブロックの変換係数から選択され得る。例えば、変換係数候補のセットは、変換ブロック内の残りの変換係数よりも大きな大きさを有する１つまたは複数の変換係数を含むことができる。

一般に、より大きな大きさを有する変換係数の場合、これらの変換係数の予測符号は正しい可能性がより高い。これは、より大きな大きさを有するこれらの変換係数が、再構築されたサンプルの品質により影響を与える傾向があり、これらの変換係数に誤った符号を使用すると、変換ブロックとその空間的に隣接するブロックとの境界サンプル間に不連続性が生じる可能性が高くなる場合があるからである。この理論的根拠に基づいて、符号予測のための変換係数候補のセットは、変換ブロック内の非ゼロ変換係数の大きさに基づいて、変換ブロックの変換係数から選択され得る。例えば、変換ブロック内のすべての非ゼロ変換係数は、走査され、その大きさの降順に従った係数リストを形成するようにソートされ得る。最も大きい大きさを有する変換係数が、係数リストから選択され、変換係数候補のセット内の第１の変換係数候補として配置され得、２番目に大きい大きさを有する変換係数が、係数リストから選択され、変換係数候補のセット内の第２の変換係数候補として配置され得、選択された変換係数候補の数が所定数Ｌに達するまで以下同様に行われる。いくつかの実装形態では、変換係数候補のセットを選択するとき、変換係数の大きさを表すために変換係数の量子化インデックスが使用され得る。

いくつかの実装形態では、変換係数候補のセットは、ビデオ符号化に適用されるエントロピー符号化の係数走査順序に基づいて変換ブロックの変換係数から選択され得る。未加工のビデオコンテンツは豊富な低周波情報を含み得るので、ビデオコンテンツの処理から得られる非ゼロ変換係数の大きさは、低周波位置で大きくなり、高周波位置に向かうにつれて小さくなる傾向がある。したがって、エントロピー符号化のために変換ブロック内の変換係数を走査するために、最新のビデオコーデックにおいて係数走査順序（ジグザグ走査、左上走査、水平走査、または垂直走査など）が使用され得る。この係数走査順序を使用することにより、より小さな大きさを有する（通常、より高い周波数に対応する）変換係数の前に、より大きな大きさを有する（通常、より低い周波数に対応する）変換係数が走査される。この理論的根拠に基づいて、本明細書で開示される符号予測のための変換係数候補のセットは、エントロピー符号化のための係数走査順序に基づいて変換ブロックの変換係数から選択され得る。例えば、係数走査順序を使用して変換ブロック内のすべての変換係数を走査することによって、係数リストが取得され得る。次いで、係数リスト内の最初のＬ個の非ゼロ変換係数が、符号予測のための変換係数候補のセットとして自動的に選択され得る。

いくつかの実装形態では、イントラ符号化されたブロックの場合、符号予測のための変換係数候補のセットは、ブロックのイントラ予測方向に基づいて、ブロックの変換係数から選択され得る。例えば、ビデオエンコーダ２０とビデオデコーダ３０との両方において、イントラ予測方向（例えば、ＶＶＣおよびＥＣＭにおける６７通りのイントラ予測方向）と一貫性のある複数の走査順序が決定され、ルックアップ・テーブルとして記憶され得る。イントラブロックの変換係数を符号化するとき、ビデオエンコーダ２０またはビデオデコーダ３０は、走査順序の中からイントラブロックのイントラ予測に最も近い走査順序を識別してもよい。ビデオエンコーダ２０またはビデオデコーダ３０は、識別された走査順序を使用して、イントラブロックのすべての非ゼロ変換係数を走査して係数リストを取得し、係数リストから最初のＬ個の非ゼロ変換係数を変換係数候補のセットとして選択してもよい。

いくつかの実装形態では、ビデオエンコーダ２０は、変換ブロックの変換係数の走査順序を決定し、決定された走査順序をビデオデコーダ３０に信号伝達してもよい。決定された走査順序を示す１つまたは複数の新しい構文要素が、ビットストリームを通じて信号伝達され得る。例えば、（例えば、異なる変換ブロックサイズおよび符号化モードに対する）複数の固定された走査順序が、ビデオエンコーダ２０によって事前に決定され、ビデオデコーダ３０と事前に共有され得る。次いで、固定された走査順序から走査順序を選択した後、ビデオエンコーダ２０は、選択された走査順序を示す単一のインデックスをビデオデコーダ３０に信号伝達するだけでよい。別の例では、変換係数の任意の選択された走査順序の信号伝達を可能にするために、１つまたは複数の新しい構文要素が使用されてもよい。いくつかの実装形態では、１つまたは複数の構文要素は、様々な符号化レベル、例えば、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャ（またはスライス）レベル、ＣＴＵ（またはＣＵ）レベルなどで信号伝達され得る。

いくつかの実装形態では、変換係数候補のセットは、変換ブロックの再構築された境界線サンプルに対する変換係数の影響スコアに基づいて変換ブロックの変換係数から選択され得る。具体的には、上記の式（５）に示されるように、符号（すなわち、予測符号、または符号予測子）の組み合わせの選択は、現在の変換ブロックとその空間的に隣接するブロックとの間のサンプルの勾配の不連続性を最小化するためのコスト関数に基づいている。したがって、現在の変換ブロックの上境界線および左境界線にある再構築されたサンプルに比較的大きな影響を与える変換係数の符号は、正確に予測される可能性が高くなる傾向があり、その理由は、これらの符号の反転により、（５）で算出された境界サンプル間の平滑性に大きな変動が生じることがあるからである。正確な符号予測の割合を最大化するために、これらの変換係数（すなわち、再構築された境界線サンプルに対してより大きな影響を与える変換係数）の符号は、他の変換係数（すなわち、再構築された境界線サンプルに対してより少ない影響を与える変換係数）よりも前に予測されてもよい。この理論的根拠に基づいて、本明細書で開示される符号予測のための変換係数候補のセットは、現在の変換ブロックの上境界線および左境界線における再構築されたサンプルに対する影響スコアに基づいて選択され得る。

例えば、ビデオエンコーダ２０またはデコーダ３０は、変換ブロックの再構築された境界線サンプルに対する対応する影響スコアの測定に基づいて、すべての変換係数をソートしてもよい。変換係数が、再構築された境界線サンプルに対してより大きな影響スコアを有する場合、その変換係数は、より容易に正確に予測されるので、符号予測候補リスト内でより小さなインデックスが割り当てられてもよい。本明細書で開示される変換係数候補のセットは、符号予測候補リスト内のＬ個の最も小さいインデックスを有するＬ個の変換係数とすることができる。

いくつかの実装形態では、再構築された境界線サンプルに対する変換係数の影響スコアを定量化するために、異なる基準が適用されてもよい。例えば、変換係数によって引き起こされる再構築された境界線サンプルの変動のエネルギーを測定する値が、影響スコアとして使用され得、この値は、（Ｌ１ノルムにおいて）次のように取得され得る。

上記の式（６）において、Ｃ_ｉ，ｊは、変換ブロック内の位置（ｉ，ｊ）における変換係数を表す。Ｔ_ｉ，ｊ（ｌ，ｋ）は、変換係数Ｃ_ｉ，ｊに関連付けられたテンプレートの位置（ｌ，ｋ）における対応する境界線サンプルを表す。ＮおよびＭは、それぞれ変換ブロックの幅および高さを表す。Ｖは、位置（ｉ，ｊ）における変換係数の影響スコアを表す。

別の例では、上記の式（６）のＬ１ノルムは、Ｌ２ノルムで置き換えられることが可能であり、その結果、影響スコア（例えば、変換係数によって引き起こされる再構築された境界線サンプルの変動のエネルギーの測定値）は、次のようにＬ２ノルムを使用して算出され得る。

本開示によれば、上記の（６）および式（７）では、（例えば、Ｔ_ｉ，ｊ（０，ｎ）およびＴ_ｉ，ｊ（ｍ，０）によって示された）上境界サンプルおよび左境界サンプルのみが算出に使用されているが、本明細書で開示される変換係数選択方式は、対応するコスト関数で使用される現在の変換ブロックの再構築されたサンプルを変更することによって、任意の符号予測スキームにも適用され得る。

符号予測処理１１００は、続いて仮説生成動作１１０６を実行してもよく、この動作では、複数の仮説候補から変換係数候補のセットに対する仮説を選択するために、テンプレートベースの仮説生成スキームが適用され得る。最初に、変換係数候補のセットに含まれる係数の総数に基づいて、変換係数候補のセットに対して、符号候補の複数の組み合わせが決定され得る。例えば、合計でＬ個の変換係数候補が存在する場合、変換係数候補のセットに対する符号候補の複数の組み合わせは、符号候補の２^Ｌ通りの組み合わせであり得る。各符号候補は、負の符号（－）または正の符号（＋）のどちらかであり得る。符号候補の各組み合わせは、合計Ｌ個の負の符号または正の符号を含んでもよい。例えば、Ｌ＝２である場合、符号候補の複数の組み合わせは、符号候補の２^２＝４通りの組み合わせを含んでもよく、これらの組み合わせはそれぞれ、（＋，＋）、（＋，－）、（－，－）、および（－，－）である。

次に、符号候補の複数の組み合わせに対する複数の仮説候補をそれぞれ生成するために、テンプレートベースの仮説生成スキームが適用され得る。実行する必要がある逆一次変換および逆二次変換の複雑性を軽減するために、本明細書に開示されるテンプレートベースの仮説生成スキームを使用して、変換ブロックの再構築された境界線サンプルの生成を最適化することができる。テンプレートベースの仮説生成スキームを実装するための２つの例示的な手法が本明細書に開示される。テンプレートベースの仮説生成スキームを実装するための他の例示的な手法も可能であることが企図され、これは本明細書では限定されない。

第１の例示的な手法では、符号候補の各組み合わせに対する対応する仮説候補は、テンプレートの線形結合に基づいて生成され得、その結果、符号候補の複数の組み合わせに対する複数の仮説候補がそれぞれ生成され得る。各テンプレートは、変換係数候補のセットからの変換係数候補に対応してもよい。各テンプレートは、変換ブロックの上境界および左境界にある再構築されたサンプルのグループを表してもよい。各テンプレートは、変換ブロックに逆二次変換および逆一次変換を適用することによって生成され得、１に設定されるテンプレートに対応する変換係数候補を除いて、変換係数候補のセットのそれぞれはゼロに設定される（例えば、テンプレートに対応する変換係数候補は１となるように設定され、残りの変換係数候補はそれぞれ０となるように設定される）。

例えば、符号候補の各組み合わせに対する対応する仮説候補は、テンプレートの線形結合となるように設定され得る。それぞれの変換係数候補に対応するテンプレートの場合、テンプレートのそれぞれの重みは、それぞれの変換係数候補に対応する逆量子化された変換係数の大きさとなるように設定され得る。テンプレートの線形結合に基づく仮説生成の例が図１２に示されており、これについては以下でより詳細に説明される。

変換係数候補の符号を予測するために、ビデオエンコーダ２０またはデコーダ３０は、コスト関数から算出されるコスト値を最小化できる符号候補の組み合わせに関連する仮説を識別する前に、すべての仮説候補を調査してもよい。上記で説明された第１の例示的な手法では、各仮説候補は、複数のテンプレートの組み合わせに基づいて生成され得るが、これは、そのような組み合わせに含まれるサンプルごとの算出（例えば、加算、乗算、およびシフト）を考慮すると比較的複雑である。コスト関数から計算されるコスト値を最小化する仮説の識別に関連する計算複雑性を軽減するために、本明細書では第２の例示的な手法が導入される。

第２の例示的な手法では、複数の仮説候補に関連付けられた符号候補の複数の組み合わせは、それぞれ、複数の仮説候補に対する複数の仮説インデックスとして扱われ得る。例えば、デジタル０およびデジタル１は、それぞれ正の符号（＋）および負の符号（－）を表すように構成され得る。仮説候補に対応する符号候補の組み合わせは、仮説候補に対する一意の表現（すなわち、仮説インデックス）として使用され得る。例えば、予測される符号が３つある（例えば、Ｌ＝３）と仮定する。仮説インデックス０００は、３つのすべての符号候補を正となるように設定することによって生成される仮説候補を表してもよい（例えば、３つの符号候補は（＋，＋，＋）である）。同様に、仮説インデックス０１０は、第１の符号候補および第３の符号候補を正となるように設定し、第２の符号候補を負となるように設定することによって生成される仮説候補を表してもよい（例えば、３つの符号候補は（＋，－，＋）である）。

次いで、複数の仮説インデックスのゲイリー符号順序に基づいて、複数の仮説候補が生成され得、その結果、前の仮説インデックスを有する前の仮説候補の再構築されたサンプルは、現在の仮説インデックスを有する現在の仮説候補を生成するために使用され得る。現在の仮説候補の現在の仮説インデックスは、複数の仮説インデックスのゲイリー符号順序において、前の仮説候補の前の仮説インデックスの直後にあり得る。現在の仮説インデックスは、前の仮説インデックスに関連付けられた符号候補を正（または負）から負（または正）に変更することによって生成され得る。例えば、現在の仮説インデックスは、前の仮説インデックス内の単一の「０」（または「１」）を「１」（または「０」）に変更することによって取得され得る。

例えば、複数の仮説インデックスは、複数の仮説インデックスのゲイリー符号順序に基づいて並べ替えられ、仮説インデックスの並べ替えられたシーケンスが生成され得る。仮説インデックスの並べ替えられたシーケンス内の第１の仮説インデックスについて、第１の仮説インデックスに対応する第１の仮説候補は、変換ブロックに逆二次変換および逆一次変換を適用することによって生成され得、変換係数候補のセットのそれぞれは１に設定される。第１の仮説インデックスの直後にある、仮説インデックスの並べ替えられたシーケンス内の第２の仮説インデックスについて、第２の仮説インデックスに対応する第２の仮説候補は、（ａ）第１の仮説インデックスに対応する第１の仮説候補と、（ｂ）第２の仮説候補の調整項（ａｄｊｕｓｔｉｎｇ ｔｅｒｍ）とに基づいて生成され得る。次の表３は、変換係数候補の数が３（例えば、Ｌ＝３）である場合の、ＬＦＮＳＴのためのすべての仮説候補を生成する例示的なプロセスを示す。

上記の表３において、１列目は、それぞれ、２^３＝８通りの符号候補の組み合わせを示している。２列目は、それぞれ、正の符号（＋）および負の符号（－）をそれぞれ表すデジタル０および１を使用した、符号候補の組み合わせに対応する仮説インデックスを示している。２列目の仮説インデックスは、ゲイリー符号の順序に従って（例えば、０００、００１、０１１、０１０、１１０、１１１、１０１、１００の順序で）順序付けされる。３列目は、それぞれ、符号候補と仮説インデックスとの組み合わせに対応する仮説候補を示している。４列目は、それぞれ、仮説候補の算出を示している。

表３において、４列目のＴＸＹＺは、対応するテンプレート（すなわち、変換ブロックの上境界および左境界にある再構築されたサンプル）を表し、対応するテンプレートは、変換ブロックの係数行列に逆変換を適用することによって生成され得、特定の変換係数は１に設定され、他のすべての変換係数はゼロに等しい。例えば、Ｔ１００は、係数行列に逆変換を適用することによって生成される対応するテンプレートを表し、第１の符号候補に対応する変換係数のみが１に設定され、係数行列中のすべての変換係数が０に設定される。Ｃ_０、Ｃ_１、およびＣ_２は、それぞれ、第１、第２、および第３の符号候補に関連付けられた逆量子化された変換係数の絶対値を表す。

表３を参照すると、第１の仮説インデックス０００の場合、第１の仮説候補Ｈ０００は、変換ブロックに関連付けられた係数行列に逆二次変換および逆一次変換を適用することによって生成され得、変換係数候補のそれぞれが１に設定される。第１の仮説インデックス０００の直後にある第２の仮説インデックス００１の場合、第２の仮説候補Ｈ００１は、（ａ）第１の仮説候補Ｈ０００と（ｂ）第２の仮説候補の調整項（例えば、－Ｃ_２＊Ｔ００１）とに基づいて生成され得る。同様に、第２の仮説インデックス００１の直後にある第３の仮説インデックス０１１の場合、第３の仮説候補Ｈ０１１は、（ａ）第２の仮説候補Ｈ００１と（ｂ）第３の仮説候補の調整項（例えば、－Ｃ_１＊Ｔ０１０）とに基づいて生成され得る。第３の仮説インデックス０１１の直後にある第４の仮説インデックス０１０の場合、第４の仮説候補Ｈ０１０は、（ａ）第３の仮説候補Ｈ０１１と（ｂ）第４の仮説候補の調整項（例えば、Ｃ_２＊Ｔ００１）とに基づいて生成され得る。

続いて、水平方向、垂直方向、および対角方向に沿った組み合わせ勾配を組み込んだコスト関数に基づいて、複数の仮説候補から最小コストに関連する仮説が決定され得る。上記で説明されたように、（例えば、式（５）において上記で示されたように）コスト関数が水平方向および垂直方向の勾配のみを利用する場合、コスト関数は、不均一性の高い画像信号に対しては良好に機能しない可能性がある。本開示によれば、コスト関数の正確性を向上させるために１つまたは複数の対角方向に沿った勾配も利用される。例えば、左対角方向と右対角方向とを含む２つの対角方向も、コスト関数に組み込まれ得る。例えば、２つの対角方向のコスト関数は、次の式（８）および式（９）に従って記述され得る。

上記の式（８）または式（９）において、Ｂ_{－１，ｎ－１}、Ｂ_{－２，ｎ－２}、Ｂ_{－１，ｎ＋１}、およびＢ_{－２，ｎ＋２}は、上隣接ブロックからの変換ブロックの隣接サンプルを表す。Ｃ_{ｍ－１，－１}、Ｃ_{ｍ－２，－２}、Ｃ_{ｍ＋１，－１}、およびＣ_{ｍ＋２，－２}は、変換ブロックのその左隣接ブロックからの隣接サンプルを表す。Ｐ_０，ｎおよびＰ_ｍ，０は、それぞれ変換ブロックの上境界および左境界上の再構築されたサンプルを表す。ＮおよびＭは、それぞれ変換ブロックの幅および高さを表す。ｃｏｓｔＤ１およびｃｏｓｔＤ１は、それぞれ、左対角方向および右対角方向に対する左対角コスト関数および右対角コスト関数を表す。

対角方向の２つのコスト関数（例えば、ｃｏｓｔＤ１およびｃｏｓｔＤ２）は、水平垂直コスト関数（例えば、上記の式（５）に示されたｃｏｓｔＨＶ）のコスト関数と併用され得る。次いで、水平方向および垂直方向に沿った勾配を組み込んだ水平垂直コスト関数、左対角方向に沿った勾配を組み込んだ左対角コスト関数、ならびに右対角方向に沿った勾配を組み込んだ右対角コスト関数に基づいて、符号予測のためのコスト関数が決定され得る。例えば、コスト関数は、式（１０）で説明されているように、水平垂直コスト関数、左対角コスト関数、および右対角コスト関数の加重和であってもよい。

上記の式（１０）において、ωは、左対角コスト関数および右対角コスト関数の重みを指す。

別の例では、コスト関数は、式（１１）で説明されているように、水平垂直コスト関数、左対角コスト関数、および右対角コスト関数の最小値であってもよい。

上記で示された式（５）と比較して、本明細書で開示された式（１０）または式（１１）のコスト関数は、対角方向に沿ったコスト関数ｃｏｓｔＤ１、ｃｏｓｔＤ２をサポートするためにより多くの隣接画素を必要とする可能性があり、これについては、図１４Ａ～図１４Ｂを参照して以下でより詳細に説明される。

いくつかの実装形態では、各仮説候補に対応するコストは、上記の式（１０）または式（１１）を使用して決定されてもよい。次いで、複数の仮説候補に対して複数のコストがそれぞれ算出され得る。複数のコストの中から最小コストが決定され得る。最小コストに関連する仮説候補が、複数の仮説候補から決定され、符号予測のための仮説として選択され得る。

符号予測処理１１００は、続いて符号生成動作１１０８を実行してもよく、この動作では、選択された仮説に関連付けられた符号候補の組み合わせが、変換係数候補のセットに対する予測符号のセットであると決定される。例えば、選択された仮説を生成するために使用される符号候補の組み合わせ（例えば、Ｌ個の符号候補）は、Ｌ個の変換係数候補に対する予測符号として使用され得る。

いくつかの実装形態では、符号生成動作１１０８は、ベクトルベースの符号予測スキームを予測符号のセットに適用して、変換係数候補のセットに対する符号シグナリングビットのシーケンスを生成することを含んでもよい。符号シグナリングビットのシーケンスを含むビットストリームは、ビデオエンコーダ２０によって生成され、図１の記憶デバイス３２に記憶されてもよい。代替としてまたは追加として、ビットストリームは、図１のリンク１６を通してビデオデコーダ３０に送信されてもよい。

上記で説明されたように、変換ブロック内の変換係数の符号が適切に予測される場合、複数の連続する変換係数の符号が正しく予測され得る可能性が非常に高い。この場合、既存の符号予測設計の信号伝達方式では、各変換係数の対応する符号が正しく予測され得ることを個別に示すために複数のビン「０」を信号伝達する必要があるため、変換ブロックの符号値を信号伝達するためのオーバーヘッドという観点では明らかに非効率である。既存の符号予測スキームの例示的な実装形態は、図１３Ａを参照して以下でより詳細に説明される。

本開示によれば、符号信号伝達の効率は、本明細書に開示されるベクトルベースの符号予測スキームを適用することによって向上し得る。具体的には、変換ブロックの変換係数候補は、複数のグループに分割され得、各グループ内の変換係数候補の符号は、まとめて予測され得る。この場合、グループ内の変換係数候補の元の符号（または真の符号）がそれぞれその予測符号と同じである場合、グループ内のすべての符号が正しく予測されていることを示すために、値「０」を有するビンがビットストリーム内で送られるだけでよい。それ以外の場合（すなわち、少なくとも、元の符号が予測符号とは異なる変換係数候補がグループ内に存在する場合）、最初に、グループ内の変換係数候補のすべての符号が正しく予測されるわけではないことを示すために、値「１」を有するビンがビットストリーム内で信号伝達されてもよい。次いで、グループ内の各予測符号の対応する正しさを個別に通知するために、追加ビンも、ビデオエンコーダ２０からビデオデコーダ３０へビットストリーム内で信号伝達されてもよい。本明細書に開示されるベクトルベースの符号予測スキームの例示的な実装形態は、図１３Ｂを参照して以下でより詳細に説明される。

いくつかの実装形態では、変換係数候補のセットは、変換係数候補の複数のグループに分割され得る。変換係数候補のグループごとに、変換係数候補のグループの元の符号が変換係数候補のグループの予測符号と同一であるかどうかに基づいて、変換係数候補のグループに対して１つまたは複数の符号シグナリングビットが生成されてもよい。変換係数候補のグループの元の符号が変換係数候補のグループの予測符号と同一であることに応答して、ゼロの値（「０」）を有するビンが生成され、符号シグナリングビットとしてビットストリームに追加されてもよい。例えば、ビットストリームは、変換係数候補のグループの予測符号が正しく予測されていることを示す「０」を含んでもよい。

一方、変換係数候補のグループの元の符号が変換係数候補のグループの予測符号と同一ではないことに応答して、１の値（「１」）を有するビンが生成されてもよい。変換係数候補のグループの予測符号の対応する正しさを通知するための追加ビンのセットも生成されてもよい。次いで、１の値を有するビンおよび追加ビンのセットは、符号シグナリングビットとしてビットストリームに追加され得る。例えば、追加ビンのセットは、変換係数候補のグループの元の符号および予測符号のＸＯＲ結果とすることができる。値「０」を有する追加ビンは、その追加ビンに対応する変換係数候補の予測符号が正しく予測されていることを示してもよく、一方、値「１」を有する追加ビンは、その追加ビンに対応する変換係数候補の予測符号が誤って予測されていることを示してもよい。ビットストリームは、（ａ）変換係数候補のグループの予測符号が正しく予測されていないことを示すための「１」、および（ｂ）どの予測符号が正しく予測されており、どの予測符号が誤って予測されているかを示すための追加ビンのセットを含んでもよい。

いくつかの実装形態では、変換係数候補の各グループのサイズは、１つまたは複数の所定の基準に基づいて適応的に変更され得る。１つまたは複数の所定の基準は、変換ブロックの幅または高さ、変換ブロックの符号化モード（例えば、イントラ符号化またはインター符号化）、および変換ブロック内の非ゼロ変換係数の数などを含んでもよい。いくつかの実装形態では、変換係数候補の各グループのサイズは、ＳＰＳ、ＰＰＳ、スライスもしくはピクチャレベル、ＣＴＵもしくはＣＵレベル、または変換ブロック・レベルなどの様々な符号化レベルにおいてビットストリーム内で信号伝達され得る。

いくつかの実装形態では、本明細書に開示されるベクトルベースの符号予測スキームの適用シナリオを制限するために、１つまたは複数の制約が適用されてもよい。例えば、変換ブロック内の変換係数の第１の部分の符号を処理するために、本明細書で開示されるベクトルベースの符号予測スキームが適用され得る一方で、変換ブロック内の変換係数の第２の部分の符号は、既存の符号予測スキームを使用して処理され得る。さらなる例では、本明細書に開示されるベクトルベースの符号予測スキームは、変換ブロックからの最初のＮ個（例えば、Ｎ＝２、３、４、５、６、７、または８など）の非ゼロ変換係数候補に適用可能であり得る一方で、変換ブロックからの他の変換係数候補の符号は、図１３Ａに示された既存の符号予測スキームを使用して処理され得、これについては、本開示において後で説明される。

本開示によれば、本明細書に開示される符号予測処理１１００は、いくつかのシナリオの下では無効にされてもよい。例えば、イントラテンプレートマッチングモードによって符号化される符号化ブロックにＬＦＮＳＴが適用される場合、一次変換はＤＳＴ－ＶＩＩであり得る。ＥＣＭにおけるＬＦＮＳＴコア変換は主に、一次変換がＤＣＴ－ＩＩであるときに訓練されるとすると、イントラテンプレートマッチングブロックの対応するＬＦＮＳＴ変換係数は、他のＬＦＮＳＴブロックの係数と比較した場合に異なる特性を示す可能性がある。この理論的根拠に基づいて、現在の符号化ブロックがイントラテンプレートマッチングブロックであるとともにＬＦＮＳＴを使用して符号化されている場合、符号予測処理１１００は無効にされてもよい。

本開示によれば、符号予測の計算複雑性を制御するために、ＬＦＮＳＴブロックに対する予測符号の最大数と非ＬＦＮＳＴブロックに対する予測符号の最大数とは異なっていてもよい。例えば、ＬＦＮＳＴブロックに対する予測符号の最大数は６（または４）となるように設定されてもよく、一方、非ＬＦＮＳＴブロックに対する予測符号の最大数は６（または４）とは異なる値を有してもよい。さらに、ＬＦＮＳＴを適用するビデオブロックおよびＬＦＮＳＴを適用しないビデオブロックに対して、予測符号の最大数の異なる値が適用されてもよい。いくつかの実装形態では、ビデオエンコーダ２０は、エンコーダの対応する複雑性または性能優先事項に基づいて、ＬＦＮＳＴブロックに対する予測符号の最大数を決定してもよく、その最大数をビデオデコーダ３０に信号伝達してもよい。ＬＦＮＳＴブロックに対する予測符号の最大数がビデオデコーダ３０に信号伝達されるとき、その最大数は、例えば、様々な符号化レベル、例えば、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャもしくはスライス・レベル、またはＣＴＵもしくはＣＵレベルで信号伝達されてもよい。いくつかの実装形態では、ビデオエンコーダ２０は、ＬＦＮＳＴを適用するビデオブロックおよびＬＦＮＳＴを適用しないビデオブロックに対する予測符号の最大数の異なる値を決定し、最大数の値をビデオエンコーダ２０からビデオデコーダ３０に信号伝達してもよい。

本開示によれば、一次変換と二次変換との両方の変換係数が固定されているとすると、ビデオエンコーダ２０またはビデオデコーダ３０は、異なる変換ブロックサイズおよび一次変換と二次変換との組み合わせのうちの異なる組み合わせに対するテンプレート（例えば、テンプレートのサンプル）を事前に算出してもよい。ビデオエンコーダ２０またはビデオデコーダ３０は、最適化された実装のためにテンプレートのサンプルをオンザフライで作成する複雑性を回避するために、テンプレート（例えば、テンプレートのサンプル）を内部メモリまたは外部メモリに記憶してもよい。テンプレートのサンプルは、記憶サイズとサンプル精度との間の異なるトレードオフを達成するために、異なる小数精度で記憶されてもよい。例えば、ビデオエンコーダ２０またはビデオデコーダ３０は、テンプレートの浮動サンプルを固定された因数（例えば、６４、１２８、または２５６）でスケーリングし、スケーリングされたサンプルをそれらの最も近い整数に丸めてもよい。丸められたサンプルはメモリに記憶されてもよい。次いで、テンプレートが、仮説候補を再構築するために使用されるとき、仮説候補内の生成されたサンプルが正しいダイナミックレンジ内にあることを保証するために、最初に、その対応するサンプルは、元の精度へスケーリング解除されてもよい。

図１２は、本開示のいくつかの実装形態に係る、テンプレートの線形結合に基づく例示的な仮説生成を示すグラフィカル表現である。図１２において、４つのパターン化されたブロック０～３は、符号が予測される変換係数候補を表す。因数Ｃ_０、Ｃ_１、Ｃ_２、およびＣ_３は、４つの変換係数候補の逆量子化された変換係数の対応する値を表す。テンプレート０～３は、それぞれ、４つの変換係数候補０～３に対応してもよい。例えば、変換係数候補０に対応するテンプレート０は、変換ブロックに逆二次変換および逆一次変換を適用することによって生成され得、変換係数候補０は１となるように設定され、変換ブロック内の残りの変換係数候補はゼロとなるように設定される。同様にして、テンプレート１～３がそれぞれ生成され得る。仮説候補は、テンプレート０～１および重みＣ_０～Ｃ_３をそれぞれ追加することによって生成され得る。

図１３Ａは、いくつかの例に係る、既存の符号予測スキームの例示的な実装形態を示すグラフィック表現である。図１３Ｂは、本開示のいくつかの実装形態に係る、ベクトルベースの符号予測スキームの例示的な実装形態を示すグラフィック表現である。既存の符号予測スキームと本明細書に開示されるベクトルベースの符号予測スキームとの間の例示的な比較が、図１３Ａ～図１３Ｂを参照して本明細書に示される。

図１３Ａおよび図１３Ｂにおいて、変換ブロックには、符号予測のための変換係数候補として選択される６つの非ゼロ変換係数が存在する。変換係数候補は、ラスタ走査順序を使用して変換ブロックの係数行列から走査される。図１３Ａ～図１３Ｂには、変換係数候補の元の符号および予測符号も示されている。例えば、値「－２」を有する第１の変換係数候補の元の符号および予測符号は、両方とも「－」である（図１３Ａ～図１３Ｂでは「１」として表されている）。値「３」を有する第２の変換係数候補の元の符号および予測符号は、両方とも「＋」である（図１３Ａ～図１３Ｂでは「０」として表されている）。値「１」を有する第３の変換係数候補の元の符号および予測符号は、それぞれ「＋」および「－」である（図１３Ａ～図１３Ｂではそれぞれ「０」および「１」として表されている）。第３の変換係数候補の元の符号は、誤って予測されている。図１３Ａ～図１３Ｂに示されるように、第３の変換係数を除いて、他のすべての変換係数候補の元の符号は、その対応する予測符号と同じである（すなわち、正しく予測されている）。

図１３Ａを参照すると、合計６つのビン（すなわち、０、０、１、０、０、および０）が生成され、各ビンは変換係数候補に対応する。６つのビンは、６つの変換係数候補の元の符号と予測符号の間でＸＯＲ演算を実行することによって生成され得る。６つのビンは、６つの予測符号の対応する正しさを示すために使用され得る。例えば、それぞれ値「０」を有する第１のビンおよび第２のビンは、第１の変換係数候補および第２の変換係数候補の予測符号が正しいことを示す。値「１」を有する第３のビンは、第３の変換係数の予測符号が正しくないことを示す。６つのビンは、エントロピー符号化のためにＣＡＢＡＣに送られ得る。

図１３Ｂを参照すると、本明細書で開示されるベクトルベースの符号予測スキームは、６つの変換係数候補を３つのグループに分割し、各グループは２つの連続する変換係数候補を含む。グループ＃０およびグループ＃２内の変換係数候補の符号は正しく予測され得るので、それぞれ値「０」を有する２つのビンのみが２つのグループに対して生成される。グループ＃１の場合、符号が正しく予測されることができない第３の変換係数候補を含むので、そのグループが少なくとも、元の符号がその予測符号と異なる変換係数候補を含んでいることを示すために、（図１３Ｂでは下線が引かれている）値「１」を有するビンが生成され、ビットストリーム内で信号伝達される。続いて、グループ＃１内の第３の係数および第４の係数について、それらの符号が正しく予測され得るかどうかを示すために、値「１」および値「０」を有する２つの追加ビンが生成される。これに対応して、本明細書で開示されるベクトルベースの符号予測スキームが適用される場合、ＣＡＢＡＣのために生成される合計５つのビンがあり、これは、図１３Ａに示される既存の符号予測スキームによって生成されるビンよりも少ないビットを有する。したがって、本明細書に開示されるベクトルベースの符号予測スキームを適用することによって、信号伝達オーバーヘッドが低減される可能性があり、変換ブロックの符号化効率が向上する可能性がある。

本開示によれば、図１３Ｂに示されるように変換ブロックの係数行列から変換係数候補を取得するためにラスタ走査順序が使用されるが、符号予測のための変換係数候補を選択するために、任意の他の走査順序も使用され得る。例えば、変換係数候補は、上記で説明された１つまたは複数の選択基準に基づいて選択され得る。同様の説明は本明細書では繰り返されない。

図１４Ａは、本開示のいくつかの実装形態に係る、左対角方向に沿った左対角コスト関数の例示的な算出を示すグラフィカル表現である。図１４Ｂは、本開示のいくつかの実装形態に係る、右対角方向に沿った右対角コスト関数の例示的な算出を示すグラフィカル表現である。ｃｏｓｔＨＶの算出のための上記の式（６）と比較して、上記の式（１０）または（１１）に示された左対角コスト関数ｃｏｓｔＤ１または右対角コスト関数ｃｏｓｔＤ２は、対角方向に沿ったコスト関数ｃｏｓｔＤ１、ｃｏｓｔＤ２の算出をサポートするために、（図１４Ａ～図１４Ｂでは、エリア１４０２、１４０４、および１４０６内にマーク付けされた画素として示された）より多くの隣接画素を必要とする場合がある。エリア１４０２、１４０４、および１４０６内のこれらの画素が利用できない場合、これらの利用できない位置を埋めるために、最近接パディング方法が採用され得る。例えば、エリア１４０６内のＢ_－１，４が利用できない場合、Ｂ_－１，４の位置を埋めるために、Ｂ_－１，４に最も近い利用可能な画素であるＢ_－１，３が使用される（例えば、Ｂ_－１，４＝Ｂ_－１，３である）。エリア１４０２内のＢ_{－１，－１}（Ｃ_{－１，－１}とも表記されている）、Ｂ_{－１，－２}（Ｃ_{－１，－１}）、Ｂ_{－２，－１}（Ｃ_{－１，－１}）、およびＢ_{－２，－２}（Ｃ_{－１，－１}）が利用できない場合に、その利用できない位置を埋めるための２つの例示的な方法が本明細書に開示される。

第１の例示的な方法では、以下の式（１２）～（１５）に示されるように、利用できない位置はそれぞれ、その最近傍の利用可能な画素を重み付けすることによって埋められ得る。

第２の例示的な方法では、利用できない位置のいくつかはそれぞれ、その最近傍の利用可能な画素で埋められ得る。例えば、エリア１４０２内のＢ_{－１，－２}が利用できない場合、これはＣ_０，－２で埋められる。Ｂ_{－２，－１}が利用できない場合は、Ｂ_－２，０で埋められる。しかしながら、Ｂ_{－２，－２}およびＢ_{－１，－１}が利用できない場合、これらは、上記の式（１２）および式（１５）に従って算出されたそれらの２つの最近傍の隣接画素の平均で埋められ得る。

本開示によれば、上記の式（１０）または式（１１）に示されたコスト関数の算出では、説明の目的で左対角線および右対角線（すなわち、図１４Ａ～図１４Ｂに示される１３５°および４５°）が使用されているが、任意の他の測定構成要素（例えば、１つまたは複数の任意の方向に沿った連続性測定）が符号予測のためのコスト関数の算出に組み込まれ得ることが企図される。

図１５は、本開示のいくつかの実装形態に係る、ブロックベースのビデオ符号化における符号予測のための例示的な方法１５００のフローチャートである。方法１５００は、ビデオエンコーダ２０またはビデオデコーダ３０に関連付けられたビデオプロセッサによって実施されてもよく、以下で説明されるステップ１５０２～１５０８を含んでもよい。本明細書で提供される開示を実行するために、ステップのうちのいくつかは任意選択であってもよい。さらに、ステップのうちのいくつかは、同時に、または図１５に示された順序とは異なる順序で実行されてもよい。

ステップ１５０２において、ビデオプロセッサは、ビデオからのビデオフレームの変換ブロックに一次変換および二次変換を適用して、変換ブロックの変換係数を生成してもよい。

ステップ１５０４において、ビデオプロセッサは、変換係数から符号予測のための変換係数候補のセットを選択してもよい。

ステップ１５０６において、ビデオプロセッサは、テンプレートベースの仮説生成スキームを適用して、変換係数候補のセットに対する複数の仮説候補から仮説を選択してもよい。

ステップ１５０８において、ビデオプロセッサは、選択された仮説に関連付けられた符号候補の組み合わせを、変換係数候補のセットに対する予測符号のセットであると決定してもよい。

図１６は、本開示のいくつかの実装形態に係る、ブロックベースのビデオ符号化における符号予測のための別の例示的な方法１６００のフローチャートである。方法１６００は、ビデオエンコーダ２０またはビデオデコーダ３０に関連付けられたビデオプロセッサによって実施されてもよく、以下で説明されるステップ１６０２～１６１６を含んでもよい。具体的には、方法１６００のステップ１６０６～１６１０は、方法１５００のステップ１５０６の例示的な実装形態として実行されてもよい。本明細書で提供される開示を実行するために、ステップのうちのいくつかは任意選択であってもよい。さらに、ステップのうちのいくつかは、同時に、または図１６に示された順序とは異なる順序で実行されてもよい。

ステップ１６０２において、ビデオプロセッサは、ビデオプロセッサは、ビデオからのビデオフレームの変換ブロックに一次変換および二次変換を適用して、変換ブロックの変換係数を生成してもよい。

ステップ１６０４において、ビデオプロセッサは、変換係数から符号予測のための変換係数候補のセットを選択してもよい。

ステップ１６０６において、ビデオプロセッサは、変換係数候補のセット内の変換係数候補の総数に基づいて、変換係数候補のセットに対する符号候補の複数の組み合わせを決定してもよい。

ステップ１６０８において、ビデオプロセッサは、テンプレートベースの仮説生成スキームを適用して、符号候補の複数の組み合わせに対する複数の仮説候補をそれぞれ生成してもよい。

ステップ１６１０において、ビデオプロセッサは、水平方向、垂直方向、および対角方向に沿った組み合わせ勾配を組み込んだコスト関数に基づいて、複数の仮説候補から最小コストに関連する仮説を選択してもよい。

ステップ１６１２において、ビデオプロセッサは、選択された仮説に関連付けられた符号候補の組み合わせを、変換係数候補のセットに対する予測符号のセットであると決定してもよい。

ステップ１６１４において、ビデオプロセッサは、ベクトルベースの符号予測スキームを予測符号のセットに適用して、変換係数候補のセットに対する符号シグナリングビットのシーケンスを生成してもよい。

ステップ１６１４において、ビデオプロセッサは、符号シグナリングビットのシーケンスを含むビットストリームを生成してもよい。

本開示によれば、図１５の方法１５００および図１６の方法１６００は、ビデオエンコーダ側またはビデオデコーダ側で実行されてもよい。図１５の方法１５００および図１６の方法１６００がビデオエンコーダ側で実行されるとき、これらの方法は、ビデオエンコーダ側での変換係数の符号予測のための符号化方法とみなされてもよい。図１５の方法１５００および図１６の方法１６００がビデオデコーダ側で実行されるとき、これらの方法は、ビデオデコーダ側での変換係数の符号予測のための復号方法とみなされてもよい。ビデオデコーダ側での変換係数符号予測のための例示的な復号方法は、図１８を参照して以下で提供される。

図１７は、本開示のいくつかの実装形態に係る、ユーザインターフェース１７５０と結合されたコンピューティング環境１７１０を示す。コンピューティング環境１７１０は、データ処理サーバの一部であり得る。コンピューティング環境１７１０は、プロセッサ１７２０、メモリ１７３０、および入出力（Ｉ／Ｏ）インターフェース１７４０を含む。

プロセッサ１７２０は、典型的には、表示、データ取得、データ通信、および画像処理に関連する動作など、コンピューティング環境１７１０の全体的な動作を制御する。プロセッサ１７２０は、上記で説明された方法におけるステップのすべてまたは一部を実施するよう求める命令を実行するための１つまたは複数のプロセッサを含んでもよい。さらに、プロセッサ１７２０は、プロセッサ１７２０と他の構成要素との間の対話を容易にする１つまたは複数のモジュールを含んでもよい。プロセッサ１７２０は、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、シングル・チップ・マシン、グラフィック処理ユニット（ＧＰＵ）などであってもよい。

メモリ１７３０は、コンピューティング環境１７１０の動作をサポートするために様々なタイプのデータを記憶するように構成される。メモリ１７３０は、所定のソフトウェア１７３２を含んでもよい。そのようなデータの例は、コンピューティング環境１７１０上で動作される任意のアプリケーションまたは方法のための命令、ビデオデータセット、画像データなどを含む。メモリ１７３０は、スタティック・ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、任意のタイプの揮発性もしくは不揮発性メモリ・デバイスまたはそれらの組み合わせを使用することによって実装されてもよい。

Ｉ／Ｏインターフェース１７４０は、プロセッサ１７２０と、キーボード、クリック・ホイール、ボタンなどの周辺インターフェースモジュールとの間のインターフェースを提供する。ボタンは、ホーム・ボタン、走査開始ボタン、走査停止ボタンを含んでもよいが、これらに限定されない。Ｉ／Ｏインターフェース１７４０は、エンコーダおよびデコーダと結合され得る。

いくつかの実装形態では、例えばメモリ１７３０内に、コンピューティング環境１７１０内のプロセッサ１７２０によって実行可能な、上記で説明された方法を実行するための複数のプログラムを含む非一時的コンピュータ可読記憶媒体も提供される。代替として、非一時的コンピュータ可読記憶媒体は、ビデオデータを復号する際にデコーダ（例えば、図３のビデオデコーダ３０）によって使用するために、例えば上記で説明された符号化方法を使用してエンコーダ（例えば、図２のビデオエンコーダ２０）によって生成された符号化済みビデオ情報（例えば、１つまたは複数の構文要素を含むビデオ情報）を含むビットストリームまたはデータストリームを記憶していてもよい。非一時的コンピュータ可読記憶媒体は、例えば、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶デバイスなどであってもよい。

いくつかの実装形態では、１つまたは複数のプロセッサ（例えば、プロセッサ１７２０）と、１つまたは複数のプロセッサによって実行可能な複数のプログラムを記憶している非一時的コンピュータ可読記憶媒体またはメモリ１７３０とを備えるコンピューティング・デバイスも提供され、１つまたは複数のプロセッサは、複数のプログラムの実行時に、上記で説明された方法を実行するように構成される。

いくつかの実装形態では、上記で説明された方法を実行するためにコンピューティング環境１７１０内のプロセッサ１７２０によって実行可能な、例えばメモリ１７３０内の複数のプログラムを含むコンピュータ・プログラム製品も提供される。例えば、コンピュータ・プログラム製品は、非一時的コンピュータ可読記憶媒体を含んでもよい。

いくつかの実装形態では、コンピューティング環境１７１０は、上記の方法を実行するために、１つまたは複数のＡＳＩＣ、ＤＳＰ、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、ＦＰＧＡ、ＧＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素を用いて実装されてもよい。

図１８は、本開示のいくつかの実装形態に係る、ビデオデコーダ側での変換係数符号予測のためのビデオ復号方法１８００のフローチャートである。方法１８００は、ビデオデコーダ３０に関連付けられたビデオプロセッサによって実施されてもよく、以下で説明されるステップ１８０２～１８１０を含んでもよい。本明細書で提供される開示を実行するために、ステップのうちのいくつかは任意選択であってもよい。さらに、ステップのうちのいくつかは、同時に、または図１８に示された順序とは異なる順序で実行されてもよい。

ステップ１８０２において、ビデオプロセッサは、変換係数符号予測のために逆量子化された変換係数から変換係数候補のセットを選択してもよい。逆量子化された変換係数は、ビデオからのビデオフレームの変換ブロックに関連付けられる。ビデオデコーダ３０における変換ブロックの逆量子化された変換係数は、ビデオエンコーダ２０における変換ブロックの変換係数と同等であってもよい。

いくつかの実装形態では、ビデオプロセッサは、符号シグナリングビットのシーケンスと、変換ブロックに関連付けられた量子化された変換係数とを含むビットストリームを受信してもよい。ビデオプロセッサは、図３の逆量子化ユニット８６を通じて、量子化された変換係数から逆量子化された変換係数を生成してもよい。

いくつかの実装形態では、ビデオプロセッサは、逆量子化された変換係数の大きさに基づいて、逆量子化された変換係数から変換係数候補のセットを選択してもよい。いくつかの実装形態では、ビデオプロセッサは、逆量子化された変換係数の量子化インデックスの大きさに基づいて、逆量子化された変換係数から変換係数候補のセットを選択してもよい。いくつかの実装形態では、ビデオプロセッサは、ビデオ符号化に適用されるエントロピー符号化の係数走査順序に基づいて、逆量子化された変換係数から変換係数候補のセットを選択してもよい。

いくつかの実装形態では、ビデオプロセッサは、変換ブロックの再構築された境界線サンプルに対する逆量子化された変換係数の影響スコアに基づいて、逆量子化された変換係数から変換係数候補のセットを選択してもよい。例えば、再構築された境界線サンプルに対する逆量子化された変換係数の影響スコアは、再構築された境界線サンプルに対する各逆量子化された変換係数の変動のＬ１ノルムとして測定される。別の例において、再構築された境界線サンプルに対する逆量子化された変換係数の影響スコアは、再構築された境界線サンプルに対する各逆量子化された変換係数の変動のＬ２ノルムとして測定される。

いくつかの実装形態では、ビデオプロセッサは、図１１の係数選択動作１１０４を参照して上記で説明されたような動作を実行して、逆量子化された変換係数から変換係数候補のセットを選択してもよい。また、ビデオプロセッサは、図１５のステップ１５０４について上記で説明されたような動作を実行して、逆量子化された変換係数から変換係数候補のセットを選択してもよい。同様の説明は本明細書では繰り返されない。

ステップ１８０４において、ビデオプロセッサは、テンプレートベースの仮説生成スキームを適用して、変換係数候補のセットに対する複数の仮説候補から仮説を選択してもよい。

いくつかの実装形態では、ビデオプロセッサは、図１１の仮説生成動作１１０６を参照して上記で説明されたような動作を実行してもよい。また、ビデオプロセッサは、図１５のステップ１５０６について上記で説明されたような動作を実行して、複数の仮説候補から仮説を選択してもよい。同様の説明は本明細書では繰り返されない。

ステップ１８０６において、ビデオプロセッサは、選択された仮説に関連付けられた符号候補の組み合わせを、変換係数候補のセットに対する予測符号のセットであると決定してもよい。

いくつかの実装形態では、ビデオプロセッサは、図１１の符号生成動作１１０８を参照して上記で説明されたような動作を実行してもよい。また、ビデオプロセッサは、図１５のステップ１５０８について上記で説明されたような動作を実行して、変換係数候補のセットに対する予測符号のセットを決定してもよい。同様の説明は本明細書では繰り返されない。

ステップ１８０８において、ビデオプロセッサは、ビデオエンコーダから受信した予測符号のセットおよび符号シグナリングビットのシーケンスに基づいて、変換係数候補のセットの元の符号を推定してもよい。

例えば、図１３Ｂを参照すると、予測符号のセットは、値（１，０）を有するグループ＃０、値（１，０）を有するグループ＃２、および値（１，０）を有するグループ＃３を含むことができ、１は負の符号を示し、０は正の符号を示す。符号シグナリングビットのシーケンスは、グループ＃０のビット「０」、グループ＃２のビット「１，１，０」、およびグループ＃３のビット「０」を含むことができる。グループ＃０のビットは値「０」を有し、値（１，０）を有するこのグループの予測符号が元の符号と同じであることを示しているため、グループ＃０の推定される元の符号は（１，０）であると決定される。グループ＃１のビットの１番目のビットは値「１」を有し、このグループの予測符号（１，０）が元の符号と同じではないことを示しているため、グループ＃１の推定される元の符号（１，０）は、このグループの予測符号（１，０）と、グループ＃１の２番目および３番目のビット「１，０」とのＸＯＲ結果であると決定される（例えば、推定される元の符号＝ＸＯＲ（（１，０），（１，０））＝（０，０））。グループ＃２のビットは値「０」を有し、値（１，０）を有するこのグループの予測符号が元の符号と同じであることを示しているため、グループ＃２の推定される元の符号は（１，０）であると決定される。次いで、変換係数候補のセットの推定される元の符号は、それぞれグループ＃０、＃１、および＃２の推定される元の符号を連結することによって形成され、（１，０，０，０，１，０）を含む。

ステップ１８１０において、ビデオプロセッサは、推定された変換係数候補のセットの元の符号に基づいて、逆量子化された変換係数を更新してもよい。例えば、ビデオプロセッサは、推定された元の符号を、変換係数候補のセットに対応する変換ブロック内の逆量子化された変換係数に対する真の符号として使用してもよい。

いくつかの実装形態では、逆量子化された変換係数が更新された後、ビデオプロセッサはさらに、逆量子化された変換係数に逆一次変換および逆二次変換を適用して、変換ブロックに対応する残差ブロック内に残差サンプルを生成してもよい。逆二次変換は、ＬＦＮＳＴを含む二次変換に対応する。逆一次変換は、ＤＣＴ－ＩＩ、ＤＣＴ－Ｖ、ＤＣＴ－ＶＩＩＩ、ＤＳＴ－Ｉ、ＤＳＴ－ＩＶ、ＤＳＴ－ＶＩＩ、または恒等変換を含む一次変換に対応する。

いくつかの実装形態では、変換係数候補のセットに対する符号シグナリングビットのシーケンスは、ビデオエンコーダによって、ビデオエンコーダによって、ベクトルベースの符号予測スキームを、ビデオエンコーダ側で選択された変換係数候補の別のセットに対する予測符号の別のセットに適用すること、および符号シグナリングビットのシーケンスを含むビットストリームを生成することによって生成される。変換係数候補の他のセットは、ビデオデコーダ側の変換係数候補のセットに対応するビデオエンコーダ側の変換係数である。

いくつかの実装形態では、変換係数候補の他のセットに対する予測符号の他のセットにベクトルベースの符号予測スキームを適用することは、変換係数候補の他のセットを変換係数候補の複数のグループに分割することと、変換係数候補のグループごとに、変換係数候補のグループの元の符号が変換係数候補のグループの予測符号と同一であるかどうかに基づいて、変換係数候補のグループに対して１つまたは複数の符号シグナリングビットを生成することとをさらに含む。

いくつかの実装形態では、変換係数候補のグループに対する１つまたは複数の符号シグナリングビットを生成することは、変換係数候補のグループの元の符号が変換係数候補のグループの予測符号と同一であることに応答して、ゼロの値を有するビンを生成することと、ビンを符号シグナリングビットとしてビットストリームに追加することとを含む。

いくつかの実装形態では、変換係数候補のグループに対する１つまたは複数の符号シグナリングビットを生成することは、変換係数候補のグループの元の符号が変換係数候補のグループの予測符号と同一ではないことに応答して、１の値を有するビンを生成することと、変換係数候補のグループの予測符号の対応する正しさを通知するための追加ビンのセットを生成することと、ビンおよび追加ビンのセットを符号シグナリングビットとしてビットストリームに追加することとを含む。

本開示の説明は、例示を目的として提示されたものであり、本開示を網羅することも限定することも意図されていない。前述の説明および関連する図面に提示された教示の恩恵を受ける当業者には、多くの修正、変形、および代替の実装形態が明らかであろう。

特に明記されない限り、本開示による方法のステップの順序は、例示のみを意図されており、本開示による方法のステップは、上記で具体的に説明された順序に限定されず、実際の条件に従って変更されてもよい。さらに、本開示による方法のステップのうちの少なくとも１つは、実際の要件に従って調整、結合、または削除されてもよい。

例は、本開示の原理を説明し、当業者が様々な実装形態について本開示を理解できるようにし、企図される特定の使用に適するように様々な修正を加えて基礎となる原理および様々な実装形態を最大限に活用するために、選択され説明されたものである。したがって、本開示の範囲が、開示された実装形態の特定の例に限定されるものではないこと、また修正および他の実装形態が本開示の範囲内に含まれるよう意図されていることが理解されるべきである。

例えば、イントラモードおよびインターモードのＭＴＳ方式を個別に有効にするために、シーケンスレベルで２つの制御フラグが指定される。ＭＴＳ方式がシーケンスレベルで有効であるとき、ＭＴＳ方式が適用されるか否かを示すために、別のＣＵレベルフラグがさらに信号伝達される。いくつかの実装形態では、ＭＴＳ方式はルマ成分にのみ適用される。さらに、ＭＴＳ方式は、次の条件（ａ）幅と高さとの両方が３２以下であること、および（ｂ）符号化ブロックフラグ（ＣＢＦ：Ｃｏｄｅｄ Ｂｌｏｃｋ Ｆｌａｇ）が１に等しいことが満たされる場合にのみ信号伝達される。ＭＴＳのＣＵフラグがゼロに等しい場合、ＤＣＴ２は水平方向と垂直方向との両方に適用される。ＭＴＳのＣＵフラグが１に等しい場合、水平方向および垂直方向の変換タイプを個々に示すために、追加として他の２つのフラグが信号伝達される。次の表２には、ＭＴＳの水平制御フラグおよび垂直制御フラグと適用される変換との間のマッピングが示されている。

ステップ１６１６において、ビデオプロセッサは、符号シグナリングビットのシーケンスを含むビットストリームを生成してもよい。

Claims (27)

1. 変換係数符号予測のためのビデオ復号方法であって、
   １つまたは複数のプロセッサによって、逆量子化された変換係数から、前記変換係数符号予測のための変換係数候補のセットを選択することであって、前記逆量子化された変換係数が、ビデオからのビデオフレームの変換ブロックに関連付けられることと、
   前記１つまたは複数のプロセッサによって、テンプレートベースの仮説生成スキームを適用して、前記変換係数候補のセットに対する複数の仮説候補から仮説を選択することと、
   前記１つまたは複数のプロセッサによって、選択された前記仮説に関連付けられた符号候補の組み合わせを、前記変換係数候補のセットに対する予測符号のセットであると決定することと、
   前記１つまたは複数のプロセッサによって、ビデオエンコーダから受信した予測符号のセットおよび符号シグナリングビットのシーケンスに基づいて、前記変換係数候補のセットの元の符号を推定することと、
   前記１つまたは複数のプロセッサによって、前記変換係数候補のセットに対する推定された前記元の符号に基づいて、前記逆量子化された変換係数を更新することと、
   を含む、ビデオ復号方法。
2. 符号シグナリングビットの前記シーケンスと、前記変換ブロックに関連付けられた量子化された変換係数とを含むビットストリームを受信することと、
   前記量子化された変換係数から前記逆量子化された変換係数を生成すること、
   をさらに含む、請求項１に記載のビデオ復号方法。
3. 前記逆量子化された変換係数に逆一次変換および逆二次変換を適用して、前記変換ブロックに対応する残差ブロック内に残差サンプルを生成することをさらに含む、請求項１に記載のビデオ復号方法。
4. 前記逆二次変換が、低周波非分離変換（ＬＦＮＳＴ）を含む二次変換に対応する、請求項３に記載のビデオ復号方法。
5. 前記逆一次変換が、ＤＣＴ－ＩＩ、ＤＣＴ－Ｖ、ＤＣＴ－ＶＩＩＩ、ＤＳＴ－Ｉ、ＤＳＴ－ＩＶ、ＤＳＴ－ＶＩＩ、または恒等変換を含む一次変換に対応する、請求項３に記載のビデオ復号方法。
6. 前記変換係数候補のセットを選択することが、
   前記逆量子化された変換係数の大きさに基づいて、前記逆量子化された変換係数から前記変換係数候補のセットを選択することを含む、請求項１に記載のビデオ復号方法。
7. 前記変換係数候補のセットを選択することが、
   前記逆量子化された変換係数の量子化インデックスの大きさに基づいて、前記逆量子化された変換係数から前記変換係数候補のセットを選択することを含む、請求項１に記載のビデオ復号方法。
8. 前記変換係数候補のセットを選択することが、
   ビデオ符号化に適用されるエントロピー符号化の係数走査順序に基づいて、前記逆量子化された変換係数から前記変換係数候補のセットを選択することを含む、請求項１に記載のビデオ復号方法。
9. 前記変換係数候補のセットを選択することが、
   前記変換ブロックの再構築された境界線サンプルに対する前記逆量子化された変換係数の影響スコアに基づいて、前記逆量子化された変換係数から前記変換係数候補のセットを選択することを含む、請求項１に記載のビデオ復号方法。
10. 前記再構築された境界線サンプルに対する前記逆量子化された変換係数の前記影響スコアが、前記再構築された境界線サンプルに対する各逆量子化された変換係数の変動のＬ１ノルムとして測定される、請求項９に記載のビデオ復号方法。
11. 前記再構築された境界線サンプルに対する前記逆量子化された変換係数の前記影響スコアが、前記再構築された境界線サンプルに対する各逆量子化された変換係数の変動のＬ２ノルムとして測定される、請求項９に記載のビデオ復号方法。
12. 前記テンプレートベースの仮説生成スキームを適用して前記仮説を選択することが、
    前記変換係数候補のセット内の変換係数候補の総数に基づいて、前記変換係数候補のセットに対する符号候補の複数の組み合わせを決定することと、
    前記テンプレートベースの仮説生成スキームを適用して、符号候補の前記複数の組み合わせに対する前記複数の仮説候補をそれぞれ生成することと、
    水平方向、垂直方向、および対角方向に沿った組み合わせ勾配を組み込んだコスト関数に基づいて、前記複数の仮説候補から最小コストに関連する仮説を決定すること、
    を含む、請求項１に記載のビデオ復号方法。
13. 前記テンプレートベースの仮説生成スキームを適用して、符号候補の前記複数の組み合わせに対する前記複数の仮説候補をそれぞれ生成することが、
    テンプレートの線形結合に基づいて、符号候補の各組み合わせに対する対応する仮説候補を生成することを含む、請求項１２に記載のビデオ復号方法。
14. 各テンプレートが、前記変換係数候補のセット内の変換係数候補に対応し、
    各テンプレートが、前記変換ブロックに逆二次変換および逆一次変換を適用することによって生成され、１に設定されるテンプレートに対応する変換係数候補を除いて、前記変換係数候補のセットのそれぞれがゼロに設定される、
    請求項１３に記載のビデオ復号方法。
15. 前記テンプレートベースの仮説生成スキームを適用して、符号候補の前記複数の組み合わせに対する前記複数の仮説候補をそれぞれ生成することが、
    符号候補の前記複数の組み合わせをそれぞれ、前記複数の仮説候補に対する複数の仮説インデックスであると決定することと、
    前記複数の仮説インデックスのゲイリー符号順序に基づいて前記複数の仮説インデックスを順序付けし、仮説インデックスの並べ替えられたシーケンスを生成することと、
    仮説インデックスの前記並べ替えられたシーケンス内の第１の仮説インデックスについて、前記変換ブロックに逆二次変換および逆一次変換を適用することによって、前記第１の仮説インデックスに対応する第１の仮説候補を生成することであって、前記変換係数候補のセットのそれぞれが１に設定される、前記第１の仮説候補を生成することと、
    前記第１の仮説インデックスの直後にある、仮説インデックスの前記並べ替えられたシーケンス内の第２の仮説インデックスについて、前記第１の仮説インデックスに対応する前記第１の仮説候補と、第２の仮説候補の調整項とに基づいて、前記第２の仮説インデックスに対応する前記第２の仮説候補を生成すること、
    を含む、請求項１２に記載のビデオ復号方法。
16. 前記コスト関数が、前記垂直方向および前記水平方向に沿った勾配を組み込んだ水平垂直コスト関数、左対角方向に沿った勾配を組み込んだ左対角コスト関数、ならびに右対角方向に沿った勾配を組み込んだ右対角コスト関数に基づいて決定される、請求項１２に記載のビデオ復号方法。
17. 前記変換係数候補のセットに対する符号シグナリングビットの前記シーケンスが、前記ビデオエンコーダによって、
    前記ビデオエンコーダによって、ベクトルベースの符号予測スキームを、ビデオエンコーダ側で選択された変換係数候補の別のセットに対する予測符号の別のセットに適用することによって生成され、
    変換係数候補の前記別のセットが、ビデオデコーダ側の前記変換係数候補のセットに対応する前記ビデオエンコーダ側の変換係数である、請求項１に記載のビデオ復号方法。
18. 変換係数候補の前記別のセットに対する予測符号の前記別のセットに前記ベクトルベースの符号予測スキームを適用して、符号シグナリングビットの前記シーケンスを生成することが、
    変換係数候補の前記別のセットを変換係数候補の複数のグループに分割することと、
    変換係数候補のグループごとに、変換係数候補の前記グループの元の符号が変換係数候補の前記グループの予測符号と同一であるかどうかに基づいて、変換係数候補の前記グループに対して１つまたは複数の符号シグナリングビットを生成すること、
    をさらに含む、請求項１７に記載のビデオ復号方法。
19. 変換係数候補の前記グループに対する前記１つまたは複数の符号シグナリングビットを生成することが、
    変換係数候補の前記グループの前記元の符号が変換係数候補の前記グループの前記予測符号と同一であることに応答して、
    ゼロの値を有するビンを生成することと、
    前記ビンを符号シグナリングビットとしてビットストリームに追加すること、
    を含む、請求項１８に記載のビデオ復号方法。
20. 変換係数候補の前記グループに対する前記１つまたは複数の符号シグナリングビットを生成することが、
    変換係数候補の前記グループの前記元の符号が変換係数候補の前記グループの前記予測符号と同一ではないことに応答して、
    １の値を有するビンを生成することと、
    変換係数候補の前記グループの前記予測符号の対応する正しさを通知するための追加ビンのセットを生成することと、
    前記ビンおよび前記追加ビンのセットを符号シグナリングビットとしてビットストリームに追加すること、
    を含む、請求項１８に記載のビデオ復号方法。
21. 変換係数符号予測のためのビデオ復号装置であって、
    複数のビデオフレームを含むビデオを記憶するように構成されたメモリと、
    前記メモリに結合され、
    逆量子化された変換係数から、前記変換係数符号予測のための変換係数候補のセットを選択することであって、前記逆量子化された変換係数が、前記ビデオからのビデオフレームの変換ブロックに関連付けられる、変換係数候補のセットを選択することと、
    テンプレートベースの仮説生成スキームを適用して、前記変換係数候補のセットに対する複数の仮説候補から仮説を選択することと、
    選択された前記仮説に関連付けられた符号候補の組み合わせを、前記変換係数候補のセットに対する予測符号のセットであると決定することと、
    前記ビデオエンコーダから受信した予測符号のセットおよび符号シグナリングビットのシーケンスに基づいて、前記変換係数候補のセットの元の符号を推定することと、
    前記変換係数候補のセットに対する推定された前記元の符号に基づいて、前記逆量子化された変換係数を更新すること、
    を行うように構成された１つまたは複数のプロセッサと、
    を備える、ビデオ復号装置。
22. 前記変換係数候補のセットを選択するために、前記１つまたは複数のプロセッサが、
    前記逆量子化された変換係数の大きさ、前記逆量子化された変換係数の量子化インデックスの大きさ、ビデオ符号化に適用されるエントロピー符号化の係数走査順序、または前記変換ブロックの再構築された境界線サンプルに対する前記逆量子化された変換係数の影響スコアに基づいて、前記逆量子化された変換係数から前記変換係数候補のセットを選択するように構成される、請求項２１に記載のビデオ復号装置。
23. 前記テンプレートベースの仮説生成スキームを適用して前記仮説を選択するために、前記１つまたは複数のプロセッサが、
    前記変換係数候補のセット内の変換係数候補の総数に基づいて、前記変換係数候補のセットに対する符号候補の複数の組み合わせを決定し、
    前記テンプレートベースの仮説生成スキームを適用して、符号候補の前記複数の組み合わせに対して前記複数の仮説候補をそれぞれ生成し、
    水平方向、垂直方向、および対角方向に沿った組み合わせ勾配を組み込んだコスト関数に基づいて、前記複数の仮説候補から最小コストに関連する仮説を決定する、
    ように構成される、請求項２１に記載のビデオ復号装置。
24. 前記コスト関数が、前記垂直方向および前記水平方向に沿った勾配を組み込んだ水平垂直コスト関数、左対角方向に沿った勾配を組み込んだ左対角コスト関数、ならびに右対角方向に沿った勾配を組み込んだ右対角コスト関数に基づいて決定される、請求項２３に記載のビデオ復号装置。
25. 前記変換係数候補のセットに対する符号シグナリングビットの前記シーケンスが、前記ビデオエンコーダによって、
    ベクトルベースの符号予測スキームを、ビデオエンコーダ側で選択された変換係数候補の別のセットに対する予測符号の別のセットに適用することによって生成され、
    変換係数候補の前記別のセットが、ビデオデコーダ側の前記変換係数候補のセットに対応する前記ビデオエンコーダ側の変換係数である、請求項２１に記載のビデオ復号装置。
26. 命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、１つまたは複数のプロセッサによって実行されたとき、変換係数符号予測のためのビデオ復号方法を前記１つまたは複数のプロセッサに実行させ、
    前記ビデオ復号方法が、
    逆量子化された変換係数から、前記変換係数符号予測のための変換係数候補のセットを選択することであって、前記逆量子化された変換係数が、ビデオからのビデオフレームの変換ブロックに関連付けられることと、
    テンプレートベースの仮説生成スキームを適用して、前記変換係数候補のセットに対する複数の仮説候補から仮説を選択することと、
    選択された前記仮説に関連付けられた符号候補の組み合わせを、前記変換係数候補のセットに対する予測符号のセットであると決定することと、
    前記予測符号のセットおよびビデオエンコーダからビットストリームを通じて受信された符号シグナリングビットのシーケンスに基づいて、前記変換係数候補のセットの元の符号を推定することと、
    前記変換係数候補のセットに対する推定された前記元の符号に基づいて、前記逆量子化された変換係数を更新すること、
    を含み、前記ビットストリームが前記非一時的コンピュータ可読記憶媒体に記憶される、
    非一時的コンピュータ可読記憶媒体。
27. ビデオ方法によって復号可能なビットストリームを記憶した非一時的コンピュータ可読記憶媒体であって、
    前記ビデオ方法が、
    変換係数符号予測のために逆量子化された変換係数から変換係数候補のセットを選択することであって、前記逆量子化された変換係数が、ビデオからのビデオフレームの変換ブロックに関連付けられることと、
    テンプレートベースの仮説生成スキームを適用して、前記変換係数候補のセットに対する複数の仮説候補から仮説を選択することと、
    選択された前記仮説に関連付けられた符号候補の組み合わせを、前記変換係数候補のセットに対する予測符号のセットであると決定することと、
    前記予測符号のセットおよびビデオエンコーダからビットストリームを通じて受信された符号シグナリングビットのシーケンスに基づいて、前記変換係数候補のセットの元の符号を推定することと、
    前記変換係数候補のセットに対する推定された前記元の符号に基づいて、前記逆量子化された変換係数を更新すること、
    を含む、非一時的コンピュータ可読記憶媒体。

Images