JP2022515807A - ビデオ処理方法および装置 - Google Patents

Abstract

第１の参照フレームリストと第２の参照フレームリストとを含む現在ブロックの参照フレームリストを取得することと、現在ブロックの参照フレームリストに基づいて、第１の参照フレームリストと第２の参照フレームリストとの一方である目標参照フレームリストを決定することと、現在ブロックの目標参照フレームリストに基づいて現在ブロックの時間動きベクトルを決定することと、時間動きベクトルに基づいて現在ブロックのサブブロックの動き情報を決定することと、現在ブロックのサブブロックの動き情報に基づいて現在ブロックに対してフレーム間予測を行うことと、を含むビデオ処理方法および装置を提供する。双方向予測プロセスにおいて走査しなければならない参照フレームリストの数を制限することによって、符号化復号操作を簡略化することができる。
【選択図】図１

Description

著作権に関する声明
本特許文書が開示する内容は、著作権保護を受ける資料を含む。この著作権は著作権所有者が所有する。著作権所有者は、いかなる人が、特許商標局の公式記録および書類の中に存在するこの特許文書もしくはこの特許開示を複製することにも反対しない。

本願はビデオ符号化復号の分野に関し、かつ、より具体的には、ビデオ処理方法および装置に関する。

ビデオ符号化プロセスはフレーム間予測プロセスを含む。フレーム間予測のモードはｍｅｒｇｅモードと非ｍｅｒｇｅモードとを含む。ｍｅｒｇｅモードでは通常、まず、ｍｅｒｇｅモードの動きベクトル候補リストを構築するとともに、ｍｅｒｇｅモードの動きベクトル候補リストの中から現在ブロックの動きベクトルを選び取らなければならない。現在ブロックは、現在符号化ユニット（ｃｏｄｉｎｇ ｕｎｉｔ，ＣＵ）と称してもよい。

符号化技術が発展するのに伴い、フレーム間予測方式に代替／高度時間動きベクトル予測（ａｌｔｅｒｎａｔｉｖｅ／ａｄｖａｎｃｅｄ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ，ＡＴＭＶＰ）技術が導入されている。ＡＴＭＶＰ技術では、現在ブロックが複数のサブブロックに区分され、サブブロックの動き情報を計算する。ＡＴＭＶＰ技術は、サブブロックレベルの動きベクトル予測を導入することで、ビデオの全体的符号化性能を向上させることを目的とする。

ＡＴＭＶＰ技術を利用して現在ブロックのサブブロックの動き情報を探すプロセスは比較的複雑であり、いくつかの冗長な操作が存在しており、このプロセスには改良の余地が依然としてある。

本願は、符号化復号操作を簡略化することができるビデオ処理方法および装置を提供する。

第１の態様では、第１の参照フレームリストと第２の参照フレームリストとを含む現在ブロックの参照フレームリストを取得することと、前記現在ブロックの参照フレームリストに基づいて、前記第１の参照フレームリストと前記第２の参照フレームリストとの一方である目標参照フレームリストを決定することと、前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することと、前記時間動きベクトルに基づいて前記現在ブロックのサブブロックの動き情報を決定することと、前記現在ブロックのサブブロックの動き情報に基づいて前記現在ブロックに対してフレーム間予測を行うことと、を含むビデオ処理方法を提供する。

第２の態様では、コードを記憶するためのメモリと、プロセッサであって、前記メモリに記憶されたコードを実行することで、第１の参照フレームリストと第２の参照フレームリストとを含む現在ブロックの参照フレームリストを取得し、前記現在ブロックの参照フレームリストに基づいて、前記第１の参照フレームリストと前記第２の参照フレームリストとの一方である目標参照フレームリストを決定し、前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定し、前記時間動きベクトルに基づいて前記現在ブロックのサブブロックの動き情報を決定し、前記現在ブロックのサブブロックの動き情報に基づいて前記現在ブロックに対してフレーム間予測を行う操作を実行するためのプロセッサと、を含むビデオ処理装置を提供する。

第３の態様では、第１の態様における方法を実行するための指令を記憶したコンピュータ読取可能記憶媒体を提供する。

第４の態様では、第１の態様における方法を実行するための指令を含むコンピュータプログラム製品を提供する。

双方向予測プロセスにおいて走査しなければならない参照フレームリストの数を制限することによって、符号化復号操作を簡略化することができる。

ａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔを構成するフローチャートである。 現在ブロックの周辺ブロックの概略図である。 ＡＴＭＶＰの実現プロセスのフローチャートである。 現在ブロックのサブブロックの動き情報の取得方式の例を示す図である。 本願の実施例が提供するビデオ処理方法のフローの概略図である。 本願の実施例が提供するビデオ処理装置の構造概略図である。

本願は、Ｈ．２６４、高効率ビデオ符号化（ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ，ＨＥＶＣ）、多用途ビデオ符号化（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ，ＶＶＣ）、音声・ビデオ符号化規格（ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ，ＡＶＳ）、ＡＶＳ＋、ＡＶＳ２、およびＡＶＳ３など、複数種のビデオ符号化規格に応用することができる。

ビデオ符号化プロセスは、予測、変換、量子化、エントロピー符号化、ループフィルタリング等の部分を主に含む。予測は主流のビデオ符号化技術の重要な構成部分である。予測はフレーム内予測とフレーム間予測とに分けることができる。フレーム間予測は動き補償の方式によって実現することができる。以下、動き補償プロセスについて、例を挙げて説明する。

例えば、１フレームの画像に対して、まず、それを１つまたは複数の符号化領域に区分することができる。この符号化領域は符号化ツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ，ＣＴＵ）とも称することができる。ＣＴＵのサイズは例えば６４×６４であってよく、１２８×１２８であってもよい（単位はピクセル。以降の類似する記述についてはいずれも単位を省略する）。各々のＣＴＵは、方形または矩形の画像ブロックに区分することができる。この画像ブロックは符号化ユニット（ｃｏｄｉｎｇ ｕｎｉｔ，ＣＵ）とも称することができ、以降、符号化すべき現在ＣＵを現在ブロックと称する。

現在ブロックに対してフレーム間予測を行う際には、参照フレーム（時間領域近傍の再構成されたフレームであってよい）から、現在ブロックの予測ブロックとして現在ブロックの相似ブロックを探すことができる。現在ブロックと相似ブロックとの間の相対的変位を動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ，ＭＶ）と称する。参照フレームの中で現在ブロックの予測ブロックとして相似ブロックを探すプロセスが、すなわち動き補償である。

フレーム間予測モードはｍｅｒｇｅモードと非ｍｅｒｇｅモードとを含む。ｍｅｒｇｅモードでは、画像ブロックの動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ，ＭＶ）が、すなわち画像ブロックの動きベクトル予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ，ＭＶＰ）である。従って、ｍｅｒｇｅモードについては、符合ストリームの中でＭＶＰのインデックスおよび参照フレームのインデックスを伝送すればよい。これに対し非ｍｅｒｇｅモードは、符合ストリームの中でＭＶＰと参照フレームのインデックスとを伝送しなければならないだけでなく、符合ストリームの中で動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ，ＭＶＤ）も伝送しなければならない。

従来の動きベクトルが採用しているのは簡単な平行移動モデルであり、つまり、現在ブロックの動きベクトルが表すのは、現在ブロックと参照ブロックとの間の相対的変位である。このようなタイプの動きベクトルは、スケーリング、回転、透視など、ビデオ中の、より複雑な動き状況を正確に記述するのが困難である。より複雑な動き状況を記述できるように、関連する符号化復号規格にアフィンモデル（ａｆｆｉｎｅモデル）が導入された。アフィンモデルは、現在ブロックの２つまたは３つの制御点（ｃｏｎｔｒｏｌ ｐｏｉｎｔ，ＣＰ）の動きベクトルを利用して現在ブロックのアフィン動き場を記述する。この２つの制御点は、例えば、現在ブロックの左上角および右上角であってよく、この３つの制御点は、例えば、現在ブロックの左上角、右上角および左下角であってよい。

アフィンモデルと、先に言及したｍｅｒｇｅモードとを結合させて、ａｆｆｉｎｅ ｍｅｒｇｅモードを形成する。普通、ｍｅｒｇｅモードの動きベクトル候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）に記録されるのは画像ブロックのＭＶＰであり、ａｆｆｉｎｅ ｍｅｒｇｅモードの動きベクトル候補リスト（ａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）に記録されるのは制御点動きベクトル予測（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ，ＣＰＭＶＰ）である。普通のｍｅｒｇｅモードと同様に、ａｆｆｉｎｅ ｍｅｒｇｅモードは符合ストリームにＭＶＤを加える必要がなく、ＣＰＭＶＰをそのまま現在ブロックのＣＰＭＶとする。

現在ブロックのａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔの構成は、ａｆｆｉｎｅ ｍｅｒｇｅモードの重要なプロセスの１つである。図１に、ａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ（アフィンマージ候補リスト）の１つの可能な構成方式を示している。

ステップＳ１１０では、現在ブロックのａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔにＡＴＭＶＰを挿入する。

ＡＴＭＶＰに含まれるのは、現在ブロックのサブブロックの動き情報である。換言すれば、ＡＴＭＶＰ技術を採用する場合、ａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔが現在ブロックのサブブロックの動き情報に挿入され、ａｆｆｉｎｅ ｍｅｒｇｅモードがサブブロックというレベルで動き補償を行うことができるようにすることにより、ビデオの全体的符号化性能を向上させる。図３を参照しながらステップＳ１１０の実施形態について後で詳しく記述するが、ここでは差し当たり詳述しない。

前記動き情報は、動きベクトル、動きベクトル差分、参照フレームインデックス値、フレーム間予測の参照方向、画像ブロックにフレーム内符号化またはフレーム間符号化を採用する情報、画像ブロックの区分モード、のうち１種または複数種の情報の組み合わせを含む。

ステップＳ１２０では、ａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔに、継承するａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓを挿入する。

例えば、図２に示すように、Ａ１→Ｂ１→Ｂ０→Ａ０→Ｂ２の順に現在ブロックの周辺ブロックを走査し、ａｆｆｉｎｅ ｍｅｒｇｅモードの周辺ブロックのＣＰＭＶを現在ブロックのａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓとして採用し、現在ブロックのａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔに挿入することができる。

ステップＳ１３０では、ａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔの中のａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓの数が所定値よりも小さいかどうか判断する。

ａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔの中のａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓの数が所定値に達している場合、図１のフローを終了し、ａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔの中のａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓの数が所定値よりも小さい場合、ステップＳ１４０を引き続き実行する。

ステップＳ１４０は、ａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔに、構成するａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓを挿入する。

例えば、現在ブロックの周辺ブロックの動き情報を組み合わせることで、新たなａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓを構成するとともに、構成して生成したａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓをａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔに挿入することができる。

ステップＳ１５０では、ａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔの中のａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓの数が所定値よりも小さいかどうか判断する。

ａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔの中のａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓの数が所定値に達している場合、図１のフローを終了し、ａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔの中のａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓの数が所定値よりも小さい場合、ステップＳ１６０を引き続き実行する。

ステップＳ１６０では、ａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔに０ベクトルを挿入する。

換言すれば、０ベクトルを使用してａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔを充填（ｐａｄｄｉｎｇ）して、所定値に達するようにする。

以下、図３を参照しながら、図１中のステップＳ１１０の実施形態について、詳しく例を挙げて説明する。いくつかの例においては、以下で説明する、現在ブロックのａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔにＡＴＭＶＰを挿入する方法が、上記の図１に示す実施例に限定されなくてもよい。

図３に示すように、ＡＴＶＭＰ技術の実施形態、すなわち現在ブロックのサブブロックの動き情報の取得方式は、ステップＳ３１０およびＳ３２０という２つのステップに大まかに分けることができる。

ステップＳ３１０においては、現在ブロックの、参照フレームにおける対応ブロック（ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｂｌｏｃｋ）を決定する。

現在のＡＴＭＶＰ技術においては、現在フレーム（現在ブロックが所在するフレーム）の、動き情報を取得するためのフレームは、コロケーテッドフレーム（ｃｏ－ｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）と称される。現在フレームのコロケーテッドフレームはｓｌｉｃｅ（スライス）の初期化時に設定される。前方予測を例にすると、第１の参照フレームリストは前方参照フレームリストであってよく、第１の組の参照フレームを含んだ参照フレームリストであってもよい。前記第１の組の参照フレームに、時間的順序が現在フレームの前および現在フレームの後である参照フレームが含まれている。ｓｌｉｃｅの初期化時に、通常は、現在ブロックの第１の参照フレームリスト中の第１のフレームを現在フレームのコロケーテッドフレームに設定する。

現在ブロックの、参照フレームにおける対応ブロックは、１つの時間動きベクトル（ｔｅｍｐ ＭＶ）によって決定される。従って、現在ブロックの、参照フレームにおける対応ブロックを得るため、まず、この時間動きベクトルを導出しなければならない。次に、それぞれ前方予測および双方向予測を例にして、時間動きベクトルの導出プロセスについて説明する。

前方予測については、現在ブロックの参照フレームリスト（参照リストまたは参照画像リストと称することもできる）の個数は１である。現在ブロックの参照フレームリストは、第１の参照フレームリスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ ０）と称することができる。１つの場面では、この第１の参照フレームリストは前方参照フレームリストであってよい。現在フレームのコロケーテッドフレームは通常、第１の参照フレームリスト中の第１のフレームに設定される。

時間動きベクトルを導出するプロセスにおいて、１つの実施形態は次の通りである：まず、現在ブロックの動きベクトル候補リスト（この動きベクトル候補リストは、空間領域の４つの隣接する位置の画像ブロックの動きベクトルに基づいて構築することができる）を走査し、この動きベクトル候補リスト中の１つ目の候補動きベクトルを、初期の時間動きベクトルとする。その後、現在ブロックの第１の参照フレームリストを走査し、この１つ目の候補動きベクトルの参照フレームが現在フレームのコロケーテッドフレームと同じであれば、この１つ目の候補動きベクトルを時間動きベクトルとすることができ、この１つ目の候補動きベクトルの参照フレームが現在フレームのコロケーテッドフレームと異なっていれば、時間動きベクトルを０ベクトルに設定し、走査を停止することができる。

この実施形態では、動きベクトル候補リストを構築することで、リスト中の１つ目の候補動きベクトルを得なければならない。別の実施形態では、現在ブロックの、ある１つの空間隣接ブロックの動きベクトルを、初期の時間動きベクトルとして直接取ることができる。この空間隣接ブロックの動きベクトルの参照フレームが現在フレームのコロケーテッドフレームと同じであれば、それを時間動きベクトルとすることができ、そうでない場合、時間動きベクトルを０ベクトルに設定し、走査を停止することができる。ここで、空間隣接ブロックは、現在ブロック周辺の符号化されたブロックのうちいずれか１つであってよい。例えば、現在ブロックの左側ブロックに固定されるか、または、現在ブロックの上方ブロックに固定されるか、または、現在ブロックの左上ブロックに固定されてもよい。

双方向予測については、現在ブロックの参照フレームリストの個数は２であり、すなわち、第１の参照フレームリスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ ０）と第２の参照フレームリスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ １）とを含む。そのうち、１つの場面では、第１の参照フレームリストは前方参照フレームリストであってよく、第２の参照フレームリストは後方参照フレームリストであってよい。

時間動きベクトルを導出するプロセスにおいて、１つの実施形態は次の通りである：まず、現在の動きベクトル候補リストを走査し、この動きベクトル候補リスト中の１つ目の候補動きベクトルを、初期の時間動きベクトルとする。その後、まず、現在ブロックの、現在の参照方向における１つの参照フレームリスト（第１の参照フレームリストであってよく、第２の参照フレームリストであってもよい）を走査し、この１つ目の候補動きベクトルの参照フレームが現在フレームのコロケーテッドフレームと同じであれば、この１つ目の候補動きベクトルを時間動きベクトルとすることができ、この１つ目の候補動きベクトルの参照フレームが現在フレームのコロケーテッドフレームと異なっていれば、現在ブロックの、別の参照方向における参照フレームリストを引き続き走査する。同様に、１つ目の候補動きベクトルの、この別の参照フレームリストにおける参照フレームが、現在フレームのコロケーテッドフレームと同じであれば、この１つ目の候補動きベクトルを時間動きベクトルとすることができ、この１つ目の候補動きベクトルの参照フレームが現在フレームのコロケーテッドフレームと異なっていれば、時間動きベクトルを０ベクトルに設定し、走査を停止することができる。なお、他のいくつかの場面で、第１の参照フレームリストおよび第２の参照フレームリストがいずれも、時間的順序が現在フレームの前および現在フレームの後である参照フレームを含んでいてよく、前記双方向予測は、第１の参照フレームリストおよび第２の参照フレームリストから、参照方向が異なる参照フレームを選択していることを指す。

この実施形態では、双方向予測においてＡＴＭＶＰのｔｅｍｐ ＭＶを導出するには、依然として動きベクトル候補リストを構築する必要がある。別の実施形態では、現在ブロックの、ある１つの空間隣接ブロックの動きベクトルを、初期の時間動きベクトルとして直接取ることができる。双方向予測については、まず、現在ブロックの、現在の参照方向における１つの参照フレームリスト（第１の参照フレームリストであってよく、第２の参照フレームリストであってもよい）を走査し、この空間隣接ブロックの動きベクトルの、この参照方向における参照フレームが、現在フレームのコロケーテッドフレームと同じであれば、それを時間動きベクトルとすることができる。任意には、この空間隣接ブロックの動きベクトルの、この参照方向における参照フレームが、現在フレームのコロケーテッドフレームと異なっていれば、現在ブロックの、別の参照方向における参照フレームリストを引き続き走査する。同様に、この空間隣接ブロックの動きベクトルの、この別の参照フレームリストにおける参照フレームが、現在フレームのコロケーテッドフレームと同じであれば、この空間隣接ブロックの動きベクトルを時間動きベクトルとすることができ、この空間隣接ブロックの動きベクトルの参照フレームが現在フレームのコロケーテッドフレームと異なっていれば、時間動きベクトルを０ベクトルに設定し、走査を停止することができる。ここで、空間隣接ブロックは、現在ブロック周辺の符号化されたブロックのうちいずれか１つであってよい。例えば、現在ブロックの左側ブロックに固定されるか、または、現在ブロックの上方ブロックに固定されるか、または、現在ブロックの左上ブロックに固定されてもよい。

双方向予測については、第１の参照フレームリストおよび第２の参照フレームリストの走査順序は、以下の規則により決定することができる。

現在フレームに採用されているのが低遅延（ｌｏｗ ｄｅｌａｙ）符号化モードであり、かつ、現在フレームのコロケーテッドフレームが第２の参照フレームリスト中の第１のフレームに設定されている場合には、まず、第２の参照フレームリストを走査し、そうでない場合、まず、第１の参照フレームリストを走査する。

ここで、現在フレームに低遅延（ｌｏｗ ｄｅｌａｙ）符号化モードを採用すれば、現在フレームの参照フレームの、ビデオシーケンスにおける再生順序がいずれも現在フレームの前にあることを表すことができ、現在フレームのコロケーテッドフレームが第２の参照フレームリスト中の第１のフレームに設定されていれば、現在フレームの第１の参照フレームリストの１つ目のｓｌｉｃｅの量子化ステップサイズが第２の参照フレームリストの１つ目のｓｌｉｃｅの量子化ステップサイズよりも小さいことを表すことができる。

時間動きベクトルを導出した後、この時間動きベクトルを利用して参照フレームの中で現在ブロックの対応ブロックを探し出すことができる。

ステップＳ３２０においては、現在ブロックの対応ブロックに基づいて、現在ブロックのサブブロックの動き情報を取得する。

図４に示すように、現在ブロックを複数のサブブロックに区分し、その後、サブブロックの、対応ブロックにおける動き情報を決定することができる。注意するに値するのは、個々のサブブロックについては、対応ブロックの動き情報は、その所在する最小動き情報記憶ユニットにより決定することができるという点である。

前記動き情報は、動きベクトル、動きベクトル差分、参照フレームインデックス値、フレーム間予測の参照方向、画像ブロックにフレーム内符号化またはフレーム間符号化を採用する情報、画像ブロックの区分モード、のうち１種または複数種の情報の組み合わせを含む。

図３に描かれたＡＴＭＶＰの実現プロセスから、双方向予測については、最も悪い状況は、時間動きベクトルを導出するプロセスにおいて、２つの参照フレームリストに対していずれも走査を行っても、条件に適合する時間動きベクトルが依然として導出されていないというものであり、このような状況においては、２つの参照フレームリストに対する走査は冗長であることが分かる。

また、双方向予測において、現在フレームの符号化モードが低遅延モード（ｌｏｗ ｄｅｌａｙ Ｂ）またはランダムアクセスモード（ｒａｎｄｏｍ ａｃｃｅｓｓ）であれば、第１の参照フレームリストと第２の参照フレームリストとにおける参照フレームにある程度の重畳があり得るため、時間動きベクトルを取得するプロセスにおいて、２つの参照フレームリストに対する走査プロセスに冗長な操作が存在し得る。

従って、関連技術が双方向予測に対して提供する時間動きベクトル導出案は比較的複雑であり、改善の余地がある。

次に、図５を参照しながら、本願の実施例について詳述する。

図５は、本願の実施例が提供するビデオ処理方法の概略的フローチャートである。図５の方法は符号化側に応用可能であり、復号側にも応用可能である。

ステップＳ５１０では、第１の参照フレームリストと第２の参照フレームリストとを含む現在ブロックの参照フレームリストを取得する。

現在ブロックは現在ＣＵとも称することができる。現在ブロックの参照フレームリストは第１の参照フレームリストと第２の参照フレームリストとを含み、現在ブロックが実行しようとするのはフレーム間の双方向予測であることを表す。

任意には、前記第１の参照フレームリストは前方参照フレームリストであってよく、第１の組の参照フレームを含んだ参照フレームリストであってもよい。前記第１の組の参照フレームに、時間的順序が現在フレームの前および現在フレームの後である参照フレームが含まれている。

任意には、前記第２の参照フレームリストは後方参照フレームリストであってよく、第２の組の参照フレームを含んだ参照フレームリストであってもよい。前記第２の組の参照フレームに、時間的順序が現在フレームの前および現在フレームの後である参照フレームが含まれている。

注意を要するのは、いくつかの場面で、第１の参照フレームリストおよび第２の参照フレームリストがいずれも、時間的順序が現在フレームの前および現在フレームの後である参照フレームを含んでいてよく、前記双方向予測は、第１の参照フレームリストおよび第２の参照フレームリストから、参照方向が異なる参照フレームを選択していることを指すことができるという点である。

ステップＳ５２０では、現在ブロックの参照フレームリストに基づいて目標参照フレームリストを決定する。

目標参照フレームリストは、第１の参照フレームリストと第２の参照フレームリストとの一方である。この目標参照フレームリストはランダムに選び取ってよく、一定の規則に基づいて選び取ってもよい。例えば、次のような規則に基づいて選び取ってよい。つまり、現在ブロックが所在する現在フレームに低遅延符号化モードを採用しており、かつ、現在フレームのコロケーテッドフレームが第２の参照フレームリスト中の第１のフレームである場合、第２の参照フレームリストを目標参照フレームリストに決定するか、現在ブロックが所在する現在フレームに低遅延符号化モードを採用していないか、または、現在フレームのコロケーテッドフレームが第２の参照フレームリスト中の第１のフレームではない場合、第１の参照フレームリストを目標参照フレームリストに決定するかの少なくとも１つである。

ステップＳ５３０では、現在ブロックの目標参照フレームリストに基づいて現在ブロックの時間動きベクトルを決定する。

双方向予測プロセスにおいては、本願の実施例は、第１の参照フレームリストと第２の参照フレームリストとのうち一方の参照フレームリストに基づいて現在ブロックの時間動きベクトルを決定する。換言すれば、目標参照フレームリストから時間動きベクトルを導出することができるか否かにかかわらず、目標参照フレームリストを走査し終えた後、直ちに走査を停止する。換言すれば、目標参照フレームリストのみに基づいて現在ブロックの時間動きベクトルを決定することができる。

例を挙げて説明すると、まず、現在の動きベクトル候補リスト（この動きベクトル候補リストは、空間領域の４つの隣接する位置の画像ブロックの動きベクトルに基づいて構築することができる）から、１つ目の候補動きベクトルを選び取ることができ、目標参照フレームリストから、１つ目の候補動きベクトルの参照フレームを探索し、１つ目の候補動きベクトルの参照フレームと現在ブロックのコロケーテッドフレームとが同じである場合に、１つ目の候補動きベクトルを時間動きベクトルに決定することができ、１つ目の候補動きベクトルの参照フレームと現在ブロックのコロケーテッドフレームとが異なる場合にも走査を停止し、図３の実施例において描かれたように現在ブロックの別の参照フレームリストを引き続き走査しない。このような状況で、０ベクトルを現在ブロックの時間動きベクトルとすることができる。

ステップＳ５４０では、時間動きベクトルに基づいて現在ブロックのサブブロックの動き情報を決定する。

例えば、時間動きベクトルに基づいて、現在ブロックの、参照フレームにおける対応ブロックを決定することができる。その後、現在ブロックの、参照フレームにおける対応ブロックに基づいて現在ブロックのサブブロックの動き情報を決定することができる。前記動き情報は、動きベクトル、動きベクトル差分、参照フレームインデックス値、フレーム間予測の参照方向、画像ブロックにフレーム内符号化またはフレーム間符号化を採用する情報、画像ブロックの区分モードのうち１種または複数種の情報の組み合わせを含む。ステップＳ５４０は、上記のうちステップＳ３２０を参照して実現することができ、ここでは再び詳述しない。

ステップＳ５５０では、現在ブロックのサブブロックの動き情報に基づいて現在ブロックに対してフレーム間予測を行う。

一例として、ステップＳ５５０は、現在ブロックのサブブロックを単位とし、現在ブロックのサブブロックの動き情報に基づいてフレーム間予測を行うことを含むことができる。

例えば、図１に示すように、現在ブロックのサブブロックの動き情報をＡＴＭＶＰとして現在ブロックのａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅｓ ｌｉｓｔに挿入し、その後、図１中のステップＳ１２０～ステップＳ１６０のように、完全なａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅｓ ｌｉｓｔを構成することができる。続いて、このａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅｓ ｌｉｓｔの中の候補動きベクトルを利用し、現在ブロックに対してフレーム間予測を行うことで、最も優れた候補動きベクトルを決定することができる。ステップＳ５５０の詳細な実施形態は関連技術を参照して実行することができ、本願の実施例は、これを限定しない。

本願の実施例は、双方向予測プロセスにおいて走査しなければならない参照フレームリストの数を制限することによって、符号化復号側の操作を簡略化することができる。

理解可能なのは、図５の方法をそれぞれ符号化側と復号側とに応用するとき、ステップＳ５５０で記述された、現在ブロックに対するフレーム間予測プロセスに違いがあり得るという点である。例えば、図５の方法を符号化側に応用するとき、現在ブロックに対してフレーム間予測を行うことが、現在ブロックの予測ブロックを決定することと、現在ブロックの初期ブロックおよび予測ブロックに基づいて現在ブロックの残差ブロックを計算することと、を含んでいてよい。また、図５の方法を復号側に応用するとき、現在ブロックに対してフレーム間予測を行うことが、現在ブロックの予測ブロックおよび残差ブロックを決定することと、現在ブロックの予測ブロックおよび残差ブロックに基づいて現在ブロックの再構成ブロックを計算することと、を含んでいてよい。

以上、図１～図５を参照しながら、本願の方法の実施例について詳述した。以下、図６を参照しながら、本願の装置の実施例について詳述する。方法の実施例の記述と装置の実施例の記述とは互いに対応しており、従って、詳述されていない部分については先の方法の実施例を参照可能であることを理解しなければならない。

図６は、本願の実施例が提供するビデオ処理装置の概略的構造図である。図６の装置６０は、メモリ６２とプロセッサ６４とを備える。

メモリ６２はコードを記憶するために用いることができる。

プロセッサ６４は、前記メモリに記憶されたコードを実行することで、以下の操作を実行するために用いることができる：第１の参照フレームリストと第２の参照フレームリストとを含む現在ブロックの参照フレームリストを取得し、前記現在ブロックの参照フレームリストに基づいて、前記第１の参照フレームリストと前記第２の参照フレームリストとの一方である目標参照フレームリストを決定し、前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定し、前記時間動きベクトルに基づいて前記現在ブロックのサブブロックの動き情報を決定し、前記現在ブロックのサブブロックの動き情報に基づいて前記現在ブロックに対してフレーム間予測を行う。

任意には、前記時間動きベクトルに基づいて前記現在ブロックのサブブロックの動き情報を決定することが、前記時間動きベクトルに基づいて、前記現在ブロックの、参照フレームにおける対応ブロックを決定することと、前記現在ブロックの、前記参照フレームにおける対応ブロックに基づいて、前記現在ブロックのサブブロックの動き情報を決定することと、を含む。

任意には、前記現在ブロックの参照フレームリストに基づいて目標参照フレームリストを決定することが、前記現在ブロックが所在する現在フレームに低遅延符号化モードを採用しており、かつ、前記現在フレームのコロケーテッドフレームが前記第２の参照フレームリスト中の第１のフレームである場合、前記第２の参照フレームリストを前記目標参照フレームリストに決定することと、前記現在ブロックが所在する現在フレームに低遅延符号化モードを採用していないか、または、前記現在フレームのコロケーテッドフレームが前記第２の参照フレームリスト中の第１のフレームではない場合、前記第１の参照フレームリストを前記目標参照フレームリストに決定することと、の少なくとも１つを含む。

任意には、前記第１の参照フレームリストは前方参照フレームリストであってよく、第１の組の参照フレームを含んだ参照フレームリストであってもよい。前記第１の組の参照フレームに、時間的順序が現在フレームの前および現在フレームの後である参照フレームが含まれている。

任意には、前記第２の参照フレームリストは後方参照フレームリストであってよく、第２の組の参照フレームを含んだ参照フレームリストであってもよい。前記第２の組の参照フレームに、時間的順序が現在フレームの前および現在フレームの後である参照フレームが含まれている。

注意を要するのは、いくつかの場面で、第１の参照フレームリストおよび第２の参照フレームリストがいずれも、時間的順序が現在フレームの前および現在フレームの後である参照フレームを含んでいてよく、前記双方向予測は、第１の参照フレームリストおよび第２の参照フレームリストから、参照方向が異なる参照フレームを選択していることを指すことができるという点である。

任意には、前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、前記現在の動きベクトル候補リストの中から１つ目の候補動きベクトルを選び取ることと、前記目標参照フレームリストの中から前記１つ目の候補動きベクトルの参照フレームを探索することと、前記１つ目の候補動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが同じである場合に、前記１つ目の候補動きベクトルを前記時間動きベクトルに決定することと、を含む。

任意には、前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、前記１つ目の候補動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが異なる場合に、前記時間動きベクトルを０ベクトルに決定することをさらに含む。

任意には、前記現在ブロックに対してフレーム間予測を行うことが、前記現在ブロックの予測ブロックを決定することと、前記現在ブロックの初期ブロックと予測ブロックとに基づいて前記現在ブロックの残差ブロックを計算することと、を含む。

任意には、前記現在ブロックに対してフレーム間予測を行うことが、前記現在ブロックの予測ブロックと残差ブロックとを決定することと、前記現在ブロックの予測ブロックと残差ブロックとに基づいて前記現在ブロックの再構成ブロックを計算することと、を含む。

任意には、前記現在ブロックのサブブロックの動き情報に基づいて前記現在ブロックに対してフレーム間予測を行うことが、前記現在ブロックのサブブロックを単位とし、前記現在ブロックのサブブロックの動き情報に基づいてフレーム間予測を行うことを含むことができる。

上記の実施例において、ソフトウェア、ハードウェア、ファームウェアもしくは他の任意の組み合わせによって、すべてまたは部分的に実現することができる。ソフトウェアを使用して実現する場合、コンピュータプログラム製品の形ですべてまたは部分的に実現することができる。前記コンピュータプログラム製品は１つまたは複数のコンピュータ指令を含む。前記コンピュータプログラム指令をコンピュータにロードして実行する際に、本発明の実施例に記載されたフローまたは機能をすべてまたは部分的に生成する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、もしくは他のプログラマブル装置であってよい。前記コンピュータ指令はコンピュータ読取可能記憶媒体に記憶するか、もしくは、１つのコンピュータ読取可能記憶媒体から別のコンピュータ読取可能記憶媒体に伝送することができる。例えば、前記コンピュータ指令は、１つのウェブサイト、コンピュータ、サーバまたはデータセンタから、有線（例えば同軸ケーブル、光ファイバ、デジタル加入者線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ，ＤＳＬ））または無線（例えば赤外線、無線、マイクロ波等）の方式によって、別のウェブサイト、コンピュータ、サーバまたはデータセンタへ伝送することができる。前記コンピュータ読取可能記憶媒体は、コンピュータがアクセス可能な何らかの使用可能媒体であるか、もしくは、１つまたは複数の使用可能媒体を含むサーバ、データセンタ等のデータ記憶デバイスであってよい。前記使用可能媒体は、磁性媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光媒体（例えばデジタルビデオディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ，ＤＶＤ））、もしくは半導体媒体（例えばソリッドステートディスク（ｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ，ＳＳＤ））等であってよい。

当業者は、ここで開示された実施例で記述された各例のユニットおよびアルゴリズムステップを組み合わせれば、電子ハードウェア、もしくはコンピュータソフトウェアと電子ハードウェアの結合により実現することができることを想到可能である。これらの機能を、最終的にハードウェアとソフトウェアのいずれにより実行するかは、技術的解決策の特定の応用および設計制約条件に応じて決まる。当業者は、個々の特定の応用に対して異なる方法を使用して、記述された機能を実現することができるが、このような実現は、本願の範囲から逸脱すると見なされてはならない。

本願が提供するいくつかの実施例では、開示されたシステム、装置および方法は、他の方式によって実現可能であることを理解しなければならない。例えば、上述の装置の実施例は概略的なものであるに過ぎず、例えば、前記ユニットの区分は論理機能的区分であるに過ぎず、実際に実現する際には別の区分方式があってよく、例えば、複数のユニットまたはアセンブリは結合させるか、もしくは、別のシステムに一体化してよい。もしくは、いくつかの特徴は、無視するかまたは実行しなくてもよい。別の点については、表示または検討される相互間の結合または直接的な結合または通信接続は、いくつかのインターフェイス、装置またはユニットを介した間接的な結合または通信接続であってよく、電気的、機械的または他の形式であってよい。

上記の、分離部品として説明したユニットは、物理的に分離されたものであってもなくてもよく、ユニットとして表示される部品は物理ユニットであってもなくてもよく、すなわち、１つの場所に位置するか、もしくは、複数のネットワークユニット上に分布していてもよい。実際のニーズに応じて、そのうちの一部もしくはすべてのユニットを選択することにより、本実施例の解決策の目的を実現することができる。

また、本願の個々の実施例における各機能ユニットは、１つの処理ユニットに一体化することができ、個々のユニットが単独で物理的に存在していてもよく、２つまたは２つ以上のユニットが１つのユニットに一体化されてもよい。

上記は、本願の具体的な実施形態であるに過ぎないが、本願の保護範囲はこれに限定されない。いかなる当業者も、本願が開示する技術の範囲内で変更または置き換えを容易に想到可能であり、いずれも本願の保護範囲に含まれていなければならない。従って、本願の保護範囲は、前記特許請求の範囲の保護範囲に準じなければならない。

上記は、本願の具体的な実施形態であるに過ぎないが、本願の保護範囲はこれに限定されない。いかなる当業者も、本願が開示する技術の範囲内で変更または置き換えを容易に想到可能であり、いずれも本願の保護範囲に含まれていなければならない。従って、本願の保護範囲は、前記特許請求の範囲の保護範囲に準じなければならない。
［項目１］
ビデオ処理方法であって、
第１の参照フレームリストと第２の参照フレームリストとを含む現在ブロックの参照フレームリストを取得することと、
前記現在ブロックの参照フレームリストに基づいて、前記第１の参照フレームリストと前記第２の参照フレームリストとの一方である目標参照フレームリストを決定することと、
前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することと、
前記時間動きベクトルに基づいて前記現在ブロックのサブブロックの動き情報を決定することと、
前記現在ブロックのサブブロックの動き情報に基づいて前記現在ブロックに対してフレーム間予測を行うことと、
を含む、ビデオ処理方法。
［項目２］
前記時間動きベクトルに基づいて前記現在ブロックのサブブロックの動き情報を決定することが、
前記時間動きベクトルに基づいて、前記現在ブロックの、参照フレームにおける対応ブロックを決定することと、
前記現在ブロックの、前記参照フレームにおける対応ブロックに基づいて、前記現在ブロックのサブブロックの動き情報を決定することと、
を含む、項目１に記載の方法。
［項目３］
前記現在ブロックの参照フレームリストに基づいて目標参照フレームリストを決定することが、
前記現在ブロックが所在する現在フレームに低遅延符号化モードを採用しており、かつ、前記現在フレームのコロケーテッドフレームが前記第２の参照フレームリスト中の第１のフレームである場合、前記第２の参照フレームリストを前記目標参照フレームリストに決定することと、
前記現在ブロックが所在する現在フレームに低遅延符号化モードを採用していないか、または、前記現在フレームのコロケーテッドフレームが前記第２の参照フレームリスト中の第１のフレームではない場合、前記第１の参照フレームリストを前記目標参照フレームリストに決定することと、
の少なくとも１つを含む、項目１または項目２に記載の方法。
［項目４］
前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、
前記現在の動きベクトル候補リストの中から１つ目の候補動きベクトルを選び取ることと、
前記目標参照フレームリストの中から前記１つ目の候補動きベクトルの参照フレームを探索することと、
前記１つ目の候補動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが同じである場合に、前記１つ目の候補動きベクトルを前記時間動きベクトルに決定することと、
を含む、項目１から項目３のいずれか一項に記載の方法。
［項目５］
前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、
前記１つ目の候補動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが異なる場合に、前記時間動きベクトルを０ベクトルに決定することをさらに含む、項目４に記載の方法。
［項目６］
前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、
前記現在ブロックの１つの特定位置の空間隣接ブロックの動きベクトルを決定することと、
前記空間隣接ブロックの動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが同じである場合には、前記空間隣接ブロックの動きベクトルを前記時間動きベクトルに決定することと、
を含む、項目１から項目３のいずれか一項に記載の方法。
［項目７］
前記現在ブロックの１つの特定位置の空間隣接ブロックが前記現在ブロックの左側ブロックであるか、もしくは前記現在ブロックの上側ブロックであるか、もしくは前記現在ブロックの左上ブロックである、項目６に記載の方法。
［項目８］
前記空間隣接ブロックの参照フレームと前記現在ブロックのコロケーテッドフレームとが異なる場合に、前記時間動きベクトルを０ベクトルに決定する、項目６に記載の方法。
［項目９］
前記現在ブロックに対してフレーム間予測を行うことが、
前記現在ブロックの予測ブロックを決定することと、
前記現在ブロックの初期ブロックと予測ブロックとに基づいて前記現在ブロックの残差ブロックを計算することと、
を含む、項目１から項目８のいずれか一項に記載の方法。
［項目１０］
前記現在ブロックに対してフレーム間予測を行うことが、
前記現在ブロックの予測ブロックと残差ブロックとを決定することと、
前記現在ブロックの予測ブロックと残差ブロックとに基づいて前記現在ブロックの再構成ブロックを計算することと、
を含む、項目１から項目８のいずれか一項に記載の方法。
［項目１１］
前記現在ブロックのサブブロックの動き情報に基づいて前記現在ブロックに対してフレーム間予測を行うことが、
前記現在ブロックのサブブロックを単位とし、前記現在ブロックのサブブロックの動き情報に基づいてフレーム間予測を行うことを含む、項目１から項目１０のいずれか一項に記載の方法。
［項目１２］
ビデオ処理装置であって、
コードを記憶するためのメモリと、
プロセッサであって、前記メモリに記憶されたコードを実行することで、
第１の参照フレームリストと第２の参照フレームリストとを含む現在ブロックの参照フレームリストを取得し、
前記現在ブロックの参照フレームリストに基づいて、前記第１の参照フレームリストと前記第２の参照フレームリストとの一方である目標参照フレームリストを決定し、
前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定し、
前記時間動きベクトルに基づいて前記現在ブロックのサブブロックの動き情報を決定し、
前記現在ブロックのサブブロックの動き情報に基づいて前記現在ブロックに対してフレーム間予測を行う、操作を実行するためのプロセッサと、
を含む、ビデオ処理装置。
［項目１３］
前記時間動きベクトルに基づいて前記現在ブロックのサブブロックの動き情報を決定することが、
前記時間動きベクトルに基づいて、前記現在ブロックの、参照フレームにおける対応ブロックを決定することと、
前記現在ブロックの、前記参照フレームにおける対応ブロックに基づいて、前記現在ブロックのサブブロックの動き情報を決定することと、
を含む、項目１２に記載の装置。
［項目１４］
前記現在ブロックの参照フレームリストに基づいて目標参照フレームリストを決定することが、
前記現在ブロックが所在する現在フレームに低遅延符号化モードを採用しており、かつ、前記現在フレームのコロケーテッドフレームが前記第２の参照フレームリスト中の第１のフレームである場合、前記第２の参照フレームリストを前記目標参照フレームリストに決定することと、
前記現在ブロックが所在する現在フレームに低遅延符号化モードを採用していないか、または、前記現在フレームのコロケーテッドフレームが前記第２の参照フレームリスト中の第１のフレームではない場合、前記第１の参照フレームリストを前記目標参照フレームリストに決定することと、
の少なくとも１つを含む、項目１２または項目１３に記載の装置。
［項目１５］
前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、
前記現在の動きベクトル候補リストの中から１つ目の候補動きベクトルを選び取ることと、
前記目標参照フレームリストの中から前記１つ目の候補動きベクトルの参照フレームを探索することと、
前記１つ目の候補動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが同じである場合に、前記１つ目の候補動きベクトルを前記時間動きベクトルに決定することと、
を含む、項目１２から項目１４のいずれか一項に記載の装置。
［項目１６］
前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、
前記１つ目の候補動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが異なる場合に、前記時間動きベクトルを０ベクトルに決定することをさらに含む、項目１５に記載の装置。
［項目１７］
前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、
前記現在ブロックの１つの特定位置の空間隣接ブロックの動きベクトルを決定することと、
前記空間隣接ブロックの動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが同じである場合には、前記空間隣接ブロックの動きベクトルを前記時間動きベクトルに決定することと、
を含む、項目１２から項目１４のいずれか一項に記載の装置。
［項目１８］
前記現在ブロックの１つの特定位置の空間隣接ブロックが前記現在ブロックの左側ブロックであるか、もしくは前記現在ブロックの上側ブロックであるか、もしくは前記現在ブロックの左上ブロックである、項目１７に記載の装置。
［項目１９］
前記空間隣接ブロックの参照フレームと前記現在ブロックのコロケーテッドフレームとが異なる場合に、前記時間動きベクトルを０ベクトルに決定する、項目１７に記載の方法。
［項目２０］
前記現在ブロックに対してフレーム間予測を行うことが、
前記現在ブロックの予測ブロックを決定することと、
前記現在ブロックの初期ブロックと予測ブロックとに基づいて前記現在ブロックの残差ブロックを計算することと、
を含む、項目１２から項目１９のいずれか一項に記載の装置。
［項目２１］
前記現在ブロックに対してフレーム間予測を行うことが、
前記現在ブロックの予測ブロックと残差ブロックとを決定することと、
前記現在ブロックの予測ブロックと残差ブロックとに基づいて前記現在ブロックの再構成ブロックを計算することと、
を含む、項目１２から項目１９のいずれか一項に記載の装置。
［項目２２］
前記現在ブロックのサブブロックの動き情報に基づいて前記現在ブロックに対してフレーム間予測を行うことが、
前記現在ブロックのサブブロックを単位とし、前記現在ブロックのサブブロックの動き情報に基づいてフレーム間予測を行うことを含む、項目１２から項目２１のいずれか一項に記載の装置。

Claims (22)

1. ビデオ処理方法であって、
   第１の参照フレームリストと第２の参照フレームリストとを含む現在ブロックの参照フレームリストを取得することと、
   前記現在ブロックの参照フレームリストに基づいて、前記第１の参照フレームリストと前記第２の参照フレームリストとの一方である目標参照フレームリストを決定することと、
   前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することと、
   前記時間動きベクトルに基づいて前記現在ブロックのサブブロックの動き情報を決定することと、
   前記現在ブロックのサブブロックの動き情報に基づいて前記現在ブロックに対してフレーム間予測を行うことと、
   を含む、ビデオ処理方法。
2. 前記時間動きベクトルに基づいて前記現在ブロックのサブブロックの動き情報を決定することが、
   前記時間動きベクトルに基づいて、前記現在ブロックの、参照フレームにおける対応ブロックを決定することと、
   前記現在ブロックの、前記参照フレームにおける対応ブロックに基づいて、前記現在ブロックのサブブロックの動き情報を決定することと、
   を含む、請求項１に記載の方法。
3. 前記現在ブロックの参照フレームリストに基づいて目標参照フレームリストを決定することが、
   前記現在ブロックが所在する現在フレームに低遅延符号化モードを採用しており、かつ、前記現在フレームのコロケーテッドフレームが前記第２の参照フレームリスト中の第１のフレームである場合、前記第２の参照フレームリストを前記目標参照フレームリストに決定することと、
   前記現在ブロックが所在する現在フレームに低遅延符号化モードを採用していないか、または、前記現在フレームのコロケーテッドフレームが前記第２の参照フレームリスト中の第１のフレームではない場合、前記第１の参照フレームリストを前記目標参照フレームリストに決定することと、
   の少なくとも１つを含む、請求項１または２に記載の方法。
4. 前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、
   前記現在の動きベクトル候補リストの中から１つ目の候補動きベクトルを選び取ることと、
   前記目標参照フレームリストの中から前記１つ目の候補動きベクトルの参照フレームを探索することと、
   前記１つ目の候補動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが同じである場合に、前記１つ目の候補動きベクトルを前記時間動きベクトルに決定することと、
   を含む、請求項１から請求項３のいずれか一項に記載の方法。
5. 前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、
   前記１つ目の候補動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが異なる場合に、前記時間動きベクトルを０ベクトルに決定することをさらに含む、請求項４に記載の方法。
6. 前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、
   前記現在ブロックの１つの特定位置の空間隣接ブロックの動きベクトルを決定することと、
   前記空間隣接ブロックの動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが同じである場合には、前記空間隣接ブロックの動きベクトルを前記時間動きベクトルに決定することと、
   を含む、請求項１から請求項３のいずれか一項に記載の方法。
7. 前記現在ブロックの１つの特定位置の空間隣接ブロックが前記現在ブロックの左側ブロックであるか、もしくは前記現在ブロックの上側ブロックであるか、もしくは前記現在ブロックの左上ブロックである、請求項６に記載の方法。
8. 前記空間隣接ブロックの参照フレームと前記現在ブロックのコロケーテッドフレームとが異なる場合に、前記時間動きベクトルを０ベクトルに決定する、請求項６に記載の方法。
9. 前記現在ブロックに対してフレーム間予測を行うことが、
   前記現在ブロックの予測ブロックを決定することと、
   前記現在ブロックの初期ブロックと予測ブロックとに基づいて前記現在ブロックの残差ブロックを計算することと、
   を含む、請求項１から請求項８のいずれか一項に記載の方法。
10. 前記現在ブロックに対してフレーム間予測を行うことが、
    前記現在ブロックの予測ブロックと残差ブロックとを決定することと、
    前記現在ブロックの予測ブロックと残差ブロックとに基づいて前記現在ブロックの再構成ブロックを計算することと、
    を含む、請求項１から請求項８のいずれか一項に記載の方法。
11. 前記現在ブロックのサブブロックの動き情報に基づいて前記現在ブロックに対してフレーム間予測を行うことが、
    前記現在ブロックのサブブロックを単位とし、前記現在ブロックのサブブロックの動き情報に基づいてフレーム間予測を行うことを含む、請求項１から請求項１０のいずれか一項に記載の方法。
12. ビデオ処理装置であって、
    コードを記憶するためのメモリと、
    プロセッサであって、前記メモリに記憶されたコードを実行することで、
    第１の参照フレームリストと第２の参照フレームリストとを含む現在ブロックの参照フレームリストを取得し、
    前記現在ブロックの参照フレームリストに基づいて、前記第１の参照フレームリストと前記第２の参照フレームリストとの一方である目標参照フレームリストを決定し、
    前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定し、
    前記時間動きベクトルに基づいて前記現在ブロックのサブブロックの動き情報を決定し、
    前記現在ブロックのサブブロックの動き情報に基づいて前記現在ブロックに対してフレーム間予測を行う、操作を実行するためのプロセッサと、
    を含む、ビデオ処理装置。
13. 前記時間動きベクトルに基づいて前記現在ブロックのサブブロックの動き情報を決定することが、
    前記時間動きベクトルに基づいて、前記現在ブロックの、参照フレームにおける対応ブロックを決定することと、
    前記現在ブロックの、前記参照フレームにおける対応ブロックに基づいて、前記現在ブロックのサブブロックの動き情報を決定することと、
    を含む、請求項１２に記載の装置。
14. 前記現在ブロックの参照フレームリストに基づいて目標参照フレームリストを決定することが、
    前記現在ブロックが所在する現在フレームに低遅延符号化モードを採用しており、かつ、前記現在フレームのコロケーテッドフレームが前記第２の参照フレームリスト中の第１のフレームである場合、前記第２の参照フレームリストを前記目標参照フレームリストに決定することと、
    前記現在ブロックが所在する現在フレームに低遅延符号化モードを採用していないか、または、前記現在フレームのコロケーテッドフレームが前記第２の参照フレームリスト中の第１のフレームではない場合、前記第１の参照フレームリストを前記目標参照フレームリストに決定することと、
    の少なくとも１つを含む、請求項１２または１３に記載の装置。
15. 前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、
    前記現在の動きベクトル候補リストの中から１つ目の候補動きベクトルを選び取ることと、
    前記目標参照フレームリストの中から前記１つ目の候補動きベクトルの参照フレームを探索することと、
    前記１つ目の候補動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが同じである場合に、前記１つ目の候補動きベクトルを前記時間動きベクトルに決定することと、
    を含む、請求項１２から請求項１４のいずれか一項に記載の装置。
16. 前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、
    前記１つ目の候補動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが異なる場合に、前記時間動きベクトルを０ベクトルに決定することをさらに含む、請求項１５に記載の装置。
17. 前記現在ブロックの目標参照フレームリストに基づいて前記現在ブロックの時間動きベクトルを決定することが、
    前記現在ブロックの１つの特定位置の空間隣接ブロックの動きベクトルを決定することと、
    前記空間隣接ブロックの動きベクトルの参照フレームと前記現在ブロックのコロケーテッドフレームとが同じである場合には、前記空間隣接ブロックの動きベクトルを前記時間動きベクトルに決定することと、
    を含む、請求項１２から請求項１４のいずれか一項に記載の方法。
18. 前記現在ブロックの１つの特定位置の空間隣接ブロックが前記現在ブロックの左側ブロックであるか、もしくは前記現在ブロックの上側ブロックであるか、もしくは前記現在ブロックの左上ブロックである、請求項１７に記載の方法。
19. 前記空間隣接ブロックの参照フレームと前記現在ブロックのコロケーテッドフレームとが異なる場合に、前記時間動きベクトルを０ベクトルに決定する、請求項１７に記載の方法。
20. 前記現在ブロックに対してフレーム間予測を行うことが、
    前記現在ブロックの予測ブロックを決定することと、
    前記現在ブロックの初期ブロックと予測ブロックとに基づいて前記現在ブロックの残差ブロックを計算することと、
    を含む、請求項１２から請求項１９のいずれか一項に記載の装置。
21. 前記現在ブロックに対してフレーム間予測を行うことが、
    前記現在ブロックの予測ブロックと残差ブロックとを決定することと、
    前記現在ブロックの予測ブロックと残差ブロックとに基づいて前記現在ブロックの再構成ブロックを計算することと、
    を含む、請求項１２から請求項１９のいずれか一項に記載の装置。
22. 前記現在ブロックのサブブロックの動き情報に基づいて前記現在ブロックに対してフレーム間予測を行うことが、
    前記現在ブロックのサブブロックを単位とし、前記現在ブロックのサブブロックの動き情報に基づいてフレーム間予測を行うことを含む、請求項１２から請求項２１のいずれか一項に記載の装置。

Images