JP4643454B2

JP4643454B2 - 動画像復号装置及び動画像復号方法

Info

Publication number: JP4643454B2
Application number: JP2006002974A
Authority: JP
Inventors: 達朗藤澤; 義浩菊池; 裕司川島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-01-10
Filing date: 2006-01-10
Publication date: 2011-03-02
Anticipated expiration: 2026-01-10
Also published as: JP2007184871A; US20070160129A1; US8340182B2

Description

本発明は、圧縮符号化された動画像ストリームを復号する動画像復号装置及び動画像復号方法に関する。

動画像符号化の標準技術として、ＩＴＵ−Ｔ（国際電気通信連合・電気通信標準化部門）のＨ．２６１やＨ．２６３、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などが開発されている。このＨ．２６１〜３、ＭＰＥＧ−１〜４などの技術を承継し、更に発展させた次世代動画像符号化方式として、ＩＳＯとＩＴＵが共同で標準化を行ったＨ．２６４がある。Ｈ．２６４では、ループ内フィルタの一つとして、ブロック境界で生じた歪みを緩和するためのデブロッキングフィルタが採用されており、特に低ビットレートでの画質改善効果を高めている（非特許文献１及び非特許文献２参照）。
ITU-T Recommendation H.264 (2003), "Advanced Video Coding for generic audiovisual services" | ISO/IEC 14496-10: 2003, "Information technology, Coding of audio-visual objects - Part 10: Advanced video coding" Ｈ．２６４／ＡＶＣ教科書（株式会社インプレスコミュニケーションズ）

ところが、上記Ｈ．２６４に基づく標準化仕様等の動画像復号装置では、実際には復号処理全体に占めるデブロッキングフィルタの処理量の割合が高いため、処理能力の低いシステムやシステム全体の処理の負荷が高い場合には、リアルタイムでの復号処理が間に合わなくなり、コマ落ちやオブジェクトの動きが極端に遅くなるなどの不具合が発生する可能性がある。

本発明は上記の問題を解決するためになされたもので、デブロッキングフィルタ処理の効果を維持しながらシステム全体への負荷を軽減してリアルタイムでの復号処理を良好に行うことのできる動画像復号装置及び動画像復号方法を提供することを目的とする。

上記問題を解決するために、本発明に係る動画像復号装置及び動画像復号方法は、圧縮符号化された動画像ストリームを復号する場合に、前記動画像ストリーム及びその既復号画像から、復号対象の符号化モードに基づいて画面内予測画像及び画面間予測画像のいずれか一方を選択的に生成し、前記動画像ストリームから、復号対象の量子化パラメータに基づいて差復号画像を生成し、前記選択的に生成される画面内予測画像及び画面間予測画像と前記残差復号画像とを加算して復号画像を生成し、前記復号画像に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施し、前記動画像ストリームから復号対象の量子化パラメータに関する情報、符号化モードに関する情報の少なくともいずれか一方を抽出し、その抽出情報に基づいて、前記フィルタ処理を省略するか否かを判定し、前記判定の結果に基づいて前記フィルタ処理を選択的に省略するようにしたことを特徴とする。

このように、本発明では、復号対象の量子化パラメータに関する情報、符号化モードに関する情報の少なくともいずれか一方から画質改善のためのデブロッキングフィルタ処理が必要か不要かを予測可能であることを利用し、量子化パラメータまたは符号化モードに関する情報からデブロッキングフィルタ処理による負荷が大きく、復号処理速度に影響が出ると予測される場合には、そのフィルタ処理を省略することで復号処理を優先させ、量子化パラメータまたは符号化モードに関する情報からデブロッキングフィルタ処理による負荷が小さく、復号処理速度に影響が出ないと予測される場合には、そのフィルタ処理を実行させるようにしている。

以上のように、本発明によれば、デブロッキングフィルタ処理の効果を維持しながら、システム全体への負荷を軽減してリアルタイムでの復号処理を良好に行うことのできる動画像復号装置を提供することができる。

以下、図面を参照して本発明の実施の形態について説明する。

図１は本発明に係る動画像復号装置の一実施形態として、本発明をＨ．２６４に基づく標準化仕様の動画像復号装置に適用した場合の構成を示すブロック図である。図１において、入力ストリームはＨ．２６４規格に沿って圧縮符号化された動画像ストリームであり、可変長変換部（エントロピー復号部とも称される）１０１に送られる。この可変長変換部１０１は、入力ストリームを可変長復号し、シンタックスを生成する。逆量子化部１０２、逆変換部１０３は、生成されたシンタックスに基づいて、動画像符号化ストリーム復号結果から残差画像を生成する。

一方、符号化モード制御部１０４は可変長変換部１０１の入力ストリームから符号化モードを判別し、その判別結果に基づいて画面内予測部１０５、画面間予測部１０６を選択的に駆動制御する。画面内予測部１０５、画面間予測部１０６は、それぞれ符号化モード制御部１０４で指定される符号化モードに従って画面内、画面間の予測画像を生成する。生成された予測画像は選択的に残差加算部１０７に送られる。この残差加算部１０７は画面内予測部１０５または画面間予測部１０６からの予測画像と逆変換部１０３からの残差画像とを加算し、復号画像を生成する。生成された復号画像は画面内予測部１０５において参照される。

また、デブロッキングフィルタ省略判定部１１０は、可変長変換部１０１から量子化ステップ等の量子化パラメータに関する情報、符号化モードに関する情報を抽出し、残差加算部１０７において生成された復号画像にデブロッキングフィルタ処理を行うかどうかを判定する。判定方法については後述する。ここで、デブロッキングフィルタ処理を行う場合は、デブロッキングフィルタ部１０８に復号画像が入力され、フィルタ処理を行って再構成画像を生成し、ピクチャメモリ１０９に記憶される。デブロッキングフィルタ処理を行わない場合は、復号画像が再構成画像として直接ピクチャメモリ１０９に記憶される。ピクチャメモリ１０９に記憶された再構成画像は出力画像として出力される他、画面間予測部１０６において参照される。

本発明の特徴は、処理負荷の高いデブロッキングフィルタを省略して処理量を削減する場合に、画質劣化を考慮して、画質劣化が少ないと予測される部分だけを省略して画質劣化を極力抑えつつ処理量の削減を図った点にある。具体的には、画質劣化を抑えるために、（１）フィルタ効果が弱い部分だけ省略すること（フィルタ効果が強い部分は省略しない）、（２）後続に誤差が伝わる部分は省略しないこと（独立な部分のみ省略する）を原則とする。

デブロッキングフィルタの省略判定には、可変長変換部１０１にて入力ストリームから得られる量子化パラメータに関する情報、符号化モードに関する情報を利用する。デブロッキングフィルタには、量子化パラメータが大きいほどフィルタがかかりやすい、符号化モードに関する情報（Ｂｓ値）が大きいほど強くフィルタがかかりやすいという特徴があり、本発明はこれらの特徴を利用して、フィルタ処理の省略を効果的に行う。

ここで、量子化パラメータとは、マクロブロックの直交変換係数（ＤＣＴ係数）を量子化する度合いで、この値が大きすぎるとブロックノイズと呼ばれるノイズが発生する。ブロックノイズの発生しやすさに合わせて、すなわち量子化パラメータが大きいほどフィルタ効果が強くなる。Ｈ．２６４規格の量子化パラメータには、スライスの量子化パラメータとマクロブロックの量子化パラメータが取り決められている。

（量子化パラメータに関する情報による省略判定）
量子化パラメータに関する情報により省略判定を行う場合には、量子化パラメータの代表値と予め決められた閾値とを比較し、
量子化パラメータの代表値＜閾値
となる場合にデブロッキングフィルタを省略するものとする。

上記量子化パラメータの代表値としては、以下の５パターンが考えられる。
パターン１：フィルタ処理の省略範囲をピクチャ単位とし、代表値を参照ピクチャに属するスライスの量子化パラメータの平均値とする。
パターン２：フィルタ処理の省略範囲をピクチャ単位とし、代表値を参照ピクチャに属するマクロブロックの量子化パラメータの平均値とする。
パターン３：フィルタ処理の省略範囲をスライス単位とし、代表値を参照スライスの量子化パラメータとする。
パターン４：フィルタ処理の省略範囲をスライス単位とし、代表値を参照スライスに属するマクロブロックの量子化パラメータの平均値とする。
パターン５：フィルタ処理の省略範囲をマクロブロック単位とし、代表値を参照マクロブロックの量子化パラメータとする。

上記閾値としては、以下の３種が考えられる。
（１）定数（固定値または負荷状態の程度に基づいて設定）
（２）過去（復号済み）のピクチャまたはスライスにおける代表値の平均値
（３）過去（復号済み）のピクチャまたはスライスにおける代表値の平均値にオフセット値（定数）を加算した値
（符号化モードに関する情報による省略判定）
次に、符号化モードに関する情報により省略判定を行う場合の第１乃至第４の方法を説明する。

符号化モードによる第１の方法は、復号対象がＩピクチャ中のスライス（以下、Ｉスライス）の場合にデブロッキングフィルタ処理を省略しないものとする。イントラ予測マクロブロックではフィルタ効果が強く、省略による画質劣化が大きくなるためである。この方法では、以下の２パターンが考えられる。

パターン１：フィルタ処理の省略範囲をスライス単位とし、参照スライスがＩスライスの場合には省略しない。
パターン２：フィルタ処理の省略範囲をピクチャ単位とし、参照ピクチャに属するＩスライスの数または割合が閾値より多い場合には省略しない。閾値には、定数（固定値または負荷状態の程度に基づいて設定）、または過去のピクチャにおけるＩスライス数（または割合）の平均値（または平均値にオフセット値（定数）を加算した値）を利用する。

符号化モードによる第２の方法は、復号対象がイントラ予測マクロブロックの場合にデブロッキングフィルタ処理を省略しないものとする。前述のように、イントラ予測マクロブロックではフィルタ効果が強く、省略による画質劣化が大きくなるためである。この方法では、以下の３パターンが考えられる。

パターン１：フィルタ処理の省略範囲をマクロブロック単位とし、参照マクロブロックがイントラ予測マクロブロックの場合には省略しない。
パターン２：フィルタ処理の省略範囲をスライス単位とし、参照スライスに属するイントラ予測マクロブロック数が閾値より多い場合には省略しない。閾値には、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のスライスに属するイントラ予測マクロブロック数（または割合）の平均値（または平均値にオフセット値（定数）を加算した値）を利用する。
パターン３：フィルタ処理の省略範囲をピクチャ単位とし、参照ピクチャに属するイントラ予測マクロブロック数が閾値より多い場合には省略しない。閾値には、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャに属するイントラ予測マクロブロック数（または割合）の平均値（または平均値にオフセット値（定数）を加算した値）を利用する。

符号化モードによる第３の方法は、復号対象がＢピクチャ中のスライス（以下、Ｂスライス）の場合にデブロッキングフィルタ処理を省略する。Ｂスライスでは後続の参照を受けないため画質劣化が後続に波及しないこと、かつ処理量が多いため省略の効果が大きいことがその理由である。この方法では、以下の２パターンが考えられる。

パターン１：フィルタ処理の省略範囲をスライス単位とし、参照スライスがＢスライスの場合には省略する。
パターン２：フィルタ処理の省略範囲をピクチャ単位とし、参照ピクチャに属するＢスライス数が閾値より多い場合には省略する。閾値には、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャに属するＢスライス数（または割合）の平均値（または平均値にオフセット値（定数）を加算した値）を利用する。

符号化モードによる第４の方法は、Ｂピクチャの双予測マクロブロック（以下、双予測（Ｂ）マクロブロック）の場合には、後続の参照を受けず、かつ処理量が多いため、フィルタ処理を省略する。この方法では、以下の３パターンが考えられる。

パターン１：フィルタ処理の省略範囲をマクロブロック単位とし、参照マクロブロックが双予測（Ｂ）マクロブロックの場合には省略する。
パターン２：フィルタ処理の省略範囲をスライス単位とし、参照スライスに属する双予測（Ｂ）マクロブロック数が閾値より多い場合には省略する。閾値には、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のスライスに属する双予測（Ｂ）マクロブロック数（または割合）の平均値（または平均値にオフセット値（定数）を加算した値）を利用する。
パターン３：フィルタ処理の省略範囲をピクチャ単位とし、参照ピクチャに属する双予測（Ｂ）マクロブロック数が閾値より多い場合には省略する。閾値には、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャに属する双予測（Ｂ）マクロブロック数（または割合）の平均値（または平均値にオフセット値（定数）を加算した値）を利用する。

上記デブロッキングフィルタ処理の省略判定処理によれば、大幅な画質の劣化を防ぎつつ処理量を削減することができる。さらに、従来の構成に対する変更点が非常に少ないため、本発明の構成を容易に組み込みことが可能である。

ここで、上記の動画像復号方法では、従来の方法に比べて、デブロッキングフィルタ省略判定部１１０で行われる判定処理の処理量分だけ増加してしまう。しかしながら、これは省略可能なデブロッキングフィルタ処理全体に対して非常に小さいと考えられるため、全体として処理量を大幅に削減することができると考えられる。

図２は、図１に示した動画像復号装置を動画像復号部２０１として含むコンテンツ情報処理システムの構成例を示している。このシステムは、さらに処理負荷検出部２０２を備える。この処理負荷検出部２０２は、動画像復号部２０１から動画像復号処理の処理負荷情報を取得する他、音声・オーディオ信号の復号処理、レンダリング処理等、システムの他の処理負荷情報を取得し、入力された負荷情報より全体の負荷を算出し、その負荷情報を動画像復号部２０１に通知する。

上記負荷情報は、動画像復号部２０１の中で、図１におけるデブロッキングフィルタ省略判定部１１０に入力される。この判定部１１０の基本的な処理例を図３及び図４に示す。尚、図４において、図３と同一ステップには同一符号を付して示す。

図３に示す処理例では、まず復号処理時に省略判定の開始が指示されると、フィルタ処理の省略範囲をピクチャ、スライス、マクロブロックのいずれかの単位のループに設定し（ステップＳ１１）、高負荷状態にあるかを判定する（ステップＳ１２）。ここで、高負荷状態にあると判定された場合には、復号対象の符号化モード、量子化パラメータに関する情報から前述の方法による省略条件に適合するかを判定し（ステップＳ１３）、適合する場合には復号対象のデブロッキングフィルタ処理が省略されるように処理を行う（ステップＳ１４）。ステップＳ１３で省略条件に適合しないと判定された場合には、ステップＳ１４の処理をパスして次の復号対象の処理に移行する。また、ステップＳ１２で高負荷状態にないと判定された場合には、デブロッキングフィルタ処理がリアルタイムで実行可能であるため、省略判定処理を終了し、デブロッキングフィルタ処理を実行させる。

これに対し、図４に示す処理例では、高負荷状態の判定ステップＳ１２で高負荷状態と判定されたとき、負荷の程度から条件判定用の閾値を設定し（ステップＳ２１）、この閾値を用いて前述のステップＳ１３と同様に省略条件の適合判定を行う（ステップＳ２２）。

すなわち、上記２つの処理例の手順では、いずれも復号対象毎に負荷状態に応じてフィルタ処理を適切に制御することで、システム全体の負荷が低い場合や処理能力の高いシステムの場合にデブロッキングフィルタ処理の省略が行われず、十分にリアルタイムでの復号処理が可能である場合にデブロッキングフィルタ処理が実行されるようにしている。このため、不必要な画質劣化を防ぎつつ、効果的にフィルタ処理を省略することができる。

以下、上記デブロッキングフィルタ省略判定部１１０の省略判定方法の一部について、省略条件別に実施例をあげて説明する。

（第１の実施例）
図５は、第１の実施例として、前述の量子化パラメータに関する情報による省略判定におけるパターン３の場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をスライス単位のループに設定する（ステップＳ３１）。次に、高負荷状態か判定し（ステップＳ３２）、高負荷状態ならば、代表値に復号対象のスライスの量子化パラメータを設定し（ステップＳ３３）、閾値に（復号済みのスライスの量子化パラメータの平均値）＋定数（オフセット値）を設定して（ステップＳ３４）、代表値が閾値より小さいかを判定する（ステップＳ３５）。代表値が閾値より小さい場合には、復号対象のスライスのデブロッキングフィルタ処理が省略されるように処理し（ステップＳ３６）、復号対象のスライスの量子化パラメータを記憶して次のスライス単位の省略判定に移行する（ステップＳ３７）。上記ステップＳ３５において、代表値が閾値より小さくないと判定された場合には、ステップＳ３６をパスするものとする。また、上記ステップＳ３２において、高負荷状態でないと判定された場合には、復号対象のスライスに対してデブロッキングフィルタ処理を実行するように処理する。

（第２の実施例）
図６は、第２の実施例として、前述の量子化パラメータに関する情報による省略判定におけるパターン２の場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をピクチャ単位のループに設定する（ステップＳ４１）。次に、高負荷状態か判定し（ステップＳ４２）、高負荷状態ならば、代表値に（復号対象のピクチャに属するマクロブロックの量子化パラメータの平均値）を設定し（ステップＳ４３）、閾値に定数を設定して（ステップＳ４４）、代表値が閾値より小さいかを判定する（ステップＳ４５）。代表値が閾値より小さい場合には、復号対象のピクチャのデブロッキングフィルタ処理が省略されるように処理する（ステップＳ４６）。上記ステップＳ４５において、代表値が閾値より小さくないと判定された場合には、ステップＳ４６をパスするものとする。また、上記ステップＳ４２において、高負荷状態でないと判定された場合には、復号対象のピクチャに対してデブロッキングフィルタ処理を実行するように処理する。

（第３の実施例）
図７は、第３の実施例として、前述の符号化モードに関する情報による省略判定における第３の方法のパターン１による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をスライス単位のループに設定する（ステップＳ５１）。次に、高負荷状態か判定し（ステップＳ５２）、高負荷状態ならば、復号対象がＢスライスか判定し（ステップＳ５３）、Ｂスライスならば復号対象のスライスのデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ５４）、次のスライス単位の省略判定に移行する。ステップＳ５３でＢスライスでないと判定された場合には、ステップＳ５４の処理をパスするものとする。また、上記ステップＳ５２において、高負荷状態でないと判定された場合には、復号対象のスライスに対してデブロッキングフィルタ処理を実行するように処理する。

（第４の実施例）
図８は、第４の実施例として、前述の符号化モードに関する情報による省略判定における第３の方法のパターン２による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をピクチャ単位のループに設定する（ステップＳ６１）。次に、高負荷状態か判定し（ステップＳ６２）、高負荷状態ならば、閾値として、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャにおけるＢスライスの割合の平均値に定数を加算した値を設定し（ステップＳ６３）、復号対象のピクチャ中のＢスライスの割合が閾値より大きいか判定し（ステップＳ６４）、Ｂスライスの割合が閾値より大きい場合には、復号対象のピクチャのデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ６５）、次のピクチャ単位の省略判定に移行する。ステップＳ６４でＢスライスの割合が閾値より大きくないと判定された場合には、ステップＳ６５の処理をパスするものとする。また、上記ステップＳ６２において、高負荷状態でないと判定された場合には、復号対象のピクチャに対してデブロッキングフィルタ処理を実行するように処理する。

（第５の実施例）
図９は、第５の実施例として、前述の符号化モードに関する情報による省略判定における第４の方法のパターン１による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をマクロブロック単位のループに設定する（ステップＳ７１）。次に、高負荷状態か判定し（ステップＳ７２）、高負荷状態ならば、復号対象が双予測（Ｂ）マクロブロックか判定し（ステップＳ７３）、双予測（Ｂ）マクロブロックならば復号対象のマクロブロックのデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ７４）、次のマクロブロック単位の省略判定に移行する。ステップＳ７３で双予測（Ｂ）マクロブロックでないと判定された場合には、ステップＳ７４の処理をパスするものとする。また、上記ステップＳ７２において、高負荷状態でないと判定された場合には、復号対象のマクロブロックに対してデブロッキングフィルタ処理を実行するように処理する。

（第６の実施例）
図１０は、第６の実施例として、前述の符号化モードに関する情報による省略判定における第４の方法のパターン２（または３）による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をピクチャ（またはスライス）単位のループに設定する（ステップＳ８１）。次に、高負荷状態か判定し（ステップＳ８２）、高負荷状態ならば、閾値として、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャ（またはスライス）におけるＢスライスの割合の平均値に定数を加算した値を設定し（ステップＳ８３）、復号対象のピクチャ（またはスライス）中のＢスライスの割合が閾値より大きいか判定し（ステップＳ８４）、Ｂスライスの割合が閾値より大きい場合には、復号対象のピクチャ（またはスライス）のデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ８５）、次のピクチャ（またはスライス）単位の省略判定に移行する。ステップＳ８４でＢスライスの割合が閾値より大きくないと判定された場合には、ステップＳ８５の処理をパスするものとする。また、上記ステップＳ８２において、高負荷状態でないと判定された場合には、復号対象のピクチャ（またはスライス）に対してデブロッキングフィルタ処理を実行するように処理する。

（第７の実施例）
図１１は、第７の実施例として、前述の符号化モードに関する情報による省略判定における第１の方法のパターン１による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をスライス単位のループに設定する（ステップＳ９１）。次に、高負荷状態か判定し（ステップＳ９２）、高負荷状態ならば、復号対象がＩスライスではないか判定し（ステップＳ９３）、Ｉスライスでないと判定された場合には、復号対象のスライスのデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ９４）、次のスライス単位の省略判定に移行する。ステップＳ９３でＩスライスであると判定された場合には、ステップＳ９４の処理をパスするものとする。また、上記ステップＳ９２において、高負荷状態でないと判定された場合には、復号対象のスライスに対してデブロッキングフィルタ処理を実行するように処理する。

（第８の実施例）
図１２は、第８の実施例として、前述の符号化モードに関する情報による省略判定における第１の方法のパターン２による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をピクチャ単位のループに設定する（ステップＳ１０１）。次に、高負荷状態か判定し（ステップＳ１０２）、高負荷状態ならば、閾値として、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャにおけるＩスライスの割合の平均値に定数を加算した値を設定し（ステップＳ１０３）、復号対象のピクチャ中のＩスライスの割合が閾値より小さいか判定し（ステップＳ１０４）、Ｉスライスの割合が閾値より小さい場合には、復号対象のピクチャのデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ１０５）、次のピクチャ単位の省略判定に移行する。ステップＳ１０４でＩスライスの割合が閾値より小さくないと判定された場合には、ステップＳ１０５の処理をパスするものとする。また、上記ステップＳ１０２において、高負荷状態でないと判定された場合には、復号対象のピクチャに対してデブロッキングフィルタ処理を実行するように処理する。

（第９の実施例）
図１３は、第９の実施例として、前述の符号化モードに関する情報による省略判定における第２の方法のパターン１による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をマクロブロック単位のループに設定する（ステップＳ１１１）。次に、高負荷状態か判定し（ステップＳ１１２）、高負荷状態ならば、復号対象がイントラ予測マクロブロックか判定し（ステップＳ１１３）、イントラ予測マクロブロックでないと判定された場合には、復号対象のマクロブロックのデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ１１４）、次のマクロブロック単位の省略判定に移行する。ステップＳ１１３でイントラ予測マクロブロックであると判定された場合には、ステップＳ１１４の処理をパスするものとする。また、上記ステップＳ１１２において、高負荷状態でないと判定された場合には、復号対象のマクロブロックに対してデブロッキングフィルタ処理を実行するように処理する。

（第１０の実施例）
図１４は、第１０の実施例として、前述の符号化モードに関する情報による省略判定における第２の方法のパターン３（または２）による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をピクチャ（またはスライス）単位のループに設定する（ステップＳ１２１）。次に、高負荷状態か判定し（ステップＳ１２２）、高負荷状態ならば、閾値として、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャ（またはスライス）におけるイントラ予測マクロブロックの割合の平均値に定数を加算した値を設定し（ステップＳ１２３）、復号対象のピクチャ（またはスライス）中のイントラ予測マクロブロックの割合が閾値より小さいか判定し（ステップＳ１２４）、イントラ予測マクロブロックの割合が閾値より小さい場合には、復号対象のピクチャ（またはスライス）のデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ１２５）、次のピクチャ（またはスライス）単位の省略判定に移行する。ステップＳ１２４でイントラ予測マクロブロックの割合が閾値より小さくないと判定された場合には、ステップＳ１２５の処理をパスするものとする。また、上記ステップＳ１２２において、高負荷状態でないと判定された場合には、復号対象のピクチャ（またはスライス）に対してデブロッキングフィルタ処理を実行するように処理する。

以上、第１乃至第１０の実施例を説明したが、前述した他のパターンについても同様に実施可能である。また、量子化パラメータ及び符号化モードそれぞれに関する情報による省略判定の個々のパターンを組み合わせることにより、より効率的な省略を実施可能である。

尚、本発明は、上記のような動画像復号装置として実現することができるだけでなく、このような動画像復号方法が含む特徴的なステップを手段として備える動画像復号方法として実現することもできる。また、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することもできる。

このように、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明に係る動画像復号装置の一実施形態として、Ｈ．２６４に基づく標準化仕様の動画像復号装置に適用した場合の構成を示すブロック図。図１に示した動画像復号装置を動画像復号部として含むコンテンツ情報処理システムの構成例を示すブロック図。図１におけるデブロッキングフィルタ省略判定部の基本的な処理例を示すフローチャート。図１におけるデブロッキングフィルタ省略判定部の他の基本的な処理例を示すフローチャート。第１の実施例として、量子化パラメータに関する情報による省略判定におけるパターン３の場合の処理を示すフローチャート。第２の実施例として、量子化パラメータに関する情報による省略判定におけるパターン２の場合の処理を示すフローチャート。第３の実施例として、符号化モードに関する情報による省略判定における第３の方法のパターン１による場合の処理を示すフローチャート。第４の実施例として、符号化モードに関する情報による省略判定における第３の方法のパターン２による場合の処理を示すフローチャート。第５の実施例として、符号化モードに関する情報による省略判定における第４の方法のパターン１による場合の処理を示すフローチャート。第６の実施例として、符号化モードに関する情報による省略判定における第４の方法のパターン２（または３）による場合の処理を示すフローチャート。第７の実施例として、符号化モードに関する情報による省略判定における第１の方法のパターン１による場合の処理を示すフローチャート。第８の実施例として、符号化モードに関する情報による省略判定における第１の方法のパターン２による場合の処理を示すフローチャート。第９の実施例として、符号化モードに関する情報による省略判定における第２の方法のパターン１による場合の処理を示すフローチャート。第１０の実施例として、符号化モードに関する情報による省略判定における第２の方法のパターン３（または２）による場合の処理を示すフローチャート。

符号の説明

１０１…可変長変換部（エントロピー復号部）、１０２…逆量子化部、１０３…逆変換部、１０４…符号化モード制御部、１０５…画面内予測部、１０６…画面間予測部、１０７…残差加算部、１０８…デブロッキングフィルタ部、１０９…ピクチャメモリ、１１０…デブロッキングフィルタ省略判定部。

Claims

圧縮符号化された動画像ストリームを復号する動画像復号装置において、
前記動画像ストリーム及びその既復号画像から、復号対象の符号化モードに基づいて画面内予測画像及び画面間予測画像のいずれか一方を選択的に生成する予測復号部と、
前記動画像ストリームから、復号対象の量子化パラメータに基づいて残差復号画像を生成する残差復号部と、
前記予測復号部で選択的に生成される画面内予測画像及び画面間予測画像と前記残差復号部によって生成される残差復号画像とを加算して復号画像を生成する残差加算部と、
前記残差加算部で生成された復号画像に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施すフィルタ処理部と、
前記動画像ストリームから復号対象の量子化パラメータに関する情報を抽出し、その抽出情報に基づいて、前記フィルタ処理を省略するか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて前記フィルタ処理を選択的に省略する省略手段と、
を具備し、
前記判定手段は、前記復号対象の量子化パラメータの代表値を特定して判定の基準となる閾値と比較し、その比較結果に基づいて前記省略の判定を行い、
前記判定の基準となる閾値には、復号された過去のピクチャあるいはスライスにおける前記量子化パラメータの代表値の平均値、またはその平均値にオフセット値を加算した値を用いることを特徴とする動画像復号装置。
前記判定手段は、前記復号画像のスライス単位、またはマクロブロック単位、または任意個数のマクロブロック単位、またはピクチャ単位で判定を行うことを特徴とする請求項１記載の動画像復号装置。
前記復号対象の量子化パラメータの代表値には、スライスの量子化パラメータ、またはスライスに属するマクロブロックの量子化パラメータの平均値、またはマクロブロックの量子化パラメータ、任意個数のマクロブロックの量子化パラメータの平均値、またはピクチャに属するスライスの量子化パラメータの平均値、またはピクチャに属するマクロブロックの量子化パラメータの平均値を用いることを特徴とする請求項１記載の動画像復号装置。
圧縮符号化された動画像ストリームを復号する動画像復号方法において、
前記動画像ストリーム及びその既復号画像から、復号対象の符号化モードに基づいて画面内予測画像及び画面間予測画像のいずれか一方を選択的に生成し、
前記動画像ストリームから、復号対象の量子化パラメータに基づいて残差復号画像を生成し、
前記選択的に生成される画面内予測画像及び画面間予測画像と前記残差復号画像とを加算して復号画像を生成し、
前記復号画像に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施し、
前記動画像ストリームから復号対象の量子化パラメータに関する情報を抽出し、その抽出情報に基づいて、前記フィルタ処理を省略するか否かを判定し、
前記判定の結果に基づいて前記フィルタ処理を選択的に省略し、
前記省略の判定は、前記復号対象の量子化パラメータの代表値を特定して判定の基準となる閾値と比較し、その比較結果に基づいて行い、
前記判定の基準となる閾値には、復号された過去のピクチャあるいはスライスにおける前記量子化パラメータの代表値の平均値、またはその平均値にオフセット値を加算した値を用いることを特徴とする動画像復号方法。