WO2007116551A1

WO2007116551A1 - 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法

Info

Publication number: WO2007116551A1
Application number: PCT/JP2006/320876
Authority: WO
Inventors: Reiko Noda; Takeshi Chujoh
Original assignee: Kabushiki Kaisha Toshiba
Priority date: 2006-03-30
Filing date: 2006-10-19
Publication date: 2007-10-18
Also published as: CN101411202A; EP2003897A9; CA2645931A1; JPWO2007114368A1; HRP20080553A2; KR20110013577A; RU2008138706A; CN102256132A; BRPI0709853A2; KR20080107436A; MX2008012516A; NO20084509L; ZA200807977B; KR101067955B1; EP2003897A2; EP2003897A4; JP5254004B2; KR101110517B1; US20090087111A1; JP2012191642A

Abstract

　画像符号化装置は、入力画像の各画素のビット精度を変換することによって変換入力画像を出力すると共に変換により変更されたビット数を表すビット変換情報を出力する画素ビット長拡張変換器（１００１）と、入変換力画像を符号化し画像符号化情報を出力する画像符号化器（１０）と、ビット変換情報と画像符号化情報とを多重化する多重化器（１２）とを具備する。

Description

明細書

画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法

技術分野

[0001] 本発明は、動画像又は静止画像のための画像符号化装置及び画像符号化方法並びに画像復号ィ匕装置及び画像復号ィ匕方法に関する。

背景技術

[0002] 代表的な動画像符号化標準方式である H. 264は、入力画像信号と、画面内予測や動き補償を行うことで作成された予測画像信号との予測誤差信号に対して離散コサイン変換 (DCT)等の直交変換を行い、このような周波軸上への変換を行った後、変換係数に対して量子化及び符号化による圧縮処理を行って符号化画像を得るという非可逆圧縮方式である。予測画像信号を作成する際には、画面内予測や動き補償の補間フィルタにおいて、複数画素にフィルタ係数をかけて足し合わせた後、入力画像の画素ビット長と同じ精度に丸めを行う処理を行っている。

[0003] 特開 2003— 283872号公報では、入力画像の 1フレーム毎に各色信号のダイナミックレンジを拡大した画像を入力として符号ィ匕し、復号後に元のダイナミックレンジに復元することにより、表示装置の補正による符号化歪の強調を抑制する手法が示されている。

[0004] H. 264では、予測信号を作成する際の丸め処理の過程において丸め誤差が発生するため、画面内予測や動き補償の補間フィルタにお、て十分な精度で処理を行うことができず、予測誤差信号の増大を招き、結果的に符号ィ匕効率が低下する。これに対し、特開 2003— 283872号公報では、入力画像のダイナミックレンジを拡大することにより、前述の丸め誤差を若干少なくすることが可能である。しかし、特開 2003 — 283872号公報におけるダイナミックレンジの拡大は、入力画像のビット精度の範囲内で行われるだけであり、また、ダイナミックレンジの拡大の際にも丸め誤差が発生することから、十分に計算精度を向上させることはできない。

発明の開示 [0005] 本発明は、画面内予測や動き補償の精度を十分高めることによって符号ィ匕効率を向上させるための画像符号ィ匕装置及び画像符号ィ匕方法並びに画像復号ィ匕装置及び画像復号化方法を提供することを目的とする。

[0006] 本発明の第 1の形態は、入力画像の各画素のビット精度を変換することによって異なるビット精度の変換入力画像を生成し、ビット精度に対する変換を示すビット変換情報を出力する画素ビット精度変換器と、前記入変換力画像を符号化し画像符号化情報を出力する画像符号化器と、前記ビット変換情報と前記画像符号化情報とを多重化する多重化器とを備えた画像符号化装置を提供する。

[0007] 本発明の第 2の形態は、 Nビット精度をそれぞれ持つ複数の画素により構成される入力画像の各画素のビット精度を Mビット大きな (N + M)ビット精度に変換する画素ビット精度変翻と、（N + M)ビット精度の前記入力画像に対する (N + M)ビット精度の予測画像を、（N + M)ビット精度の参照画像から作成する予測画像作成器と、 ( N + M)ビット精度の前記入力画像と (N + M)ビット精度の前記予測画像との差分信号を求める減算器と、前記差分信号を符号化して画像符号化情報を出力する符号ィ匕器と、前記画像符号化情報に基づいて復号差分画像を出力する復号化器と、（N + M)ビット精度の前記予測画像と前記復号差分画像とを加算して (N + M)ビット精度の復号画像を出力する加算器と、（N + M)ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリとを備えた画像符号化装置を提供する。

[0008] 本発明の第 3の形態は、ビット変換情報と画像符号化情報とが多重化された画像情報を入力してビット変換情報と画像符号ィ匕情報に分離する多重化分離器と、前記画像符号化情報を復号化し復号画像を出力する画像復号化器と、前記ビット変換情報に基づいて前記復号画像の各画素の値をビット精度が異なるビット精度に変換する画素ビット精度変換器と、を備えた画像復号化装置を提供する。

本発明の第 4の形態は、入力符号ィ匕画像情報を (N + M)ビット精度の復号差分画像に復号する復号化器と、

前記符号化画像情報を用いて (N + M)ビット精度の参照画像から (N + M)ビット精度の予測画像を作成する予測画像作成器と、前記復号差分画像と前記予測画像とを加算して (N + M)ビット精度の復号画像を得る加算器と、（N + M)ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリと、（N + M)ビット精度の前記復号画像の各画素を Nビット精度に変換し Nビット精度の復号画像を出力する画素ビット精度変換器と、を備えた画像復号化装置を提供する。

図面の簡単な説明

[図 1A]図 1Aは本発明の第 1の実施形態に係る画像符号ィ匕装置の構成例を示すプロック図である。

[図 1B]図 1Bは図 1Aの画像符号ィ匕装置の動作を示すフローチャートである。

[図 2]図 2は画素ビット長拡張器の構成を示すブロック図である。

[図 3]図 3は同実施形態で用いるシンタクスの構造の一例を示す図である。

[図 4]図 4は同実施形態で用いるシーケンスパラメータセットシンタクスの構造を示す図である。

[図 5]図 5は同実施形態で用いるサプリメンタルシンタクスの構造を示す図である。

[図 6]図 6は同実施形態で用いるサプリメンタルシンタクスの構造を示す図である。

[図 7A]図 7Aは同実施形態に係る画像復号ィ匕装置の構成例を示すブロック図である

[図 7B]図 7Bは図 7Aの画像復号ィ匕装置の動作を示すフローチャートである。

[図 8]図 8は図 7の画素ビット長縮小器の構成を示すブロック図である。

[図 9A]図 9Aは本発明の第 2の実施形態に係る画像符号ィ匕装置の構成例を示すブロック図である。

[図 9B]図 9Bは図 9Aの画像復号ィ匕装置の動作を示すフローチャートである。

[図 10A]図 10Aは同実施形態に係る画像復号ィ匕装置の構成例を示すブロック図である。

[図 10B]図 10Bは図 10Aの画像復号ィ匕装置の動作を示すフローチャートである。

[図 11A]図 11Aは第 3の実施形態に係る画像符号ィ匕装置の構成例を示すブロック図である。

[図 11B]図 11Bは図 11 Aの画像符号ィ匕装置の動作を示すフローチャートである。

[図 12]図 12は図 11の画素ビット長変換器の構成を示すブロック図である。

[図 13]図 13は同実施形態で用いるシーケンスパラメータセットシンタクスの構造を示す図である。

[図 14]図 14は同実施形態で用いるピクチャーパラメータセットシンタクスの構造を示す図である。

[図 15]図 15は同実施形態で用いるスライスレベルシンタクスの構造を示す図である。

[図 16]図 16は同実施形態で用いるマクロブロックレベルシンタクスの構造を示す図である。

[図 17A]図 17Aは同実施形態に係る画像復号ィ匕装置の構成例を示すブロック図である。

[図 17B]図 17Bは図 17Aの画像復号ィ匕装置の動作を示すフローチャートである。圆 18A]図 18Aは本発明の第 4の実施形態に係る画像符号ィ匕装置の構成例を示すブロック図である。

[図 18B]図 18Bは図 18Aの画像符号ィ匕装置の動作を示すフローチャートである。

[図 19A]図 19Aは同実施形態に係る画像復号ィ匕装置の構成例を示すブロック図である。

[図 19B]図 19Bは図 19Aの画像復号ィ匕装置の動作を示すフローチャートである。圆 20A]図 20Aは第 5の実施形態に係る画像符号ィ匕装置の構成例を示すブロック図である。

[図 20B]図 20Bは図 20Aの画像符号化装置の動作を示すフローチャートである。

[図 21A]図 21Aは同実施形態に係る画像復号ィ匕装置の構成例を示すブロック図である。

[図 21B]図 21Bは図 21Aの画像復号ィ匕装置の動作を示すフローチャートである。

[図 22]図 22はエンコーダ側の予測画像作成器のブロック図である。

[図 23]図 23はデコーダ側の予測画像作成器のブロック図である。

[図 24]図 24はフレーム間予測器の構成を示すブロック図である。

[図 25]図 25はフレーム間予測器の別の構成を示すブロック図である。

[図 26]図 26はフレーム間予測器の別の構成を示すブロック図である。

[図 27]図 27はエンコーダ側のループフィルタの構成を示すブロック図である。

[図 28]図 28は復号側のループフィルタの構成を示すブロック図である。 [図 29]図 29は画素ビット長拡張器の他の構成を示すブロック図である。

[図 30]図 30はフィルタ処理部のブロック図である。

[図 31]図 31はフィルタ処理部の動作の流れ図である。

[図 32]図 32は画素ビット長縮小器のブロック図である。

[図 33A]図 33Aは第 6の実施形態に係る画像符号ィ匕装置のブロック図である。

[図 33B]図 33Bは図 33Aの画像符号ィ匕装置の動作を示すフローチャートである。

[図 34A]図 34Aは第 6の実施形態に係る画像復号ィ匕装置のブロック図である。

[図 34B]図 34Bは図 34Aの画像復号ィ匕装置の動作を示すフローチャートである。

[図 35A]図 35Aは第 7の実施形態に係る画像符号ィ匕装置のブロック図である。

[図 35B]図 35Bは図 35Aの画像符号ィ匕装置の動作を示すフローチャートである。

[図 36]図 36はシーケンスパラメータセットシンタクスを示す図である。

[図 37]図 37はシーケンスパラメータセットシンタクスを示す図である。

[図 38]図 38は画像符号ィ匕装置の処理において使用される制御フラグの設定例を示す図である。

[図 39A]図 39Aは第 7の実施形態に係る画像復号ィ匕装置の構成を示すブロック図である。

[図 39B]図 39Bは図 39Aの画像復号ィ匕装置の動作を示すフローチャートである。

[図 40]図 40はビット変換情報に含まれる制御フラグの設定を示す図である。

[図 41]図 41はビット精度の拡張の有無によって生じる丸め誤差の相違について説明するための図である。

[図 42]図 42は半画素精度の予測画素値を示す図である。

[図 43]図 43は本発明の実施の形態の画素ビット長拡張および画素ビット長縮小における変換特性を示す図である。

発明を実施するための最良の形態

[0010] 以下、図面を参照しながら本発明の実施形態について説明する。

[0011] (第 1の実施形態）

図 1Aを参照して第 1の実施形態に係る動画像符号化のための画像符号化装置の構成を説明する。この画像符号化装置は、入力画像信号 100が供給され、画素ビット長を拡張する画素ビット長拡張器 (即ち、画素ビット精度を変換する画素ビット精度変翻） 1001と、この画像ビット長拡張器 1001の出力に接続される画像符号化器 1 0と、この画像符号化器 10の出力に接続される多重化器 12と、画像ビット長拡張器 1 001の他の出力に接続され、ビット拡張情報を多重化部 12に供給するビット長変換制御器 1002とを備えて、る。

図 1Bのフローチャートを参照して画像符号ィ匕装置の動作を説明する。この画像符号化装置には、入力画像信号 100として例えばフレーム単位で動画像信号が入力される（Sl l)。画素ビット長拡張器 1001は、入力された Nビット精度の画像信号 100 の各画素を Nビットより Mビット大きな (N + M)ビット精度に変換する処理を行う。即ち、図 2に示される画素ビット長拡張器 1001において、入力された Nビット精度の画像信号 100の各画素のビット長を拡張するかどうかがビット長拡張情報 1003に基づいてスィッチ E0によって選択される（S12)。拡張を行う場合は、スィッチ E0を ON側に、拡張を行わない場合は OFF側に接続する。スィッチ E0を ONとした場合は、画像信号は画素ビット長拡張変翻 (画素ビット精度変翻) E01に入力され、後述の画素ビット長変換が行われる（S 13)。スィッチ E0が OFFの場合は、画像信号は画素ビット長変換されず、そのまま出力される。例えば、入力画像信号のある画素の値が Kであった場合、その画素値 Kを Mビット拡張した後の画素値 K'は、以下の数式（1)のように計算される。

K' =K « Μ (1)

また、例えば、表示装置の特性に合わせて、画素をガンマ変換することも可能である。拡張するビット数を Μ、ガンマ値を γとすると、以下の数式（1 1)のように画素値 K'が計算される。

K' =INT [ [{K/ ((1 « N)- l)}⁷ X ((l《 M)— l)〕+ offset] (1— 1)

また、以下の数式（1 2)のように、さらに入力画像の画素の最小値 Min、最大値

Maxを求め、ダイナミックレンジを広げつつ Mビット大きなビット精度に画素を拡張することち可會である。

K， =INT [ [{(K-Min) / (Max-Min)}⁷ X ((l « Μ)— 1)〕 + offset] INTは整数に丸めを行う処理を示す。数式（1 1) , (1 2)での offsetは、丸めを行うときのオフセットを示し、 0〜1の任意の値である。

[0013] さらには、上記のような拡張を行った入力画像の系列に対し、ヒストグラム平滑ィ匕を行ったり、時空間にフィルタを施したりすることも可能である。

[0014] 入力画像が例えば RGBなどの複数のコンポーネントからなるカラー画像信号である場合には、各コンポーネントの各画素のビット長を Mビット大きなビット精度に拡張した後に、各コンポーネントを別の色空間のコンポーネント信号に変換してもよい。例えば、 RGBから YCoCgに変換する場合には以下の数式（1— 3)で変換する。この例では、 Nビットの入力画像の各コンポーネントの各画素 R, G, Bが、各画素の値を M ビット大きなビット精度に拡張した後、 Y, Co, Cgに変換される。

R， = (R « M)

G， = (G « M)

B' = (B « M)

Y=Round (0.5 * G' +0.25 * (R，+B，））

Co = Round (0.5 * G ' - 0.25 * (R，+B，）） + (l « (N + M—l) ) Cg = Round (0.5 * (R，— B，）） + (l « (N + M—l) )

(1 - 3)

ここで、 Round (A)は Aを四捨五入して整数に丸める処理である。数式（1— 3)による変換例では、拡張するビット数 Mを 2以上にすれば、丸め処理において丸め誤差が発生することなく色変換することが可能である。なお、ここで示した色変換は一例であり、色変換を行う処理であればどのような処理を行ってもよい。

[0015] 以上の例は画素ビット長拡張器 1001が行う変換の一例であり、各画素の値を Mビット大きなビット精度に拡張する処理は、上記の例に限るものではなぐビット長を拡大する処理であればどのような処理を行ってもょ、。

[0016] 上記のようにしてビット拡張が行われたビット拡張入力画像信号 1009は、画像符号ィ匕器 10に導かれる。また、拡張されるビット数 M、入力画像信号のビット長 Nおよびその他変換に必要なガンマ値、画素最大値、最小値、ヒストグラムなどのビット変換情報 1010が生成され (S14)、ビット長変換制御器 (ビット精度変換制御器） 1002によりビット拡張情報 1003として多重化部 12に導かれる。

[0017] 画像符号化器 10は、入力されたビット拡張入力画像信号 1009を符号化し、画像符号ィ匕データ 11として多重化部 12に出力する（S15)。多重化部 12は、画像符号化データ 11およびビット拡張情報 1003を多重化し (S16)、符号ィ匕データ 117として図示しない伝送系または蓄積系へ送出する（S 17)。

[0018] 次に、拡張するビット数 Mなどの変換に必要なビット拡張情報 1003の多重化方法について説明する。

[0019] 図 3に、本実施形態で用いられるシンタクスの構造の例を示す。

このシンタクス構造例において、ハイレベルシンタクス（401)には、スライス以上の上位レイヤのシンタクス情報が詰め込まれて、る。スライスレベルシンタクス（402)では、スライス毎に必要な情報が明記されており、マクロブロックレベルシンタクス (403 )では、マクロブロック毎に必要とされる量子化パラメータの変更値やモード情報などが明記されている。

[0020] 各シンタクスは、さらに詳細なシンタクスで構成されて、る。ハイレベルシンタクス（4 01)では、シーケンスパラメータセットシンタクス（404)とピクチャーパラメータセットシンタクス（405)などのシーケンスおよびピクチヤレベルのシンタクスから構成されて!ヽる。スライスレべノレシンタクス (402)では、スライスヘッダーシンタクス（406)、スライスデータシンタクス（407)などから構成されている。さらに、マクロブロックレベルシンタタス（403)は、マクロブロックヘッダーシンタクス (408)、マクロブロックデータシンタクス (409)など力構成されて！、る。

[0021] 上述したシンタクスは復号ィヒ時に必要不可欠な構成要素であり、これらのシンタクス情報が欠けると復号ィ匕時に正しくデータを復元できなくなる。一方、復号化時に必ずしも必要とされない情報を多重化するための補助的なシンタクスとしてサブリメンタルシンタクス (410)が存在する。サプリメンタルシンタクスは、復号側で独立に実行可能な処理に対する指示を示す情報を送る役割として用意されている。

[0022] 本実施形態では、拡張するビット数をシーケンスパラメータセットシンタクス (404)に含めてこのシンタクスを送信することが可能である。それぞれのシンタクスを以下で説明する。 [0023] 図 4のシーケンスパラメータセットシンタクス内に示される ex_seq_bit_extention_flagは、ビット拡張を行うかどうかを示すフラグであり、当該フラグ力 STRUEであるときは、ビット拡張を行うか否かをシーケンス単位で切り替えることが可能である。フラグが FALSE であるときは、シーケンス内ではビット拡張は行われな、。 ex_seq_bit_extention_flagが TRUEのときは更に何ビット拡張を行うかを示す ex_seq_shift_bitsが送信される。当該フラグの TRUEZFALSEによって例えば図 2で示される画素ビット長拡張器 1001内のスィッチ E0の ONZOFFが決定される。

[0024] シーケンスパラメータセットシンタクス内には、さらに、どのような変換を行つたかを示す ex_bit_transform_typeを含めて送信してもよヽ。 ex_bit_transform_typeは、例えば数式（ 1)で示される単純なビット拡張変換を示す値 BIT_EXT_TRANSや、数式（ 1 1)で示される γ変換が行われたことを示す GAMMA_TRANS、数式（1 2)で示されるダイナミックレンジ変換が行われたことを示す DR_TRANSなどが格納されて!、る。 ex_bit_tr ansform_typeが GAMMA_TRANSである場合には、さらにどのようなガンマ値で変換を行つたかを示す gamma_valueが送信される。 ex_bit_transform_typeが DR_TRANSである場合には、さらにそれぞれ入力画像信号の画素の最大値と最小値を示す max__Value , min— value力送れる o

[0025] 本実施形態においては、サプリメンタルシンタクス (410)に多重化されたデータを利用することが可能である。図 5にサプリメンタルシンタクスを用いて復号側の出力画像信号のビット精度を送信する例を示す。サプリメンタルシンタクス内に示される ex__se i_bit_extention_flagは、出力画像信号のビット精度を変更するかどうかを示すフラグであり、当該フラグ力 STRUEのときは、出力画像信号のビット精度を変更することを示す。フラグが FALSEであるときは、出力画像信号のビット精度の変更を行わな、ことを示す。当該フラグが TRUEであるときは、さらに bit_depth_of_decoded_imageが送信される。 bit_depth_of_decodedjmageは、出力画像信号のビット精度を示す値であり、後述の復号側でビット拡張あるいは縮小を行って復号ィ匕する能力のある復号化器で画像信号を復号化する場合は、 bit_depth_of_decoded_imageの値に従って、復号画像のビット精度を拡大あるいは縮小して bit_depth_of_decoded_imageで示されたビット精度の復号画像を出力することが可能である。 [0026] ただし、ビット拡張あるいは縮小を行って復号ィ匕する能力がな、復号化器で画像信号を復号化する場合や、あるいは能力があつたとしても必ずしも bit_depth_of_decoded jmageで示されたビット精度の復号画像を出力する必要はなぐ復号されたビット精度のまま出力することも可能である。

[0027] また、図 6に、サプリメンタルシンタクス 410を用いて復号側の出力画像信号の色空 [¾ 送 1§する 1列す。 ex— sei— bit— extention— flag, bit— depth— of— decoded— imageにつ、ては前述の図 4の例と同様である。

[0028] サプリメンタルシンタクス内に示される ex_color_transform_flagは、出力画像信号の色空間を変換するかどうかを示すフラグであり、当該フラグ力 STRUEのときは、出力画像信号の各コンポーネントの色空間を変更することを示す。一方、フラグが FALSEであるときは、出力画像信号の各コンポーネントの色空間の変更を行わないことを示す。当該フラグが TRUEであるときは、さらに color_space_of_decoded jmageが送信される。 color_space_of_decodedjmageは、出力画像信号の色空間を示す値であり、後述の復号側でビット拡張あるいは縮小を行って復号ィ匕する能力がある。 color_space_of_dec odedjmageの値で指定される色空間に変換する能力のある復号化器で画像信号を復号化する場合は、出力画像信号の各コンポーネントを color_space_of_decodedjmag eの値で指定される色空間に変換した後、 bit_depth_of_decoded_imageの値に従って、復号画像のビット精度を拡大あるいは縮小して bit_depth_of_decoded_imageで示されたビット精度の復号画像を出力することが可能である。

[0029] ただし、 color_space_of_decodedjmageの値で指定される色空間に出力画像信号の各コンポーネントを変換する能力がない復号化器で復号する場合や、あるいは能力があったとしても、必ずし color_space_of_decoded_imageの値で指定される色空間に変換した復号画像を出力する必要はない。復号された色空間のまま復号画像を出力した後に、 bit_depth_of_decoded_imageで示されたビット精度にコンポーネントを変換することも可能である。また、ビット拡張あるいは縮小を行って復号ィ匕する能力がない復号ィ匕器で画像信号を復号化する場合や、あるいは能力があつたとしても必ずしも bit_de pth_of_decoded_imageで示されたビット精度の復号画像を出力する必要はなぐ復号されたビット精度のまま出力することも可能である。 [0030] 次に、図 7A、図 7Bを参照して本実施形態に係る画像復号ィ匕装置を説明する。図 7 Aに示すように、この画像復号ィ匕装置は、符号化データが入力される多重化分離部 21と、多重化分離部 21の出力に接続される画像復号化器 20と、画像復号化器 20 の出力に接続される画素ビット長縮小器 (画素ビット精度縮小変換器) 2001と、多重化分離部 21からビット拡張情報を受け、ビット変換情報を画素ビット長縮小器 2001 に入力するビット長変換制御器 (ビット精度変換制御器) 2002とを備えて、る。

[0031] 図 7Bのフローチャートに示すように、まず、図 1Aの画像符号ィ匕装置によって符号ィ匕された符号ィ匕データ 117が多重化分離部 21に入力される（S21)。多重化分離部 21にお、て、符号ィ匕データ 117がビット拡張情報 2004および画像符号ィ匕データ 11 に分離される（S22)。ビット拡張情報 2004はビット長変換制御器 2002に入力され、画像符号化データ 11は画像復号化器 20に入力される。画像符号化データ 11は、画像符号化器 10で行われた符号化と逆の手順で復号化され、ビット拡張復号画像信号 203とされる（S23)。ビット拡張復号画像信号 203は画素ビット長縮小器 2001 に入力される。ビット拡張情報 2004が、ビット長変換制御器 2002に入力されると、ビット長変換制御器 2002は復号画像が何ビット拡張されて、る力、および変換に必要な情報を示すビット変換情報 2003を出力する。

[0032] 図 8に示すように画素ビット長縮小器 2001においては、入力された Nビット精度の画像信号 100はビット変換情報 2003に基づ、てスィッチ E2によって、各画素のビット長を縮小するかどうかが選択される（S24)。スィッチ E2は縮小を行う場合は、 ON側に、縮小を行わない場合は OFF側に接続する。スィッチ E2を ONとした場合は、画像信号は画素ビット長縮小変翻 E02に入力され、後述の画素ビット長変換が行われる (S25)。スィッチ E2が OFFの場合は、画像信号は画素ビット長変換されず、そのまま出力される。例えば、 ex_seq_bit_extention_flagが TRUEであり、各画素のビット長が拡張されて!、ることを示して、る場合はスィッチを ON側に、 FALSEの場合は OFF側にする。

[0033] ビット変換情報 2003力例えば、 ex_seq_shift_bitsによって Mビット拡張されており、 ex_bit_transform_typeによって例えば数式（1)で示される変換が行われたことを示す B IT_EXT_TRANSを示して、た場合、画素ビット長縮小器 2001に入力されたビット拡張復号画像信号 203は、各画素の値を Mビット縮小する。例えば、ビット拡張復号画像信号 203のある画素の値が Kであった場合、 Mビット縮小した後の画素値 K，は以下のように計算される。

K， = (K + offset)》 M

offset= (l〈〈（M— 1) ) (2)

これは四捨五入を用いて、画素値を Mビット小さ、ビット長に縮小する方法の一例であり、ここでの縮小変換方法は、例えば、 offsetを 0〜（1〈〈M)の任意の値にするなど、ビット長を小さくする方法であれば、どのような変換方法でもよい。

ビット変換情報 2003力例えば、 ex_seq_shift_bitsによって Mビット拡張されており、 ex_bit_transform_typeによって例えば数式（1 1)で示されるガンマ変換が行われたことを示す GAMMA_TRANSを示している。 gamma_valueによってガンマ値が γであることが示されている場合には、画素ビット長縮小器 2001に入力されたビット拡張復号画像信号 203は、各画素の値を Μビット縮小する。例えば、ビット拡張復号画像信号 203のある画素の値が Κであった場合、 Μビット縮小した後の画素値 Κ，は以下のように計算される。

Κ， =ΙΝΤ [ [{Κ/ ((1 « Μ)- 1)}^1/γ X ((l « Ν)— 1)〕 + offset]

(2- 1)

ビット変換情報 2003が、例えば、 ex_seq_shift_bitsによって Mビット拡張されており、 ex_bit_transform_typeによって例えば数式（1 2)で示されるダイナミックレンジ変換が行われたことを示す DR_TRANSを示しており、 min.value, maxvalueによって入力画像の画素の最小値と最大値がそれぞれ Max, Minであることが示されて、る場合には、画素ビット長縮小器 2001に入力されたビット拡張復号画像信号 203は、各画素の値を Mビット縮小する。例えば、ビット拡張復号画像信号 203のある画素の値が K であった場合、 Mビット縮小した後の画素値 K，は以下のように計算される。

K， =INT [ [{ (K-(Min «M)) / ((Max-Min) «Μ)} ⁷ X ((l « N)— 1)〕 + offset]

(2- 2)

INTは整数に丸めを行う処理を示す。数式（2— 1) , (2— 2)での offsetは、丸めを行うときのオフセットを示し、 0〜1の任意の値である。 [0035] ビット変換情報 2003力例えば、 ex_seq_shift_bitsによって Mビット拡張されており、復号画像信号のカラースペースが例えば図 5に示すサプリメンタルシンタクス内で指定されて!/、る color_space_of_decoded_imageで指定されて!、る色空間とは異なる色空間であった場合には復号画像の各コンポーネントの各画素を color_space_of_decoded_ imageで指定されている色空間に変換した後、ビット長を Mビット縮小する。例えば、入力画像が RGBから YCoCgに変換されて符号化されており、 color_space_of_decode djmageに RGBが指定されている場合には、復号画像の各コンポーネントの各画素 Y , Co, Cgに対し、以下の数式（2— 3)によりビット縮小と色空間変換が行われ、各コンポーネントの各画素がそれぞれ R, G, Bに変換される。

t=(Y-((Cg-(l « (N + M-1))) » 1))

G'=Cliply(t+(Cg-(l « (N+M-1))))

B'=Cliply(t-((Co-(l « (N + M— 1)))》 1))

R'=Cliply(B' + (Co-(l « (N + M-1))))

offset=(l〈〈（M— 1))

R=(R，+offset)》 M

G= (G， + offset)》 M

B= (B， + offset)》 M

(2-3)

ここで、 Cliply(A)は Aが 0<A< (Kく（N + M))を満たす場合には Aをそのまま出力し、 A〈0ならば 0を、 A≥(Kく（N+M))なら（1くく（N + M))— 1を出力する処理を表している。これは四捨五入を用いて、画素値を Mビット小さいビット長に縮小する方法の一例であり、ここでの縮小変換方法は、例えば、 offsetを 0〜（1<<M)の任意の値にするなど、ビット小さくする方法であれば、どのような変換方法でもよい。

[0036] ここでは復号画像信号の色空間がサプリメンタルシンタクス内で指定されて、る colo r_space_of_decoded_imageで指定されて!ヽる例を示した力このような指定がな!、場合や、ハイレベルシンタクス 401にサプリメンタルシンタクスで示した例と同様に復号画像信号の色空間を指定してヽる場合でも、復号画像を出力する過程で色変換処理が行われる場合には、色変換処理を行った後、画素値を Mビット小さいビット長に縮小してもよい。また、ここで示した色変換は一例であり、色変換を行う処理であればどのような処理を行ってもょ、。

[0037] 以上に示した縮小変換は一例であり、ビット長を小さくする方法であれば、どのような変換方法でもよい。

[0038] 以上のようにして、画像符号化装置に入力された入力画像と同じ Nビット精度の復号画像 202が画素ビット長縮小器 2001より出力される（S25)。

[0039] 以上の構成によれば、画像符号化および画像復号化が、入力画像のビット精度よりも Mビット大きなビット精度で行うことができ、符号ィ匕効率を向上させることができる。

[0040] (第 2の実施形態）

図 9Aを参照して第 2の実施形態に係る動画像符号化のための画像符号化装置の構成を説明する。図 9Aに示すように、この画像符号化装置は、画素ビット長拡張器（画素ビット精度変翻） 1001、ビット長変換制御器 (ビット精度変換制御器） 1002、減算器 101、直交変換器 104、量子化器 106、逆量子化器 109、逆直交変換器 11 0、加算器 111、ループフィルタ 113、フレームメモリ 114、予測画像作成器 115、ェントロピー符号化器 108を備えて、る。入力画像信号を受ける画素ビット長拡張器 1 001の出力は減算器 101、直交変翻 104および量子化器 106を介してエントロピ一符号化器 108に接続される。量子化器 106の出力は逆量子化器 109,逆直交変換器 110,加算器 111,ループフィルタ 113、フレームメモリ 114を介して予測画像作成器 115に接続される。予測画像作成器 115からの予測画像信号は減算器 101および加算器 111に入力される。予測画像作成器 115からの動きベクトル Z予測モード情報はエントロピー符号化器 108に入力される。ビット長変換制御器 1002はビット変換情報を画素ビット長拡張器 1001に入力し、ビット拡張情報をエントロピー符号ィ匕器 108に入力する。

[0041] 上記構成の画像符号ィ匕装置の動作を図 9Bのフローチャートを参照して説明する。

画像符号ィ匕装置に、入力画像信号 100として例えばフレーム単位で動画像信号が入力されると（S31)、画素ビット長拡張器 1001は、入力された Nビット精度の画像信号 100の各画素の値を Nビットより Mビット大きな (N + M)ビット精度に拡張する処理を行う（S32)。例えば、入力画像信号のある画素の値が Kであった場合、 Mビット拡張した後の画素値 K'は例えば数式（1)や数式（1— 1) , (1 - 2) , (1 3)などによつて計算される。

[0042] 拡張されるビット数 Μなどの変換情報は、ビット長変換制御器 1002によりビット拡張情報 1003としてエントロピー符号化器 108に導かれる（S33)。画素ビット長拡張器 1 001の構成例として、図 2の構成をとり、第 1の実施形態と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて制御する処理を行ってもよい。

[0043] 減算器 101により、（N + M)ビット精度にビット長が拡張された入力画像信号 100と

(N + M)ビット精度で作成された予測画像信号 102との差分がとられ、（N + M)ビット精度の予測誤差信号 103が生成される（S34)。生成された予測誤差信号 103は、直交変 l04により直交変換 (例えば、離散コサイン変換 (DCT) )される（S35)。直交変換器 104では、直交変換係数情報 105 (例えば、 DCT係数情報)が得られる。直交変換係数情報 105は、量子化器 106により量子化され、量子化直交変換係数情報 107はエントロピー符号化器 108および逆量子化器 109に入力される。量子化直交変換係数情報 107は逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて、即ち局部復号化されて予測誤差信号と同様の信号、即ち局部復号誤差信号に変換される。この局部復号誤差信号は加算器 111で (N + M)ビット精度の予測画像信号 102と加算されることにより、（N + M)ビット精度の局部復号画像信号 112が生成される。即ち、量子化直交変換係数情報 107が局部復号化される（S36)。局部復号画像信号 112は、必要に応じてループフィルタ 113によりフィルタ処理がなされた後、フレームメモリ 114に格納される。

[0044] 予測画像作成器 115は、（N + M)ビット精度にビット長が拡張された入力画像信号 100及びフレームメモリ 114に格納された (N + M)ビット精度の局部復号画像信号 1 12から、ある予測モード情報に基づく（N + M)ビット精度の予測画像信号を生成する。この際、加算器 111からの（N + M)ビット精度の局部復号画像信号 112はフレームメモリ 114にー且蓄えられる。フレーム内のブロック毎に（N + M)ビット精度の入力画像信号 100とフレームメモリ 114に蓄えられた (N + M)ビット精度の局部復号画像信号 112との間のマッチング (例えば、ブロックマッチング）により、動きベクトルが検出される（S37)。この動きベクトルで補償された (N+M)ビット精度の局部画像信号を用いて (N + M)ビット精度の予測画像信号を作成する（S38)。ここで生成された（ N + M)ビット精度の予測画像信号 102は、選択された予測画像信号の動きベクトル情報 Z予測モード情報 116とともに予測画像作成器 115より出力される。

[0045] エントロピー符号化器 108では、量子化直交変換係数情報 107、動きベクトル情報 /予測モード情報 116およびビット拡張情報 1003がエントロピー符号化され (S39) 、これによつて生成された符号ィ匕データ 117は、図示しない伝送系または蓄積系へ送出される。

[0046] なお、拡張するビット数 Mの符号ィ匕方法については、第 1の実施形態と同様である。また、本実施形態においては、第 1の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

[0047] 次に、図 10Aを参照して、本実施形態に係る画像復号化装置の構成を説明する。

この画像復号化装置は、エントロピー復号化器 200、逆量子化器 109、逆直交変換器 110、加算器 111、ループフィルタ 113、フレームメモリ 114、予測画像作成器 115 、画素ビット長縮小器 (画素ビット精度変翻) 2001、ビット長変換制御器 (ビット精度変換制御器) 2002を備えている。符号ィ匕データを受けるエントロピー復号化器 20 0の係数情報出力は逆量子化器 109、逆直交変換器 110、加算器 111、ループフィルタ 113を介して画素ビット長縮小器 2001に接続される。ループフィルタ 113の出力はフレームメモリ 114を介して予測画像作成器 115の一方入力に接続される。予測画像作成器 115の他方入力は予測画像作成器 115から動きベクトル Z予測モード情報を受けている。予測画像作成器 115の出力は加算器 111に接続される。ェントロピー復号化器 200のビット拡張情報出力はビット長変換制御器 2002を介して場素ビット長縮小器 2001に接続される。

[0048] 図 10Bを参照して画像復号化装置の動作を説明する。画像復号化装置に図 9Aの画像符号ィ匕装置によって符号化された符号ィ匕データ 117が入力されると (S41)、ェントロピー復号化器 200において、符号ィ匕データ 117がエントロピー符号ィ匕の逆の手順に従って復号化され (S42)、量子化直交変換係数情報 107、動きベクトル Z予測モード情報 116、ビット拡張情報 2004が得られる。 [0049] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子ィ匕器 106及び直交変 104の処理と逆の処理を順次受けて (N + M)ビット精度の残差信号 201に変換される（S43)。動きベクトル Z予測モード情報 116は予測画像作成器 115に入力され、フレームメモリ 114に格納された (N + M)ビット精度のビット拡張復号画像信号 203から動きベクトル Z予測モード情報 116に基づく（N + M)ビット精度の予測画像信号 102が生成される（S44)。（N+M)ビット精度の残差信号 201と (N + M)ビット精度の予測画像信号 102は、加算器 111によって加算され、復号画像信号が生成される（S45)。この復号画像信号はループフィルタ 113 で必要に応じてフィルタ処理がなされ、（N+M)ビット精度のビット拡張復号画像信号 203として出力され、フレームメモリ 114に格納される。エントロピー復号化器 200 力も出力されたビット拡張情報 2004は、ビット長変換制御器 2002に入力されると、ビット長変換制御器 2002から復号画像が何ビット拡張されているかを示すビット変換情報 2003が出力される。

[0050] 画素ビット長縮小器 2001に入力されたビット拡張復号画像信号 203は、ビット変換情報 2003に基づいて、例えば数式（2)や数式（2—1) , (2- 2) , (2— 3)などに基づいて第 1の実施形態と同様の処理を受け、各画素の値を Mビット縮小する（S46)。画素ビット長縮小器 2001は、図 8に示される構成とし、第 1の実施形態と同様に各画素のビット長を縮小するかどうかをフラグで切り替える制御が行われてもよい。

[0051] 以上のようにして、画像符号化装置に入力された入力画像と同じ Nビット精度の復号画像信号 202が画素ビット長縮小器 2001より出力される（S47)。

[0052] 以上の構成によれば、予測画像信号が入力画像信号より Mビット大きな精度をもつて作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができ、結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。

[0053] (第 3の実施形態）

図 11Aに、本発明の第 3の実施形態に係る動画像符号ィ匕のための画像符号ィ匕装置の構成を示す。この画像符号ィ匕装置は、第 2の実施形態で示した構成例（図 9A) とほぼ同様の構成である力フレームメモリ 114の前段に画素ビット長変 ^1005を備え、フレームメモリ 114の後段に画素ビット長変翻 (画素ビット精度変翻） 1006 を備える点が異なっている。

[0054] 図 11Bを参照してこの画像符号化装置の動作を説明する。この画像符号化装置には、画像信号 100として例えばフレーム単位で動画像信号が入力される（S51)。画素ビット長拡張器 (画素ビット精度変換器） 1001は、第 2の実施形態と同様の処理を行うことにより、入力された Nビット精度の画像信号 100の各画素の値について、 Nビットより Mビット大きな (N + M)ビット精度に拡張する処理を行う（S52)。拡張されたビット数 Mは、ビット長変換制御器 1002によりビット拡張情報 1003としてエントロピー符号化器 108に導かれる。画素ビット長拡張器 1001は、図 2の構成とし、第 1の実施形態と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて画素ビット長を制御する処理を行ってもょ、。

[0055] 減算器 101により、（N + M)ビット精度にビット長が拡張された入力画像信号 100と

(N + M)ビット精度で作成された予測画像信号 102との差分がとられ、（N + M)ビット精度の予測誤差信号 103が生成される（S53)。生成された予測誤差信号 103は、直交変換器 104により直交変換 (例えば、離散コサイン変換 (DCT) )される。直交変翻 104では、直交変換係数情報 105 (例えば、 DCT係数情報)が得られる。直交変換係数情報 105は、量子化器 106により量子化される。即ち、予測誤差信号 103 は直交変換され、量子化される（S54)。量子化直交変換係数情報 107はエントロピ一符号化器 108および逆量子化器 109に導かれる。

[0056] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて局部復号誤差信号に変換され、加算器 111で (N + M)ビット精度の予測画像信号 102と加算される。これにより、（N + M)ビット精度の局部復号画像信号 112が生成される。即ち、量子化直交変換係数情報 107は、局部符号化される（S55)。

[0057] (N+M)ビット精度の局部復号画像信号 112は、必要に応じてループフィルタ 113 によりフィルタ処理がなされた後、画素ビット長変 ^1005に入力され、各画素の値を Lビット小さな値に縮小変換し、あるいは各画素の値を Lビット大きな値に拡大変換する（S56)。例えば、（N + M)ビット精度の局部復号画像信号 112のある画素の値が Kであった場合、 Lビット縮小した後の画素値 Κ，は以下のように計算される。

K' = (K + olFset) » L

offset= (l〈く（L 1) ) (3)

ここで、縮小するビット数 Lは、 0< L≤Mを満たす整数である。ビット長を縮小した結果、局部復号画像信号 112の各画素のビット長は (N + M— L)ビットとなる。

[0058] ここでの縮小変換方法は、例えば、 offsetを 0〜（1〈く L)の任意の値にするなど、ビット長を小さくする方法であれば、どのような変換方法でもよい。逆に、各画素の値を（ —L)ビット大きな値に拡大変換する場合には、例えば、ビット拡張復号画像信号のある画素の値が Kであった場合、（一 L)ビット拡張した後の画素値 K'は例えば以下のように計算される。

K，=K « (一 L) (4)

ここで、拡大するビット数 Lは 0く（一 L)を満たす整数である。ビット長を拡大した結果、局部復号画像信号 112の各画素のビット長は (N + M— L)ビットとなる。

[0059] 図 12に画素ビット長変換器 1005の構成例を示す。入力された Νビット精度の画像信号 100はビット長拡張情報 1003に基づいてスィッチ Ε3によって、各画素のビット長を拡張するかどうかを選択される。スィッチ Ε3は拡張を行う場合は、 ON側に、拡張を行わない場合は OFF側に接続する。スィッチ E3を ONとした場合、画素ビット長変翻1005に入力された画像信号は、

れ、画素ビット長変換される。スィッチ E3が OFFの場合は、画像信号は画素ビット長変換されず、そのまま出力される。このように、ビット長を縮小あるいは拡大された局部復号画像信号 112は、フレームメモリ 114に格納される（S57)。フレームメモリ 114 に格納された (N+M- L)ビット精度の局部復号画像信号 112は、予測画像作成器 1 15に入力される前に、画素ビット長変翻 1006に導かれ、 L>0の場合には各画素のビット長を Lビット大きなビット精度に拡張変換する（S58)。例えば、（N+M— L)ビット精度の局部復号画像信号 112のある画素の値が Kであった場合、 Lビット拡張した後の画素値 K'は例えば以下のように計算される。

K' =K « L (5)

一方、 Lく 0の場合には、各画素のビット長を（一 L)ビット小さなビット精度に縮小変換する。例えば、ビット拡張復号画像信号のある画素の値が Kであった場合、 (-L) ビット縮小した後の画素値 K'は例えば以下のように計算される。

K， = (K + offset)》 (-L)

offset= (l〈く（一 L 1) ) (6)

ここでの縮小変換方法は、例えば、 offsetを 0〜（1くく（一 L) )の任意の値にするなど、ビット長を小さくする方法であれば、どのような変換方法でもよい。画素ビット長変換器 1006は、画素ビット長変 1005と同様の図 12に示す構成とし、各画素のビット長を変換するかどうかの処理をフラグで切り替える制御を行ってもょ、。このような変換を行うことによって、予測画像作成器 115に出力される局部復号画像信号 112のビット精度は、（N+M)ビット精度となる。

[0060] フレームメモリ 114の前後で縮小 Z拡大されるビット長 Uま、 L≤Mを満たす整数であり、かつフレームメモリ 114の前後で縮小 Z拡大されるビット数が等しければよい。 L = 0の場合は、フレームメモリ 114に格納する際ある!/、はフレームメモリ 114から出力する際のビット拡張 Zビット縮小は行われない。画素ビット長変換器 1005および画素ビット長変翻 1006で行われる変換は、前述の数式（3)〜（6)に限るものではなぐ指定のビット長だけ拡大 Z縮小が行われる変換であれば、どのような変換を行つてもよい。このビット数 Lについても、ビット長変換制御器 1002によりビット拡張情報 1 003としてエントロピー符号化器 108に導かれる。

[0061] 予測画像作成器 115は、（N + M)ビット精度にビット長が拡張された入力画像信号 100及び (N+M)ビット精度の局部復号画像信号 112からある予測モード情報に基づく（N+M)ビット精度の予測画像信号を生成する。この際、フレーム内のブロック毎に (N + M)ビット精度の入力画像信号 100と画素ビット長変翻 1005によって (N + M)ビット精度に拡大された局部復号画像信号 112との間のマッチング (例えば、ブロックマッチング）をとり、動きベクトルを検出する（S59)。この動きベクトルで補償された (N + M)ビット精度の局部画像信号を用いて (N + M)ビット精度の予測画像信号を作成する（S60)。ここで生成された (N + M)ビット精度の予測画像信号 102は、選択された予測画像信号の動きべ外ル情報 Z予測モード情報 116とともに予測画像作成器 115より出力される。 [0062] エントロピー符号化器 108では、量子化直交変換係数情報 107、動きベクトル情報 /予測モード情報 116およびビット拡張情報 1003がエントロピー符号化され (S61) 、これによつて生成された符号ィ匕データ 117は、図示しない伝送系または蓄積系へ送出される。

[0063] 次に、拡張するビット数 Mおよび Lの符号化方法にっ、て説明する。本実施形態で使用されるシンタクスの構造の例は、第 1の実施形態で用いた図 3と同様である。本実施形態では、拡張するビット数をシーケンスパラメータセットシンタクス (404)、ピクチヤ一パラメータセットシンタクス（405)、スライスレベルシンタクス（402)、および、マクロブロックレベルシンタクス（403)に含めて送信することが可能である。それぞれのシンタクスを以下で説明する。

[0064] 図 13のシーケンスパラメータセットシンタクス内に示される ex_seq_bit_extention_flag は、ビット拡張を行うかどうかを示すフラグであり、当該フラグが TRUEであるときは、ビット拡張を行うか否力をシーケンス単位で切り替えることが可能である。一方、フラグが FALSEであるときは、シーケンス内ではビット拡張は行われな、。 ex_seq_bit_ext ention_flagが TRUEのときは更に何ビット拡張を行うかを示す ex_seq_shift_bitsを送信してちよい。

[0065] ex_seq_bit_extention_flagが TRUEのときは更にフレームメモリ 114に格納される際のビット精度を示す ex_framemem_bitdepthを送信してもよい。本実施形態では、例えば N + M L力 Sex_framemem_bitdepthに格納されて送信されることになる。

[0066] 本実施形態では、任意の符号ィ匕単位でビット拡張を行うか否かを切り替えたり、拡張するビット数を切り替えたりすることも可能である。この場合には、拡張するビット数をさらにピクチャーパラメータセットシンタクス（405)、スライスレベルシンタクス（402) 、および、マクロブロックレベルシンタクス（403)に含めて送信することが可能である。

[0067] 図 14のピクチャーパラメータセットシンタクス内に示される ex_pic_bit_extention_flagは、ピクチャ毎にビット拡張を行うかどうかを変更するかどうかを示すフラグである。当該フラグが TRUEであるときは、ピクチャ単位でビット拡張を行うどうかを切り替えることが可能である。一方、フラグ力 SFALSEであるときは、ピクチャ毎にピクチャ単位でビット拡張を行うどうかを変更することが出来ない。 ex_pic_bit_extention_flagが TRUEのときは更に何ビット拡張を行うかを示す ex_pi shift_bitsが送信される。ここで、シーケンスパラメータシンタクス内の ex_seq_shift_bitsでシーケンスレベルで拡張するビット数が指定されてヽた場合には、 ex_pi shift_bitsを拡張するビット数として優先してもよ、し、 ex_seq_shift_bitsを拡張するビット数として優先してもよ、し、 ex_seq_shift_bits + ex_pic _shift_bitsを拡張するビット数としてもよい。いずれを優先するかは、予め取り決めておくのが好ましい。

[0068] ピクチャーパラメータセットシンタクス内には、 ex_bit_extention_in_slice_flag、 ex_bit_ex tentionjn_mb_flagというフラグが存在していてもよい。これらのフラグはそれぞれ、スライスレベル、マクロブロックレベルでビット拡張を行うかどうかを変更するフラグが存在するかどうかを示すフラグである。

[0069] 図 15〖こ示すとおり、スライスレベルシンタクス内では、 ex_bit_extention_in_slice_flagが TRUEのときは、 ex_slice_shift_bitsが送信され、スライス単位で拡張するビット数を切り替えて送信することが可能である。ここで、すでにシーケンスパラメータセットシンタタス、ピクチャパラメータシンタクスによって拡張するビット数 Sが指定されて、る場合には、 Sを拡張するビット数として優先してもよいし、 ex_slice_shift_bitsを拡張するビット数として優先してもよいし、 S+ ex_slice_shift_bitsを拡張するビット数として優先してもよい。なお、いずれを優先するかは、予め取り決めておくのが好ましい。一方、 ex_bit_ex tentionjn_slice_flagが FALSEの場合には、 ex_slice_shift_bitsは送信されない。

[0070] 図 16に示すとおり、マクロブロックレベルシンタクス内では、 ex_bit_extention_in_mb_fl agが TRUEのときは、 ex_mb_shift_bitsが送信され、マクロブロック単位で拡張するビット数を切り替えて送信することが可能である。ここで、すでにシーケンスパラメータセットシンタクス、ピクチャパラメータシンタクス、スライスレベルシンタクスによって拡張するビット数 Sが指定されて、る場合には、 Sを拡張するビット数として優先してもよ、し、 ex_mb_shift_bitsを拡張するビット数として優先してもよいし、 S+ ex_mb_ shift_bitsを拡張するビット数として優先してもよい。いずれを優先するかは、予め取り決めておくのが好ましヽ。一方、 ex— bit— extention— in— mb— flag力 SFALSEの場合に ίま、 ex— slice— shift— bit sは送信されない。

[0071] 上述のように、任意の符号ィ匕単位でビット拡張を行うか否かを切り替える場合、あるいは、拡張するビット数を切り替える場合には、フレームメモリ 114に格納される局部復号画像信号のビット精度がシーケンスパラメータセットシンタクス内に示される ex_fra memem_bitdepthになるよつに Lが疋められる。

本実施形態においては、第 1の実施形態と同様にサプリメンタルシンタクスに多重ィ匕されたデータを利用することが可能である。

[0072] 次に、図 17Aを参照して本実施形態に係る画像復号化装置の構成を説明する。この画像復号化装置は、第 2の実施形態で示した構成例（図 10A)とほぼ同様の構成であるが、加算器 111 (及びループフィルタ 113)の後段に画素ビット長縮小器 2001 の代わりに画素ビット長変翻 (画素ビット精度変翻) 2007を備え、フレームメモリ 114は加算器 111 (及びループフィルタ 113)の後段ではなぐ画素ビット長変換器 2 007の後段に接続され、さらに、フレームメモリ 114の後段に画素ビット長変 200 8が接続されてヽる点が異なる。

[0073] 図 17Bのフローチャートを参照して画像復号化装置の動作を説明する。画像復号化装置に図 11Aの画像符号ィ匕装置によって符号化された符号ィ匕データ 117が入力されると（S71)、エントロピー復号化器 200において、符号化データ 117がエントロピ一符号化の逆の手順で復号化され、量子化直交変換係数情報 107、動きベクトル Z 予測モード情報 116、ビット拡張情報 2004が得られる（S72)。

[0074] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子ィ匕器 106及び直交変 104の処理と逆の処理を順次受けて (N + M)ビット精度の残差信号 201に変換される（S73) (S74)。

[0075] エントロピー復号化器 200から出力されたビット拡張情報 2004は、ビット長変換制御器 2002に入力されると、復号画像が何ビット拡張されているかを示すビット数 Mと、フレームメモリに格納される際に縮小するビット数 Lを示すビット変換情報 2003をビット長変換制御器 2002から出力する。

[0076] 画素ビット長変^ ^2008は、後述の手順でフレームメモリ 114に格納された (N + M—L)ビット精度の復号画像信号 202に対し、ビット変換情報 2003に基づいて、例えば L>0の場合には、数式（5)などと同等の処理を施すことによって画素ビット長を Lビット大きく拡張変換する処理を行い（S75)、 Lく 0の場合には、数式 (6)などと同等の処理を施すことによって画素ビット長を（一 L)ビット小さく縮小変換する処理を行い、（N + M)ビット精度のビット拡張参照画像信号 204を出力する（S75)。

[0077] 動きベクトル Z予測モード情報 116は予測画像作成器 115に入力され、上記 (N + M)ビット精度のビット拡張参照画像信号 204から動きベクトル Z予測モード情報 11 6に基づく（N + M)ビット精度の予測画像信号 102が生成される（S77)。（N + M)ビット精度の残差信号 201と (N + M)ビット精度の予測画像信号 102は、加算器 111 によって加算される。加算された信号は、ループフィルタ 113で必要に応じてフィルタ処理がなされ、（N + M)ビット精度のビット拡張復号画像信号 203が出力される（S7 8)。

[0078] ビット拡張復号画像信号 203は、画素ビット長変換器 2007に入力され、ビット変換情報 2003に基づいて各画素の値に対し例えば数式（2)などの第 1の実施形態の画像復号ィ匕装置における画素ビット長縮小器と同等の処理を施されることにより、 Mビット小さな値に画素ビット長が縮小変換され (S79)、画像符号化装置に入力された入力画像と同じ Nビット精度の復号画像 202を得る（S80)。

画素ビット長変換器 2007は、図 12の構成とし、各画素のビット長を縮小するかどうかをフラグで切り替える制御を行ってもょ、。

[0079] M=Lの場合には、 Nビット精度の復号画像信号 202はそのままフレームメモリ 114 に格納される。 M≠Lであり、 L>0の場合には、（N + M)ビット精度のビット拡張復号画像信号 203に対して、例えば数式（3)と同様の処理を各画素毎に行うことで、 O ットだけビット長が縮小された (N + M-L)ビット精度の復号画像を作成し、フレームメモリ 114に格納する。逆に Lく 0の場合には、数式 (4)と同様の処理を各画素に対して行うことで、（一 L)ビットだけビット長が縮小された (N + M-L)ビット精度の復号画像を作成し、フレームメモリ 114に格納する。

[0080] 以上の構成によれば、予測画像信号が入力画像信号より Mビット大きな精度をもつて作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができ、結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。また、第 1、第 2の実施形態と異なり、 0<L≤Mの場合には、フレームメモリに格納される参照画像信号を、ビット長が拡張された入力画像信号や予測画像信号より小さなビット長で格納することができ、動き補償のフィルタやループフィルタ、画面内予測など精度を高める効果を保ったまま、フレームメモリの使用量を削減することが可能となる。

[0081] 以上の構成によれば、任意の符号ィ匕単位でビット拡張を行うか否かを切り替えたり、拡張するビット数を切り替えたりすることができ、任意の符号ィ匕単位ごとに最も符号化効率のよい拡張ビット数を選択して符号ィ匕することができるため、さらに符号ィ匕効率を高めることも可能である。

[0082] (第 4の実施形態）

図 18Aを参照して第 4の実施形態に係る動画像符号ィ匕のための画像符号ィ匕装置の構成を説明する。この画像符号化装置は、第 2の実施形態で示した構成例（図 9A )と比較して、入力画像に対し画素ビット長を拡大する画素ビット長拡張器を備えず、フレームメモリ 114 (及びループフィルタ 113)の前段に画素ビット長拡張器（画素ビット精度拡張変 1001を備え、予測画像作成器 115の後段に画素ビット長縮小器 (画素ビット精度縮小変^^) 1004を備える点が異なって、る。

[0083] 図 18Bのフローチャートを参照して画像符号ィ匕装置の動作を説明する。この画像符号化装置には、入力画像信号 100として例えばフレーム単位で各画素の精度が例えば Nビット精度の動画像信号が入力される（S81)。減算器 101により入力画像信号 100と Nビット精度の予測画像信号 102との差分がとられ、 Nビット精度の予測誤差信号 103が生成される（S82)。 Nビット精度の予測画像信号 102の生成方法については後述する。生成された予測誤差信号 103に対して、直交変換器 104により直交変換 (例えば、離散コサイン変換 (DCT) )が施され、直交変換器 104では、直交変換係数情報 105 (例えば、 DCT係数情報)が得られる（S83)。直交変換係数情報 105は、量子化器 106により量子化され、量子化直交変換係数情報 107はェント口ピー符号化器 108および逆量子化器 109に導かれる。

[0084] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて局部復号誤差信号に変換される。この局部復号誤差信号は加算器 111で Nビット精度の予測画像信号 102と加算されることにより、 Nビット精度の局部復号画像信号 112が生成される (S84)。

[0085] 局部復号画像信号 112は、必要に応じてループフィルタ 113によりフィルタ処理がなされた後、画素ビット長拡張器 1001に入力され、各画素の値を Mビット大きな値に拡張変換する（S85)。例えば、ビット拡張復号画像信号のある画素の値が Kであつた場合、 Mビット縮小した後の画素値 K'は第 1の実施形態の数式（1)と同様に計算される。ビット精度が (N + M)ビットに拡大された局部復号画像信号 112は、フレームメモリ 114に格納される（S86)。フレームメモリ 114に格納された（N + M)ビット精度の局部復号画像信号 112は、予測画像作成器 115に入力される。画素ビット長拡張器 1001は、図 2の構成とし、第 1の実施形態と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行ってもよい。

[0086] 予測画像作成器 115は、（N + M)ビット精度の局部復号画像信号 112からある予測モード情報に基づく（N+M)ビット精度の予測画像信号を生成する。この際、フレーム内のブロック毎に入力画像信号 100の各画素を (N + M)ビット精度に拡張した画像信号と、（N + M)ビット精度に拡大された局部復号画像信号 112との間のマツチング (例えば、ブロックマッチング）をとり、動きベクトルを検出する（S87)。この動きベクトルで補償された (N + M)ビット精度の局部画像信号を用いて (N + M)ビット精度の拡張予測画像信号 117を作成する（S89)。ここで生成された (N + M)ビット精度の拡張予測画像信号 117は、選択された予測画像信号の動きべ外ル情報 Z予測モード情報 116とともに予測画像作成器 115より出力される。

[0087] (N+M)ビット精度の拡張予測画像信号 117は、画素ビット長縮小器 1004に入力され、各画素のビット長が Mビット小さくなる画像信号に変換される（S90)。この変換は、例えば第 1の実施形態で示した数式 (2)と同様の処理により行われる。ここで、縮小されるビット数 M、および画素ビット長拡張器 1001にお、て拡大されるビット数 M は、ともに同じ値であり、ビット長変換制御器 1002によりビット拡張情報 1003としてェントロピー符号化器 108に導かれる。画素ビット長縮小器 1004は、図 8の構成とし、第 1の実施形態と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行ってもょヽ。

[0088] エントロピー符号化器 108では、量子化直交変換係数情報 107、動きベクトル情報 /予測モード情報 116およびビット拡張情報 1003がエントロピー符号化され (S91) 、これによつて生成された符号ィ匕データ 117は、図示しない伝送系または蓄積系へ送出される。

[0089] 拡張するビット数 Mの符号ィ匕方法は、第 1の実施形態と同様である。また、本実施形態においては、第 1の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

[0090] 次に、図 19Aを参照して本実施形態に係る画像復号化装置の構成を説明する。この画像復号化装置は、第 2の実施形態で示した構成（図 10A)と比較して、フレームメモリ 114 (及びループフィルタ 113)の前段に画素ビット長拡張器 2005を備え、予測画像作成器 115の後段に画素ビット長縮小器 (画素ビット精度変翻) 2006を備える点が異なっている。

[0091] 図 19Bのフローチャートを参照して画像復号化装置の動作を説明する。画像復号化装置に図 18Aの画像符号ィ匕装置によって符号化された符号ィ匕データ 117が入力されると（S101)、エントロピー復号化器 200において、符号化データ 117がェントロピー符号ィ匕の逆の手順で復号化され、量子化直交変換係数情報 107、動きベクトル Z予測モード情報 116、ビット拡張情報 2004が得られる（S102)。量子化直交変換係数情報 107は逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて Nビット精度の残差信号 201に変換される（S103)。エントロピー復号化器 200から出力されたビット拡張情報 2004は、ビット長変換制御器 2002に入力されると、復号画像が何ビット拡張されて!ヽるかを示すビット変換情報 2003をビット長変換制御器 2002から出力する (S104)。

[0092] 動きベクトル Z予測モード情報 116が予測画像作成器 115に入力されると、後述の手順でフレームメモリ 114に格納されたビット拡張復号画像信号 203から動きべタトル Z予測モード情報 116に基づく（N + M)ビット精度の拡張予測画像信号 205が生成される（S105)。

[0093] 画素ビット長縮小器 2006は、（N + M)ビット精度の拡張予測画像信号 205に対し、ビット変換情報 2003に基づいて、例えば数式 (2)などの第 1の実施形態の画像復号ィ匕装置における画素ビット縮小変^^と同等の処理を施すことによって画素ビット長を Mビット縮小変換する処理を行い（S106)、 Nビット精度の予測画像信号 102を出力する。画素ビット長縮小器 2006は、図 8の構成とし、実施の形態 1と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行つてもよい。

[0094] Nビット精度の残差信号 201と Nビット精度の予測画像信号 102は加算器 111によつて加算され、縮小復号画像信号が生成される (S 107)。縮小復号画像信号は画素ビット長拡張器 2005に入力されると、画素ビット長拡張器 2005は、ビット変換情報 2 003に基づいて、例えば数式（1)などの第 1の実施形態の画像符号ィ匕装置における画素ビット長拡張器で行われる処理と同等の処理を施すことによって画素ビット長を

Mビット拡張する処理を行う（S108)。画素ビット長拡張器 2005から出力された信号は、ループフィルタ 113で必要に応じてフィルタ処理がなされ、ビット（N + M)ビット精度の拡張復号画像信号 203が出力され (S 109)、フレームメモリ 114に格納される。画素ビット長拡張器 2005は、図 2の構成とし、第 1の実施形態と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行ってもよい。

[0095] (N+M)ビット精度のビット拡張復号画像信号 203は、画素ビット長縮小器 2001に入力され、ビット変換情報 2003に基づ、て各画素の値に対し例えば数式（2)などの第 1の実施形態の画像復号ィ匕装置における画素ビット縮小変^^と同等の処理を施されることにより、画像符号化装置に入力された入力画像と同じ Nビット精度の復号画像 202を得る（S110) (Sl l l)。

[0096] 以上の構成によれば、予測画像信号が入力画像信号より Mビット大きな精度をもつて作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができる。従って、結果的に予測誤差信号を小さくすることができるため、符号ィ匕効率を向上させることができる。また、第 1〜3の実施形態と異なり、予測誤差信号および残差信号の変換 '量子化の処理を入力画像のビット精度に対応した精度で行うことが可能となり、動き補償のフィルタやループフィルタ、画面内予測など精度を高める効果を保ったまま、変換'量子化のビット精度を削減し、演算規模を小さくすることが可能となる。 [0097] (第 5の実施形態）

図 20Aを参照して第 5の実施形態に係る動画像符号ィ匕のための画像符号ィ匕装置の構成を説明する。この画像符号化装置は、第 2の実施形態で示した構成例（図 9A )と比較して、入力画像に対し画素ビット長を拡大する画素ビット長拡張器を備えず、予測画像作成器 115の前段に画素ビット長拡張器 (画素ビット精度拡張変翻) 10 01を備え、予測画像作成器 115の後段に画素ビット長縮小器 (画素ビット精度縮小変翻） 1004を備える点が異なっている。

[0098] 図 20Bのフローチャートを参照して画像符号ィ匕装置の動作を説明する。この画像符号化装置には、入力画像信号 100として例えばフレーム単位で各画素の精度が例えば Nビット精度の動画像信号が入力される（S121)。減算器 101により入力画像信号 100と Nビット精度の予測画像信号 102との差分がとられ、 Nビット精度の予測誤差信号 103が生成される（S122)。 Nビット精度の予測画像信号 102の生成方法については後述する。生成された予測誤差信号 103に対して、直交変 l04により直交変換、例えば離散コサイン変換 (DCT)が施され、直交変換器 104では直交変換係数情報 105、例えば DCT係数情報が得られる（S123)。直交変換係数情報 105は量子化器 106により量子化され、量子化直交変換係数情報 107は、ェントロピー符号化器 108および逆量子化器 109に導かれる。

[0099] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて局部復号誤差信号に変換される。この局部復号誤差信号は加算器 111で Nビット精度の予測画像信号 102と加算されることにより、 Nビット精度の局部復号画像信号 112が生成される (S124)。

[0100] Nビット精度の局部復号画像信号 112は、必要に応じてループフィルタ 113によりフィルタ処理がなされた後、フレームメモリ 114に格納される（S125)。フレームメモリ 114に格納された Nビット精度の局部復号画像信号 112は、画素ビット長拡張器 100 1に入力され、各画素の値を Mビット大きな値に拡張変換する（S 126)。例えば、ビット拡張復号画像信号のある画素の値が Kであった場合、 Mビット縮小した後の画素値 K'は第 1の実施形態の数式（1)と同様に計算される。ビット精度が (N + M)ビットに拡張された局部復号画像信号 112は、予測画像作成器 115に入力される。画素ビット長拡張器 1001は、図 2の構成とし、実施の形態 1と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行ってもよい。

[0101] 予測画像作成器 115は、（N + M)ビット精度の局部復号画像信号 112からある予測モード情報に基づく（N+M)ビット精度の予測画像信号を生成する。この際、フレーム内のブロック毎に入力画像信号 100の各画素を (N + M)ビット精度に拡張したものと、（N + M)ビット精度に拡大された局部復号画像信号 112との間のマッチング (例えば、ブロックマッチング）をとり、動きベクトルを検出する（S127)。この動きべタトルで補償された (N + M)ビット精度の局部画像信号を用いて (N + M)ビット精度の拡張予測画像信号 117を作成する（S128)。ここで生成された (N + M)ビット精度の拡張予測画像信号 117は、選択された予測画像信号の動きベクトル情報 Z予測モード情報 116とともに予測画像作成器 115より出力される。

[0102] 拡張予測画像信号 117は、画素ビット長縮小器 1004に入力され、各画素のビット長が Mビット小さくなるよう変換が施される（S129)。この変換は、例えば第 1の実施形態の画像復号化器で示した数式 (2)と同様の処理を施すことで行われる。ここで、縮小されるビット数 M、および画素ビット長拡張器 1001にお、て拡大されるビット数 Mは、ともに同じ値であり、ビット長変換制御器 1002によりビット拡張情報 1003としてエントロピー符号化器 108に導かれる。画素ビット長縮小器 1004は、図 8の構成とし、実施の形態 1と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて制御する処理を行ってもょ、。

[0103] エントロピー符号化器 108では、量子化直交変換係数情報 107、動きベクトル情報 Z予測モード情報 116およびビット拡張情報 1003がエントロピー符号化され (S130 )、これによつて生成された符号ィ匕データ 117は、図示しない伝送系または蓄積系へ送出される。

[0104] 拡張するビット数 Mの符号ィ匕方法は、第 1の実施形態と同様である。本実施形態においては、第 1の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

[0105] 次に、図 21Aを参照して本実施形態に係る画像復号化装置の構成を説明する。この画像復号化装置は、第 2の実施形態で示した構成例（図 10A)と比較して、加算器 111 (及びループフィルタ 113)の後段に画素ビット縮小器を備えず、加算器 111 (及びループフィルタ 113)力ゝら復号画像信号 202が出力されるとともに、予測画像作成器 115の前段に画素ビット長拡張器 (画素ビット精度拡張変翻) 2005を備え、予測画像作成器 115の後段に画素ビット長縮小器 (画素ビット精度縮小変換器) 2001 を備える点が異なっている。

[0106] 図 21Bのフローチャートを参照して画像復号ィ匕装置の動作を説明する。画像復号化装置に図 20Aの画像符号ィ匕装置によって符号化された符号ィ匕データ 117が入力されると（S141)、エントロピー復号化器 200において、符号化データ 117がェントロピー符号ィ匕の逆の手順で復号化され、量子化直交変換係数情報 107、動きベクトル Z予測モード情報 116、ビット拡張情報 2004が得られる（S142)。量子化直交変換係数情報 107は逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて Nビット精度の残差信号 201に変換される（S143)。エントロピー復号化器 200から出力されたビット拡張情報 2004が、ビット長変換制御器 2002に入力されると、復号画像が何ビット拡張されて!ヽるかを示すビット変換情報 2003をビット長変換制御器 2002から出力する (S144)。

[0107] 画素ビット長拡張器 2005は、後述の手順でフレームメモリ 114に格納された Nビット精度の復号画像信号 202に対し、ビット変換情報 2003に基づいて、例えば数式（1 )などの第 1の実施形態の画像符号ィ匕装置における画素ビット長拡張器で行われる処理と同等の処理を施すことによって画素ビット長を Mビット拡張変換する処理を行い、（N + M)ビット精度のビット拡張参照画像信号 204を出力する。画素ビット長拡張器 2005は、図 2の構成とし、実施の形態 1と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて制御する処理を行ってもよい。

[0108] 動きベクトル Z予測モード情報 116は予測画像作成器 115に入力され、上記 (N + M)ビット精度のビット拡張参照画像信号 204から動きベクトル Z予測モード情報 11 6に基づく（N + M)ビット精度の拡張予測画像信号 205が生成される（S 145)。画素ビット長縮小器 2001は、（N + M)ビット精度の拡張予測画像信号 205に対し、ビット変換情報 2003に基づいて、例えば数式 (2)などの第 1の実施形態の画像復号ィ匕装置における画素ビット縮小変^^と同等の処理を施すことによって画素ビット長を M ビット縮小変換する処理を行い、 Nビット精度の予測画像信号 102を出力する（S146 )。画素ビット長縮小器 2001は、図 8の構成とし、実施の形態 1と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて制御する処理を行ってもよい。

[0109] Nビット精度の残差信号 201と Nビット精度の予測画像信号 102は加算器 111によつて加算される。加算された信号は、ループフィルタ 113で必要に応じてフィルタ処理がなされ、 Nビット精度の復号画像信号 202が出力され (S147)、フレームメモリ 1 14に格納される。ここで得られる復号画像信号 202は、画像符号化装置に入力された入力画像と同じ Nビット精度となる。

[0110] 以上の構成によれば、予測画像信号が入力画像信号より Mビット大きな精度をもつて作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができる。従って、結果的に予測誤差信号を小さくすることができるため、符号ィ匕効率を向上させることができる。また、フレームメモリに格納される参照画像信号を、ビット長が拡張された入力画像信号や予測画像信号より小さなビット長で格納することができる。故に、動き補償のフィルタやループフィルタ、画面内予測など精度を高める効果を保ったまま、フレームメモリの使用量を削減することが可能となる。さらに、予測誤差信号および残差信号の変換'量子化の処理を入力画像のビット精度に対応した精度で行うことが可能となる。これにより、動き補償のフィルタやループフィルタ、画面内予測など精度を高める効果を保ったまま、変換'量子化のビット精度を削減し、演算規模を小さくすることが可能となる。

[0111] 第 2から第 5の実施形態においては、予測画像作成器 115を図 22のような構成とすることも可能である。図 22に示すエンコーダ側の予測画像作成器 115によると、フレーム内予測器 B101は、フレームメモリ 114内のフレーム内で既に符号ィ匕された領域の局部復号画像信号 112からフレーム内予測に基づく予測画像信号を作成する。一方、フレーム間予測器 B103は、動きベクトル検出器 B102で検出された動きべタトルに基づ、てフレームメモリ 114内の局部復号画像信号 112に対して動き補償を施す。適応フィルタ情報生成部 B104で入力画像信号 101と局部復号画像信号 112と動きベクトル力生成された適応フィルタ情報を用いたフレーム間予測に基づく予測画像信号 102を作成する。

[0112] フレーム内予測器 B101は M個（Mは複数）のフレーム内予測モードを有し、フレーム間予測器 B103は N個（Nは複数)のフレーム間予測モードを有する。フレーム間予測器 B103及びフレーム内予測器 B101の出力に、モード判定器 B105が接続される。モード判定器 B105は、 N個のフレーム間予測モードから選択された一つの予測モードに基づく予測画像信号、あるいは M個のフレーム内予測モードから選択された一つの予測モードに基づく予測画像信号 102を出力する。

[0113] 動きベクトル Z予測モード情報 Z適応フィルタ情報 116、すなわち動きベクトル検出器 B102から出力される動きベクトルとモード判定器によって選択された予測モードを示す予測モード情報と適応フィルタ情報 116は、エントロピー符号化器 117に送られ、符号化データ 117に含めて復号側に送信される。動きベクトルと適応フィルタ情報は、フレーム間予測モードが選択された場合にのみ動きベクトル検出器 B102から出力される。

[0114] 図 23を参照してデコーダ側の予測画像作成器 115を説明する。この予測画像作成器 115によると、切り替え器 B201は、予測モード情報 116に基づき予測器を選択する。フレーム内予測器 B202は、選択された場合、フレームメモリ 114内のフレーム内で既に符号化された領域の復号画像信号 203からフレーム内予測に基づく予測画像信号 102を作成する。一方、フレーム間予測器 B203は、選択された場合、動きベクトルに基づ、てフレームメモリ 114内の復号画像信号 203に対して動き補償を施し、適応フィルタ情報 116を用いたフレーム間予測に基づく予測画像信号 102を作成する。

[0115] 図 24は、フレーム間予測器 B103の構成例を示している。フレーム間予測器 B103 では、動きベクトルと局部復号画像信号と適応フィルタ係数情報力フレーム間予測画像信号 102を生成する。整数画素重み Zオフセット補正部 B301では、整数画素値のいわゆる重みつき予測を行うための処理を行う。具体例としては、以下の数式（7 )にしたがって、整数画素の予測画像信号 102を作成する。

[0116] Y= (WXX+ (1 < < (L- 1) ) > >L) +0 (7)

ここで、 Wが重み係数、 Lはシフト係数、 Oはオフセット係数で、適応フィルタ係数情報に含まれるものである。画素値 Xに対して数式（7)に基づく処理を行い Yの値に変換することにより、輝度の補正や色の補正が可能となる。

[0117] 数式 (8)は、双方向予測を行う場合の重み Zオフセット処理の例である。

Y= (W XX +W XX + (1 < < (L- 1) ) > >L) + ( (O +0 ) > > 1)

1 1 2 2 1 2

(8)

ここで、画素値 Xに対する重み係数が W、オフセット係数が O、画素値 Xに対する

1 1 1 2 重み係数が W、オフセット係数が O、 Lはシフト係数で、適応フィルタ係数情報に含

2 2

まれるものである。画素値 X、 Xに対して数式 B2の処理を行い Yの値に変換するこ

1 2

とにより、輝度の補正や色の補正が可能となる。

適応フィルタ情報 116により、重み Zオフセット補正処理を行う必要がない場合は、スィッチ B301を切り替えて、小数点画素適応補間画像を作成する。

[0118] 本発明では、入力画像信号の画素ビット長よりも符号ィ匕 Z復号ィ匕処理のビット長が長く設定されるため、重み Zオフセット補正処理の計算精度が確保でき、より精度の高、重み/オフセット補正を行うことが可能となる。

[0119] 小数画素適応補間画像作成部 B303では、動きベクトルが、小数点画素位置を示していた場合、適応フィルタ情報の中の補間フィルタ係数を用いて、整数画素値から、小数点画素位置の補間画素値を生成し、予測画像信号 102を生成する。この処理に関しても、本発明では、入力画像信号の画素ビット長よりも符号化 Z復号化処理のビット長が長く設定されるため、補間フィルタ処理の計算精度が確保でき、より良い小数点画素値を得ることが可能となる。

[0120] 図 25は、フレーム間予測器 B103の別の構成例を示している。同様にこのフレーム間予測器では、動きベクトルと局部復号画像信号と適応フィルタ係数情報からフレーム間予測画像信号 102を生成する。小数画素適応補間画像作成部 B401では、動きベクトルが、小数点画素位置を示していた場合、適応フィルタ情報の中の補間フィルタ係数を用いて、整数画素値から、小数点画素位置の補間画素値を生成し、予測画像信号 102を生成する。

[0121] 本実施形態では、入力画像信号の画素ビット長よりも符号ィ匕 Z復号ィ匕処理のビット長が長く設定されるため、補間フィルタ処理の計算精度が確保でき、より良い小数点画素値を得ることが可能となる。

[0122] 重み Zオフセット補正部 B403では、予測画像信号の画素値のいわゆる重みつき予測を行うための処理を行う。具体的な例としては、上記の数式（7)あるいは数式 (8 )にしたがって、予測画像信号 102を作成する。

[0123] 本実施形態では、入力画像信号の画素ビット長よりも符号ィ匕 Z復号ィ匕処理のビット長が長く設定されるため、重み Zオフセット補正処理の計算精度が確保でき、より精度の高い重み Zオフセット補正を行うことが可能となる。

[0124] 図 26は、フレーム間予測器の別の構成例を示している。このフレーム間予測器では、動きベクトルと再生画像信号と適応フィルタ係数情報力フレーム間予測画像信号を生成する。これ〖こよると、動きベクトルが小数点画素位置を示していた場合、スィツチ B501は小数画素適応補間 Zオフセット補正画像作成部 B502に接続され、再生画像信号は小数画素適応補間 Zオフセット補正画像作成部 B502によって処理される。整数画素を示していた場合、スィッチ B501は整数画素重み Zオフセット補正画像作成部 B503に接続され、再生画像信号は整数画素重み Zオフセット補正画像作成部 B503によって処理される。

[0125] 小数画素適応補間 Zオフセット補正画像作成部 B502では、動きベクトル力小数点画素位置を示して、た場合、適応フィルタ情報の中の補間フィルタ係数とオフセット補正係数を用いて、整数画素値から、小数点画素位置の補間画素値を生成し、予測画像信号を生成する。具体的な例として、下記の片方予測を行う場合は、数式 (9) 、双方向予測を行う場合は、数式（10)を用いる。

[数 1] y = ^j∑∑^^ ( 9)

[0126] ここで、再生画像信号 Xi,jに対する Wi,j力補間フィルタ係数、 0がオフセット係数、 Y が予測画像信号である。

[数 2] γ = (。)" ί (°)" + ¹)" έ )". + (び。) +び¹)) ^{/ 2}

( 1 0)

[0127] ここで、再生画像信号 X^(Q)i,jに対する W^(Q)i,jは、補間フィルタ係数、 O⁽⁰⁾がオフセット係数、再生画像信号 x⁽¹⁾uに対するのは、補間フィルタ係数、 0⁽¹⁾がオフセット係数、 Yが予測画像信号である。

[0128] 整数画素重み Zオフセット補正部 B503では、予測画像信号の画素値のいわゆる重みつき予測を行うための処理を行う。具体的な例としては、上記の数式（7)あるいは数式 (8)にしたがって、予測画像信号を作成する。この時のオフセット補正係数は、入力画素ビット長以上の精度の係数を用いる。

[0129] 本実施形態では、入力画像信号の画素ビット長よりも符号化 Z復号化処理の演算ビット長が長く設定されるため、補間フィルタ処理の計算精度が確保でき、より良い予測画素値を得ることが可能となる。

[0130] 本実施形態では、入力画像信号の画素ビット長よりも符号ィ匕 Z復号ィ匕処理のビット長が長く設定されるため、重み Zオフセット補正処理の計算精度が確保でき、より精度の高い重み Zオフセット補正を行うことが可能となる。

[0131] (第 1の変形例）

第 2から第 5の実施形態においては、ループフィルタ 113を図 27のような構成とすることも可能である。

図 27はエンコーダ側のループフィルタ 113の構成を示して!/、る。フィルタ係数決定部 C101は、入力画像信号 101および局部復号画像信号 112を入力信号とし、局部復号画像信号 112に対してフィルタ処理を施した際に例えば入力画像信号 101と最小 2乗誤差が最も小さくなるようなフィルタ係数を算出し、算出されたフィルタ係数をフィルタ処理部 C102に出力するとともに、フィルタ係数情報 C103としてエントロピー符号ィ匕部 108に出力する。ここでのフィルタ係数の決定方法については、この例に限るルタをあらカゝじめ用意しておき、それらを適応的に切り替え、選択されたフィルタをフィルタ係数情報 C103として出力してもよぐあるいは各フィルタを適用するかどうかを適応的に判定するなどの処理を行ってもよぐ様々な態様を適用することが可能である。入力される入力画像信号 101は、各実施の形態に応じて、ループフィルタに入力される局部画像復号信号 112と同じ画素ビット長とした信号を用いる。

[0132] フィルタ処理部 C102では、フィルタ係数決定部 C101より入力されたフィルタ係数を用いて局部復号画像信号の各画素に対してフィルタ処理を施した後、フレームメモリ 114等に出力する。

[0133] エントロピー符号ィ匕部 108に出力されたフィルタ係数情報 103はエントロピー符号化部 108にてエントロピー符号化され、符号化データ 117に含められて送信される。

[0134] 図 28は復号側のループフィルタ 113の構成例を示している。エントロピー復号ィ匕部 2 00より出力されたフィルタ係数情報 C103を基にフィルタ処理部 C102において復号画像信号の各画素に対してフィルタ処理を施す。フィルタ処理が行われた復号画像信号は各々の実施の形態に応じて、フレームメモリ 114や画素ビット長縮小器に出力されるか、ある!/、は復号画像信号としてそのまま出力される。

[0135] 以上の構成によれば、入力画像信号の画素ビット長よりも符号ィ匕 Z復号ィ匕処理のビット長が長く設定されるため、ループフィルタ 113内で行われるフィルタ処理の計算精度が確保でき、より精度の高ヽループフィルタ処理を行うことが可能となる。

[0136] (第 2の変形例）第 1から第 3の実施形態において、入力画像信号 101の画素ビット長を変換する画素ビット長拡張器 1001を図 29のような構成とすることも可能である。この構成では、画素ビット長拡張器 1001に入力された入力画像信号は、第 1の実施形態と同様の手順で各画素のビット長を Nビットより Mビット大きな (N + M)ビット精度に拡張する処理を行った後、フィルタ処理部 7000に導かれ、各画素に対してフィルタ処理が行われる。ここで行われるフィルタ処理は、例えばフレーム内の隣接画素にフィルタ係数を掛けた後足し合わせるような空間フィルタを用いる。空間フィルタとして、例えばィプシロンフィルタを用、たフィルタ処理部 7000力 S図 30に示されて!/、る。

[0137] このフィルタ処理部 7000によると、入力画素値を P[t] , 出力画素値を Q [t]とすると , tは画素の位置を示している。 tの位置の画素にフィルタをかける場合には，入力画素値 P[t]と一時メモリ A04に蓄えてあったその一つ手前の出力画素値 Q [t— 1]とを加算器 A01に入力し，差分 dが求められる。この差分 dでルックアップテーブル A02 を引き， F (d)が決定される。この値 F (d)を加算器 A03に入力して，入力画素値 P[t ]から引く。この動作を数式で示すと次のようになる。

[0138] Q[t] = P[t] F (P[t]— Q[t— 1]) (11)

関数 Fは式（12)によって表され，（int)は， 0方向への整数化処理とする。

[0139] F (d) = (int)(d/ (d X d/ (u X u) + 1. 0) (12)

d= P[t] Q[t- 1] (13)

ルックアップテーブル A02の中身は，関数 Fで計算される値が予めテーブルとして記憶しておけばよい。例えば，画素値が nビットならば， dの値は， —2ⁿ+ l〜 + 2ⁿ— 1となって，ルックアップテーブルは， 2ⁿ⁺¹— l個の配列を用意しておけばよい。ここで , uはフィルタのパラメータで， uが大きいほど強くフィルタがかかる。このフィルタの演算量は， 1画素のフィルタ処理に加算 2回のみである。

[0140] 図 31は，図 30のフィルタを使ったフィルタ処理部 7000の具体的な流れ図である。

このフィルタ処理部 7000では，フレームの 4方向力フィルタ処理を行う。まず，フレームの右から左のポストフィルタ処理（S101)を行う。次は，反対方向の左から右のポストフィルタ処理（S 102)を行う。同様に今度は，上から下のポストフィルタ処理（S 10 3)を行い，次に反対方向の下からの上のポストフィルタ処理を行う。この処理を YCb Crそれぞれの信号に対して行う。このように互いに反対方向力フィルタ処理を行うことによって，巡回型フィルタの欠点である位相のずれを打ち消すことができる。

[0141] また、フィルタ処理として、複数のフレームの対応する画素に対してフィルタ係数を掛けた後足し合わせるような時間フィルタを用いてもよい。また、動き補償を伴う時間フィルタを施してもよい。動き補償を伴う時間フィルタは、例えば、特願 2006— 3620 6などに記載されている方法を用いる。

[0142] 本構成におけるフィルタ処理はここで述べたフィルタ処理に限るわけではなぐフィルタ処理であればどのような処理を行ってもよい。また、第 4および第 5実施の形態については、入力画像信号 101は画素ビット長が変換されずに符号ィ匕が行われるが、入力画像信号 101に直接、ここで述べたプレフィルタ処理を施して力も符号ィ匕を行つてもよい。

[0143] (第 3の変形例）第 1から第 5の実施形態において、画素ビット長縮小器 2001および 2007を図 32のような構成とすることも可能である。この構成では、画素ビット長拡張器 2001および 2007に入力されたビット拡張復号画像信号 2003は、フィルタ処理部 7001に入力され、各画素に対してフィルタ処理が行われた後、第 1の実施形態 1 と同様の手順で各画素のビット長を (N+M)ビットより Mビット小さな Nビット精度に縮小処理が行われ、 Nビットの復号画像信号として出力される。ここで行われるフィルタ処理は、例えばフレーム内の隣接画素にフィルタ係数を掛けた後足し合わせるような空間フィルタを用いてもよいし、複数のフレームの対応する画素に対してフィルタ係数を掛けた後足し合わせるような時間フィルタを用いてもょ、。

[0144] (第 4の変形例）本構成では、上記の画素ビット長拡張器 1001をフィルタ処理を行う構成と組み合わせ、画素ビット長拡張器 1001内のフィルタ処理部 7000で行われるフィルタ処理の逆フィルタ処理を画素ビット長縮小器 2001内のフィルタ処理部で行うことも可能である。例えば、フィルタ処理部 7000において、入力画素値として 2フレーム間で対応する 2点の画素値をそれぞれ X, yとして、対応する出力画素値を a, b とした場合に数式（14)に示す処理を施す。

[0145] a = (3x+y+2)»2

b = (x+3y+2)»2 (14)

数式（14)の処理は 2ビットの右シフトによる除算処理を行っている力例えば画素ビット長拡張器 1001において 2ビット左シフトによる画素ビット拡張を行っている場合、数式 A4で示されるフィルタ処理では丸め誤差が生じず、入力画像の情報を失わずにすむ。

[0146] 一方、復号側のフィルタ処理部 7001において、入力画素として復号画像信号の 2 フレーム間で対応する 2点の画素値を a'，とし、対応する出力画素値を χ' , y'とした場合に数式（15)に示す処理を施す。

[0147] x' = (3a' -b' +4)»3

y' = (3b' -a" +4)»3 (15)

数式（15)の処理は 3ビットの右シフトによる除算処理を行っている力例えば画素ビット長拡張器 1001において 2ビット左シフトによる画素ビット拡張を行っている場合、数式（14)で示されるフィルタ処理と同様に丸め誤差が発生しない。即ち、符号化と復号化の処理によって生じる量子化誤差が 0と仮定すると、数式（14)および数式（1 5)によるフィルタと逆フィルタは、可逆なフィルタとなる。数式（14)は 2フレーム間の対応する 2点の画素値をそれぞれ近づける処理を行うため、動き補償が予測をよりあたりやすぐ予測残差が小さくなる。従って符号量を削減することが可能となる。さらに、画素ビット拡張をおこなっていることにより、量子化誤差を除けば復号側で元の入力画像に戻すフィルタ処理を行うことが可能となるため、符号ィ匕効率を高めることが可能である。

[0148] フィルタ処理部 7000および 7001にお!/、て用いるフィルタはここで述べた例に限定されるものではなぐどのようなフィルタを用いてもよい。もちろん、画素ビット拡張部 1 001において拡張されるビット数 Mに応じた可逆フィルタを用いることでさらに予測などの精度を高めることが可能であることは言うまでもない。また、ここで述べた例では 2 フレーム間で対応する 2点をフィルタ処理の対象とした力この例に限定されるものではなぐ例えば 2フレーム以上のフレームの画素を用いてもよい。また、 1フレーム内の隣接する 2点や 2点以上の複数の点の画素をフィルタ処理の対象としてもよい。更に、インタレース画像においてトップフィールドとボトムフィールドの対応する 2点の画素値をフィルタ処理の対象とするなど、様々な形態のフィルタ処理を用いることが可能である。

[0149] フィルタ処理部 7000および 7001にお!/、て用いた可逆フィルタの係数をエントロピ一符号ィ匕部 108に出力し、符号ィ匕データ 117に含めることも可能である。このようにすることで、フレームごとに予測などの精度を高める効果が高いフィルタ係数を選択して符号ィ匕を行うことができる。

[0150] (第 6の実施形態）

図 33Aを参照して第 6の実施形態に係る動画像符号ィ匕のための画像符号ィ匕装置の構成を説明する。

この画像符号化装置は、第 2の実施形態で示した構成例（図 9)とほぼ同様の構成である力画素ビット長拡張器 1001の後段に透力し情報埋め込み器 3000を備える点が異なっている。

[0151] 図 33Bのフローチャートを参照して画像符号ィ匕装置の動作を説明する。この画像符号化装置には、画像信号 100として例えばフレーム単位で動画像信号が入力される（S151)。画素ビット長拡張器 (画素ビット精度変翻） 1001は、第 2の実施形態と同様の処理を行うことにより、入力された Nビット精度の画像信号 100の各画素の値について、 Nビットより Mビット大きな (N + M)ビット精度に拡張する処理を行う（S15 2)。拡張されたビット数 Mは、ビット長変換制御器 (ビット精度変換制御器） 1002によりビット拡張情報 1003としてエントロピー符号化器 108に導かれる。

[0152] ビット長が拡張された入力画像信号 100は透力データ埋め込み器 3000に入力されると、あら力じめ設定されたパラメータに基づいて生成されたデータ列が入力画像信号 100の各画素の例えば下位ビットに埋め込まれる（S153)。ここで、生成されたデータ列は拡張されたビット長である Mビット以下の語長とする。

[0153] データ列が埋め込まれた入力画像 100は減算器 101に導かれると、減算器 101により、（N + M)ビット精度にビット長が拡張された入力画像信号 100と (N + M)ビット精度で作成された予測画像信号 102との差分が求められる。これにより、（N + M)ビット精度の予測誤差信号 103が生成される (S154)。生成された予測誤差信号 103 に対して、直交変換器 104により直交変換 (例えば、離散コサイン変換 (DCT) )が施され、直交変換器 104では、直交変換係数情報 105 (例えば、 DCT係数情報)が得られる（S155)。直交変換係数情報 105は、量子化器 106により量子化され、量子化直交変換係数情報 107が、エントロピー符号化器 108および逆量子化器 109に導かれる。

[0154] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変 l04の処理と逆の処理を順次受けて予測誤差信号と同様の信号、即ち局部復号誤差信号が生成される。この局部復号誤差信号が、カロ算器 111で (N + M)ビット精度の予測画像信号 102と加算されることにより、（N + M )ビット精度の局部復号画像信号 112が生成される（S156)。（N+M)ビット精度の局部復号画像信号 112は、必要に応じてループフィルタ 113によりフィルタ処理がなされた後、フレームメモリ 114に格納される。フレームメモリ 114に格納された局部復号画像信号 112は、予測画像作成器 115に入力される。

[0155] 予測画像作成器 115は、（N + M)ビット精度にビット長が拡張された入力画像信号 100及び (N+M)ビット精度の局部復号画像信号 112からある予測モード情報に基づく（N + M)ビット精度の予測画像信号を生成する。この際、フレーム内のブロック毎に (N + M)ビット精度の入力画像信号 100と画素ビット長変翻 1005によって (N + M)ビット精度に拡大された局部復号画像信号 112との間のマッチング (例えば、ブロックマッチング）をとり、動きベクトルを検出する（S157)。この動きベクトルで補償された (N + M)ビット精度の局部画像信号を用いて (N + M)ビット精度の予測画像信号を作成する（S157)。ここで生成された (N + M)ビット精度の予測画像信号 102 は、選択された予測画像信号の動きベクトル情報 Z予測モード情報 116とともに予測画像作成器 115より出力される。

[0156] エントロピー符号化器 108では、量子化直交変換係数情報 107、動きベクトル情報 Z予測モード情報 116およびビット拡張情報 1003がエントロピー符号化され (S159 )、これによつて生成された符号ィ匕データ 117は、図示しない伝送系または蓄積系へ送出される。

[0157] 次に、図 34Aを参照して、本実施形態に係る画像復号化装置の構成を説明する。

この画像復号化装置は、第 2の実施形態で示した構成例（図 10A)とほぼ同様の構成である力ループフィルタ 113と画素ビット長縮小器 2001 (画素ビット精度変^^) の間に透かし検出器 3002が接続されている点が異なる。

[0158] 図 34Bのフローチャートを参照して画像復号ィ匕装置の動作を説明する。画像復号化装置に図 11Aの画像符号ィ匕装置によって符号化された符号ィ匕データ 117が入力されると（S161)、エントロピー復号化器 200において、符号化データ 117がェントロピー符号ィ匕の逆の手順で復号化され、量子化直交変換係数情報 107、動きベクトル Z予測モード情報 116、ビット拡張情報 2004が得られる（S162)。

[0159] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子ィ匕器 106及び直交変 104の処理と逆の処理を順次受けて (N + M)ビット精度の残差信号 201に変換される（S 163)。エントロピー復号化器 200から出力されたビット拡張情報 2004は、ビット長変換制御器 2002に入力された後、復号画像が何ビット拡張されているかを示すビット数 Mを示すビット変換情報 2003を出力する。

[0160] 動きベクトル Z予測モード情報 116は予測画像作成器 115に入力され、上記 (N + M)ビット精度のビット拡張参照画像信号 204から動きベクトル Z予測モード情報 11 6に基づく（N + M)ビット精度の予測画像信号 102が生成される（S164)。（N + M) ビット精度の残差信号 201と (N + M)ビット精度の予測画像信号 102は、加算器 11 1によって加算される。加算された信号は、ループフィルタ 113で必要に応じてフィルタ処理がなされ、（N + M)ビット精度のビット拡張復号画像信号 203が出力される (S 165)。

[0161] ビット拡張復号画像信号 203は、フレームメモリ 114に格納されるとともに、すかし検出部 3002に入力される。すかし検出部 3002では、ビット拡張復号画像 203の各画素の例えば下位ビットが埋め込まれた透かしデータであるかどうかの判定を行、、透力しデータを含む力どうかを示す透かし検出情報 3003を出力する（S166)。透かしデータであるかどうかの判定は、例えばあら力じめ既知の透かしパターンと、ビット拡張復号画像 203の例えば下位 Mビットの相関係数を計算し、その値が一定の閾値以上であった場合は透力データであると判定するなどの方法を用いて行う。

[0162] ビット拡張復号画像信号 203は、画素ビット長変翻 2007に入力され、ビット変換情報 2003に基づいて各画素の値に対し例えば数式（2)などの第 1の実施形態の画像復号ィ匕装置における画素ビット長縮小器と同等の処理を施されることにより、 Mビット小さな値に画素ビット長が縮小変換され (S167)、画像符号化装置に入力された入力画像と同じ Nビット精度の復号画像 202を得る（S 168)。

[0163] 以上の構成によれば、予測画像信号が入力画像信号より Mビット大きな精度をもつて作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができる。結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。また、拡張した下位ビットを利用して透力し情報を埋め込むことで、入力画像信号を変化させずに透力情報を埋め込むことが可能となる。

[0164] 第 2〜6の実施形態にぉ、て、拡張あるいは縮小を行うビット数 Mはビット拡張情報としてエントロピー符号化されて符号ィ匕データに含められているが、画像符号ィ匕装置と画像復号ィ匕装置であらかじめ決まった数だけビット長を拡張あるいは縮小する場合には、必ずしもビット数 Mを符号ィ匕データに含める必要はない。また、あら力じめ決まつた数だけビット長を拡張あるいは縮小する場合には、拡張ある、は縮小を行うかどうかを示すフラグだけを符号ィ匕データに含めることも可能である。この場合、フラグが TRUEの場合には、第 2〜第 6の実施形態内の画素ビット長拡張器 1001あるいは画素ビット長縮小器 2001あるいは画素ビット長変換器 2007にお、てスィッチが ON側に接続される。一方、フラグが FALSEの場合には、スィッチが OFF側に接続される。

[0165] 第 2、第 3の実施形態において局部復号画像信号をフレームメモリに格納する際に縮小するビット数 Lについては、 Mと同じ値である場合は必ずしも Lを符号ィ匕データに含める必要はない。また、 M、 Lが同じ値であっても異なる値であっても、あらかじめ決まった数である場合には、必ずしもビット数 M、 Lを符号ィ匕データに含める必要はない。

[0166] 入力画像や局部復号画像信号および復号画像の画素ビット長を拡張するということは、符号化'復号ィ匕の処理過程の整数演算の演算精度を向上させていることに等しい。処理過程の任意の箇所の演算精度を可変とし、それらの演算精度を示すフラグあるいは情報を符号ィ匕データに含めることも可能である。例えば、第 2〜第 5の実施形態を組み合わせ、符号化 '複号化の処理過程において、フレームメモリに格納される画素ビット精度を拡張するか否かを示すフラグと、直交変換 Z量子化に入力される予測残差の画素ビット長を拡張するかどうか、すなわち直交変換 Z量子化の演算精度を拡張するか否かを示すフラグを符号化データに含めておく。これらのフラグの ON ZOFFに応じて，符号化装置および復号装置でフレームメモリに格納される画素ビット精度を拡張するか否かや、直交変換 Z量子化に入力される予測残差の画素ビット長を拡張するかどうかを切り替えてもよい。さらには、これらのフラグが ONとなっている場合には、何ビット拡張/あるいは縮小するかを示すデータを符号ィ匕データに含めてもよい。また、これらの符号化'復号ィ匕の処理の一過程の演算精度を拡張するかどうかを示すフラグや拡張するビット数を示すデータは、ここで示したフレームメモリや直交変換 ·量子化だけを対象とするものではなぐ例えばループフィルタに対するフラグや拡張ビット数を示すデータを追加してもよい。処理が符号化 '復号化の処理過程の一部であれば、その処理、あるいは複数の処理を 1つにまとめて、それぞれに対して演算精度を拡張するかどうかを示すフラグや拡張ビット数を示すデータを設定して符号化データに含めてもょヽ。

[0167] (第 7の実施形態）

図 35Aを参照して第 7の実施形態の画像符号ィ匕装置の構成を説明する。この実施形態は基本的には図 11の実施形態と同様な構成を持つが、予測画像作成部 115と減算器 101との間に画素ビット長縮小器 (画素ビット精度縮小変翻） 1004が設けられ、加算器 111とループフィルタ 112との間に画素ビット長拡張器 (画素ビット精度拡張変） 1007が設けられて、る点が図 11の実施形態と異なって!/、る。

[0168] 図 35Bのフローチャートを参照して画像符号ィ匕装置の動作を説明する。この画像符号化装置には、画像信号 100として例えばフレーム単位で動画像信号が入力される（S171)。画素ビット長拡張器 1001は図 2の構成とし、ビット変換情報 1010に含まれている後述のシンタクス情報に基づく制御フラグ F1001に基づいて、入力された N ビット精度の画像信号 100の各画素の値力 Nビットより Mビット大きな (N + M)ビット精度に拡張するかどうかを判定する（S172)。ここで、制御フラグ F1001が ONの場合は、画素ビット長拡張器 1001内のスィッチ E0を ONに設定し、局部復号画像信号 112の各画素のビット長を、第 1の実施形態における画素ビット長変換器 1001で行われる処理と同様の処理によって拡張する（S173)。例えば、入力画像信号のある画素の値が Kであった場合、 Mビット拡張した後の画素値 K'は例えば数式（1)や数式（1— 1) , (1 - 2) , (1 3)などの処理によって計算される。

[0169] 制御フラグ F1001が OFFの場合には、スィッチ E0が OFF側に接続され、各画素のビット長を拡張する処理は行わない。拡張されるビット数 Mなどの変換情報は、ビット長変換制御器 1002によりビット拡張情報 1003としてエントロピー符号化器 108に導かれる。

[0170] 減算器 101により、入力画像信号 100と予測画像信号 102との差分がとられ、予測残差信号 103が生成される（S174)。生成された予測誤差信号 103に対して、直交変翻 104により直交変換 (例えば、離散コサイン変換 (DCT) )が施され、直交変換器 104では、直交変換係数情報 105 (例えば、 DCT係数情報）が得られる（S 175)。直交変換係数情報 105は、量子化器 106により量子化され、量子化直交変換係数情報 107は、エントロピー符号化器 108および逆量子化器 109に導かれる。

[0171] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変 l04の処理と逆の処理を順次受けて予測誤差信号と同様の信号、即ち局部復号誤差信号に変換される。この局部復号誤差信号は加算器 111で予測画像信号 102と加算されることにより、局部復号画像信号 112が生成される（S176)。局部復号画像信号 112は、画素ビット長拡張器 1007に入力され、ビット変換情報 1010に含まれている後述のシンタクス情報に基づく制御フラグ F1007 に基づいて、局部復号画像信号 112の各画素のビット長を拡張するかどうかを判定する（S177)。制御フラグ F1007が ONの場合には、画素ビット長拡張器 1007内のスィッチ E0を ONに設定し、局部復号画像信号 112の各画素のビット長を、第 4の実施形態における画素ビット長変 ^1007で行われる処理と同様の処理によって拡張する（S178)。制御フラグ F1007が OFFの場合には画素のビット長を拡張する処理は行わない。

[0172] 画素ビット長拡張器 1007から出力された局部復号画像信号 112は必要に応じてループフィルタ 113によりフィルタ処理がなされた後、画素ビット長変換器 1005に入力される。画素ビット長変翻1005では、ビット変換情報 1010に含まれている後述のシンタクス情報に基づく制御フラグ F1005に基づいて、局部復号画像信号 112の各画素のビット長を変換するかどうかを判定する（S179)。ここで、制御フラグ F1005 が ONの場合には、画素ビット長拡張器 1005内のスィッチ E3を ONに設定し、局部復号画像信号 112の各画素のビット長を、第 3の実施形態における画素ビット長変換器 1005で行われる処理と同様の処理によって拡張する（S180)。制御フラグ F100 5が OFFの場合には画素のビット長を変換する処理は行わな、。画素ビット長変換器 1005から出力された局部画像信号 112は、フレームメモリ 114に格納される (S18 D oフレームメモリ 114に格納された局部画像信号は、さらに、画素ビット長変 006に入力される。画素ビット長変翻 1006では、ビット変換情報 1010に含まれている後述のシンタクス情報に基づく制御フラグ F1006に基づいて、局部復号画像信号 112の各画素のビット長を変換するかどうかを判定する（S182)。ここで、制御フラグ F1006が ONの場合には、画素ビット長拡張器 1006内のスィッチ E3を ONに設定し、局部復号画像信号 112の各画素のビット長を、第 3の実施形態における画素ビット長変翻 1006で行われる処理と同様の処理によって拡張する（S183)。制御フラグ F1006が OFFの場合には画素のビット長を変換する処理は行わない。画素ビット長変翻1006から出力される局部復号画像信号 112は、予測画像作成器 115〖こ入力される。

[0173] 予測画像作成器 115は、入力画像信号 100及びフレームメモリ 114に格納された局部復号画像信号 112から、ある予測モード情報に基づく予測画像信号を生成する (S184)。この際、加算器 111からの局部復号画像信号 112はフレームメモリ 114にー且蓄えられ、フレーム内のブロック毎に入力画像信号 100とフレームメモリ 114に蓄えられた局部復号画像信号 112との間のマッチング (例えば、ブロックマッチング）をとり、動きベクトルを検出し、この動きベクトルで補償された局部画像信号を用いて予測画像信号を作成する。ここで生成された予測画像信号 102は、選択された予測画像信号の動きベクトル情報 Z予測モード情報 116とともに予測画像作成器 115より出力される。

[0174] 予測画像信号作成器 115から出力された予測画像信号 102は画素ビット長縮小器 1004に入力される。画素ビット長縮小器 1004では、ビット変換情報 1010に含まれて、る後述のシンタクス情報に基づく制御フラグ F1004に基づ、て、予測画像信号 102の各画素のビット長を変換するかどうかを判定する（S185)。制御フラグ F1004 が ONの場合には、画素ビット長拡張器 1004内のスィッチ E2を ONに設定し、予測画像信号 102の各画素のビット長を、第 4の実施形態と同様の処理によって縮小する (S186)。制御フラグ F1004が OFFの場合には画素のビット長を変換する処理は行わない。

[0175] エントロピー符号化器 108では、量子化直交変換係数情報 107、動きベクトル情報 Z予測モード情報 116およびビット拡張情報 1003がエントロピー符号化され (S187 )、これによつて生成された符号ィ匕データ 117は、図示しない伝送系または蓄積系へ送出される。

[0176] 次に、ビット長の拡張 '縮小'変換を行うかどうかを制御する制御フラグの符号ィ匕方法について説明する。 [0177] 本実施形態では、ビット長の拡張 '縮小'変換を行うかどうかを制御する制御フラグや拡張するビット数をシーケンスパラメータセットシンタクス (404)に含めて送信することが可能である。それぞれのシンタクスを以下で説明する。

[0178] 図 36のシーケンスパラメータセットシンタクス内に示される ex_seq_all_bit_extention_fl agは、ビット拡張を行うかどうかを示すフラグであり、当該フラグ力TRUEであるときは、符号ィ匕および復号ィ匕の内部のデータパスすべてにおいて、各画素のビット長が拡張されたデータを用いて符号化および復号化を行うことを示す。フラグが FALSEであるときは、このフラグは、符号ィ匕および復号ィ匕の内部のデータパスのすべてにおいて各画素のビット長が拡張された画像信号を用いて符号化'復号ィ匕を行わないか、一部のデータパスでのみ、各画素のビット長が拡張された画像信号を用いて符号化'復号化が行われることをしめす。 ex_seq_bit_extention_flag力TRUEのときは、更に何ビット拡張を行うかを示す ex_seq_shift_bitsをさらに送信してもよい。

[0179] ex_seq_all_bit_extention_flagが FALSEのときには、さらに符号化および復号化内部における、予測画像作成部に入力される画像信号の画素ビット長を拡張するかどうかを示すフラグ eex_seq_partial_bit_extention _flagをさらに送信してもよ、。当該フラグが TR UEの場合は、符号化'復号化内部処理における、予測画像作成時に各画素のビット長が拡張された画像信号を用いることを示す。一方、フラグが FALSEであるときは、このフラグは、符号ィ匕および復号ィ匕の内部のデータノスのすべてにおいて各画素のビット長が拡張された画像信号を用いな、ことを示す。 ex_seq_partial_bit_extention_flag が TRUEのときには、さら〖こ、予測画像作成部 112に入力される画像信号の画素ビット長を、入力画像信号の画素ビット長と比較して何ビット大きく拡張するかを示す ex__Se q— partial— shift— bits 送 1 してもよヽ。

[0180] ex_seq_partial_bit_extention_flagが TRUEのときには、さらに符号化 '復号化内部のデータパスのある一部分で各画素のビット長が拡張された画像信号を用いるかを示すフラグを送信してもよい。図 36に示した例では、フレームメモリ 114に格納する参照画像信号の画素ビット長を拡張するかどうかを示すフラグ ex_seq_framemem_bit_extent ionjag,および直交変換部と量子化部（直交変換器 104、量子化器 106、逆量子化器 109および逆直交変 10)に入力あるいは出力される予測残差信号の画素ビット長を拡張する力どう力を示すフラグ ex_seq_trans_and_quant_bit_extention _flagを送信している。

[0181] ex_seq_framemem_bit_extention_flagが TRUEの場合には、このフラグはフレームメモリに格納する参照画像信号の画素ビット長を拡張することを示す。フラグが FALSEの場合には、それはフレームメモリに格納する参照画像信号の画素ビット長を入力画像と同じ画素ビット長とすることを示す。 ex_seq_framemem_bit_extention_flagが TRUEの場合にはさらに、フレームメモリに格納される画像信号の画素ビット長を、入力画像信号の画素ビット長と比較して何ビット大きく拡張するかを示す ex_seq_framemem_shift_bits を送信してもよい。

[0182] ex_seq_trans_and_quant_bit_extention_flagが TRUEの場合には、このフラグは直交変換部と量子化部 (直交変換器 104、量子化器 106、逆量子化器 109および逆直交変 ^no)に入力あるいは出力される予測残差信号の画素ビット長が拡張されていることを示す。すなわち、入力画像信号と予測画像信号の各画素のビット長が拡張されており、予測残差信号は、各画素のビット長が拡張された入力画像信号と予測画像信号の差分信号であることを示して、る。

[0183] 当該フラグが FALSEの場合には、このフラグは直交変換部と量子化部（直交変 104、量子化器 106、逆量子化器 109および逆直交変換器 110)に入力あるいは出力される予測残差信号が入力画像信号と同じビット精度の予測画像信号と入力画像信号の差分信号であることを示す。

[0184] ex_seq_trans_and_quant_bit_extention _flagが TRUEの場合にはさら〖こ、直交変換部と量子化部 (直交変換器 104、量子化器 106、逆量子化器 109および逆直交変換器 1 10)に入力あるいは出力される予測残差信号の生成時における、入力画像信号と予測画像信号の画素ビット長が、入力画像信号の画素ビット長と比較して何ビット大きくぉムする力を示す ex— seq— trans— and— quant— shift— bitsを送 1 gしてもよい。

[0185] 符号ィ匕側と復号ィ匕側にぉ、て、各フラグ力TRUEであった場合に、何ビット拡張あるいは縮小するかをあら力じめ設定されたビット数で行う場合には、図 37に示すとおり、画像信号の画素ビット長を変換するかどうかを示すフラグのみを送信してもよ、。

[0186] これらのシンタクスの値を元に、図 35で示した画像符号ィ匕装置の処理において使用される制御フラグ F1001、 F1007、 F1005、 F1006、 F1004の設定例を図 38に示す。図 38において、 allの列は ex_seq_all_bit_extention_flagの値を示している。同様に、 part、 ftn、 t/q、の歹 Uiま ex— seq— partial— bit— extention— flag、 ex— seq— framemem— bit— exte ntion— flag、 ex— seq— trans— and— quant— bit— extention— flagの値それぞれ不して、る。 0は FALSEを、 1は TRUEを示し、一はシンタクスが存在しないことを示している。制御フラグの F1001, F1007, F1005, F1006, F1004の列はそれぞれのシンタクスの値に基づ、て設定される制御フラグの値を示して、る。 1は ONを 0は OFFを示して!/、る。例えば、 ex_seq_all_bit_extention_flag力TRUEの場合には、制御フラグ F1001のみ O Nとし、残りのフラグは OFFとすることを示している。

[0187] 図 40は後述の画像復号化装置の処理において用いる制御フラグ F2001、 F2005 、 F2006、 F2007、 F2008の設定伊 [Jを示して!/ヽる。それぞれ、図 38と同様の値を示している。本実施形態においては、第 1の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

[0188] 図 39Aを参照して本実施形態に係る画像復号化装置の構成を説明する。図 39A に示すように、この画像復号化装置は、エントロピー復号化器 200、逆量子化器 109 、逆直交変 110、加算器 111、ループフィルタ 113、フレームメモリ 114、予測画像作成器 115、画素ビット長縮小器 (画素ビット精度縮小変換器） 2001、 2006、画素ビット長拡張器 (画素ビット精度拡張変翻) 2005、画素ビット長変翻 (画素ビット精度変翻） 2007、 2008、ビット長変換制御器 2002を備えている。即ち、ェントロピー復号化器 200の係数情報出力は逆量子化器 109および逆直交変翻 110を介して加算器 111に接続される。エントロピー復号化器 200の動きベクトル Ζ予測モード情報出力は予測画像作成器 115に接続され、そのビット拡張情報出力はビット長変換制御器 2002に接続される。予測画像作成器 115の出力は画素ビット長縮小器を介して加算器 111の他の入力に接続される。加算器 111の出力は画素ビット長拡張器 2005,ループフィルタ 113,画素ビット長変換器 2007を介してフレームメモリ 114に接続される。ループフィルタ 113の他の出力は画素ビット長縮小器 2001の入力に接続される。フレームメモリ 114の出力はビット長変換制御器 2002に出力と共に画素ビット長変換器 2008に接続される。画素ビット長変換器 2008の出力は予測画像作成器 115の他の入力に接続される。ビット長変換制御器 2002の出力は画素ビット長縮小器 2001,画素ビット長拡張器 2005、画素ビット長縮小器 2006,画素ビット長変換器 2007および画素ビット長変換器 2008の他の入力に接続される。

[0189] 図 39Bのフローチャートを参照して画像復号ィ匕装置の動作を説明する。図 9の画像符号化装置によって符号化された符号化データ 117が画像復号化装置に入力されると（S201)、エントロピー復号化器 200によってエントロピー符号ィ匕の逆の手順に従つて復号化され、量子化直交変換係数情報 107、動きベクトル Z予測モード情報 11 6、ビット拡張情報 2004が生成される（S202)。ビット拡張情報 2004がビット長変換制御器 2002に入力されると、ビット長変換制御器 2002は画素ビット長縮小器 2001 , 2006、画素ビッ卜長拡張器 2005、画素ビッ卜長変^^ 2007、 2008での画素ビット長変換を行うかどうかの制御フラグや、拡張あるいは縮小するビット長を示す情報などを含むビット変換情報 2003を出力する。このビット変換情報に含まれる制御フラグは、たとえば符号ィ匕データ 117にビット拡張情報 2004として多重化されているシンタタス（図 36)の値に基づいて、図 40のようにそれぞれ設定され、ビット変換情報 2003 に含められる。

[0190] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変翻104の処理と逆の処理を順次受けて残差信号 201に変換される（S203)。動きベクトル/予測モード情報 116は予測画像作成器 115に入力され、フレームメモリ 114に格納され、画素ビット長変^ ^2008によって必要に応じて各画素のビット長が変換された復号画像信号 203から動きベクトル Z予測モード情報 116に基づく予測画像信号 102が生成される（S204)。

[0191] 予測画像信号 102は画素ビット長縮小器 2006に入力され、ビット変換情報 2003 に含まれている制御フラグ F2006に基づいて、予測画像信号 102の各画素のビット長を変換するかどうかを判定する（S205)。制御フラグ F2006が ONの場合には、画素ビット長拡張器 2006内のスィッチ E2を ONに設定し、予測画像信号 102の各画素のビット長を、第 4の実施形態における画素ビット長拡張器 2006で行われる処理と同様の処理によって縮小する（S206)。制御フラグ F2006が OFFの場合には画素のビット長を変換する処理は行わな、。 [0192] 画素ビット長縮小器 2006から出力された予測画像信号 102と残差信号 201は、加算器 111によって加算され、復号画像信号が生成される (S207)。復号画像信号 20 3は画素ビット長拡張器 2005に入力される。画素ビット長変換器 2005では、ビット変換情報 2003に含まれて、る制御フラグ F2005に基づ、て、復号画像信号 203の各画素のビット長を拡張するかどうかを判定する（S208)。制御フラグ F2005が ONの場合には、画素ビット長拡張器 2005内のスィッチ E1を ONに設定し、復号画像信号 203の各画素のビット長を、第 4の実施形態における画素ビット長変換器 2005で行われる処理と同様の処理によって拡張する（S209)。制御フラグ F2005が OFFの場合には画素のビット長を変換する処理は行わない。

[0193] 画素ビット長拡張器 2005から出力された復号画像信号 203はループフィルタ 113 で必要に応じてフィルタ処理がなされた後出力され、画素ビット長縮小器 2001および画素ビット長変 ^2007に出力される。

[0194] 画素ビット長変換器 2007に復号画像信号 203が入力されると、画素ビット長変換器 2007は、ビット変換情報 2003に含まれている制御フラグ F2007に基づいて、復号画像信号 203の各画素のビット長を変換するかどうかを判定する（S210)。制御フラグ F2007が ONの場合には、画素ビット長拡張器 2007内のスィッチ E3が ONに設定され、復号画像信号 203の各画素のビット長が、第 3の実施形態における画素ビット長変 ^2007で行われる処理と同様の処理によって変換される（S211)。制御フラグ F2007が OFFの場合には画素のビット長を変換する処理は行わない。

[0195] 画素ビット長変換器 2007から出力された復号画像信号 203はフレームメモリ 114 に格納される（S 212)。フレームメモリ 114に格納された復号画像信号 203が画素ビット長変 ^^2008に入力されると、画素ビット長変 ^^2008はビット変換情報 2003 に含まれている制御フラグ F2008に基づいて、復号画像信号 203の各画素のビット長を変換するかどうかを判定する（S213)。制御フラグ F2008が ONの場合には、画素ビット長拡張器 2008内のスィッチ E3を ONに設定し、復号画像信号 203の各画素のビット長を、第 3の実施形態における画素ビット長変換器 2008で行われる処理と同様の処理によって変換する（S214)。制御フラグ F2008が OFFの場合には画素のビット長を変換する処理は行わな、。画素ビット長変 ^^2008から出力された画像信号は予測画像作成器 115に入力される (S215)。

[0196] 復号画像信号 203はループフィルタ 113で必要に応じてフィルタ処理され、画素ビット長縮小器 2001に出力される。画素ビット長縮小器 2001に復号画像信号 203が入力されると、画素ビット長縮小器 2001は、ビット変換情報 2003に含まれている制御フラグ F2001に基づいて、復号画像信号 203の各画素のビット長を変換するかどうかを判定する（S216)。制御フラグ F2001が ONの場合には、画素ビット長拡張器 2001内のスィッチ E2を ONに設定し、復号画像信号 203の各画素のビット長を、第 1の実施形態における画素ビット長縮小器 2001と同様の処理によって縮小する（S2 17)。制御フラグ F2001が OFFの場合には画素のビット長を変換する処理は行わず、そのまま復号画像信号 202として出力される。

[0197] 以上のようにして、画像符号化装置に入力された入力画像と同じ Nビット精度の復号画像 202が画素ビット長縮小器 2001より出力される（S218)。

[0198] 以上のような図 35、 39のような構成においては、符号化データに含まれるシンタクス情報に基づいて、フレームメモリ、直交変換および量子化の演算精度をフラグによつてそれぞれ切り替えることができ、符号化器側、あるいは復号化器側の演算コストの制約に応じて、適切な演算精度で符号ィ匕を行うことが可能となる。この構成においては、いずれかの制御フラグが ONとなっていれば、予測画像作成器に入力される画像信号の画素ビット長は、入力画像信号 100より大きな精度で入力されるため、予測画像作成の演算精度を高めることができ、符号ィ匕効率を向上させることができる。

[0199] 図 35、 39において画素ビット長拡張器、画素ビット長縮小器、画素ビット長変換器の一部を省略し、第 2〜第 5の実施形態で示した構成とし、画素ビット長拡張器、画素ビット長縮小器、画素ビット長変翻において、ビット長の変換を行うかどうかを例えば図 36で示したシンタクスにおける ex_seq_all_bit_extention _flagで指定されて!、る値に従って決定し、 ex_seq_all_bit_extention_flagが TRUEならば、各構成における画素ビット長拡張器、画素ビット長縮小器、画素ビット長変翻において各画素のビット長を変換する処理を行ヽ、 FALSEなら変換処理を行わなヽような制御を行うことも可能である。

[0200] 量子化 Z逆量子化を行う際、入力画像が Nビット相当の場合に量子化する量子化ステップ幅を Qstepとした場合、第 2、第 3の実施形態における量子化 Z逆量子化で用いる量子化ステップ幅 Qstep'は、ビット精度を Mビット拡大'縮小すると、残差の精度が（N + M)ビットに拡大されて、ることを考慮し、以下の式で計算される Qstep，を用いてもよい。

Qstep' = Qstep « M (16)

これによつて、 Nビット同等の入力画像をそのまま符号ィ匕した場合とほぼ同等の符号量の符号ィ匕データを得ることができる。このように、量子化ステップ幅を拡張するビット長に応じて変化させた場合に、符号ィ匕効率が向上する理由を図 41, 42を用いて説明する。図 41は各画素位置での、入力画素値（8bit)に対する、 H. 264による 8bi t精度の予測画素値と、本実施形態による 12bit精度の予測画素値とを示すテープルであり、図 42はこれをグラフにしたものである（半画素位置の補間フィルタは、 6タツプ { 1Z32, - 5/32, 20/32, 20/32, - 5/32, 1,32}とする）。

[0201] 前述のとおり、入力画像信号が 8ビットであった場合（図 42では正方形のプロットで表わされている）に、予測画像信号を入力画像信号と同じ 8ビットで作成した場合 (図 42ではひし形のプロットで表されている）には、半画素位置に補間される画素の画素値は丸め誤差が生じる。これに対して、例えば本実施形態で述べたようなビット拡張を行い、例えば 12ビットの予測画像を作成した場合（図 42では円形のプロットで表されている）には、半画素位置に補間される画素の画素値の丸め誤差は小さくなる。ビット拡張を行った場合には、ビット拡張を行う前と比較して残差のビット精度が 12ビットに拡大するため、ビット拡張を行わずに 8ビットで残差を求めた場合と比較して残差の絶対値は大きくなるが、丸め誤差が小さくなつているため、数式（16)で示した量子ィ匕ステップ幅で量子化し、ほぼ同じ符号量とした際の誤差力、さくなり、結果として符号ィ匕効率を向上させることが可能となる。

[0202] 本実施形態では、図 43に示すように、入力画像のビット精度よりも Mビット大きなビット精度で行うことができ、予測画像信号が入力画像信号より Mビット大きな精度をもつて作成されるため、動き補償のフィルタやループフィルタ、画面内予測などの精度を高めることができ、結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。 [0203] 本発明は、ビデオ装置に限らず、オーディオ装置に適用することができる。

[0204] なお、本発明は上記実施形態そのままに限定されるものではなぐ実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体ィ匕できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素カゝら幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

[0205] 本発明によれば、画面内予測や動き補償の精度を十分高めることによって符号ィ匕効率を向上させことが可能になる。

産業上の利用可能性

[0206] ビデオ、オーディオ装置、モパイル機器、放送、情報端末、ネットワークなどの各分野に渡り動画像、静止画像、音声などの符号化及び復号化に適用できる。

Claims

請求の範囲

[1] 入力画像の各画素のビット精度を変換することによって異なるビット精度の変換入力画像を生成し、ビット精度に対する変換を示すビット変換情報を出力する画素ビット精度変換器と、

前記入力変換画像を符号化し画像符号化情報を出力する画像符号化器と、前記ビット変換情報と前記画像符号ィ匕情報とを多重化する多重化器とを備えた画像符号化装置。

[2] Nビット精度をそれぞれ持つ複数の画素により構成される入力画像の各画素のビット精度を Mビット大きな (N + M)ビット精度に変換する画素ビット精度変翻と、

(N + M)ビット精度の前記入力画像に対する (N + M)ビット精度の予測画像を、 ( N + M)ビット精度の参照画像から作成する予測画像作成器と、

(N + M)ビット精度の前記入力画像と (N + M)ビット精度の前記予測画像との差分信号を求める減算器と、

前記差分信号を符号化して画像符号化情報を出力する符号化器と、

前記画像符号化情報に基づいて復号差分画像を出力する復号化器と、

(N + M)ビット精度の前記予測画像と前記復号差分画像とを加算して (N + M)ビット精度の復号画像を出力する加算器と、

(N + M)ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリとを備えた画像符号ィ匕装置。

[3] 前記画像符号化装置は、前記参照画像格納メモリの前段に、（N + M)ビット精度の前記復号画像の各画素を (N + M— L) (ただし、 Lは L≤Mを満たす整数)ビット精度に変換する第 1の画素ビット精度変翻を更に備え、

前記参照画像格納メモリは、（N + M— L)ビット精度の前記復号画像を前記参照画像として保存し、

前記画像符号化装置は、前記参照画像格納メモリの後段に、（N + M— L)ビット精度の前記参照画像の各画素を (N + M)ビット精度に変換する第 2の画素ビット精度変換器を更に備えた請求の範囲第 2項に記載の画像符号ィ匕装置。

[4] Nビット精度の入力画像に対し、（N + M)ビット精度の予測画像を (N + M)ビット精度の参照画像から作成する予測画像作成器と、

(N + M)ビット精度の前記予測画像の各画素を Nビット精度に縮小変換する画素ビット精度縮小変翻と、

Nビット精度の前記入力画像と Nビット精度に変換された前記予測画像との差分信号を求める減算器と、

Nビット精度に変換された前記予測画像と前記復号差分画像とを加算して Nビット精度の復号画像を出力する加算器と、

Nビット精度の前記復号画像の各画素の値を Mビット大きな (N + M)ビット精度に変換する画素ビット精度変翻と、

Nビット精度の入力画像に対し、（N + M)ビット精度の予測画像を (N + M)ビット精度の参照画像から作成する予測画像作成器と、

(N + M)ビット精度の前記予測画像の各画素を Nビット精度の画素に変換する画素ビット精度変換器と、

Nビット精度の前記入力画像と Nビット精度の前記予測画像との差分信号を求める減算器と、

Nビット精度の前記予測画像と前記復号差分画像とを加算して Nビット精度の復号画像を出力する加算器と、

Nビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリと前記参照画像格納メモリに格納された Nビット精度の前記参照画像の各画素を M ビット大きな (N + M)ビット精度に拡張変換する画素ビット精度変翻と、を備えた画像符号化装置。 [6] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、拡張するビット数 Mを示すデータを含む、請求の範囲第 1項ないし第 5項のいずれか 1項に記載の画像符号化装置。

[7] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、前記参照画像格納メモリのビット精度 (N + M— L)を示すデータを含む、請求の範囲第 3項に記載の画像符号ィ匕装置。

[8] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、復号画像を出力する際のビット精度 Nを示すデータを含む、請求の範囲第 2項ないし第 5項の!、ずれか 1項に記載の画像符号化装置。

[9] 前記画素ビット精度変換器は、前記入力画像の各画素の値をビット精度が異なる値に変換した後に、該入力画像の各コンポーネントを異なる色空間に変換する、請求の範囲第 1項に記載の画像符号化装置。

[10] 前記画素ビット精度変換器は、 Nビット精度の前記画像の各画素の値を Mビット大きな (N + M)ビット精度に変換した後に、該画像の各コンポーネントを異なる色空間に変換する、請求の範囲第 2項ないし第 5項のいずれか 1項に記載の画像符号ィ匕装置。

[11] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、拡張するビット数 Mを示すデータと前記復号画像を出力する際の色空間を示すデータを含む、請求の範囲第 9項または第 10項に記載の画像符号ィ匕装置。

[12] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、前記復号画像を出力する際のビット精度 Nと前記復号画像を出力する際の色空間を示すデータを含む、請求の範囲第 9項または第 10項に記載の画像符号ィ匕装置。

[13] 前記予測画像作成器は、適応補間フィルタ情報に基づ、て予測画像を生成し、前記画像符号化情報は、前記適応補間フィルタ情報を含む、請求の範囲第 2項ないし第 5項の、ずれか 1項に記載の画像符号化装置。

[14] 前記画像符号化装置は、前記復号画像に対し、フィルタ処理情報に基づ!ヽてフィルタ処理を行うフィルタを参照画像メモリの前段にさらに備え、前記画像符号化情報は、前記フィルタ処理情報を含む、請求の範囲第 2項ないし第 5項のいずれか 1項に記載の画像符号化装置。

[15] 前記画素ビット精度変換器は、各画素のビット精度が Nビットの入力画像の各画素を Mビット大きな (N + M)ビット精度に変換した後に、前記入力画像にフィルタ処理情報に基づ、たフィルタ処理を行うフィルタをさらに備える、請求の範囲第 1項な、し第 3項の、ずれか 1項に記載の画像符号化装置。

[16] 前記画素ビット精度変換器は、 Nビット精度の入力画像の各画素を Mビット大きな（ N + M)ビット精度の画素に変換した後に、前記入力画像にフィルタ処理情報に基づいたフィルタ処理を行うフィルタをさらに備え、前記画像符号化情報は、前記フィルタ処理情報を含む、請求の範囲第 1項ないし第 3項のいずれか 1項に記載の画像符号化装置。

[17] 前記画素ビット精度変換器は、 Nビット精度の入力画像の各画素を Mビット大きな（ N + M)ビット精度の画素に変換した後に、前記入力画像に Mビット以下の語長の透力し情報を付加する透力し情報埋込器をさらに備える、請求の範囲第 14項に記載の画像符号化装置。

[18] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、画像信号の各画素のビット精度を Mビット拡張するかどうかのフラグを含む、請求の範囲第 1 項なヽし第 5項の、ずれか 1項に記載の画像符号化装置。

[19] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、画像信号の各画素のビット精度を Mビット拡張するかどうかのフラグを含み、さらに拡張するビット数 Mを示すデータを含む、請求の範囲第 1項ないし第 5項のいずれか 1項に記載の画像符号化装置。

[20] ビット変換情報と画像符号ィ匕情報とが多重化された画像情報を入力してビット変換情報と画像符号化情報に分離する多重化分離器と、

前記画像符号化情報を復号化し復号画像を出力する画像復号化器と、前記ビット変換情報に基づいて前記復号画像の各画素の値をビット精度が異なるビット精度に変換する画素ビット精度変換器と、を備えた画像復号化装置。

[21] 入力符号化画像情報を (N + M)ビット精度の復号差分画像に復号する復号化器と前記符号化画像情報を用いて (N + M)ビット精度の参照画像から (N + M)ビット精度の予測画像を作成する予測画像作成器と、

前記復号差分画像と前記予測画像とを加算して (N + M)ビット精度の復号画像を得る加算器と、

(N + M)ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリと、

(N + M)ビット精度の前記復号画像の各画素を Nビット精度に変換し Nビット精度の復号画像を出力する画素ビット精度変換器と、を備えた画像復号化装置。

[22] 符号ィ匕画像情報を入力して (N + M)ビット精度の復号差分画像を出力する復号化器と、

(N + M -L)ビット精度の参照画像の各画素を (N + M)ビット精度の画素に変換し (N + M)ビット精度の復号画像を出力する画素ビット精度拡張変翻と、前記符号化画像情報を用いて (N + M)ビット精度の参照画像から (N + M)ビット精度の予測画像を作成する予測画像作成器と、

(N + M)ビット精度の前記復号画像の各画素を (N + M— L)ビット精度の画素に変換し (N + M— L)ビット精度の復号画像を出力するとともに、（N + M)ビット精度の前記復号画像の各画素を Nビット精度の画素に変換し、 Nビット精度の復号画像を出力する画素ビット精度縮小変翻と、

(N + M— L)ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリと、を備えた画像復号化装置。

[23] 符号化画像情報を入力して Nビット精度の復号差分画像を出力する復号化器と、前記符号化された画像情報を用いて (N + M)ビット精度の参照画像から (N + M) ビット精度の予測画像を作成する予測画像作成器と、

(N + M)ビット精度の前記予測画像の各画素を Nビット精度の画素に変換し Nビット精度の予測画像を出力する画素ビット精度変換器と、

前記復号差分画像と前記予測画像とを加算して Nビット精度の復号画像を得る加算器と、

Nビット精度の前記復号画像の各画素を (N + M)ビット精度の画素に変換し (N + M)ビット精度の復号画像を出力する画素ビット精度拡張変翻と、

(N + M)ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリと、を備えた画像復号化装置。

[24] 符号化画像情報を入力して Nビット精度の復号差分画像を出力する復号化器と、

Nビット精度の参照画像の各画素を (N + M)ビット精度の画素に変換し (N + M)ビット精度の参照画像を出力する画素ビット精度変翻と、

前記符号化された画像情報を用いて (N + M)ビット精度の前記参照画像から (N + M)ビット精度の予測画像を作成する予測画像作成器と、

Nビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリとを備えた、画像復号化装置。

[25] 前記符号化画像情報は、ビット変換情報として、任意の符号化単位毎に、拡張するビット数 Mを示すビット変換情報を含み、

前記変換器は、前記ビット変換情報に基づいて、前記画像の各画素のビット精度の拡張又は縮小を行う、請求の範囲第 20項ないし第 24項のいずれか 1項に記載の画像復号化装置。

[26] 前記符号化画像情報は、ビット変換情報として、任意の符号化単位毎に、前記参照画像格納メモリのビット精度 (N + M— L)を示すデータを含み、

前記画素ビット精度拡張変換器及び前記画素ビット精度縮小変換器は、前記ビット変換情報に基づいて前記拡張変換及び前記縮小変換を行い、（N + M— L)ビット精度の前記参照画像として参照画像格納メモリに格納する、請求の範囲第 22項に記載の画像復号化装置。

[27] 前記符号化された画像情報は、ビット変換情報として、任意の符号化単位毎に、復号画像を出力する際のビット精度 Nを示すビット変換情報を含み、

前記ビット変換情報に基づいて、前記復号画像のビット精度を、前記復号画像を出力する際のビット精度 Nと同じ精度を持つものに変換する、請求の範囲第 20項ないし第 24項のいずれか 1項に記載の画像復号ィ匕装置。

[28] 前記画素ビット精度変換器は、前記復号画像の各コンポーネントを異なる色空間に変換した後に、該復号画像の各コンポーネントの各画素を異なるビット精度に変換する、請求の範囲第 20項に記載の画像復号化装置。

[29] 前記画素ビット精度縮小変換器は、（N + M)ビット精度の前記画像の各コンポーネントを異なる色空間に変換した後に、該画像の各コンポーネントの各画素を Nビット精度の画素に変換する、請求の範囲第 21項ないし第 24項のいずれか 1項に記載の画像復号化装置。

[30] 前記符号化された画像情報は、ビット変換情報として、任意の符号化単位毎に、拡張するビット数 Mを示すビット変換情報と復号画像を出力する際の色空間を示すデータを含み、

前記変換器は、前記ビット変換情報に基づいて、前記復号画像を、前記復号画像を出力する際の色空間を示すデータに色変換した後に、該色変換された復号画像の各画素のビット精度の拡張及び縮小を行うことを特徴とする請求の範囲第 28項または第 29項に記載の画像復号ィ匕装置。

[31] 前記符号化画像情報は、ビット変換情報として、任意の符号化単位毎に、復号画像を出力する際の入力画像のビット精度 Nを示すビット変換情報と復号画像を出力する際の色空間を示すデータを含み、

前記ビット変換情報に基づいて、前記復号画像を、前記復号画像を出力する際の色空間を示すデータに色変換した後に、該色変換された復号画像を、前記復号画像を出力する際のビット精度 Nと同じ精度を持つ画素に変換する、請求の範囲第 28 項または第 29項に記載の画像復号ィ匕装置。

[32] 前記符号化画像情報は、適応補間フィルタ情報を含み、前記予測画像作成器は、前記適応補間フィルタ情報に基づいて、予測画像を作成する、請求の範囲第 20項な!ヽし第 24項の、ずれか 1項に記載の画像復号化装置。 [33] 前記符号化された画像情報は、フィルタ処理情報を含み、前記画像復号化装置は、前記復号画像に対し、前記フィルタ処理情報に基づいてフィルタ処理を行うフィルタをさらに備える、請求の範囲第 20項ないし第 24項のいずれか 1項に記載の画像復号化装置。

[34] 前記画素ビット精度変換器は、前記復号画像に対しフィルタ処理を行うフィルタをさらに備え、前記フィルタが前記復号画像に対しフィルタ処理を行った後に、（N + M) ビット精度の前記復号画像の各画素を Nビット精度の画素に変換し Nビット精度の復号画像を出力する、請求の範囲第 20項ないし第 24項のいずれか 1項に記載の画像復号化装置。

[35] 前記符号化画像情報は、フィルタ処理情報を含み、前記画素ビット精度変換器は、前記復号画像に対し前記フィルタ処理情報に基づいてフィルタ処理を行うフィルタをさらに備え、前記フィルタが前記復号画像に対しフィルタ処理を行った後に、（N + M )ビット精度の前記復号画像の各画素を Nビット精度の画素に変換し Nビット精度の復号画像を出力する、請求の範囲第 20項ないし第 24項のいずれか 1項に記載の画像復号化装置。

[36] 前記画像復号化装置は、前記加算器の後段に復号画像に埋め込まれた透かし情報を検出する透かし検出器をさらに備える、請求の範囲第 20項に記載の画像復号化装置。

[37] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、 Mビット拡張するかどうかのフラグを含み、前記フラグが FALSEの場合には前記変換器は変換を行わず、前記フラグ力 STRUEの場合には、前記変翻は、前記ビット変換情報に基づいて、前記画像の各画素のビット精度の拡張又は縮小を行う、請求の範囲第 20 項な、し第 24項の、ずれか 1項に記載の画像復号化装置。

[38] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、 Mビット拡張するかどうかのフラグと、拡張するビット数 Mを示すデータを含み、前記フラグが FALSEの場合には前記変は変換を行わず、前記フラグ力 STRUEの場合には、前記変換器は、前記ビット変換情報に基づいて、前記画像の各画素のビット精度の拡張又は縮小を行う、請求の範囲第 20項な、し第 24項の、ずれか 1項に記載の画像復号化装置。

[39] 入力画像の各画素のビット精度を変換することによって異なるビット精度の変換入力画像を生成するステップと、

変換を示すビット変換情報を出力するステップと、

前記入変換力画像を符号ィ匕し画像符号ィ匕情報を出力するステップと、前記ビット変換情報と前記画像符号ィ匕情報とを多重化するステップと、を有する画像符号化方法。

[40] Nビット精度をそれぞれ持つ複数の画素により構成される入力画像の各画素のビット精度を Mビット大きな (N + M)ビット精度に変換するステップと、

(N + M)ビット精度の前記入力画像に対する (N + M)ビット精度の予測画像を、 (

N + M)ビット精度の参照画像から作成するステップと、

(N + M)ビット精度の前記入力画像と (N + M)ビット精度の前記予測画像との差分信号を求めるステップと、

前記差分信号を符号化して画像符号化情報を出力するステップと、

前記画像符号ィ匕情報に基づいて復号差分画像を出力するステップと、 (N + M)ビット精度の前記予測画像と前記復号差分画像とを加算して (N + M)ビット精度の復号画像を出力するステップと、

(N + M)ビット精度の前記復号画像を前記参照画像として参照画像格納メモリ〖こ保存するステップと、を含む画像符号化方法。

[41] ビット変換情報と画像符号ィ匕情報とが多重化された入力画像情報をビット変換情報と画像符号化情報に分離するステップと、

前記画像符号化情報を復号化し復号画像を生成するステップと、

前記ビット変換情報に基づいて前記復号画像の各画素をビット精度が異なる画素に変換するステップと、を有する画像復号化方法。

[42] 入力符号ィ匕画像情報を (N + M)ビット精度の復号差分画像に復号するステップと前記入力符号化画像情報を用いて (N + M)ビット精度の参照画像から (N + M)ビット精度の予測画像を生成するステップと、前記復号差分画像と前記予測画像とを加算して (N + M)ビット精度の復号画像を生成するステップと、

(N + M)ビット精度の前記復号画像を前記参照画像として保存するステップと、 (N + M)ビット精度の前記復号画像の各画素の値を Nビット精度に変換し Nビット精度の復号画像を生成するステップとを有する、画像復号化方法。