WO2006057037A1

WO2006057037A1 - 色補正方法及び色補正装置

Info

Publication number: WO2006057037A1
Application number: PCT/JP2004/017481
Authority: WO
Inventors: Takaaki Sakaguchi; Tooru Aoki; Narihiro Matoba
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2004-11-25
Filing date: 2004-11-25
Publication date: 2006-06-01
Also published as: JP4023518B2; JPWO2006057037A1; CN1973553B; EP1816874A4; US20080007657A1; EP1816874A1; US7831092B2; CN1973553A

Abstract

　色平面を複数の領域に分割し、分割された領域毎に異なる方法で補正する色補正方法において、色信号ベクトルを変換することで生ずる色ずれの発生を防止する。　入力色信号ベクトルが、色信号平面の原点を通る領域境界線によって分割された色信号平面の領域の何れに属するかを判定し、入力色信号ベクトルが属すると判定された領域に対して予め設定しておいた補正行列を用いて、入力色信号ベクトルを変換することにより入力色信号ベクトルを補正する場合に、補正行列として、平行移動を行う成分と線形変換を行う成分とを有する補正行列を用いることとした。

Description

色補正方法及び色補正装置

技術分野

[0001] この発明は、画像の色を補正する技術に係るものであり、特に所定の色領域ごとに適切な補正を行う色補正方法及びその装置に関する。

背景技術

[0002] デジタルカメラを初めとする撮像装置では、一般的に単板式 CCDが用いられ、 CC Dの全面に色フィルタを配置し、色を補間することでカラー画像を得ている。この色フィルタの分光感度特性は色毎に異なり、また、人間は木の緑や空の青さに対して、実際の色よりも記憶の中にある鮮やかな色彩を好むと、う特性があるため、好ま、色（記憶色）となるように色の補正が行われて、る。

[0003] 一般に、このような色補正方法として、画像データの RGB信号や YCbCr信号に基づく色を領域ごとに分割し、各領域に予め設定されたゲインで増幅したり、色補正行列を演算し、色の補正が行われている。このような色補正方法の具体例としては、特許文献 1に記載があるように、色差信号平面において、まず原点を通る領域境界線により色相を複数の領域に分割し、入力色差信号の位置ベクトルを隣接する 2つの領域境界線のベクトル成分に分割する。さらに領域境界線のベクトルを変換行列により一次変換し、色変換を実現することで、色相の全範囲のうち任意の範囲内の色相に対してのみ色補正を行って、る。

[0004] 特許文献 1 :特開 2002-176656号「色補正回路」公報

特許文献 2 :特開 2000 - 115588号「撮像装置、撮像装置の制御方法及び記憶媒体」公報

発明の開示

発明が解決しょうとする課題

[0005] し力しながら、このような方法では特許文献 2に記載されているように、ホワイトバランスを調整した後にも、レンズのばらつきや撮像素子の分光感度特性のばらつき等により、色ばらつきが生じるという問題が知られている。この結果、色ずれが生じ、本来なら灰色や白等の無彩色の色が、ずれた方向の色を帯びてしまうことになる。このため、従来の色補正方法では、色ずれが強調されてしまうという問題があった。

[0006] この発明は、力かる問題を解決することを目的として、補正行列に色ずれを補正するための平行移動成分を設けることにより、色ずれを補正した後、色を領域毎に選択的に、かつ領域の境界力連続的に色が変わる補正が可能となるように色補正を行うものである。

課題を解決するための手段

[0007] この発明に係る色補正方法は、入力された色信号ベクトルが、色信号平面の原点を通る領域境界線によって分割された色信号平面の領域の何れに属するかを判定し、上記色信号ベクトルが属すると判定された領域に対して予め設定してぉ、た補正行列を用いて、上記色信号ベクトルを変換することにより上記色信号ベクトルを補正する色補正方法にぉ、て、

上記補正行列として、平行移動を行う成分と線形変換を行う成分とを有する補正行列を用いるものである。

発明の効果

[0008] このように、この発明に係る色補正方法によれば、色補正を行う変換の際に線形変換を行う成分に加えて、平行移動を行う成分を含むように構成したので、色ずれを防止するような変換を行うことが可能である。

図面の簡単な説明

[0009] [図 1]この発明の実施の形態 1による色補正装置の構成を示すブロック図である。

[図 2]この発明の実施の形態 1による色平面領域の例を示す図である。

[図 3]色信号の表現形式と彩度の算出方法の対応関係を示す図である。

[図 4]この発明の実施の形態 2による色平面領域の例を示す図である。

[図 5]この発明の実施の形態 3による色平面領域の例を示す図である。

符号の説明

[0010] 1 輝度，色差変換部、

2 色領域判定部、 3 第 1の境界の信号補正部、

4 第 2の境界の信号補正部、

5 補正統合部、

6 補正修正部。

発明を実施するための最良の形態

[0011] 実施の形態 1.

図 1はこの発明の実施の形態 1による色補正装置を示す構成図である。図 1におヽて、色補正装置は、輝度'色差変換部 1、色領域判定部 2、第 1の境界の信号補正部 3、第 2の境界の信号補正部 4、補正統合部 5、補正修正部 6から構成されている。このうち、色領域判定部 2は、色領域判定手段を構成する部位に相当する。第 1の境界の信号補正部 3、第 2の境界の信号補正部 4、補正統合部 5は信号補正手段を構成する部位に相当する。次に動作について説明する。

[0012] 輝度'色差変換部 1は、撮像素子カゝら得られる RGB信号を YCbCr、 YUV、 L * a

* b *、 L * u *v*、 HSVのいずれかの輝度信号と色信号へ変換する。以下において、輝度 ·色差変換部 1が RGB信号を YCbCr信号に変換した場合にっヽて説明する。

[0013] 色領域判定部 2は、色領域判定手段に相当する部位であって、色信号の存在する領域を判定する。ここで色領域判定部 2における色領域判定の方法について、図を用いて説明する。図 2において、いま CbCr平面の原点を起点とする 4つの領域境界線 101、 102、 103、 104を設ける。そしてこの領域境界線によって、 CbCr平面を図に示すように領域 201、領域 202、領域 203、領域 204に分割する。

[0014] さらに、原点から領域境界線 101の方向に向力うベクトルを u、原点から領域境界線 102の方向に向力ベクトルを u、原点力も領域境界線 103の方向に向力うべタト

2

ルを u、原点力も領域境界線 104の方向に向力ベクトルを uとする。このようなベタ

3 4

トル U 、 U 、 U 、 Uを、各領域を規定するベクトル、と呼ぶこととする。すなわち、ベタト

1 2 3 4

ル u 、 uは領域 201を規定するベクトルであり、 u 、 uは領域 202を規定するベクトル

1 2 2 3

、さらに u 、 uは領域 203を規定するベクトルであり、 u 、 uは領域 204を規定するべ

3 4 4 1

ク卜ノレ、と！/、うことになる。 [0015] uを領域境界線 102の方向に 90° 回転させたベクトルを u 、 u2を領域境界線 10

1 12

1の方向に 90° 回転させたベクトルを u と表すこととすると、ある色信号ベクトル x=

21

(Cb， Cr)^Tが領域 201に存在する場合、ベクトル Xとベクトル u 、u との内積は式（1

12 21

)を満たす。

[数 1] w₁₂ ' > 0 かつ w₂₁ ' > 0 ( i ) となる。同様に、ベクトル Xが領域 202に存在する場合、

[数 2] w₂つ · > 0 かつ w₃つ · > 0 ( 9 ^ となる。ベクトル Xが領域 203に存在する場合は

[数 3]

W₃₄ · > 0 かつ W₄₃ · > 0 ( 3 ) となる。ベクトル Xが領域 204に存在する場合は

画

U_4l - X > 0 かつ W_{1 4} + > 0 ( 4 ) なお、上記において、 Tはベクトルの転置を表す。

[0016] このように、色領域判定部 2は領域 201、 202、 203、 204を規定する各ベクトルに対する直交ベクトルと色信号ベクトルとの内積を求めておき、このようにして得られた内積が式（1)力も式 (4)までの、ずれかの条件を満たすかを順次判定して、き、色信号ベクトルが存在する領域を判定する。最終的に、色領域判定部 2は色信号べタトル Xが存在する領域を識別する情報として、 u、 u、 u、 uのうちのいずれか 2つの領

1 2 3 4

域規定ベクトルを第 1の領域規定ベクトルと第 2の領域規定ベクトルとして出力する。第 1の領域規定ベクトルは第 1の境界の信号補正部 3に入力され、第 2の領域規定べタトルは第 2の境界の信号補正部 4に入力される。 [0017] 続いて、第 1の境界の信号補正部 3と第 2の境界の信号補正部 4は、色領域判定部 2により求めた 2つの領域規定ベクトルに基づいて、入力された輝度信号 Yと色信号 CbCrの補正を行う。ここで、第 1の領域規定ベクトルを u、第 2の領域規定ベクトルをひ o

uとし、 u、 uに対する補正行列を A、 A、さらに色補正行列 A、 Aで補正した結果をそれぞれ (Y , Cb , Cr )、（Y , Cb , Cr )とする。第 1の境界の信号補正部 3と第 2の境界の信号補正部 4は式 (5)及び式 (6)に示すような演算を行って輝度信号 Yと色信号 CbCrとを補正する。

[数 5]

，

、 1 J

[0018] なお、式（5)にお!/、て、 Aは式（7)によって与えられる。また式（7)の添え字 iを jに置き換えたものが Aである。

[数 6] ヽ

ノ

[0019] 式 (7)にお、て、色補正行列の各成分は、線形変換を行う行列成分と平行移動を行う行列成分 V力構成されて、る。このような変換はァフィン変換として知られて!、るものである。線形変換を行うの各成分は撮像素子の色フィルタの特性と記憶色に再現するための補正量より決定されるものである。平行移動を行う Vの各成分は

、無彩色のずれに応じて補正量を決定されるものである。

[0020] 補正統合部 5は、第 1の境界の補正部 3による補正結果と、第 2の境界の補正部 4 による補正結果とを、信号べ外ルと領域境界線との距離関係に基づいて重み付けし統合する。具体的には、第 1の境界の補正部 3による補正結果を TD ' = (Y '， Cb ', Cr ')^τ、 ρ ' =(Υ ', Cb ', Cr ')^τとし、ベクトル χが存在する領域を規定する領域境界線とベクトル Xとの距離を h、 hとして、式 (8)に示す合成を行い、合成結果となる信号べクトル p =(Y , Cb , Cr )^τを得る。

[数 7]

[0021] 式 (8)において、距離 ^は式（9)により算出される。

[数 8]

[0022] 補正修正部 6は、輝度信号と彩度とが所定の値域内に含まれる場合に、補正統合部 5が式 (8)を用いて算出した補正結果 pを最終的な補正結果として採用し出力する。さらに輝度信号と彩度とが所定の値域に含まれない場合には、入力信号ベクトル p = (Y, Cb, 0^における補正結果 pの寄与の程度を調整し調整後の値を最終的な補正結果として出力する。

[0023] これらの処理を具体的に説明するならば、次のようになる。すなわち、補正修正部 6 は彩度 Cを式（10)に基づいて算出する。

[数 9] C = cb² +Cr² (1 0；

[0024] 補正修正部 6は、彩度 Cが CIを下限値、 C2を上限値とする所定の値域に含まれる力どうかを判定する。なお Cl、 C2は CCDなどの撮像素子の SZN比力も予め設定された値である。さらに補正修正部 6は、判定結果に基づいて式（11)力も式（13)に示すように係数 kを決定する。

s

[数 10]

0≤C<C 1の場合 (1

C 1≤C≤C 2の場合： (1

C 2 <C≤CMAXの場合 (1 3

[0025] ここで、式（12)が適用される場合が、所定の値域内に彩度 Cが含まれる場合に相当する。また式（11)が適用される場合とは、彩度 Cが低すぎてこの値域に含まれない場合である。さらに式（13)が適用される場合とは、彩度 Cが高すぎてこの値域に含まれない場合である。なお、式（13)において、 CMAXは彩度の最大値である。

[0026] そして補正修正部 6は、このように決定した係数 kを用いて、式（14)により p 'を算 s s 出する。

[数 11] p_s、二 ^xp_s ⁺ (}—^k _s ^xP (14；

[0027] 続いて補正修正部 6は、式（14)によって算出された p 'を輝度信号 Yに基づいて補 s

正する。そのために補正修正部 6は、まず輝度信号 Yが Y1を下限値、 Y2を上限値とする所定の値域に含まれるかどうかを判定する。なお Yl、 C2は CCDなどの撮像素子の SZN比から予め設定された値である。さらに補正修正部 6は、判定結果に基づ V、て式（ 15)力式（ 17)に示すように係数 kを決定する。 [数 12]

0≤Ύ<Υ 1の場合： ⁼ Ϊ^Τ (15)

Y 1≤Y≤Y 2の場合： =丄 (16)

- _ ΥΜΑΧ-Υ

Υ 2 <Υ≤ΥΜΑΧの場合： = Yj^, V _γ2 7)

[0028] ここで、式（16)が適用される場合が、所定の値域内に輝度信号 Υが含まれる場合に相当する。また式（15)が適用される場合とは、輝度信号 Υが低すぎてこの値域に含まれない場合である。さらに式（17)が適用される場合とは、輝度信号 Υが高すぎてこの値域に含まれない場合である。なお、式（17)において、 ΥΜΑΧは輝度信号の最大値である。

[0029] そして補正修正部 6は、このように決定した係数 kを用いて、式（18)により p〃を算

y y 出する。

[数 13]

[0030] これまで、輝度 ·色差変換部 1において、 RGB信号を YCbCrの輝度と色信号に変換した場合で説明を行ったが、 YUV、 L*a*b*、L*u*v*、 HSVなど、他の表現形式を用いてもよい。それぞれの表現形式への変換を行った場合、彩度は、図 3〖こ示す表のように表現される。それぞれの表現形式において、同様な補正処理を行い、彩度や輝度に対して、補正抑制処理を行うことで、補正を行うことが可能である。

[0031] 以上のように、この発明の実施の形態 1による色補正方法では、平行移動の成分を持つ補正行列を用いることにより、色ずれを補正し、色補正を行うことができる効果がある。

[0032] また、色領域を分割する境界線との距離の重み付けを用いることにより、境界からなめらかに色が変化する色補正を実現できる効果がある。さらに、輝度と彩度の大きさを用いて補正後の信号と補正前信号との比をとることにより、輝度や彩度が低い信号に対する補正を調整し、 SZN比の増加を抑えることができる効果がある。

[0033] なお、この実施の形態 1にお、ては、 CbCr平面を 4つの領域に分割する例を示したが、領域の分割数は 4に限定されるものではなぐ任意の数であってよい。

[0034] 実施の形態 2.

実施の形態 1にお、て補正統合部 5は、入力ベクトル Xが存在する CbCr平面の領域を規定する領域境界線とべ外ル Xとの距離を算出し、算出された距離に基づく重み付けを行うことで、領域境界における補正結果の連続性を実現した力重み付けに用いる距離を算出するためには、平方根を求める演算を行う必要があり、計算負荷が高い場合が生ずる。そこで実施の形態 2においては、平方根演算を行わなくても、実施の形態 1と等価な重み付け演算を行うことのできる色補正装置について説明する。

[0035] ここで、図 4を参照し、実施の形態 2の補正統合部 5の処理について説明する。なお、その他の部位の構成に関しては実施の形態 1の色補正装置と同様であるものとし、それぞれの構成要素に関する説明は省略する。図 4において、色信号ベクトル Xは領域 201にあり、色信号ベクトルの端点を P、端点 Pから領域境界線 101、 102におろした垂線の足を Hl、 H2とし、さらに Pを通過する直線 210を考え、直線 210と領域境界線 101、 102との交点を U、 Vとする。

[0036] CbCr平面の原点 Oと交点 U、 Vとの距離 (線分 OUと線分 OVの長さ）が等しくなるような直線 210を考えると、三角形 OUVは二等辺三角形となるから、 OUV= ZO VUとなる。さらに Hは P力も領域境界線 101におろした垂線の足であり、 Hは Pから

1 2 領域境界線 102におろした垂線の足であるから、 PH U= ZPH Vである。したが

1 2

つて三角形 PH Uと三角形 PH Vは相似となる。

1 2

[0037] ここで、各点の水平座標を添え字 Xで表し、垂直座標を添え字 yで表すこととする。

すなわち、 P、 U、 Vの座標を (P , P )、（U , U )ゝ（V , V )と表わす。この場合、

[数 14]

PU PV 二 P x U x P xV x = P yU y : P yV y ( 1 9：となる。ここで、 U、 U、 V、 Vは式（20)で与えられる。

[数 15] ひ— =— ^P y _ ^Py^k

U

k ん wl

( 2 0；

ただし、 k、k、k 、k は式（21)で与えられる _c

[数 16]

1 ，

( 2 1

Kx 二 ^Ul _X — —^Uly Kl = ^U2 _y- _ ^U2y -

[0039] したがって、式 (8)の距離の重み係数は、式（22)のように計算される _c

[数 17]

( 2 2；

UP _びひ P

- y ^y

h_x + wつ uv び U y V y

[0040] 式（20)及び式（21)によって与えられる U、U、 V、 V、k、k、k 、k は、領域の領域境界線が定まれば一意に決定できる値である。したがって、領域の分割方法を設定した際に、合わせてこれらの値についても計算し、その計算結果を記憶しておく。さらに色補正時に記憶された U、 U、 V、 Vを用いて式（22)で重み係数を計算すればよい。これによつて、平方根演算を行わなくても、重み係数を算出できるので、演算量を減らすことが可能となる。

[0041] 以上のように、この発明の実施の形態 2による色補正装置では、色信号平面を領域に分割する領域境界線と色信号の点との距離に応じて補正の程度を調整する上で、平方根演算を要する距離演算に替えて、色信号の点と領域境界線との幾何学的関係に基づく加減算の組み合わせのみで重み係数を算出することとしたので、演算量を削減できる。

[0042] 実施の形態 3.

ここで、図 5を参照し、実施の形態 3の補正統合部の処理について説明する。色信号ベクトル Pが領域境界線 101と領域境界線 102によって分割される領域 201に存在する場合に、色信号ベクトル Pを領域境界線 101と領域境界線 102にそれぞれ平行なベクトルに分解する。これらのベクトルの始点を原点 Oとした場合の終点をそれぞれ P、 Pとすれば、 Pは領域境界線 101上の点、 Pは領域境界線 102上の点とな

1 2 1 2

り、四角形 OP PPは平行四辺形となる。

1 2

[0043] したがって、

[数 18]

ΟΡ =ΡΡ₂, ΟΡ₂ =ΡΡ_} (23) となる。

[0044] 点 Ρから領域境界線 101と領域境界線 102におろした垂線の足をそれぞれ Η、 Η

1 2 とすれば三角形 ΡΗ Ρと三角形 ΡΗ Ρは相似となることから、

1 1 2 2

[数 19]

ΡΗ~₂ =ΡΡ ΡΡ_{2 (24)}

[0045] したがって、式（8)の距離の重み係数は

[数 20] OP_x + ΟΡ₂

( 2 5；

OP, + OP₂ となる。

ここで、領域境界線 101を規定するベクトルを u =(u , u )^T、領域境界線 102を

1 lx ly

規定するベクトルを u =(u , u )^Tとすると、線分 OPl、OP2の長さは式（26)、式（2

2 2x 2y

7)で与えられる。

[数 21]

：

[0047] ただし、式（26)、式（27)にお!/、て Dは、

[数 22]

^D = ^U _X ^U2y - ^U2_X ( 2 8 である。

[0048] 式（28)にお、て Dは、領域を規定する方向ベクトルが決まれば、一意に決まる数であるため、領域分割を設定する際に同時に設定する力一度計算で求めておけば、演算量を減らすことが可能である。

[0049] 以上のように、この発明の実施の形態 3による色補正方法では、色領域を分割する境界線との距離の重み付けを、色信号の位置ベクトルを、隣接する境界線の 2方向に分解し、各方向のベクトルの大きさを重み付け係数として用いることにより、距離の計算において平方根の演算を行う必要がなくなり、演算量の削減を行うことができる効果がある。

[0050] 実施の形態 4

実施の形態 1における色領域判定部 2において、色相方向の境界を方向ベクトルにより規定し、方向ベクトルの直交ベクトルを求めておき、この直交ベクトルと色信号ベクトルとの内積の結果により、色相における色領域を判定していた。しかしこの他にも、色信号ベクトルと方向ベクトルの内積により、色領域の判定を行うようにしてもよい

[0051] 色領域を規定する方向ベクトル u , uのなす角を Θとし、それぞれのベクトルと色信号ベクトル Xのなす角を α、 βとすると、 (X < Θでかつ β < Θを満たす場合に色信号ベクトル Xが u, uにより設定される領域内に存在することになる。ここで、ひ、、 0は

180° よりも小さい角となるから、 cos αく cos 0力つ cos β <cos Θが成立する。これより、

[数 23] x.u. _i - U

I ¹ J

力つ (29；

X U

[0052] したがって、

[数 24]

X-U, X .u i

U < u_t■u_J かつ ^J u < u. - u.

¹ J (30)

X X

[0053] 式（30)による条件が成立する場合、色信号ベクトル Xが u、 uにより規定される境界に存在することになる。したがつてこの条件が成立するかどうか判定することで、直交ベクトルを求めなくても色領域の判定が可能である。

産業上の利用可能性

[0054] この発明は、例えば、デジタルカメラを初めとする撮像装置やその撮像結果である画像データの補正を行う上で広く適用することができる。

Claims

請求の範囲

[1] 入力された色信号ベクトルが、色信号平面の原点を通る領域境界線によって分割された色信号平面の領域の何れに属するかを判定し、上記色信号ベクトルが属すると判定された領域に対して予め設定してお!、た補正行列を用いて、上記色信号べタトルを変換することにより上記色信号ベクトルを補正する色補正方法において、上記補正行列として、平行移動を行う成分と線形変換を行う成分とを有する補正行列を用いることを特徴とする色補正方法。

[2] 入力された色信号ベクトルが、色信号平面の原点を通る領域境界線によって分割された色信号平面の領域の何れに属するかを判定し、上記色信号ベクトルが属すると判定された領域に対して予め設定してお!、た補正行列を用いて、上記色信号べタトルを変換することによりこの色信号ベクトルを補正する色補正装置において、上記補正行列として、平行移動を行う成分と線形変換を行う成分とを有する補正行列を用いて上記色信号ベクトルをァフィン変換することにより補正結果の色信号べクトルを得る信号補正手段を備えた、

ことを特徴とする色補正装置。

[3] 請求の範囲第 2項に記載の色補正装置において、

入力された色信号ベクトルが、色信号平面の原点を通る領域境界線によって分割された色信号平面の領域の何れに属するかを判定し、上記色信号ベクトルが属すると判定された領域を分割する第 1の領域境界線と第 2の領域境界線とを出力する色領域判定手段を備え、

信号補正手段は、平行移動を行う成分と線形変換を行う成分とを有する補正行列として第 1の領域境界線の補正行列と第 2の領域境界線の補正行列とを用いて上記色信号ベクトルを変換し、第 1の領域境界線の補正行列による一次変換結果と第 2の領域境界線の補正行列による変換結果とを統合して補正結果の色信号ベクトルを得ることを特徴とする色補正装置。

[4] 請求の範囲第 2項に記載の色補正装置において、

信号補正手段は、第 1の領域境界線の補正行列による変換結果と第 2の領域境界線の補正行列による変換結果とを、入力された色信号ベクトルが属すると判定された色信号平面の領域の境界線と上記色信号ベクトルとの距離関係に基づく重み付けを行って統合し、補正結果の色信号ベクトルを得ることを特徴とする色補正装置。