WO2006030519A1

WO2006030519A1 - 顔認証装置及び顔認証方法

Info

Publication number: WO2006030519A1
Application number: PCT/JP2004/013666
Authority: WO
Inventors: Shoji Tanaka
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2004-09-17
Filing date: 2004-09-17
Publication date: 2006-03-23
Also published as: CN101023446A; CN101023446B; US20080080744A1; JPWO2006030519A1

Abstract

　特徴量抽出用画像生成手段２は、入力された画像から、各画素値に所定の演算を施した特徴量抽出用画像を生成する。顔検出手段３および両目検出手段４は、特徴量抽出用画像に基づいて顔検出および両目検出を行う。特徴量取得手段６は、両目の位置に基づいて正規化した画像から特徴量を抽出する。顔認証手段１０は、特徴量取得手段６で取得された特徴量と、予め登録された特徴量とを比較することにより、顔認証を行う。

Description

明細書

顔認証装置及び顔認証方法

技術分野

[0001] この発明は、顔を撮影した画像から顔領域を抽出し、この顔領域の画像と、予め登録したデータと比較して認証を行う顔認証装置及び顔認証方法に関するものである背景技術

[0002] 従来の顔認証装置では、装置に入力された顔画像から顔領域を検出する際、眉間を中心とする円心の画素の画素値をフーリエ変換し、周波数 2となる領域を顔領域として求めていた。また、顔認証を行う際に Zernike (ゼル -ケ)モーメントを用いて抽出した特徴量を用いてヽた (例えば、特許文献 1参照)。

[0003] 特許文献 1：特開 2002-342760号公報

[0004] し力しながら、上記従来の顔認証装置では、顔領域を検出する際に眉間を中心とする円心の画素の画素値をフーリエ変換し、周波数 2となる領域を顔領域としていたため、例えば、眉が髪の毛で覆われているような画像の場合顔領域を正確に求めることが困難であった。

[0005] また、顔画像認証可能な場合であっても、認証を行う際に用いる Zernikeモーメントを求める際に複雑な演算を必要とする等、演算量が多ぐ例えば演算能力に制限を有する携帯電話や PDA (Personal Digital Assistants)では計算コストが高ぐリアルタィム処理を実現することが困難であるといった問題があった。

[0006] この発明は上記のような課題を解決するためになされたもので、種々の顔画像であつても正確に顔領域を抽出することができ、かつ、演算量を少なくすることのできる顔認証装置及び顔認証方法を得ることを目的とする。

発明の開示

[0007] この発明に係る顔認証装置は、入力された画像に対して各画素値に所定の演算を施した特徴量抽出用画像を生成する特徴量抽出用画像生成手段と、特徴量抽出用画像から、顔領域を検出する顔検出手段と、特徴量抽出用画像から、両目の位置を検出する両目検出手段と、両目の位置に基づ!/、て顔領域を正規化した画像から特徴量を抽出する特徴量取得手段と、予め登録された個人の特徴量と、特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えたものである。

[0008] このことによって、顔認証装置としての信頼性向上と、演算量の削減ィ匕を図ることができる。

図面の簡単な説明

[0009] [図 1]この発明の実施の形態 1による顔認証装置を示すブロック図である。

[図 2]この発明の実施の形態 1による顔認証装置の動作を示すフローチャートである

[図 3]この発明の実施の形態 1による顔認証装置の原画像と積分画像との関係を示す説明図である。

[図 4]この発明の実施の形態 1による顔認証装置の画像を分割して処理する方法を示す説明図である。

[図 5]この発明の実施の形態 1による顔認証装置のレクタンダルフィルタの説明図である。

[図 6]この発明の実施の形態 1による顔認証装置の画素値合計を求める処理の説明図である。

[図 7]この発明の実施の形態 1による顔認証装置の積分画像を分割して求めた際の矩形内の画素値合計を求める処理の説明図である。

[図 8]この発明の実施の形態 1による顔認証装置の顔領域を検出する際に検出対象とする探索ブロックの説明図である。

[図 9]この発明の実施の形態 1による顔認証装置の顔領域検出処理を示すフローチヤートである。

[図 10]この発明の実施の形態 1による顔認証装置の顔領域検出結果を示す説明図である。

[図 11]この発明の実施の形態 1による顔認証装置の両目探索の説明図である。

[図 12]この発明の実施の形態 1による顔認証装置の目領域の探索動作の説明図である。 [図 13]この発明の実施の形態 1による顔認証装置の正規ィ匕処理の説明図である。

[図 14]この発明の実施の形態 1による顔認証装置の特徴量データベースの説明図である。

発明を実施するための最良の形態

[0010] 以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。

実施の形態 1.

図 1は、この発明の実施の形態 1による顔認証装置を示すブロック図である。

[0011] 本実施の形態の顔認証装置は、画像入力手段 1、特徴量抽出用画像生成手段 2、顔検出手段 3、両目検出手段 4、顔画像正規化手段 5、特徴量取得手段 6、特徴量格納手段 7、特徴量抽出用画像格納手段 8、特徴量データベース 9、顔認証手段 10 を備えている。

画像入力手段 1は、画像を入力するための機能部であり、例えば、携帯電話や PD A等に搭載されたデジタルカメラや、外部メモリ等で入力された画像、インターネット等力通信手段を用いて取得する取得手段等力もなるものである。

[0012] 特徴量抽出用画像生成手段 2は、画像入力手段 1で入力された画像に対して各画素値に所定の演算を施した特徴量抽出用画像を取得する手段である。特徴量抽出用画像とは、例えば積分画像であるが、その詳細については後述する。

顔検出手段 3は、特徴量抽出用画像生成手段 2で取得された特徴量抽出用画像に基づいて、所定の手法により顔領域を検出する機能部である。両目検出手段 4は、顔検出手段 3と同様の手法により、顔領域中から両目領域を検出する機能部である。顔画像正規化手段 5は、両目検出手段 4で検出された両目の位置に基づいて顔認証の対象となる画像サイズに顔領域を拡大縮小する機能部である。特徴量取得手段 6は、正規ィ匕した顔画像力顔認証のための特徴量を取得する機能部であり、特徴量格納手段 7は、その特徴量を特徴量データベース 9や顔認証手段 10に送出する機能部である。

[0013] 特徴量抽出用画像格納手段 8は、特徴量抽出用画像生成手段 2で取得された特徴量抽出用画像を格納する機能部であり、顔検出手段 3—特徴量取得手段 6は、この特徴量抽出用画像格納手段 8に格納された特徴用抽出用画像に基づいて各種の処理を行うよう構成されている。また、特徴量データベース 9は、顔検出手段 3が使用するための顔の特徴量、両目検出手段 4が使用するための目の特徴量および顔認証手段 10が使用するための各人の特徴量を格納するデータベースである。更に、顔認証手段 10は、特徴量取得手段 6で取得された認証対象となる特徴量と、特徴量データベース 9に予め登録された各人の顔の特徴量データとを比較して顔認証を行う機能部である。

[0014] 次に、本実施の形態の顔認証装置の動作について説明する。

図 2は、動作を示すフローチャートである。

先ず、画像入力手段 1において画像を入力する (ステップ ST101)。ここでは、携帯電話や PDAなどに装備されたデジタルカメラで撮影された画像、外部メモリ等で入力された画像、インターネット等力通信手段を用いて取得した画像等、携帯電話や PDA等に入力可能な全ての画像を対象とする。

[0015] 次に、特徴量抽出用画像生成手段 2において特徴量抽出用画像を求める (ステツプ ST102)。ここで、特徴量抽出用画像とは、顔検出、両目検出、顔認証でそれぞれの特徴を抽出するために用いる Rectangle Filter (レクタングルフィルタ）と呼ばれるフィルタで画像をフィルタリングする際に用いられる画像であり、例えば、図 3に示すように X, y座標の座標軸方向（水平垂直方向）に画素値の累計を求めた積分画像である。

[0016] 積分画像は次式で求めることができる。

グレースケールの画像を I (x, y)とすると、積分画像 Γ (X, y)は次式で表現する。

[数 1]

∑ ∑ ,ノ) 図 3は、特徴量抽出用画像生成手段 2で原画像を積分画像に変換した結果を示す説明図である。

例えば、原画像 11を積分画像に変換した場合は、積分画像 12のようになる。即ち、原画像 11の各画素値に対応した積分画像 12の演算値は、原画像 11の各画素値を図面左上の画素値力水平垂直方向に加算した値となって、る。

積分画像は、グレースケール画像を対象として求められるため、カラー画像に対しては、画素値を一度次式で変換して力積分画像を求める。

カラー画像の各画素の R成分、 G成分、 B成分を Ir, Ig, lbとすると、グレースケール Iは、例えば次式を用いて求められる。尚、 RGB各成分の平均値を求めても良い。 I(x,y)=0.2988I (x,y)+0.5868I (x,y)+0.11441 (x,y)

r g b

[0017] ここで、画像入力手段 1において、入力する画像サイズが例えば 300万画素などの大きなサイズであった場合、積分画像の各画素値を表現するために用いる整数型のデータでは表現できない場合がある。つまり、積分値が整数型のデータサイズをォーバーフローしてしまう場合がある。そのため、本実施の形態ではこのような場合を考慮し、オーバーフローしない範囲で画像を次のように分割し、分割した各部分画像の積分画像を求める。

[0018] 尚、本実施の形態では、積分画像 12は、原画像 11の画素値をそのまま累計した値であるが、原画像 11の各画素値を自乗した値の積分画像であっても同様に適用可能である。但し、この場合は、積分値が整数型のデータサイズをオーバーフローしなヽために、分割は更に細力ゝ、（分割画像が小さヽ)ものとなる。

[0019] 図 4は、画像を分割して処理する方法を示す説明図である。

図において、 13— 16は、分割された画像を示し、 17— 19は探索ウィンドウが分割された画像同士とオーバラップするケースを示している。

このように、本実施の形態では、分割した各部分画像 13, 14, 15, 16で積分画像を求める。この場合、合計値を求める矩形が複数の分割画像に跨ってしまう場合があり、その場合は、縦方向に異なる場合 18、横方向に異なる場合 17、四つの分割画像に異なる場合 19の三つの場合が考えられる。これらのそれぞれの場合における処理方法は後述する。

[0020] 以上で積分画像を求めた後、顔検出手段 3において画像力顔領域を検出する（ステップ ST104)。

本実施の形態の顔認証装置では、人間の顔の特徴、目の特徴、顔の個人差の特徴を全て図 5に示す Rectangle Filter20を複数用いて画像をフィルタリングした後のレスポンス値の組み合わせによって表現する。

[0021] 図 5に示す Rectangle Filter20は、固定サイズの検索ブロック内、例えば 24 X 24画素のブロック内で白い矩形内の画素値合計からハッチングされた矩形内の画素値合計を引き算した値を求めるものである。

つまり、次式で表現した値を Rectangle Filter20のレスポンスとする。

[数 2] =∑/( ， J -∑ ， _Λ) ここで、 I (x , y )は、白い矩形内の画素値合計、 I (x , y )は、ハッチング矩形内の

w w b b

画素値合計を示している。

尚、図 5に示した Rectangle Filter20は基本的なものを示したものであり、実際には、探索ブロック内で位置および大きさが異なる複数の Rectangle Filter20が存在する。

[0022] 顔検出手段 3では、人物の顔を検出するのに適した複数の Rectangle Filterを用いてフィルタリングした複数のフィルタリングレスポンス値に応じて重み付けし、重み付けした値の線形和が閾値よりも大きいか否かによって探索ブロックが顔領域力否かを判定する。つまり、フィルタリングレスポンス値に応じて付与される重みが顔の特徴を表すものであり、この重みは事前に学習アルゴリズムなどを用いて獲得しておく。

つまり、以下の判別式で識別する。

[数 3]

F = Y RFw,

F > th \ Face

F≤th nonFace 但し、 RFwは、 Rectangle Filterレスポンスに対する重み、 Fは重みの線形和、 thは顔判定閾値を示している。

以上の通り、顔検出手段 3では、探索ブロック内での各矩形の画素値合計に基づいて顔検出を行う。このとき、画素値合計演算を効率的に行うための手段として特徴量抽出用画像生成手段 2で求めた積分画像を用いる。

例えば、図 6に示すように、領域 21内の ABCDで囲まれた矩形内の画素値合計を求める場合、積分画像を用いれば矩形内の画素値合計は次式で求めることができる

[0024] S=Int(x ,y )— Int(x ,y )— Int(x ,y )+Int(x ,y )

d d b b c c a a

Int(x ,y ) :点 Dにおける積分画素値

d d

Int(x ,y ) :点における積分画素値

b b

Int(x ,y ) :点 Cにおける積分画素値

Int(x ,y ) :点 Aにおける積分画素値

a a

このように、一度積分画像を求めておけば、矩形内の画素値合計は 4点の演算のみで求めることができ、効率的に任意の矩形内の画素値合計を求めることが可能である。また、積分画像 12の積分画素値も整数で表されているため、このような積分画像 12を用いて各種の処理を行ってヽる本実施の形態の顔認証処理は全て整数演算で行うことが可能である。

[0025] ここで、先に述べたように、画像を分割して積分画像を求めた場合に、図 4における 17— 19に示すように複数の分割画像と重なって画素値合計を求めなければならない場合がある。

重なりのパターンとしては、前述の通り、縦方向に重なっている場合 18、横方向に重なっている場合 17、四つの分割画像と重なっている場合 19に分けられる。

[0026] 図 7は、三つの重なりのパターンのケースを示す説明図である。

先ず、縦方向に重なっているケースで、図中の 22に示すように ABEF内の画素値合計を求める場合は、次式で求めることができる。

S=Int(x ,y )+Int(x ,y )— (Int(x ,y )+Int(x ,y ))+Int(x ,y )+Int(x ,y )— (Int(x ,y )+Int(x ,y )) d d a a b b c c f f c c e e d d

Int(x ,y ) :点 Dにおける積分画素値

d d

Int(x ,y ) :点における積分画素値

b b

Int(x ,y ) :点 Cにおける積分画素値

Int(x ,y ) :点 Aにおける積分画素値

a a Int(x ,y ) :点 Eにおける積分画素値

e e

Int(x ,y )：点 Fにおける積分画素値

f f

[0027] 横方向に重なっている場合も上記同様に求めることができる。例えば図 7の 23における ABEFち次式で求めることができる。

S=Int(x ,y )+Int(x，y )-(Int(x ,y )+Int(x ,y ))+Int(x ,y )+Int(x ,y )— (Int(x ,y )+Int(x ,y )) d d a a b b c c f f c c e e d d

Int(x，y ):点 Dにおける積分画素値

d d

Int(x，y ) :点における積分画素値

b b

Int(x，y ) :点 Cにおける積分画素値

Int(x，y ) :点 Aにおける積分画素値

a a

Int(x，y ) :点 Eにおける積分画素値

e e

Int(x ,y )：点 Fにおける積分画素値

f f

[0028] 四つの分割画像と重なっている場合は、各分割画像に重なっている部分の画素値合計を足し合わせればよい。例えば、図 7の 24に示すように矩形 AGEIの画素値合計を求める場合は、次式で求めることができる。

[0029] S=Int(x ,y )+Int(x ,y )-(Int(x ,y )+Int(x ,y ))+Int(x ,y )+Int(x ,y )-(Int(x ,y )+Int(x ,y

a a d d b b c c c c f f d d e e

))+Int(x ,y )+Int(x ,y )-(Int(x ,y )+Int(x ,y ))+Int(x ,y )+Int(x ,y)-(Int(x ,y )+Int(x ,y )) b b h h d d g g d d i i f f h h

Int(x，y ) :点 Dにおける積分画素値

d d

Int(x ,y ) :点における積分画素値

b b

Int(x，y ) :点 Cにおける積分画素値

Int(x，y ) :点 Aにおける積分画素値

a a

Int(x ,y ) :点 Eにおける積分画素値

e e

Int(x ,y )：点 Fにおける積分画素値

f f

Int(x，y ):点 Gにおける積分画素値

g

Int(x，y ) :点 Hにおける積分画素値

h h

Int(x ,y) :点 Iにおける積分画素値

[0030] 次に、通常、上記顔特徴量抽出のために使用する探索ブロックは例えば 24 X 24 画素などのように固定されており、顔特徴量を学習する際はその探索ブロックサイズの顔画像を学習している。し力しながら、画像力任意の大きさで撮影された顔領域を、サイズが固定された探索ブロックを用いて検出することは不可能である。この問題を解決するためには、画像を拡大縮小して複数の解像度画像を作成するか、あるいは探索ブロックを拡大縮小するかのいずれかの方法があり、どちらの方法を用いても良い。

[0031] 本実施の形態では、積分画像を複数解像度に合わせて求めた場合、メモリ効率が悪いため、探索ブロックを拡大縮小する。つまり、次のように、探索ブロックを一定の拡大縮小率で拡大することによって任意の大きさの顔領域が検出可能となる。

図 8は、顔領域を検出する際に検出対象とする探索ブロックの説明図である。

図中の探索ブロック 25の拡大縮小によって顔領域を検出する動作は次の通りである。

[0032] 図 9は、顔領域検出処理を示すフローチャートである。

先ず、拡大縮小率 Sを 1. 0とし、等倍の探索ブロックからスタートする (ステップ ST2 01)。

顔検出は、探索ブロックを縦横一画素ずつ移動しながら探索ブロック内の画像が顔領域か否かを判定し、顔領域であればその座標を記憶する (ステップ ST202—ステップ ST209)。

先ず、 Rectangle Filter内の矩形座標に拡大縮小率 Sをかけたときの新たな矩形座標（矩形を構成する頂点の座標）を求める (ステップ ST204)。

[0033] ここで、単純に各座標値に拡大縮小率 Sをかけただけでは、丸め誤差が生じて正しい座標値を求めることができない。よって、探索ブロックを拡大縮小したときの各矩形座標は次式で求める。

[数 4]

- top)

(S - height)

height width 尚、上記計算式において、 topは矩形の左上 Y座標、 leftは矩形の左上 X座標、 he ightは矩形の高さ、 widthは矩形の幅、 Sは拡大縮小率、 rc, ccは矩形のオリジナル頂点座標、 rn, cnは変換後の頂点座標である。

上記計算式は、矩形座標に依存せず、常に矩形の大きさを一定に保っために必要なものである。

[0034] 以上で求めた座標を基に特徴量抽出用画像格納手段 8に格納されてヽる積分画像に基づいてフィルタレスポンスを求める（ステップ ST205)。このフィルタレスポンスは矩形が拡大されているため、学習時に用いた探索ブロックサイズでの値より拡大縮小率だけ大きくなつている。

よって、次式で示すようにフィルタレスポンスを拡大縮小率で割ることによって学習時と同じ探索ブロックサイズで求めた場合の値が得られる (ステップ ST206)。

F=R/S

尚、 Fはレスポンス、 Rは拡大した矩形から求めたレスポンス、 Sは拡大率を示している。

[0035] 上記で求めた値からレスポンスに応じた重みを求め、全ての重みの線形和を求め、求めた値と閾値を比較することにより顔力否かを判定する (ステップ ST207)。顔であればそのときの探索ブロックの座標を記憶する。

画像全体を走査した後、拡大縮小率 Sに対して固定値、例えば 1. 25をかけて (ステツプ ST210)、新たな拡大縮小率をもってステップ ST202—ステップ ST209の処理を繰り返す。そして、拡大後の探索ブロックサイズが画像サイズを超えたときに処理を終了する（ステップ ST211)。

[0036] 上記の処理において、拡大縮小率を整数で表現し、例えば 1. 0を 100で置き換えて表現したとき、 100未満を小数として扱うことが可能となる。このときの計算は、掛け算の場合、計算後 100で割る。割り算の場、割られる数を 100倍して計算すればよい

。このように小数を用いな、で計算することが可能となる。

[0037] 以上で検出した顔領域は、前述の通り探索ブロックを 1ピクセルずつ移動させながら顔領域判定を行うため、顔の付近では複数の探索ブロックが顔領域と判定することにより記憶した顔領域矩形が重なり合う場合がある。

図 10は、これを示す説明図であり、顔領域の検出結果を示すものである。図中の複数の探索ブロック 25は、本来一つの領域であるので、矩形同士が重なり合って、る場合、その重なり合う割合に応じて矩形同士を統合する。

重なり合う割合は、例えば矩形 1、矩形 2が重なり合つている場合、次式で求めることがでさる。

i能形 1の面積 >矩形 2の面積

重なり率 =重なり部分の面積 Z矩形 1の面積

else

重なり率 =重なり部分の面積 Z矩形 2の面積

[0038] そして、重なり率が閾値よりも大きい場合に二つの矩形を統合し、一つの矩形にする。二つの矩形を統合する場合、各 4点の座標の平均値を求める力あるいは、座標値の大小関係力求めることができる。

以上で求めた顔領域から、次に両目検出手段 4で両目を検出する (ステップ ST10 5)。

顔検出手段 3で検出した顔領域から、人間の顔の特徴を考慮すれば、左目および右目がどの位置に存在するかを予め予測することが可能である。

両目検出手段 4では、各目の探索領域を顔領域の座標から特定し、探索領域内に着目して目を検出する。

[0039] 図 11は、両目探索の説明図であり、図中、 26は左目探索領域、 27は右目探索領域を示している。

両目の検出もステップ ST104の顔検出と同等の処理で行うことができる。左目、右目それぞれの特徴を、例えば、目の中心が探索ブロックの中心となるようにして Rectangle Filterを用いて特徴量を学習させる。そして、顔検出のステップ ST201— ステップ ST211と同様に探索ブロックを拡大しながら目を検出する。

[0040] 目を検出する場合は、拡大後の探索ブロックサイズが各目の探索領域サイズを超えた場合に終了するように設定すればよい。ここで、目を探索する場合、顔検出手段 3のように探索領域の左上から走査することは非常に効率が悪い。それは、目の位置は、上記設定した探索領域の中心付近に存在する場合が多いためである。

そこで、探索ブロックの走査を中心力も外側に向けて走査するようにし、目が検出された時点で探索処理を中断することで処理を効率ィ匕できる。図 12は、目領域の探索動作の説明図である。

即ち、両目検出手段 4は、検出された顔領域における両目の探索範囲の中心から周辺に向力つて目の探索処理を行い、両目の位置を検出する。本実施の形態では、探索領域の中心力も周辺に向力つて渦巻状に探索している。

[0041] 次に、ステップ ST105において検出された両目の位置に基づいて顔画像を正規化する（ステップ ST106)。

図 13は、正規化処理の説明図である。

顔画像正規化手段 5は、両目検出手段 4で検出した両目の位置 28, 29から、顔認証に必要な画角となるように顔領域を拡大縮小したときの画像力も顔認証に必要な顔特徴量を抽出する。

ここで、正規化画像 30の大きさが例えば幅と高さが nwX nh画素で、左目の位置、右目の位置が正規ィ匕画像 30における座標 L (xl,yl) , R(xr,yr)と設定されている場合、検出した顔領域を設定された正規ィ匕画像通りにするためには以下の処理を行う。

[0042] 先ず、拡大縮小率を求める。

拡大縮小率 NSは、検出した両目の位置が DL (xdl.ydl) , DR(xdr,ydr)とすると次式で求めることができる。

NS = ((xr-xl+ l)²+(yr-yl+ l)²)/((xdr-xdl+ l)²+(ydr-ydl+ 1)²)

次に、求めた拡大縮小率と、正規化画像上で設定された左目、右目の位置の情報を用いて原画像における正規化画像の位置、つまり認証対象となる矩形位置を求める。

[0043] 正規ィ匕画像 30の左上座標、右下座標を左目の位置の相対位置で表現すると、 TopLeft(x,y)=(-xl,-yl)

BottomRight(x,y)=(nw-xl,nh-yl)

となる。

よって原画像における正規化画像 30の矩形座標は

矩开左上座標： OrgNrImgTopLeft(x,y)=(xdl-xl/NS,ydl-yl/NS)

矩形右上座標： OrgNrmImgBtmRight(x,y)=(xdl+(nw- xl)/NS,ydl+(nh- yl)/NS)

となる。 [0044] 以上で求めた認証対象領域から顔認証に必要な特徴量を顔認証用の Rectangle Filterを用いて抽出する。

このとき、顔認証用の Rectangle Filterは正規ィ匕画像サイズを想定して設計されているため顔検出同様 Rectangle Filter内の矩形座標を原画像における座標に変換し、画素値合計を積分画像に基づ、て求め、求めたフィルタレスポンスを上記で求めた拡大縮小率 NSをかけることで正規ィ匕画像サイズにおけるフィルタレスポンスを求めることができる。

[0045] 先ず、現画像における Rectangle Filterの矩形座標は、

OrgRgn(x,y)=(xdl+rx*NS , ydl+ry*NS)

となる。ここで rx,ryは正規ィ匕画像 30上での矩形座標である。

そして、ここで求めた矩形座標から積分画像の画素値を参照し、矩形内画素値合計を求める。

FRorgを原画像におけるフィルタレスポンス、 FRを正規化画像 30におけるレスポンスとした場合、

FR=FRorg*NS

となる。

[0046] 顔認証に必要な Rectangle Filterは複数あるので、複数の Rectangle Filterのレスポンスを求める（ステップ ST107)。顔を登録する際は、複数の Rectangle Filterのレスポンスを、特徴量格納手段 7によって特徴量データベース 9に格納する（ステップ ST 108、ステップ ST109)。

図 14は、特徴量データベース 9の説明図である。

特徴量データベース 9は、図示のように、登録 IDと特徴量データのテーブル構造となっている。即ち、正規化画像 30に対して複数の Rectangle Filter20のレスポンス 31 を求め、これらのレスポンス 31を、個人に対応した登録 IDに関連付けたものである。

[0047] 次に、顔認証手段 10で顔認証を行う処理（図 2におけるステップ ST110、ステップ ST111)を説明する。

顔認証は、入力画像から特徴量取得手段 6で抽出した特徴量と、特徴量データべース 9に格納された特徴量を比較することにより行う。具体的には、入力画像の特徴量を RFc、登録された特徴量を RFrとしたとき、特徴量間の差分に応じて次式の数 5の通り重みを与える。

[数 5]

RFc,― RFr_{t :} > tn→ w_t - pw_l

そして、重みの線形和が閾値を超える場合、同一人物とする。つまり、線形和を Rc gVとすると次式の数 6のようになる。

[数 6]

以上のような処理により、顔認証装置における特徴量の格納 (登録処理)と顔認証（認証処理)を実施することができる。また、本実施の形態では、以上の処理からなるため、例えば、携帯電話や PDAであってもリアルタイム処理を実現することが可能となる。

尚、上記実施の形態では、特徴量抽出用画像として積分画像の場合を説明したが、これ以外にも、例えば積算画像であっても同様に適用することができる。

積算画像の場合は、水平垂直方向に画素値を乗算して求める。即ち、グレースケールの画像を I(x, y)とすると、積算画像 Γ (X, y)は次式で表現する。

[数 7]

I'(x,y)^ Π Π I(x y') また、このような積算画像を特徴量抽出用画像とする場合、 Rectangle Filter20のレスポンスは次の式で表現される。

[数 8]

RF = W(x_W!y_w)-ni(x_h,y_h) ここで、 I (x ,y )は、白い矩形内の画素値合計、 I (x ,y )は、ハッチング矩形内の画 w w b b

素値合計である。

[0050] このように、特徴量抽出用画像として積算画像を用いる場合は、特徴量の表現として積算画像に対応したものとすることにより、上述した積分画像の場合と同様に適用することができる。

また、特徴量抽出用画像として、積算画像以外にも、水平垂直方向に画素値を引き算した累計を求める積分画像を用いてもよ！、。

[0051] 以上のように、実施の形態 1の顔認証装置によれば、入力された画像に対して各画素値に所定の演算を施した特徴量抽出用画像を生成する特徴量抽出用画像生成手段と、特徴量抽出用画像生成手段で生成した特徴量抽出用画像から、予め顔の特徴を学習させた学習データを用いて、顔領域を検出する顔検出手段と、検出した顔領域の特徴量抽出用画像から、予め目の特徴を学習させた学習データを用いて、両目の位置を検出する両目検出手段と、両目の位置に基づ!/、て顔領域を正規化した画像から、特徴量を抽出する特徴量取得手段と、予め登録された個人の特徴量と、特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えたので、顔認証装置としての正確な認証処理を実現できると共に、演算量の削減ィ匕を図ることができる。

[0052] また、実施の形態 1の顔認証装置によれば、顔検出手段は、特徴量抽出用画像における所定の検索ウィンドウ内の特定矩形の画素値合計差分により特徴量を求め、その結果に基づいて顔検出を行い、両目検出手段は、特徴量抽出用画像における所定の検索ウィンドウ内の特定矩形の画素値合計差分により特徴量を求め、その結果に基づいて両目検出を行い、顔認証手段は、特徴量抽出用画像における所定の検索ウィンドウ内の特定矩形の画素値合計差分により特徴量を求めた結果を用いて顔認証を行うようにしたので、少ない演算量で特徴量を正確に求めることができる。また、顔検出、両目検出、顔認証処理を 1度求めた特徴量抽出用画像に基づいて行うため、処理効率を向上させることができる。

[0053] また、実施の形態 1の顔認証装置によれば、特徴量抽出用画像生成手段は、各画素の画素値を座標軸の方向に加算または乗算した値を持つ画像を特徴量抽出用画像として生成するようにしたので、例えば任意の矩形内の画素値合計を四点の演算のみで求めることができる等、演算量が少なく効率的に特徴量を求めることができる。

[0054] また、実施の形態 1の顔認証装置によれば、顔検出手段は、検索ウィンドウを拡大または縮小し、拡大縮小率に応じて特徴量を正規化して顔領域の検出を行うようにしたので、複数解像度画像および各解像度に応じた特徴量抽出用画像を求める必要がなぐメモリ効率を高めることができる。

[0055] また、実施の形態 1の顔認証装置によれば、特徴量抽出用画像生成手段は、特徴量抽出用画像の演算値が表現可能な範囲内で分割された各分割画像に対して、特徴量抽出用画像を求めるようにしたので、画像サイズが大きくなつた場合においても、特徴量抽出用画像を求める際に画像を分割することによりオーバフローを起こすことがなぐ従って、どのような入力画像サイズにも対応できる効果がある。

[0056] また、実施の形態 1の顔認証方法によれば、入力された画像データに対して各画素値に所定の演算を施した特徴量抽出用画像データを生成する特徴量抽出用画像取得ステップと、特徴量抽出用画像データから、予め顔の特徴を学習させた学習データを用いて、顔領域を検出する顔領域検出ステップと、検出した顔領域の特徴量抽出用画像データから、予め目の特徴を学習させた学習データを用いて、両目の位置を検出する両目検出ステップと、両目の位置に基づ!/、て正規化された画像データから、特徴量データを抽出する特徴量取得ステップと、予め登録された各個人の特徴量データと、特徴量取得ステップで取得した特徴量データとを比較し、顔認証を行う認証ステップとを備えたので、どのような入力画像であっても正確な顔認証処理が行え、かつ、少ない演算量で顔認証処理を実施することができる。

[0057] また、実施の形態 1の顔認証装置によれば、入力された画像から顔領域を検出する顔検出手段と、検出された顔領域における両目の探索範囲の中心から周辺に向かつて探索を行い、両目の位置を検出する両目検出手段と、両目の位置に基づいて顔領域を正規化した画像から、特徴量を抽出する特徴量取得手段と、予め登録された個人の特徴量と、特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えたので、両目探索処理における演算量を少なくすることができ、その結果、顔認証処理を効率化することできる。 [0058] また、実施の形態 1の顔認証方法によれば、入力された画像データから顔領域を検出する顔領域検出ステップと、検出された顔領域における両目の探索範囲の中心から周辺に向かって目の探索処理を行、、両目の位置を検出する両目検出ステップと、両目の位置に基づいて顔領域を正規化した画像データから、特徴量データを抽出する特徴量取得ステップと、予め登録された個人の特徴量データと、特徴量取得ステツプで取得した特徴量データとを比較し、顔認証を行う顔認証ステップとを備えたので、少ない演算量で両目探索処理を行うことができ、その結果、顔認証処理を効率ィ匕することができる。

産業上の利用可能性

[0059] 以上のように、この発明に係る顔認証装置及び顔認証方法は、入力された画像と予め登録した画像とを比較することにより顔認証を行うものであり、顔認証を行う種々のセキュリティシステムなどに用いるのに適して、る。

Claims

請求の範囲

[1] 入力された画像に対して各画素値に所定の演算を施した特徴量抽出用画像を生成する特徴量抽出用画像生成手段と、

前記特徴量抽出用画像生成手段で生成した特徴量抽出用画像から、予め顔の特徴を学習させた学習データを用いて、顔領域を検出する顔検出手段と、

検出した顔領域の前記特徴量抽出用画像から、予め目の特徴を学習させた学習データを用いて、両目の位置を検出する両目検出手段と、

両目の位置に基づ!/ヽて前記顔領域を正規化した画像から、特徴量を抽出する特徴量取得手段と、

予め登録された個人の特徴量と、前記特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えた顔認証装置。

[2] 顔検出手段は、特徴量抽出用画像における所定の検索ウィンドウ内の特定矩形の画素値合計差分により特徴量を求め、その結果に基づいて顔検出を行い、

両目検出手段は、前記特徴量抽出用画像における所定の検索ウィンドウ内の特定矩形の画素値合計差分により特徴量を求め、その結果に基づいて両目検出を行い、顔認証手段は、前記特徴量抽出用画像における所定の検索ウィンドウ内の特定矩形の画素値合計差分により特徴量を求めた結果を用いて顔認証を行うことを特徴とする請求項 1記載の顔認証装置。

[3] 特徴量抽出用画像生成手段は、各画素の画素値を座標軸の方向に加算または乗算した値を持つ画像を特徴量抽出用画像として生成することを特徴とする請求項 1 記載の顔認証装置。

[4] 顔検出手段は、検索ウィンドウを拡大または縮小し、当該拡大縮小率に応じて特徴量を正規化して顔領域の検出を行うことを特徴とする請求項 1記載の顔認証装置。

[5] 特徴量抽出用画像生成手段は、特徴量抽出用画像の演算値が表現可能な範囲内で分割された各分割画像に対して、前記特徴量抽出用画像を求めることを特徴とする請求項 1記載の顔認証装置。

[6] 入力された画像データに対して各画素値に所定の演算を施した特徴量抽出用画像データを生成する特徴量抽出用画像取得ステップと、前記特徴量抽出用画像データから、予め顔の特徴を学習させた学習データを用いて、顔領域を検出する顔領域検出ステップと、

検出した顔領域の前記特徴量抽出用画像データから、予め目の特徴を学習させた学習データを用いて、両目の位置を検出する両目検出ステップと、

両目の位置に基づいて正規化された画像データから、特徴量データを抽出する特徴量取得ステップと、

予め登録された各個人の特徴量データと、前記特徴量取得ステップで取得した特徴量データとを比較し、顔認証を行う認証ステップとを備えたことを特徴とする顔認証方法。

[7] 入力された画像から顔領域を検出する顔検出手段と、

検出された顔領域における両目の探索範囲の中心から周辺に向力つて探索を行い、両目の位置を検出する両目検出手段と、

[8] 入力された画像データから顔領域を検出する顔領域検出ステップと、

検出された顔領域における両目の探索範囲の中心から周辺に向力つて目の探索処理を行い、両目の位置を検出する両目検出ステップと、

両目の位置に基づ!/ヽて前記顔領域を正規化した画像データから、特徴量データを抽出する特徴量取得ステップと、

予め登録された個人の特徴量データと、前記特徴量取得ステップで取得した特徴量データとを比較し、顔認証を行う顔認証ステップとを備えた顔認証方法。