WO2006011255A1

WO2006011255A1 - パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム

Info

Publication number: WO2006011255A1
Application number: PCT/JP2005/001829
Authority: WO
Inventors: Kazutoyo Takata; Kunio Nobori; Satoshi Sato
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-07-28
Filing date: 2005-02-08
Publication date: 2006-02-02
Also published as: US7535499B2; JP3971783B2; JPWO2006011255A1; US20060023090A1

Description

明細書

パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム

技術分野

[0001] 本発明は、いわゆるノ Vラマ画像を合成する技術、およびパノラマ画像を用いて画像力物体を検出する技術に関する。

背景技術

[0002] パンチルト (PT)カメラ等を用いて物体検出を行う方法としては、撮像された複数枚の画角の異なる画像から 1枚の大きなパノラマ画像を合成し、合成されたパノラマ画像を用いて背景差分等の画像処理を行う方法が有効である。

[0003] このようなパノラマ画像合成に関する従来技術として、例えば特許文献 1では、カメラの位置、姿勢、および入力画像対カゝら画像解析によって動きベクトルを求め、その動きベクトルに基づいてカメラパラメータを算出し、算出したカメラパラメータに従って画像を貼り合せてパノラマ画像合成を行う方法が開示されている。この方法により、各画像間での正確な位置合わせを行うことができ、位置歪の少な！ヽパノラマ画像を合成することができる。

特許文献 1：特開 2002—150264号公報

発明の開示

発明が解決しょうとする課題

[0004] し力しながら、上述の従来技術では、ノ Vラマ画像合成に用いる画像を撮像してヽる間に光源の位置、方向、強さ、個数などの光源環境に変化が生じた場合、生成されるパノラマ画像は、部分ごとに光源状態が異なる、すなわち光源環境が同一でな V、パノラマ画像となる。このような光源環境が同一でな、パノラマ画像を用いて背景差分を行った場合、物体以外の背景領域も物体として検出されてしまい、物体検出の精度は大きく低下する。

[0005] また、ノ Vラマ画像を合成した後に光源環境に変化が生じた場合も、物体検出を行う画像とパノラマ画像とで光源環境が大きく異なるので、物体以外の背景領域も物体として検出されてしまい、背景差分による物体検出の精度は大きく低下する。

[0006] このような光源環境の変化に起因する問題は、例えば屋外での物体検出を行う場合には特に顕著となり、実際のシステムとして適用するためには、この問題を解消する必要がある。

[0007] 前記の問題に鑑み、本発明は、光源環境に変化が生じた場合においても物体検出を可能にすべぐ画像全体にわたって光源環境が同一のパノラマ画像を、合成可能にすることを課題とする。

課題を解決するための手段

[0008] 前記の課題を解決するために、本発明は、ノ Vラマ画像合成方法として、第 1の重複領域を共通に持ち、かつ、第 1の重複領域以外の第 2の重複領域を持つ N (Nは 3 以上の整数)枚の画像と第 2の重複領域を持たなヽ被拡張画像とからなる重複画像群を、取得し、被拡張画像の線形係数を、第 1の重複領域における重複画像群の画像それぞれの画素値を用いて算出し、算出した線形係数と、第 2の重複領域における N枚の画像それぞれの画素値とを用いて、被拡張画像のサイズを第 2の重複領域まで拡張し、このサイズが拡張された被拡張画像を基にして、パノラマ画像を合成するものである。

[0009] この発明によると、第 1の重複領域の各画像から求めた線形係数を用いることによつて、被拡張画像を、第 2の重複領域まで拡張することができる。すなわち、任意に選択した被拡張画像と同一の光源環境における画像を、「被拡張画像 +第 2の重複領域」まで、拡張することができる。したがって、画像全体にわたって光源環境が同一のパノラマ画像を容易に生成することができる。

[0010] なお、本願明細書でいうところの「光源環境が同一のノ Vラマ画像」とは、そのパノラマ画像の各部分において、推定される光源の位置、方向、強さおよび個数が、実質的にほぼ同一であるもの、のことをいう。理論上は、光源環境を完全に同一にすることは可能であるが、実際には、線形係数の算出誤差等に起因して、光源環境が完全には同一にはならない場合もあり得る。本願発明は、そのような場合も、含むものである。

[0011] また、本発明は、画像から物体を検出する方法として、前記本発明のノ Vラマ画像合成方法によって、検出対象画像の撮影範囲を含む複数のパノラマ画像を生成し、検出対象画像と複数のパノラマ画像とを基にして、検出対象画像と光源環境が同一の予測背景画像を生成し、これを検出対象画像と対比することによって、物体検出を行うものである。

[0012] この発明によると、検出対象画像について、画像全体にわたって光源環境が同一のノ Vラマ画像を複数枚用いることによって、光源環境が同一の予測背景画像が生成される。これにより、ノ Vラマ画像と光源環境が異なっている画像についても、精度良ぐ物体検出を行うことができる。

発明の効果

[0013] 本発明によると、画像の線形ィ匕を利用することによって、光源環境が同一のノ Vラマ画像を合成することができる。また、このパノラマ画像を複数枚用いることによって、任意の光源環境にぉヽて撮影した画像から、物体検出を行うことができる。

図面の簡単な説明

[0014] [図 1]図 1は本発明の第 1の実施形態に係る物体検出装置の構成図である。

[図 2]図 2はカメラの位置 ·姿勢を定義する座標系を示す図である。

[図 3]図 3はパノラマ投影面座標系への座標変換方法を示す図である。

[図 4]図 4は図 1のノ Vラマ画像合成部の動作であり、本発明の第 1の実施形態に係るノ Vラマ画像合成方法を示すフローチャートである。

[図 5]図 5は選択された重複画像群の一例を示す模式図である。

[図 6]図 6は線形化係数の算出方法を説明するための図である。

[図 7]図 7はパノラマ画像を用いた物体検出を示す図である。

[図 8]図 8は本発明の第 2の実施形態に係るパノラマ画像合成方法を示すフローチヤートである。

[図 9]図 9は本発明の第 1の実施形態に係るパノラマ画像合成方法を用いて合成したノ Vラマ画像の一例を示す図である。

[図 10]図 10は評価画像群の例を示す図である。

[図 11]図 11は図 10を模式的に表した図である。

[図 12]図 12は本発明の第 3の実施形態に係るパノラマ画像合成方法を示すフローチヤートである。

[図 13]図 13は評価画像群の一例の模式図である。

[図 14]図 14は評価画像群の判定処理を示すフローチャートである。

[図 15]図 15はパノラマ画像合成の過程を説明する図である。

[図 16]図 16はパノラマ画像の例である。

[図 17]図 17は第 1の実施形態と第 3の実施形態との比較結果である。

[図 18]図 18は評価画像群の一例の模式図である。

[図 19]図 19は評価画像群の判定処理を示すフローチャートである。

符号の説明

[0015] 11 A領域 (第 1の領域）

12 B領域 (第 2の領域）

23 空き缶 (物体）

101 撮像部

102 撮像画像補正部

103 画像記憶部

104 パノラマ画像合成部

105 物体検出部

106 検出物体表示部

発明を実施するための最良の形態

[0016] 本発明の第 1態様では、パノラマ画像合成方法として、第 1の重複領域を共通に持ち、かつ、前記第 1の重複領域以外の第 2の重複領域を持つ N (Nは 3以上の整数）枚の画像と前記第 2の重複領域を持たな、被拡張画像とからなる重複画像群を、取得するステップと、前記被拡張画像の線形係数を、前記第 1の重複領域における前記重複画像群の画像それぞれの画素値を用いて、算出するステップと、前記線形係数と、前記第 2の重複領域における前記 N枚の画像それぞれの画素値を用いて、前記被拡張画像のサイズを前記第 2の重複領域まで拡張するステップとを備え、サイズが拡張された前記被拡張画像を基にしてパノラマ画像を合成するものを提供する。

[0017] 本発明の第 2態様では、前記 N枚の画像として、光源環境が互いに異なっている画像を取得する第 1態様のパノラマ画像合成方法を提供する。

[0018] 本発明の第 3態様では、算出した前記被拡張画像の線形係数の信頼性を判定するステップを備え、信頼性が低いと判定したとき、重複画像群の再取得を行う第 1態様のパノラマ画像合成方法を提供する。

[0019] 本発明の第 4態様では、前記取得ステップは、画像記憶部に記憶された画像の中から重複画像群を選択するものであり、前記画像記憶部に新たな画像が入力されたとき、重複画像群の再選択を行い、この新重複画像群と旧重複画像群とで画像合成の好適性を比較し、この比較結果を基にしてパノラマ画像を更新する力否かを判定する第 1態様のパノラマ画像合成方法を提供する。

[0020] 本発明の第 5態様では、画像合成の好適性を拡散反射画素の個数を用いて判断するものであり、新重複画像群の方が拡散反射画素の個数が多いとき、ノ Vラマ画像の更新を行う第 4態様のパノラマ画像合成方法を提供する。

[0021] 本発明の第 6態様では、画像合成の好適性を画像間の独立性を用いて判断するものであり、新重複画像群の方が画像間の独立性が高いとき、ノ Vラマ画像の更新を行う第 4態様のパノラマ画像合成方法を提供する。

[0022] 本発明の第 7態様では、第 1態様のパノラマ画像合成方法によって、検出対象画像の撮影範囲を含む複数のパノラマ画像を生成するステップと、前記検出対象画像と前記複数のパノラマ画像とを基にして、前記検出対象画像と光源環境が同一の予測背景画像を生成するステップと、前記検出対象画像と前記予測背景画像とを対比し、物体検出を行うステップとを備えた物体検出方法を提供する。

[0023] 本発明の第 8態様では、前記複数のパノラマ画像は少なくとも 3枚である第 7態様の物体検出方法を提供する。

[0024] 本発明の第 9態様では、前記取得ステップにおいて、同一の前記第 1の重複領域を持つ前記重複画像群が複数個あるとき、各重複画像群について、算出される線形係数の信頼性を評価し、信頼性が最も高ヽものを選択する第 1態様のパノラマ画像合成方法を提供する。

[0025] 本発明の第 10態様では、被拡張画像に対して、評価画像群が存在するか否かを判定するステップを備え、評価画像群が存在するとき、この評価画像群を用いて、前記被拡張画像の線形係数を算出する第 1態様のパノラマ画像合成方法を提供する。

[0026] 本発明の第 11態様では、前記評価画像群が複数個存在するとき、当該評価画像群に含まれた前記第 2の重複領域における画像の独立性が最も高いものを選択する第 10態様のパノラマ画像合成方法を提供する。

[0027] 本発明の第 12態様では、前記評価画像群が複数個、存在するとき、当該評価画像群が占める画像領域における画素数が最も多いものを選択する第 10態様のパノラマ画像合成方法を提供する。

[0028] 本発明の第 13態様では、第 1の重複領域を共通に持ち、かつ、前記第 1の重複領域以外の第 2の重複領域を持つ N (Nは 3以上の整数)枚の画像と、前記第 2の重複領域を持たな!ヽ被拡張画像とからなる重複画像群を取得する手段と、前記被拡張画像の線形係数を、前記第 1の重複領域における前記重複画像群の画像それぞれの画素値を用いて、算出する手段と、前記線形係数と、前記第 2の重複領域における前記 N枚の画像それぞれの画素値を用いて、前記被拡張画像のサイズを、前記第 2 の重複領域まで拡張する手段とを備え、サイズが拡張された前記被拡張画像を基にして、ノ Vラマ画像を合成するパノラマ画像合成装置を提供する。

[0029] 本発明の第 14態様では、撮像部と、前記撮像部によって撮像された画像に対して、幾何学的補正および光学的補正を行う撮像画像補正部と、前記撮像画像補正部によって補正された画像を記憶する画像記憶部と、前記画像記憶部に記憶された画像を入力とする第 13態様のパノラマ画像合成装置とを備え、前記パノラマ画像合成装置は、前記重複画像群を、前記画像記憶部に記憶された画像の中から取得する撮像装置を提供する。

[0030] 本発明の第 15態様では、第 14態様の撮像装置と、前記撮像装置が備えた前記パノラマ画像合成装置によって合成されたパノラマ画像を用いて、物体検出を行う物体検出部と、前記物体検出部によって検出された物体の領域を表示する検出物体表示部とを備えた物体検出装置を提供する。

[0031] 本発明の第 16態様では、コンピュータにパノラマ画像合成を実行させるプログラムとして、第 1の重複領域を共通に持ち、かつ、前記第 1の重複領域以外の第 2の重複領域を持つ N (Nは 3以上の整数)枚の画像と、前記第 2の重複領域を持たな、被拡張画像とからなる重複画像群を取得するステップと、前記被拡張画像の線形係数を

、前記第 1の重複領域における前記重複画像群の画像それぞれの画素値を用いて算出するステップと、前記線形係数と、前記第 2の重複領域における前記 N枚の画像それぞれの画素値を用いて、前記被拡張画像のサイズを、前記第 2の重複領域まで拡張するステップと、サイズが拡張された前記被拡張画像を基にして、ノ Vラマ画像を合成するステップとをコンピュータに実行させるものを提供する。

[0032] 本発明の第 17態様では、互いに一部の画像領域が重複し、かつ、光源環境が異なる複数の部分画像を入力とし、前記入力した部分画像に基づいて、前記各部分画像よりも広い領域にわたり、光源環境が同一のノ Vラマ画像を生成し、出力するパノラマ画像合成装置を提供する。

[0033] 以下、本発明の実施の形態について、図面を参照しつつ、説明する。

[0034] (第 1の実施形態）

図 1は本発明の第 1の実施形態に係るパノラマ画像合成方法を用いた物体検出装置の構成図である。図 1において、 101は静止画または動画を撮像する撮像部、 10 2は撮像部 101によって撮像された画像に対して補正を行う撮像画像補正部、 103 は撮像画像補正部 102を用いて補正された画像を記憶する画像記憶部、 104は画像記憶部 103に記憶された画像からパノラマ画像を合成するパノラマ画像合成装置としてのパノラマ画像合成部、 105は撮像部 101によって撮像された画像およびパノラマ画像合成部 104によって合成されたパノラマ画像を用いて物体検出を行う物体検出部、 106は物体検出部 105によって検出された物体領域を表示する検出物体表示部である。撮像部 101、撮像画像補正部 102、画像記憶部 103およびパノラマ画像合成部 104によって、本発明の撮像装置が構成されている。

[0035] 以下、図 1の物体検出装置について、撮像方向の異なる複数枚の画像からパノラマ画像を合成し、合成されたパノラマ画像を用いて物体検出を行う場合の動作を説明する。ここで述べる物体検出とは、光源環境の異なる少なくとも 3枚のパノラマ画像の合成を行い、これを背景として、その後撮像された画像の中から背景以外に映り込むものを検出することを指す。

[0036] なお、説明の簡単のため、環境条件として、光源は平行光源であり、物体の表面は完全拡散反射面であるものと仮定する。

[0037] 撮像部 101は撮像方向の異なる画像の撮像を行う。具体的には例えば、パンチル

HPT)動作可能なビデオカメラやデジタルスチルカメラ、または、 ρτ動作可能な雲台に固定されたビデオカメラやデジタルスチルカメラによって、撮影が実行される。ここでは、 PT動作可能なビデオカメラを用いるものとする。

[0038] また撮像部 101は撮像した画像とともに、カメラの位置 ·姿勢情報を撮像画像補正部 102〖こ送る。カメラの位置'姿勢情報とは、図 2に示す (Xw, Yw, Zw, θ , φ )の 5 つのパラメータをいう。 Xw, Yw, Zwは世界座標系におけるカメラの位置座標（点 o) を示し、 θ , φはそれぞれカメラ座標系における Y軸、 X軸の正方向に対して左回りに回転させる角度 (パン角，チルト角）を示す。カメラの位置 ·姿勢の検出は、例えば GPS等の位置検出装置、ジャイロスコープ等の姿勢検出装置を用いればよい。また、予め計画された撮影プラン力カメラの位置 ·姿勢を算出してもよい。予め計画された撮影プランとは例えば、カメラを始点 (X , Y , Z , θ , φ )から φの正方向に角速

0 0 0 0 0

度 0. l 7u [radZsec]の等速運動に従って動かす、等といったものである。

[0039] 撮像画像補正部 102は撮像部 101によって撮像された画像に対し、幾何学的補正、光学的補正、および撮像画像座標系からパノラマ投影面座標系への座標変換を行う。撮像画像の幾何学的補正としては、レンズ歪の補正を行う。例えば、「コンビュータビジョン技術評論と将来展望， pp. 42-44,新技術コミュニケーション， 1998」に示された Wengらによるレンズ歪補正方法を用いればよい。また、撮像画像の光学的補正としては、周辺減光の補正を行う。例えば「平成 12年度ナチュラルビジョンの研究開発プロジェクト (次世代映像表示 ·伝送システム)研究開発報告書， pp. 51-53 ,通信'放送機構， 2001」に示された、輝度の時間変動の無い 1つの点光源を被写体とし、その点光源が所望の位置に来るようにカメラの首を振り、観測された各位置での輝度値の逆数を用いて周辺減光の補正係数を算出する方法を、用いればょ、

[0040] また、ノ Vラマ投影面座標系への座標変換方法としては、例えば図 3に示すとおり、撮像画像座標系 (i, j)カゝら円筒座標系に投影を行ったパノラマ投影面座標系 (u, V) への変換を行う関数を fとすると、 fは撮像部 101から送られたカメラの位置 ·姿勢情報を用いて次式によって表される。

(u, V) = f (i, j , Xw, Yw, Zw, θ , φ ) (式 1)

なお、撮像画像座標系（i, j)からパノラマ投影面座標系（u, V)への変換は球面座標系を用いた投影を行ってもよい。また、パン'チルト角が小さい場合は平面座標系を用いた投影を行ってもよい。

[0041] なお、上述の撮像画像補正部 102で用いる各補正パラメータは、本装置で物体検出を行う以前に予め求めておく。

[0042] 画像記憶部 103は撮像画像補正部 102によって補正を行った画像とカメラの位置' 姿勢情報を、記憶媒体に記憶する。記憶媒体とは、例えばメモリゃノ、ードディスク、フイルム等によって実現される。

[0043] <パノラマ画像合成 >

ノ Vラマ画像合成部 104は画像記憶部 103に記憶された複数枚の画像から、パノラマ画像を生成する。以下、ノ Vラマ画像合成部 104の動作を図 4のフローチャートを用いて説明する。

[0044] まず、ステップ S11において、画像記憶部 103に記憶された画像の中から、第 1の重複領域 (A領域)を共通に持つ重複画像群であって、かつ、 A領域以外の第 2の重複領域 (B領域)を持つ N (Nは 3以上の整数)枚の画像と、 B領域を持たな、被拡張画像としての画像とからなる重複画像群を、選択する（Sl l)。ここでは、 Nは 3としている。図 5は選択された重複画像群の例を示す模式図である。図 5において、 1 , 1 , 1

1 2

, Iは画像記憶部 103から選択された画像であり、これら 4枚の画像 I , I , I , Iは A

3 4 1 2 3 4 領域 11において重複している。また A領域 11以外の B領域 12において、 3枚の画像 1 , 1 , 1が重複しており、画像 I は B領域 12を含まない。なお、 A領域および B領域

1 2 3 4

における重複画像の枚数に関しては、後述する。

[0045] 各画像の重複領域の検出は、例えば、パノラマ投影面座標系（u, V)における各画像の座標値を用いて行えばよい。また、ある画素位置に対する重複画像群が複数存在するときは、例えば、 B領域を持つ 3枚の画像間の独立性が最も高いものを、選択するようにしてもよい。この具体的な方法については、後述する。

[0046] 次に、ステップ S12において、ステップ S 11で選択した重複画像群を用いて、被拡張画像の拡張に用いる線形係数を算出する。線形係数の算出は、 A領域における重複画像群の各画像の画素値を用いて、 Shashuaの方法（「Shashua A., "Geometry and Photometry in 3D Visual Recognition , P.D. thesis, Dept. Brain and し ognitive Science, MIT, 1992」参照）に基づいて、行う。

[0047] 以下、 Shashuaの方法による線形係数の算出について、詳しく説明する。 Shashuaは、平行光源と、被写体表面が全て完全拡散反射面であることとを仮定することによつて、光源方向の異なる 3枚の画像の線形結合により任意の光源方向の画像を表現できることを示している。すなわち、光源方向が異なる 3枚の画像をベクトル表現したものを I , 1 , 1

1 2 3とすると、任意の光源方向の画像 I

4は、次式のように線形結合によって表現できる。

I =c 'ΐ +c ²I +c ³I (式 2)

4 4 1 4 2 4 3

ここで、 c = [c ¹ c ² c ³]^Tを画像 Iに対する線形係数として算出する。

4 4 4 4 4

[0048] 具体的には図 6に示すように、 4枚の画像 I , 1 , 1 , 1に対して、 3点の画素座標 P (

1 2 3 4 1

X ， y )， P (X ， y )， P (X ， y )の選択を行い、選択された 3点 P ， P ， Pの各座標に

1 1 2 2 2 3 3 3 1 2 3 おける画素値 iを利用し、次の式を用いて線形化係数の算出を行う。

[数 1]

⁴(Wi )

2， ₂ )

(式 3 )

ただし、

ここで、 i は入力画像 kにおける画素座標 (X, y)の画素値を表して！/、る。

k(x,y)

[0049] この（式 3)により、線形係数 c = [c ¹ c ² c ³]^τの算出を行うことができる。これによ

4 4 4 4

り、任意の光源方向の画像 Iを I , I , I , c = [c ¹ c ² c ³]^Τを用いて表現することが

4 1 2 3 4 4 4 4

できる。また、 D—¹が算出できない場合は、 3点 Ρ (X , y ) , Ρ (X , y ) , Ρ (X , y )の

1 1 1 2 2 2 3 3 3 再選択を行う。 3点 P , P , Pの選択方法および線形係数の導出の詳細については

1 2 3

、例えば「光学現象の分類基準を利用した画像の線形化」（画像の認識'理解シンポジゥム (MIRU2002)論文集， vol.2, pp. 167-176, 2002)に記載されている。

[0050] このような Shashuaの方法を用い、選択された重複画像群の 4枚の画像の A領域について、（式 3)の計算を行い、線形係数を求める。このとき、 B領域を持つ 3枚の画像を I , I , Iとし、 B領域を持たない被拡張画像を Iとして、線形係数 c = [c ¹ c ² c ³]

1 2 3 4 4 4 4 4 τの算出を行う。

[0051] なお、ここで説明したように、光源が平行光源であり、物体表面が完全拡散反射面であると仮定したとき、任意光源方向の画像は 4枚の画像を用いて合成することができるため、本実施形態では、重複画像群として、 Α領域を共通に持つ 4枚の画像を選択すればよいことになる。

[0052] また、拡散反射画素とは、（式 2)の振る舞いをする画素のことを示す。

[0053] 次にステップ S13において、ステップ S 12で算出された線形係数に対する信頼性を判定する。ここでの線形係数の信頼性判定とは、重複画像群の中の B領域を持つ 3 枚の画像間の独立性を判定することである。具体的な判定方法としては、例えば、ステツプ S12で算出した行列 Dの条件数を用いる。すなわち、行列 Dの条件数を求め、この条件数が所定の閾値よりも小さいときは、選択した B領域を持つ 3枚の画像は独立であり、算出した線形係数は信頼性があると判定する。一方、所定の閾値よりも大きいときは、算出した線形係数は信頼性が低いと判定し、ステップ S11に戻り、同じ A 領域を持ち、 V、まの重複画像群とは異なる重複画像群の再選択を行う。

[0054] ここで、信頼性が低いと判定される原因は、

〇いずれかの画像において、選択した 3画素のうち 2個以上の法線方向が同じ〇少なくとも 2枚以上の画像について、光源状態が等しい

の何れかであり、このような信頼性の低ヽ線形係数を用いてパノラマ画像を合成した場合、輝度の誤差が大きいパノラマ画像が生成される。逆に、信頼性があると判定された場合は、 B領域を持つ 3枚の画像は、各々光源方向が異なっており、かつ、被写体表面の法線方向の異なる画素が 3画素以上存在する、という条件を満たすことになる。このような信頼性の高い線形係数を用いてパノラマ画像を合成した場合は、輝度の誤差が小さいパノラマ画像の生成が可能となる。上述した輝度の誤差とは、被拡張画像と同一の光源環境で撮影された理想的なパノラマ画像と、生成されたパノラマ画像との輝度誤差を示す。

[0055] なお、ステップ SI 1にお、て重複画像群の選択を行う際に、同じ A領域に対する重複画像群の候補が複数存在するとき、算出される線形係数の信頼性が最も高いものを、選択するようにしてもよい。具体的には例えば、上述の条件数が最小となる候補を、重複画像群として選択すればよい。これは、条件数が小さいほど、算出した線形係数の信頼性が高い、または、選択した重複画像群に含まれた B画像を持つ 3枚の画像の独立性が高い、といえるからである。

[0056] また、ステップ S11— S13の処理においては、（式 3)における D—¹の有無と信頼性の高い Dの条件数を基準にして、重複画像の選択と選択された画像中の 3点の選択を行うことによって最適な線形係数を行う。よって、同じ基準を用いた処理であれば他の手法であっても力まわない。例えば S12において D—¹, Dの条件数の算出を同時に行い、 S13では算出された D— Dの条件数の信頼性判定を行い、信頼性のない場合には 3点 P (X , y ) , P (X , y ) , P (X , y )の再選択を行ってもよい。この場合

1 1 1 2 2 2 3 3 3

、 3点 P (X , y ) , P (X , y ) , P (X , y )の選択を所定回数繰り返しても信頼性のあ

1 1 1 2 2 2 3 3 3

る線形係数が算出されないときは、重複画像の再選択を行えばよい。

[0057] そして、線形係数が信頼性ありと判定されたとき（S 13で Yes)、ステップ S 14において、この線形係数と B領域を持つ 3枚の画像の画素値とを用いて被拡張画像のサイズを拡張する。ここでは、信頼性があると判定された線形係数 cおよび画像 I , 1 , 1

4 1 2 3 の B領域における画素値を、それぞれ (式 2)に代入することによって、被拡張画像 I

4 を「Iの画像領域 + B領域」まで拡張する。このように、（式 2)を用いて被拡張画像 I

4 4 の拡張を行うためには、 3枚の画像 I , 1 , 1が被拡張画像 Iの画像領域以外の領域

1 2 3 4

にお、て、重複する領域 (すなわち B領域)を持つ必要がある。 [0058] このようにステップ Sl l— S14によって、重複画像群に含まれた被拡張画像を、「原画像領域 + B領域」まで拡張することができる。したがって、このような処理を繰り返し行うことによって、画像全体にわたって光源環境が同一であるノ Vラマ画像を容易に生成することができる。

[0059] 次に、ステップ S 15において、画像が所望のパノラマ画像の全領域まで拡張されたか否かを判定する。そして、まだ全領域まで拡張されていないと判定したときは（S 15 で No)、ステップ S14において拡張した画像を画像記憶部 103において記憶媒体に格納し (S16)、ステップ S11に戻る。一方、全領域まで拡張されていると判定したときは（S 15で Yes)、そのパノラマ画像を画像記憶部 103において記憶媒体に格納する (S17)。ステップ S15における判定方法としては、例えば、拡張された画像の画素数が全領域分の画素数となったとき、全領域まで拡張されたと判定するようにすればよい。また、ノ Vラマ画像を記憶する記憶媒体としては、例えばメモリゃノヽードディスク、フィルム等を用いればよい。このように、ステップ S11— S16の処理を繰り返すことによって、全領域まで拡張された光源環境が同一である 1枚のパノラマ画像が画像記憶部 103に記憶される。ステップ S11— S16によって、本実施形態に係るパノラマ画像合成方法が実現される。

[0060] 次に、終了判定を行う（S18)。本実施形態では、後述するように、物体検出を行うために光源方向が異なる 3枚のノ Vラマ画像を生成する必要がある。このため、ここでは、画像記憶部 103に画像間の独立性のあるパノラマ画像が 3枚以上存在するとき（S18で Yes)処理を終了し、画像間の独立性のあるノ Vラマ画像が 3枚未満のときは（S 18で No)ステップ S 11に戻り、新たなパノラマ画像の合成を行うものとする。

[0061] ここでの判定方法としては例えば、行列式の値を用いればょ、。具体的には、画像記憶部 103に記憶されたパノラマ画像の中から任意の 3枚のノ Vラマ画像 (I ^P, I ^P, I

1 2 3

^Pとする）を選択し、選択したパノラマ画像 I ^P, I ^P, I ^Pにおける 3点 P (x , y ) , P (x , y

1 2 3 1 1 1 2 2

) , P (x , y )の画素値を (式 3)における行列 Dの形に置き、行列式 I D Iの算出を

2 3 3 3

行う。そして、この行列式 I D Iの値が 0でないとき、これら 3枚のパノラマ画像 I ^P， I ^P

1 2

, I

3 ^pは光源方向が異なるパノラマ画像と判定し、処理を終了する。

[0062] 一方、行列式 I D Iの値力^になるときは、選択した 3枚のパノラマ画像 I ^P, , が独立でな、と判断できるので、画像記憶部 103に記憶された他の 3枚のノ Vラマ画像の組み合わせを選択し、同様の処理を行う。画像記憶部 103に記憶されたパノラマ画像のうちいずれの 3枚を選択しても、行列式の値が 0になるときは、ステップ S 11 に戻る。もちろん、ノ Vラマ画像が 2枚以下の場合も、ステップ S 11に戻る。

[0063] 以上のような処理を実行することによって、ノ Vラマ画像合成部 104において、画像間の独立性のある 3枚のノ Vラマ画像が合成される。

[0064] 図 9は本実施形態に係るパノラマ画像合成方法によって合成したパノラマ画像の一例である。図 9 (a)は画像サイズが拡張される被拡張画像 10と光源方向の異なる 3枚の画像 I , 1 , 1を示す。図 9 (b)は上述した本実施形態の方法によって、図 9 (a)の 4

1 2 3

枚の画像 I , 1 , 1 , 1の重複領域を用いて、光源環境を画像 10に合わせるように合成

0 1 2 3

したパノラマ画像である。また、図 9 (c)は従来手法の 1つであるヒストグラム一致法（詳細は「画像解析ノヽンドブック」、東京大学出版会、 pp. 463, 1991を参照）によって、画像 I , I

0 1を用いて、光源環境を画像 I

0に合わせるように合成した画像である。

[0065] 図 9 (b)のノ Vラマ画像では、図 9 (c)の画像と対比すると分力るように、輝度誤差が少なぐ画像のつなぎ目がない。すなわち、本実施形態に係るパノラマ画像合成方法によると、光源方向の異なる画像が与えられても、輝度誤差の少ないパノラマ画像が合成される。

[0066] なお、本実施形態に係る方法によって合成されたパノラマ画像は、拡散反射画素のみによって構成されたパノラマ画像となる。このような画像をパノラマ基底画像と呼

[0067] <パノラマ画像を用いた物体検出 >

物体検出部 105は、撮像画像補正部 102から受けた画像について、ノ Vラマ画像合成部 104から入力された 3枚のノ Vラマ画像を用いて、物体検出を行う。ここでの物体検出は、例えば、背景差分を用いればよい。

[0068] 本実施形態における背景差分を用いた物体検出の例について、図 7を用いて説明する。図 7では、冷蔵庫 21とテーブル 22が置かれた部屋において、テーブル 22を撮影し、その画像から、テーブル 22に置かれた物体 (空き缶 23)を検出する場合を示している。 , , I ^Pはパノラマ画像合成部 104から入力されたパノラマ画像であり、背景として床、冷蔵庫 21およびテーブル 22を撮している。これら 3枚のノ Vラマ画像 I ^P

1

, I ^p, I ^pは、物体検出を行う画像を撮す前に撮影された画像を用いて、すでに合成さ

2 3

れている。いま、 PTカメラ 25によって、画像 Iが撮されたとする。画像 Iでは、テープ

4 4

ル 22の上に空き缶 23が乗って!/、る。

[0069] ここで、各パノラマ画像 I ^P, I ^P, I ^Pから画像 Iの画像領域に対応する画像 I , I , Iを

1 2 3 4 1 2 3 切り出し、これらの画像 I , 1 , 1 , 1を用いて、（式 3)により線形係数 c = [c ¹ c ² c ³

1 2 3 4 4 4 4 4

]^Tを算出する。画像 Iには背景以外の物（図 7の例では空き缶 23)が存在している。

4

このため、（式 3)を用いて線形係数 c = [c ¹ c ² c ³]^τを算出する際に、 3点 PI, Ρ2

4 4 4 4

, Ρ3として背景以外の点が選択されてしまう（例えば、空き缶 23が映った領域に点 Ρ 1, Ρ2, Ρ3が選択される）場合があり得る。この場合には、線形係数の算出が正しく行えない。ただし、例えば RANSAC (「MA.FischlerandR.C.Bolles, "Random sample consensus: a paradigm for model fitting with application to image analysis and automated cartography, Commun, Assoc, Comp, Mach,24, pp.381- 395, 1981」参照) を用いることによって、 3点 PI, P2, P3を 4枚の画像全ての背景成分上で選択することができ、背景以外のものの影響を受けることなぐ線形係数を算出することが可能となる (詳細は、「光学現象の分類基準を利用した画像の線形化」画像の認識'理解シンポジゥム (MIRU2002)論文集， vol.2, pp. 167—176, 2002を参照）。このように算出された線形係数 cおよび画像 I , 1 , 1の画素値を (式 2)に代入することによって、現在

4 1 2 3

の照明条件下において撮像された画像 I

4に対する予測背景画像 I E

4を作成することができる。そして、この予測背景画像 I Eと元の画像 Iとの画素値の差分が所定の閾値よ

4 4

りも大きい領域を、物体領域として検出する。

[0070] そして、検出物体表示部 106は、物体検出部 105によって検出された物体の領域を例えばモニタなどの表示装置に表示する。

[0071] 以上のように本実施形態によると、線形ィ匕を用いた画像拡張によって、画像全体にわたって光源環境が一定のパノラマ画像を生成することができる。そして、このようなノ Vラマ画像を複数枚用いることによって、任意の光源環境において撮影した画像から、背景差分による物体検出を行うことが可能になる。

[0072] なお、本実施形態では、（式 3)を用いて線形係数の算出を行うものとした力（式 3) は選択した 3点 P , P , Pの画素が全て拡散反射であることを仮定した式である。実

1 2 3

環境においては、鏡面反射等の拡散反射以外の成分が画像に含まれるので、（式 3 )が必ずしも成り立たない可能性がある。ただし、尺長らの方法 (詳細は「光学現象の分類基準を利用した画像の線形化」，画像の認識 ·理解シンポジウム (MIRU2002)論文集， vol.2, pp. 167-176, 2002を参照）を用いることによって、これら拡散反射画素以外の画素値の影響を受けずに、 3点 P , P , Pの画素が全て拡散反射画素となる

1 2 3

ような選択を行うことが可能になる。

[0073] また本実施形態では、光源を平行光源と仮定したため、パノラマ画像合成や物体検出の際に 4枚の画像を用いることによって、正しい線形係数を算出することができた。ところが、実環境下の光源には相互反射等の環境光が含まれるため、線形係数の算出を 4枚の画像を用いて行った場合、実際の画像に対して誤差が大きい線形ィ匕画像しか得られない可能性がある。ただし、このような環境光が含まれる光源条件下であっても、 5枚よりも多くの画像を用いることによって、線形係数の算出を精度良く行うことができ、本実施形態と同様に、画像の線形化を用いた画像拡張や物体検出を行うことが可能となる。例えば、環境光が含まれる場合であっても、 4一 9枚の画像を用いて、誤差の少ない線形ィ匕画像を作成できることが、すでに報告されている（詳細は、「双方向反射分布関数の周波数特性に基づく反射成分の分離」，情報処理学会研究報告， CVIM 2002-134-1, pp.1- 8,2002を参照）。

[0074] (第 2の実施形態）

上述したように、実環境で撮像される画像には拡散反射画素以外の画素が多く含まれる。これらの画素は、画像合成処理においてノイズとなり、生成されるパノラマ画像の輝度誤差が大きくなる原因となる。また、重複領域を持つ画像群の独立性が低い場合にも、ノ Vラマ画像の輝度誤差が大きくなる原因となる。このため、例えば監視システムのような、画像が逐次入力されるシステムでは、新たな入力画像を用いたときに、すでに生成されて、るノ Vラマ画像よりも輝度誤差が少な、パノラマ画像を得ることができる場合には、ノ Vラマ画像を更新することが好ましい。これにより、拡散反射画素以外の画素によるノイズの影響を最小限に抑えることができる。

[0075] 本発明の第 2の実施形態では、第 1の実施形態の構成に加えて、パノラマ画像を適宜更新するものである。本実施形態に係る物体検出装置の構成は、図 1と同様である力ノ Vラマ画像合成部 104において、ノ Vラマ画像の更新を行う点が異なる。図 8 は本実施形態におけるノ Vラマ画像合成部 104の動作を示すフローチャートである。図 8において、図 4と共通のステップには図 4と同一の符号を付しており、ここではその詳細な説明を省略する。第 1の実施形態と異なるのは、ノ Vラマ画像を更新するか否かを判定するステップ S 21を備えている点である。

[0076] すなわち、ステップ S21において、画像記憶部 103に新たな画像が入力されたとき、重複画像群の再選択を行い、同じ重複領域を持つ、新重複画像群と旧重複画像群とで画像合成の好適性を比較する。そして、新重複画像群の方が、画像合成に好適であると判断したときは、ノ Vラマ画像を更新すると判定し (S21で Yes)、ステップ S 11以降の処理に進む。一方、そうでないときは（S21で No)、パノラマ画像の更新を行わない。

[0077] ここで、新重複画像群とは、画像記憶部 103に新たな画像が入力されたときの、新たな入力画像とそれまでに記憶されている画像とを組み合わせた重複画像群を示す。組み合わせ方法は、ステップ S11においてすでに説明したような条件および方法を用いて、実現することができる。

[0078] 画像合成の好適性を判断する方法としては、例えば、新重複画像群および旧重複画像群を用いて、それぞれ、ステップ S 12— S 14までの処理を行って合成画像を作成し、作成された合成画像における拡散反射画素の個数を比較し、その個数が多い方を好適性ありとすればよい。拡散反射画素の検出は、例えば、ある閾値以下の画素値を持つ画素を陰影画素とし、また、ある閾値以上の画素値を持つ画素を鏡面反射画素とし、これら陰影画素および鏡面反射画素を除いた画素の総和を、拡散反射画素の個数とすればよい。

[0079] また、画像合成の好適性を判断する他の方法としては、例えば、各重複画像群の拡散反射画素の総数を用いて画像合成の好適性を判断してもよヽ。ステップ S12において線形係数を算出する際、算出に用いる画素に陰影画素や鏡面反射画素が選択された場合、正しい線形係数を算出することができない。よって、用いる重複画像の A領域において拡散反射画素の個数が多いほど、正しい線形係数の算出が期待できる。すなわち、新重複画像群の A領域における各画像の拡散反射画素の総数が旧重複画像群の A領域における各画像の拡散反射画素の総数よりも多いとき、パノラマ画像の更新を行うようにすればよい。

[0080] また、画像合成の好適性を判断する他の方法としては、例えば、画像間の独立性を用いて、画像合成の好適性を判断してもよい。すなわち、旧重複画像群に対して新重複画像群の方が、画像間の独立性が高いとき、パノラマ画像の更新を行うようにすればよい。画像間の独立性の判定は、例えば、ステップ S13において説明した方法 (条件数を算出し、条件数が小さいほど独立性が高いと判定）によって実現できる。また、旧重複画像群で線形係数を算出する際に用いた 3点の座標位置と同じ座標位置における輝度値を用いて新重複画像群の条件数の算出を行い、算出された新重複画像群の条件数が旧重複画像群の条件数よりも小さいとき、パノラマ画像の更新を行うようにしてもよい。

[0081] このように本実施形態によると、画像合成により好適な重複画像群が得られたときにノ Vラマ画像が更新されるので、より輝度誤差の少な、パノラマ画像を作成することが可能となる。したがって、物体検出の精度もより向上させることができる。

[0082] (第 3の実施形態）

上述したパノラマ画像合成方法では、線形係数算出の計算を逐次的に繰り返すことによって、画像を拡張する。しかし、このような画像拡張では、輝度誤差の評価は各々の A領域において逐次的にしカゝ行えないため、計算を繰り返して画像を拡張していくと、画像中に含まれるノイズや量子化誤差などが蓄積されていく。これは、最終的に合成されるパノラマ画像の輝度誤差が大きくなる原因になる。このため、所望の画像サイズに拡張するまでに用いる画像の組み合わせが複数通り考えられる場合は、このような繰り返し計算による誤差の蓄積を最小限に抑えるように、画像合成を行うことが好ましい。これにより、より輝度誤差の少ないパノラマ画像が得られ、物体検出の精度も向上する。

[0083] 本発明の第 3の実施形態では、第 1の実施形態の構成に加えて、パノラマ画像合成時における繰り返し演算による誤差を軽減するものである。本実施形態に係る物体検出装置の構成は図 1と同様である力画像記憶部 103に、いわゆる評価画像群が存在する場合、パノラマ画像合成部 104は、第 1の実施形態とは異なる処理方法によって、線形係数の算出を行う。

[0084] ここで「評価画像群」とは、「被拡張画像と重複画像群として連結された画像群にお V、て、被拡張画像と同一の光源環境を持つ画像が少なくとも 1枚存在する画像群」と定義する。もう少し具体的に説明すると、ある被拡張画像 I

0と本発明の重複画像群を構成する N枚の画像をまず特定し、次に、この N枚の画像の B領域を被拡張画像としたときにこれと重複画像群を構成する N枚の画像を特定し、さらに、この N枚の画像の B領域と重複画像群を構成する N枚の画像を特定する、というように、重複画像群を構成する N枚の画像を、連結するように、順次特定していく。そして、最後に特定した N枚の画像が、元の被拡張画像 Iと光源環境が同一である画像と重複したとき、そ

0

れまでに特定した複数組の N枚の画像と元の被拡張画像 Iとを、「評価画像群」とす

0

る。

[0085] この評価画像群を用いることによって、複数の A領域を併せて用いて輝度誤差の評価を行うことが可能となり、各 A領域で逐次的に輝度誤差の評価を行ヽつつ画像を拡張した第 1の実施形態に比べて、輝度誤差の少ないパノラマ画像の合成が可能となる。

[0086] なお、ここでは、元の被拡張画像と光源環境が同一の画像として、元の被拡張画像自体を用いるものとする。元の被拡張画像とは別の画像を用いる例については、後述する。

[0087] 図 10は具体的な評価画像群の例を示す。図 10は画像 Iに対して評価画像群 (I , I

0 4

, I ) (I , I , I )が存在している最も単純な例である。 (I , I , I ) (I , I , I )は同じ画

5 6 7 8 9 4 5 6 7 8 9

角を持つ画像群であり、これらを 1枚の画像として模式的に表したものを図 11に示す。図 11において、 Iは 2個の重複画像群で連結されており（A i + B ¹を持つ (I , I

0 456 456 4 5

, I )、および A ^J + B ⁴⁵⁶を持つ (I , I , I ) )、 A ¹と A ¹は同じ画像 Iに属している

6 789 789 7 8 9 456 789 0

ので、連結された画像群内に、被拡張画像と光源環境が同一である画像が存在しているといえる（共に画像 I ) o ) (I , I , I )

0 よって、 I

0および (I , I , I

4 5 6 7 8 9 は画像 I

0に対する評価画像群であるといえる。

[0088] 図 12は本実施形態におけるノ Vラマ画像合成部 104の動作を示すフローチャートである。図 12において、図 4と共通のステップには図 4と同一の符号を付しており、ここではその詳細な説明を省略する。第 1の実施形態と異なるのは、評価画像群が存在するか否かを判定するステップ S 31、および評価画像群が存在する場合に誤差の少な、線形係数を算出するステップ S32を備えて、る点である。

[0089] すなわち、ステップ S31において、画像記憶部 103に記憶された画像の中から、評価画像群の有無の判定を行う。そして、評価画像群があったときは（S31で Yes)、この評価画像群に属する画像を利用して誤差の少ない線形係数の算出を行う（S32) 。一方、そうでないときは（S31で No)、第 1の実施形態と同様に、ステップ S11以降の処理を行う。

[0090] 評価画像群の有無の具体的な判定方法を図 13および図 14を用いて説明する。図 13は、画像 Iに対して I 力も I の n組で構成された評価画像群の一例である（光源

0 0G n-lG

環境が同一である画像が共に被拡張画像 I )。この I

0であるケース

kGは k番目の画像群

Iを表している。また、 k番目の A領域を A、 k番目の B領域を Bと表している（k = 0，l k k k

,· ··, n)。また、図 14は評価画像群判定ステップ S31の具体的な処理の流れを示すフローチャートである。以下、図 14を用いて S31の処理の流れを説明する。

[0091] まず、ステップ S41において、画像記憶部 103に記憶された画像の中から、任意の 1枚の画像 Iを選択する。

0

[0092] 次に、ステップ S42において、ステップ S41で画像記憶部 103に記憶された全ての画像が選択されたカゝ否かの判定を行う。判定方法としては、ステップ S41で選択した画像 Iの履歴をメモリに記憶しておき、画像記憶部 103に記憶された画像との参照を

0

行うことにより判定することができる。判定の結果、既に全ての画像の選択を行っていたときは（S42で Yes)、評価画像群なしと判定する（S50)。

[0093] 全ての画像をまだ選択して!/、な、と判定したとき（S42で No)、ステップ S43にお!/ヽて、ステップ S41で選択した画像 Iに対して、 A+B領域を持つ画像群が少なくとも 2

0

組存在するか否かを判定する。ここでの判定は、第 1の実施形態で述べた重複領域の検出方法を用いて実現できる。判定の結果、画像群が 2組以上存在しないときは（ S43で No)、ステップ S41に戻り、画像 Iの再選択を行う。一方、画像群が少なくとも

0

2組存在するときは（S43で Yes)、ステップ S44において kに 0を代入する。 [0094] 次に、ステップ S45において、ステップ S43で判定された画像群のうちの 1組 (A , k

B )を選択し、選択した画像群の B領域内にさらに少なくとも 1組の A+B領域を持つ k k

画像群 (A , B )が存在するカゝ否かを判定する。ここでの判定も、第 1の実施形態 k+1 k+1

で述べた重複領域の検出方法を用いて実現できる。ここで、新たな画像群が存在しないと判定されたときは（S45で No)、ステップ S41に戻り、画像の再選択を行う。

[0095] 新たな画像群 (A , B )が存在するとき（S45で Yes)、ステップ S46において、 B k+1 k+1

領域内に Aが存在するか否かを判定する。ここで、 Aとは、ステップ S43で検出さ k+1 n n

れた画像群のうち、ステップ S45で選択されな力つた画像群の A領域を指す。 B に k+1

Aが存在するときは（S46で Yes)、評価画像群ありと判定し、処理を終了する。

[0096] 一方、 B に Aが存在しなかったときは（S46で No)、 kが閾値 tよりも小さいか否か k+1 n

を判定し (ステップ S48)、 kが閾値はりも小さいときは（S48で Yes)、 kをインクリメントし (ステップ S49)、ステップ S45に戻って処理を繰り返す。一方、 kが閾値はりも小さくないときは（S48で No)、ステップ S41にもどり、画像 Iの再選択を行う。

0

[0097] ここで、繰り返し回数の閾値 tは、例えば次のようにして決定すればよい。すなわち、画像記憶部 103に記憶されている全撮像画像数が a枚とすると、 aを、重複画像群中の B領域を持つ画像の数 N (各実施形態の説明では 3)で除したときの商の値を、閾値 tとして用いればよい。

[0098] なお、画像 Iに対して評価画像群が複数個、存在するときは、その評価画像群に存

0

在する各 B領域における N枚の画像の独立性力最も高いものを、選択してもよい。例えば、各 B領域にお、て第 1の実施形態で述べた行列 Dの条件数の計算を行、、この条件数の値が各 B領域において閾値以下であり、かつ、各 B領域における条件数の値の総和が最も小さい評価画像群を、独立性が最も高いものとして、選択すれば良い。これにより、輝度誤差がより少ないパノラマ画像を合成することができる。

[0099] また、画像 Iに対して評価画像群が複数個、存在するとき、その評価画像群が占め

0

る画像領域における画素数が、最も多いものを、選択してもよい。これにより、最終的なパノラマ画像を合成するまでの計算回数が少なくなり、パノラマ画像の輝度誤差をより少、なくすることができる。

[0100] 以上のように、ステップ S41— S50の処理を行うことによって、ステップ S31における評価画像群の有無を判定することができる。

[0101] 次に、 S32において、 S31で選択された評価画像群を用いて、繰り返し計算による誤差の蓄積が小さい線形係数の算出を行う。算出方法としては、例えば評価画像群内の各 A領域にぉ、て複数の線形係数組を算出しておき、それらの係数組の組み合わせの中から最も輝度誤差が小さくなる係数組を選択すればよ!、。この処理の流れを図 13を用いて説明する。

[0102] 図 13において、 C ^kを、 k-1番目の画像群と k番目の画像群との線形係数組を表 k-1

す記号として用いると、各画像間には以下の式が成り立つ。

I =C 'ΐ (式 4)

0 0 1G

I =C ¾ (式 5)

1G 1 2G

I =C "I (式 6)

(n-l)G n-1 nG

[0103] ここで、（式 4)一（式 6)にお、て、複数個 (N個）の係数組 C ^kを求めておく。一方、 k-1

(式 4)一（式 6)より、

I =C ^JC ²- --C "I (式 7)

0 0 1 n-1 nG

が成り立つ。ここで、評価画像群が存在する場合には、（式 7)により求まった画像 I (I

0

^する）と現実の被拡張画像 Iとの画素値を、 A領域において直接比較できる。この

0 0 n

ため、（式 8)の評価式に従い、評価値 e—valが最も高くなる係数組を求めることにより、ノ Vラマ画像合成を行う際の繰り返し計算による誤差の蓄積が最小となるような線形係数の算出を行うことができる。評価関数 E (A )は、 k番目の A領域における Iと I k k k k

¹ ^との画素値の差分が閾値以下の画素数の総和（e—val)を求めればよい。

[数 2] "I = E_c0 (A₀ ) + E_cl {A, ) + E_c2 (A₂ ) + - - + E_{c cUc2}_..._xn(A_n ) (式 ₈ )

[0104] すなわち、（式 8)により、最も評価値 e—valが高くなる係数組 C ^kの組み合わせを一 k-1

、各 A領域で算出した N個の係数組の組み合わせ力選択すればょ、。

[0105] 以上、 S32における最適な線形係数の算出方法について説明した。以下、具体的な算出例を、図 11を用いて説明する。 [0106] 図 11において、 Iと（I , I , I )には、次の式が成り立つ。

[数 3]

(式 9 )

[0107] また、 (I , I , I )と（I , I , I )には、次の式が成り立つ。

[数 4]

(式 1 0 )

[0108] 一方、 Iと（I , I , I )には、 (式 9)、 (式 10)より次の式が成り立つ。

[数 5] 一 ― 一

-

(式 1 1 )

一

[0109] ここで、 iは Iにおける画素値を表して、る。はじめに（式 9)を用いて A ¹にお!/、て 3 通りの係数組 cを求める。同様に（式 10)を用いて A ⁴⁵⁶領域において 3通りの係数組 c， c， cを求める。これは例えば RANSACを用いて（式 8)で示した評価値 e va 一

1の高、上位 3組の係数組を求めればょ、。これにより（式 9)から（式 11)では各々 3 組の c , c , c , cの係数組の組み合わせにより、全 81通りの I ^Lが算出される。次にこの 81通りの中で (式 12)に示される評価値 e (各 A領域での e— valの総和）が最も高 V、係数組の組み合わせを選択する。

[数 6] e

)

(式 1 2 ) [0110] 図 15は本実施形態に係るパノラマ画像合成の過程を説明する図である。被拡張画像 Iは、重複領域 Aを用いて領域 1まで拡張される。同様に、重複領域域 Aを用い

0 0 1 て領域 2まで拡張され、重複領域 Aを用いて領域 3まで拡張される。各領域を拡張す

2

るにあたり、算出する線形係数の上位 3組を保持し、最終的な評価値が最も高くなる線形係数の組み合わせを選択する。ここでは、 A領域における合成画像 1 ¹ ^合成に k 用いた画像 Iとの輝度誤差 (輝度値の差分値が 2以下）が最も少なくなるようにした。

k

[0111] 図 16は図 15を用いて説明した方法で合成したパノラマ画像である。図 16 (a)は被拡張画像 I、図 16 (b)は本実施形態によって生成されたパノラマ画像 Iである。図 16

0 P

(b)を見ると分力るように、輝度誤差の無い良好なパノラマ画像が得られている。

[0112] 図 17は第 1の実施形態と本実施形態との比較結果を示す。図 17は、各実施形態で合成されたパノラマ画像について、正解画像を基準にしたときの、輝度の平均 2乗誤差および誤差の分散を表している。図 17から、本実施形態によって生成されたパノラマ画像は第 1の実施形態によって生成されたパノラマ画像に比べ、誤差が少なく、誤差の分散が小さいことが分かる。これは、第 3の実施形態に係るパノラマ画像合成方法の有効性を示して、る。

[0113] なお、 S32では、各 A領域で評価値 e— valが高ヽ係数組を複数保持し、それらの係数組の組合せにおいて最も評価値 eが高くなる係数組の組合せを最適な線形係数として算出したが、他の最適な線形係数の算出方法としては、例えば、各 A領域で複数の線形係数組を算出して保持する代わりに、全ての A領域で同時に 3点の画素値の選択を行って線形係数の算出を行 \算出された線形係数を (式 8)を用いて評価を行、、これを複数回繰り返す中で最も評価値 e—valの高、係数の組み合わせを選択しても良い。

[0114] また、 S32における他の最適な線形係数の算出方法としては、例えば、（式 4)一 ( 式 6)の各領域で算出した線形係数を用いて算出した画素値と、元の被拡張画像の画素値との 2乗誤差が最少となるように、線形係数を求めてもよい。具体的には、例えば線形係数の初期値として、各 A領域で求めた最も評価の高ヽ線形係数を用い、勾配法を用いて (式 12)に示す誤差関数 Eを最少にする係数組を求めれば良い（詳細は「Numerical Recipes in C 日本語版」 ,ρρ.292— 295,株式会社技術評論社, 199 3)。この 2乗誤差関数を (式 13)に示す。 i ^bは画像 Iにおける k番目の画素位置にお a a

ける画素値を示し、 1, m, nは各 A領域の画素数を示す。

[数 7]

(式 1 3 )

[0115] なお、ここまでは、評価画像群において、元の被拡張画像と光源環境が同一である画像が、被拡張画像自体である場合を例にとって、説明を行った。ただし、一般的には、図 18に示すように、評価画像群において、被拡張画像 Iと光源環境が同一であ

0

る画像は、画像 Iと異なる画像 Iであってもカゝまわない。この場合、評価画像群の存

0 η

在の有無を判定するステップ S31における処理の流れが、図 14のフローとは、若干異なる。

[0116] 図 19は被拡張画像 Iと光源環境が同一である画像力被拡張画像 Iと異なる画像 I

0 0

である場合のステップ S31の処理を示すフローチャートである。図 19において、図 1 4と共通のステップには図 14と同一の符号を付しており、ここではその詳細な説明を省略する。図 14の処理と異なるのは、被拡張画像 Iと光源環境が同一である画像 I

0 η を検出する点である（検出対象画像には画像 Iも含まれるので、必ず 1枚以上は存在

0

する）

まず、ステップ S41において、画像記憶部 103に記憶された画像の中から、任意の 1枚の画像 Iを選択する。

0

[0117] 次に、ステップ S61では、ステップ S41で選択された画像 Iと同一の光源環境の画

0

像 Iの検出を行う。具体的な検出方法としては、例えば、測定対象領域に測定対象物を設置し、その変化を調べるようにしても力まわない。これは、例えば完全拡散反射を起し、鏡面反射を生じな、硫酸バリウムゃスぺクトラロンの物体を置くようにしてもかまわない。

[0118] また、時間変化によって光源環境は変化すると考えられるので、一定時間経過ごとに光学環境が変化したと判断しても力まわない。これは、例えば窓などにより太陽光が入り込んでくる環境にぉ、て特に有効である。

[0119] また、鏡面球を使って光源状態を撮像し、その変化を検出するようにしてもよい。もちろん、広角カメラを天井方向に向けて光源状態を撮影しても力まわない。

[0120] また、撮像領域内において、最も輝度が高い画素の位置を認識し、その位置が動いた際には光源環境が変化したと判断するようにしても構わない。これは、最も輝度が高、画素は鏡面反射を起して!/、ると考えられるため、この位置が動くことを検出することで光源位置の変化を検出するものである。

[0121] 次に、ステップ S42において、ステップ S41で画像記憶部 103に記憶された全ての画像が選択されたカゝ否かの判定を行う。判定の結果、既に全ての画像の選択を行つて、たときは（S42で Yes)、評価画像群なしと判定する（S50)。

[0122] 全ての画像をまだ選択して!/、な、と判定したとき（S42で No)、ステップ S62にお!/ヽて、ステップ S41で選択した画像 Iに対して、 A+B領域を持つ画像群が少なくとも 1

0

組存在するかを判定する。判定の結果、画像群が 1組も存在しないときは（S62で No )、ステップ S41に戻り、画像 Iの再選択を行う。一方、画像群が少なくとも 1組存在す

0

るときは (ステップ S62で Yes)、ステップ S44において kに 0を代入する。

[0123] 次に、ステップ S45において、ステップ S62で判定された画像群の中から 1組の画像群 (A , B )を選択し、選択した画像群の B領域内にさらに少なくとも 1組の A+B k k k

領域を持つ画像群 (A , B )が存在するか否かを判定する。ここで、新たな画像群 k+1 k+1

が存在しないと判定されたときは（S45で No)、ステップ S41に戻り、画像の再選択を行う。

[0124] 新たな画像群 (A , B )が存在するとき（S45で Yes)、ステップ S63において、 B k+1 k+1

領域内に画像 Iとの重複領域 (A )が存在するか否かを判定する。存在するときは ( k+1 n n

S63で Yes)、評価画像群ありと判定し、処理を終了する。

[0125] 一方、 B に画像 Iとの重複領域が存在しな力つたときは（S63で No)、 kが閾値は k+1 n

りも小さいか否かを判定し (ステップ S48)、 kが閾値はりも小さいときは（S48で Yes) 、 kをインクリメントし (ステップ S49)、ステップ S45に戻って処理を繰り返す。一方、 k が閾値はりも小さくないときは（S48で No)、ステップ S41にもどり、画像 Iの再選択を行う。

[0126] このように、評価画像群において、被拡張画像 Iと光源環境が同一である画像が被

0

拡張画像 Iと異なる画像であった場合でも、図 19に示す処理によって、評価画像群

0

の有無を判定することができる。

[0127] このように本実施形態によると、評価画像群が存在するか否かを判定するステップ S31、および評価画像群が存在する場合に誤差の少ない線形係数を算出するステップ S32により、画像合成を行う際の繰り返し計算による誤差の蓄積を最小限に抑えるような線形係数の算出を行うことができるので、より輝度誤差の少ないパノラマ画像合成を行うことができ、物体検出の精度も向上する。

産業上の利用可能性

[0128] 本発明では、光源環境が一定のパノラマ画像を合成でき、このノ Vラマ画像を複数枚用いることによって、任意の光源環境において撮影した画像力も物体検出を行うことができるので、例えば、屋外等の光環境が頻繁に変化するような場所の、監視システムにおける侵入者検出等に有用である。

Claims

請求の範囲

[1] 第 1の重複領域を共通に持ち、かつ、前記第 1の重複領域以外の第 2の重複領域を持つ N (Nは 3以上の整数)枚の画像と、前記第 2の重複領域を持たな、被拡張画像とからなる重複画像群を、取得するステップと、

前記被拡張画像の線形係数を、前記第 1の重複領域における前記重複画像群の画像それぞれの画素値を用いて、算出するステップと、

前記線形係数と、前記第 2の重複領域における前記 N枚の画像それぞれの画素値を用いて、前記被拡張画像のサイズを、前記第 2の重複領域まで拡張するステップとを備え、

サイズが拡張された前記被拡張画像を基にして、パノラマ画像を合成することを特徴とするパノラマ画像合成方法。

[2] 請求項 1において、

前記 N枚の画像として、光源環境が互いに異なっている画像を、取得することを特徴とするパノラマ画像合成方法。

[3] 請求項 1において、

算出した前記被拡張画像の線形係数の信頼性を判定するステップを備え、信頼性が低ヽと判定したとき、重複画像群の再取得を行う

ことを特徴とするパノラマ画像合成方法。

[4] 請求項 1において、

前記取得ステップは、画像記憶部に記憶された画像の中から、重複画像群を選択するものであり、

前記画像記憶部に新たな画像が入力されたとき、重複画像群の再選択を行い、この新重複画像群と旧重複画像群とで画像合成の好適性を比較し、この比較結果を基にして、ノ Vラマ画像を更新する力否かを判定する

ことを特徴とするパノラマ画像合成方法。

[5] 請求項 4において、

画像合成の好適性を、拡散反射画素の個数を用いて、判断するものであり、新重複画像群の方が、拡散反射画素の個数が多いとき、パノラマ画像の更新を行 5

ことを特徴とするパノラマ画像合成方法。

[6] 請求項 4において、

画像合成の好適性を、画像間の独立性を用いて、判断するものであり、新重複画像群の方が、画像間の独立性が高いとき、パノラマ画像の更新を行うことを特徴とするとするパノラマ画像合成方法。

[7] 請求項 1のパノラマ画像合成方法によって、検出対象画像の撮影範囲を含む複数のパノラマ画像を生成するステップと、

前記検出対象画像と前記複数のパノラマ画像とを基にして、前記検出対象画像と光源環境が同一の予測背景画像を生成するステップと、

前記検出対象画像と前記予測背景画像とを対比し、物体検出を行うステップとを備えた

ことを特徴とする物体検出方法。

[8] 請求項 7において、

前記複数のパノラマ画像は、少なくとも 3枚である

ことを特徴とする物体検出方法。

[9] 請求項 1において、

前記取得ステップにお、て、同一の前記第 1の重複領域を持つ前記重複画像群が、複数個あるとき、各重複画像群について、算出される線形係数の信頼性を評価し、信頼性が最も高ヽものを選択する

ことを特徴とするパノラマ画像合成方法。

[10] 請求項 1において、

被拡張画像に対して、評価画像群が存在するか否かを、判定するステップを備え、評価画像群が存在するとき、この評価画像群を用いて、前記被拡張画像の線形係数を算出する

ことを特徴とするパノラマ画像合成方法。

[11] 請求項 10において、

前記評価画像群が複数個、存在するとき、当該評価画像群に含まれた前記第 2の重複領域における画像の独立性が、最も高いものを、選択する

ことを特徴とするパノラマ画像合成方法。

[12] 請求項 10において、

前記評価画像群が複数個、存在するとき、当該評価画像群が占める画像領域における画素数が、最も多いものを、選択する

ことを特徴とするパノラマ画像合成方法。

[13] 第 1の重複領域を共通に持ち、かつ、前記第 1の重複領域以外の第 2の重複領域を持つ N (Nは 3以上の整数)枚の画像と、前記第 2の重複領域を持たな、被拡張画像とからなる重複画像群を、取得する手段と、

前記被拡張画像の線形係数を、前記第 1の重複領域における前記重複画像群の画像それぞれの画素値を用いて、算出する手段と、

前記線形係数と、前記第 2の重複領域における前記 N枚の画像それぞれの画素値を用いて、前記被拡張画像のサイズを、前記第 2の重複領域まで拡張する手段とを備え、

サイズが拡張された前記被拡張画像を基にして、パノラマ画像を合成することを特徴とするパノラマ画像合成装置。

[14] 撮像部と、

前記撮像部によって撮像された画像に対して、幾何学的補正および光学的補正を行う撮像画像補正部と、

前記撮像画像補正部によって補正された画像を記憶する画像記憶部と、前記画像記憶部に記憶された画像を入力とする請求項 13のパノラマ画像合成装置とを備え、

前記パノラマ画像合成装置は、前記重複画像群を、前記画像記憶部に記憶された画像の中力取得するものである

ことを特徴とする撮像装置。

[15] 請求項 14の撮像装置と、

前記撮像装置が備えた前記パノラマ画像合成装置によって合成されたパノラマ画像を用いて、物体検出を行う物体検出部と、前記物体検出部によって検出された物体の領域を表示する検出物体表示部とを備えた

ことを特徴とする物体検出装置。

[16] コンピュータに、ノ Vラマ画像合成を実行させるプログラムであって、

第 1の重複領域を共通に持ち、かつ、前記第 1の重複領域以外の第 2の重複領域を持つ N (Nは 3以上の整数)枚の画像と、前記第 2の重複領域を持たな、被拡張画像とからなる重複画像群を、取得するステップと、

前記線形係数と、前記第 2の重複領域における前記 N枚の画像それぞれの画素値を用いて、前記被拡張画像のサイズを、前記第 2の重複領域まで拡張するステップとサイズが拡張された前記被拡張画像を基にして、ノ Vラマ画像を合成するステップとを、

コンピュータに実行させるパノラマ画像合成プログラム。

[17] 互いに一部の画像領域が重複し、かつ、光源環境が異なる複数の部分画像を入力とし、

前記入力した部分画像に基づいて、前記各部分画像よりも広い領域にわたり、光源環境が同一のパノラマ画像を生成し、出力する

パノラマ画像合成装置。