JP6251099B2 - 距離算出装置 - Google Patents

Description

本発明は、複数のカメラにより撮影された画像を用いて対象物までの距離を算出する距離算出装置に関する。

車載ステレオカメラにより撮影された一方の画像における画素ブロックと、その画素ブロックと相関を有する他方の画像における画素ブロックとの視差に基づき、三角測量の原理を用いて対象物までの距離を算出することが行われている。距離を正確に算出するためには、視差以外の位置的なずれがステレオカメラ画像に存在しないことが望ましいが、ステレオカメラの取り付け精度に起因する位置的なずれや、振動等で生じた位置的なずれが存在する。特に、水平方向の並進ずれは、視差の誤差となって表れるため、距離の算出誤差の要因となる。そこで、ステレオカメラの水平方向の並進ずれに起因した誤差を補正して、対象物までの距離を算出する装置が提案されている。

例えば、特許文献１は、ステレオカメラにより得られた一方の画像平面において、距離方向に延在する互いに平行な近似直線の交点から第１消失点を算出するとともに、同様にして他方の画像平面から第２消失点を算出している。そして、第１消失点と第２消失点とのずれ量から消失点視差を算出し、算出した消失点視差を用いて算出距離を補正している。

特開２００３−８３７４２号公報

特許文献１では、距離方向に延在する白線が道路の左右に存在し、左右の白線対は互いに平行であることが多いことから、距離方向に延在する白線から算出した近似直線が互いに平行であることを仮定して、消失点視差を算出している。しかしながら、道路面がうねっていた場合などには、近似直線対に互いに平行ではないものも含まれるおそれがある。近似直線対に互いに平行でないものが含まれている場合、消失点視差の算出精度が低下するとともに、距離の算出精度が低下するおそれがある。

本発明は、上記実情に鑑み、距離の算出精度を向上させることが可能な距離算出装置を提供することを主たる目的とする。

上記課題を解決するため、本発明は、距離算出装置であって、道路を含む周辺環境を撮影する複数の画像撮影装置と、前記複数の画像撮影装置により撮影された一対の画像に基づいて、視差を算出する視差算出手段と、前記画像において、前記道路の左右の境界線を構成するエッジ点を抽出する境界線抽出手段と、前記境界線抽出手段により抽出された前記エッジ点に基づき、前記左右の境界線を近似する所定長の線分である近似直線を算出する近似直線算出手段と、前記一対の画像における消失点視差の値を変えながら、各消失点視差について、前記近似直線算出手段により算出された前記左右の近似直線のうちの一方の前記近似直線の第１端から他方の前記近似直線を含む直線へ下ろした垂線の足と、前記第１端と対応する前記他方の近似直線の第２端との一致度を算出する一致度算出手段と、前記一致度算出手段により算出された前記一致度のうちの最も高い前記一致度に対応する前記消失点視差を、前記一対の画像における消失点視差として決定する消失点視差決定手段と、前記視差算出手段により算出された視差、及び前記消失点視差決定手段により決定された消失点視差に基づいて、対象物までの距離を算出する距離算出手段と、を備える。

本発明によれば、複数の画像撮影装置により撮影された一対の画像に基づいて、視差が算出される。また、画像から、道路の左右の境界線を構成するエッジ点が抽出される。そして、抽出されたエッジ点に基づき、左右の境界線を近似する所定長の線分である近似直線が算出される。

ここで、消失点視差が間違っていると、本来平行ではない左右の近似直線が平行になったり、本来平行の左右の近似直線が平行でなくなったりする。そこで、消失点視差の値が変えられながら、各消失点視差について、算出された左右の近似直線のうちの一方の近似直線の第１端から他方の近似直線を含む直線へ下ろした垂線の足と、第１端と対応する他方の近似直線の第２端との一致度が算出される。そして、算出された一致度のうちの最も高い一致度に対応する消失点視差が、一対の画像における消失点視差として決定される。

左右の近似直線が実空間において真に平行で、消失点視差が真の値である場合、左右の近似直線のうちの一方の近似直線の第１端から他方へ下ろした垂線の足と、他方の近似直線の第２端とは一致し、一致度は最も高くなる。よって、算出された一致度のうちの最も高い一致度に対応する消失点視差が、正しい消失点視差として選択され、一対の画像における消失点視差として決定される。これにより、消失点視差の算出精度を向上させることができる。さらに、算出された視差、及び決定された消失点視差に基づいて、対象物までの距離が算出される。したがって、消失点視差の算出精度を向上させることができ、ひいては、距離の算出精度を向上させることができる。

本実施形態に係る距離算出装置の構成を示すブロック図。 一対の画像の視差を示す図。 （ａ）画像座標を示す図。（ｂ）画像座標を実空間の座標に変換する式。 境界線を抽出する所定領域を示す図。 （ａ）境界線を構成するエッジ点を示す図。（ｂ）近似式の算出に用いるエッジ点を示す図。 （ａ）複数の線分ペアを示す図。（ｂ）右線分の近似式。（ｃ）左線分の近似式。 消失点視差の変化に伴う線分ペアの平行性の変化を示す図。 左側の各線分を近似する近似直線の係数を示す図。 一方の線分から他方の線分に下ろした垂線及び一致度を示す図。 算出した一致度と消失点視差との対応を示す図。 （ａ）垂線の長さを示す図。（ｂ）線分ペアの間隔と道路の幅との偏差を算出する式。 複数の時点で撮影した画像から算出した消失点視差を示す図。 算出した消失点視差の時間変化を示すタイムチャート。 消失点視差を算出する処理手順を示すフローチャート。

以下、距離算出装置を具現化した実施形態について、図面を参照しつつ説明する。まず、図１を参照して、本実施形態に係る距離算出装置１０の構成について説明する。距離算出装置１０は、一対の画像撮影装置２０、及び画像処理装置３０を備える。

一対の画像撮影装置２０は、ＣＣＤやＣＭＯＳセンサ、あるいは赤外線カメラ等のイメージセンサを内蔵したステレオカメラであり、一方はメインカメラ２１、他方はサブカメラ２２となる。メインカメラ２１及びサブカメラ２２は、それぞれ、ルームミラーの右端と左端に、車幅方向において所定のカメラ基線長で取り付けられ、通常の走行状態において車両前方の道路や先行車両等を含む周辺環境を撮影する。

メインカメラ２１は、基準画像信号を出力し、サブカメラ２２は、比較画像信号を出力する。メインカメラ２１及びサブカメラ２２は、互いに同期が取れており、同一タイミングで周辺環境を撮影し、一対のアナログ画像データを画像処理装置３０へ出力する。

画像処理装置３０は、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＩ／Ｏ等から構成されたマイクロコンピュータ、Ａ／Ｄ変換回路から構成され、画像平行化部４０、境界線抽出部５０、視差算出部６０、補正量算出部７０、及び距離算出部８０の機能を実現する。

画像平行化部４０は、画像撮影装置２０から入力された一対のアナログ画像データを、Ａ／Ｄ変換回路により、それぞれ所定の輝度階調のデジタル画像データに変換する。さらに、画像平行化部４０は、一対のデジタル画像データを、メインカメラ２１及びサブカメラ２２の姿勢とレンズのひずみ係数とで補正して、一対のデジタル画像を平行化する。これにより、一対のデジタル画像、すなわちステレオ画像におけるエピポーライン（水平線）が一致するとともに、エピポーラインがｕ軸（図３（ａ）参照）に平行になる。ステレオ画像におけるエピポーラインの一致は、ステレオマッチングの精度を確保するために必要となる。画像平行化部４０により補正されたステレオ画像は、視差算出部６０及び境界線抽出部５０へ出力される。

視差算出部６０は、ステレオ画像に基づいて視差ｄを算出する。視差ｄは、同じ対象物をメインカメラ２１及びサブカメラ２２により撮影した際に、メインカメラ２１の画像（基準画像）における対象物の位置と、サブカメラ２２の画像（参照画像）における対象物の位置との差である。視差算出部６０は、基準画像において、例えば４×４ピクセルのピクセルブロック毎に、１つの視差ｄを算出する。

視差ｄは、図２に示すように、画像撮影装置２０の近傍ほど大きく、遠方ほど小さくなる。そして、理論的には、ステレオ画像の消失点における視差である消失点視差ｄ０は０になる。すなわち、理論的には、ステレオ画像において消失点の位置は一致する。

画像撮影装置２０は、車両への初期搭載時に、平行化後のステレオ画像において、消失点視差ｄ０が０になるように構成されている。しかしながら、車両の振動等により画像撮影装置２０の位置にずれが生じ、消失点視差ｄ０が０でなくなることがある。消失点視差ｄ０が小さい場合は、ステレオ画像のマッチング率には影響を与えないが、三角測量の原理を用いて算出する対象物までの距離に影響を与える。そのため、三角測量の原理を用いて対象物までの距離を算出する際には、視差ｄを、消失点視差ｄ０の分だけ補正する必要がある（図３（ｂ）参照）。消失点視差ｄ０の詳しい算出方法は後述する。

距離算出部８０は、視差算出部６０により算出された視差ｄ、及び後述する消失点視差決定部７３により決定された消失点視差ｄ０に基づいて、車両から対象物までの距離を算出する。詳しくは、図３（ａ）に示すように、基準画像において座標軸ｕ，ｖを設定した場合、距離算出部８０は、基準画像における対象物の座標（ｕ，ｖ，ｄ）を、図３（ｂ）に示すように、消失点視差ｄ０を用いて、実空間の座標（Ｘ，Ｙ，Ｚ）に変換する。そして、距離算出部８０は、対象物の実空間上の座標（Ｘ，Ｙ，Ｚ）から、実空間における距離を算出する。

次に、消失点視差ｄ０の算出方法について説明する。高精度に消失点視差ｄ０を求めるためには、実空間において互いに平行な直線を一組見つける必要がある。そこで、境界線抽出部５０及び補正量算出部７０では、左右の境界線を構成するエッジ点を抽出し、抽出したエッジ点に基づいて近似直線のペアを複数算出する。さらに、消失点視差ｄ０を変えながら、各消失点視差ｄ０において、算出した複数の線分ペアの中から最も平行性の高い線分ペアを選択する。選択した線分ペアの一方の端Ａから他方の線分を含む直線へ下ろした垂線の足と、端Ａと対応する他方の線分の端Ｂとの一致度Ｍを算出する。そして、最も一致度Ｍが高い線分ペアに対応する消失点視差ｄ０を、ステレオ画像における消失点視差ｄ０とする。以下、詳しく説明する。

境界線抽出部５０は、基準画像の所定領域内（図４参照）において、例えば、縦１６×横６４ピクセルのピクセルブロックごとに１点を取得し、取得した点に基づいて、３次元Hough変換で道路面の式を算出する。また、境界線抽出部５０は、基準画像において、道路の左右の境界線を構成するエッジ点を抽出する。詳しくは、境界線抽出部５０は、基準画像において、左端から水平方向にアップエッジ点を探索する。そして、境界線抽出部５０は、探索したエッジ点に基づいて、道路上にある白線対を表す直線を２次元Hough変換で検出する。白線対を表す直線は、基準画像内にある傾きが正の直線及び負の直線のそれぞれから、含まれるエッジ点が最も多い直線である。

さらに、図４に示すように、画像撮影装置２０の近傍の所定領域をエッジ抽出領域とする。この所定領域には、２次元Hough変換で検出された右側の破線の白線を表す線分と、同様に検出された左側の直線の白線を表す直線とが含まれる。そして、境界線抽出部５０は、高精度にエッジ点を抽出するため、２次元Hough変換で検出した左右の白線のおおよその傾きに対して、それぞれ垂直な方向にエッジを持つピクセルほどエッジ強度が強くなるフィルタを、基準画像の輝度データにかけ、左右のエッジ点をそれぞれ抽出する（図５（ａ）のハッチング部分）。さらに、境界線抽出部５０は、フィルタをかけて算出した左右のエッジ点のうち、エッジ強度が閾値以上のエッジ点を、道路の左右の境界線を構成するエッジ点としてそれぞれ抽出する（図５（ｂ）の白抜き部分）。このように、白線に対して垂直な方向にエッジ点を探索することにより、画像の水平方向にエッジ点を検索する場合よりも、高精度に白線の輪郭が検出される。

補正量算出部７０は、近似直線算出部７１、一致度算出部７２、消失点視差決定部７３、及び信頼度算出部７４を備え、視差ｄの補正量すなわち消失点視差ｄ０を算出する。

信頼度算出部７４は、画像撮影装置２０の近傍を撮影したピクセルの画像データほど信頼度を高く算出する。信頼度は、あるピクセルの画像データが、真の値である確率に相当する。一般に、画像撮影装置２０の近傍を撮影したピクセルの画像データほど、真の値である確率は高く、遠方を撮影したピクセルの画像データほど、真の値である確率は低い。

近似直線算出部７１は、境界線抽出部５０により抽出されたエッジ強度が閾値以上の左右のエッジ点に基づき、左右の白線の近似直線を算出する。近似直線算出部７１は、まず、右側の破線の白線を表す線分を近似する近似直線（第１直線）を算出する。詳しくは、近似直線算出部７１は、境界線抽出部５０により抽出された右側のエッジ点を、信頼度算出部７４により算出された信頼度で重み付けする。そして、近似直線算出部７１は、重み付けした右側のエッジ点について、最小二乗法により、右側の線分を近似する近似直線の式（図６（ｂ）参照）を算出する。αｒｘ、αｒｙ、βｒｘ、及びβｒｙは係数である。

次に、近似直線算出部７１は、境界線抽出部５０により抽出された左側のエッジ点から、図６（ａ）に示すように、右側の線分と同じ長さの線分を複数切り出す。実際の道路では、長い直線道路は少なく、カーブしていたりうねっていたりする道路が多い。カーブしていたりうねっていたりする道路の白線を、長い直線で近似すると、実空間において互いに平行な直線をみつけられないおそれがある。そのため、近似直線算出部７１は、左側の長い直線を構成するエッジ点から、右側の線分と同じ長さの短い線分を複数切り出す。

そして、近似直線算出部７１は、境界線抽出部５０により抽出された左側のエッジ点を、信頼度で重み付けし、信頼度で重み付けした左側のエッジ点について、最小二乗法により、複数の線分のそれぞれを近似する近似直線（第２直線）の式（図６（ｃ）参照）を算出する。詳しくは、近似直線算出部７１は、境界線抽出部５０により抽出された左側のエッジ点において、手前側から奥方向に１ピクセルずつずらしながら、右側の線分と同じ長さの線分を切り出し、それぞれの線分を近似する近似直線の式を算出する。本実施形態では、左側で８０本の線分を切り出したとする。この場合、左側のそれぞれの線分と右側の線分とで、８０個の線分ペアができる。また、この場合、左側の近似直線の係数、αｌｘ、αｌｙ、βｌｘ、及びβｌｙは、それぞれ８０個算出される。

なお、左右の白線がどちらも長い直線の場合は、一方の白線を構成するエッジ点から所定長の線分を切り出し、所定長の線分の近似直線を算出する。そして、他方の白線を構成するエッジ点から所定長の線分を複数切り出し、各線分の近似直線をそれぞれ算出する。

ここで、実空間で平行な線分ペア（図７（ａ）参照）を近似した近似直線において、消失点視差ｄ０を誤った値に変化させると、線分ペアが平行ではなくなる（図７（ｂ）参照）。逆に、実空間で平行でない線分ペアを近似する近似直線において、消失点視差ｄ０を誤った値に変化させることにより、線分ペアが平行になることもある。誤った消失点視差ｄ０の値で線分ペアが平行になっている場合、線分ペアの進行方向の位置はずれるため、一方の線分の近傍側の端から他方の線分を含む直線へ下ろした垂線の足は、他方の線分の近傍側の端とずれる。これに対して、真の消失点視差ｄ０で線分ペアが平行になっている場合、一方の線分の近傍側の端から他方の線分を含む直線へ下ろした垂線の足と、他方の線分の近傍側の端とが一致する線分ペアが存在する。このような線分ペアを、実空間において真に平行な線分ペアとする。そして、消失点視差ｄ０の値を変化させて、実空間において真に平行な線分ペアに最も近い線分ペアの一組を探し、探した線分ペアに対応する消失点視差ｄ０を、ステレオ画像の消失点視差ｄ０と決定する。

そこで、近似直線算出部７１は、右側の線分の近似直線を算出するとともに、左側の複数の線分の近似直線をそれぞれ算出する。さらに、近似直線算出部７１は、算出した左側の複数の近似直線の係数を平滑化し、特異点を減らして近似直線の係数を真の値に近づける。詳しくは、手前側の線分から順に係数を並べて平滑化する。図８（ａ）は、左側の複数の近似直線の係数αｌｘを、手前側から順に並べた図である。近似直線算出部７１は、線分ペア番号が小さい方から順に係数αｌｘを平滑化する。

平滑化方法は、どのような方法でもよいが、例えば、図８（ａ）に示す係数αｌｘについて線形補間をし、線形補間した係数αｌｘについて移動平均を行うことにより平滑化する。図８（ｂ）は、平滑化した係数αｌｘを示す。このように平滑化することにより、実際の道路の滑らかな勾配に対応して、滑らかに変化する係数αｌｘが得られる。また、近似直線算出部７１は、同様にして、係数αｌｙ，βｌｘ，βｌｙについても平滑化を行う。以上により、８０個の線分ペアの近似直線が算出される。

一致度算出部７２は、消失点視差ｄ０の値を、−３〜３まで０．０５[pix]刻みで変化させ、各消失点視差ｄ０について、近似直線算出部７１により算出された線分ペアの中から、最も平行性の高い線分ペアを決定する。具体的には、一致度算出部７２は、各消失点視差ｄ０について、αｌｘｄ０＋βｌｘ＝αｒｘｄ０＋βｒｘ、及びαｌｙｄ０＋βｌｙ＝αｒｙｄ０＋βｒｙ（平行条件）を満たす線分ペアを、最も平行性の高い線分ペアに決定する。直線道路では複数の線分ペアが平行条件を満たす。複数の線分ペアが平行条件を満たす場合は、複数の線分ペアを最も平行性の高い線分ペアに決定する。

そして、一致度算出部７２は、各消失点視差ｄ０について、決定した線分ペアの一致度Ｍを算出する。図９（ａ）に示すように、左右の線分ペアが平行で、消失点視差ｄ０が真の値のときは、右側の線分の端Ａ（第１端）から左側の線分を含む直線に向けて下ろした垂線の足が、左側の線分の端Ｂ（第２端）に一致する線分ペアが存在する。端Ａと端Ｂは、それぞれ右側の線分の近傍側の端と左側の線分の近傍側の端で対応している。この場合、左側の線分の近似直線に向けて右側の線分のどこから垂線を下ろしても、垂線の長さＬｉと道路の幅Ｗとは一致する。

一方、図９（ｂ），（ｃ）に示すように、消失点視差ｄ０の値が誤っているときは、右側の線分の端Ａから左側の線分を含む直線に向けて下ろした垂線の足は、左側の線分の端Ｂからずれる。そこで、一致度算出部７２は、端Ａから下ろした垂線の足と、端Ｂとのずれ量を数値化し、これを一致度Ｍとする。ずれ量が小さいほど、一致度Ｍは高くなる。なお、線分の遠方側の端のデータよりも、近傍側の端のデータの方が信頼度が高いので、一致度Ｍの算出には、線分の近傍側の端を用いるとよい。

消失点視差決定部７３は、一致度算出部７２により算出された一致度Ｍのうち、最も高い一致度Ｍに対応する消失点視差ｄ０を、すなわち真に平行な線分ペアに最も近い線分ペアに対応する消失点視差ｄ０を、ステレオ画像における消失点視差ｄ０として決定する。図１０（ａ）に、消失点視差ｄ０ごとに選択した線分ペアの一致度Ｍをプロットした図を示す。また、図１０（ｂ）に、図１０（ａ）において、一致度Ｍが高い領域を拡大した図を示す。図１０（ｂ）に示すように、一致度Ｍが最も高くなるのは、消失点視差ｄ０が０．２５のときである。よって、この場合、消失点視差決定部７３は、ステレオ画像における消失点視差ｄ０を０．２５と決定する。

さらに、消失点視差決定部７３は、時間的に連続した複数の異なる時点において、撮影されたステレオ画像のそれぞれに対して消失点視差ｄ０を決定し、決定した複数の消失点視差ｄ０に基づいて、距離算出部８０が用いる消失点視差ｄ０を統計的に決定する。消失点視差ｄ０を決定する時間間隔は、画像処理装置３０の処理能力に応じて設定する。

具体的には、消失点視差決定部７３は、複数のステレオ画像のそれぞれに対して決定した消失点視差ｄ０について、消失点視差ｄ０に対応する左右の線分ペアの間隔と道路の幅Ｗとの偏差が、最も小さくなる道路の幅Ｗ０を用いて、例えば、Ｋ-means法によりグループ化する(図１２参照)。そして、消失点視差決定部は、グループごとに統計した結果に基づいて、距離算出部８０が用いる消失点視差ｄ０に決定する。詳しくは、消失点視差決定部７３は、各グループの分散を求め、分散の大きいグループを外れ値として除外し、分散の小さいグループの平均値を、距離算出部８０が用いる消失点視差ｄ０に決定する。

以下に、各ステレオ画像について決定した消失点視差ｄ０について、消失点視差ｄ０に対応する左右の線分ペアの間隔との偏差が、最も小さくなる道路の幅Ｗ０の算出方法について説明する。消失点視差決定部７３は、各線分ペアについて、右側の近似直線から、左側の近似直線を含む直線へ向けて下ろした垂線の長さＬｉと、道路の幅Ｗとの偏差に基づいて、平行度Ｅを算出する。まず、消失点視差決定部７３は、垂線の長さＬｉを算出する。詳しくは、図１１（ａ）に示すように、右側の近似直線上の点Ｐｒｉ（ｕｒ，ｖｒ，ｄｒ）を通る垂直面と、左側の近似直線との交点Ｐｌｉ（ｕｌ，ｖｌ，ｄｌ）を算出し、点Ｐｒｉと点Ｐｌｉとの距離を算出する。この距離が、垂線の長さＬｉとなる。

消失点視差決定部７３は、右側の線分の近傍側の端Ａから遠方側の端までの間で、点Ｐｒｉの位置を１ピクセルずつ奥方向へずらしながら左側の近似直線へ垂線を下ろし、各垂線の長さＬｉを算出する。よって、垂線の長さＬｉは、右側の線分に含まれるピクセル数分算出される。なお、点Ｐｒｉの位置を、所定数のピクセルずつ奥方向へずらしながら、左側の近似直線へ垂線を下ろしてもよい。

次に、消失点視差決定部７３は、図１１（ｂ）に示す式を用いて平行度Ｅを算出する。具体的には、消失点視差決定部７３は、各垂線の長さＬｉと道路の幅Ｗとの偏差の２乗値を算出し、各偏差の２乗値を、信頼度算出部７４により算出された信頼度Ｖｉの逆数で重み付けする。消失点視差決定部７３は、信頼度Ｖｉの逆数で重み付けした各偏差の２乗値を、すべて加算して平行度Ｅを算出する。

画像撮影装置２０の近傍を撮影したピクセルの画像データほど情報の信頼度が高い。そのため、画像撮影装置２０の近傍では、実空間で線分ペアが平行のときに偏差の二乗値は０に近い値になるが、遠方では、実空間で線分ペアが平行のときでも偏差の二乗値が０よりも大きな値になることがある。そこで、同じ偏差でも、遠方よりも近傍の方の平行度Ｅが低くなるように、信頼度Ｖｉの逆数で各偏差の二乗値を重み付けする。

平行度Ｅは、線分ペアが実空間において平行のときに０となり、線分ペアが実空間において平行から離れるほど大きな値となる。すなわち、平行度Ｅは、線分ペアの平行性を表す指標となり、値が小さいほど高い平行性を示す。

さらに、消失点視差決定部７３は、図１１（ｂ）に示す平行度Ｅの式を道路の幅Ｗで偏微分する。偏微分が０となるときの道路の幅Ｗが、偏差が最も小さくなる道路の幅Ｗ０である。道路の幅Ｗ０は、各ステレオ画像を取得した際に、車両が走行していた実際の道路の幅に近い値となる。このように算出した道路の幅Ｗ０を用いて、統計することにより、距離算出に用いる消失点視差ｄ０を高精度に算出できる。

このようにして決定した消失点視差ｄ０の時間変化を図１３に示す。時間の経過とともに、消失点視差ｄ０の値が収束している様子がわかる。収束後の消失点視差ｄ０は、精度の高い値になる。

なお、境界線抽出部５０、視差算出部６０、近似直線算出部７１、一致度算出部７２、消失点視差決定部７３、信頼度算出部７４及び距離算出部８０が、それぞれ、境界線抽出手段、視差算出手段、近似直線算出手段、一致度算出手段、消失点視差決定手段、信頼度算出手段、及び距離算出手段に相当する。

次に、消失点視差ｄ０を算出する処理手順について、図１４のフローチャートを参照して説明する。本処理は、画像処理装置３０が所定時間間隔で実行する。

まず、画像撮影装置２０により撮影された一対のアナログ画像を、デジタル化するとともに平行化したステレオ画像を取得する（Ｓ１０）。続いて、Ｓ１０で取得したステレオ画像に基づいて、画像座標上の各点における視差ｄを算出する（Ｓ１１）。

続いて、画像撮影装置２０の近傍の所定領域において、道路の左右の境界線である左右の白線の輪郭を表すエッジ点を抽出する（Ｓ１２）。続いて、Ｓ１２で抽出した右側の所定長の線分を構成するエッジ点を、信頼度で重み付けする。そして、重み付けしたエッジ点を最小二乗法で近似し、右側の線分を近似する近似直線を算出する（Ｓ１３）。同様に、右側の線分の近傍側及び遠方側で、所定のピクセル数ずつずらしながら、所定長の線分を近似する直線を複数算出する。

続いて、Ｓ１２で抽出した左側のエッジ点について、手前側から奥方向に１ピクセルずつずらしながら、右側の線分と同じ長さの線分を複数切り出す。そして、切り出した各線分に属するエッジ点を信頼度で重み付けし、重み付けしたエッジ点を最小二乗法で近似して、各線分を近似する近似直線を算出する（Ｓ１４）。なお、Ｓ１３で左側の所定長の線分の近似直線を算出し、Ｓ１４で右側の複数の線分の近似直線を算出してもよい。

続いて、Ｓ１４で算出した左側の近似直線の係数αｌｘ，αｌｙ，βｌｘ，βｌｙを平滑化する。また、Ｓ１３で算出した右側の近似直線の係数αｒｘ，αｒｙ，βｒｘ，βｒｙと、右側の線分の近傍側及び遠方側で複数の線分を近似した直線の係数とを平滑化する（Ｓ１５）。そして、各消失点視差ｄ０において、平滑化した係数を左側及び右側の各近似直線の係数とする。

続いて、各消失点視差ｄ０において、複数の線分ペアの中から実空間で最も平行になる線分ペアを決定する（Ｓ１６）。続いて、各消失点視差ｄ０において、Ｓ１６で決定した各線分ペアの一致度Ｍを算出する（Ｓ１７）。そして、各消失点視差ｄ０について算出した一致度Ｍの中で、最も高い一致度Ｍに対応する消失点視差ｄ０を、Ｓ１０で取得したステレオ画像の消失点視差ｄ０に決定する（Ｓ１８）。

続いて、Ｓ１０でステレオ画像を取得するよりも前に、所定の時間間隔で取得された複数のステレオ画像について、それぞれ決定した複数の消失点視差ｄ０、及びＳ１８で決定した消失点視差ｄ０に基づき、距離の算出に用いる消失点視差ｄ０を決定する（Ｓ１９）。詳しくは、異なる時点で決定した複数の消失点視差ｄ０について、平行度Ｅが最小となる道路の幅Ｗ０を用いてK-means法等の統計処理を行い、距離の算出に用いる消失点視差ｄ０を決定する。

以上で本処理を終了する。次に本処理を行って消失点視差ｄ０を更新するまでは、今回の処理で算出した消失点視差ｄ０を用いて、図３（ｂ）の式から対象物までの距離を算出する。

以上説明した本実施形態によれば、以下の効果を奏する。

・道路の左右の境界線を構成するエッジ点が抽出され、抽出されたエッジ点に基づき、左右の境界線を近似する所定長の線分である近似直線が算出される。そして、消失点視差ｄ０の値が変えられながら、各消失点視差ｄ０について、算出された左右の近似直線のうちの一方の近似直線の端Ａから他方の近似直線を含む直線へ下ろした垂線の足と、他方の近似直線の端Ｂとの一致度Ｍが算出される。そして、算出された一致度Ｍのうちの最も高い一致度Ｍに対応する消失点視差ｄ０が、ステレオ画像における消失点視差ｄ０として決定される。これにより、消失点視差ｄ０の算出精度を向上させることができる。さらに、算出された視差ｄ、及び決定された消失点視差ｄ０に基づいて、対象物までの距離が算出される。したがって、消失点視差ｄ０の算出精度を向上させることができ、ひいては、距離の算出精度を向上させることができる。

・複数の異なる時点でステレオ画像が取得され、各ステレオ画像に対して消失点視差ｄ０が決定される。そして、各ステレオ画像に対して決定された消失点視差ｄ０に基づいて、距離算出に用いられる消失点視差ｄ０が統計的に決定される。これにより、外れ値が除外され、消失点視差ｄ０の算出精度を向上させることができる。

・画像撮影装置２０の近傍を撮影したピクセルの画像データほど信頼度が高くなるように、重み付けされたエッジ点に基づいて、近似直線が算出される。これにより、近似直線を高精度に算出することができ、ひいては、消失点視差ｄ０の算出精度を向上させることができる。

・カーブやうねりのある道路でも道路の形状に沿った線を近似できるように、左側の近似直線と右側の近似直線との複数の線分ペアが算出される。そして、各消失点視差ｄ０において、算出された複数の線分ペアの中から、最も平行性の線分ペアが決定され、決定された線分ペアについて、一致度Ｍが算出される。よって、道路の形状に関わらず、複数の線分ペアの中から平行性の高い線分ペアを見つけ、消失点視差ｄ０を高精度に算出することができる。

・１ピクセルずつずらしながら、左側の直線の白線を構成するエッジ点から線分を多数切り出し、それぞれの線分を近似する近似直線を算出することにより、道路のカーブやうねりが大きい場合でも、平行性の高い線分ペアを見つけられる。ひいては、消失点視差ｄ０を高精度に算出することができる。

・一方の線分から他方の線分を含む直線へ下ろした垂線の長さＬｉと道路の幅Ｗとの偏差の二乗値が、最小となる道路の幅Ｗ０を用いて、複数の画像のそれぞれに対して決定された消失点視差ｄ０がグループ化される。そして、グループごとに消失点視差ｄ０が統計された結果に基づいて、距離の算出に用いる消失点視差ｄ０が決定される。これにより、距離の算出に用いる消失点視差ｄ０を、統計的に高精度で算出することができる。

・垂線の長さＬｉと道路の幅Ｗとの偏差の二乗値が同じ値でも、画像撮影装置２０の遠方よりも近傍の方の平行度Ｅが低くなるように、信頼度の逆数で重み付けられた偏差の二乗値から、平行度Ｅが算出される。これにより、平行度Ｅを高精度に算出することができ、ひいては、統計による消失点視差ｄ０の算出精度を向上させることができる。

（他の実施形態）
・長い直線道路を走行している場合には、左右の白線をそれぞれ１つの直線で近似し、一致度Ｅを算出してもよい。

・長い直線から所定長の線分を複数切り出す際に、奥方向へ所定数のピクセルずつずらしながら切り出してよい。

・一つの時点で取得されたステレオ画像について決定された消失点視差ｄ０を、次の時点で取得されたステレオ画像について消失点視差ｄ０が決定されるまでの間、距離の算出に用いてもよい。すなわち、統計処理を行って消失点視差ｄ０を決定しなくてもよい。

・消失点視差ｄ０の算出精度が低下するおそれはあるが、信頼度で重み付けしていないエッジ点から近似直線を算出してもよい。

・消失点視差ｄ０の算出精度が低下するおそれはあるが、信頼度の逆数で重み付けしていない偏差の二乗値を加算して、平行度Ｅを算出してもよい。

・道路の幅Ｗ０として、対象としている道路の規格幅が既知の場合は、規格幅を用いてもよい。また、道路の幅Ｗ０は、一般的にある白線認識から導出される結果を利用してもよい。

２０…画像撮影装置、３０…画像処理装置、５０…境界線抽出部、６０…視差算出部、７１…近似直線算出部、７２…一致度算出部、７３…消失点視差決定部、７４…信頼度算出部、８０…距離算出部。

Claims (7)

1. 道路を含む周辺環境を撮影する複数の画像撮影装置（２０）と、
   前記複数の画像撮影装置により撮影された一対の画像に基づいて、視差を算出する視差算出手段（６０）と、
   前記画像において、前記道路の左右の境界線を構成するエッジ点を抽出する境界線抽出手段（５０）と、
   前記境界線抽出手段により抽出された前記エッジ点に基づき、前記左右の境界線を近似する所定長の線分である近似直線を算出する近似直線算出手段（７１）と、
   前記一対の画像における消失点視差の値を変えながら、各消失点視差について、前記近似直線算出手段により算出された前記左右の近似直線のうちの一方の前記近似直線の第１端から他方の前記近似直線を含む直線へ下ろした垂線の足と、前記第１端と対応する前記他方の近似直線の第２端との一致度を算出する一致度算出手段（７２）と、
   前記一致度算出手段により算出された前記一致度のうちの最も高い前記一致度に対応する前記消失点視差を、前記一対の画像における消失点視差として決定する消失点視差決定手段（７３）と、
   前記視差算出手段により算出された視差、及び前記消失点視差決定手段により決定された消失点視差に基づいて、対象物までの距離を算出する距離算出手段（８０）と、を備えることを特徴とする距離算出装置。
2. 前記近似直線算出手段は、各消失点視差について、前記左右の境界線の一方を構成するエッジ点から前記所定長の線分の近似直線である第１直線を算出するとともに、前記左右の境界線の他方を構成するエッジ点から前記所定長の線分の近似直線である第２直線を複数算出し、
   前記一致度算出手段は、各消失点視差について、前記第１直線と各第２直線との線分ペアの中から、最も平行性の高い前記線分ペアを決定し、決定した最も平行性の高い前記線分ペアの前記一致度を算出する請求項１に記載の距離算出装置。
3. 前記近似直線算出手段は、奥方向に所定のピクセル数ずつずらしながら、前記左右の境界線の他方を構成するエッジ点から前記第２直線を複数算出する請求項２に記載の距離算出装置。
4. 前記画像撮影装置の近傍を撮影したピクセルの画像データほど信頼度を高く算出する信頼度算出手段（７４）を備え、
   前記近似直線算出手段は、前記信頼度算出手段により算出された信頼度で重み付けされた前記エッジ点に基づいて、前記近似直線を算出する請求項１〜３のいずれかに記載の距離算出装置。
5. 前記複数の画像撮影装置は、複数の異なる時点で前記一対の画像を撮影し、
   前記消失点視差決定手段は、複数の前記画像のそれぞれに対して決定した前記消失点視差に基づいて、前記距離算出手段により用いられる前記消失点視差を統計的に決定する請求項１〜４のいずれかに記載の距離算出装置。
6. 前記消失点視差決定手段は、複数の前記画像のそれぞれに対して決定した前記消失点視差を前記道路の幅を用いてグループ化し、前記グループごとに統計した結果に基づいて、前記距離算出手段により用いられる前記消失点視差を決定する請求項５に記載の距離算出装置。
7. 前記画像撮影装置の近傍を撮影したピクセルの画像データほど信頼度を高く算出する信頼度算出手段を備え、
   前記消失点視差決定手段は、複数の前記画像のそれぞれに対して決定した前記消失点視差に対応する前記左右の近似直線の間隔と前記道路の幅との偏差であって、前記信頼度算出手段により算出された信頼度の逆数で重み付けされた前記偏差が、最も小さくなる前記道路の幅を用いる請求項６に記載の距離算出装置。