WO1997031240A1

WO1997031240A1 - Appareil de reconnaissance d'images par procede de decoupage optique

Info

Publication number: WO1997031240A1
Application number: PCT/JP1997/000060
Authority: WO
Inventors: Toshiyuki Ooenoki; Toshiro Ootani
Original assignee: Komatsu Ltd.
Priority date: 1996-02-20
Filing date: 1997-01-10
Publication date: 1997-08-28
Also published as: JPH09229641A; EP0882946A1; EP0882946A4; TW351796B; JP3494518B2; CA2245844A1; KR970062968A; US6298152B1

Description

明細書

光切断法による画像認識装置技術分野

本発明は、計測対象に線状光を投影し、この計測対象の表面に描かれる線状光のなす像を撮像することによりその計測対象の三次元形状データを得る光切断法による画像認識装置に関するものである, 背景技術

この種の光切断法による画像認識装置においては、計測対象の形状認識精度を向上させるに際し、投光手段によって計測対象に投影される線状光が、画像上において精度良く撮像されることが要求される。言い換えれば、画像上の線状光が無限小幅の線として、通常の画像処理技術においては 1画素幅の線として表現される細線化処理が可能なように撮像されることが要求される。

ところで、線状光が投影される計測対象を撮像する撮像手段は、入射光量を適切とするための絞り機構を有しているが、この際の絞り機構の絞り値が適切でないと、前述のような 1 画素幅の線として表現される細線化処理が困難になる。言い換えれば、計測対象に投影された同一の線状光であつても、絞り値が小であれば画像上に線状光が太く撮像され、細線化処理の結果においてバラツキを生じてその線状光にジグザグ部分が生じ、また絞り値が大であれば画像上に線状光が細く撮像され、細線化処理の結果においてその線状光に不連続部分が生じることになる。したがって、 1 画素幅の線として表現され得なく、線の認識として不具合が起こることになる。

従来、このような不具合を解消するために、絞り機構の所定値の絞り値のもとに計測対象、照度などを一定にして撮像している。しかしながら、前述されたものにおいては、絞り値、計測対象、照度などが固定されて自由度がなく汎用性がなく、また一定の照度を得るために投光手段による投影を常時に行わねばならず、投光手段の寿命の短縮を招くという問題点がある。

本発明は、このような問題点を解消することを目的として、汎用性があるとともに、投光手段の寿命の短縮を招かない光切断法による画像認識装置を提供することにある。発明の開示

本発明の光切断法による画像認識装置は、前述された目的を達成するために、

計測対象に線状光を投影し、この計測対象の表面に描かれる線状光のなす像を摄像することによりその計測対象の三次元形状データを得る光切断法による画像認識装置であつて、

( a ) 前記線状光を前記計測対象に投影するとともに、この線状光の投影を O N · O F F制御によって断続的に行う投光手段、

( b ) この投光手段により線状光が投影される前記計測対象を撮像するとともに、この撮像される画像に応じて自動的に絞り調整動作を行う自動絞り調整機構を有する撮像手段、

( c ) この撮像手段により撮像される画像の処理を行って前記三次元形状データを得る画像処理手段および

( d ) 前記投光手段における前記計測対象に対する投影を計測指令から前記撮像手段の自動絞り調整機構の絞り調整動作が収束する直後までもしくはその収束と等価な状態に到達する直後まで◦ Nさせるように O N · O F F制御するとともに、この自動絞り調整機構の絞り調整動作の収束直後もしくは収束等価状態到達直後にその撮像手段により撮像される画像にもとづき前記画像処理手段に前記三次元形状データを得る処理を行わせるように制御する制御手段を備えることを特激とするものである。

本発明においては、まず計測指令にもとづき投光手段による計測対象に対する線状光の投影が◦ Nされるとともに、この線状光が投影される計測対象の撮像される画像にもとづき自動絞り調整機構が自動的に絞り調整動作を行って収束する方向に向かう。次に、絞り調整動作の収束直後もしくはその収束と等価な状態への到達直後に撮像される画像にもとづき三次元形状データを得る画像処理が行われるとともに、線状光の投影が◦ F Fされる。

したがって、入射光量を適切にする自動絞り調整機構でもって絞り値は勿論、計測対象、照度などが固定される必要がなく汎用性があるとともに、投光手段による投影を常時に行うこともなく計測指令から自動絞り調整機構の絞り調整動作が収束する直後までもしくはその収束と等価な状態に到達する直後まで 0 Nさせればよいことから投光手段の寿命の短縮を招かない。

本発明においては、さらに、前記撮像手段の自動絞り調整機構における絞り調整動作の収束時点もしくは収束等価状態到達時点から次の計測指令までその時点の絞り状態を保持させる絞り保持手段を備えることが好ましい。このように絞り保持手段を備えることにより、大きな絞り調整動作が必要でなくなり、調整動作の収束に要する時間が短くて済む。

なお、この絞り保持手段としては、例えば前記自動絞り調整機構に対する動作電源を遮断して絞り調整動作を停止させ前記収束時点もしくは収束等価状態到達時点の絞り状態を保持させるもの、または、前記絞り調整動作の収束直後もしくは収束等価状態到達直後に前記撮像手段により撮像される画像を少なくとも次の計測指令まで記憶する画像記憶部を備えて、この画像記憶部に記憶される画像に応じて次の計測指令まで前記自動絞り調整動作を行わせるようにしてその絞り調整動作の収束時点もしくは収束等価状態到達時点の絞り状態を保持させるもののいずれかを採用すれば良い。

また、前記投光手段は、単一波長の光源にもとづく線状光を前記計測対象に投影し、前記撮像手段はその線状光が投影される計測対象を前記単一波長を透過中心波長とする減衰フィルタを介して撮像することが好ましい。このようにすれば線状光以外の光が撮像されることがなく、精度良く三次元形状データを得ることができる。図面の簡単な説明

図 1 は、第 1 実施例に係る三次元形状計測システムの概略構成図、図 2 は、第 1 実施例に係る三次元形状計測システムのプロック図, 図 3 は、自動絞り調整機構の動作に係る試験結果（ 1 ) 、

図 4 は、自動絞り調整機構の動作に係る試験結果（ 2 ) 、

図 5 は、第 1 実施例における処理手法を示す概念図、

図 6 は、第 2実施例における処理手法を示す概念図、

図 7 は、第 2実施例における処理フローを示すフローチヤ一ト、図 8 は、第 3実施例における処理手法を示す概念図、

図 9 は、第 3実施例における処理フローを示すフローチヤ一ト、図 1 0 は、自動絞り調整機構の動作位置保持方法の一例を示す図, 図 1 1 は、自動絞り調整機構の動作位 S保持方法の他の例を示す図である。発明を実施するための最良の形態

次に、本発明による光切断法による画像認識装置の具体的実施例にっき、図面を参照しつつ説明する。

(第 1 実施例）図 1 に、本発明の第 1 実施例に係る三次元形状計測システムの概略構成図が示され、図 2 に、同三次元形状計測システムのブロック図が示されている。

本実施例の三次元形状計測システムにおいては、計測対象であるワーク Wの表面にスリツト光（線状光）を投光する投光手段としてのスリット光源 1 が設けられるとともに、このスリット光源 1 によりワーク Wの表面に生じる輝部を撮像する撮像手段としてのテレビカメラ 2が設けられる。前記スリット光源 1 は、レーザビームを発する点光源 1 a とスリツトマスク 1 b とスリツト走查機構（図示せず）とを備え、この点光源 l aの O N ' O F F制御が画像処理装置 3 内の演算部（M P U ) 4 からの信号によりパス 5 および光源制御部 6を介して行われるようになつている。一方、前記テレビカメラ 2 は、撮像部 2 a とその撮像部 2 aへの入射光量を適切にするための自動絞り調整機構を有するレンズ部 2 b とよりなり、この撮像部 2 aからの映像信号が A Z D変換部 7 およびバス 5 を介して画像処理装置 3 内の画像記億部 8 に取り込まれ、またレンズ部 2 b における自動絞り調整機構が演箅部 4 からの出力信号によってバス 5 および Dノ A変換部 9 を介して制御されるようになっている。

前記画像処理装置 3 においては、前述の演算部 4 , 画像記憶部 8 のほか、主記慷部 1 0 , 前記画像記憶部 8 に記憶された画像を予め設定した閾値にて二値化する二値演算部 1 1 , テレビカメラ 2 により取り込んだ画像を外部表示機構（モニタ） 1 2 に表示するための D Z A変換部 1 3およびロボッ卜アームもしくは結果表示器等の外部機器を制御するための外部制御部 1 4 が備えられている。

このような計測システムにおいて、点光源 1 aを O N状態にしてスリツトマスク 1 bを介してワーク Wの表面にスリツト光を投影し、このワーク W表面に生じる輝部をテレビカメラ 2 により撮像すると、 1 回の撖像で 1 本のスリット光がワーク Wを切断するときの切断線像を得ることができる。そこで、このスリツトマスク 1 bの走査によってそのスリット光の投影方向を少しずつ変化させつつワーク W 表面に生じる輝部をテレビカメラ 2 により撮像し、この撮像画像を画像処理装置 3 にて処理することで、このワーク Wの三次元形状を得ることができる。

ところで、本実施例の計測システムにおいては自動絞り調整機構を有するテレビカメラ 2が用いられていることによって、ワーク W の表面性状もしくはワーク Wの表面での環境（照度）の変化に応じて撮像部 2 a に対する入射光量が常に適正値になるようにされ、これによってワーク Wの表面に形成される線状の輝部の細線化の精度向上が図られている。しかしながら、この自動絞り調整機構の動作は、図 3 および図 4 に示されるように入射光量に対してある時間遅れをもつて収束することが確認されている。

図 3 に示されているのは、一定の環境（照度約 4 0 0 L X ) 下において、ワーク Wの表面性状、言い換えれば投影されたスリット光のワーク W表面での反射率が異なる場合（白色ワーク，銀色ワークおよび黒色ワーク）についての自動絞り調整機構の動作に係る試験結果である。一方、図 4 に示されているのは、同一ワーク（鐧板）において、ワーク Wの表面での環境（照度）が変化する場合（ 9 0 0 L X , 3 9 0 L xおよび 1 0 L x以下）についての自動絞り調整機構の動作に係る試験結果である。

したがって、考慮すべきワーク条件および環境条件下で、予め図 3 , 図 4 の試験結果が得られるような試験を行い、絞り動作の収束が最も遅い場合の柽過時間を遅延量として主記憶部 1 0 に記憶させておき、計測時にはスリット光源 1 が 0 N動作したタイミングより前記遅延量だけテレビカメラ 2 による撮像動作を遅延させるようにすれば、ワーク条件および環境条件がどのように変わっても常に安定した画像を画像記慷部 8 に蓄えることができる。

図 5 は、本実施例におけるスリツト光源 1 の 0 N · 0 F F動作，自動絞り調整機構の調整動作および画像処理装置 3の処理実行動作の関係を示すタイムチャートである。図示のように、計測指令が発せられるとスリツト光源 1 が O N動作されて画像の取り込みが開始されるとともに自動絞り調整機構の調整動作が開始され、この自動絞り調整機構が収束した時点 t , の直後に撮像部 2 aに撮像され画像記憶部 8 に記憶される画像に基づき画像処理装置 3 において画像処理が実行される。この後、スリット光源 1 は画像の取り込みの終了次第 O F F動作される。なお、記号 Aは計測指令から画像処理装置 3による処理実行までの待ち時間であり、記号 Bは今回の計測から次回の計測までの計測インターバルである。

本実施例の三次元形状計測システムによれば、入射光量を適切にする自動絞り調整機構でもって絞り値は勿論、計測対象、照度などが固定される必要がなく汎用性がある。また、スリット光源 1 からの投影を常時に行うこともなく計測指令から自動絞り調整機構の絞り調整動作が収束するまでそのスリツ卜光源 1 を 0 Nさせればよいので、言い換えれば少なくとも計測ィンターバルの間スリット光源 1 を◦ F F状態にすることができるので、スリツ卜光源 1 の寿命の短縮を招くことがないとともに、光源としてレーザを用いる場合、作業者保護のための遮光装置等を簡略化することができる。

(第 2実施例）

前記第 1 実施例においては、自動絞り調整機構の絞り調整動作が収束するまで待って撮像結果を求めるための入力画像を得るものとしたが、図 1 , 図 2に示される本システムによれば、前記自動絞り調整機構の柽時的な動作を観測することが可能であることから、本第 2実施例においては、計測指令によりスリツト光源 1 が◦ N動作された後に逐次自動絞り調整機構の絞り調整動作を観測し、この調整動作が収束するのと等価な状態に到達したと判断される時点で撮像結果を求めるための入力画像を得るようにし、これによつて画像処理装置 3 による処理実行までの待ち時間を短縮するようにされている。次に、本実施例における処理手法を、図 6 に示される概念図を参照しながら図 7 に示されるフローチヤ一卜によって説明する。

S 1 ：予め設定される次の各設定値を読み込む。

①ニ値演算部 1 1 における二値化の際の閾値

②自動絞り調整機構の収束時の二値画像の白画素数 N

(ただし、白画素とは画面の明るさを表す代表値である。）

③前記白画素数 Nの上下許容幅 d

④自動絞り調整機構が収束するのに十分な待ち時間 t S 2〜S 4 ：計測指令を待って、経過時間をカウントするタイマ tをリセット（ t = 0 ) し、この後にスリット光源 1 を O N動作する。

S 5〜S 7 ：テレビカメラ 2 によってワーク Wの表面の輝線の画像を取り込んで画像処理装置 3の画像記憶部 8に記憶する。次いで、この記憶された画像を二値演算部 1 1 において予め設定した閾値にて二値化する。この後、各時点でのニ值画像における白画素（明画素）の画素数 nをカウントする。なお、図 6においてプロッ卜されている各点がこの白画素数 nを示している。また、この図 6 において破線は実際の自動絞り調整機構の動作を示すものである。

S 8〜S 1 0 ：前記白画素数 nが自動絞り調整機構の収束時の白画素数 Nに対する上下許容幅 5内に入っているか否かを判定するために、次式が成立しているか否かを判断する。 Ν - 5≤ η≤Ν + δ

この判定の結果、この式が成立しているとき、言い換えれば白画素数 ηが Ν ± 3の範囲内に入ったときには、これ以上の画像の取り込みを行う必要がないのでスリツト光源 1 を 0 F F動作する。一方、この式が成立していないときには次の処理として、柽過時間が前記待ち時間 t _w に達しているか否かを判定する。そして、この経過時間 tが待ち時間 t _w 未満であるときにはステップ S 5へ戻って画像の取り込みを継続し、この経過時間 tが待ち時間 t w に達したときには自動絞り調整機構が収束したと判断されるのでスリット光源 1 を 0 F F動作する。

S 1 1 ：画像記憶部 8 に記憶されている最新の画像（スリット光源 1 の O F F動作時の画像）について所定の画像処理を実行してフローを終了する。

本実施例によれば、白画素数 nが N ± 3の範囲内に入ったときの画像（図 6 における P点の画像）を採用して画像処理を行うようにされているので、自動絞り調整機構の絞り調整動作が収束するまで待たなくても、この収束と等価な状態に到達したときに画像処理を行うことができ、画像処理装置 3 による処理実行までの待ち時間を短縮することができる。

(第 3実施例）

一般に、前記自動絞り調整機構の動作の収束に要する時間は、スリツト光源 1が動作する前後での入力画像の光量の偏差が大きくて大きな絞り動作が必要な程長くなるものであるが、実用状態においては、連続して計測を行う場合に、ワークもしくは環境等の諸条件が急激に変化することは稀である。このことから、本第 3実施例においては、前回撮像時点での自動絞り調整機構の動作位置を記憶するとともに、各撮像動作間（画像計測の待ち時間）にその動作位置にて自動絞り調整機構の絞り状態を保持しておき、今回撮像動作の開始（スリット光源の O N動作）とともにその保持を解除せしめるようにし、これによつて自動絞り調整動作の動作量を小さくして、画像処理装置 3 による処理実行までの待ち時間を不要乃至極端に短縮するようにされている。次に、本実施例における処理手法を、図 8 に示される概念図を参照しながら図 9 に示されるフローチヤ一トによって説明する。

T 1 ：予め設定される次の各設定値を読み込む。

①ワークもしくは環境が大きく変化しないときのスリット光源 0 N後の待ち時間 t ■

②ワークもしくは環境が大きく変化した際に自動絞り調整機構が収束するのに十分な待ち時間 t 2

なお、前記待ち時間 t は、前回の計測時に比較して環境（周囲の明るさ）の微小な変化に対応するために設定されている微小時間 *め。

T 2〜T 5 ：ワークもしくは環境が大きく変化したこと（例えばシステムの立ち上げ，ワークの変更等）を示すフラグ Fを立てる。この後、計測指令を待ってスリツト光源 1 を◦ Ν動作し、次いで自動絞り調整機構の保持状態を解除する。

Τ 6〜 Τ 9 ：フラグ Fが立っている（ F = 1 ) ときには、ワークもしくは環境が大きく変化したということなので、予め設定されている待ち時間 t ₂ だけ待った後に、言い換えれば自動絞り調整機構が収束するまで待つた後に、テレビカメラ 2 によってワーク Wの表面の輝線の画像を取り込んで画像処理装置 3の画像記憶部 8 に記憶する。一方、フラグ Fが立っていない（ F = 0 ) ときには、ワークもしくは環境が大きく変化していないということなので、予め設定されている微小待ち時間 t , だけ待った後に、テレビカメラ 2 によつてワーク Wの表面の輝線の画像を取り込んで画像処理装置 3の画像記憶部 8 に記憶する。

T 1 0〜T 1 1 ：自動絞り調整機構を現在位置で保持した後、スリツト光源 1 を 0 F F動作する。

Τ 1 2〜Τ 1 3 ：フラグ Fを降ろし（ F = 0 ) 、次いで画像記憶部 8に記憶されている最新の画像（スリット光源 1 を O F F動作時の画像）について所定の画像処理を実行する。

T 1 4〜T 1 6 ：計測が終了していない場合には、次に外部からの信号により環境等が変わったか否かを判断する。そして、環境等が変わっていないと判定されるときにはそのままステップ Τ 3 に戻つて次の計測指令を待ち、環境等が変わったと判定されるときにはフラグ Fを立ててやはりステップ Τ 3 に戻って次の計測指令を待つ ₍ —方、計測が終了したというときにはフローを終了する。

本実施例によれば、図 8 に示されているように、自動絞り調整機構の前回撮像時点での動作位置が保持されており（記号 Cで示す）、前記待ち時間 t ₂ と画像の取り込みに必要な時間（画像取り込みはほぼ瞬時になされる）との和にて与えられるスリツト光源 1 の〇 N 動作時間 Dの間だけ自動絞り調整が実行され（記号 Eで示す）、この後前記自動絞り調整機構の動作位置はスリット光源 1 が 0 F F動作される寸前の絞り値に保持される（記号 Fで示す）。このとき、画像処理はそのスリツト光源 1 が O F F動作される寸前の絞り値で実行される（記号 Gで示す）。

本実施例によれば、前回撮像時点での自動絞り調整機構の動作位 gを保持しておき、今回撮像動作の開始とともにその保持を解除するようにされているので、自動絞り調整動作の動作量を最小限に抑えることができ、これにより画像処理装置 3 による処理実行までの待ち時間を極端に短縮することができる。ここで、自動絞り調整機構の動作位置を保持する手段としては、この自動絞り調整機構がォートクローズ機構（動作電源が遮断されると絞りが自動的に全閉状態になる機構）を備えていない場合と、このォートクローズ機構を備えている場合とに応じて次の 2つの方法のうちのいずれかを採用することができる。

①オートクローズ機構を備えていない場合

この場合には、図 1 0に示されているように、画像処理装置 3の外部制御部 1 4からの信号によりリレー 1 5 を動作させて、自動絞り調整機構を合むレンズ部 2 bの電源 1 6を遮断させ、これによつて自動絞り調整機構の絞り位置を保持するようにされる。

②ォートクローズ機構を備えている場合

この場合には、図 1 1 に示されているように、自動絞り調整機構を保持させたい時点でその自動絞り調整機構に入力されている信号を記憶し、この記憶された信号を継続してその自動絞り調整機構に入力する機構を設けるのが良い。より具体的には、多くの自動絞り調整機構は、入力信号として映像信号を用いており、また通常の画像処理装置は、ある時点での画像を保持して映像信号として例えば外部表示機構（モニタ） 1 2 に出力する機能を有している。したがつて、自動絞り調整機構を保持したい時点での映像を画像記憶部 8 に記慷し、この映像信号を自動絞り調整機構の動作を保持したい間継続的に出力してその自動絞り調整機構に入力することで、容易に自動絞り調整機構を保持することができる。

前記各実施例において、スリット光源 1 がレーザ等の単一波長の光を投影するものである場合、撮像手段としてのテレビカメラ 2 の前緑に、この単一波長の光を透過中心波長とする減衰フィルタ（透過フィルタ）を設けるのが好ましい。こうすることで、より環境の影饗を排除した精度の高い画像認識装置とすることができる。

Claims

請求の範囲

計測対象に線状光を投影し、この計測対象の表面に描かれる線状光のなす像を撮像することによりその計測対象の三次元形状データを得る光切断法による画像認識装置であって、

( a ) 前記線状光を前記計測対象に投影するとともに、この線状光の投影を O N · O F F制御によって断続的に行う投光手段.

( d ) 前記投光手段における前記計測対象に対する投影を計測指令から前記撮像手段の自動絞り調整機構の絞り調整動作が収束する直後までもしくはその収束と等価な状態に到達する直後まで 0 Nさせるように 0 N · ◦ F F制御するとともに、この自動絞り調整機構の絞り調整動作の収束直後もしくは収束等価状態到達直後にその撮像手段により撮像される画像にもとづき前記画像処理手段に前記三次元形状データを得る処理を行わせるように制御する制御手段

を備えることを特徴とする光切断法による画像認識装置。

さらに、前記撮像手段の自動絞り調整機構における絞り調整動作の収束時点もしくは収束等価状態到達時点から次の計測指令までその時点の絞り状態を保持させる絞り保持手段

を備えることを特徴とする請求項 1 に記載の光切断法による画像認識装置。

前記絞り保持手段は、前記自動絞り調整機構に対する動作雹源を遮断して絞り調整動作を停止させ前記収束時点もしくは収束等価状態到達時点の絞り状態を保持させることを特徴とする請求項 2 に記載の光切断法による画像認識装置。

前記絞り保持手段は、前記絞り調整動作の収束直後もしくは収束等価状態到達直後に前記撮像手段により撮像される画像を少なくとも次の計測指令まで記憶する画像記憶部を備えて、この画像記憶部に記憶される画像に応じて次の計測指令まで前記自動絞り調整動作を行わせるようにしてその絞り調整動作の収束時点もしくは収束等価状態到達時点の絞り状態を保持させることを特徴とする請求項 3に記載の光切断法による画像認識装置 o

前記投光手段は、単一波長の光源にもとづく線状光を前記計測対象に投影し、前記撮像手段はその線状光が投影される計測対象を前記単一波長を透過中心波長とする減衰フィルタを介して撮像することを特徴とする諳求項 1 乃至 4 のうちのいずれかに記載の光切断法による画像認識装置。