WO2018163532A1

WO2018163532A1 - 覚醒支援装置、方法およびプログラム

Info

Publication number: WO2018163532A1
Application number: PCT/JP2017/042555
Authority: WO
Inventors: 円香渡部; 啓菅原; 岡地　一喜; 充恵鵜野; 光司滝沢
Original assignee: オムロン株式会社
Priority date: 2017-03-10
Filing date: 2017-11-28
Publication date: 2018-09-13
Also published as: JP2018151752A

Abstract

車両の運転者の覚醒を促す覚醒支援装置を提供する。　覚醒支援装置は、車両の運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、運転者が眠気を催しているか否かを判定する運転者状態判定部と、前記運転者状態判定部により前記運転者が眠気を催していると判定された場合に、前記運転者の周辺の複数種類の環境の状態を検知する環境センサの検出情報に基づいて、前記運転者の覚醒支援に使用する刺激を、前記複数種類の環境に対応付けて予め用意されている複数種類の刺激の中から選択する刺激選択部と、前記複数種類の刺激を発生可能な刺激発生装置に対し、前記刺激選択部により選択された刺激を発生させるための刺激情報を出力する刺激情報出力部とを具備する。

Description

覚醒支援装置、方法およびプログラム

　この発明は、運転者の覚醒を促す覚醒支援装置、方法およびプログラムに関する。

　例えば、車両の運転者は、車両を運転している間、十分に覚醒していることが求められる。また、近年では、車両の運転操作を自動的に制御する自動運転制御装置を搭載した車両も提案されている。しかし、現状においては、運転操作を完全に自動運転制御装置に任せられるものではなく、緊急事態に咄嗟に対応できるよう、自動運転中であっても、やはり、運転者は、運転中は十分に覚醒していることが求められる。

　車両の運転者に限らず、製造設備やプラント等で使用される機械等の運転者または操作者もまた、車両の運転と同様に、機械等を運転や操作している間は、十分に覚醒していることが求められる。

　このような事情から、例えば運転者の眠気を覚まさせる装置、言い換えれば、運転者の覚醒を促す覚醒支援装置が提案されている。覚醒支援装置は、基本的に、車両の走行状態や運転者の生体情報や映像を取得し、それに基づいて必要なときに運転者に刺激を与える装置である。運転者に与える刺激としては、音、振動、光、香りなどがある。

　例えば、特許第５４８２６４４号公報は、運転者の座席シートを振動させることにより運転者に振動の刺激を与える覚醒支援装置の一例を開示している。また、特許第５０５６０６７号公報は、スピーカから音を発生させることにより運転者に音の刺激を与える覚醒支援装置の一例を開示している。

　このような覚醒支援装置は、現在、運転者の眠気を検出する手法や技術、運転者に与える刺激、刺激の与え方などにおいて、開発が進められており、さまざまな仕様や構成の覚醒支援装置が提案されている。

　この発明は、運転者の覚醒を促す新規な覚醒支援装置を提供するものである。

　上記課題を解決するため、この発明の第１の態様は、運転者の覚醒を促す覚醒支援装置である。この覚醒支援装置は、前記運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が眠気を催しているか否かを判定する運転者状態判定部と、前記運転者状態判定部により前記運転者が眠気を催していると判定された場合に、前記運転者の周辺の複数種類の環境の状態を検知する環境センサの検出情報に基づいて、前記運転者の覚醒支援に使用する刺激を、前記複数種類の環境に対応付けて予め用意されている複数種類の刺激の中から選択する刺激選択部と、前記複数種類の刺激を発生可能な刺激発生装置に対し、前記刺激選択部により選択された刺激を発生させるための刺激情報を出力する刺激情報出力部とを具備する。

　この発明の第２の態様による覚醒支援装置は、第１の態様による覚醒支援装置に係り、前記刺激選択部は、前記複数種類の環境の各々について、前記環境センサの検出情報と当該検出情報に対応付けて予め設定された刺激の有効度を表す有効度情報とを関連付けた記憶テーブルに基づいて、前記環境センサにより得られた検出情報に対応する刺激の有効度情報を取得し、当該有効度情報を比較して前記運転者の覚醒支援に最適な刺激を選択する。

　この発明の第３の態様による覚醒支援装置は、第１の態様による覚醒支援装置に係り、前記刺激情報出力部は、前記刺激選択部により選択された刺激の数が複数であった場合に、複数の刺激を順番に又は同時に発生させるように、前記刺激情報を前記刺激発生装置に出力する。

　この発明の第４の態様による覚醒支援装置は、第１の態様による覚醒支援装置に係り、前記刺激選択部は、前記複数種類の環境の各々について、前記環境センサの検出情報を変数とする刺激の有効度を表す有効度情報の関数に従った計算により、前記環境センサにより得られた検出情報に対応する刺激の有効度情報を取得し、当該有効度情報を比較して前記運転者の覚醒支援に最適な刺激を選択する。

　この発明の第１の態様によれば、覚醒支援装置は、車両の運転者が眠気を催していると判定された場合に、複数種類の刺激を発生可能な刺激発生装置に、運転者の周辺の環境に基づいて選択した刺激を発生させるための刺激情報を出力する。このため、運転者の周辺の環境に基づいて選択された種類の刺激が発生される。これにより、他の種類の刺激が発生された場合と比較して、運転者の覚醒が効果的に促されることが期待できる。

　この発明の第２の態様によれば、覚醒支援装置は、環境センサの検出情報と刺激の有効度情報との記憶テーブルを使用して、運転者の周辺の環境に基づいて選択した最適な刺激を発生させるための刺激情報を刺激発生装置に出力する。このため、運転者の周辺の環境に基づいて選択された最適な刺激が発生される。これにより、他の種類の刺激が発生された場合と比較して、運転者の覚醒が最も効果的に促されることが期待できる。

　この発明の第３の態様によれば、運転者の周辺の環境に基づいて選択された刺激の数が複数である場合に、覚醒支援装置は、複数の刺激を順番に発生させるように、刺激情報を刺激発生装置に出力する。ある刺激が運転者の覚醒支援に効果的に作用しなかった場合であっても、他の刺激が運転者の覚醒支援に効果的に作用することが期待できる。

　この発明の第４の態様によれば、覚醒支援装置は、環境センサの検出情報を変数とする刺激の有効度情報の関数に従った計算により、運転者の周辺の環境に基づいて選択した最適な刺激を発生させるための刺激情報を刺激発生装置に出力する。このため、運転者の周辺の環境に基づいて選択された最適な刺激が発生される。これにより、他の種類の刺激が発生された場合と比較して、運転者の覚醒が最も効果的に促されることが期待できる。

　すなわち、この発明の各態様によれば、運転者の覚醒を促す新規な覚醒支援装置、方法およびプログラムを提供することができる。

図１は、この発明の一実施形態に係る覚醒支援装置を含む運転支援装置を備えた自動運転制御システムの全体構成を示す図である。図２は、図１に示した刺激発生装置に含まれる各発生装置と環境センサに含まれる各センサの対応関係を示す図である。図３は、この発明の一実施形態に係る覚醒支援装置の機能構成を示すブロック図である。図４は、図３に示した覚醒支援装置による覚醒支援の手順と制御内容を示すフローチャートである。図５は、図３に示した覚醒支援装置による別の覚醒支援の手順と制御内容を示すフローチャートである。

　以下、図面を参照してこの発明に係わる実施形態を説明する。　
　［一実施形態］
　（構成）
　図１は、この発明の一実施形態に係る自動運転制御システムの全体構成を示す図である。この自動運転制御システムは、乗用車等の車両１に搭載される。

　車両１は、基本設備として、動力源および変速装置を含むパワーユニット２と、ステアリングホイール３ａが装備された操舵装置３とを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。

　車両１は、手動運転モードまたは自動運転モードのいずれかの運転モードで走行可能に構成されている。

　手動運転モードは、例えば、運転者の手動による運転操作を主体として車両１を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。

　運転操作支援制御は、例えば、車両１のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作（例えばアクセルペダルの操作）またはブレーキ操作（例えばブレーキペダルの操作）を支援する制御と、手動操舵（操舵の手動運転）および手動速度調整（速度調整の手動運転）も含まれる。手動操舵は、運転者のステアリングホイール３ａの操作を主体として車両１の操舵を行う。手動速度調整は、運転者のアクセル操作又はブレーキ操作を主体として車両の速度調整を行う。

　なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件（例えば車両の車線逸脱等）の下で車両の走行に強制的に介入する制御は含まれない。

　一方、自動運転モードは、例えば、車両の走行する道路に沿って自動で車両を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件の下で車両の走行に強制的に介入する制御が含まれる。

　図１において、車両１はまた、自動運転モードによる運転制御を実行するための自動運転制御装置５を備えている。自動運転制御装置５は、ステアリングセンサ１１、アクセルペダルセンサ１２、ブレーキペダルセンサ１３、ＧＰＳ受信機１４、ジャイロセンサ１５、および車速センサ１６からそれぞれセンシング情報を取得する。自動運転制御装置５は、これらのセンシング情報と、図示しないナビゲーションシステムで生成される経路情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺監視システムにより得られる情報をもとに、車両１の走行を自動制御する。

　自動制御には、例えば、自動操舵（操舵の自動運転）と自動速度調整（速度の自動運転）がある。自動操舵は、操舵装置３を自動で制御する運転状態である。自動操舵にはＬＫＡ（Lane Keeping Assist）が含まれる。ＬＫＡは、例えば、運転者がステアリング操作をしない場合であっても、車両１が走行車線から逸脱しないように自動で操舵装置３を制御する。なお、ＬＫＡの実行中であっても、車両１が走行車線を逸脱しない範囲（許容範囲）において運転者のステアリング操作を車両の操舵に反映してもよい。なお、自動操舵はＬＫＡに限らない。

　自動速度調整は、車両１の速度を自動で制御する運転状態である。自動速度調整にはＡＣＣ（Adaptive Cruise Control）が含まれる。ＡＣＣとは、例えば、車両１の前方に先行車が存在しない場合は予め設定された設定速度で車両１を定速走行させる定速制御を行い、車両１の前方に先行車が存在する場合には先行車との車間距離に応じて車両１の車速を調整する追従制御を行うものである。自動運転制御装置５は、ＡＣＣを実行中であっても、運転者のブレーキ操作（例えばブレーキペダルの操作）に応じて車両１を減速させる。また自動運転制御装置５は、ＡＣＣを実行中であっても、予め設定された最大許容速度（例えば走行中の道路において法的に定められた最高速度）まで、運転者のアクセル操作（例えばアクセルペダルの操作）に応じて車両を加速させることもできる。なお、自動速度調整は、ＡＣＣに限らず、ＣＣ（Cruise Control）等も含まれる。

　図１において、車両１はまた、運転支援装置６を備えている。運転支援装置６は、さまざまな機能を有していてよい。例えば、運転支援装置６は、運転者状態検出センサと共働して運転者を監視して運転者の状態を取得する運転者監視システムを構成する運転者監視機能、報知装置と共働して運転者の状態に応じて警告を発する警告発生システムを構成する警告発生機能、運転者の状態に応じて運転モードの切り替えを制御する運転モード切替制御システムを構成する運転モード切替制御機能、生体情報センサおよび刺激出力装置と共働して運転者の状態に応じて運転者の覚醒を促す覚醒支援システムを構成する覚醒支援機能などを有していてよい。

　運転者の状態は、例えば、運転者が運転に集中しているか否か、運転者が脇見をしているか否か、運転者が眠気を催しているか否か、運転者が運転以外の作業をしているか否か、また自動運転中であれば、運転者が手動運転に復帰可能な状態であるか否かなど、さまざまであってよい。運転者の状態の判定は、例えば、次のようにして行われる。

　まず、運転者状態検出センサにより運転者の監視映像を取得し、取得した監視映像に基づいて、運転者の眼の開き具合や、瞬きの頻度、眼球運動等を検出し、運転者の視線の方向と滞留時間、運転者の覚醒度等を認識する。次に、運転者の視線の方向と滞留時間、運転者の覚醒度等を、それぞれ、予め設定された閾値と比較することにより、運転者の状態を判定する。

　この実施形態では、運転支援装置６は、少なくとも、運転者監視機能を実施する運転者監視部６ａと、覚醒支援機能を実施する覚醒支援部６ｂとを有している。運転者監視部６ａは、運転者状態検出センサとしての運転者カメラ７と共働して運転者監視システム８を構成している。また、覚醒支援部６ｂは、車両１の運転者の周辺の複数種類の環境の状態を検知する環境センサ９Ａおよびそれら複数種類の環境に対応付けて予め用意されている複数種類の刺激を発生可能な刺激発生装置９Ｂと共働して、刺激により運転者の覚醒を促す覚醒支援システム１０を構成している。また、運転者監視部６ａと覚醒支援部６ｂは覚醒支援装置６Ａを構成している。言い換えれば、運転支援装置６は、覚醒支援装置６Ａを内包している。

　従って、運転者監視部６ａにおいて判定される運転者の状態は、少なくとも、運転者が眠気を催しているか否かの状態を含んでいる。

　運転者カメラ７は、例えばダッシュボード上のような運転者の正面となる位置に設置され、運転者を撮像してその映像信号を運転支援装置６へ出力する。

　刺激発生装置９Ｂは、複数種類の刺激をそれぞれ発生する複数の発生装置を含んでいる。また、環境センサ９Ａは、刺激発生装置９Ｂの複数種類の刺激の発生装置に対応した複数のセンサを含んでいる。図２は、刺激発生装置９Ｂに含まれる各発生装置と環境センサ９Ａに含まれる各センサの対応関係の一例を示す図である。

　刺激発生装置９Ｂは、例えば、運転者の覚醒を促すために、警告のための音や音声を発生する音発生装置９Ｂ１を有している。音発生装置９Ｂ１は、例えば、ナビゲーションシステムの音声出力機能を利用することができるが、音を発生するものであればどのようなもので構成してもよい。

　刺激発生装置９Ｂはまた、例えば、運転者の覚醒を促すために、光を発生する光発生装置９Ｂ２を有している。光発生装置９Ｂ２は、例えば、車両１のルームランプを利用することができるが、光を発生することができるものであればどのようなもので構成してもよい。

　刺激発生装置９Ｂはさらに、例えば、運転者の覚醒を促すために、振動を発生する振動発生装置９Ｂ３を有している。振動発生装置９Ｂ３は、例えば、車両１の座席シートに埋め込まれるが、設置場所はそれに限定されない。

　刺激発生装置９Ｂはまたさらに、例えば、運転者の覚醒を促すために、香りを発生する香り発生装置９Ｂ４を有している。香り発生装置９Ｂ４は、例えば空気清浄機やデフューザを使用することが可能である。

　そのほか、刺激発生装置９Ｂは、これらの発生装置に限らず、運転者の覚醒を促すために、別の刺激を発生する別の発生装置を有していてよい。

　環境センサ９Ａは、刺激発生装置９Ｂの音発生装置９Ｂ１が効果的に作用するか否かを検知するために、車両１の周囲および車内の騒音を検知する騒音センサ９Ａ１を有している。

　環境センサ９Ａはまた、刺激発生装置９Ｂの光発生装置９Ｂ２が効果的に作用するか否かを検知するために、車両１に対する日差しの強さを検知する日射センサ９Ａ２を有している。日射センサ９Ａ２は、例えば、オートエアコンの制御に用いられる日射センサで兼用されてよい。

　環境センサ９Ａはさらに、刺激発生装置９Ｂの振動発生装置９Ｂ３が効果的に作用するか否かを検知するために、車両１の振動を検知する振動センサ９Ａ３を有している。

　環境センサ９Ａはまたさらに、刺激発生装置９Ｂの香り発生装置９Ｂ４が効果的に作用するか否かを検知するために、車両１の窓の開閉量を検知する窓センサ９Ａ４を有している。

　そのほか、環境センサ９Ａは、刺激発生装置９Ｂの別の刺激の発生装置に対応して、その別の刺激の発生装置が効果的に作用するか否かを検知するためのセンサを有していてもよい。

　覚醒支援装置６Ａは、環境センサ９Ａおよび刺激発生装置９Ｂと共働して、必要なときに、例えば運転者が眠気を催したときに、運転者の覚醒を促す装置であり、以下のように構成されている。図３は、その機能構成を示すブロック図である。

　覚醒支援装置６Ａは、制御ユニット６１と、入出力インタフェースユニット６２と、記憶ユニット６３とを備えている。

　入出力インタフェースユニット６２は、入力されたアナログ信号をデジタルデータに変換して制御ユニット６１へ出力し、また、制御ユニット６１から出力されたデジタルデータをアナログ信号に変換して出力する。具体的には、入出力インタフェースユニット６２は、運転者カメラ７から出力された映像信号を受信してデジタルデータに変換して制御ユニット６１へ出力する。入出力インタフェースユニット６２はまた、環境センサ９Ａから出力された検出信号をデジタルデータに変換して制御ユニット６１へ出力する。入出力インタフェースユニット６２はさらに、制御ユニット６１から出力された刺激情報のデータを信号に変換して刺激発生装置９Ｂへ出力する。

　記憶ユニット６３は、記憶媒体として、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込みおよび読み出しが可能な不揮発性メモリを使用したものである。記憶ユニット６３は、本実施形態を実施するために使用する記憶領域として、運転者監視映像記憶部６３１と、運転者状態記憶部６３２と、刺激情報記憶部６３３と、選択結果記憶部６３４を備えている。記憶ユニット６３は、不揮発性メモリに限らず、例えば刺激情報記憶部６３３を除いて、ＲＡＭのような揮発性メモリで構成されてもよい。

　刺激情報記憶部６３３は、刺激発生装置９Ｂが発生可能な各刺激について、その刺激に対応する環境センサ９Ａの各センサの検知情報に対応付けて予め設定された各刺激の有効度に関する情報を記憶している。例えば、刺激情報記憶部６３３は、各刺激の有効度に関する情報として、環境センサ９Ａの各センサの検知情報と、その値に対応付けて予め設定された刺激の有効度を表す有効度情報との対応関係を表す記憶テーブルを有していてもよい。あるいは、刺激情報記憶部６３３は、このような記憶テーブルを有する代わりに、各刺激の有効度に関する情報として、環境センサ９Ａの各センサの検知情報を変数ｘとする、各刺激の有効度を表す有効度情報の関数ｆ（ｘ）を記憶していてもよい。

　例えば、車両１の近くで工事が行われている場合を想定し、車両１の周辺の騒音レベルの検出値が大きければ大きいほど、音を利用した刺激の有効度は低くなるように設定される。また、日差しが強ければ強いほど、光を利用した刺激の有効度は低くなるように設定される。車両１が悪路を走行している場合を想定し、振動の検出レベルが大きければ大きいほど、振動を利用した刺激の有効度は低くなるように設定される。外気を取り込んでいる場合を想定し、窓の開度が大きければ大きいほど、香りを利用した刺激の有効度は低くなるように設定される。このように、刺激の有効度は、車両１の運転者の周辺の環境の状態に応じて変化する。

　制御ユニット６１は、コンピュータを構成するＣＰＵ（Central Processing Unit）およびプログラムメモリを有している。制御ユニット６１は、本実施形態を実施するために必要な制御機能として、運転者監視映像取得部６１１と、運転者状態判定部６１２と、刺激選択部６１３と、刺激情報出力部６１４とを備えている。なお、これらの制御機能はいずれもプログラムメモリに格納されたプログラムをＣＰＵに実行させることにより実現される。

　運転者監視映像取得部６１１は、運転者カメラ７から出力された運転者の運転者監視映像情報を入出力インタフェースユニット６２を介して取り込み、この取り込んだ運転者監視映像情報を記憶ユニット６３の運転者監視映像記憶部６３１に記憶させる。

　運転者状態判定部６１２は、運転者監視映像記憶部６３１から予め設定された時間間隔で運転者監視映像情報を読み込み、その都度、運転者監視映像情報に基づいて、運転者が眠気を催しているか否かを判定する処理を行う。運転者状態判定部６１２は、判定結果を表す情報を、記憶ユニット６３の運転者状態記憶部６３２に記憶させる。

　運転者が眠気を催しているか否かの状態の判定は、例えば、次のようにして行う。まず、運転者状態判定部６１２は、運転者監視映像情報に基づいて、運転者の眼の開き具合や、瞬きの頻度、眼球運動等を検出し、運転者の覚醒度を認識する。次に、運転者状態判定部６１２は、運転者の覚醒度を、予め設定された閾値と比較する。運転者状態判定部６１２は、運転者の覚醒度が閾値よりも高い場合には、運転者が眠気を催していないと判定し、反対に、運転者の覚醒度が閾値よりも低い場合には、運転者が眠気を催していると判定する。

　刺激選択部６１３は、運転者が眠そうかどうかを判定する。このため、刺激選択部６１３は、運転者が眠気を催しているか否かの判定結果を表す情報を運転者状態記憶部６３２から読み込む。判定結果を表す情報が、車両１の運転者が眠気を催していることを示す場合、刺激選択部６１３は、覚醒支援が必要であると判定する。覚醒支援が必要であると判定した場合、刺激選択部６１３はまた、環境センサ９Ａの各センサの検知情報と、刺激情報記憶部６３３に記憶されている各検知情報に対応付けて予め設定された有効度に関する情報とに基づいて、運転者の覚醒支援に使用する刺激を選択する。刺激選択部６１３は、選択された刺激の種別を表す種別情報を選択結果記憶部６３４に記憶させる。

　刺激情報出力部６１４は、選択結果記憶部６３４に記憶されている選択結果に基づいて、運転者の覚醒支援に使用する刺激を発生させるための刺激情報を刺激発生装置９Ｂへ出力し、その刺激を刺激発生装置９Ｂに発生させる。

　（動作例）
　次に、前述したように構成された覚醒支援装置の動作例を説明する。図４はその全体の制御手順と制御内容を示すフローチャートである。

　（１）監視開始
　運転が開始されると、運転者監視システム８は、ステップＳ１において、運転者の監視を開始する。運転者の監視は、例えば、運転のあいだ続けられる。運転者の監視は、例えば、次のようにして行う。

　運転が開始されると、運転者カメラ７が起動し、運転者の顔を含む所定の範囲を連続的に撮像してその映像信号を出力する。この状態で覚醒支援装置６Ａは、運転者監視映像取得部６１１の制御の下、運転者カメラ７から出力された運転者監視映像情報を入出力インタフェースユニット６２を介して取り込み、この取り込んだ運転者監視映像情報を記憶ユニット６３の運転者監視映像記憶部６３１に記憶させる。

　なお、運転者の撮像は、所定の時間間隔で間欠的に行ってもよい。また、運転者カメラ７または入出力インタフェースユニット６２において、映像信号を所定の符号化方式に応じて符号化するようにしてもよい。このようにすると、運転者監視映像情報の量を減らして運転者監視映像記憶部６３１の記憶容量を節約することが可能となる。

　運転者監視映像情報の取得が開始されると、覚醒支援装置６Ａは、次に運転者状態判定部６１２の制御の下、一定時間の経過が判定される毎に、運転者の状態の判定を行う。この運転者の判定の時間間隔は、例えば実質的に連続的な判定を行えるような１秒程度の短い間隔に設定してもよく、また１０～３０秒といった比較的長い間隔に設定するようにしてもよい。

　運転者状態判定部６１２は、運転者監視映像記憶部６３１から予め設定された時間間隔で運転者監視映像情報を読み込む。次に、運転者状態判定部６１２は、運転者監視映像情報を読み込む毎に、運転者監視映像情報に基づいて、運転者が眠気を催しているか否かを判定する。運転者状態判定部６１２は、判定結果を表す情報を、判定タイミングを表す情報、例えばタイムスタンプ情報と関連付けて、記憶ユニット６３の運転者状態記憶部６３２に記憶させる。

　（２）眠気の判定
　運転者の監視が開始されると、覚醒支援装置６Ａは、刺激選択部６１３の制御の下、ステップＳ２において、運転者が眠気を催しているか否か、つまり、運転者が眠そうかどうかを判定する処理を行う。

　前述したように、運転者状態判定部６１２は、運転者の状態を一定の時間間隔で判定し、その判定結果を表す情報を、運転者状態記憶部６３２に記憶させている。運転者の状態の判定結果は、運転者が眠気を催しているか否かについての判定結果を表す情報を含んでいる。

　刺激選択部６１３は、運転者が眠気を催しているか否かの判定結果を表す情報を一定の時間間隔で運転者状態記憶部６３２から読み込む。判定結果を表す情報が、運転者が眠気を催していないことを示す場合、運転終了を判定するステップＳ６の処理へ進む。反対に、判定結果を表す情報が、運転者が眠気を催していることを示す場合、最適な刺激を選択するステップＳ３の処理へ進む。

　（３）最適な刺激の選択
　刺激選択部６１３は、ステップＳ３において、環境センサ９Ａの各センサの検知情報を取り込む。刺激選択部６１３はまた、環境センサ９Ａの各センサの検知情報に基づいて、それぞれ対応する刺激の有効度に関する情報を刺激情報記憶部６３３から読み込み、各刺激の有効度を表す有効度情報を取得する。例えば、刺激選択部６１３は、刺激情報記憶部６３３に予め記憶されている、環境センサ９Ａの各センサの検知情報と各刺激の有効度情報との対応関係を表す記憶テーブルに基づいて、各刺激の有効度情報を取得してもよい。あるいは、刺激選択部６１３は、各刺激の有効度情報を刺激情報記憶部６３３から読み込む代わりに、刺激情報記憶部６３３に予め記憶されている、環境センサ９Ａの各センサの検知情報を変数ｘとする各刺激の有効度を表す有効度情報の関数ｆ（ｘ）を刺激情報記憶部６３３から読み込み、この関数ｆ（ｘ）に従った計算により、各刺激の有効度情報を取得してもよい。刺激選択部６１３は、すべての刺激の有効度情報を比較することにより、最適な刺激、すなわち、有効度が最も高い刺激を選択し、当該選択された刺激の種別情報を選択結果記憶部６３４に記憶させる。

　（４）刺激情報出力
　刺激情報出力部６１４は、ステップＳ４において、刺激選択部６１３の選択結果を表す情報、すなわち、最適な刺激の種別を表す種別情報を選択結果記憶部６３４から読み込み、その刺激を刺激発生装置９Ｂに発生させるための刺激情報を刺激発生装置９Ｂへ出力する。

　刺激発生装置９Ｂは、入力された刺激情報に基づいて、刺激選択部６１３により選択された最適な刺激を発生する。このように、運転者の周辺の環境に基づいて選択された最適な刺激が発生されるため、刺激発生装置９Ｂが発生可能な刺激を使用した覚醒支援の内、運転者の覚醒が最も効果的に促されることが期待できる。

　（５）眠気の再判定
　刺激情報出力部６１４による刺激情報の出力に続いて、予め設定された期間が経過した後、刺激選択部６１３は、ステップＳ５において、運転者の眠気が十分に改善されたか否かを再び判定する。この再判定は、運転者が眠気を催しているか否かを判定するステップＳ２と同様の処理によって行う。

　すなわち、刺激選択部６１３は、運転者が眠気を催しているか否かの判定結果を表す情報を運転者状態記憶部６３２から読み込む。結果を表す情報が、運転者が眠気を催していないことを示す場合、運転者の眠気が十分に改善されたと判定し、運転者が眠気を催しているか否かを判定するステップＳ２の処理へ戻る。反対に、結果を表す情報が、運転者が眠気を催していることを示す場合、運転の終了を判定するステップＳ６の処理へ進む。

　（６）運転終了判定
　覚醒支援装置６Ａは、ステップＳ６において、運転が終了したか否かを判定する。運転が終了していないと判定した場合は、運転者の眠気を判定するステップＳ２の処理に戻る。反対に、運転が終了したと判定した場合は、覚醒支援の制御を終了する。

　（別の動作例）
　続いて、前述したように構成された覚醒支援装置の別の動作例を説明する。図５はその全体の制御手順と制御内容を示すフローチャートである。

　（１）監視開始
　運転が開始されると、運転者監視システム８は、ステップＴ１において、運転者の監視を開始する。運転者の監視は、例えば、運転のあいだ続けられる。運転者の監視の処理は、前述した動作例のステップＳ１と同様である。

　（２）眠気の判定
　運転者の監視が開始されると、覚醒支援装置６Ａは、刺激選択部６１３の制御の下、ステップＴ２において、運転者が眠気を催しているか否か、つまり、運転者が眠そうかどうかを判定する処理を行う。運転者の眠気の判定の処理は、前述した動作例のステップＳ２と同様である。

　判定結果を表す情報が、運転者が眠気を催していないことを示す場合、運転終了を判定するステップＴ１０の処理へ進む。反対に、判定結果を表す情報が、運転者が眠気を催していることを示す場合、適切な刺激を選択するステップＴ３の処理へ進む。

　（３）刺激の選択
　刺激選択部６１３は、ステップＴ３において、環境センサ９Ａの各センサの検知情報を取り込む。刺激選択部６１３はまた、環境センサ９Ａの各センサの検知情報に基づいて、それぞれ対応する刺激の有効度に関する情報を刺激情報記憶部６３３から読み込み、各刺激の有効度を表す有効度情報を取得する。先の動作例において説明されたように、例えば、刺激選択部６１３は、刺激情報記憶部６３３に予め記憶されている、環境センサ９Ａの各センサの検知情報と各刺激の有効度情報との対応関係を表す記憶テーブルに基づいて、各刺激の有効度情報を取得してもよい。あるいは、刺激選択部６１３は、各刺激の有効度情報を刺激情報記憶部６３３から読み込む代わりに、刺激情報記憶部６３３に予め記憶されている、環境センサ９Ａの各センサの検知情報を変数ｘとする各刺激の有効度を表す有効度情報の関数ｆ（ｘ）を刺激情報記憶部６３３から読み込み、この関数ｆ（ｘ）に従った計算により、各刺激の有効度情報を取得してもよい。続いて、刺激選択部６１３は、すべての刺激の有効度情報を、それぞれ予め設定された閾値と比較し、有効度情報が閾値以上であれば適切であると判定し、有効度情報が閾値未満であれば不適切であると判定する。

　次に、刺激選択部６１３は、ステップＴ４において、適切な刺激の有無、つまり、適切な刺激があったか否かを判定する。適切な刺激があった場合、適切な刺激の数を判定するステップＴ６の処理に進む。反対に、適切な刺激がなかった場合、最適な刺激を選択するステップＴ５の処理に進む。

　適切な刺激がなかった場合、刺激選択部６１３は、ステップＴ５において、すべての有効度情報を比較することにより、最適な刺激、すなわち、有効度が最も高い刺激を選択し、当該選択された刺激の種別情報を選択結果記憶部６３４に記憶させる。

　適切な刺激があった場合、刺激選択部６１３は、ステップＴ６において、適切な刺激の数が複数であるか否かを判定する。適切な刺激の数が複数でない場合、すなわち、適切な刺激の数がただ一つである場合、その単一の適切な刺激を選択し、その選択された刺激の種別を表す種別情報を選択結果記憶部６３４に記憶させる。この場合、選択された単一の適切な刺激は、最適な刺激と見做される。反対に、適切な刺激の数が複数である場合、それら複数の適切な刺激をすべて選択し、当該選択された各刺激の種別情報を選択結果記憶部６３４に記憶させる。

　（４ａ）単一の刺激情報の出力と眠気の再判定
　適切な刺激の有無を判定するステップＴ４の判定の結果、適切な刺激がなかった場合、または、適切な刺激の数を判定するステップＴ６の判定の結果、適切な刺激の数がひとつであった場合、刺激情報出力部６１４は、ステップＴ７において、刺激選択部６１３により選択された刺激の種別を表す種別情報を選択結果記憶部６３４から読み込み、当該種別情報により表される刺激を刺激発生装置９Ｂに発生させるための刺激情報を刺激発生装置９Ｂへ出力する。

　刺激発生装置９Ｂは、入力された刺激情報に基づいて、刺激選択部６１３により選択された最適な刺激を発生する。このように、車両１の運転者の周辺の環境の状態に基づいて選択された最適な刺激が発生されるため、刺激発生装置９Ｂが発生可能な刺激を使用した覚醒支援の内、運転者の覚醒が最も効果的に促されることが期待できる。

　刺激情報出力部６１４による刺激情報の出力に続いて、予め設定された期間が経過した後、刺激選択部６１３は、ステップＴ８において、運転者の眠気が十分に改善されたか否かを再び判定する。この再判定は、運転者が眠気を催しているか否かを判定するステップＴ２と同様の処理によって行う。

　すなわち、刺激選択部６１３は、運転者が眠気を催しているか否かの判定結果を表す情報を運転者状態記憶部６３２から読み込む。読み込んだ判定結果を表す情報が、運転者が眠気を催していないことを示す場合、運転者の眠気が十分に改善されたと判定し、運転者が眠気を催しているか否かを判定するステップＴ２の処理へ戻る。反対に、結果を表す情報が、運転者が依然として眠気を催していることを示す場合、運転の終了を判定するステップＴ１０の処理へ進む。

　（４ｂ）複数の刺激情報の出力と眠気の再判定
　一方、適切な刺激の数を判定するステップＴ６の判定の結果、適切な刺激の数が複数であった場合、刺激情報出力部６１４は、ステップＴ９において、刺激選択部６１３により選択された刺激の種別を表す種別情報を選択結果記憶部６３４から読み込み、それら複数種類の適切な刺激を１回ずつ順番に発生させるように、複数の刺激情報を刺激発生装置９Ｂへ順番に出力する。その際、例えば、複数種類の適切な刺激を、それらの有効度に従って順序付けし、その順番に従って刺激情報を出力するようにしてよい。なお、上記複数種類の刺激を同時に発生させるべく刺激情報を出力するようにしてもよい。

　運転者の覚醒を支援するために、車両１の運転者の周辺の環境の状態に基づいて選択された最適な刺激は、運転者の体質や体調によっては、運転者の覚醒支援に必ずしも最適であるとは限らない。車両１の運転者の周辺の環境の状態に基づいて選択された最適な刺激よりも他の刺激の方が、運転者の覚醒支援に有効に作用する場合もある。複数の適切な刺激が順番に発生される場合、複数の適切な刺激のいずれかが運転者の覚醒支援に効果的に作用することが期待できる。

　刺激情報出力部６１４による各刺激情報の出力に続いて、予め設定された期間が経過した後、刺激選択部６１３は、運転者の眠気が十分に改善されたか否かを再び判定する。この再判定は、運転者が眠気を催しているか否かを判定するステップＴ２と同様の処理によって行う。

　すなわち、刺激選択部６１３は、運転者が眠気を催しているか否かの判定結果を表す情報を運転者状態記憶部６３２から読み込む。結果を表す情報が、運転者が眠気を催していないことを示す場合、運転者の眠気が十分に改善されたと判定し、運転者が眠気を催しているか否かを判定するステップＴ２の処理へ戻る。反対に、結果を表す情報が、運転者が依然として眠気を催していることを示す場合、次に出力する刺激情報がある場合には、次の刺激情報を出力する処理を行い、反対に、次に出力する刺激情報がない場合には、運転の終了を判定するステップＴ１０の処理へ進む。

　（５）運転終了判定
　覚醒支援装置６Ａは、ステップＴ１０において、運転が終了したか否かを判定する。運転が終了していないと判定した場合は、運転者の眠気を判定するステップＴ２の処理に戻る。反対に、運転が終了したと判定した場合は、覚醒支援の制御を終了する。

　（効果）
　以上詳述したように、この発明の実施形態では、運転者の状態を検出する運転者状態検出センサである運転者カメラ７の検出情報に基づいて、運転者状態判定部６１２により運転者の状態が判定され、さらに刺激選択部６１３により運転者が眠気を催しているか否かが判定される。判定結果が、運転者が眠気を催していることを示す場合、車両の運転者の周辺の環境の状態に基づいて選択された刺激が発生される。

　最適な刺激が発生される場合、刺激発生装置９Ｂが発生可能な刺激を使用した覚醒支援の内、運転者の覚醒が最も効果的に促されることが期待できる。

　複数の適切な刺激が発生される場合、最適な刺激が運転者の覚醒支援に有効に作用しなかった場合でも、他の刺激が運転者の覚醒支援に有効に作用することが期待できる。

　［他の実施形態］
　実施形態では、運転者状態検出センサが運転者カメラ７で構成され、運転者カメラ７により得られる運転者の顔を含む映像信号に基づいて運転者の状態を判定する場合を例にとって説明した。しかし、運転者状態検出センサは、運転者カメラ７に限らず、運転者の生体情報を取得する生体センサで構成し、生体センサにより得られる生体信号、例えば脈波センサまたは心拍センサにより検出される運転者の脈波信号または心拍信号や、圧力センサにより検出される横隔膜の上下動を表す信号に基づいて、運転者の状態を判定するようにしてもよい。

　実施形態では、刺激発生装置９Ｂが有する刺激の各発生装置９Ｂ１～９Ｂ４と、環境センサ９Ａが有する各センサ９Ａ１～９Ａ４とが、１対１で対応している例をあげて説明したが、これに限らず、１つの刺激の発生装置に対して、複数のセンサが対応していてもよい。例えば、香り発生装置９Ｂ４に対して、窓センサ９Ａ４に加えて、においセンサが対応しているようにしてもよい。

　実施形態では、車両の手動運転中に運転者が眠気を催したときに運転者の覚醒を支援する例について説明したが、このような状況に限定されるものではなく、さまざまな状況において運転者の覚醒を支援するようにしてもよい。運転者の覚醒を支援する状況としては、例えば、次のような状況であってよい。

　運転操作を完全に自動運転制御装置に任せることは安全性の面から避けた方が望ましいと考えられている現状とは異なり、運転操作を完全に自動運転制御装置に任せることに不安のない未来において、車両の自動運転中にしばらく先に手動運転に切り替える必要が生じた状況において、運転者が眠っているか、運転者が車両を手動で運転するには困難であると判定される程度の眠気を運転者が催しているときに、運転者の覚醒を支援するようにしてもよい。

　その他、車両の種類、自動運転制御装置の機能、覚醒支援装置の制御機能と制御手順および制御内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られるものではない。　
（付記１）
　運転者の覚醒を促す覚醒支援装置であって、運転者状態記憶部と刺激情報記憶部と選択結果記憶部とを有するメモリと、前記メモリに結合された少なくとも１つのハードウェアプロセッサとを有し、
　前記少なくとも１つのハードウェアプロセッサは、
　　前記運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が眠気を催しているか否かを判定し、その判定結果を表す情報を前記運転者状態記憶部に記憶させ、
　　前記運転者状態記憶部から前記判定結果を表す情報を読み出し、前記判定結果を表す情報が、前記運転者が眠気を催していることを示す場合、前記運転者の周辺の複数種類の環境の状態を検知する環境センサの検出情報と、前記刺激情報記憶部に予め記憶されている、前記複数種類の環境に対応付けて予め用意されている複数種類の刺激の、前記検出情報に対応付けて予め設定された有効度に関する情報とに基づいて、前記運転者の覚醒支援に使用する刺激を前記複数種類の刺激の中から選択し、その選択された刺激の種別を表す種別情報を前記選択結果記憶部に記憶させ、
　　前記選択結果記憶部から前記種別情報を読み出し、前記複数種類の刺激を発生可能な刺激発生装置に対し、前記種別情報により表される刺激を発生させるための刺激情報を出力するように構成されている、覚醒支援装置。
（付記２）
　運転者の覚醒を促す装置が実行する覚醒支援方法であって、
　ハードウェアプロセッサを用いて、前記運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が眠気を催しているか否かを判定し、その判定結果を表す情報をメモリに記憶させ、
　前記ハードウェアプロセッサを用いて、前記メモリから前記判定結果を表す情報を読み出し、前記判定結果を表す情報が、前記運転者が眠気を催していることを示す場合、前記運転者の周辺の複数種類の環境の状態を検知する環境センサの検出情報と、前記メモリに予め記憶されている、前記複数種類の環境に対応付けて予め用意されている複数種類の刺激の、前記検出情報に対応付けて予め設定された有効度に関する情報とに基づいて、前記運転者の覚醒支援に使用する刺激を前記複数種類の刺激の中から選択し、その選択された刺激の種別を表す種別情報を前記メモリに記憶させ、
　前記ハードウェアプロセッサを用いて、前記メモリから前記種別情報を読み出し、前記種別情報により表される刺激を発生させるための刺激情報を、前記複数種類の刺激を発生可能な刺激発生装置に出力する、覚醒支援方法。

Claims

　運転者の覚醒を促す覚醒支援装置であって、
　前記運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が眠気を催しているか否かを判定する運転者状態判定部と、
　前記運転者状態判定部により前記運転者が眠気を催していると判定された場合に、前記運転者の周辺の複数種類の環境の状態を検知する環境センサの検出情報に基づいて、前記運転者の覚醒支援に使用する刺激を、前記複数種類の環境に対応付けて予め用意されている複数種類の刺激の中から選択する刺激選択部と、
　前記複数種類の刺激を発生可能な刺激発生装置に対し、前記刺激選択部により選択された刺激を発生させるための刺激情報を出力する刺激情報出力部と
　を具備する覚醒支援装置。
　前記刺激選択部は、前記複数種類の環境の各々について、前記環境センサの検出情報と当該検出情報に対応付けて予め設定された刺激の有効度を表す有効度情報とを関連付けた記憶テーブルに基づいて、前記環境センサにより得られた検出情報に対応する刺激の有効度情報を取得し、当該有効度情報を比較して前記運転者の覚醒支援に最適な刺激を選択する、請求項１に記載の覚醒支援装置。
　前記刺激情報出力部は、前記刺激選択部により選択された刺激の数が複数であった場合に、複数の刺激を順番に又は同時に発生させるように、前記刺激情報を前記刺激発生装置に出力する、請求項１に記載の覚醒支援装置。
　前記刺激選択部は、前記複数種類の環境の各々について、前記環境センサの検出情報を変数とする刺激の有効度を表す有効度情報の関数に従った計算により、前記環境センサにより得られた検出情報に対応する刺激の有効度情報を取得し、当該有効度情報を比較して前記運転者の覚醒支援に最適な刺激を選択する、請求項１に記載の覚醒支援装置。
　運転者の覚醒を促す装置が実行する覚醒支援方法であって、
　前記運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が眠気を催しているか否かを判定する運転者状態判定ステップと、
　前記運転者が眠気を催していると判定された場合に、前記運転者の周辺の複数種類の環境の状態を検知する環境センサの検出情報に基づいて、前記運転者の覚醒支援に使用する刺激を、前記複数種類の環境に対応付けて予め用意されている複数種類の刺激の中から選択する刺激選択ステップと、
　前記複数種類の刺激を発生可能な刺激発生装置に対し、前記刺激選択ステップにより選択された刺激を発生させるための刺激情報を出力する刺激情報発生ステップとを有する覚醒支援方法。
　請求項１ないし請求項４のいずれかひとつに記載の覚醒支援装置が具備する各部の機能または請求項５に記載の覚醒支援方法の各ステップの処理をコンピュータに実行させるプログラム。