+

JP2019170967A - 生体信号検知装置及び生体信号検知方法 - Google Patents

生体信号検知装置及び生体信号検知方法 Download PDF

Info

Publication number
JP2019170967A
JP2019170967A JP2018066237A JP2018066237A JP2019170967A JP 2019170967 A JP2019170967 A JP 2019170967A JP 2018066237 A JP2018066237 A JP 2018066237A JP 2018066237 A JP2018066237 A JP 2018066237A JP 2019170967 A JP2019170967 A JP 2019170967A
Authority
JP
Japan
Prior art keywords
biological signal
vehicle
predetermined period
reliability
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018066237A
Other languages
English (en)
Inventor
哲朗 松瀬
Tetsuro Matsuse
哲朗 松瀬
望月 誠
Makoto Mochizuki
誠 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018066237A priority Critical patent/JP2019170967A/ja
Publication of JP2019170967A publication Critical patent/JP2019170967A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】生体信号を用いた処理を行う場合に、検知された生体信号の有効性を加味した処理を指示できる生体信号検知装置を提供する。【解決手段】生体信号検知装置5は、車両の搭乗者の生体信号を検出する生体信号センサ部11と、車両の走行状態を検出する走行状態センサ部12と、生体信号出力部15とを備える。生体信号の所定の期間に対応する車両の走行状態が信頼度の高い状態の場合、生体信号出力部15は、所定の期間の生体信号と高い信頼度とを出力する。生体信号の所定の期間に対応する車両の走行状態が信頼度の低い状態の場合、生体信号出力部15は、所定の期間の生体信号と低い信頼度とを出力する。【選択図】図1

Description

本開示は、生体信号を検知する生体信号検知装置及び生体信号検知方法に関する。
従来、車両の乗員の状態を検出する乗員状態検出装置が知られている(特許文献1参照)。この乗員状態検出装置は、乗員の心拍数を検出する検出部と、車両に設けられた機器への乗員の操作を検知する操作検知部と、検出部の検出結果に基づいて乗員の心拍ゆらぎ値を計算し、操作検知部によって機器への乗員の操作が検知された場合には、機器への乗員の操作を行った時間に対応する心拍ゆらぎ値を異常値として除外した心拍ゆらぎ値を計算する計算処理部と、を備える。
特開2017−86201号公報
特許文献1の技術は、乗員が車両に設けられた機器を操作している時の心拍数のゆらぎの影響を抑えることが示されているに過ぎない。車両の走行状態が心拍数に与える影響や、その影響を心拍数の検知結果にどのように加味するかについて何も示唆していない。
車載走行環境では、車両内での搭乗者の動きの自由度を向上させるべく、車両の搭乗者の心拍等の生体信号を非接触で検知することが望ましい。しかし、走行時には車体の振動や太陽光等の照明変動、搭乗者の体動などの影響により、非接触で生体信号を精度良く検知することは困難である。そのため、生体信号の検知精度が低い場合に、車両における各種処理に生体信号を活用すると、車両における様々な処理の処理精度が低下することが考えられる。
本開示は、上記事情に鑑みてなされたものであり、生体信号を用いた処理を行う場合に、検知された生体信号の有効性を加味した処理を指示できる生体信号検知装置及び生体信号検知方法を提供する。
本開示の一態様は、車両に搭載されるように設定され、前記車両の搭乗者の生体信号を検出する生体信号センサ回路と、前記車両の走行状態を検出する走行状態センサ回路と、出力回路と、を備える生体信号検知装置であって、前記生体信号の所定の期間に対応する前記車両の走行状態が所定の状態の場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度を出力し、前記生体信号の前記所定の期間に対応する前記車両の走行状態が前記所定の状態でない場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度より低い第2の信頼度を出力する、生体信号検知装置である。
本開示の一態様は、車両に搭載されるように設定され、前記車両の搭乗者の生体信号を検出する生体信号センサ回路と、前記車両の走行状態を検出する走行状態センサ回路と、出力回路と、を備える生体信号検知装置における生体信号検知方法であって、前記生体信号の所定の期間に対応する前記車両の走行状態が所定の状態の場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度を出力し、前記生体信号の前記所定の期間に対応する前記車両の走行状態が前記所定の状態でない場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度より低い第2の信頼度を出力する、生体信号検知方法である。
本開示によれば、生体信号を用いた処理を行う場合に、検知された生体信号の有効性を加味した処理を指示できる。
第1の実施形態における生体信号検知装置の概要の一例を示す図 心拍に関連する輝度情報を用いた生体信号検知動作手順を示すフローチャート S6における生体信号有効状態判定手順を示すフローチャート 第2の実施形態における生体信号検知装置の概要の一例を示す図 心拍に関連する距離情報を用いた生体信号検知動作手順を示すフローチャート S26における生体信号有効状態判断手順を示すフローチャート アイドリング中及び走行中におけるミリ波を用いて計測された測定信号の時間変化を表すグラフ
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(第1の実施形態)
図1は、第1の実施形態における生体信号検知装置5の概要の一例を示す図である生体信号検知装置5は、車両を運転する運転者等の搭乗者の生体信号を検知し、心拍に関する情報を出力する。心拍に関する情報は、運転者の緊張状態、ストレス状態、眠気等の生体情報の取得に用いられる。なお、ここでは、車両に乗車する搭乗者のうち、運転手に対して生体信号を検知する場合を主に示すが、運転者以外の乗員に対し、同様に生体信号を検知してもよい。
生体信号検知装置5は、生体信号センサ部11と、走行状態センサ部12と、生体信号有効状態判断部13と、記憶部14と、生体信号出力部15と、を含む構成を有する。つまり、生体信号検知装置5は、生体信号センサ部11と、走行状態センサ部12と、生体信号有効状態判断部13と、記憶部14と、生体信号出力部15とが、車両に搭載されるように構成される。また、生体信号検知装置5では、生体信号センサ部11と、走行状態センサ部12と、生体信号有効状態判断部13と、記憶部14と、生体信号出力部15とに対して、車両に搭載されるように各種設定が行われてもよい。
生体信号センサ部11は、心拍に関連する輝度情報を取得する輝度情報取得部21を有する。心拍に関連する輝度情報は、例えば顔の色味を表現する色成分の輝度を含む。
生体信号センサ部11は、心拍に関連する輝度情報を基に、心拍数を推定する。この心拍数推定は、例えば参考非特許文献1の方法で実施されてよい。この場合、生体信号センサ部11は、カメラが撮像した映像を基に、血管の収縮によって生じる顔の色の変化を測定し、心拍数を推定する、非接触バイタルセンシングの技術を用いる。この非接触バイタルセンシングでは、生体信号センサ部11は、肌の光反射率の変化を利用して心拍数を測定する。血液は、光を吸収して光反射率を変化させる性質を有する。光の吸収量は、脈波に基づく血管の収縮と連動して変化する。したがって、生体信号センサ部11は、肌の光反射率の変化から脈波を推定し、心拍数を算出できる。つまり、生体信号センサ部11は、光電脈波法による心拍検知を行ってよい。なお、心拍数以外の心拍に関する情報(例えば心拍波形)が測定されてもよい。
参考非特許文献1: 松元 則雄、「人に触れずに心拍数を計測、パナソニックが動画解析技術」、日経テクノロジーオンライン、2017年2月14日、インターネット<URL:http://tech.nikkeibp.co.jp/dm/atcl/column/15/110200016/042800059/>、2017/05/18 05:00
輝度情報取得部21は、車両に搭載され、乗員の顔等を被写体として撮像するカメラを有する。カメラは、例えばドライバ検知カメラや姿勢検知カメラを含んでよい。カメラは、被写体をカラーの静止画及び動画で撮像可能である。カメラは、例えば30fpsで被写体を撮像して動画を取得する。輝度情報取得部21は、カメラで乗員の顔等を撮像して得られた画像の輝度情報を取得する。画像の輝度情報は、特定の色(例えば赤色、緑色、青色)毎の輝度値でよい。特定の色(例えば赤色、緑色、青色)毎の輝度値を基に、色バランス(色味)及び全体の輝度値が得られる。なお、特定の色でなく、全体の輝度値を画像の輝度情報として得てもよい。また、カメラは近赤外領域にのみ感度のある近赤外光カメラであってもよい。その場合は単一の輝度値が得られることになる。
走行状態センサ部12は、心拍に関連する輝度情報の取得に影響を与える車両の走行状態を検知する。走行状態センサ部12は、照度取得部22、自車情報取得部23、地図情報取得部24、及び運転者情報取得部25を有する。走行状態の情報は、後述する自車両に関する照度の情報、自車両に関する車両情報、自車の走行位置に関する地図情報、自車両の運転者に関する運転者情報、等を含んでよい。
照度取得部22は、車両の外部あるいは車室内の明るさを取得する。照度取得部22として、照度センサ、時計(時刻)、ドライバ検知カメラ(絞り値を有する)、対向車ヘッドライトセンサ(オン/オフ)、カーナビゲーション装置(トンネル等の有無を検知)等が挙げられる。
照度取得部22は、上記の各機器の検出値(例えば、現在時刻、ドライバ検知カメラで設定されている絞り値、ヘッドライトの輝度、車両の現在の走行地点がトンネル内であるか否か)を基に、照度を推定して取得してよい。なお、照度取得部として、これら機器は組み合わされて使用されてもよい。
自車情報取得部23は、自車両に関する車両情報を取得してよい。自車情報取得部23として、車速センサ、加速度センサ、走行モード切替ボタン(EV走行モード/ガソリン走行モード)、カーナビゲーション装置(道路情報)等が挙げられる。自車情報取得部23は、加速度センサで検知される上下方向の加速度を基に、車体の振動の大きさや振動の有無を推定して取得してよい。自車情報取得部23は、前後方向の加速度を基に、加減速走行を検知してよい。自車情報取得部23は、走行モード切替ボタンに応じた走行モードにより、振動の大きさや振動の有無を推定して取得してよい。自車情報取得部23は、カーナビゲーション装置により走行中の道路情報を取得し、道路情報の種別(例えば、山道、高速道、国道)を基に振動の大きさや振動の有無を推定して取得してよい。また、自車情報取得部23は、車両の位置情報を取得してよい。自車情報取得部23として、衛星測位システム(NVSS:Navigation Satellite System)における衛星からの電波を受信し、位置情報(緯度、経度、高度)を取得する、車両に搭載された受信機、等が挙げられる。なお、自車情報取得部として、これら機器は組み合わされて使用されてもよい。
地図情報取得部24は、車両が位置する道路を含む地図情報を取得する。地図情報は、走行中の道路種別、道路勾配、道路曲率、信号の有無、等を含んでよい。地図情報取得部として、カーナビゲーション装置等が挙げられる。カーナビゲーション装置は、例えば車両に搭載された記憶装置から各種情報(例えば地図情報)を取得してもよいし、車両に搭載された通信機能により、外部サーバ等に蓄積された各種情報(例えば地図情報)を取得してもよい。
運転者情報取得部25は、運転者の体動や顔向き等を取得する。運転者情報取得部25として、運転者の姿勢を検知する姿勢検知カメラや、運転者の顔向きを検知するドライバ検知カメラ、ステアリング操作の状態を検知する舵角センサ、等が挙げられる。運転者情報取得部25は、撮像された画像に対して画像認識を行い、顔に含まれる複数の特徴点の配置等を基に顔向きを検知してよい。運転者情報取得部25は、姿勢検知カメラにより撮像された画像に対して画像認識して姿勢を検知し、姿勢を基に、運転者による機器操作や、左右の揺れを検知してカーブ走行等を検知してよい。
生体信号有効状態判断部13は、走行状態センサ部12で得られた各種の走行情報を基に、心拍に関連する輝度情報の信頼度を判定(判断)する。信頼度は、例えば0%又は100%の2択であってもよいし、他の2つの値の2択であってもよい。2択の場合、信頼度が高い方の値(例えば信頼度C1)を、高い信頼度とし、信頼度が低い方の値(例えば信頼度C2)を、低い信頼度としてよい。なお、C1>C2である。また、信頼度は0%から100%までの連続的な数値であってもよい。
記憶部14は、各種データや情報を記憶する。例えば、記憶部14は、心拍に関連する輝度情報の信頼度を判定する際、走行状態センサ部12で得られた各種の情報と比較される、各種閾値や所定値や各種条件を記憶する。
生体信号出力部15は、心拍に関連する輝度情報及び有効状態判定結果を出力する。有効状態判定結果は、生体信号有効状態判断部13による判定結果(判断結果)でよい。有効状態判定結果は、有効や無効の情報であってもよいし、信頼度の値であってもよいし、信頼度に基づく値や情報であってもよい。有効状態判定結果は、複数段階(例えば2段階(例えば信頼度が高い、信頼度が低い))で示されてもよい。
生体信号出力部15には、各種の処理部(例えば生体信号にフィルタリング処理を施すフィルタ処理部、生体信号を基に診断する診断部、診断装置)が接続されてよい。つまり、生体信号出力部15の出力先は、診断機能を有するコンピュータ等の診断装置等であってもよい。この場合、診断装置は、車両に搭載されてもよいし、搭載されなくてもよい。生体信号出力部15が通信機能を有する場合、モバイル通信網や無線LAN等を介して、遠隔に設置された診断装置に対し、心拍に関連する輝度情報や距離情報や有効状態判定結果を送信可能である。
次に、生体信号検知装置5の動作について説明する。
図2は、心拍に関連する輝度情報を用いた生体信号検知動作手順の一例を示すフローチャートである。なお、図2の処理前に、生体信号有効状態判断部13は、生体信号検知動作にて用いる、記憶部14に保持された閾値や所定値の情報を読み込んでおく。
輝度情報取得部21は、心拍に関連する輝度情報を蓄積する(S1)。輝度情報取得部21は、一例として、カメラで撮像された運転者の顔画像に対し、頬付近の画素群(例えば、10×10ピクセル)の平均輝度を、心拍に関連する輝度情報として取得し、記憶部14に蓄積する。
照度取得部22は、照度情報を蓄積する(S2)。一例として、照度取得部22は、車両に設置された照度センサで検知した照度(例えば単位:ルクス)を取得し、記憶部14に蓄積する。
自車情報取得部23は、自車情報を蓄積する(S3)。一例として、自車情報取得部23は、車両位置、車速、アクセル踏込量、ブレーキ踏込量、等を取得し、記憶部14に蓄積する。また、地図情報取得部24は、地図情報を蓄積する(S3)。一例として、地図情報取得部24は、走行中の道路種別、道路勾配、道路曲率、信号の有無、等を取得し、記憶部14に蓄積する。なお、S3では、自車情報の蓄積と地図情報の蓄積とが同じステップで行われたが、別のステップで行われてもよい。これにより、自車情報及び地図情報をそれぞれに適したタイミングで蓄積可能となる。
運転者情報取得部25は、運転者姿勢情報を蓄積する(S4)。一例として、運転者情報取得部25は、ドライバ検知カメラによって運転者の顔向き、頭位置、等の情報を取得し、記憶部14に蓄積する。
S1〜S4の処理後、生体信号有効状態判断部13は、所定時間が経過したか否かを判別する(S5)。所定時間は、生体信号有効状態を判定するタイミングであり、S1〜S4における各情報を蓄積するための継続時間を示し、例えば10秒に設定される。この場合、カメラによって撮像画像が30fpsで取得される場合、300フレーム分の画像データが所定時間内に蓄積される。一方、照度情報、自車情報、地図情報及び運転者姿勢情報は、所定時間に1回蓄積されてもよいし、複数回蓄積されてもよい。なお、所定時間は、10秒でなく、5秒、20秒等、任意の時間であってもよい。したがって、所定時間毎に、蓄積された時系列データが処理される。時系列データは、心拍に関する輝度情報を含み、照度情報、自車情報、地図情報、運転者姿勢情報を含んでもよい。
S5で所定時間が経過していない場合、生体信号検知装置5は、S1の処理に戻り、同様の処理を繰り返す。一方、S5で所定時間が経過している場合、生体信号有効状態判断部13は、記憶部14に記憶された閾値や第1〜第3所定値を基に、生体信号の有効状態(有効性)を判定する(S6)。生体信号有効状態判定処理の詳細については、図3を用いて後述する。
生体信号出力部15は、心拍に関連する輝度情報、及び有効状態判定結果を出力する(S7)。ここでは、例えば、生体信号出力部15は、所定時間(例えば10秒)毎に記憶部14に蓄積された輝度情報の時系列データと、有効状態判定結果とを出力する。
また、S7では、有効状態判定結果を出力する場合、信頼度の「高」(信頼度が高い)または「低」(信頼度が低い)以外に、信頼度そのものの値が出力されてもよい。また、生体信号出力部15は、輝度情報の時系列データを後段の任意の処理部に出力する際、信頼度が「低」である区間の輝度情報の時系列データを遮断し、信頼度が「高」である区間の輝度情報の時系列データを通過させてもよい。つまり、信頼度が高い部分のみが、後段で使用されるようにしてもよい。
また、生体信号出力部15は、信頼度に応じて、生体信号を一定の時間窓分蓄積して、例えば生体信号の有効部分(例えば信頼度が「高」の部分)のみ平均化して出力してもよい。また、後段の任意の処理部は、生体信号をフィルタリングし、生体信号から心拍が含まれる特定の周波数を抽出するフィルタ処理部を有してよい。また、生体信号出力部15の出力は、後段の装置として車載の又は遠隔の診断装置等に対して行われてもよい。
診断装置は、例えば生体信号を基に体調を判定する機能を有する。診断装置は、ディスプレイ、スピーカ、制御部、通信部、等を有してよい。診断装置は、生体信号を基に体調が良くないと判定した際、有効状態判定結果として、信頼度が「高」である場合、ディスプレイに体調不良を表すアイコンを表示し、また、スピーカから体調不良である旨を発音してよい。また、診断装置は、心拍に関連する輝度情報の時系列データ及び有効状態判定結果を表示し、また、スピーカから有効状態判定結果を発音してもよい。
一方、診断装置は、生体信号を基に体調が良くないと判定した際、有効状態判定結果として、信頼度が「低」である場合、ディスプレイに体調不良を表すアイコンのみを表示し、スピーカから音を出力させなくてよい。また、診断装置は、ディスプレイに心拍に関連する輝度情報の時系列データ及び有効状態判定結果(信頼度の「高」あるいは「低」)を表示し、スピーカから有効状態判定結果の音声を出力させなくてもよい。なお、S7では、有効状態判定結果を出力する場合、信頼度の「高」あるいは「低」以外に、信頼度そのものの値が出力されてもよい。
なお、S1〜S4における情報蓄積のうち、一部の処理が省略されてもよい。
図3は、S6における生体信号有効状態判定手順の一例を示すフローチャートである。
生体信号有効状態判断部13は、判定区間(例えば10秒間)中、照度センサによって検知された照度が閾値を超える割合(時間割合)が第1所定値(%)未満であるか否かを判別する(S11)。照度が閾値を超えると、カメラで撮像された画像中の輝度に他のライト等の輝度が含まれていると推定でき、生体信号に重畳するノイズが多い状態となり得る。したがって、照度が閾値を超える割合が第1所定値以上である場合、生体信号有効状態判断部13は、生体情報の信頼度が低いと判定し、生体情報の信頼度を「低」に設定する(S15)。なお、照度と比較される閾値や第1所定値は、固定値であっても可変値であってもよい。
また、S11で照度が閾値を超える割合が第1所定値(%)未満である場合、生体信号有効状態判断部13は、判定区間中、カーブ走行の割合(時間割合)が第2所定値未満であるか否かを判別する(S12)。カーブ走行は、カメラによる撮像画像における運転者の撮像位置が変化したり、運転者の振動を発生させたりして、生体信号に重畳するノイズが多い状態となる要因になり得る。したがって、カーブ走行の割合が第2所定値以上である場合、生体信号有効状態判断部13は、S15で生体情報の信頼度が低いと判定し、生体情報の信頼度を「低」に設定する。なお、カーブ走行の割合の値や第2所定値は、固定値であっても可変値であってもよい。
また、S12でカーブ走行の割合が第2所定値未満である場合、生体信号有効状態判断部13は、判定区間中、運転者の顔向きが正面から例えば±5°の範囲から外れている、つまり顔が横向きである割合(時間割合)が第3所定値未満であるか否かを判別する(S13)。顔が横向きであると、生体信号に重畳するノイズが多い状態となり得る。したがって、顔が横向きである割合が第3所定値以上である場合、生体信号有効状態判断部13は、S15で生体情報の信頼度が低いと判定し、生体情報の信頼度を「低」に設定する。また、±5°の範囲は、一例であり、他の角度範囲でもよい。なお、顔が横向きである割合の値や第3所定値は、固定値であっても可変値であってもよい。
また、S13で運転者の顔向きが正面から例えば±5°の範囲内である場合、つまり顔が正面を向いている場合、生体信号有効状態判断部13は、生体情報の信頼度が高いと判定し、生体情報の信頼度を「高」に設定する(S14)。S14、S15の処理後、生体信号有効状態判断部13は、本処理を終了し、元の処理に復帰する。
この生体信号有効状態判定処理では、ノイズが多い状態となり得る条件が少なくとも1つ満たされた場合、生体信号有効状態判断部13は、生体情報の信頼度が低いと判定する。なお、ここでは、生体情報の信頼度の判定に、照度と、自車情報及び地図情報と、運転者姿勢情報とを用いたが、これら以外の情報、例えば、自車両のピッチ角の変動、ガソリン走行モードの割合、ナビ操作情報の有無、等を加味して、生体情報の信頼度が判定されてもよい。また、生体信号有効状態判断部13は、生体情報の信頼度を「高」、「低」の2つに設定したが、3つ以上の多段階に設定してもよい。また、信頼度を0%から100%までの数値とする場合には、S11、S12、S13のすべてがYESとなった場合に100%、いずれか2つがYESとなった場合に70%、いずれか1つがYESとなった場合に40%、すべてNoとなった場合に0%、とするようにしても良い。
このように、生体信号検知装置5は、輝度情報の時系列データと有効状態判定結果とを合わせて出力することで、輝度情報の時系列データを適切に取り扱うことが可能となる。例えば、生体信号検知装置5は、生体情報の信頼度が「低」の場合、その信頼度が「低」である区間(期間)に蓄積された輝度情報の時系列データの重み付けを小さくして、生体信号として採用することも可能である。これにより、生体信号検知装置5は、蓄積したデータを無駄に捨てることなく活用でき、蓄積データの活用効率を向上できる。
以上のように、第1の実施形態における生体信号検知装置5は、車両に搭載されるように設定され、車両の搭乗者の生体信号を検出する生体信号センサ部11(生体信号センサ回路の一例)と、車両の走行状態を検出する走行状態センサ部12(走行状態センサ回路の一例)と、生体信号出力部15(出力回路の一例)とを備える。生体信号検知装置5では、生体信号の所定の期間に対応する車両の走行状態が信頼度の高い状態(所定の状態の一例)の場合、生体信号出力部15は、所定の期間の生体信号と、高い信頼度(高い信頼度の値)(第1の信頼度の一例)と、を出力する。生体信号の所定の期間に対応する車両の走行状態が信頼度の低い状態の(所定の状態でない状態の一例)場合、生体信号出力部15は、所定の期間の生体信号と、低い信頼度(第1の信頼度より低い第2の信頼度の一例)と、を出力する。
これにより、生体信号検知装置5は、例えば、車両の走行状態が生体信号の検知への影響が小さいと想定される状態である場合には、生体信号の検知に対する信頼度を高くでき、車両の走行状態が生体信号の検知への影響が大きいと想定される状態である場合には、生体信号の検知に対する信頼度を低くできる。また、生体信号検知装置5は、検知された生体信号の有効性を通知できる。したがって、生体信号検知装置5又は生体信号検知装置5を搭載する車両における他の装置は、検知された生体信号を、信頼度に応じて活用できる。
また、生体信号検知装置5は、車載走行環境(照明変動)、振動、体動有り等の状態において、搭乗者の生体信号を非接触で精度よく検知することが困難であっても、検知された生体信号の有効性を基に、生体信号を活用できる。よって、生体信号検知装置5は、生体信号の検知精度が低い場合であり、車両における各種処理に生体信号を活用した場合でも、車両における様々な処理の処理精度が低下することを抑制できる。
また、生体信号は、搭乗者の心拍に関する信号でよい。
これにより、生体信号検知装置5は、車両に搭乗した搭乗者が様々な環境に置かれた場合でも、搭乗者の心拍に関する信号の有効性を通知できる。よって、生体信号検知装置5又は生体信号検知装置5を搭載する車両における他の装置は、搭乗者の心拍に関する信号の信頼度に応じて活用できる。
また、搭乗者の心拍に関する信号は、心拍数を示す信号でよい。
これにより、生体信号検知装置5は、車両に搭乗した搭乗者が様々な環境に置かれた場合でも、搭乗者の心拍数に関する信号の有効性を通知できる。よって、生体信号検知装置5又は生体信号検知装置5を搭載する車両における他の装置は、搭乗者の心拍数に関する信号の信頼度に応じて活用できる。
また、搭乗者の心拍に関する信号は、心拍波形を示す信号でよい。
これにより、生体信号検知装置5は、車両に搭乗した搭乗者が様々な環境に置かれた場合でも、搭乗者の心拍波形に関する信号の有効性を通知できる。よって、生体信号検知装置5又は生体信号検知装置5を搭載する車両における他の装置は、搭乗者の心拍波形に関する信号の信頼度に応じて活用できる。例えば、生体信号検知装置5では、心拍波形が非接触で検出される場合、波形の振幅値は、走行状態に応じて大きく変動し得る。この場合でも、生体信号検知装置5は、心拍波形の信頼度を提供することで、心拍波形の有効性を通知できる。
また、車両の搭乗者は、車両の運転者でよい。
これにより、生体信号検知装置5は、運転者の生体信号を検知できる。よって、生体信号検知装置5又は生体信号検知装置5を搭載する車両における他の装置は、運転者の生体信号の有効性に基づき、例えば、車両における各種処理(例えば自動運転/手動運転の切り替え、その他車両制御)を行うことができる。
また、走行状態センサ部12は、車両の少なくとも外部の照度を検出可能でよい。生体信号の所定の期間に対応する車両の外部の照度について、閾値(所定の照度の一例)を超える割合が第1所定値(所定割合の一例)より低い場合、生体信号出力部15は、所定の期間の生体信号と、高い信頼度と、を出力してよい。生体信号の所定の期間に対応する車両の外部の照度について、閾値を超える割合が第1所定値より高い場合、生体信号出力部15は、所定の期間の生体信号と、低い信頼度と、を出力してよい。
車両の外部の照度として、時間帯(朝、昼、夜)における環境光、直射日光、待中の反射、街路樹から差し込む光、トンネル照明、対向車のライト、等が想定される。車両の外部の照明がある場合に、例えば画像の輝度を基に生体信号を検知する場合、生体信号の検知に対して環境光の照度が影響する可能性がある。この場合でも、生体信号検知装置5は、例えば、照度が高い場合には、生体信号が示す輝度とは別の要因の輝度が重畳され易く、画像の輝度が過度に高くなるので信頼度が低いとすることできる。また、生体信号検知装置5は、照度が低い場合には、画像の輝度が過度には高くならないので、信頼度が高いとすることができる。よって、生体信号検知装置5は、車両の少なくとも外部の照度を加味して、生体信号の有効性を判断できる。
また、走行状態センサ部12は、車両の少なくとも外部の照度を検出可能でよい。生体信号有効状態判断部13は、照度の変化量(例えば所定期間における照度の標準偏差)を基に、信頼度の高または低を決定してよい。生体信号の所定の期間に対応する車両の外部の照度の変化量について、所定の変化量より低い場合、生体信号出力部15は、所定の期間の生体信号と高い信頼度とを出力してよい。生体信号の所定の期間に対応する車両の外部の照度の変化量について、所定の変化量より高い場合、生体信号出力部15は、所定の期間の生体信号と低い信頼度を出力してよい。
画像の輝度を基に生体信号を検知する場合、生体信号の検知に対して照明変動(照度の変化)が影響する可能性がある。この場合でも、生体信号検知装置5は、照度の変化量が高い場合には、生体信号が示す輝度変化とは別の要因の輝度変化が重畳され易く、画像の輝度変化が過度に大きくなるので信頼度が低いとすることできる。また、生体信号検知装置5は、照度が低い場合には、画像の輝度変化が過度には大きくならないので、信頼度が高いとすることができる。よって、生体信号検知装置5は、車両の少なくとも外部の照度変化を加味して、生体信号の有効性を判断できる。
また、走行状態センサ部12は、車両のカーブ走行の割合を検出可能でよい。生体信号の所定の期間に対応する車両のカーブ走行の割合について、第2所定値(所定割合の一例)より低い場合、生体信号出力部15は、所定の期間の生体信号と高い信頼度とを出力してよい。生体信号の所定の期間に対応する車両のカーブ走行の割合について、第2所定値より高い場合、生体信号出力部15は、所定の期間の生体信号と低い信頼度とを出力してよい。
画像の輝度を基に生体信号を検知する場合、車両の走行(例えば直線走行、カーブ走行)に応じた搭乗者の動き(例えば遠心力による動き)が生体信号の検知に対して影響する可能性がある。この場合でも、生体信号検知装置5は、カーブ走行中の場合には撮像される画像に映り込む搭乗者の部位の位置が変化し、生体信号の検知部位が変化することで生体信号の検知精度が低下するので、信頼度が低いとすることできる。また、生体信号検知装置5は、カーブ走行中でない場合には撮像される画像に映り込む搭乗者の部位の位置が変化せず、生体信号の検知部位が一定であることで生体信号の検知精度が低下しないので、信頼度が高いとすることができる。よって、生体信号検知装置5は、生体信号の有効性を高精度に判断できる。
また、走行状態センサ部12は、車両の搭乗者の顔の向きを検出可能でよい。生体信号の所定の期間に対応する顔の向きの変化の大きさについて、所定の大きさより小さい場合、生体信号出力部15は、所定の期間の生体信号と高い信頼度を出力してよい。生体信号の所定の期間に対応する顔の向きの変化の大きさについて、所定の大きさより大きい場合、生体信号出力部15は、所定の期間の生体信号と低い信頼度を出力してよい。
顔画像の輝度を基に生体信号を検知する場合、搭乗者の顔の動きが生体信号の検知に対して影響する可能性がある。この場合でも、生体信号検知装置は、顔の向きの変化が大きい場合には、撮像される画像に映り込む搭乗者の顔の部位が変化し、生体信号の検知部位が変化することで生体信号の検知精度が低下するので、信頼度が低いとすることできる。また、生体信号検知装置5は、顔の向きの変化が小さい場合には、撮像される画像に映り込む搭乗者の顔の部位が変化せず、生体信号の検知部位が一定であることで生体信号の検知精度が低下しないので、信頼度が高いとすることができる。よって、生体信号検知装置5は、生体信号の有効性を高精度に判断できる。
また、走行状態センサ部12は、車両の搭乗者の顔の向きを検出可能でよい。生体信号の所定の期間に対応する顔の向きについて、正面から外れる割合が第3所定値(所定割合の一例)より低い場合、生体信号出力部15は、所定の期間の生体信号と高い信頼度とを出力してよい。生体信号の所定の期間に対応する顔の向きについて、正面から外れる割合が第3所定値より高い場合、生体信号出力部15は、所定の期間の生体信号と低い信頼度とを出力してよい。
顔画像における顔の正面の輝度を基に生体信号を検知する場合、搭乗者の顔の動きが生体信号の検知に対して影響する可能性がある。この場合でも、生体信号検知装置5は、顔が正面を向いている割合が小さい場合には、撮像される画像に搭乗者の顔が映り込む時間が短くなり、顔の正面の輝度が取得され難くなって生体信号の検知精度が低下するので、信頼度が低いとすることできる。また、生体信号検知装置5は、顔が正面を向いている割合が大きい場合には、撮像される画像に搭乗者の顔が映り込む時間が長くなり、顔の正面の輝度が取得され易くなって生体信号の検知精度が低下しないので、信頼度が高いとすることできる。よって、生体信号検知装置5は、生体信号の有効性を判断できる。
また、生体信号の所定の期間に対応する顔の向きについて、正面から所定の角度範囲より外れる割合が第3所定値より低い場合、生体信号出力部15は、所定の期間の生体信号と高い信頼度とを出力してよい。生体信号の所定の期間に対応する顔の向きについて、正面から所定の角度範囲より外れる割合が第3所定値より高い場合、生体信号出力部15は、所定の期間の生体信号と低い信頼度とを出力してよい。
これにより、生体信号検知装置5は、正面に限らずに正面から所定の角度範囲とすることで、正面を向いているに等しい状態についても、ある程度の幅を持って生体信号の信頼度が高いとして扱いことができる。例えば、生体信号検知装置5は、生体信号の検知にあまり影響を与えないような動き(例えば搭乗者の体動に伴う顔の向きのわずかな動き)があった場合でも、信頼度を高いとして扱うことができ、生体信号の有効性を柔軟に評価できる。
また、生体信号センサ部11は、車両の搭乗者の生体信号を、カメラ(撮像回路の一例)を利用して検出してよい。
これにより、生体信号検知装置5は、画像を用いて生体信号を検知できるので、非侵襲、非接触で生体信号を検知できる。よって、生体信号検知装置5は、搭乗者の車両内での自由度を確保しつつ、生体信号を検知できる。
(第2の実施形態)
第1の実施形態では、カメラ画像を用いて生体信号を検知し、心拍に関する輝度情報を出力する場合を示した。第2の実施形態では、ミリ波(例えば76GHzの周波数)を用いて生体信号を検知し、心拍に関する距離情報を出力する場合を示す。なお、ここでは、車両に乗車する搭乗者のうち、運転者に対して生体信号を検知する場合を示すが、運転者以外の乗員に対し、同様に生体信号を検知してもよい。
図4は、第2の実施形態における生体信号検知装置5Aの概要の一例を示す図である。第1の実施形態と同じ構成要素について、同一の符号を付して、その説明を省略又は簡略化する。
生体信号検知装置5Aは、生体信号センサ部11と、走行状態センサ部12と、生体信号有効状態判断部13と、記憶部14と、生体信号出力部15と、を含む構成を有する。
生体信号センサ部11は、心拍に関連する距離情報を取得する距離情報取得部31を有する。ここで、心拍に関連する距離情報は、心臓の鼓動による皮膚表面の変位を表す。
距離情報取得部31は、ミリ波帯の電波を送受信可能なミリ波センサを有する。ミリ波センサは、例えば車室内のインスツルメントパネル又は着座シートに設置され、運転者の胸元に向けてミリ波を投射し、その反射波を検知し、ミリ波センサと運転者との距離を計測する。距離情報取得部31は、ミリ波センサによる検知結果を基に、運転者の胸元で起こる心拍による変位(0.1〜0.5mm程度)を距離情報として取得する。距離情報取得部31による測定周期は、例えば100msecである。なお、測定周期は、100msecの他、10msec、1秒等、任意に設定可能である。
生体信号センサ部11は、ミリ波を用いて心拍数を推定する。この心拍数推定は、例えば参考非特許文献2の方法で実施されてよい。この場合、生体信号センサ部11は、ミリ波レーダ(ミリ波帯の電波を利用したレーダ)を用い、ドップラーレーダの原理を利用して、心臓の鼓動による皮膚表面のわずかな動きを検知して心拍数を測定する。なお、心拍数以外の心拍に関する情報(例えば心拍波形)が測定されてもよい。
参考非特許文献2:酒井 啓之、外5名、「ミリ波レーダを用いた非接触心拍センシング技術」、Panasonic Technical Journal、Vol.63 No.1、May 2017
走行状態センサ部12は、心拍に関連する距離情報の取得に影響を与える車両の走行状態を検知する。走行状態センサ部12は、自車情報取得部23、走行モード取得部33、及びナビ操作情報取得部34を有する。
自車情報取得部23は、第1の実施形態と同様、自車両の走行状態を取得する。自車情報取得部23として、車速センサ、加速度センサ、等が挙げられる。例えば、自車情報取得部23は、車体の振動を計測するために、自車両のピッチ角(車両の上下方向(路面に対して垂直な方向)の角度)を取得する。自車情報は、例えば、各種センサから取得されてもよいし、車両の設定情報として記憶部14に記憶されていてもよい。
走行モード取得部33は、電気自動車(EV)走行モード、ガソリン走行モード、等の走行モードを取得する。EV走行モードでは、電機モードが駆動力を発生させる。ガソリン走行モードでは、内燃機関が駆動力を発生させる。走行モードの情報は、例えば車両の設定情報として記憶部14に記憶されていてよい。また、走行モード取得部33は、車両が走行する路面の状況、等を取得してもよい。走行モード取得部33として、EV走行モード/ガソリン走行モード)が切替可能な走行モード切替ボタンや、道路情報(高速道路等)を出力可能なカーナビゲーション装置、等が挙げられる。例えば、EV走行モード、高速道での定速走行等では、車両の振動が比較的少ないので、生体信号の検知精度も比較的高いと推定され得る。ガソリン走行モードや舗装されていない凸凹道を走行する場合には、車両の振動が比較的多いので、生体信号の検知精度も比較的低いと推定され得る。
ナビ操作情報取得部34は、車両の運転等を支援するカーナビゲーション装置の操作情報を取得する。操作情報は、生体信号の検知対象の搭乗者が、カーナビゲーション装置に対する操作を行ったか否かの情報を含んでよい。ナビ操作の有無の情報は、カーナビゲーション装置の操作毎に、記憶部14に記憶されていてよい。操作を行っている場合、生体信号の検知対象の搭乗者の体動が発生するので、生体信号の検知精度が比較的低いと推定され得る。操作を行っていない場合、生体信号の検知対象の搭乗者の体動が発生しないので、生体信号の検知精度が比較的高いと推定され得る。ナビ操作情報取得部34として、ボタン操作可能なカーナビゲージョンの他、運転者の姿勢を検知する姿勢検知カメラ、等が挙げられる。なお、走行状態センサ部12は、自車情報取得部23等、少なくとも一部に第1の実施形態と同じ構成を有してもよい。
次に、生体信号検知装置5Aの動作について説明する。
図5は、心拍に関連する距離情報を用いた生体信号検知動作手順の一例を示すフローチャートである。なお、図5の処理前に、生体信号有効状態判断部13は、生体信号検知動作にて用いる、記憶部14に保持された閾値や所定値の情報を読み込んでおく。なお、第1の実施形態の図2に示した生体信号検知動作手順と同一の処理については、同一のステップ番号を付し、その説明を省略又は簡略化する。
距離情報取得部31は、心拍に関連する距離情報、つまり、ミリ波センサによって検知される、運転者の胸元で起こる心拍による変位のデータを取得して、記憶部14に蓄積する(S21)。
自車情報取得部23は、自車情報を蓄積する(S22)。一例として、自車情報取得部23は、車体の振動を計測するために、自車両のピッチ角(車両の上下方向(路面に対して垂直な方向)の角度)を取得し、ピッチ角の変動(例えば変動の標準偏差)を算出して、記憶部14に蓄積する。
走行モード取得部33は、走行モードを蓄積する(S23)。一例として、走行モード取得部33は、電気自動車(EV)走行モード、ガソリン走行モード、等の走行モードを取得して、記憶部14に蓄積する。
ナビ操作情報取得部34は、運転者によって操作された、カーナビゲーション装置の操作情報を取得して、記憶部14に蓄積する(S24)。
S21〜S24の処理後、生体信号有効状態判断部13は、所定時間が経過したか否かを判別する(S25)。所定時間は、生体信号有効状態を判定するタイミングであり、例えば10秒に設定される。なお、ミリ波の測定周期は、100msecの他、10msec、1秒等、任意に設定可能である。ミリ波の測定周期が100msecである場合、所定時間が10秒であると、100回分のミリ波の測定デ ータが所定時間内に蓄積される。一方、自車情報、走行モード、及びナビ操作情報は、所定時間に1回蓄積されてもよいし、複数回蓄積されてもよい。なお、所定時間は、10秒でなく、5秒、20秒等、任意の時間であってもよい。したがって、所定時間毎に、蓄積された時系列データが処理される。時系列データは、心拍に関する距離情報を含み、自車情報、走行モード、ナビ操作情報を含んでもよい。
S25で所定時間が経過していない場合、生体信号検知装置5は、S21の処理に戻り、同様の処理を繰り返す。一方、S25で所定時間が経過している場合、生体信号有効状態判断部13は、記憶部14に記憶された閾値や第4、第5所定値を基に、生体信号の有効状態(有効性)を判定する(S26)。生体信号有効状態判定処理の詳細については、図6を用いて後述する。
生体信号出力部15は、所定時間毎に記憶部14に蓄積された心拍に関連する距離情報の時系列データと、有効状態判定結果と、を出力する(S27)。
また、S27では、有効状態判定結果を出力する場合、信頼度の「高」または「低」以外に、信頼度そのものの値が出力されてもよい。また、生体信号出力部15は、距離情報の時系列データを後段の任意の処理部に出力する際、信頼度が「低」である区間(期間)の距離情報の時系列データを遮断し、信頼度が「高」である区間の距離情報の時系列データを通過させてもよい。つまり、信頼度が高い部分のみが、後段で使用されるようにしてもよい。
また、生体信号出力部15は、信頼度に応じて、生体信号を一定の時間窓分蓄積して、例えば生体信号の有効部分のみ平均化して出力してもよい。また、後段の任意の処理部は、生体信号をフィルタリングし、生体信号から心拍が含まれる特定の周波数を抽出するフィルタ処理部を有してよい。また、生体信号出力部15の出力は、後段の装置として車載の又は遠隔の診断装置等に対して行われてもよい。
診断装置は、例えば生体信号を基に体調を判定する機能を有する。診断装置は、ディスプレイ、スピーカ、制御部、通信部、等を有してよい。診断装置は、生体信号を基に体調が良くないと判定した際、有効状態判定結果として、信頼度が「高」である場合、ディスプレイに体調不良を表すアイコンを表示し、また、スピーカから体調不良である旨を発音する。また、診断装置は、心拍に関連する距離情報の時系列データ及び有効状態判定結果を表示し、また、スピーカから有効状態判定結果を発音してもよい。
一方、診断装置は、生体信号を基に体調が良くないと判定した際、有効状態判定結果として、信頼度が「低」である場合、ディスプレイに体調不良を表すアイコンのみを表示し、スピーカから音を出力させなくてよい。また、診断装置は、ディスプレイに心拍に関連する距離情報の時系列データ及び有効状態判定結果(信頼度の「高」あるいは「低」)を表示し、スピーカから有効状態判定結果の音声を出力させなくてもよい。なお、S27では、有効状態判定結果を出力する場合、信頼度の「高」あるいは「低」以外に、信頼度そのものの値が出力されてもよい。
なお、S21〜S24における情報蓄積のうち、一部の処理が省略されてもよい。
図6は、S26における生体信号有効状態判断手順の一例を示すフローチャートである。
生体信号有効状態判断部13は、判定区間(例えば10秒間)中、自車両のピッチ角の変動が第4所定値(%)未満であるか否かを判別する(S31)。自車両のピッチ角の変動は、車体の振動を表す。ピッチ角の変動が大きくなると、生体信号に重畳するノイズが多い状態となる(図7参照)。したがって、自車両のピッチ角の変動が第4所定値以上である場合、生体信号有効状態判断部13は、生体情報の信頼度が低いと判定し、生体情報の信頼度を「低」に設定する(S35)。なお、第4所定値は、固定値であっても可変値であってもよい。
また、S31で自車両のピッチ角の変動が第4所定値未満である場合、生体信号有効状態判断部13は、判定区間中、ガソリン走行モードの割合(時間割合)が第5所定値未満であるか否かを判別する(S32)。ガソリン走行モードは、内燃機関の振動が大きいので、生体信号に重畳するノイズが多い状態となる要因である。したがって、ガソリン走行モードの割合が第5所定値以上である場合、生体信号有効状態判断部13は、S35において、生体情報の信頼度が低いと判定し、生体情報の信頼度を「低」に設定する。なお、第5所定値は、固定値であっても可変値であってもよい。
また、S32でガソリン走行モードの割合が第5所定値未満である場合、生体信号有効状態判断部13は、判定区間中、ナビ操作情報が無いか否かを判別する(S33)。運転者がカーナビゲーション装置を操作している時、運転者の姿勢は不安定であり、運転者の体動が発生し易い。したがって、ナビ操作情報は、生体信号に重畳するノイズが多い状態となる要因である。ナビ操作情報が有った場合、生体信号有効状態判断部13は、S35において、生体情報の信頼度が低いと判定し、生体情報の信頼度を「低」に設定する。
また、S34でナビ操作情報が無かった場合、生体信号有効状態判断部13は、生体情報の信頼度が高いと判定し、生体情報の信頼度を「高」に設定する(S34)。S34、S35の処理後、生体信号有効状態判断部13は、本処理を終了し、元の処理に復帰する。
この生体信号有効状態判定処理では、ノイズが多い状態となり得る条件が少なくとも1つ満たされた場合、生体信号有効状態判断部13は、生体情報の信頼度が低いと判定する。なお、ここでは、生体情報の信頼度の判定に、自車両のピッチ角の変動、ガソリン走行モードの割合、ナビ操作情報の有無を用いたが、これら以外の情報、例えば第1の実施形態で示した、照度、自車情報及び地図情報、運転者姿勢情報等を付加してもよい。また、生体信号有効状態判断部13は、生体情報の信頼度を「高」、「低」の2つに設定したが、3つ以上の多段階に設定してもよい。
図7は、アイドリング中及び走行中におけるミリ波を用いて計測された測定信号msの時間変化を表すグラフである。アイドリング中、ミリ波センサから出力される測定信号には、複数の心拍信号gsが含まれる。アイドリング中の測定信号msをフィルタ処理することで、心拍信号gsが検知され易くなる。なお、このフィルタ処理は、生体信号出力部15の後段に配置されたフィルタ処理部により実施されてよい。
一方、車両の走行中、ミリ波センサから出力される測定信号msには、アイドリング中と比べ、10倍以上の不規則なノイズNSが重畳しており、心拍信号gsの抽出が、極めて困難である。
このように、生体信号検知装置5Aは、距離情報の時系列データと有効状態判定結果とを合わせて出力することで、距離情報の時系列データを適切に取り扱うことが可能となる。例えば、生体情報の信頼度が「低」の場合、その信頼度が「低」である区間(期間)に蓄積された距離情報の時系列データの重み付けを小さくして、生体信号として採用するが可能である。これにより、生体信号検知装置5Aは、蓄積したデータを無駄に捨てることなく活用でき、蓄積データの活用効率を向上できる。
以上のように、第2の実施形態における生体信号検知装置5Aでは、走行状態センサ部12は、車両のピッチ角の変動を検出可能でよい。生体信号の所定の期間に対応する車両のピッチ角の変動が第4所定値より低い場合、生体信号出力部15は、所定の期間の生体信号と高い信頼度とを出力してよい。生体信号の所定の期間に対応する車両のピッチ角の変動が第4所定値より高い場合、生体信号出力部15は、所定の期間の生体信号と低い信頼度とを出力してよい。
生体信号センサ部11と搭乗者(例えば搭乗者との胸部)との距離を基に生体信号を検知する場合、車両の挙動が生体信号の検知に対して影響する可能性がある。この場合でも、生体信号検知装置5Aは、車両のピッチ角の変動が小さい場合には、例えば急激な加速や減速が行われておらず、生体信号センサ部11と搭乗者との距離が変化し難いので、信頼度が高いとすることができる。また、生体信号検知装置5Aは、車両のピッチ角の変動が大きい場合には、例えば急激な加速や減速が行われ、慣性力によって上記の生体信号センサ部11と搭乗者との距離が変化し易いので、信頼度が低いとすることができる。よって、生体信号検知装置5Aは、生体信号の有効性を高精度に判断できる。
また、車両は少なくとも、内燃機関で駆動力を発生させるガソリン走行モード(第1モードの一例)と、電気モーターで駆動力を発生させるEV走行モード(第2モードの一例)と、を備えてよい。走行状態センサ部12は、ガソリン走行モードを検出可能でよい。生体信号の所定の期間に対応するガソリン走行モードの割合が第5所定値より低い場合、生体信号出力部15は、所定の期間の生体信号と高い信頼度とを出力してよい。生体信号の所定の期間に対応するガソリン走行モードの割合が第5所定値より高い場合、生体信号出力部15は、所定の期間の生体信号と低い信頼度とを出力してよい。
生体信号センサ部11と搭乗者との距離を基に生体信号を検知する場合、車両の走行モードが生体信号の検知に対して影響する可能性がある。この場合でも、生体信号検知装置5Aは、内燃機関による駆動の割合が小さい場合、内燃機関の燃焼による車両の振動が発生し難いので、信頼度が高いとすることができる。また、生体信号検知装置5Aは、内燃機関による駆動の割合が大きい場合、内燃機関の燃焼による車両の振動が発生し易いので、信頼度が低いとすることができる。よって、生体信号検知装置5Aは、生体信号の有効性を高精度に判断できる。
また、生体信号センサ部11は、車両の搭乗者の生体信号を、ミリ波センサ(ミリ波レーダー回路)を利用して検出してよい。
これにより、生体信号検知装置5Aは、ミリ波を用いて生体信号を検知できるので、非侵襲、非接触で生体信号を検知できる。よって、生体信号検知装置5Aは、搭乗者の車両内での自由度を確保しつつ、生体信号を検知できる。
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
第1の実施形態では、カメラで撮像された搭乗者の画像を用いて、搭乗者の生体を検知した。第2の実施形態では、ミリ波を用いて搭乗者の生体を検知した。これらの手段は、別々に実施されて生体を検知してもよいし、これらを組み合わせて生体を検知してもよい。
第1、第2の実施形態では、生体信号として心拍に関する情報が取得されることを主に例示したが、心拍以外の情報(例えば呼吸)を検知してもよい。例えば、生体信号センサ部は、カメラにより撮像された画像における搭乗者の呼吸に伴う体の特定の部位の動き(例えば口部、喉部、胸部)を輝度情報として検知し、この輝度情報を基に呼吸に関する情報を取得してよい。また、生体信号センサ部は、ミリ波を用いて搭乗者の呼吸に伴う体の特定の部位の動き(例えば口部、喉部、胸部)を距離情報として検知し、この距離情報を基に呼吸に関する情報を取得してよい。この場合でも、走行中に非接触で呼吸に関する情報を取得することは困難であるので、生体信号検知装置5,5Aは、呼吸に関して検知された情報の有効性を判定し、この判定結果を用いて後段の処理部で処理を行うようにしてもよい。
第1、第2の実施形態では、図1,図4において生体信号検知装置5,5Aの構成を示したが、各構成は、専用のハードウェア回路により実現されてもよいし、汎用回路を用いてソフトウェアにより実現されてもよい。
第1、第2の実施形態を組み合わせてもよい。
本開示は、生体信号を用いた処理を行う場合に、検知された生体信号の有効性を加味した処理を指示できる生体信号検知装置及び生体信号検知方法等に有用である。
5,5A 生体信号検知装置
11 生体信号センサ部
12 走行状態センサ部
13 生体信号有効状態判断部
14 記憶部
15 生体信号出力部
21 輝度情報取得部
22 照度取得部
23 自車情報取得部
24 地図情報取得部
25 運転者情報取得部
31 距離情報取得部
33 走行モード取得部
34 ナビ操作情報取得部
gs 心拍信号
ms 測定信号
NS ノイズ

Claims (16)

  1. 車両に搭載されるように設定され、
    前記車両の搭乗者の生体信号を検出する生体信号センサ回路と、
    前記車両の走行状態を検出する走行状態センサ回路と、
    出力回路と、を備える生体信号検知装置あって、
    前記生体信号の所定の期間に対応する前記車両の走行状態が所定の状態の場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度を出力し、
    前記生体信号の前記所定の期間に対応する前記車両の走行状態が前記所定の状態でない場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度より低い第2の信頼度を出力する、
    生体信号検知装置。
  2. 請求項1に記載の生体信号検知装置であって、
    前記生体信号は、前記搭乗者の心拍に関する信号である、
    生体信号検知装置。
  3. 請求項2に記載の生体信号検知装置であって、
    前記搭乗者の心拍に関する信号は、心拍数を示す信号である、
    生体信号検知装置。
  4. 請求項2に記載の生体信号検知装置であって、
    前記搭乗者の心拍に関する信号は、心拍波形を示す信号である、
    生体信号検知装置。
  5. 請求項1から請求項4のいずれか1項に記載の生体信号検知装置であって、
    前記車両の前記搭乗者は、前記車両の運転者である、
    生体信号検知装置。
  6. 請求項1から請求項5のいずれか1項に記載の生体信号検知装置であって、
    前記走行状態センサ回路は、前記車両の少なくとも外部の照度を検出可能であり、
    前記生体信号の所定の期間に対応する前記車両の外部の前記照度について、所定の照度を超える割合が所定割合より低い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度を出力し、
    前記生体信号の前記所定の期間に対応する前記車両の外部の前記照度について、前記所定の照度を超える割合が前記所定割合より高い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度より低い第2の信頼度を出力する、
    生体信号検知装置。
  7. 請求項1から請求項5のいずれか1項に記載の生体信号検知装置であって、
    前記走行状態センサ回路は、前記車両の少なくとも外部の照度を検出可能であり、
    前記生体信号の所定の期間に対応する前記車両の外部の前記照度の変化量について、所定の変化量より低い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度を出力し、
    前記生体信号の前記所定の期間に対応する前記車両の外部の前記照度の変化量について、前記所定の変化量より高い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度より低い第2の信頼度を出力する、
    生体信号検知装置。
  8. 請求項1から請求項7のいずれか1項に記載の生体信号検知装置であって、
    前記走行状態センサ回路は、前記車両のカーブ走行の割合を検出可能であり、
    前記生体信号の所定の期間に対応する前記車両のカーブ走行の割合について、所定割合より低い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度を出力し、
    前記生体信号の前記所定の期間に対応する前記車両のカーブ走行の割合について、前記所定割合より高い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度より低い第2の信頼度を出力する、
    生体信号検知装置。
  9. 請求項1から請求項8のいずれか1項に記載の生体信号検知装置であって、
    前記走行状態センサ回路は、前記車両の前記搭乗者の顔の向きを検出可能であり、
    前記生体信号の所定の期間に対応する前記顔の向きの変化の大きさについて、所定の大きさより小さい場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度を出力し、
    前記生体信号の前記所定の期間に対応する前記顔の向きの変化の大きさについて、前記所定の大きさより大きい場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度より低い第2の信頼度を出力する、
    生体信号検知装置。
  10. 請求項1から請求項8のいずれか1項に記載の生体信号検知装置であって、
    前記走行状態センサ回路は、前記車両の前記搭乗者の顔の向きを検出可能であり、
    前記生体信号の所定の期間に対応する前記顔の向きについて、正面から外れる割合が所定割合より低い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度を出力し、
    前記生体信号の前記所定の期間に対応する前記顔の向きについて、正面から外れる割合が前記所定割合より高い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度より低い第2の信頼度を出力する、
    生体信号検知装置。
  11. 請求項10に記載の生体信号検知装置であって、
    前記生体信号の所定の期間に対応する前記顔の向きについて、正面から所定の角度範囲より外れる割合が所定割合より低い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度を出力し、
    前記生体信号の前記所定の期間に対応する前記顔の向きについて、正面から前記所定の角度範囲より外れる割合が前記所定割合より高い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度より低い第2の信頼度を出力する、
    生体信号検知装置。
  12. 請求項6から請求項11のいずれか1項に記載の生体信号検知装置であって、
    前記生体信号センサ回路は、前記車両の搭乗者の前記生体信号を、撮像回路を利用して検出する、
    生体信号検知装置。
  13. 請求項1から請求項5のいずれか1項に記載の生体信号検知装置であって、
    前記走行状態センサ回路は、前記車両のピッチ角の変動を検出可能であり、
    前記生体信号の所定の期間に対応する前記車両のピッチ角の変動が所定値より低い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度を出力し、
    前記生体信号の前記所定の期間に対応する前記車両のピッチ角の変動が前記所定値より高い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度より低い第2の信頼度を出力する、
    生体信号検知装置。
  14. 請求項1から請求項5、及び請求項13のいずれか1項に記載の生体信号検知装置であって、
    前記車両は少なくとも、内燃機関で駆動力を発生させる第1モードと電気モーターで駆動力を発生させる第2モードとを備え、
    前記走行状態センサ回路は、前記第1モードの状態を検出可能であり、
    前記生体信号の所定の期間に対応する前記第1モードの割合が所定値より低い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度を出力し、
    前記生体信号の前記所定の期間に対応する前記第1モードの割合が前記所定値より高い場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度より低い第2の信頼度を出力する、
    生体信号検知装置。
  15. 請求項13又は請求項14に記載の生体信号検知装置であって、
    前記生体信号センサ回路は、前記車両の搭乗者の前記生体信号を、ミリ波レーダー回路を利用して検出する、
    生体信号検知装置。
  16. 車両に搭載されるように設定され、前記車両の搭乗者の生体信号を検出する生体信号センサ回路と、前記車両の走行状態を検出する走行状態センサ回路と、出力回路と、を備える生体信号検知装置における生体信号検知方法であって、
    前記生体信号の所定の期間に対応する前記車両の走行状態が所定の状態の場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度を出力し、
    前記生体信号の前記所定の期間に対応する前記車両の走行状態が前記所定の状態でない場合、前記出力回路は前記所定の期間の前記生体信号と、第1の信頼度より低い第2の信頼度を出力する、
    生体信号検知方法。
JP2018066237A 2018-03-29 2018-03-29 生体信号検知装置及び生体信号検知方法 Pending JP2019170967A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018066237A JP2019170967A (ja) 2018-03-29 2018-03-29 生体信号検知装置及び生体信号検知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018066237A JP2019170967A (ja) 2018-03-29 2018-03-29 生体信号検知装置及び生体信号検知方法

Publications (1)

Publication Number Publication Date
JP2019170967A true JP2019170967A (ja) 2019-10-10

Family

ID=68166107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018066237A Pending JP2019170967A (ja) 2018-03-29 2018-03-29 生体信号検知装置及び生体信号検知方法

Country Status (1)

Country Link
JP (1) JP2019170967A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021133842A (ja) * 2020-02-28 2021-09-13 株式会社Subaru 車両用制御装置
JPWO2021205508A1 (ja) * 2020-04-06 2021-10-14
JP2022007429A (ja) * 2020-06-26 2022-01-13 沖電気工業株式会社 情報処理装置、情報処理方法及び情報処理システム
KR20220009020A (ko) * 2020-07-15 2022-01-24 현대모비스 주식회사 주차제어장치 및 그 제어방법
CN114537315A (zh) * 2020-11-26 2022-05-27 原相科技股份有限公司 多重侦测系统
WO2022180655A1 (ja) * 2021-02-24 2022-09-01 三菱電機株式会社 乗員検知装置および乗員検知方法
WO2022209195A1 (ja) * 2021-03-31 2022-10-06 パナソニックIpマネジメント株式会社 データ生成装置、データ生成方法、及び、プログラム
WO2023286313A1 (ja) 2021-07-15 2023-01-19 ソニーグループ株式会社 信号処理装置および方法
JPWO2023214457A1 (ja) * 2022-05-06 2023-11-09
WO2025154989A1 (ko) * 2024-01-19 2025-07-24 엘지전자 주식회사 차량의 바이탈 데이터 통합 장치 및 바이탈 데이터 통합 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005237576A (ja) * 2004-02-25 2005-09-08 Kansai Electric Power Co Inc:The 転倒判定装置
JP2009261419A (ja) * 2008-04-21 2009-11-12 Denso Corp 生体状態推定装置及びプログラム並びに記録媒体
JP2011229736A (ja) * 2010-04-28 2011-11-17 Denso Corp 脈波判定装置および血圧推定装置
WO2017108548A1 (en) * 2015-12-23 2017-06-29 Koninklijke Philips N.V. Device, system and method for determining a vital sign of a person
US20170282912A1 (en) * 2015-03-11 2017-10-05 Elwha Llc Occupant based vehicle control
JP2017221640A (ja) * 2016-06-13 2017-12-21 パナソニックIpマネジメント株式会社 機器制御システム、ウェアラブルデバイス、情報処理装置、香料吹き出し方法および機器制御方法
JP2018033771A (ja) * 2016-09-01 2018-03-08 オムロンオートモーティブエレクトロニクス株式会社 生体情報出力装置および生体情報出力装置を備える椅子

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005237576A (ja) * 2004-02-25 2005-09-08 Kansai Electric Power Co Inc:The 転倒判定装置
JP2009261419A (ja) * 2008-04-21 2009-11-12 Denso Corp 生体状態推定装置及びプログラム並びに記録媒体
JP2011229736A (ja) * 2010-04-28 2011-11-17 Denso Corp 脈波判定装置および血圧推定装置
US20170282912A1 (en) * 2015-03-11 2017-10-05 Elwha Llc Occupant based vehicle control
WO2017108548A1 (en) * 2015-12-23 2017-06-29 Koninklijke Philips N.V. Device, system and method for determining a vital sign of a person
JP2017221640A (ja) * 2016-06-13 2017-12-21 パナソニックIpマネジメント株式会社 機器制御システム、ウェアラブルデバイス、情報処理装置、香料吹き出し方法および機器制御方法
JP2018033771A (ja) * 2016-09-01 2018-03-08 オムロンオートモーティブエレクトロニクス株式会社 生体情報出力装置および生体情報出力装置を備える椅子

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021133842A (ja) * 2020-02-28 2021-09-13 株式会社Subaru 車両用制御装置
JP7485521B2 (ja) 2020-02-28 2024-05-16 株式会社Subaru 車両用制御装置
JP7391188B2 (ja) 2020-04-06 2023-12-04 三菱電機株式会社 生体情報取得装置及び生体情報取得方法
JPWO2021205508A1 (ja) * 2020-04-06 2021-10-14
WO2021205508A1 (ja) * 2020-04-06 2021-10-14 三菱電機株式会社 生体情報取得装置及び生体情報取得方法
US12217535B2 (en) 2020-04-06 2025-02-04 Mitsubishi Electric Corporation Biological information acquisition device and biological information acquisition method
JP2022007429A (ja) * 2020-06-26 2022-01-13 沖電気工業株式会社 情報処理装置、情報処理方法及び情報処理システム
JP7396215B2 (ja) 2020-06-26 2023-12-12 沖電気工業株式会社 情報処理装置、情報処理方法及び情報処理システム
KR20220009020A (ko) * 2020-07-15 2022-01-24 현대모비스 주식회사 주차제어장치 및 그 제어방법
KR102769890B1 (ko) 2020-07-15 2025-02-17 현대모비스 주식회사 주차제어장치 및 그 제어방법
CN114537315A (zh) * 2020-11-26 2022-05-27 原相科技股份有限公司 多重侦测系统
WO2022180655A1 (ja) * 2021-02-24 2022-09-01 三菱電機株式会社 乗員検知装置および乗員検知方法
JP7361982B2 (ja) 2021-02-24 2023-10-16 三菱電機株式会社 乗員検知装置および乗員検知方法
US20240118403A1 (en) * 2021-02-24 2024-04-11 Mitsubishi Electric Corporation Occupant detection device and occupant detection method
JPWO2022180655A1 (ja) * 2021-02-24 2022-09-01
JP2022156147A (ja) * 2021-03-31 2022-10-14 パナソニックIpマネジメント株式会社 データ生成装置、データ生成方法、及び、プログラム
JP7596020B2 (ja) 2021-03-31 2024-12-09 パナソニックオートモーティブシステムズ株式会社 データ生成装置、データ生成方法、及び、プログラム
WO2022209195A1 (ja) * 2021-03-31 2022-10-06 パナソニックIpマネジメント株式会社 データ生成装置、データ生成方法、及び、プログラム
WO2023286313A1 (ja) 2021-07-15 2023-01-19 ソニーグループ株式会社 信号処理装置および方法
KR20240033217A (ko) 2021-07-15 2024-03-12 소니그룹주식회사 신호 처리 장치 및 방법
JPWO2023214457A1 (ja) * 2022-05-06 2023-11-09
WO2023214457A1 (ja) * 2022-05-06 2023-11-09 三菱電機株式会社 脈波推定装置及び脈波推定方法
JP7542779B2 (ja) 2022-05-06 2024-08-30 三菱電機株式会社 脈波推定装置及び脈波推定方法
WO2025154989A1 (ko) * 2024-01-19 2025-07-24 엘지전자 주식회사 차량의 바이탈 데이터 통합 장치 및 바이탈 데이터 통합 방법

Similar Documents

Publication Publication Date Title
JP2019170967A (ja) 生体信号検知装置及び生体信号検知方法
CN109791739B (zh) 晕车估计装置、晕车防止装置和晕车估计方法
US8045766B2 (en) Device, program, and method for determining sleepiness
US11147464B2 (en) Pulse wave measuring apparatus and pulse wave measuring method
US20180229654A1 (en) Sensing application use while driving
JP6418341B1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
US11364844B2 (en) Systems and methods for verifying whether vehicle operators are paying attention
JP2010083205A (ja) 衝突警戒車両認知支援装置
JP2007122579A (ja) 車両制御装置
CN110682914A (zh) 基于无线感知的驾驶行为识别系统及方法
US11939011B2 (en) Stand-up vehicle
JP2019088522A (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP2019195376A (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
CN101015200A (zh) 摄像机和摄像机装置
US20230227044A1 (en) Apparatus, method, and computer program for monitoring driver
JP3039327B2 (ja) 車両走行状態検出装置及び居眠り運転警報装置
JP6418342B1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
US11447095B2 (en) Alert device
CN107284378B (zh) 一种基于移动终端的汽车驾驶状态的监控方法
WO2018211966A1 (ja) 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム
CN111199178A (zh) 车门的控制方法、装置和车辆
CN111196135A (zh) 车门的控制方法、装置和车辆
JP2002092783A (ja) 車両監視装置および方法
US20230356720A1 (en) Information processing device, information processing system, and information processing method
KR20250117092A (ko) Gps 기반 터널 소음 제어 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211221

点击 这是indexloc提供的php浏览器服务,不要输入任何密码和下载