JP7542779B2 - 脈波推定装置及び脈波推定方法 - Google Patents

Description

本開示は、脈波推定装置及び脈波推定方法に関する。

従来、撮像装置が撮像した撮像画像における人の肌を含む領域（以下「肌領域」という。）において設定された複数の領域（以下「計測領域」という。）の輝度信号に基づいて人の肌表面の微小な輝度変化を抽出し、独立成分分析又は主成分分析等の信号分離技術を用いて当該輝度変化を示す信号から脈波成分を分離して、人の脈波を推定する技術が知られている（例えば、特許文献１）。このような技術は、人の血流における光の吸収量が脈動に応じて変化するという原理を利用している。

特開２０１７－９３７６０号公報

人の血液は、心臓から動脈にて出て行き、全身を循環すると静脈から心臓に戻る。このような人の血流の特性上、脈波を推定するために設定される複数の計測領域の間の、心臓からの距離の差が大きいと、当該複数の計測領域で、当該複数の計測領域から抽出される輝度信号の位相差が生じる。複数の計測領域間で抽出される輝度信号の位相差が生じると、輝度変化を示す信号からの脈波成分の分離が行えず、脈波の推定精度が低下してしまうおそれがある。
従来技術では、複数の計測領域から抽出される輝度信号に位相差が生じる場合、当該位相差が生じている輝度信号に基づく人の脈波の推定を行えない可能性があるという課題があった。

本開示は上記のような課題を解決するためになされたもので、複数の計測領域から抽出された輝度信号に位相差が生じていても、当該輝度信号に基づく人の脈波の推定を行うことができる脈波推定装置を提供することを目的とする。

本開示に係る脈波推定装置は、人を撮像した撮像画像を取得する撮像画像取得部と、撮像画像から人の肌領域を検出する肌領域検出部と、撮像画像上の肌領域に対応する領域に、第１期間における時系列の輝度変化を示す脈波元信号を抽出するための複数の計測領域を設定する計測領域設定部と、計測領域毎に、当該計測領域における第１期間の輝度変化に基づき、脈波元信号を抽出する脈波元信号抽出部と、計測領域毎に、当該計測領域から抽出された脈波元信号に基づき、セグメント生成用条件に従って、第１期間における脈波元信号のうちから第２期間分の脈波元信号を部分的に抽出した信号である脈波元信号セグメントを複数生成するセグメント生成部と、計測領域毎に生成された複数の脈波元信号セグメントに基づいて人の脈波を推定する脈波推定部と、脈波推定部が推定した人の脈波に基づいて第２期間を算出し、当該第２期間の長さを示す情報を少なくとも含むセグメントパラメータを設定するパラメータ設定部を備え、セグメント生成部は、セグメントパラメータに従って第２期間を設定することを特徴とするものである。

本開示によれば、複数の計測領域から抽出された輝度信号に位相差が生じていても、当該輝度信号に基づく人の脈波の推定を行うことができる。

実施の形態１に係る脈波推定装置の構成例を示す図である。 複数の計測領域間で生じる、人の血流の特性による輝度信号の位相差について説明するための図である。 図３Ａ、図３Ｂ及び図３Ｃは、実施の形態１に係る脈波推定装置における、計測領域設定部による計測領域の設定方法の一例について説明するための図である。 実施の形態１において、セグメント生成部が生成する脈波元信号セグメントの一例について説明するための図である。 実施の形態１において、信号分離部が、複数の脈波元信号セグメントに基づいて主成分を分析し、分析した主成分を示す分離信号を生成するまでの流れについて説明するための図である。 実施の形態１において、信号分離部が生成する、主成分を示す分離信号の詳細の一例について説明するための図である。 実施の形態１に係る脈波推定装置の動作について説明するためのフローチャートである。 図７のステップＳＴ６における、脈波推定部による脈波推定処理の詳細を説明するためのフローチャートである。 図９Ａ，図９Ｂは、実施の形態１に係る脈波推定装置のハードウェア構成の一例を示す図である。 実施の形態２に係る脈波推定装置の構成例を示す図である。 実施の形態２に係る脈波推定装置の動作について説明するためのフローチャートである。 実施の形態３に係る脈波推定装置の構成例を示す図である。 実施の形態３において、脈波推定装置が被験者の脈波の推定に用いる脈波元信号セグメントについて説明するための図である。 実施の形態３に係る脈波推定装置の動作について説明するためのフローチャートである。 実施の形態１～３において、脈波推定装置が、公知の一般的な信号分離技術を用いて推定した複数の主成分を示す複数の分離信号に対して成分重みを設定し、複数の分離信号と設定した分離信号毎の成分重みとに基づいて計測領域毎の脈波元信号を復元する機能を有するようにした場合の、脈波推定部の構成例を示す図である。 成分重み設定部が生成する射影係数時系列情報の一例のイメージを示す図である。 実施の形態１～３において、脈波推定装置が、公知の一般的な信号分離技術を用いて推定した複数の主成分を示す複数の分離信号に対して成分重みを設定し、複数の分離信号と設定した分離信号毎の成分重みとに基づいて計測領域毎の脈波元信号を復元する機能を有するようにした場合の、脈波推定部の動作について説明するためのフローチャートである。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る脈波推定装置１の構成例を示す図である。

脈波推定装置１は、人を撮像した撮像画像に基づき、当該人の脈波を推定する。以下の説明において、脈波推定装置１が脈波を推定する対象となる人を「被験者」ともいう。
脈波推定装置１は、予め定められたフレームレートＦｒで、少なくとも、被験者の肌を含む領域である肌領域が存在すべき範囲（以下「肌存在範囲」という。）を撮像した、一連のフレームＩｍ（ｋ）からなる撮像画像を取得する。ここで、ｋは、それぞれフレームに割り当てられるフレーム番号を示す。例えば、フレームＩｍ（ｋ）の次のタイミングで与えられるフレームは、フレームＩｍ（ｋ＋１）である。
実施の形態１では、肌領域は、被験者の顔に対応する領域とする。なお、これは一例に過ぎず、肌領域は、被験者の顔以外の領域であってもよい。例えば、肌領域は、被験者の目、眉、鼻、口、おでこ、頬、又は、顎のような、顔に属する部位、に対応する領域であってもよい。また、肌領域は、被験者の頭、肩、手、首、又は、足のような、顔以外の身体部位、に対応する領域であってもよい。肌領域は、例えば、頬に対応する肌領域、額に対応する肌領域、又は、首に対応する肌領域のように複数の領域であってもよい。

そして、脈波推定装置１は、１回の脈波推定を行う期間として予め設定された期間（以下「第１期間」という。）に取得した特定のフレーム数Ｔｐ毎に、一連のフレームＩｍ（ｋ－Ｔｐ＋１）～Ｉｍ（ｋ）から被験者の脈波を推定し、推定した脈波を示す情報（以下「脈波情報」という。）である脈波推定結果Ｐ（ｔ）を出力する。具体的には、脈波推定装置１は、一連のフレームＩｍ（ｋ－Ｔｐ＋１）～Ｉｍ（ｋ）における被験者の肌領域に対して複数の領域（以下「計測領域」という。）を設定する。そして、脈波推定装置１は、計測領域毎の輝度変化を示す信号（以下「脈波元信号」という。）に対して、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ。以下「ＩＣＡ」という。）又は主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ。以下「ＰＣＡ」という。）等の一般的な信号分離技術を用いて脈波成分を分離し、分離した脈波成分から、被験者の脈波を推定する。脈波成分を分離するにあたっては、脈波推定装置１は、第１期間の脈波元信号から予め設定された期間（以下「第２期間」という。）の脈波元信号を部分的に抽出した複数の脈波元信号（以下「脈波元信号セグメント」という。）を生成し、複数の脈波元信号セグメントに対してＩＣＡ又はＰＣＡを行う。

ここで、ｔは、第１期間に取得された特定のフレーム数Ｔｐ毎に割り当てられる出力番号を示す。例えば、脈波推定結果Ｐ（ｔ）の次のタイミングで与えられる脈波推定結果は、脈波推定結果Ｐ（ｔ＋１）である。フレーム番号ｋ及び出力番号ｔは、１以上の整数である。フレーム数Ｔｐは、２以上の整数である。

被験者の脈波は、肌領域に設定された複数の計測領域の輝度変化から推定されることが効果的である。しかし、人の血流の特性上、複数の計測領域の間の距離が大きいと、当該複数の計測領域で、当該複数の計測領域から抽出される輝度信号には位相差が生じ得る。

ここで、図２は、複数の計測領域間で生じる、人の血流の特性による輝度信号の位相差について説明するための図である。
図２において、図上左側は、被験者が撮像された撮像画像における肌領域を示す図である。図２において、被験者は「Ｈ」で示し、肌領域は「ｓｒ」で示している。肌領域には、４つの計測領域が設定されたものとしている。図２において、４つの計測領域を「Ｒ１」、「Ｒ２」、「Ｒ３」、及び、「Ｒ４」で示している。なお、肌領域の検出方法、及び、計測領域の設定方法の詳細は、後述する。
図上右側は、「Ｒ１」で示す計測領域から抽出された輝度信号で示される輝度値を時間軸で示す図（図２において２２で示す）、及び、「Ｒ３」で示す計測領域から抽出された輝度信号で示される輝度値を時間軸で示す図（図２において２１で示す）である。
被験者の血液は、心臓から送り出され、首から額へと流れる。したがって、「Ｒ１」で示す計測領域と「Ｒ３」で示す計測領域のように、血流の方向における計測領域間の距離が大きいと、言い換えれば、計測領域間の心臓からの距離の差が大きいと、計測領域から抽出される輝度信号に位相差が生じる。
複数の計測領域から抽出された複数の輝度信号の間で位相差が生じていた場合、仮に、計測領域毎の脈波元信号に対してＩＣＡ又はＰＣＡ等の一般的な信号分離技術を用いた脈波成分の分離が行われたとすると、当該脈波成分の分離は、失敗におわる。
実施の形態１に係る脈波推定装置１は、上述したような位相差が生じることを考慮し、複数の脈波元信号セグメントを生成し、生成した複数の脈波元信号セグメントに対してＩＣＡ又はＰＣＡ等の一般的な信号分離技術を用いた脈波成分の分離を行うことで、複数の計測領域から抽出された複数の輝度信号の間で位相差が生じていたとしても、当該位相差を吸収して、被験者の脈波を推定可能とする。

なお、撮像画像に含まれる人である被験者の数は、１人であっても複数人であってもよい。説明を簡単にするため、以下の実施の形態１では、撮像画像に含まれる被験者の数は、１人であるものとして説明する。

実施の形態１では、一例として、脈波推定装置１は車両（図示省略）に搭載されているものとし、被験者は車両のドライバとする。つまり、脈波推定装置１は、車両のドライバの脈波を推定する。脈波推定装置１が推定したドライバの脈波情報は、例えば、車両に搭載されている状態推定装置（図示省略）に出力される。状態推定装置は、脈波推定装置１から出力されたドライバの脈波推定結果Ｐ（ｔ）に基づいて、ドライバの状態を推定する。状態推定装置は、例えば、ドライバの状態が運転に適していない状態であると推定した場合、ドライバに対する警告音を出力する。

図１に示すように、脈波推定装置１は、撮像画像取得部１１、肌領域検出部１２、計測領域設定部１３、脈波元信号抽出部１４、セグメント生成部１５、脈波推定部１６、及び、出力部１７を備える。脈波推定部１６は、信号分離部１６１、復元部１６２、及び、推定部１６３を備える。
脈波推定装置１は、車両に搭載されている撮像装置３と接続される。撮像装置３は、被験者、ここでは、ドライバの肌存在範囲を撮像可能に設置されている。撮像装置３は、例えば、車両内のドライバの状態を監視するために車両に搭載される、いわゆる「ドライバーモニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ，ＤＭＳ）」が有する撮像装置と共用のものであってもよい。

撮像画像取得部１１は、撮像装置３から、被験者を撮像した撮像画像を取得する。
撮像画像取得部１１は、取得した撮像画像を、肌領域検出部１２に出力する。

肌領域検出部１２は、撮像画像取得部１１が取得した撮像画像に含まれるフレームＩｍ（ｋ）から、被験者の肌領域を検出する。肌領域検出部１２は、公知の手段を用いて肌領域を検出すればよい。例えば、肌領域検出部１２は、Ｈａａｒ－ｌｉｋｅ特徴量を使用したカスケード型の顔検出器を使用して、肌領域を検出できる。
肌領域検出部１２は、検出した肌領域を示す肌領域情報Ｓ（ｋ）を生成する。
肌領域情報Ｓ（ｋ）は、肌領域の検出の有無を示す情報と、検出された肌領域の撮像画像上における位置及びサイズを示す情報とを含むことができる。実施の形態１では、肌領域は撮像画像上の矩形領域であらわされるものとし、肌領域情報Ｓ（ｋ）は、当該矩形領域の撮像画像上における位置及びサイズを示す情報を含むものとする。
具体的には、肌領域が被験者の顔に対応する領域である場合、肌領域情報Ｓ（ｋ）は、例えば、被験者の顔の検出の有無と、撮像画像上で当該被験者の顔を囲む矩形の中心座標Ｆｃ（Ｆｃｘ，Ｆｃｙ）と、この矩形の幅Ｆｃｗ及び高さＦｃｈとを示す。被験者の顔の検出の有無は、例えば、検出できた場合は「１」、検出できなかった場合は「０」であらわされる。また、顔を囲む矩形の中心座標は、フレームＩｍ（ｋ）の座標系で表現される。
なお、肌領域検出部１２は、複数の肌領域を検出することもできる。
肌領域検出部１２は、生成した肌領域情報Ｓ（ｋ）を、計測領域設定部１３に出力する。

計測領域設定部１３は、撮像画像取得部１１が取得した撮像画像のフレームＩｍ（ｋ）と、肌領域検出部１２が出力した肌領域情報Ｓ（ｋ）とに基づき、フレームＩｍ（ｋ）上の、肌領域情報Ｓ（ｋ）で示される肌領域に対応する画像領域に、第１期間における時系列の輝度変化を示す脈波元信号を抽出するための複数の計測領域を設定する。なお、計測領域設定部１３は、撮像画像取得部１１が取得した撮像画像を、肌領域検出部１２を介して取得すればよい。
計測領域設定部１３は、複数の計測領域を設定すると、設定した複数の計測領域を示す計測領域情報Ｒ（ｋ）を生成する。計測領域情報Ｒ（ｋ）は、Ｎ（２以上の整数）個の計測領域の撮像画像上における位置及びサイズを示す情報を含む。各計測領域は、計測領域ｒｉ（ｋ）（ｉ＝２，・・・，Ｎ）とする。実施の形態１では、計測領域ｒｉ（ｋ）は、四辺形とし、計測領域ｒｉ（ｋ）の位置及びサイズは、撮像画像上における、四辺形の４つの頂点の座標値とする。

ここで、図３Ａ、図３Ｂ及び図３Ｃは、実施の形態１に係る脈波推定装置１における、計測領域設定部１３による計測領域ｒｉ（ｋ）の設定方法の一例について説明するための図である。
図３を用いて、計測領域設定部１３が複数の計測領域ｒｉ（ｋ）を設定する方法の一例について説明する。
まず、図３Ａ及び図３Ｂに示されているように、計測領域設定部１３は、肌領域情報Ｓ（ｋ）で示されている肌領域ｓｒにおいて、目尻、目頭、鼻及び口等の顔器官のランドマークをＬｎ（正の整数）個検出する。図３Ａ及び図３Ｂでは、ランドマークは丸で示されている。計測領域設定部１３は、検出したランドマークの座標値を格納したベクトルをＬ（ｋ）とする。
なお、計測領域設定部１３は、Ｃｏｎｓｔｒａｉｎｅｄ Ｌｏｃａｌ Ｍｏｄｅｌ（ＣＬＭ）と呼ばれるモデルを用いる等、公知の手段を用いて顔器官を検出すればよい。

次に、計測領域設定部１３は、検出したランドマークを基準にして、計測領域ｒｉ（ｋ）の四辺形の頂点座標を設定する。例えば、計測領域設定部１３は、図３Ｃに示されているような四辺形の頂点座標を設定し、Ｎ個の計測領域ｒｉ（ｋ）を設定する。

計測領域設定部１３が肌領域ｓｒの頬に対応する部分に計測領域ｒｉ（ｋ）を設定する例を挙げて説明すると、計測領域設定部１３は、顔の輪郭のランドマークＬＡ１と、鼻のランドマークＬＡ２を選択する。計測領域設定部１３は、まず、鼻のランドマークＬＡ２を選択し、当該鼻のランドマークＬＡ２から最も近い顔の輪郭のランドマークＬＡ１を選択すればよい。
そして、計測領域設定部１３は、ランドマークＬＡ１とランドマークＬＡ２との間の線分を４等分するように補助ランドマークａ１、ａ２、ａ３を設定する。
同様に、計測領域設定部１３は、顔の輪郭のランドマークＬＢ１と、鼻のランドマークＬＢ２とを選択する。また、計測領域設定部１３は、ランドマークＬＢ１とランドマークＬＢ２との間の線分を４等分するように補助ランドマークｂ１、ｂ２、ｂ３を設定する。なお、ランドマークＬＢ１、ＬＢ２は、それぞれ、例えば、ランドマークＬＡ１、ＬＡ２に隣接する顔の輪郭又は鼻のランドマークから選択されればよい。
計測領域設定部１３は、補助ランドマークａ１、ｂ１、ｂ２、ａ２で囲まれる四辺形領域を一つの計測領域Ｒ５として設定する。補助ランドマークａ１、ｂ１、ｂ２、ａ２は、それぞれ、計測領域Ｒ５に対応する頂点座標となる。
計測領域設定部１３は、同様に、補助ランドマークａ２、ｂ２、ｂ３、ａ３で囲まれる一つの計測領域Ｒ６及び当該計測領域Ｒ６の頂点座標を設定する。

なお、ここでは、頬の対応する部分に計測領域ｒｉ（ｋ）を設定する例を説明したが、計測領域設定部１３は、例えば、頬の他の部分、及び、あごに対応する部分の肌領域ｓｒに対しても同様に、計測領域ｒｉ（ｋ）及び当該計測領域ｒｉ（ｋ）の頂点座標を設定する。なお、図３Ｃでは図示していないが、計測領域設定部１３は、被験者の肌領域ｓｒの額に対応する部分、首に対応する部分、又は、鼻先に対応する部分に、計測領域ｒｉ（ｋ）を設定してもよい。

なお、計測領域設定部１３は、ＣＬＭ以外の方法で計測領域ｒｉ（ｋ）を設定してもよい。例えば、計測領域設定部１３は、Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ（ＫＬＴ）トラッカー等のトラッキング技術を用いて計測領域ｒｉ（ｋ）を設定してもよい。具体的には、計測領域設定部１３は、一連のフレームＩｍ（ｋ－Ｔｐ＋１）～Ｉｍ（ｋ）のうちの最初のフレームＩｍ（１）の肌領域に対しＣＬＭによって顔器官点の座標を検出し、次のフレームＩｍ（２）の肌領域以降は、ＫＬＴトラッカーにより顔器官点をトラッキングし、各フレームＩｍ（ｋ）の肌領域に対する顔器官点を算出してもよい。この場合、トラッキングによる検出誤差が蓄積するため、計測領域設定部１３は、数フレームに一回ＣＬＭを実行し、顔器官点の座標位置をリセットする等のリセット処理を行ってもよい。

計測領域設定部１３は、生成した計測領域情報Ｒ（ｋ）を、脈波元信号抽出部１４に出力する。

脈波元信号抽出部１４は、撮像画像取得部１１が取得した撮像画像のフレームＩｍ（ｋ）と、計測領域設定部１３から出力された計測領域情報Ｒ（ｋ）とに基づき、フレームＩｍ（ｋ）上の、計測領域情報Ｒ（ｋ）で示される複数の計測領域ｒｉ（ｋ）の各々から、第１期間における輝度変化を示す脈波元信号を抽出する。なお、脈波元信号は、脈波の元となる信号である。脈波推定装置１は、脈波元信号を用いて被験者の脈波を推定する。被験者の脈波の推定は、脈波推定部１６が行う。脈波推定部１６の詳細は後述する。
脈波元信号抽出部１４は、撮像画像取得部１１が取得した撮像画像を、肌領域検出部１２及び計測領域設定部１３を介して取得すればよい。
脈波元信号抽出部１４は、脈波元信号を抽出すると、抽出した脈波元信号を示す脈波元信号情報Ｗ（ｔ）を生成する。

脈波元信号情報Ｗ（ｔ）は、計測領域ｒｉ（ｋ）で抽出された脈波元信号ｗｉ（ｔ）を示す情報を含む。脈波元信号ｗｉ（ｔ）は、Ｔｐ分の時系列データであり、例えば、過去Ｔｐ分のフレームＩｍ（ｋ－Ｔｐ＋１），Ｉｍ（ｋ－Ｔｐ＋２），・・・，Ｉｍ（ｋ）と、計測領域情報Ｒ（ｋ－Ｔｐ＋１），Ｒ（ｋ－Ｔｐ＋２），・・・，Ｒ（ｋ）とに基づいて抽出される。
脈波元信号ｗｉ（ｔ）を抽出するにあたっては、脈波元信号抽出部１４は、撮像画像の各フレームＩｍ（ｋ）に対して、１つ前のフレームＩｍ（ｋ－１）との、各計測領域ｒｉ（ｋ）の輝度特徴量の差分Ｇｉ（ｊ）（ｊ＝ｋ－Ｔｐ＋１，ｋ－Ｔｐ＋２，・・・，ｋ）を算出する。輝度特徴量は、各計測領域ｒｉ（ｊ）に対し、撮像画像のフレームＩｍ（ｊ）上の輝度値に基づいて算出される値である。輝度特徴量は、計測領域ｒｉ（ｊ）内に含まれる画素の輝度値の平均又は分散等である。実施の形態１では、一例として、輝度特徴量は、計測領域ｒｉ（ｊ）に含まれる画素の輝度値の平均とする。
脈波元信号抽出部１４は、第１期間に取得された撮像画像の各フレームＩｍ（ｋ）に対し算出したＧｉ（ｊ）を時系列に並べて脈波元信号ｗｉ（ｔ）とする。すなわち、脈波元信号抽出部１４は、脈波元信号ｗｉ（ｔ）＝［Ｇｉ（ｋ－Ｔｐ＋１），Ｇｉ（ｋ－Ｔｐ＋２），・・・，Ｇｉ（ｋ）］とする。

なお、脈波元信号抽出部１４は、撮像画像の各フレームＩｍ（ｋ）に対して、各計測領域ｒｉ（ｋ）の輝度特徴量を算出することで、脈波元信号ｗｉ（ｔ）を抽出してもよい。

脈波元信号抽出部１４は、各計測領域ｒｉ（ｋ）における脈波元信号ｗｉ（ｔ）を示す脈波元信号情報Ｗ（ｔ）を生成する。脈波元信号情報Ｗ（ｔ）は、各計測領域ｒｉ（ｋ）における脈波元信号ｗｉ（ｔ）と当該脈波元信号ｗｉ（ｔ）がどの計測領域ｒｉ（ｋ）から抽出された脈波元信号ｗｉ（ｔ）であるかを示す情報とを含む。
脈波元信号抽出部１４は、生成した脈波元信号情報Ｗ（ｔ）を、セグメント生成部１５に出力する。

セグメント生成部１５は、脈波元信号抽出部１４から出力された脈波元信号情報Ｗ（ｔ）に基づき、計測領域ｒｉ（ｋ）毎に、予め設定された条件（以下「セグメント生成用条件」という。）に従って、第１期間における脈波元信号ｗｉ（ｔ）のうちから、第２期間分の脈波元信号ｗｉ（ｔ）を部分的に抽出した信号である脈波元信号セグメントを複数生成する。

セグメント生成用条件は、予め、管理者等によって生成され、セグメント生成部１５が保持している。
セグメント生成用条件には、例えば、以下の（１）～（５）のような条件が設定されている。セグメント生成部１５は、（１）～（５）の全てを満たすよう、複数の脈波元信号セグメントを生成する。
（１）第２期間は第１期間よりも短い期間であること
（２）ある計測領域における複数の脈波元信号セグメントについて、ある脈波元信号セグメントは他の脈波元信号セグメントと時間軸上で互いに完全に一致しない信号であること
（３）ある計測領域における複数の脈波元信号セグメントについて、ある脈波元信号セグメントは他の脈波元信号セグメントと時間軸上で部分的に重なる信号であること
（４）各計測領域において、ある脈波元信号セグメントが他の脈波元信号セグメントと時間軸上で部分的に重なる長さは同じであること
（５）各計測領域における複数の脈波元信号セグメントの時間軸上の長さは互いに同じであること

ここで、図４は、実施の形態１において、セグメント生成部１５が生成する脈波元信号セグメントの一例について説明するための図である。
図４上、左の図は、計測領域ｒｉ（ｋ）が設定された肌領域ｓｒを示す図（以下「肌領域図」という。）である。肌領域図において、被験者は「Ｈ」で示している。肌領域図に示すように、今、肌領域ｓｒには、４つの計測領域ｒｉ（ｋ）が設定されたとする。具体的には、被験者の顎部分に２つの計測領域ｒｉ（ｋ）（肌領域図上、「ｎ_１」及び「ｎ_２」で示す）と、被験者の額部分に２つの計測領域ｒｉ（ｋ）（肌領域図上、「ｆ_１」及び「ｆ_２」で示す）が設定されたとする。以下の説明において、「ｎ_１」で示す計測領域ｒｉ（ｋ）を「第１計測領域」、「ｎ_２」で示す計測領域ｒｉ（ｋ）を「第２計測領域」、「ｆ_１」で示す計測領域ｒｉ（ｋ）を「第３計測領域」、「ｆ_２」で示す計測領域ｒｉ（ｋ）を「第４計測領域」という。

図４上、真ん中の図は、第１計測領域及び第３計測領域に対してセグメント生成部１５が生成する脈波元信号セグメントの一例について説明するための図（以下「セグメント生成図」という。）である。セグメント生成図において、第１期間（セグメント生成図において「Ｘ」で示す）における脈波元信号ｗｉ（ｔ）で示される輝度値を時間軸で示している。
セグメント生成図上、上は、セグメント生成部１５が第１計測領域から抽出された脈波元信号ｗｉ（ｔ）（セグメント生成図上「４０１」で示す）から第２期間分の脈波元信号ｗｉ（ｔ）を部分的に抽出して生成した、第１計測領域に対する複数の脈波元信号セグメント（＝ｐ１－１，ｐ１－２，ｐ１－３，ｐ１－４，ｐ１－５，・・・，ｐ１－Ｍ）の一例を示し、下は、セグメント生成部１５が第３計測領域から抽出された脈波元信号ｗｉ（ｔ）（セグメント生成図上「４０２」で示す）から第２期間分の脈波元信号ｗｉ（ｔ）を部分的に抽出して生成した、第３計測領域に対する複数の脈波元信号セグメント（＝ｐ３－１，ｐ３－２，ｐ３－３，ｐ３－４，ｐ１－５，・・・，ｐ３－Ｍ）の一例を示す。
セグメント生成部１５は、計測領域ｒｉ（ｋ）毎に、１回の脈波推定を行う期間である第１期間に対して、セグメント生成用条件に従って、第１期間における脈波元信号ｗｉ（ｔ）のうちから第２期間分の脈波元信号ｗｉ（ｔ）を部分的に抽出したＭ（Ｍは２以上の整数）個の脈波元信号セグメントを生成する。

なお、各脈波元信号セグメントには、脈波元信号セグメントが、どの計測領域ｒｉ（ｋ）の脈波元信号ｗｉ（ｔ）から生成された、時間軸上で何番目の脈波元信号セグメントであるかがわかる情報と、抽出元となった時系列の脈波元信号ｗｉ（ｔ）の時間軸上の時間の範囲が分かる情報とが付与される。例えば、脈波元信号セグメントｐ１－１は、第１計測領域の脈波元信号ｗｉ（ｔ）に対して生成された複数の脈波元信号セグメントのうち、時間軸上で１番目の脈波元信号セグメント、言い換えれば、一番早い時間帯の脈波元信号セグメントであることを示す。当該脈波元信号セグメントｐ１－１には、例えば、〇時〇分〇秒～△時△分△秒までの第１計測領域の脈波元信号ｗｉ（ｔ）であることが分かる情報が付与されている。

図４のセグメント生成図では、便宜上、第１計測領域及び第３計測領域に対してのＭ個の脈波元信号セグメントを図示したが、セグメント生成部１５は、第２計測領域及び第４計測領域に対しても、それぞれ、Ｍ個の脈波元信号セグメントを生成する。すなわち、セグメント生成部１５は、第２計測領域に対するＭ個の脈波元信号セグメント（＝ｐ２－１，ｐ２－２，ｐ２－３，ｐ２－４，ｐ２－５，・・・，ｐ２－Ｍ）と、第４計測領域に対するＭ個の脈波元信号セグメント（＝ｐ４－１，ｐ４－２，ｐ４－３，ｐ４－４，ｐ４－５，・・・，ｐ４－Ｍ）も生成する。

上述したとおり、計測領域ｒｉ（ｋ）間の心臓からの距離の差が大きいと、計測領域ｒｉ（ｋ）から抽出される輝度信号に位相差が生じる。反対に、計測領域ｒｉ（ｋ）間の心臓からの距離の差がほとんどない場合は、計測領域ｒｉ（ｋ）から抽出される輝度信号に位相差は生じない。第２計測領域は、第１計測領域とは心臓からの距離の差がほとんどないといえるので、第２計測領域に対するＭ個の脈波元信号セグメントは、第１計測領域に対するＭ個の脈波元信号セグメントと同じ内容の信号となる。また、第４計測領域は、第３計測領域とは心臓からの距離の差がほとんどないといえるので、第４計測領域に対するＭ個の脈波元信号セグメントは、第３計測領域に対するＭ個の脈波元信号セグメントと同じ内容の信号となる。なお、実施の形態１において、「同じ」とは、完全に一致することに限定されず、許容される範囲内での「略一致」を含む。

セグメント生成部１５は、各計測領域ｒｉ（ｋ）に対して複数の脈波元信号セグメントを生成すると、生成した脈波元信号セグメントから軌跡行列を生成し、これを記憶部（図示省略）にスタックする。記憶部は、脈波推定装置１が参照可能な場所に備えられている。
図４では、計測領域ｒｉ（ｋ）は４つとしているので、セグメント生成部１５は、各計測領域ｒｉ（ｋ）に対してＭ個の脈波元信号セグメントを生成すると、Ｍ×４行の軌跡行列（＝［ｐ１－１，ｐ１－２，ｐ１－３，ｐ１－４，ｐ１－５，・・・，ｐ１－Ｍ］，・・・，［ｐ４－１，ｐ４－２，ｐ４－３，ｐ４－４，ｐ４－５，・・・，ｐ４－Ｍ］）をスタックする（図４上、右の図参照）。

なお、ここでは、計測領域ｒｉ（ｋ）は４つとしたが、これは一例に過ぎず、計測領域ｒｉ（ｋ）はＮ個設定され得る。セグメント生成部１５は、Ｍ×Ｎ行の軌跡行列（＝［ｐ１－１，ｐ１－２，ｐ１－３，ｐ１－４，ｐ１－５，・・・，ｐ１－Ｍ］，・・・，［ｐＮ－１，ｐＮ－２，ｐＮ－３，ｐＮ－４，ｐＮ－５，・・・，ｐＮ－Ｍ］）をスタックする。

セグメント生成部１５は、軌跡行列をスタックすると、その旨を脈波推定部１６に通知する。

脈波推定部１６は、セグメント生成部１５から軌跡行列をスタックした旨が通知されると、計測領域ｒｉ（ｋ）毎に生成された複数の脈波元信号セグメントに基づいて、被験者の脈波を推定する。
詳細には、まず、信号分離部１６１が、複数の脈波元信号セグメントに基づいて複数の信号成分（以下「主成分」という。）を示す信号（以下「分離信号」という。）を生成する。具体的には、信号分離部１６１は、ＰＣＡ又はＩＣＡ等、一般的な信号分離技術を用いて、複数の主成分を分析し、分析した複数の主成分を示す分離信号を生成する。ＰＣＡ又はＩＣＡ等、一般的な信号分離技術を用いた信号成分の分析を行うことで、信号分離部１６１は、複数の脈波元信号セグメントから、脈波成分らしい成分とノイズ成分らしい成分とを分離する。
なお、信号分離部１６１は、全ての計測領域ｒｉ（ｋ）に対応する複数の脈波元信号セグメントに基づいて、複数の主成分を示す分離信号を生成する。

ここで、図５は、実施の形態１において、信号分離部１６１が、複数の脈波元信号セグメントに基づいて主成分を分析し、分析した主成分を示す分離信号を生成するまでの流れについて説明するための図である。
ここでは、計測領域ｒｉ（ｋ）として、図４に示すような、第１計測領域、第２計測領域、第３計測領域、及び、第４計測領域の、４つの計測領域ｒｉ（ｋ）が設定されているとする。
図５において図上左側に示す、第１計測領域、第２計測領域、第３計測領域、及び、第４計測領域毎に複数の脈波元信号セグメントが生成されＭ×４行の軌跡行列がスタックされるまでの処理の流れは、セグメント生成部１５によって行われる処理の流れであり、図４を用いて説明済みであるため、重複した説明を省略する。
信号分離部１６１は、セグメント生成部１５がスタックしたＭ×４行の軌跡行列に対し、ＰＣＡ又はＩＣＡ等、公知の一般的な信号分離技術を用いて、主成分の分析を行う。その結果、信号分離部１６１は、Ｃ（正の整数）個の主成分を分析し、分析したＣ個の主成分を示す分離信号を生成する。なお、一般的な信号分離技術では、できるだけ多くの情報を持つ主成分から順に生成される。すなわち、第１主成分ｃ１、第２主成分ｃ２、第３主成分ｃ３、・・・、第Ｃ主成分ｃＣは、情報量の多い順番となっている。

図６は、実施の形態１において、信号分離部１６１が生成する、主成分を示す分離信号の詳細の一例について説明するための図である。
なお、図６は、図５に示す分離信号（＝［ｃ１，ｃ２，ｃ３，ｃ４，ｃ５，・・・，ｃＣ］）、言い換えれば、図４に示す第１計測領域、第２計測領域、第３計測領域、及び、第４計測領域毎に生成された複数の脈波元信号セグメントに基づいて、信号分離部１６１が生成した分離信号（＝［ｃ１，ｃ２，ｃ３，ｃ４，ｃ５，・・・，ｃＣ］）の詳細としている。
各分離信号は、その分離信号が示す主成分が含んでいる情報量が分析された元となった、複数の脈波元信号セグメントの軌跡行列を含んでいる。図６に示す例でいうと、第１主成分ｃ１～第Ｃ主成分ｃＣを示す分離信号（＝［ｃ１，ｃ２，ｃ３，ｃ４，ｃ５，・・・，ｃＣ］）は、第１計測領域の脈波元信号ｗｉ（ｔ）から生成された脈波元信号セグメント（＝ｐ１－１，ｐ１－２，ｐ１－３，ｐ１－４，ｐ１－５，・・・，ｐ１－Ｍ）、第２計測領域の脈波元信号ｗｉ（ｔ）から生成された脈波元信号セグメント（＝ｐ２－１，ｐ２－２，ｐ２－３，ｐ２－４，ｐ２－５，・・・，ｐ２－Ｍ）、第３計測領域の脈波元信号ｗｉ（ｔ）から生成された脈波元信号セグメント（＝ｐ３－１，ｐ３－２，ｐ３－３，ｐ３－４，ｐ３－５，・・・，ｐ３－Ｍ）、及び、第４計測領域の脈波元信号ｗｉ（ｔ）から生成された脈波元信号セグメント（＝ｐ４－１，ｐ４－２，ｐ４－３，ｐ４－４，ｐ４－５，・・・，ｐ４－Ｍ）に基づいて生成された分離信号である。よって、第１主成分ｃ１～第Ｃ主成分ｃＣを示す分離信号は、それぞれ、Ｍ×４行の軌跡行列（＝［ｐ１－１，ｐ１－２，ｐ１－３，ｐ１－４，ｐ１－５，・・・，ｐ１－Ｍ］，・・・，［ｐ４－１，ｐ４－２，ｐ４－３，ｐ４－４，ｐ４－５，・・・，ｐ４－Ｍ］）を含んでいる。

また、各分離信号（＝［ｃ１，ｃ２，ｃ３，ｃ４，ｃ５，・・・，ｃＣ］）には、射影係数が付与されている。射影係数は、主成分の情報量に応じて付与される係数であり、公知の一般的な信号分離技術を用いた主成分の分析の過程で付与される。
射影係数は、分離信号毎に、各計測領域ｒｉ（ｋ）における各脈波元信号セグメントに対して付与される。例えば、図６に示す例でいうと、第１主成分ｃ１に対しては、第１計測領域におけるＭ個の脈波元信号セグメントにそれぞれ対応する射影係数と、第２計測領域におけるＭ個の脈波元信号セグメントにそれぞれ対応する射影係数と、第３計測領域におけるＭ個の脈波元信号セグメントにそれぞれ対応する射影係数と、第４計測領域におけるＭ個の脈波元信号セグメントにそれぞれ対応する射影係数とが付与されている。
例えば、図６において、第１主成分ｃ１を示す分離信号に付与されている射影係数（ｑ１，１－１）は、第１主成分ｃ１の、第１計測領域における時間軸上で１番目の脈波元信号セグメントに対応する射影係数であることを示している。また、例えば、図６において、第１主成分ｃ１を示す分離信号に付与されている射影係数（ｑ１，４－Ｍ）は、第１主成分ｃ１の、第４計測領域における時間軸上でＭ番目の脈波元信号セグメントに対応する射影係数であることを示している。また、例えば、図６において、第Ｃ主成分ｃＣを示す分離信号に付与されている射影係数（ｑＣ，１－１）は、第Ｃ主成分ｃＣの、第１計測領域における時間軸上で１番目の脈波元信号セグメントに対応する射影係数であることを示している。

信号分離部１６１は、生成した複数の分離信号、詳細には、生成した複数の主成分を示す複数の分離信号に関する分離信号情報Ｓｅｐ（ｔ）を、復元部１６２に出力する。
分離信号情報Ｓｅｐ（ｔ）は、脈波元信号情報Ｗ（ｔ）に基づいて生成された複数（Ｍ×Ｎ個）の脈波元信号セグメントから生成されたＣ個の分離信号を含む。

復元部１６２は、信号分離部１６１から出力された分離信号情報Ｓｅｐ（ｔ）に基づいて、計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を復元する。
上述のとおり、分離信号情報Ｓｅｐ（ｔ）に含まれている各分離信号には、各計測領域ｒｉ（ｋ）の各脈波元信号ｗｉ（ｔ）に基づいて生成された複数の脈波元信号セグメントが含まれているので、復元部１６２は、分離信号情報Ｓｅｐ（ｔ）に含まれている複数の分離信号から計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を復元できる。

復元部１６２は、計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を復元すると、復元した計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を示す復元後脈波元信号情報ＲＷ（ｔ）を生成する。
復元後脈波元信号情報ＲＷ（ｔ）は、復元された計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）（以下「復元後脈波元信号」という。）を含む。
復元部１６２は、生成した復元後脈波元信号情報ＲＷ（ｔ）を、推定部１６３に出力する。

推定部１６３は、復元部１６２から出力された復元後脈波元信号情報ＲＷ（ｔ）に基づき、被験者の脈波を推定する。
推定部１６３は、推定した脈波を示す脈波情報である脈波推定結果Ｐ（ｔ）を出力部１７に出力する。
脈波情報は、例えば、推定部１６３が推定した被験者の脈波の時系列データであってもよいし、被験者の脈拍数であってもよいし、被験者の脈拍間隔であってもよい。ここでは、説明を簡便にするため、脈波情報は、被験者の脈拍数（１分間当たりのはく数）とする。

推定部１６３による被験者の脈波の推定方法について、具体的に説明する。
推定部１６３は、例えば、各計測領域ｒｉ（ｋ）の復元後脈波元信号のＳ／Ｎ比を求める。推定部１６３は、各計測領域ｒｉ（ｋ）の復元後脈波元信号に対して求めたＳ／Ｎ比に基づく重み付けをした上で、各計測領域ｒｉ（ｋ）に対応する復元後脈波元信号を合算した合成脈波信号情報Ｄ（ｔ）を算出する。すなわち、推定部１６３は、全ての計測領域ｒｉ（ｋ）に対して１つの合成脈波信号情報Ｄ（ｔ）を算出する。Ｓ／Ｎ比に基づく重み付けが行われているため、合成脈波信号情報Ｄ（ｔ）は、ノイズ成分が除去された、脈波成分らしい信号になっていると想定される。
そして、推定部１６３は、合成脈波信号情報Ｄ（ｔ）に対し、フーリエ変換を行い、所定の周波数範囲内での、周波数パワースペクトルにおけるピーク周波数を脈拍数として算出する。所定の周波数範囲は、人の心拍数の範囲を考慮して設定される。

出力部１７は、脈波推定部１６から出力された脈波推定結果Ｐ（ｔ）を、例えば、状態推定装置に出力する。
なお、出力部１７の機能は脈波推定部１６に備えられていてもよい。

実施の形態１に係る脈波推定装置１の動作について説明する。
図７は、実施の形態１に係る脈波推定装置１の動作について説明するためのフローチャートである。
脈波推定装置１は、例えば、車両の電源がオンにされると、車両の電源がオフにされるまで、図７のフローチャートで示すような処理を繰り返す。

撮像画像取得部１１は、撮像装置３から、被験者を撮像した撮像画像を取得する（ステップＳＴ１）。
撮像画像取得部１１は、取得した撮像画像を、肌領域検出部１２に出力する。

肌領域検出部１２は、ステップＳＴ１にて撮像画像取得部１１が取得した撮像画像に含まれるフレームＩｍ（ｋ）から、被験者の肌領域を検出する（ステップＳＴ２）。
肌領域検出部１２は、生成した肌領域情報Ｓ（ｋ）を、計測領域設定部１３に出力する。

計測領域設定部１３は、ステップＳＴ１にて撮像画像取得部１１が取得した撮像画像のフレームＩｍ（ｋ）と、ステップＳＴ２にて肌領域検出部１２が出力した肌領域情報Ｓ（ｋ）とに基づき、フレームＩｍ（ｋ）上の、肌領域情報Ｓ（ｋ）で示される肌領域に対応する画像領域に、第１期間における時系列の輝度変化を示す脈波元信号ｗｉ（ｔ）を抽出するための複数の計測領域ｒｉ（ｋ）を設定する（ステップＳＴ３）。
計測領域設定部１３は、生成した計測領域情報Ｒ（ｋ）を、脈波元信号抽出部１４に出力する。

脈波元信号抽出部１４は、ステップＳＴ１にて撮像画像取得部１１が取得した撮像画像のフレームＩｍ（ｋ）と、ステップＳＴ３にて計測領域設定部１３から出力された計測領域情報Ｒ（ｋ）とに基づき、フレームＩｍ（ｋ）上の、計測領域情報Ｒ（ｋ）で示される複数の計測領域ｒｉ（ｋ）の各々から、第１期間における輝度変化を示す脈波元信号ｗｉ（ｔ）を抽出する（ステップＳＴ４）。
脈波元信号抽出部１４は、各計測領域ｒｉ（ｋ）における脈波元信号ｗｉ（ｔ）を示す脈波元信号情報Ｗ（ｔ）を生成する。
脈波元信号抽出部１４は、生成した脈波元信号情報Ｗ（ｔ）を、セグメント生成部１５に出力する。

セグメント生成部１５は、ステップＳＴ４にて脈波元信号抽出部１４から出力された脈波元信号情報Ｗ（ｔ）に基づき、計測領域ｒｉ（ｋ）毎に、セグメント生成用条件に従って、第１期間における脈波元信号ｗｉ（ｔ）のうちから、第２期間分の脈波元信号ｗｉ（ｔ）を部分的に抽出した信号である脈波元信号セグメントを複数生成する（ステップＳＴ５）。
セグメント生成部１５は、各計測領域ｒｉ（ｋ）に対して複数の脈波元信号セグメントを生成すると、生成した脈波元信号セグメントから軌跡行列を生成し、これを記憶部にスタックする。
セグメント生成部１５は、軌跡行列をスタックすると、その旨を脈波推定部１６に通知する。

脈波推定部１６は、ステップＳＴ５にてセグメント生成部１５から軌跡行列をスタックした旨が通知されると、計測領域ｒｉ（ｋ）毎に生成された複数の脈波元信号セグメントに基づいて、被験者の脈波を推定する脈波推定処理を実施する（ステップＳＴ６）。
脈波推定部１６は、推定した脈波を示す脈波情報である脈波推定結果Ｐ（ｔ）を出力部１７に出力する。
出力部１７は、脈波推定部１６から出力された脈波推定結果Ｐ（ｔ）を、例えば、状態推定装置に出力する。

図８は、図７のステップＳＴ６における、脈波推定部１６による脈波推定処理の詳細を説明するためのフローチャートである。

信号分離部１６１は、複数の脈波元信号セグメントに基づいて複数の主成分を示す分離信号を生成する（ステップＳＴ１１）。
信号分離部１６１は、生成した複数の分離信号、詳細には、生成した複数の主成分を示す分離信号に関する分離信号情報Ｓｅｐ（ｔ）を、復元部１６２に出力する。

復元部１６２は、ステップＳＴ１１にて信号分離部１６１から出力された分離信号情報Ｓｅｐ（ｔ）に基づいて、計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を復元する（ステップＳＴ１２）。
復元部１６２は、復元後脈波元信号情報ＲＷ（ｔ）を、推定部１６３に出力する。

推定部１６３は、ステップＳＴ１２にて復元部１６２から出力された復元後脈波元信号情報ＲＷ（ｔ）に基づき、被験者の脈波を推定する（ステップＳＴ１３）。
推定部１６３は、推定した脈波を示す脈波情報である脈波推定結果Ｐ（ｔ）を出力部１７に出力する。
出力部１７は、脈波推定部１６から出力された脈波推定結果Ｐ（ｔ）を、例えば、状態推定装置に出力する。

このように、実施の形態１に係る脈波推定装置１は、被験者が撮像された撮像画像から検出した撮像画像上の肌領域に対応する領域に複数の計測領域ｒｉ（ｋ）を設定し、計測領域ｒｉ（ｋ）毎に、当該計測領域ｒｉ（ｋ）における、１回の脈波推定を行う期間である第１期間の輝度変化に基づき脈波元信号ｗｉ（ｔ）を抽出する。脈波推定装置１は、計測領域ｒｉ（ｋ）毎に、当該計測領域ｒｉ（ｋ）から抽出した脈波元信号ｗｉ（ｔ）に基づき、セグメント生成用条件に従って、第１期間における脈波元信号ｗｉ（ｔ）のうちから第２期間分の脈波元信号ｗｉ（ｔ）を部分的に抽出した脈波元信号セグメントを複数生成して、複数の脈波元信号セグメントに基づいて被験者の脈波を推定する。
脈波推定装置１は、第１期間の脈波元信号ｗｉ（ｔ）に基づいて第１期間よりも短い第２期間分の脈波元信号ｗｉ（ｔ）を部分的に抽出した脈波元信号セグメントを複数生成することで、脈波元信号ｗｉ（ｔ）を、位相が揃った対がある状態とできる。そして、脈波推定装置１は、位相が揃った対がある状態とした脈波元信号ｗｉ（ｔ）、言い換えれば、複数の脈波元信号セグメントに基づいて被験者の脈波を推定するので、複数の脈波元信号ｗｉ（ｔ）に対するＩＣＡ又はＰＣＡ等の公知の一般的な信号分離技術を用いた脈波成分の分離を失敗しないようにでき、その結果、被験者の脈波を推定できる。このように、脈波推定装置１は、複数の計測領域ｒｉ（ｋ）から抽出された輝度信号に位相差が生じていても、当該輝度信号に基づく被験者の脈波の推定を行うことができる。

図９Ａ，図９Ｂは、実施の形態１に係る脈波推定装置１のハードウェア構成の一例を示す図である。
実施の形態１において、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７の機能は、処理回路１０１により実現される。すなわち、脈波推定装置１は、第１期間に取得された撮像画像における被験者の肌領域に対して設定された複数の計測領域ｒｉ（ｋ）の輝度変化を示す脈波元信号ｗｉ（ｔ）を部分的に抽出した複数の脈波元信号セグメントを生成し、独立成分分析又は主成分分析等の技術を用いて脈波元信号セグメントから脈波成分を分離し、分離した脈波成分から被験者の脈波を推定する制御を行うための処理回路１０１を備える。
処理回路１０１は、図９Ａに示すように専用のハードウェアであっても、図９Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１０４であってもよい。

処理回路１０１が専用のハードウェアである場合、処理回路１０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。

処理回路がプロセッサ１０４の場合、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７の機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアは、プログラムとして記述され、メモリ１０５に記憶される。プロセッサ１０４は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７の機能を実行する。すなわち、脈波推定装置１は、プロセッサ１０４により実行されるときに、上述の図７のステップＳＴ１～ステップＳＴ６が結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７の処理の手順又は方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、撮像画像取得部１１と出力部１７については専用のハードウェアとしての処理回路１０１でその機能を実現し、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６についてはプロセッサ１０４がメモリ１０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
図示しない記憶部は、例えば、メモリ１０５で構成される。
また、脈波推定装置１は、撮像装置３等の装置と、有線通信又は無線通信を行う入力インタフェース装置１０２及び出力インタフェース装置１０３を備える。

なお、以上の実施の形態１では、被験者は車両のドライバとしたが、これは一例に過ぎない。被験者は、車両のドライバ以外の乗員としてもよい。

また、以上の実施の形態１では、脈波推定装置１は車載装置とし、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７は、車載装置に備えられていた。
これに限らず、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとでシステムを構成してもよい。
また、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７が全部サーバに備えられてもよい。

また、以上の実施の形態１に係る脈波推定装置１は、車両に搭載される車載装置に限らず、例えば、家電機器に適用することもできる。また、被験者は、車両の乗員に限らず、様々な人とできる。
具体例を挙げると、脈波推定装置１は、住居においてリビングに設置されているテレビに搭載されてもよい。この場合、被験者は、住居の住人等のユーザである。脈波推定装置１は、テレビに搭載されている撮像装置が撮像した撮像画像に基づき、ユーザの脈波を推定する。

以上のように、実施の形態１に係る脈波推定装置１は、人（被験者）を撮像した撮像画像を取得する撮像画像取得部１１と、撮像画像から人（被験者）の肌領域を検出する肌領域検出部１２と、撮像画像上の肌領域に対応する領域に、第１期間における時系列の輝度変化を示す脈波元信号ｗｉ（ｔ）を抽出するための複数の計測領域ｒｉ（ｋ）を設定する計測領域設定部１３と、計測領域ｒｉ（ｋ）毎に、当該計測領域ｒｉ（ｋ）における第１期間の輝度変化に基づき、脈波元信号ｗｉ（ｔ）を抽出する脈波元信号抽出部１４と、計測領域ｒｉ（ｋ）毎に、計測領域ｒｉ（ｋ）から抽出された脈波元信号ｗｉ（ｔ）に基づき、セグメント生成用条件に従って、第１期間における脈波元信号ｗｉ（ｔ）のうちから第２期間分の脈波元信号ｗｉ（ｔ）を部分的に抽出した脈波元信号セグメントを複数生成するセグメント生成部１５と、計測領域ｒｉ（ｋ）毎に生成された複数の脈波元信号セグメントに基づいて人（被験者）の脈波を推定する脈波推定部１６とを備えるように構成した。そのため、脈波推定装置１は、複数の計測領域ｒｉ（ｋ）から抽出された輝度信号に位相差が生じていても、当該輝度信号に基づく人の脈波の推定を行うことができる。

実施の形態２．
実施の形態１では、脈波元信号セグメントの生成に用いられる第２期間の長さは、一律としていた。
実施の形態２では、脈波元信号セグメントの生成に用いられる第２期間の長さを調整する実施の形態について説明する。
なお、以下の実施の形態２でも、実施の形態１同様、脈波推定装置は車両に搭載されており、被験者は車両のドライバであることを想定する。

図１０は、実施の形態２に係る脈波推定装置１ａの構成例を示す図である。
実施の形態２に係る脈波推定装置１ａの構成について、実施の形態１にて図１を用いて説明した脈波推定装置１と同じ構成には、同じ符号を付して重複した説明を省略する。
実施の形態２に係る脈波推定装置１ａは、実施の形態１に係る脈波推定装置１とは、パラメータ設定部１８を備えた点が異なる。

パラメータ設定部１８は、脈波推定部１６が推定した被験者の脈波に基づいて、第２期間の長さを示す情報を少なくとも含むセグメントパラメータを設定する。
詳細には、パラメータ設定部１８は、脈波推定部１６が推定した被験者の脈波に基づいて、第２期間が被験者の脈波の１周期分の時間となるよう第２期間の長さを算出し、算出した第２期間の長さを示す情報を含むセグメントパラメータを設定する。
なお、第２期間と被験者の脈波の１周期分の時間とが同じでなくてもよく、パラメータ設定部１８は、第２期間が、被験者の脈波の１周期分の時間よりも長くなるよう、第２期間を算出していればよい。
なお、パラメータ設定部１８は、第２期間の長さを示す情報の他に、例えば、第２期間の部分的な重なりの大きさに関する情報をセグメントパラメータとして設定する。パラメータ設定部１８は、処理負荷における観点から、脈波元信号セグメントの長さに応じて脈波元信号セグメント同士の重なりの大きさを可変に設定することができる。
パラメータ設定部１８は、設定したセグメントパラメータをセグメント生成部１５に出力する。

実施の形態２では、推定部１６３は、推定した脈波を示す脈波情報である脈波推定結果Ｐ（ｔ）を、出力部１７及びパラメータ設定部１８に出力する。
また、実施の形態２では、セグメント生成部１５は、セグメントパラメータに基づいて、パラメータ設定部１８が設定した第２期間を用いて、脈波元信号セグメントを生成する。
具体的には、セグメント生成部１５は、セグメントパラメータに基づいて、パラメータ設定部１８が設定した第２期間の長さを、脈波元信号セグメントの生成に用いる第２期間の長さに設定した上で、計測領域ｒｉ（ｋ）毎に、セグメント生成用条件に従って、第１期間における脈波元信号ｗｉ（ｔ）のうちから第２期間分の脈波元信号ｗｉ（ｔ）を部分的に抽出した脈波元信号セグメントを複数生成する。

なお、パラメータ設定部１８が設定した第２期間の長さの情報は、パラメータ設定部１８がセグメントパラメータを設定した以降の、セグメント生成部１５による脈波元信号セグメントの生成で用いられることになる。よって、脈波推定装置１ａによる被験者の脈波推定の開始直後等、セグメント生成部１５が脈波元信号セグメントを生成する際に、パラメータ設定部１８からセグメントパラメータを得られていない場合もあり得る。この場合、セグメント生成部１５は、例えば、管理者等によって予め設定され、セグメント生成部１５が保持している、第２期間の初期値を用いて、脈波元信号セグメントを生成すればよい。
以降、パラメータ設定部１８がセグメントパラメータ設定のための情報、言い換えれば、脈波推定結果を得られていない場合は、パラメータ設定部１８は、過去に設定済みのセグメントパラメータのうち、直近で設定したセグメントパラメータを継続して設定する、または、第２の期間を初期値にリセットする。

実施の形態２に係る脈波推定装置１ａの動作について説明する。
図１１は、実施の形態２に係る脈波推定装置１ａの動作について説明するためのフローチャートである。
脈波推定装置１ａは、例えば、車両の電源がオンにされると、車両の電源がオフにされるまで、図１１のフローチャートで示すような処理を繰り返す。
図１１において、ステップＳＴ２１～ステップＳＴ２４、及び、ステップＳＴ２８～ステップＳＴ２９の具体的な動作は、それぞれ、実施の形態１にて説明済みの、図７のステップＳＴ１～ステップＳＴ６の具体的な動作と同様であるため、重複した説明を省略する。

セグメント生成部１５は、ステップＳＴ２４にて脈波元信号抽出部１４から脈波元信号情報Ｗ（ｔ）が出力されると、パラメータ設定部１８によってセグメントパラメータが設定済みか、言い換えれば、パラメータ設定部１８からセグメントパラメータが出力されたかを判定する（ステップＳＴ２５）。

セグメント生成部１５によってセグメントパラメータが設定済みであると判定した場合（ステップＳＴ２５の“ＹＥＳ”の場合）、セグメント生成部１５は、セグメントパラメータに基づいて、パラメータ設定部１８が設定した第２期間の長さを、脈波元信号セグメントの生成に用いる第２期間の長さに設定する（ステップＳＴ２６）。

セグメント生成部１５によってセグメントパラメータが設定済みではないと判定した場合（ステップＳＴ２５の“ＮＯ”の場合）、セグメント生成部１５は、第２期間に初期値を設定する（ステップＳＴ２７）。

ステップＳＴ２９にて脈波推定部１６が被験者の脈波を推定すると、パラメータ設定部１８は、脈波推定部１６が推定した被験者の脈波に基づいて、第２期間の長さを示す情報を含むセグメントパラメータを設定する（ステップＳＴ３０）。

このように、脈波推定装置１ａは、脈波推定部１６が推定した被験者の脈波に基づいて第２期間を算出し、当該第２期間の長さを示す情報を含むセグメントパラメータを設定すると、設定したセグメントパラメータに従って第２期間を設定する。そして、脈波推定装置１ａは、セグメントパラメータに従って設定した第２期間を用いて、第１期間における脈波元信号ｗｉ（ｔ）のうちから第２期間分の脈波元信号ｗｉ（ｔ）を部分的に抽出した脈波元信号セグメントを複数生成する。
脈波の推定にあたっては、繰り返しあらわれる被験者の脈波成分を捉える必要がある。しかし、被験者の脈波の周期は、被験者の状態、又は、被験者がどの人か等によって変わってくる。例えば、同じ被験者であっても当該被験者の状態に変化が発生した場合、又は、被験者の変更があった場合、脈波推定装置１ａが推定しようとする被験者の脈波の１周期分の時間が変わる。例えば、被験者の脈拍数が６０ｂｐｍ（ｂｅａｔ ｐｅｒ ｍｉｎｉｔｕｅｓ）であれば被験者の脈波の１周期分の時間は１秒となるし、被験者の脈拍数が１００ｂｐｍであれば被験者の脈波の１周期分の時間は０．６秒となる。
実施の形態２に係る脈波推定装置１ａは、上述のとおり、被験者の脈波の推定のための脈波元信号セグメントの生成に用いられる第２期間の長さを、推定済みの被験者の脈波の周期を考慮した長さに調整可能とする。これにより、脈波推定装置１ａは、被験者の脈波の周期を考慮せずに設定された第２期間を用いて生成された脈波元信号セグメントから被験者の脈波を推定する場合よりも、精度よく被験者の脈波を推定することができる。

なお、以上の実施の形態２では、脈波推定装置１ａが被験者の脈波の推定を開始すると、第１期間を数回繰り返す程度のある程度の期間、被験者の脈波を推定し続け、パラメータ設定部１８は、１つ前の第１期間にて推定部１６３が推定した被験者の脈波に基づいて第２期間を算出することを想定しているが、これは一例に過ぎない。例えば、脈波推定装置１ａが被験者の脈波の推定を開始するよりも前に脈波推定装置１ａが推定していた過去の被験者の脈波推定結果Ｐ（ｔ）が記憶部に蓄積されているようにし、パラメータ設定部１８は、記憶部に蓄積されている脈波推定結果Ｐ（ｔ）に基づいて第２期間を算出可能としてもよい。
また、例えば、被験者が、被験者の平均的な脈波に関する情報を記憶部に登録することを可能とし、パラメータ設定部１８は、記憶部に登録された被験者の平均的な脈波に関する情報に基づいて第２期間を算出可能としてもよい。
例えば、パラメータ設定部１８は、記憶部を参照して得られる脈波推定結果Ｐ（ｔ）又は被験者の平均的な脈波と、推定部１６３が推定した被験者の脈波とから、第２期間を算出してもよい。

実施の形態２に係る脈波推定装置１ａのハードウェア構成は、実施の形態１において図９Ａ及び図９Ｂを用いて説明した脈波推定装置１のハードウェア構成と同様であるため、図示を省略する。
実施の形態２において、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７と、パラメータ設定部１８の機能は、処理回路１０１により実現される。すなわち、脈波推定装置１ａは、第１期間に取得された撮像画像における被験者の肌領域に対して設定された複数の計測領域ｒｉ（ｋ）の輝度変化を示す脈波元信号ｗｉ（ｔ）を部分的に抽出した複数の脈波元信号セグメントを生成し、独立成分分析又は主成分分析等の技術を用いて脈波元信号セグメントから脈波成分を分離し、分離した脈波成分から被験者の脈波を推定する制御を行うための処理回路１０１を備える。

処理回路１０１は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７と、パラメータ設定部１８の機能を実行する。すなわち、脈波推定装置１ａは、処理回路１０１により実行されるときに、上述の図１１のステップＳＴ２１～ステップＳＴ３０が結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７と、パラメータ設定部１８の処理の手順又は方法をコンピュータに実行させるものであるともいえる。
図示しない記憶部は、例えば、メモリ１０５で構成される。
また、脈波推定装置１ａは、撮像装置３等の装置と、有線通信又は無線通信を行う入力インタフェース装置１０２及び出力インタフェース装置１０３を備える。

なお、以上の実施の形態２では、被験者は車両のドライバとしたが、これは一例に過ぎない。被験者は、車両のドライバ以外の乗員としてもよい。

また、以上の実施の形態２では、脈波推定装置１ａは車載装置とし、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７と、パラメータ設定部１８は、車載装置に備えられていた。
これに限らず、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７と、パラメータ設定部１８のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとでシステムを構成してもよい。
また、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７と、パラメータ設定部１８が全部サーバに備えられてもよい。

また、以上の実施の形態２に係る脈波推定装置１ａは、車両に搭載される車載装置に限らず、例えば、家電機器に適用することもできる。また、被験者は、車両の乗員に限らず、様々な人とできる。

以上のように、実施の形態２によれば、脈波推定装置１ａは、実施の形態１に係る脈波推定装置１の構成に加え、脈波推定部１６が推定した人（被験者）の脈波に基づいて第２期間を算出し、当該第２期間の長さを示す情報を含むセグメントパラメータを設定するパラメータ設定部１８を備え、セグメント生成部１５は、セグメントパラメータに従って第２期間を設定するように構成した。そのため、脈波推定装置１ａは、人の脈波の周期を考慮せずに設定された第２期間を用いて生成された脈波元信号セグメントから人の脈波を推定する場合よりも精度よく人の脈波を推定することができる。

詳細には、脈波推定装置１ａにおいて、パラメータ設定部１８は、第２期間が、脈波推定部１６が推定した人（被験者）の脈波の１周期分の時間となるよう、第２期間を算出し、当該第２期間の長さを示す情報を含むセグメントパラメータを設定する。そして、セグメント生成部１５は、セグメントパラメータに従って第２期間を設定する。そのため、脈波推定装置１ａは、人の脈波の周期を考慮せずに設定された第２期間を用いて生成された脈波元信号セグメントから人の脈波を推定する場合よりも精度よく人の脈波を推定することができる。

実施の形態３．
実施の形態１では、脈波推定装置は、生成した複数の脈波元信号セグメントをそのまま、被験者の脈波の推定に用いるようにしていた。
実施の形態３では、複数の脈波元信号セグメントに重み付けを行った上で、被験者の脈波の推定を行う実施の形態について説明する。
なお、以下の実施の形態３でも、実施の形態１同様、脈波推定装置は車両に搭載されており、被験者は車両のドライバであることを想定する。

図１２は、実施の形態３に係る脈波推定装置１ｂの構成例を示す図である。
実施の形態３に係る脈波推定装置１ｂの構成について、実施の形態１にて図１を用いて説明した脈波推定装置１と同じ構成には、同じ符号を付して重複した説明を省略する。
実施の形態３に係る脈波推定装置１ｂは、実施の形態１に係る脈波推定装置１とは、重み係数算出部１９を備えた点が異なる。

重み係数算出部１９は、セグメント生成部１５が各計測領域ｒｉ（ｋ）に対して生成した複数の脈波元信号セグメントそれぞれに対する重み係数（以下「セグメント重み」という。）を算出する。
詳細には、重み係数算出部１９は、脈波元信号セグメントの抽出元となった脈波元信号ｗｉ（ｔ）における信号の変動の大きさに基づいて、複数の脈波元信号セグメントそれぞれに対するセグメント重みを算出する。
なお、実施の形態３では、セグメント生成部１５は、生成した、各計測領域ｒｉ（ｋ）の複数の脈波元信号セグメントの情報と、脈波元信号抽出部１４が生成した脈波元信号情報Ｗ（ｔ）を、重み係数算出部１９に出力する。

例えば、重み係数算出部１９は、脈波元信号セグメントの抽出元となった第１期間の時系列の脈波元信号ｗｉ（ｔ）について、予め設定された閾値（以下「変動判定用閾値」という。）以上の変動があったか否かを判定する。脈波元信号ｗｉ（ｔ）について、変動判定用閾値以上の変動があったと判定した場合、重み係数算出部１９は、第１期間の時系列の脈波元信号ｗｉ（ｔ）のうち、当該変動があった部分の脈波元信号ｗｉ（ｔ）を抽出元とする脈波元信号セグメントに対して、セグメント重み「０」を算出する。脈波元信号ｗｉ（ｔ）のうち、変動判定用閾値以上の変動があった部分の信号は、ノイズが多く含まれている信号であるといえる。重み係数算出部１９は、上記変動があった部分以外の部分の脈波元信号ｗｉ（ｔ）を抽出元とする脈波元信号セグメントに対しては、セグメント重み「１」を設定する。

一方、重み係数算出部１９は、脈波元信号セグメントの抽出元となった第１期間の時系列の脈波元信号ｗｉ（ｔ）について、変動判定用閾値以上の変動がなかったと判定した場合、当該変動がない第１期間の時系列の脈波元信号ｗｉ（ｔ）を抽出元とする全ての脈波元信号セグメントに対して、セグメント重み「１」を算出する。

重み係数算出部１９は、セグメント生成部１５が各計測領域ｒｉ（ｋ）に対して生成した複数の脈波元信号セグメントそれぞれについて算出したセグメント重みに関する情報（以下「セグメント重み情報」という。）を、脈波推定部１６に出力する。
セグメント重み情報は、計測領域ｒｉ（ｋ）を特定可能な情報と、脈波元信号セグメントを特定可能な情報と、当該脈波元信号セグメントのセグメント重みとが対応付けられた情報である。

重み係数算出部１９が算出するセグメント重みは、脈波推定部１６が、被験者の脈波を推定する際に、セグメント生成部１５によって生成された脈波元信号セグメントを使用すべきか否かを判定する指標となる。
脈波推定部１６は、セグメント重み「０」が付与されている脈波元信号セグメントは被験者の脈波の推定に用いないようにする。詳細には、脈波推定部１６の信号分離部１６１は、セグメント重み「０」が付与されている脈波元信号セグメントについては破棄し、残った複数の脈波元信号セグメントに基づいて、ＰＣＡ又はＩＣＡ等、一般的な信号分離技術を用いて、複数の主成分を分析し、分析した複数の主成分を示す分離信号を生成する。
このように、実施の形態３では、脈波推定部１６は、脈波元信号セグメントとセグメント重みとに基づいて被験者の脈波を推定する。

ここで、図１３は、実施の形態３において、脈波推定装置１ｂが被験者の脈波の推定に用いる脈波元信号セグメントについて説明するための図である。
図１３は、複数の計測領域ｒｉ（ｋ）のうちのある計測領域ｒｉ（ｋ）から抽出された、第１期間の時系列の脈波元信号ｗｉ（ｔ）で示される輝度値を時間軸で示す図としている。
図１３において、第１期間の時系列の脈波元信号ｗｉ（ｔ）のうち、点線で囲った部分の脈波元信号ｗｉ（ｔ）は、信号の変動が大きい。
重み係数算出部１９は、ある計測領域ｒｉ（ｋ）に対してセグメント生成部１５が生成した複数の脈波元信号セグメントのうち、点線で囲った部分の脈波元信号ｗｉ（ｔ）を抽出元とする脈波元信号セグメントに対するセグメント重みを「０」と算出する。
重み係数算出部１９は、ある計測領域ｒｉ（ｋ）に対してセグメント生成部１５が生成した複数の脈波元信号セグメントのうち、点線で囲った部分以外の脈波元信号ｗｉ（ｔ）を抽出元とする脈波元信号セグメントに対するセグメント重みは「１」と算出する。
その結果、脈波推定部１６は、セグメント重みが「０」の、点線で囲った部分の脈波元信号ｗｉ（ｔ）を抽出元とする脈波元信号セグメントは被験者の脈波の推定に用いない。

実施の形態３に係る脈波推定装置１ｂの動作について説明する。
図１４は、実施の形態３に係る脈波推定装置１ｂの動作について説明するためのフローチャートである。
脈波推定装置１ｂは、例えば、車両の電源がオンにされると、車両の電源がオフにされるまで、図１４のフローチャートで示すような処理を繰り返す。
図１４において、ステップＳＴ３１～ステップＳＴ３５の具体的な動作は、それぞれ、実施の形態１にて説明済みの、図７のステップＳＴ１～ステップＳＴ５の具体的な動作と同様であるため、重複した説明を省略する。

重み係数算出部１９は、ステップＳＴ３５にてセグメント生成部１５が生成した複数の脈波元信号セグメントそれぞれに対するセグメント重みを算出する（ステップＳＴ３６）。
詳細には、重み係数算出部１９は、脈波元信号セグメントの抽出元となった脈波元信号ｗｉ（ｔ）における信号の変動の大きさに基づいて、複数の脈波元信号セグメントそれぞれに対するセグメント重みを算出する。
重み係数算出部１９は、セグメント重み情報を、脈波推定部１６に出力する。

脈波推定部１６は、ステップＳＴ３５にてセグメント生成部１５から軌跡行列をスタックした旨が通知されると、計測領域ｒｉ（ｋ）毎に生成された複数の脈波元信号セグメントに基づいて、被験者の脈波を推定する脈波推定処理を実施する。その際、脈波推定部１６は、重み係数算出部１９から出力されたセグメント重み情報に基づき、セグメント重み「０」が付与されている脈波元信号セグメントは、被験者の脈波の推定に用いないようにする（ステップＳＴ３７）。なお、脈波推定部１６は、軌跡行列をスタックした旨の通知を、例えば、重み係数算出部１９を介して受け取ればよい。
詳細には、信号分離部１６１は、分離信号を生成する際（図８のステップＳＴ１１参照）、セグメント重みが「０」の脈波元信号セグメントについては破棄し、残った複数の脈波元信号セグメントに基づいて、ＰＣＡ又はＩＣＡ等、一般的な信号分離技術を用いて、複数の主成分を分析し、分析した複数の主成分を示す分離信号を生成する。

このように、脈波推定装置１ｂは、複数の脈波元信号セグメントそれぞれに対するセグメント重みを算出し、脈波元信号セグメントとセグメント重みとに基づいて被験者の脈波を推定する。詳細には、脈波推定装置１ｂは、脈波元信号セグメントの抽出元となった脈波元信号ｗｉ（ｔ）における信号の変動の大きさに基づいて、複数の脈波元信号セグメントそれぞれに対するセグメント重みを算出する。
これにより、脈波推定装置１ｂは、複数の計測領域ｒｉ（ｋ）から抽出される脈波元信号ｗｉ（ｔ）がノイズ成分を多く含む信号である場合に、これを除いて被験者の脈波を推定することができる。そのため、脈波推定装置１ｂは、複数の計測領域ｒｉ（ｋ）から抽出される脈波元信号ｗｉ（ｔ）がノイズ成分を多く含む信号であるか否かを考慮しない場合よりも精度よく被験者の脈波を推定することができる。

実施の形態３に係る脈波推定装置１ｂのハードウェア構成は、実施の形態１において図９Ａ及び図９Ｂを用いて説明した脈波推定装置１のハードウェア構成と同様であるため、図示を省略する。
実施の形態３において、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７と、重み係数算出部１９の機能は、処理回路１０１により実現される。すなわち、脈波推定装置１ｂは、第１期間に取得された撮像画像における被験者の肌領域に対して設定された複数の計測領域ｒｉ（ｋ）の輝度変化を示す脈波元信号ｗｉ（ｔ）を部分的に抽出した複数の脈波元信号セグメントを生成し、独立成分分析又は主成分分析等の技術を用いて脈波元信号セグメントから脈波成分を分離し、分離した脈波成分から被験者の脈波を推定する制御を行うための処理回路１０１を備える。

処理回路１０１は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７と、重み係数算出部１９の機能を実行する。すなわち、脈波推定装置１ｂは、処理回路１０１により実行されるときに、上述の図１４のステップＳＴ３１～ステップＳＴ３７が結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７と、重み係数算出部１９の処理の手順又は方法をコンピュータに実行させるものであるともいえる。
図示しない記憶部は、例えば、メモリ１０５で構成される。
また、脈波推定装置１ｂは、撮像装置３等の装置と、有線通信又は無線通信を行う入力インタフェース装置１０２及び出力インタフェース装置１０３を備える。

なお、以上の実施の形態３では、被験者は車両のドライバとしたが、これは一例に過ぎない。被験者は、車両のドライバ以外の乗員としてもよい。

また、以上の実施の形態３では、脈波推定装置１ｂは車載装置とし、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７と、重み係数算出部１９は、車載装置に備えられていた。
これに限らず、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７と、重み係数算出部１９のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとでシステムを構成してもよい。
また、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、セグメント生成部１５と、脈波推定部１６と、出力部１７と、重み係数算出部１９が全部サーバに備えられてもよい。

また、以上の実施の形態３に係る脈波推定装置１ｂは、車両に搭載される車載装置に限らず、例えば、家電機器に適用することもできる。また、被験者は、車両の乗員に限らず、様々な人とできる。

以上のように、実施の形態３によれば、脈波推定装置１ｂは、実施の形態１に係る脈波推定装置１の構成に加え、複数の脈波元信号セグメントそれぞれに対する重み係数（セグメント重み）を算出する重み係数算出部１９を備え、脈波推定部１６は、脈波元信号セグメントと重み係数（セグメント重み）とに基づいて人（被験者）の脈波を推定するように構成した。そのため、脈波推定装置１ｂは、複数の計測領域ｒｉ（ｋ）から抽出される脈波元信号ｗｉ（ｔ）がノイズ成分を多く含む信号であるか否かを考慮しない場合よりも精度よく人の脈波を推定することができる。

詳細には、脈波推定装置１ｂにおいて、重み係数算出部１９は、脈波元信号セグメントの抽出元となった脈波元信号ｗｉ（ｔ）における信号の変動の大きさに基づいて、複数の脈波元信号セグメントそれぞれに対する重み係数（セグメント重み）を算出する。そのため、脈波推定装置１ｂは、複数の計測領域ｒｉ（ｋ）から抽出される脈波元信号ｗｉ（ｔ）がノイズ成分を多く含む信号であるか否かを考慮しない場合よりも精度よく人の脈波を推定することができる。

以上の実施の形態１～３において、脈波推定装置１，１ａ，１ｂは、公知の一般的な信号分離技術を用いて推定した複数の主成分を示す複数の分離信号に対して重み係数（以下「成分重み」という。）を設定し、複数の分離信号と設定した分離信号毎の成分重みとに基づいて計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を復元する機能を有してもよい。

図１５は、実施の形態１～３において、脈波推定装置１，１ａ，１ｂが、公知の一般的な信号分離技術を用いて推定した複数の主成分を示す複数の分離信号に対して成分重みを設定し、複数の分離信号と設定した分離信号毎の成分重みとに基づいて計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を復元する機能を有するようにした場合の、脈波推定部１６ａの構成例を示す図である。
脈波推定装置１，１ａ，１ｂは、上記機能を有する場合、以上の実施の形態１～３において図１、図１０、又は、図１２を用いて説明した脈波推定装置１，１ａ，１ｂの構成例において、脈波推定部１６に代えて、図１５に示すような脈波推定部１６ａを備えるようにする。

脈波推定部１６ａの復元部１６２は、信号分離部１６１から出力された分離信号毎の成分重みを設定する成分重み設定部１６２１を備える。
復元部１６２は、信号分離部１６１から出力された複数の分離信号と、成分重み設定部１６２１が設定した分離信号毎の成分重みとに基づいて計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を復元する。
推定部１６３は、復元部１６２が複数の分離信号と分離信号毎の成分重みとに基づいて復元した生成した脈波元信号ｗｉ（ｔ）に基づいて、被験者の脈波を推定する。

成分重み設定部１６２１が成分重みを設定する方法例について、いくつか説明する。

成分重み設定部１６２１は、例えば、複数の分離信号間の周波数特性の類似性に基づいて分離信号毎の成分重みを設定する。
詳細には、成分重み設定部１６２１は、まず、各分離信号に対し高速フーリエ変換等を行い、各分離信号の周波数パワースペクトルにおけるピーク周波数を算出する。
次に、成分重み設定部１６２１は、複数の主成分を示す複数の分離信号について、隣り合う分離信号のペアを作り、隣り合う分離信号のピーク周波数の差分（以下「ピーク差分」という。）を算出する。なお、「隣り合う主成分」とは、含む情報量が多い順に分離信号を並べた場合に前後の順番となる分離信号のことを意味する。そして、成分重み設定部１６２１は、算出したピーク差分が予め設定された閾値（以下「ピーク差分判定用閾値」という。）よりも大きいか否かを判定する。成分重み設定部１６２１は、ピーク差分がピーク差分判定用閾値よりも大きい場合、当該ピーク差分が算出される対象となった分離信号の成分重みを「０」とし、当該ピーク差分がピーク差分判定用閾値以下であれば成分重みを「１」とする。

成分重みが「０」である場合、分離信号間の周波数特性の類似性は低いといえ、成分重みが「１」である場合、分離信号間の周波数特性の類似性は高いといえる。脈波成分は、一定の周期で繰り返しあらわれる特性を有していることから、周波数特性の類似性が高いということは、当該周波数特性を持つ分離信号は、脈波成分を多く含む、言い換えれば、脈波成分らしい、分離信号であると想定される。成分重み設定部１６２１は、脈波成分らしい分離信号に大きい成分重みを付与することで、推定部１６３が、脈波成分らしい分離信号に基づいて被験者の脈波を推定できるようにする。

具体例を挙げると、例えば、信号分離部１６１から出力された複数の分離信号が、実施の形態１において図５及び図６を用いて説明したような、第１主成分ｃ１、・・・、第Ｃ主成分ｃＣを示すＣ個の分離信号であったとする。ここで、第１主成分ｃ１を示す分離信号を第１分離信号、第２主成分ｃ２を示す分離信号を第２分離信号、第３主成分ｃ３を示す分離信号を第３分離信号、第４主成分ｃ４を示す分離信号を第４分離信号、第５主成分ｃ５を示す分離信号を第５分離信号、・・・、第（Ｃ－１）主成分ｃ（Ｃ－１）を示す分離信号を第（Ｃ－１）分離信号、第Ｃ主成分ｃＣを示す信号を第Ｃ分離信号とする。
この場合、成分重み設定部１６２１は、第１分離信号と第２分離信号のペアを作り、第１分離信号のピーク周波数と第２分離信号のピーク周波数とのピーク差分を算出し、算出したピーク差分がピーク差分判定用閾値よりも大きいか否かを判定する。成分重み設定部１６２１は、ピーク差分がピーク差分判定用閾値よりも大きい場合、第１分離信号及び第２分離信号の成分重みをともに「０」とし、ピーク差分がピーク差分判定用閾値以下である場合、第１分離信号及び第２分離信号の成分重みをともに「１」とする。
また、成分重み設定部１６２１は、第３分離信号と第４分離信号のペアを作り、第３分離信号のピーク周波数と第４分離信号のピーク周波数とのピーク差分を算出し、算出したピーク差分がピーク差分判定用閾値よりも大きいか否かを判定する。成分重み設定部１６２１は、ピーク差分がピーク差分判定用閾値よりも大きい場合、第３分離信号及び第４分離信号の成分重みをともに「０」とし、ピーク差分がピーク差分判定用閾値以下である場合、第３分離信号及び第４分離信号の成分重みをともに「１」とする。
成分重み設定部１６２１は、第５分離信号及び第６分離信号のペア、第７分離信号及び第８分離信号のペア、・・・・第（Ｃ－１）分離信号及び第Ｃ分離信号のペアに対しても、上述したような処理を行い、全ての分離信号に対して、成分重みを設定する。

復元部１６２は、信号分離部１６１から出力された複数の分離信号のうち、成分重み設定部１６２１が成分重み「０」を設定した分離信号については破棄し、成分重み設定部１６２１が成分重み「１」を設定した分離信号のみに基づいて、計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を復元する。
そして、推定部１６３は、復元部１６２が、成分重み「１」の分離信号のみに基づいて復元した脈波元信号ｗｉ（ｔ）に基づいて、被験者の脈波を推定する。推定部１６３は、脈波成分らしい分離信号に基づいて被験者の脈波を推定できるので、被験者の脈波の推定精度を向上させることができる。

なお、上述の具体例では、成分重み設定部１６２１は、隣り合う分離信号のペアを作り、隣り合う分離信号のピーク周波数のピーク差分を算出したが、これは一例に過ぎない。例えば、成分重み設定部１６２１は、全ペアで差分を算出し、重み付け平均値を成分重みとしてもよい。
例えば、成分重み設定部１６２１は、Ｃ個の分離信号のうち、ある分離信号（基準分離信号とする）について、その他の（Ｃ－１）個の分離信号とのピーク周波数の差分をそれぞれ算出し、算出した（Ｃ－１）個の差分に応じた当該差分の重み付け平均値を、基準分離信号の差分値とする。そして、成分重み設定部１６２１は、基準分離信号の差分値が閾値よりも大きければ基準分離信号に対する成分重みは「０」、閾値以下であれば基準分離信号に対する成分重みは「１」とする。成分重み設定部１６２１は、以上のような処理を全ての分離信号を基準分離信号にして行う。成分重み設定部１６２１は、重み付け平均値の大きさに応じた値を成分重みとしてもよい。

成分重み設定部１６２１は、例えば、複数の分離信号が生成される際に当該分離信号に付与される射影係数に基づき複数の分離信号間の射影係数の相関係数を算出し、相関係数に基づいて分離信号毎の成分重みを設定してもよい。

詳細には、成分重み設定部１６２１は、まず、各分離信号に対し、計測領域ｒｉ（ｋ）毎に、当該計測領域ｒｉ（ｋ）に対応する複数の脈波元信号セグメントに付与されている射影係数を時系列的に表現した情報（以下「射影係数時系列情報」という。）を生成する。成分重み設定部１６２１は、分離信号毎に、計測領域ｒｉ（ｋ）の数（Ｎ個）の分だけ、射影係数時系列情報を生成することになる。すなわち、分離信号がＣ個とすると、成分重み設定部１６２１は、Ｃ×Ｎ個の射影係数時系列情報を生成することになる。
次に、成分重み設定部１６２１は、分離信号毎に、生成した射影係数時系列情報の相関関係を判定し、相関係数を算出する。具体的には、成分重み設定部１６２１は、ある分離信号において、生成されたＮ個の射影係数時系列情報について、全通りのペアを作り、射影係数時系列情報のペア毎に、相関係数をそれぞれ算出する。なお、相関係数は、射影係数時系列情報の位相の一致度合いを示す。成分重み設定部１６２１は、ペア毎に算出した相関係数の平均値を、その分離信号の成分重みとする。

ここでは、脈波推定装置１，１ａ，１ｂは、位相が揃っている信号成分は脈波成分らしい、という前提を置き、計測領域ｒｉ（ｋ）間で射影係数の時系列変化が類似していれば、言い換えれば、計測領域ｒｉ（ｋ）間で射影係数時系列情報の位相が揃っていれば、各計測領域ｒｉ（ｋ）の各脈波元信号セグメントに対してそのような射影係数が付与された分離信号が、脈波成分を多く含んだ脈波成分らしい分離信号であると想定する。成分重み設定部１６２１は、脈波成分らしい分離信号に大きい重み係数を付与することで、推定部１６３が、脈波成分らしい分離信号に基づいて被験者の脈波を推定できるようにする。

具体例を挙げると、例えば、信号分離部１６１から出力された複数の分離信号が、実施の形態１において図５及び図６を用いて説明したような、第１主成分ｃ１、・・・、第Ｃ主成分ｃＣを示すＣ個の分離信号であったとする。ここで、第１主成分ｃ１を示す分離信号を第１分離信号、第２主成分ｃ２を示す分離信号を第２分離信号、第３主成分ｃ３を示す分離信号を第３分離信号、第４主成分ｃ４を示す分離信号を第４分離信号、第５主成分ｃ５を示す分離信号を第５分離信号、・・・、第（Ｃ－１）主成分ｃ（Ｃ－１）を示す分離信号を第（Ｃ－１）分離信号、第Ｃ主成分ｃＣを示す分離信号を第Ｃ分離信号とする。
この場合、成分重み設定部１６２１は、まず、各分離信号に対し、計測領域ｒｉ（ｋ）（第１計測領域、第２計測領域、第３計測領域、及び、第４計測領域）毎に射影係数時系列情報を生成する。

ここで、図１６は、成分重み設定部１６２１が生成する射影係数時系列情報の一例のイメージを示す図である。
図１６は、一例として、成分重み設定部１６２１が第１分離信号について生成した射影係数時系列情報としている。成分重み設定部１６２１は、第１分離信号について、第１計測領域、第２計測領域、第３計測領域、及び、第４計測領域それぞれの射影係数時系列情報を生成する。
なお、図１６では、一例として、第１分離信号について生成された射影係数時系列情報を示しているが、成分重み設定部１６２１は、第２分離信号～第Ｃ分離信号についても、計測領域ｒｉ（ｋ）毎の射影係数時系列情報を生成する。

次に、成分重み設定部１６２１は、例えば、まず第１分離信号において、第１計測領域の射影係数時系列情報（図１６にて１６０１で示す）、第２計測領域の射影係数時系列情報（図１６にて１６０２で示す）、第３計測領域の射影係数時系列情報（図１６にて１６０３で示す）、及び、第４計測領域の射影係数時系列情報（図１６にて１６０４で示す）について、全通りのペアを作る。
ここでは、成分重み設定部１６２１は、第１計測領域の射影係数時系列情報と第２計測領域の射影係数時系列情報のペア（第１ペアとする）、第１計測領域の射影係数時系列情報と第３計測領域の射影係数時系列情報のペア（第２ペアとする）、第１計測領域の射影係数時系列情報と第４計測領域の射影係数時系列情報のペア（第３ペアとする）、第２計測領域の射影係数時系列情報と第３計測領域の射影係数時系列情報のペア（第４ペアとする）、第２計測領域の射影係数時系列情報と第４計測領域の射影係数時系列情報のペア（第５ペアとする）、及び、第３計測領域の射影係数時系列情報と第４計測領域の射影係数時系列情報のペア（第６ペアとする）を作る。
そして、成分重み設定部１６２１は、第１ペアの相関係数、第２ペアの相関係数、第３ペアの相関係数、第４ペアの相関係数、第５ペアの相関係数、及び、第６ペアの相関係数を、算出する。成分重み設定部１６２１は、算出した、第１ペアの相関係数、第２ペアの相関係数、第３ペアの相関係数、第４ペアの相関係数、第５ペアの相関係数、及び、第５ペアの相関係数の平均値を、第１主成分ｃ１を示す第１分離信号の成分重みとする。

成分重み設定部１６２１は、第２分離信号～第Ｃ分離信号についても、同様に、第１計測領域の射影係数時系列情報、第２計測領域の射影係数時系列情報、第３計測領域の射影係数時系列情報、第４計測領域の射影係数時系列情報の全通りのペアを作り、作ったペア毎に相関関係を判定して相関係数を算出する。そして、成分重み設定部１６２１は、算出したペア毎の相関係数の平均値を、成分重みとする。

復元部１６２は、信号分離部１６１から出力された複数の分離信号について、成分重み設定部１６２１が設定した成分重みに応じた重み付けを行って、計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を復元する。
例えば、復元部１６２は、（第１分離信号の成分重み×［ｐ１－１，ｐ１－２，・・・，ｐ１－Ｍ］＋第２分離信号の成分重み×［ｐ１－１，ｐ１－２，・・・，ｐ１－Ｍ］＋第３分離信号の成分重み×［ｐ１－１，ｐ１－２，・・・，ｐ１－Ｍ］＋・・・＋第Ｃ分離信号の成分重み×［ｐ１－１，ｐ１－２，・・・，ｐ１－Ｍ］）を、復元された第１計測領域の脈波元信号（ｔ）とする。

そして、推定部１６３は、復元部１６２が、成分重みに応じた重み付けを行って復元した脈波元信号ｗｉ（ｔ）に基づいて、被験者の脈波を推定する。推定部１６３は、脈波成分らしい分離信号に基づいて被験者の脈波を推定できるので、被験者の脈波の推定精度を向上させることができる。

なお、上述の具体例では、成分重み設定部１６２１は、分離信号毎に、射影係数時系列情報の全通りのペアを作るものとしたが、これは一例に過ぎない。成分重み設定部１６２１は、例えば、複数の射影係数時系列情報のうち、２つの射影係数時系列情報でペアを作ってもよい。上述の具体例でいうと、成分重み設定部１６２１は、例えば、第１計測領域の射影係数時系列情報と第２計測領域の射影係数時系列情報のペア（第７ペアとする）、第３計測領域の射影係数時系列情報と第４計測領域の射影係数時系列情報のペア（第８ペアとする）の、２組のペアを作ってもよい。この場合、成分重み設定部１６２１は、第７ペアの相関係数と第８ペアの相関係数を算出し、算出した、第６ペアの相関係数と第７ペアの相関係数の平均値を、第１主成分ｃ１を示す第１分離信号の成分重みとする。

また、上述の具体例では、成分重み設定部１６２１は、算出した相関係数の平均値を分離信号の成分重みとしたが、これは一例に過ぎない。成分重み設定部１６２１は、例えば、算出した相関係数の分散値を分離信号の成分重みとしてもよい。

以上の実施の形態１～３において、脈波推定装置１，１ａ，１ｂが、公知の一般的な信号分離技術を用いて推定した複数の主成分を示す複数の分離信号に対して成分重みを設定し、複数の分離信号と設定した分離信号毎の成分重みとに基づいて計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を復元する機能を有するようにした場合の、脈波推定部１６ａの動作について、図１７を用いて説明する。
実施の形態１～３において、脈波推定装置１，１ａ，１ｂが、公知の一般的な信号分離技術を用いて推定した複数の主成分を示す複数の分離信号に対して成分重みを設定し、複数の分離信号と設定した分離信号毎の成分重みとに基づいて計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を復元する機能を有するようにした場合、実施の形態１～３で説明した、図７のステップＳＴ６、図１１のステップＳＴ２９、及び、図１５のステップＳＴ３７の脈波推定処理の詳細は、図１７のフローチャートで示すような処理となる。

なお、図１７のステップＳＴ１１、ステップＳＴ１３の具体的な動作は、それぞれ、説明済みの図８のステップＳＴ１１、ステップＳＴ１３の具体的な動作と同様であるため、重複した説明を省略する。

脈波推定部１６ａの成分重み設定部１６２１は、ステップＳＴ１１にて信号分離部１６１から出力された分離信号毎の成分重みを設定する（ステップＳＴ１２－１）。

復元部１６２は、ステップＳＴ１にて信号分離部１６１から出力された複数の分離信号と、ステップＳＴ１２－１にて成分重み設定部１６２１が設定した分離信号毎の成分重みとに基づいて計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を復元する（ステップＳＴ１２－２）。

なお、ステップＳＴ１３において、推定部１６３は、復元部１６２が複数の分離信号と分離信号毎の成分重みとに基づいて復元した生成した脈波元信号ｗｉ（ｔ）に基づいて、被験者の脈波を推定することになる。

実施の形態１に係る脈波推定装置１、実施の形態２に係る脈波推定装置１ａ、又は、実施の形態３に係る脈波推定装置１ｂにおいて、復元部１６２ａが、分離信号毎の重み係数（成分重み）を設定する成分重み設定部１６２１を備え、復元部１６２ａは、複数の分離信号と分離信号毎の重み係数（成分重み）とに基づいて計測領域ｒｉ（ｋ）毎の脈波元信号ｗｉ（ｔ）を復元することで、脈波推定装置１，１ａ，１ｂは、脈波成分らしい分離信号に基づいて被験者の脈波を推定できるので、被験者の脈波の推定精度を向上させることができる。

なお、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

以下、本開示の諸態様を付記としてまとめて記載する。

（付記１）
人を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像から前記人の肌領域を検出する肌領域検出部と、
前記撮像画像上の前記肌領域に対応する領域に、第１期間における時系列の輝度変化を示す脈波元信号を抽出するための複数の計測領域を設定する計測領域設定部と、
前記計測領域毎に、当該計測領域における前記第１期間の前記輝度変化に基づき、前記脈波元信号を抽出する脈波元信号抽出部と、
前記計測領域毎に、当該計測領域から抽出された前記脈波元信号に基づき、セグメント生成用条件に従って、前記第１期間における前記脈波元信号のうちから第２期間分の前記脈波元信号を部分的に抽出した信号である脈波元信号セグメントを複数生成するセグメント生成部と、
前記計測領域毎に生成された複数の前記脈波元信号セグメントに基づいて前記人の脈波を推定する脈波推定部
とを備えた脈波推定装置。
（付記２）
前記セグメント生成用条件は、
前記第２期間は前記第１期間よりも短い期間であること、
ある計測領域における複数の前記脈波元信号セグメントについて、ある脈波元信号セグメントは他の脈波元信号セグメントと時間軸上で互いに完全に一致しない信号であること、
ある計測領域における複数の前記脈波元信号セグメントについて、ある脈波元信号セグメントは他の脈波元信号セグメントと時間軸上で部分的に重なる信号であること、
各計測領域において、ある脈波元信号セグメントが他の脈波元信号セグメントと時間軸上で部分的に重なる長さは同じであること、
及び、各計測領域における複数の前記脈波元信号セグメントの時間軸上の長さは互いに同じであること
を含むことを特徴とする付記１記載の脈波推定装置。
（付記３）
前記脈波推定部が推定した前記人の前記脈波に基づいて前記第２期間を算出し、当該第２期間の長さを示す情報を少なくとも含むセグメントパラメータを設定するパラメータ設定部を備え、
前記セグメント生成部は、前記セグメントパラメータに従って前記第２期間を設定する
ことを特徴とする付記１または付記２記載の脈波推定装置。
（付記４）
前記パラメータ設定部は、前記第２期間が、前記脈波推定部が推定した前記人の前記脈波の１周期分の時間となるよう、前記第２期間を算出する
ことを特徴とする付記３記載の脈波推定装置。
（付記５）
複数の前記脈波元信号セグメントそれぞれに対する重み係数を算出する重み係数算出部を備え、
前記脈波推定部は、前記脈波元信号セグメントと前記重み係数とに基づいて前記人の前記脈波を推定する
ことを特徴とする付記１から付記４のうちのいずれか１つ記載の脈波推定装置。
（付記６）
前記重み係数算出部は、前記脈波元信号セグメントの抽出元となった前記脈波元信号における信号の変動の大きさに基づいて、複数の前記脈波元信号セグメントそれぞれに対する前記重み係数を算出する
ことを特徴とする付記５記載の脈波推定装置。
（付記７）
前記脈波推定部は、
複数の前記脈波元信号セグメントに基づいて複数の信号成分を示す分離信号を生成する信号分離部と、
複数の前記分離信号に基づいて前記計測領域毎の前記脈波元信号を復元する復元部と、
復元された前記計測領域毎の前記脈波元信号に基づき、前記人の前記脈波を推定する推定部とを備える
ことを特徴とする付記１から付記６のうちのいずれか１つ記載の脈波推定装置。
（付記８）
前記復元部は、
前記分離信号毎の重み係数を設定する成分重み設定部を備え、
複数の前記分離信号と前記分離信号毎の前記重み係数とに基づいて前記計測領域毎の前記脈波元信号を復元する
ことを特徴とする付記７記載の脈波推定装置。
（付記９）
前記成分重み設定部は、
複数の前記分離信号間の周波数特性の類似性に基づいて前記分離信号毎の前記重み係数を設定する
ことを特徴とする付記８記載の脈波推定装置。
（付記１０）
前記成分重み設定部は、
複数の前記分離信号が生成される際に当該分離信号に付与される射影係数に基づき複数の前記分離信号間の前記射影係数の相関係数を算出し、前記相関係数に基づいて前記分離信号毎の前記重み係数を設定する
ことを特徴とする付記８記載の脈波推定装置。
（付記１１）
撮像画像取得部が、人を撮像した撮像画像を取得するステップと、
肌領域検出部が、前記撮像画像から前記人の肌領域を検出するステップと、
計測領域設定部が、前記撮像画像上の前記肌領域に対応する領域に、第１期間における時系列の輝度変化を示す脈波元信号を抽出するための複数の計測領域を設定するステップと、
脈波元信号抽出部が、前記計測領域毎に、当該計測領域における前記第１期間の前記輝度変化に基づき、前記脈波元信号を抽出するステップと、
セグメント生成部が、前記計測領域毎に、当該計測領域から抽出された前記脈波元信号に基づき、セグメント生成用条件に従って、前記第１期間における前記脈波元信号のうちから第２期間分の前記脈波元信号を部分的に抽出した信号である脈波元信号セグメントを複数生成するステップと、
脈波推定部が、前記計測領域毎に生成された複数の前記脈波元信号セグメントに基づいて前記人の脈波を推定するステップ
とを備えた脈波推定方法。

本開示に係る脈波推定装置は、複数の計測領域から抽出された輝度信号に位相差が生じていても、当該輝度信号に基づく人の脈波の推定を行うことができる。

１，１ａ，１ｂ 脈波推定装置、１１ 撮像画像取得部、１２ 肌領域検出部、１３ 計測領域設定部、１４ 脈波元信号抽出部、１５ セグメント生成部、１６，１６ａ 脈波推定部、１６１ 信号分離部、１６２，１６２ａ 復元部、１６２１ 成分重み設定部、１６３ 推定部、１７ 出力部、１８ パラメータ設定部、１９ 重み係数算出部、３ 撮像装置、１０１ 処理回路、１０２ 入力インタフェース装置、１０３ 出力インタフェース装置、１０４ プロセッサ、１０５ メモリ。

Claims (12)

1. 人を撮像した撮像画像を取得する撮像画像取得部と、
   前記撮像画像から前記人の肌領域を検出する肌領域検出部と、
   前記撮像画像上の前記肌領域に対応する領域に、第１期間における時系列の輝度変化を示す脈波元信号を抽出するための複数の計測領域を設定する計測領域設定部と、
   前記計測領域毎に、当該計測領域における前記第１期間の前記輝度変化に基づき、前記脈波元信号を抽出する脈波元信号抽出部と、
   前記計測領域毎に、当該計測領域から抽出された前記脈波元信号に基づき、セグメント生成用条件に従って、前記第１期間における前記脈波元信号のうちから第２期間分の前記脈波元信号を部分的に抽出した信号である脈波元信号セグメントを複数生成するセグメント生成部と、
   前記計測領域毎に生成された複数の前記脈波元信号セグメントに基づいて前記人の脈波を推定する脈波推定部と、
   前記脈波推定部が推定した前記人の前記脈波に基づいて前記第２期間を算出し、当該第２期間の長さを示す情報を少なくとも含むセグメントパラメータを設定するパラメータ設定部を備え、
   前記セグメント生成部は、前記セグメントパラメータに従って前記第２期間を設定する
   ことを特徴とする脈波推定装置。
2. 前記パラメータ設定部は、前記第２期間が、前記脈波推定部が推定した前記人の前記脈波の１周期分の時間となるよう、前記第２期間を算出する
   ことを特徴とする請求項１記載の脈波推定装置。
3. 人を撮像した撮像画像を取得する撮像画像取得部と、
   前記撮像画像から前記人の肌領域を検出する肌領域検出部と、
   前記撮像画像上の前記肌領域に対応する領域に、第１期間における時系列の輝度変化を示す脈波元信号を抽出するための複数の計測領域を設定する計測領域設定部と、
   前記計測領域毎に、当該計測領域における前記第１期間の前記輝度変化に基づき、前記脈波元信号を抽出する脈波元信号抽出部と、
   前記計測領域毎に、当該計測領域から抽出された前記脈波元信号に基づき、セグメント生成用条件に従って、前記第１期間における前記脈波元信号のうちから第２期間分の前記脈波元信号を部分的に抽出した信号である脈波元信号セグメントを複数生成するセグメント生成部と、
   前記計測領域毎に生成された複数の前記脈波元信号セグメントに基づいて前記人の脈波を推定する脈波推定部と、
   複数の前記脈波元信号セグメントそれぞれに対する重み係数を算出する重み係数算出部を備え、
   前記脈波推定部は、前記脈波元信号セグメントと前記重み係数とに基づいて前記人の前記脈波を推定する
   ことを特徴とする脈波推定装置。
4. 前記重み係数算出部は、前記脈波元信号セグメントの抽出元となった前記脈波元信号における信号の変動の大きさに基づいて、複数の前記脈波元信号セグメントそれぞれに対する前記重み係数を算出する
   ことを特徴とする請求項３記載の脈波推定装置。
5. 人を撮像した撮像画像を取得する撮像画像取得部と、
   前記撮像画像から前記人の肌領域を検出する肌領域検出部と、
   前記撮像画像上の前記肌領域に対応する領域に、第１期間における時系列の輝度変化を示す脈波元信号を抽出するための複数の計測領域を設定する計測領域設定部と、
   前記計測領域毎に、当該計測領域における前記第１期間の前記輝度変化に基づき、前記脈波元信号を抽出する脈波元信号抽出部と、
   前記計測領域毎に、当該計測領域から抽出された前記脈波元信号に基づき、セグメント生成用条件に従って、前記第１期間における前記脈波元信号のうちから第２期間分の前記脈波元信号を部分的に抽出した信号である脈波元信号セグメントを複数生成するセグメント生成部と、
   前記計測領域毎に生成された複数の前記脈波元信号セグメントに基づいて前記人の脈波を推定する脈波推定部とを備え、
   前記脈波推定部は、
   複数の前記脈波元信号セグメントに基づいて複数の信号成分を示す分離信号を生成する信号分離部と、
   複数の前記分離信号に基づいて前記計測領域毎の前記脈波元信号を復元する復元部と、
   復元された前記計測領域毎の前記脈波元信号に基づき、前記人の前記脈波を推定する推定部とを備える
   ことを特徴とする脈波推定装置。
6. 前記復元部は、
   前記分離信号毎の重み係数を設定する成分重み設定部を備え、
   複数の前記分離信号と前記分離信号毎の前記重み係数とに基づいて前記計測領域毎の前記脈波元信号を復元する
   ことを特徴とする請求項５記載の脈波推定装置。
7. 前記成分重み設定部は、
   複数の前記分離信号間の周波数特性の類似性に基づいて前記分離信号毎の前記重み係数を設定する
   ことを特徴とする請求項６記載の脈波推定装置。
8. 前記成分重み設定部は、
   複数の前記分離信号が生成される際に当該分離信号に付与される射影係数に基づき複数の前記分離信号間の前記射影係数の相関係数を算出し、前記相関係数に基づいて前記分離信号毎の前記重み係数を設定する
   ことを特徴とする請求項６記載の脈波推定装置。
9. 前記セグメント生成用条件は、
   前記第２期間は前記第１期間よりも短い期間であること、
   ある計測領域における複数の前記脈波元信号セグメントについて、ある脈波元信号セグメントは他の脈波元信号セグメントと時間軸上で互いに完全に一致しない信号であること、
   ある計測領域における複数の前記脈波元信号セグメントについて、ある脈波元信号セグメントは他の脈波元信号セグメントと時間軸上で部分的に重なる信号であること、
   各計測領域において、ある脈波元信号セグメントが他の脈波元信号セグメントと時間軸上で部分的に重なる長さは同じであること、
   及び、各計測領域における複数の前記脈波元信号セグメントの時間軸上の長さは互いに同じであること
   を含むことを特徴とする請求項１から請求項８のうちのいずれか１項記載の脈波推定装置。
10. 撮像画像取得部が、人を撮像した撮像画像を取得するステップと、
    肌領域検出部が、前記撮像画像から前記人の肌領域を検出するステップと、
    計測領域設定部が、前記撮像画像上の前記肌領域に対応する領域に、第１期間における時系列の輝度変化を示す脈波元信号を抽出するための複数の計測領域を設定するステップと、
    脈波元信号抽出部が、前記計測領域毎に、当該計測領域における前記第１期間の前記輝度変化に基づき、前記脈波元信号を抽出するステップと、
    セグメント生成部が、前記計測領域毎に、当該計測領域から抽出された前記脈波元信号に基づき、セグメント生成用条件に従って、前記第１期間における前記脈波元信号のうちから第２期間分の前記脈波元信号を部分的に抽出した信号である脈波元信号セグメントを複数生成するステップと、
    脈波推定部が、前記計測領域毎に生成された複数の前記脈波元信号セグメントに基づいて前記人の脈波を推定するステップと、
    パラメータ設定部が、前記脈波推定部が推定した前記人の前記脈波に基づいて前記第２期間を算出し、当該第２期間の長さを示す情報を少なくとも含むセグメントパラメータを設定するステップを備え、
    前記セグメント生成部は、前記セグメントパラメータに従って前記第２期間を設定する
    ことを特徴とする脈波推定方法。
11. 撮像画像取得部が、人を撮像した撮像画像を取得するステップと、
    肌領域検出部が、前記撮像画像から前記人の肌領域を検出するステップと、
    計測領域設定部が、前記撮像画像上の前記肌領域に対応する領域に、第１期間における時系列の輝度変化を示す脈波元信号を抽出するための複数の計測領域を設定するステップと、
    脈波元信号抽出部が、前記計測領域毎に、当該計測領域における前記第１期間の前記輝度変化に基づき、前記脈波元信号を抽出するステップと、
    セグメント生成部が、前記計測領域毎に、当該計測領域から抽出された前記脈波元信号に基づき、セグメント生成用条件に従って、前記第１期間における前記脈波元信号のうちから第２期間分の前記脈波元信号を部分的に抽出した信号である脈波元信号セグメントを複数生成するステップと、
    脈波推定部が、前記計測領域毎に生成された複数の前記脈波元信号セグメントに基づいて前記人の脈波を推定するステップと、
    重み係数算出部が、複数の前記脈波元信号セグメントそれぞれに対する重み係数を算出するステップを備え、
    前記脈波推定部は、前記脈波元信号セグメントと前記重み係数とに基づいて前記人の前記脈波を推定する
    ことを特徴とする脈波推定方法。
12. 撮像画像取得部が、人を撮像した撮像画像を取得するステップと、
    肌領域検出部が、前記撮像画像から前記人の肌領域を検出するステップと、
    計測領域設定部が、前記撮像画像上の前記肌領域に対応する領域に、第１期間における時系列の輝度変化を示す脈波元信号を抽出するための複数の計測領域を設定するステップと、
    脈波元信号抽出部が、前記計測領域毎に、当該計測領域における前記第１期間の前記輝度変化に基づき、前記脈波元信号を抽出するステップと、
    セグメント生成部が、前記計測領域毎に、当該計測領域から抽出された前記脈波元信号に基づき、セグメント生成用条件に従って、前記第１期間における前記脈波元信号のうちから第２期間分の前記脈波元信号を部分的に抽出した信号である脈波元信号セグメントを複数生成するステップと、
    脈波推定部が、前記計測領域毎に生成された複数の前記脈波元信号セグメントに基づいて前記人の脈波を推定するステップとを備え、
    前記脈波推定部が前記人の前記脈波を推定するステップにおいて、
    信号分離部が、複数の前記脈波元信号セグメントに基づいて複数の信号成分を示す分離信号を生成するステップと、
    復元部が、複数の前記分離信号に基づいて前記計測領域毎の前記脈波元信号を復元するステップと、
    推定部が、復元された前記計測領域毎の前記脈波元信号に基づき、前記人の前記脈波を推定するステップとを備える
    ことを特徴とする脈波推定方法。

Images