WO2018167844A1 - ヘッドアップディスプレイ装置とその画像表示方法 - Google Patents

Abstract

表示オブジェクトを立体的に表示する場合でも空間内の状況に適合した自然な表示が可能な優れたヘッドアップディスプレイ装置とその画像表示方法を提供する。車両の前方に表示オブジェクトの画像を投射することで、運転者に対して前記車両の前方の空間に前記表示オブジェクトの虚像を表示するヘッドアップディスプレイ装置であって、前記車両が検知することができる各種の車両情報を取得する車両情報取得部と、前記車両情報取得部が取得した前記車両情報に基づいて、前記空間における前記表示オブジェクトの表示を制御する制御部と、前記制御部からの指示に基づいて前記表示オブジェクトを形成する画像表示装置とを有しており、前記車両情報取得部は、前記車両の前方空間の深度情報を入力する空間深度入力手段を含んでおり、前記制御部は、前記空間の深度情報に基づいて、前記空間内に表示する前記表示オブジェクトの一部の表示を制御する機能を有するヘッドアップディスプレイ装置。

Description

ヘッドアップディスプレイ装置とその画像表示方法

　本発明は、ヘッドアップディスプレイ装置の技術に関し、特に、ＡＲ（Augmented Reality：拡張現実）を利用して行先案内オブジェクトを道路にマッピング表示可能なヘッドアップディスプレイ装置に適用して有効な技術に関するものである。

　自動車等の車両において、通常は、車速やエンジン回転数などの情報は、ダッシュボード内の計器盤（インパネ）に表示される。また、カーナビゲーションなどの画面は、ダッシュボードに組み込まれ、もしくは、ダッシュボード上に設置されたディスプレイに表示される。運転者がこれらの情報を視認する場合に視線を大きく移動させることが必要となることから、視線の移動量を低減させる技術として、車速等の情報や車両の進行方向の指示等の情報のフロントガラス（ウィンドシールド）に虚像として投射して表示するヘッドアップディスプレイ（Head Up Display、以下では「ＨＵＤ」と記載する場合がある）が知られている。

　例えば、特開２００７－５５３６５号公報（特許文献１）には、ＨＵＤに距離スケールを表示する際に、ナビゲーション装置の地図データから、自車両が現在走行している走行地点情報と、自車両が走行するであろう走行予定地点情報とを取得し、これに基づいて自車両が走行する道路の傾斜角度を取得して、傾斜角度に応じた補正係数を用いて距離スケールの地面からの表示高さを補正して表示することが記載されている。

　また、特開２００６－７８６７号公報（特許文献２）には、検出した右左折、加減速などの走行状況に応じて、生成した画像の表示位置を、例えば、左折を検出した場合には左の方向にシフトし、右折を検出した場合には右の方向にシフトする、などのように制御することが記載されている。

特開２００７－５５３６５号公報 特開２００６－７８６７号公報

　ＨＵＤは、画像をウィンドシールドまたはコンバイナに投射することで、当該映像を車外における虚像として運転者に認識させるものである。これに対し、ウィンドシールドまたはコンバイナ越しに見える車外の実際の風景（空間）に虚像を重畳させるように表示することで、対象物等に係る情報を運転者に示すことを可能とするいわゆるＡＲ機能を実現するＨＵＤ（以下では「ＡＲ－ＨＵＤ」と記載する場合がある）が知られている。このようなＡＲ－ＨＵＤにおいても、車両の走行状況等に応じて表示映像の視認性や適切性等を維持するための調整を行う必要がある。

　この点、例えば、上記の特許文献１や２に記載されたような技術を用いることで、車両が走行状況に応じて、表示映像（虚像）の視認性や適切性に与える影響を低減・解消させることが可能である。一方で、これらの技術では、ＨＵＤにおける虚像の表示領域内に表示される映像を対象として、その表示位置や表示内容等を走行状況に応じて調整するものである。しかしながら、上記の従来技術では、行先案内などのオブジェクトを道路に重畳して表示する場合、以下の実施の形態においても詳述するような不自然な表示が生じてしまうという課題があった。

　そこで本発明では、車両の走行状況に応じて虚像を実際の空間に適合させて重畳して表示することを可能とする方法と装置であって、例えば、車両の進行方向を示す行先案内オブジェクト（矢印）のように、特に、表示空間内にオブジェクトを立体的に表示する場合においても、前景の状況に適合した自然な表示が可能な優れたヘッドアップディスプレイ装置とそのための画像表示方法を提供することを目的とする。なお、本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

　本発明の代表的な実施の形態によるヘッドアップディスプレイ装置は、車両のウィンドシールドまたはコンバイナに表示オブジェクトの画像を投射することで、運転者に対して前記車両の前方の空間に前記表示オブジェクトの虚像を表示するヘッドアップディスプレイ装置であって、前記車両が検知することができる各種の車両情報を取得する車両情報取得部と、前記車両情報取得部が取得した前記車両情報に基づいて、前記空間における前記表示オブジェクトの表示を制御する制御部と、前記制御部からの指示に基づいて前記表示オブジェクトを形成する画像表示装置と、を有しており、前記車両情報取得部は、前記車両の前方空間の深度情報を入力する空間深度入力手段を含んでおり、前記制御部は、前記空間の深度情報に基づいて、前記空間内に表示する前記表示オブジェクトの一部の表示を制御する機能を有するヘッドアップディスプレイ装置である。

　また、本発明の代表的な実施の形態によるヘッドアップディスプレイ装置の画像表示方法は、車両の前方空間の深度情報を入力する車両前方映像入力手段を含め、車両が検知することができる各種の車両情報を取得する車両情報取得部と、前記車両情報取得部が取得した前記車両情報に基づいて表示オブジェクトの表示を制御する制御部と、前記制御部からの指示に基づいて前記表示オブジェクトを形成する映像表示装置とを有しており、前記車両のウィンドシールドまたはコンバイナに前記表示オブジェクトを投射することで、運転者に対して前記車両の前方の風景に重畳させて虚像を表示するヘッドアップディスプレイ装置の画像表示方法であって、前記空間内に表示する前記表示オブジェクトの一部の表示を、前記車両前方映像入力手段からの前記空間の深度情報に基づいて制御する画像表示方法である。

　本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。即ち、本発明の代表的な実施の形態によれば、車両の進行方向を示す行先案内オブジェクトなど、表示空間内にオブジェクトを立体的に表示する場合においても、前景の状況に適合した自然な表示が可能な優れたヘッドアップディスプレイ装置とそのための画像表示方法を提供される。

本発明の一実施の形態におけるヘッドアップディスプレイ装置の動作概念の例について概要を示した図である。 本発明の一実施の形態であるヘッドアップディスプレイ装置の全体の構成例について概要を示した機能ブロック図である。 本発明の一実施の形態における車両情報の取得に係るハードウェア構成の例について概要を示した図である。 本発明の一実施の形態におけるヘッドアップディスプレイ装置の構成例について詳細を示した機能ブロック図である。 本発明の一実施の形態における初期動作の例について概要を示したフローチャートである。 本発明の一実施の形態における通常動作の例について概要を示したフローチャートである。 本発明の一実施の形態における明るさレベル調整処理の例について概要を示したフローチャートである。 （ａ）、（ｂ）は、本発明の一実施の形態において、障害物を考慮しない表示と障害物を考慮した表示を説明する図である。 （ａ）、（ｂ）、（ｃ）は、３Ｄ空間における視点から得られるＺバッファについて示す図である。 本発明の一実施の形態において実際に視差マップから深度を計算した深度マップの一例を示す図である。 本発明の一実施の形態における方式１の表示映像変更・生成処理の詳細を示したフローチャートである。 本発明の一実施の形態における方式１の表示映像変更・生成処理を示した説明図である。 本発明の一実施の形態における方式２の表示映像変更・生成処理の詳細を示したフローチャートである。 本発明の一実施の形態における方式２の表示映像変更・生成処理の詳細を示した説明図である。 （ａ）、（ｂ）は、本発明の描画用Ｚバッファおよび空間Ｚバッファを利用した画像表示処理の結果を示す図である。 本発明の一実施の形態における機能拡張１（音声との連動）の内容を示した説明図である。 （ａ）、（ｂ）は、本発明の一実施の形態における機能拡張２（深度マップのＯＮ／ＯＦＦ機能）の内容を示した説明図である。 本発明の一実施の形態における機能拡張３（オブジェクトを隠す領域／隠さない領域の定義機能）の内容を示した説明図である。 本発明の一実施の形態における機能拡張３を上記の方式１と組み合わせる場合の表示映像変更・生成処理を示した説明図である。 本発明の一実施の形態における機能拡張３を上記の方式２と組み合わせる場合の表示映像変更・生成処理を示した説明図である。 本発明の一実施の形態における機能拡張５（輝度変更機能）の内容を示した説明図である。 本発明の一実施の形態における機能拡張６（色度変更機能）の内容を示した説明図である。 本発明の一実施の形態における描画必須領域の変形例の内容を示した説明図である。 本発明の他の実施の形態における表示距離調整の動作概念について示した図である。 本発明の他の実施の形態における表示距離調整に係るハードウェア構成の例について示した図である。

　以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。

　（実施例１）
　本発明になる画像の表示方法の説明に先立ち、まず、本発明が適用されるヘッドアップディスプレイ装置の概要について以下に説明する。

　図１は、本発明の一実施の形態（実施例１）であるヘッドアップディスプレイ装置の動作概念の例について概要を示した図である。本実施の形態のＡＲ－ＨＵＤ１では、プロジェクタやＬＣＤ（Liquid Crystal Display）などからなる映像表示装置３０に表示された映像を、ミラー５１やミラー５２（例えば、自由曲面ミラーや光軸非対称の形状を有するミラー等）により反射させて、車両２のウィンドシールド３に投射する。

　運転者５は、ウィンドシールド３に投射された映像を見ることで、透明のウィンドシールド３を通してその前方に虚像として上記映像を視認する。本実施の形態では、ミラー５２の角度を調整することで、映像をウィンドシールド３に投射する位置を調整することにより、運転者５が見る虚像の表示位置を上下方向に調整することが可能である。そして、虚像を車外の風景（道路や建物、人等）に重畳させるようにその表示位置や表示距離を調整することで、ＡＲ機能を実現する。

　ここで、被投射部材はウィンドシールド３に限られず、映像が投射される部材であれば、コンバイナなど他の部材とすることができる。また、映像表示装置３０は、例えば、バックライトを有するプロジェクタやＬＣＤ（Liquid Crystal Display）等により構成される。自発光型のＶＦＤ（Vacuum Fluorescent Display）等であってもよい。

　図２は、本発明の一実施の形態であるヘッドアップディスプレイ装置の全体の構成例についての概要を示した機能ブロック図である。車両２に搭載されたＡＲ－ＨＵＤ１は、例えば、車両情報取得部１０、制御部２０、映像表示装置３０、表示距離調整機構４０、ミラー駆動部５０、ミラー５２、およびスピーカ６０からなる。なお、図２の例では、車両２の形状を乗用車のように表示しているが、特にこれに限られず、車両一般に適宜適用することができる。

　車両情報取得部１０は、車両２の各部に設置された後述するような各種のセンサ等の情報取得デバイスからなり、車両２で生じた各種イベントを検知したり、所定の間隔で走行状況に係る各種パラメータの値を検知・取得したりすることで車両情報４を取得して出力する。車両情報４には、図示するように、例えば、車両２の速度情報やギア情報、ハンドル操舵角情報、ランプ点灯情報、外光情報、距離情報、赤外線情報、エンジンＯＮ／ＯＦＦ情報、カメラ映像情報（車内／車外）、加速度ジャイロ情報、ＧＰＳ（Global Positioning System）情報、ナビゲーション情報、車車間通信情報、および路車間通信情報などが含まれ得る。

　制御部２０は、ＡＲ－ＨＵＤ１の動作を制御する機能を有し、例えば、ＣＰＵ（Central Processing Unit）とこれにより実行されるソフトウェアにより実装される。マイコンやＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実装されていてもよい。制御部２０は、図２にも示したように、車両情報取得部１０から取得した車両情報４等に基づいて、虚像として表示する映像を映像表示装置３０を駆動して形成し、これをミラー５２等によって適宜反射させることでウィンドシールド３に投射する。そして、後述するような手法により、虚像の表示領域の表示位置を調整したり、虚像の表示距離を調整したり等の制御を行う。

　映像表示装置３０は、上述したように、例えば、プロジェクタやＬＣＤにより構成されるデバイスであり、制御部２０からの指示に基づいて虚像を表示するための映像を形成してこれを投射したり表示したりする。表示距離調整機構４０は、制御部２０からの指示に基づいて、表示される虚像の運転者５からの距離を調整するための機構である。

　ミラー駆動部５０は、制御部２０からの指示に基づいてミラー５２の角度を調整し、虚像の表示領域の位置を上下方向に調整する。虚像の表示領域の位置の調整については後述する。スピーカ６０は、ＡＲ－ＨＵＤ１に係る音声出力を行う。例えば、ナビゲーションシステムの音声案内や、ＡＲ機能によって運転者５に警告等を通知する際の音声出力等を行うことができる。

　図３は、本実施の形態のヘッドアップディスプレイ装置における車両情報４の取得に係るハードウェア構成の例について概要を示した図である。ここでは主に車両情報取得部１０および制御部２０の一部のハードウェア構成について示す。車両情報４の取得は、例えば、ＥＣＵ（Electronic Control Unit）２１の制御の下、ＥＣＵ２１に接続された各種のセンサ等の情報取得デバイスにより行われる。

　これらの情報取得デバイスとして、例えば、車速センサ１０１、シフトポジションセンサ１０２、ハンドル操舵角センサ１０３、ヘッドライトセンサ１０４、照度センサ１０５、色度センサ１０６、測距センサ１０７、赤外線センサ１０８、エンジン始動センサ１０９、加速度センサ１１０、ジャイロセンサ１１１、温度センサ１１２、路車間通信用無線受信機１１３、車車間通信用無線受信機１１４、カメラ（車内）１１５、カメラ（車外）１１６、ＧＰＳ受信機１１７、およびＶＩＣＳ（Vehicle Information and Communication System：道路交通情報通信システム、登録商標（以下同様））受信機１１８などの各デバイスを有する。必ずしもこれら全てのデバイスを備えている必要はなく、また、他の種類のデバイスを備えていてもよい。備えているデバイスによって取得できる車両情報４を適宜用いることができる。

　車速センサ１０１は、車両２の速度情報を取得する。シフトポジションセンサ１０２は、車両２の現在のギア情報を取得する。ハンドル操舵角センサ１０３は、ハンドル操舵角情報を取得する。ヘッドライトセンサ１０４は、ヘッドライトのＯＮ／ＯＦＦに係るランプ点灯情報を取得する。照度センサ１０５および色度センサ１０６は、外光情報を取得する。測距センサ１０７は、車両２と外部の物体との間の距離情報を取得する。赤外線センサ１０８は、車両２の近距離における物体の有無や距離等に係る赤外線情報を取得する。エンジン始動センサ１０９は、エンジンＯＮ／ＯＦＦ情報を検知する。

　加速度センサ１１０およびジャイロセンサ１１１は、車両２の姿勢や挙動の情報として、加速度や角速度からなる加速度ジャイロ情報を取得する。温度センサ１１２は車内外の温度情報を取得する。路車間通信用無線受信機１１３および車車間通信用無線受信機１１４は、それぞれ、車両２と道路や標識、信号等との間の路車間通信により受信した路車間通信情報、および車両２と周辺の他の車両との間の車車間通信により受信した車車間通信情報を取得する。

　カメラ（車内）１１５およびカメラ（車外）１１６は、それぞれ、車内および車外の状況の動画像を撮影してカメラ映像情報（車内／車外）を取得する。カメラ（車内）１１５では、例えば、運転者５の姿勢や、眼の位置、動き等を撮影する。得られた動画像を解析することにより、例えば、運転者５の疲労状況や視線の位置などを把握することが可能である。また、カメラ（車外）１１６では、車両２の前方や後方等の周囲の状況を撮影する。得られた動画像を解析することにより、例えば、周辺の他の車両や人等の移動物の有無、建物や地形、路面状況（雨や積雪、凍結、凹凸等）などを把握することが可能である。

　ＧＰＳ受信機１１７およびＶＩＣＳ受信機１１８は、それぞれ、ＧＰＳ信号を受信して得られるＧＰＳ情報およびＶＩＣＳ信号を受信して得られるＶＩＣＳ情報を取得する。これらの情報を取得して利用するカーナビゲーションシステムの一部として実装されていてもよい。

　図４は、本実施の形態のヘッドアップディスプレイ装置の構成例について詳細を示した機能ブロック図である。図４の例では、映像表示装置３０がプロジェクタである場合を示しており、映像表示装置３０は、例えば、光源３１、照明光学系３２、および表示素子３３などの各部を有する。光源３１は、投射用の照明光を発生する部材であり、例えば、高圧水銀ランプやキセノンランプ、ＬＥＤ（Light Emitting Diode）光源、レーザー光源等を用いることができる。照明光学系３２は、光源３１で発生した照明光を集光し、より均一化して表示素子３３に照射する光学系である。表示素子３３は、投射する映像を生成する素子であり、例えば、透過型液晶パネル、反射型液晶パネル、ＤＭＤ（Digital Micromirror Device）パネル等を用いることができる。

　制御部２０は、より詳細には、ＥＣＵ２１、音声出力部２２、不揮発性メモリ２３、メモリ２４、光源調整部２５、歪み補正部２６、表示素子駆動部２７、表示距離調整部２８、およびミラー調整部２９などの各部を有する。ＥＣＵ２１は、図３に示したように、車両情報取得部１０を介して車両情報４を取得すると共に、取得した情報を必要に応じて不揮発性メモリ２３やメモリ２４に記録、格納したり読み出したりする。不揮発性メモリ２３には、各種制御のための設定値やパラメータなどの設定情報が格納されていてもよい。また、ＥＣＵ２１は、専用のプログラムを実行させる等により、ＡＲ－ＨＵＤ１として表示する虚像に係る映像データを生成する。

　音声出力部２２は、必要に応じてスピーカ６０を介して音声情報を出力する。光源調整部２５は、映像表示装置３０の光源３１の発光量を調整する。光源３１が複数ある場合にはそれぞれ個別に制御するようにしてもよい。歪み補正部２６は、ＥＣＵ２１が生成した映像について、映像表示装置３０によって車両２のウィンドシールド３に投射した場合に、ウィンドシールド３の曲率によって生じる映像の歪みを画像処理により補正する。表示素子駆動部２７は、歪み補正部２６による補正後の映像データに応じた駆動信号を表示素子３３に対して送り、投射する映像を生成させる。

　ミラー調整部２９は、虚像の表示領域自体の位置を調整する必要がある場合に、ミラー駆動部５０を介してミラー５２の角度を変更し、虚像の表示領域を上下に移動させる。

　＜ヘッドアップディスプレイ装置における処理動作＞
　図５は、本実施の形態のヘッドアップディスプレイ装置の初期動作の例について概要を示したフローチャートである。停止中の車両２においてイグニッションスイッチがＯＮされることでＡＲ－ＨＵＤ１の電源がＯＮされると（Ｓ０１）、ＡＲ－ＨＵＤ１は、制御部２０からの指示に基づいて、まず、車両情報取得部１０により車両情報を取得する（Ｓ０２）。そして、制御部２０は、車両情報４のうち、照度センサ１０５や色度センサ１０６等により取得した外光情報に基づいて好適な明るさレベルを算出し（Ｓ０３）、光源調整部２５により光源３１の発光量を制御して、算出した明るさレベルとなるように設定する（Ｓ０４）。例えば、外光が明るい場合には明るさレベルを高くし、暗い場合には明るさレベルを低く設定する。

　その後、ＥＣＵ２１により、虚像として表示する映像（例えば、初期画像）を決定、生成し（Ｓ０５）、生成した映像に対して歪み補正部２６により歪みを補正する処理を実施した後（Ｓ０６）、表示素子駆動部２７により表示素子３３を駆動・制御して、投射する映像を形成させる（Ｓ０７）。これにより、映像がウィンドシールド３に投射され、運転者５は虚像を視認することができるようになる。

　ＡＲ－ＨＵＤ１全体で、上述した一連の初期動作も含む各部の起動・始動が完了すると、ＨＵＤ－ＯＮ信号が出力されるが、制御部２０ではこの信号を受けたか否かを判定する（Ｓ０８）。受けていなければ、更にＨＵＤ－ＯＮ信号を一定時間待ち受け（Ｓ０９）、ステップＳ１１でＨＵＤ－ＯＮ信号を受けたと判定されるまで、ＨＵＤ－ＯＮ信号の待ち受け処理（Ｓ０９）を繰り返す。ステップＳ１１でＨＵＤ－ＯＮ信号を受けたと判定された場合は、後述するＡＲ－ＨＵＤ１の通常動作を開始し（Ｓ１０）、一連の初期動作を終了する。

　図６は、本実施の形態のヘッドアップディスプレイ装置の通常動作の例について概要を示したフローチャートである。通常動作においても、基本的な処理の流れは上述の図５に示した初期動作と概ね同様である。まず、ＡＲ－ＨＵＤ１は、制御部２０からの指示に基づいて、車両情報取得部１０により車両情報を取得する（Ｓ２１）。そして、制御部２０は、車両情報４のうち、照度センサ１０５や色度センサ１０６等により取得した外光情報に基づいて明るさレベル調整処理を行う（Ｓ２２）。

　図７は、本実施の形態のヘッドアップディスプレイ装置の明るさレベル調整処理の例について概要を示したフローチャートである。明るさレベル調整処理を開始すると、まず、取得した外光情報に基づいて好適な明るさレベルを算出する（Ｓ２２１）。そして、現状設定されている明るさレベルと比較することにより、明るさレベルの変更の要否を判定する（Ｓ２２２）。変更が不要である場合にはそのまま明るさレベル調整処理を終了する。一方、変更が必要である場合には、光源調整部２５により光源３１の発光量を制御して、変更後の明るさレベルとなるように設定し（Ｓ２２３）、明るさレベル調整処理を終了する。なお、ステップＳ２２２において、ステップＳ２２１で算出した好適な明るさレベルと、現状設定されている明るさレベルとの間に差分がある場合でも、差分が所定の閾値以上である場合にのみ明るさレベルの変更が必要であると判定するようにしてもよい。

　図６に戻り、その後、ＥＣＵ２１により、ステップＳ２１で取得した最新の車両情報４に基づいて、虚像として表示する映像を現状のものから必要に応じて変更し、変更後の映像を決定、生成する（Ｓ２３）。なお、車両情報４に基づいて表示内容を変更するパターンは、取得した車両情報４の内容やそれらの組み合わせ等に応じて多数のものがあり得る。例えば、速度情報が変化したことにより、常時表示されている速度表示の数値を変更する場合や、ナビゲーション情報に基づいて案内の矢印図形を表示／消去したり、矢印の形状や表示位置等を変更したりする場合など、様々なパターンがあり得る。

　その後、本実施の形態では、車両２の走行状況に応じて視認性や表示内容の適切性等を維持するための調整・補正処理を行う。まず、虚像の表示領域自体の位置を調整する必要がある場合に、ミラー駆動部５０を介してミラー５２の角度を変更し、虚像の表示領域を上下に移動させるミラー調整処理を行う（Ｓ２４）。その後更に、車両２の振動に対して表示領域内における映像の表示位置を補正する振動補正処理を行う（Ｓ２５）。

　その後、調整・補正した映像に対して歪み補正部２６により歪みを補正する処理を実施した後（Ｓ２６）、表示素子駆動部２７により表示素子３３を駆動・制御して投射する映像を形成させる（Ｓ２７）。

　上述した一連の通常動作を実行している際に、車両２の停止等に伴って電源ＯＦＦ等がなされると、ＡＲ－ＨＵＤ１に対してＨＵＤ－ＯＦＦ信号が出力されるが、制御部２０ではこの信号を受けたか否かを判定する（Ｓ２８）。ＨＵＤ－ＯＦＦ信号を受けていなければ、ステップＳ２１に戻って、ＨＵＤ－ＯＦＦ信号を受けるまで一連の通常動作を繰り返す。ＨＵＤ－ＯＦＦ信号を受けたと判定された場合は、一連の通常動作を終了する。

　以上に説明したように、上述した構成になるヘッドアップディスプレイ装置では、図２に示す制御部２０を構成するＥＣＵ２１において実行される各種の演算処理で使用される情報を格納するメモリ領域の一部を構成する描画バッファ（例えば、カラーバッファ）によれば、虚像を前方の風景（以下、「描画空間」または「空間」）に適切に重畳させてＡＲ機能を実現することが可能となる。

　＜深度情報を応用した描画制御＞
　一方、上述したヘッドアップディスプレイ装置では、描画されて表示されるオブジェクト（以下、「描画対象」または「表示オブジェクト」とも言う）によっては、虚像をより現実性（リアリティー）をもって自然に表示するため、当該オブジェクトを立体的（３次元的）に表現することが行われる場合がある（３Ｄ表現）。その際、例えば、図８（ａ）にも示すように、描画対象（本例では、行先案内の矢印）を、その手前に建物等の障害物が存在するにもかかわらずそのまま表示した場合には、当該描画対象が空間内の障害物上に表示されることとなる（図中の破線の矩形内に示される矢印に注目）。即ち、この例では、建物と建物の間の道を右に曲がることを示そうとしているが、実際には図示するように、右に曲がる地点よりも手前の建物に矢印が重なって表示されてしまう。このような描画対象は、本来、建物により隠されるべきであるが、障害物上に表示された場合、建物が存在するにもかかわらず右曲りを指示するものとなってしまい、不自然で、運転者の距離感を喪失させてしまうという危険をも生じかねない。

　そこで、本発明では、上述した課題を解消すべく、図８（ｂ）にも示すように、障害物の方が手前にある場合は、障害物によって隠れるべき描画対象は表示しない、または、その表示を抑制するなどの制御可能な映像の表示方法を提供するものである。これによれば、より自然でリアルなオブジェクトの描画が実現され、運転者は距離感を正しく把握することができる。以下、これを実現する方法について詳細に述べる。

　［表示オブジェクトの深度（描画用Ｚバッファ）］
　以下に詳述する実施の形態では、上記の描画対象の深度を示す情報としては、その一例として、表示オブジェクトである描画対象を３Ｄ表現（変換）する際などに用いられ、画素毎に深度情報を持つＺバッファ（描画用Ｚバッファ）を利用することができる。なお、以下には、当該描画用Ｚバッファを利用して描画を抑止（抑制制御）する場合について述べる。

　［前景距離情報（深度マップまたは空間Ｚバッファ）の取得］
　一方、その一部に上記表示オブジェクトが虚像として表示される空間である車両の前景（以下、単に「空間」とも言う）に存在する障害物と自車までの距離(以下、「深度」と記載する)については、上記図３に示した測距センサ１０６やカメラ（車外）１１５を利用し、あるいは、その他のステレオカメラ、更には、カラー開口撮像技術（例えば、https://www.toshiba.co.jp/rdc/detail/1606_01.htmを参照）、赤外線を用いた深度センサ、LiDARなどを用いることにより取得することができる。なお、ステレオカメラを使用する場合、二つの視点から撮影した画像には、被写体の遠近に応じてズレ(以下、「視差」と表記する)がある。この視差の量と深度との間には反比例の関係があるため、視差から深度を求めることが可能となる。なお、視差を画像化したものを視差マップ（disparity map）と呼ぶ。

　本発明では、これらの前景の距離情報（深度マップ）についても、上記の描画用Ｚバッファと同様の形式に変換して用い、そして、画素毎に深度情報を持つこのＺバッファ形式に変換した前景距離情報（深度マップ）は、以下「空間Ｚバッファ」とも呼ぶ。

　そして、本発明の画像表示方法では、矢印である行先案内などの描画対象を投射映像の生成素子である表示素子３３（上記図４を参照）に描画する際には、上記描画用Ｚバッファに加え、必要に応じて、前景距離情報（深度マップ）を格納した上記空間Ｚバッファをも参照して表示オブジェクトの描画を行う。

　その際、新規の描画対象である表示オブジェクトが前回描画の表示オブジェクトより手前にあるか否かを、描画用Ｚバッファを参照して判断し、その結果、手前にあれば描画し、他方、後方にあればその描画を行わない。加えて、本発明では、当該描画対象が前景にある障害物より手前にあるか否かを判断し、その結果、前景の深度情報を格納するメモリ領域であり、画素毎に深度情報を持つ上記空間Ｚバッファを参照して、障害物が手前にあると判定された場合には、当該表示オブジェクトの表示を制御する。具体的には、描画は行わず、または、その色や表現を変える等の抑制処理を行う。

　ここで、図９には、一般的に、３Ｄ空間における視点により得られるＺバッファについて示す。なお、Ｚバッファでは、手前にある描画対象である表示オブジェクト（ここでは立方体）を描画するピクセルほど、その値は小さく、例えば、この図では明るく示され、値が大きい程より深い位置に存在することを意味する。例えば、図９（ａ）や（ｂ）に示すように、図の左右の描画済みの２つの描画対象の間に新たに描画対象を描画する場合には、新規オブジェクトの描画後のＺバッファは図９（ｃ）に示すようになる。即ち、図の中央部に新たに描画された表示オブジェクトは、図の左上の描画済みの表示オブジェクト（描画対象）と重なる部分では、より明るく（即ち、値が小さく）、そして、図の右下の描画済みの表示オブジェクトと重なる部分では、より暗く（即ち、値が大きく）なる。換言すれば、新規表示オブジェクト描画後のＺバッファでは、手前にあるピクセルほどその値が小さく（明るく）表示され、一方、新規表示オブジェクトの方が手前にある場合には、新規表示オブジェクトの深度が保存され、他方、旧表示オブジェクトの方が手前にある場合には、深度の更新は行われない。

　なお、上述した空間Ｚバッファも、上記と同様の原理により得ることが可能であり、このようにして実際に視差マップから深度を計算した例（以下、「深度マップ（depth map）」と呼ぶ）を図１０に示す。なお、視差マップを求める方法としては、ブロックマッチング法やセミグローバルブロックマッチング法などがある。

　続いて、上述したＺバッファ（深度情報）（具体的には、描画用Ｚバッファおよび空間Ｚバッファ）を利用して表示オブジェクの映像を変更・生成する表示映像変更・生成処理について以下に説明する。

　［方式１］
　図１１および図１２には、方式１になる表示映像変更・生成処理とその説明図が示されている。

　まず、図１１に示すフローにおいて表示映像変更・生成処理が開始すると、前景の深度マップ設定が選択、即ち、「ＯＮ（オン）」となっているか否かを判定する（ステップＳ３１）。その結果、前景の深度マップ設定が行われていない（「Ｎｏ」）場合には、図１２にも示す描画用バッファ（例えば、カラーバッファ）に対して全ての画像の描画が完了したか否かを判定する（ステップＳ３２）。より具体的には、描画用Ｚバッファから描画対象ピクセルのＺ値を取得して（ステップＳ３３）、描画のＺ値と比較する（ステップＳ３４）。その結果「Ｙｅｓ」場合には、描画対象ピクセルを描画バッファ（カラーバッファ）に描画し（ステップＳ３５）、他方、「Ｎｏ」場合には、描画しない。そして、これらの工程を全描画が完了するまで繰り返す。なお、これにより、複数の表示オブジェクト間での不自然な重なりが解消される。

　一方、前景深度マップ設定が行われている（「Ｙｅｓ」）場合には、上述したように、ステレオカメラ等によって車両の前方を撮影することにより得られる深度マップ等から距離情報を取得する（ステップＳ３６）。その後、Ｚバッファ形式に変換して（空間Ｚバッファ）、その内容を描画用Ｚバッファの描画必須領域に初期値として登録する（ステップＳ３７）。即ち、図１２にも示すように、ステレオカメラ等で撮影された前景から求めた深度マップを、Ｚバッファ形式に（前景の空間Ｚバッファ）変換して、それを描画用Ｚバッファに設定する。

　その後、描画バッファ（カラーバッファ）への映像の全ての描画が完了したか否かを判定する（ステップＳ３８）。その結果「Ｙｅｓ」の場合には、当該処理を終了するが、他方、「Ｎｏ」の場合には、設定した空間用Ｚバッファから描画対象ピクセルのＺ値を取得し（ステップＳ３９）、当該取得したＺバッファの値を描画対象ピクセルのＺ値（描画のＺ値）と比較する（ステップＳ４０）。

　その結果、描画のＺ値＜Ｚバッファの値、即ち、「Ｙｅｓ」の場合には、描画対象は前傾の障害物の手前に位置するものとして、ピクセルをそのまま描画バッファ（カラーバッファ）に描画し（ステップＳ４１）、他方、「Ｎｏ」の場合には、描画対象は前景の障害物によって隠れているものとして抑制処理して描画する（ステップＳ４２）。この抑制処理の一例として、例えば、その輝度を変更する場合には、各色の値（ＲＧＢ）を下げ、色度を変更する場合には、色度を変更して、ピクセルを描画バッファ（カラーバッファ）に描画する。あるいは、ピクセルを描画バッファ（カラーバッファ）に描画しないことも考えられる。かかる処理によれば、図１２の下方にも示すように描画バッファ（カラーバッファ）への描画が完了し、その内容がヘッドアップディスプレイ装置に表示される。

　［方式２］
　図１３および図１４には、方式２になる表示映像変更・生成処理とその説明図が示されている。なお、この方式２では、ピクセル毎に比較し、隠れるピクセルがあれば、描画バッファの該当するピクセルのカラー情報を「０」にして削除する。

　まず、図１３に示すフローにおいて表示映像変更・生成処理が開始すると、描画バッファ（カラーバッファ）への映像の全ての描画が完了したか否かを判定する（ステップＳ４１）。その結果「Ｎｏ」場合には、描画用Ｚバッファから描画対象ピクセルのＺ値を取得し（ステップＳ４２）、描画のＺ値＜描画用Ｚバッファの値であるか否かを判定し（ステップＳ４３）、「Ｙｅｓ」場合にのみ、描画対象ピクセルを描画バッファ（カラーバッファ）に描画し（ステップＳ４４）、同様の工程を、全描画について完了するまで実行する。

　その後、深度マップ設定が「ＯＮ（オン）」であるか否かを判定し（ステップＳ４５）、その結果「Ｎｏ」場合には、処理を終了する。

　一方、深度マップ設定が行われている（「Ｙｅｓ」）場合、上述した距離情報を取得し（ステップＳ４６）、Ｚバッファ形式に変換して前景の空間Ｚバッファとする（ステップＳ４７）。その後、上記と同様に、比較処理を行う（ステップＳ４８）。この比較処理では、ピクセル毎に、描画用Ｚバッファの値と、空間Ｚバッファである深度マップから導出したＺ値とを比較し、描画用Ｚバッファの値の方が大きければ（空間ＺバッファのＺ値＜描画用Ｚバッファの値）、当該ピクセルについて、上記と同様の抑制処理を実行する。具体的には、当該ピクセルを削除し、または、各色の値（ＲＧＢ）を下げてその輝度を変更する。あるいは、色度を変更する場合には、色度を変更する。これにより、描画対象が前景の障害物によって隠れているものとしての処理を行い、その結果、図１４の下部にも示すように、行先案内オブジェクトである矢印の一部が削除されて描画バッファ（カラーバッファ）への描画が完了し、その内容がヘッドアップディスプレイ装置に表示されることとなる。

　なお、画像の描画については、上記図２や図３にも示した制御部２０やＥＣＵ２１により、上記のＺバッファをサポートしている３Ｄ描画ライブラリ（例えば、「OpenGL」等)を用いることにより行う。

　上述した描画用Ｚバッファおよび空間Ｚバッファを利用した画像表示処理の結果の一例を図１５により示す。図からも明らかなように、運転者に歩行者への注意を喚起するための半リング状の表示オブジェクトを前景上に表示する場合、通常であれば、半リング状の表示オブジェクトの全体がそのまま表示される。そのため、その手前に位置するガードレール上にも表示されてしまい（図１５（ａ）の破線部を参照）、運転者に違和感を与える。これに対し、上述した深度情報を応用した描画抑止によれば、図１５（ｂ）のように、表示オブジェクトの手前に障害物（本例では、ガードレール）が存在しており、表示オブジェクトの一部がガードレールにより隠されるべき場合には、当該隠されるべき部分を削除して（または、その輝度や色度を変更して）表示する。このことにより、ヘッドアップディスプレイ装置による表示オブジェクトを、よりリアリティーを伴った自然な表示を行うことが可能となり、運転者が不自然さを覚えて距離感を失ってしまうなどのことから解消される。

　続いて、上記に詳細に述べた表示映像変更・生成処理の機能拡張の詳細にについて、以下に説明する。

　［機能拡張１（音声との連動）］
　オブジェクトが隠れたときには、音声による通知と連動させる（音声との連動による補完情報の発生）。

　これは、図１６にも示すように、曲がり角等において、人や車などの障害物が自車両の前方に存在した場合、描画したオブジェクトの大部分が隠れてしまう場合であり、このような現象が発生した場合、曲がり角で曲がるタイミングを逸してしまうおそれがある。そこで、オブジェクトが隠れてしまう場合には、必ず、音声による通知を行う。図の例では、「１５０ｍ先を右折です」とのアナウンスが行われる。更には、常に、音声との連動はＯＮとしおき、表示オブジェクトが隠れてしまう場合には、音声出力のタイミングを（隠れないときに比べて）早め、または、音声出力の頻度を上げることも可能である。なお、この機能は、上記図３にも示したカメラ（車外）１１５からの映像情報を用いて、図２の制御部２０によりスピーカ６０を駆動することにより実現可能であることは、当業者であれば明らかであろう。

　［機能拡張２（深度マップのＯＮ／ＯＦＦ機能）］
　図１７（ａ）に示すように、前方の車両によっては、描画した表示オブジェクトの大部分が隠れてしまう場合がある。このような場合には、前景から導出した深度マップにＯＮ／ＯＦＦ機能を持たせる（ＯＮ／ＯＦＦ機能の追加）。このことにより、距離が遠いときは隠しておき、近づいたら描画した表示オブジェクト表示する、即ち、イベントまでの距離に応じた制御へ変更することが好適である。このことによれば、図１７（ｂ）に示すように、前方の車両の存在にも関わらず、表示オブジェクトを表示するようにすることも可能であり、更には、上述した音声との連動を行うことも可能であろう。

　なお、実現手法としては、深度マップのＯＮ／ＯＦＦを、曲がり角などイベントまで距離（時間）があるときは「ＯＮ」としておき、近づいたら深度マップを「ＯＦＦ」（強制表示）とする。もしくは、設定画面等により、運転手が自由にＯＮ／ＯＦＦできるようにしてもよい。また、深度マップを「ＯＦＦ」とした場合の処理としては、上述した方式１の場合には、ステレオカメラから導出した前景の深度マップ（空間Ｚバッファ）を描画用Ｚバッファの初期値にしなければよく、方式２の場合には、ステレオカメラから導出した前景の深度マップ（空間Ｚバッファ）と描画用Ｚバッファとの比較を行わないようにすればよい。

　［機能拡張３（オブジェクトを隠す領域／隠さない領域の定義機能）］
　この機能拡張３は、前景と重なるときに表示オブジェクトを隠す領域／隠さない領域を定義するものであり、例えば、前方撮影カメラで前方車を検知した場合には、その部分は強制的に描画する領域とするものである。

　例えば、図１８に示すように、車などの障害物が前方に存在した場合、描画した表示オブジェクトの大部分が隠れてしまう現象が発生する。その場合、表示オブジェクトを隠す領域、隠さず表示する領域（以下、「描画必須領域」と言う：図の灰色部分）を定義しておき、その表示のＯＮ／ＯＦＦを領域毎に設定できるようにする。例えば、表示オブジェクトの何%以上は必ず表示するなどとしても良く、または、７５％表示されている場合には、そのまま、あるいは、５０％しか表示されていない場合には、７５％表示されるように一部の主要なオブジェクトを表示するなどとしてもよい。他方、上述した描画必須領域である図の中央の灰色部分以外の領域は、前景と重なったときには表示オブジェクトを隠す領域となる。

　この機能拡張３を上記の方式１と組み合わせる場合の表示映像変更・生成処理の内容を図１９に示す。即ち、前景の深度マップをＺバッファの形式（空間Ｚバッファ）に変換した後、描画必須領域を初期化するものであり、その後の処理は、上述した方式１と同様であり、ここでは詳述は行わない。

　また、この機能拡張３を上記の方式２と組み合わせる場合の表示映像変更・生成処理の内容を図２０に示す。即ち、深度マップをＺバッファの形式（前景の空間Ｚバッファ）に変換した後、描画必須領域を初期化する。その後の処理は、上記の方式２と同様であり、ここでは詳述は行わない。

　［機能拡張５（輝度変更機能）］
　これは、前景に隠れるオブジェクトの輝度を変更する機能であり、図２１にも示すように、車や人などの障害物が前方に存在した場合にも、描画した表示オブジェクトの大部分が隠れてしまう現象が発生するが、この隠れた部分は、その輝度を下げて描画するものである。

　［機能拡張６（色度変更機能）］
　これは、前景に隠れるオブジェクトの色度を変更する機能であり、図２２にも示すように、車や人などが前方に存在した場合、描画した表示オブジェクトの大部分が隠れてしまう現象が発生するが、この隠れた部分は、当該オブジェクトの色度を変えて描画するものである。なお、この機能は、前述の輝度調整と組み合わせてもよい。更には、色度を変える範囲を限定してもよい。

　上述した機能拡張５（輝度変更機能）や機能拡張６（色度変更機能）の実現手法としては、輝度、色度変更のＯＮ／ＯＦＦは、設定画面等で運転手が自由にＯＮ／ＯＦＦできるようにしてもよく、もしくは、曲がり角などイベントまで距離（時間）があるときはＯＮとし、近づいたらＯＦＦとするようなＯＮ／ＯＦＦの自動制御をしてもよい。また、ＯＮの場合の処理としては、上記の方式２の場合では、前景の深度マップである空間Ｚバッファと描画用Ｚバッファとの比較において、表示オブジェクトの方が奥にあった場合には、そのピクセルの輝度を例えば５０％に落とす（輝度を変更する場合）、もしくは、色度を変更する（色度を変更する場合）ことが行われる。他方、方式１の場合には、表示オブジェクトと障害物の重なりが無い場合、もしくは、奥にあるものから手前にあるものの順に描画する場合には、上記と同じであり、表示オブジェクトと障害物の重なりがあり、かつ、奥にある表示オブジェクトを後で描画する場合には、これらの拡張機能は適用しない。

　［描画必須領域の変形例］
　上述したように、人や車などの障害物が前方に存在し、その結果、描画した表示オブジェクトの大部分が隠れてしまう現象が発生する場合において、表示オブジェクトを隠さずに表示する領域である「描画必須領域」を、上述した前景用の空間Ｚバッファを使用しないで実現する変形例について、以下に説明する。

　図２３にも示すように、カメラで前方の車線を認識し、直接、自車走行予定領域を求める。あるいは、カーナビなどの地図情報から、自車走行予定領域を取得してもよい。なお、上記領域では描画必須とし、描画予定オブジェクトの３Ｄ座標が当該描画必須領域内にある場合には、描画しない。他方、描画必須領域の外にある場合には、上記の方式１もしくは２を用いて描画する。

　上記に詳細に述べたように、本発明になる深度情報を応用した描画抑止機能を備えた画像の表示方法によれば、虚像として表示するオブジェクトを、虚像が表示される空間に対してより適合して表示することが可能であり、例えば、車両の進行方向を示す行先案内オブジェクト（矢印）のように、特に、表示画面上に奥行（深度）を持って表示されるオブジェクトを表示する場合においても、道路に対して自然な表示を行うことが可能であり、優れたヘッドアップディスプレイ装置が実現される。

　（実施例２）
　以上に詳述した実施例では、ヘッドアップディスプレイ装置により表示するオブジェクトは、立体画像として変換された後にカラーバッファ上に描画され、虚像として表示されるものとして説明した。しかしながら、本発明は、更に、表示距離調整機構を備えたヘッドアップディスプレイ装置により、表示される表示オブジェクトを、その表示距離を調整して表示する場合においても、上記も同様に適用することができる。

　［表示距離調整機構］
　以下には、ヘッドアップディスプレイ装置により表示されるオブジェクトを、その表示距離を調整して表示する機構を備えた実施例について説明する。なお、ヘッドアップディスプレイ装置の概要については上記と同様であり、その説明を省略すると共に、以下にはその特徴点についてのみ述べる。

　図２４は、本実施例２のヘッドアップディスプレイ装置における可動式拡散板を用いた表示距離調整の例について概要を示した図である。この例では、プロジェクタ３０ａから投射された画像は、可動式拡散板（可動式ディフューザ）４１ｃで結像した後、レンズ４２ａを介してミラー５２に入射される。

　なお、可動式拡散板４１ｃは、図２５にも示すように、更に、拡散板制御部２０１を備えた表示距離調整部２８や拡散制御機構４０１を備えた表示距離調整機構４０により制御されて回転させることができる。プロジェクタ３０ａから投射された映像に基づく虚像の表示位置は、可動式拡散板４１ｃとレンズ４２ａとの傾きに応じて決定される。よって、可動式拡散板４１ｃを回転させることで、焦点距離を変えて虚像の表示距離を変化させることができる。具体的には、可動式拡散板４１ｃをレンズ４２ａに近い位置に傾ければ虚像の表示距離を近くすることができる。逆に、可動式拡散板４１ｃをレンズ４２ａから遠い位置に傾ければ虚像の表示距離を遠くすることができる。例えば、表示オブジェクトは、その深度を格納した描画用ＺバッファのＺ値に基づいた距離に設定して表示される。その際、更に、前景の距離情報（深度マップ）を格納した上記空間Ｚバッファをも参照して表示オブジェクトの描画を行うことによれば、その距離をも可変して表示可能な、より優れた虚像による表示オブジェクトの表示を実現することが可能となる。

　その際、上述した深度情報を応用した描画抑止を行う画像表示方法をも加えて実行することによれば、表示オブジェクトが前景の障害物等に重なって表示されることのない、より優れた画像表示が可能となる。

　なお、上記の例では、オブジェクトをその表示距離を調整して表示する機構として、可動式拡散板を用いた例について述べたが、本発明はこれに限定されることなく、例えば、機能性液晶フィルムを用いたもの、ミラーを複数枚配置するもの、可動式レンズを用いたもの、調光ミラーを用いたもの、可動式光学フィルタを用いたもの、くし状光学フィルタを用いたものなどについても利用可能である。

　上記に詳細に述べたように、本発明になる深度情報を応用した描画抑止機能を備えた映像の表示方法によれば、虚像として表示するオブジェクトを、虚像が表示される空間に対してより適合して違和感なく自然に表示することが可能であり、例えば、矢印等の車両の進行方向を示す行先案内オブジェクトのように、特に、表示画面上に奥行（深度）を持って表示されるオブジェクトを表示する場合、道路に最適に表示することが可能な、優れたヘッドアップディスプレイ装置が実現される。

　以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１…ＡＲ－ＨＵＤ、２…車両、３…ウィンドシールド、４…車両情報、５…運転者、６…表示領域、１０…車両情報取得部、２０…制御部、２１…ＥＣＵ、２２…音声出力部、２３…不揮発性メモリ、２４…メモリ、２５…光源調整部、２６…歪み補正部、２７…表示素子駆動部、２８…表示距離調整部、２９…ミラー調整部、３０…映像表示装置、３０ａ…プロジェクタ、３０ｂ…ＬＣＤ、３１…光源、３２…照明光学系、３３…表示素子、
４０…表示距離調整機構、４１ｃ…可動式拡散板、４２ａ…レンズ、５２…ミラー、６０…スピーカ、１０７…測距センサ、１０８…赤外線センサ、１１６…カメラ（車外）、１１７…ＧＰＳ受信機。

Claims (10)

1. 　車両の前方に表示オブジェクトの画像を投射することで、運転者に対して前記車両の前方の空間に前記表示オブジェクトの虚像を表示するヘッドアップディスプレイ装置であって、
   　前記車両が検知することができる各種の車両情報を取得する車両情報取得部と、
   　前記車両情報取得部が取得した前記車両情報に基づいて、前記空間における前記表示オブジェクトの表示を制御する制御部と、
   　前記制御部からの指示に基づいて前記表示オブジェクトを形成する画像表示装置と、
   を有しており、
   　前記車両情報取得部は、前記車両の前方空間の深度情報を入力する空間深度入力手段を含んでおり、
   　前記制御部は、前記空間の深度情報に基づいて、前記空間内に表示する前記表示オブジェクトの一部の表示を制御する機能を有する、ヘッドアップディスプレイ装置。
2. 　請求項１に記載のヘッドアップディスプレイ装置において、
   　前記制御部は、前記表示オブジェクトを立体的に表示する機能を有しており、かつ、当該表示オブジェクトを立体的に表示する場合の深度情報を、前記空間深度入力手段から入力する前記空間の深度情報と比較して、前記表示オブジェクトの一部の表示を制御する、ヘッドアップディスプレイ装置。
3. 　請求項２に記載のヘッドアップディスプレイ装置において、
   　前記画像表示装置は、複数のピクセルからなる表示素子を備えており、
   　前記表示オブジェクトを立体的に表示する深度情報は、前記表示素子の各ピクセルに対応した当該表示オブジェクトの深度情報を含んでおり、
   　前記車両前方の空間の深度情報は、前記表示素子の各ピクセルに対応した当該車両前方空間の深度情報を含んでおり、
   　前記制御部は、所定の演算処理を行う演算処理部と共に、前記表示オブジェクトの画像を描画するメモリ領域と、前記表示オブジェクトの深度情報を格納するメモリ領域と前記車両前方空間の深度情報を格納するメモリ領域とを含んでいる、ヘッドアップディスプレイ装置。
4. 　請求項２に記載のヘッドアップディスプレイ装置において、
   　更に、前記制御部が前記表示オブジェクトの一部の表示を制御する際に補完情報を音声により発生する手段を備えている、ヘッドアップディスプレイ装置。
5. 　請求項２に記載のヘッドアップディスプレイ装置において、
   　記制御部による前記表示オブジェクトの一部の表示の制御は、前記表示オブジェクトの一部の削除、輝度の低下、色度の変更の少なくとも１つを含んでいる、ヘッドアップディスプレイ装置。
6. 　請求項１に記載のヘッドアップディスプレイ装置において、
   　前記画像表示装置における前記表示オブジェクトの一部の表示を制御する領域は、予め設定可能である、ヘッドアップディスプレイ装置。
7. 　請求項１に記載のヘッドアップディスプレイ装置において、前記画像表示装置は、前記空間深度入力手段からの前記空間の深度情報に拘わらず前記表示オブジェクトの一部を表示する描画必須領域を含んでいる、ヘッドアップディスプレイ装置。
8. 　車両の前方空間の深度情報を入力する車両前方映像入力手段を含め、車両が検知することができる各種の車両情報を取得する車両情報取得部と、前記車両情報取得部が取得した前記車両情報に基づいて表示オブジェクトの表示を制御する制御部と、前記制御部からの指示に基づいて前記表示オブジェクトを形成する映像表示装置とを有しており、前記車両のウィンドシールドに前記表示オブジェクトを投射することで、運転者に対して前記車両の前方の風景に重畳させて虚像を表示するヘッドアップディスプレイ装置の画像表示方法であって、
   　前記空間内に表示する前記表示オブジェクトの一部の表示を、前記車両前方映像入力手段からの前記空間の深度情報に基づいて制御する、画像表示方法。
9. 　請求項８に記載のヘッドアップディスプレイ装置の画像表示方法において、
   　前記表示オブジェクトは前記空間内に立体的に表示されており、かつ、当該表示オブジェクトを立体的に表示する場合の深度情報を、前記空間深度入力手段から入力する前記空間の深度情報と比較して、前記表示オブジェクトの一部の表示を制御する、画像表示方法。
10. 　請求項９に記載のヘッドアップディスプレイ装置の画像表示方法において、
    　前記表示オブジェクトの一部の表示の制御は、当該表示オブジェクトの一部の削除、輝度の変更、色度の変更の少なくとも１つを含む抑制制御を行う、画像表示方法。

Images