JP2004356819A

JP2004356819A - Remote control device

Info

Publication number: JP2004356819A
Application number: JP2003150584A
Authority: JP
Inventors: Hiroaki Yamamoto; 浩章山本
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-05-28
Filing date: 2003-05-28
Publication date: 2004-12-16

Abstract

【課題】リモコンを手元に置いていない場合やリモコンを紛失した場合でも機器をリモート操作することができ、操作途中でも操作が機器に受け入れられているかどうかを認識することができるリモート操作装置を提供する。
【解決手段】操作機器１１を操作するユーザを撮影可能な場所に取り付けられたカメラ１、画像の動き及び／又は形状を認識する画像認識器５，６、操作内容を選択させる選択肢画像パターンからなる選択メニューを表示するメニュー表示器８を備え、画像認識結果と選択メニューで表示された選択肢画像パターンとが一致するとき、一致したメニュー項目を選択し、この選択結果に基づいて、例えば、次ニュー表示，表示切，入力切替などの選択メニュー表示のオン／オフ、あるいは操作機器インターフェース１０を介して操作機器１１の選局等の制御コマンドを実行する。
【選択図】図１An object of the present invention is to provide a remote operation device that can remotely operate a device even when the remote control is not at hand or is lost, and can recognize whether or not the operation is accepted by the device even during operation. I do.
The camera includes a camera attached to a place where a user operating an operation device can be photographed, image recognizers for recognizing the movement and / or shape of an image, and an option image pattern for selecting an operation content. A menu display 8 for displaying a selection menu is provided, and when the image recognition result matches the option image pattern displayed in the selection menu, the matched menu item is selected, and based on the selection result, for example, the next menu is displayed. A control command such as ON / OFF of a selection menu display such as display, display off, and input switching, or selection of a channel of the operation device 11 via the operation device interface 10 is executed.
[Selection diagram] Fig. 1

Description

【０００１】
【発明の属する技術分野】
本発明は、機器を遠隔操作するリモート操作装置に関する。
【０００２】
【従来の技術】
一般的に家庭用機器を遠隔操作する場合には、赤外光を利用したワイヤレス・リモートコントロール装置（以下、リモコンと称する）を用いて行っている。送信機側では、操作指示を信号（データ）を変調した赤外光信号として送信し、受信機側では、その赤外光信号を受光して復調し、元の信号（データ）を取り出して、取り出した信号により、操作指示に従った動作を行っている。例えば、カメラにリモコンを搭載した場合には、撮影者が送信機に設けられた撮影のためのボタンを押せば、カメラのレリーズボタンを直接押下しなくとも、離れたまま撮影を行うことができる。
【０００３】
従来、テレビ等に用いられている赤外線を利用したリモコンがあるが、当然ながら操作のためにはリモコンが必要であり、リモコンを手元に置いていない場合やリモコンを紛失した場合には使えない。そこで例えば、特許文献１には、撮影手段と撮影画像の動きや形状を認識する手段を持つことにより、ユーザの手などの動作を認識して機器を操作する機器制御装置及び方法が開示されている。
【特許文献１】
特開２００１−５９７５号（図１）
【０００４】
【発明が解決しようとする課題】
このような従来のリモコンによる操作方法や機器操作装置にあっては、以下のような問題点があった。
【０００５】
上述したように、リモコンによる操作方法では、リモコンを手元に置いていない場合やリモコンを紛失した場合には使えない。
また、特許文献１に記載の装置では、（１）ユーザ操作への反応が操作結果の実動作のみなので、操作途中で操作が機器に受け入れられているかどうかがわかりづらい。（２）コマンドとなる動作や形状をユーザが覚える必要があり、使いづらい。（３）コマンドとなる動作や形状をユーザが覚えられる数には限りがあるため、コマンドの数が限られる。（４）誤判定による誤動作が発生しやすい、などの問題点があった。
【０００６】
リモコンを手元に置いていない場合やリモコンを紛失した場合でも機器をリモート操作することができ、ユーザ操作の結果で選択メニューが表示されるため、操作途中でも操作が機器に受け入れられているかどうかを認識することができ、コマンドとなる動作や形状がシンプルであり、ユーザにわかりやすく、さらに選択メニューを階層化できるため操作項目が多くても対応できる。ユーザが覚える必要のある動作は最小限で済む。
【０００７】
本発明は、このような課題に鑑みてなされたものであって、リモコンを手元に置いていない場合やリモコンを紛失した場合でも機器をリモート操作することができ、操作途中でも操作が機器に受け入れられているかどうかを認識することができるリモート操作装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明のリモート操作装置は、撮影手段と、前記撮影手段によって撮影された画像の動きを検出する動き検出手段と、前記検出された画像から動きのある部分を抽出する動き部分抽出手段と、前記抽出された部分の画像から所定の動き及び／又は形状を認識する画像認識手段と、操作内容を選択させる選択肢画像パターンからなる選択メニューを表示する表示手段と、前記画像認識結果と前記選択メニューで表示された選択肢画像パターンとが対応することを判別する判別手段と、前記判別結果に基づいて操作内容を実行する制御手段とを備えることを特徴としている。
【０００９】
より好ましい具体的な態様として、前記判別手段は、前記画像認識結果と前記選択メニューで表示された選択肢画像パターンとが一致するとき、該一致した選択肢画像パターンのメニュー項目を選択する。
【００１０】
また、制御対象の操作機器とのインターフェースとなる操作機器インターフェース手段を備え、前記制御手段は、前記判別結果に基づいて前記操作機器を制御するものであることで、メニュー選択結果によって制御対象の操作機器を制御することができる。
【００１１】
前記表示手段は、前記選択されたメニュー項目の選択肢画像パターンの表示を変化させることで、ユーザの選択動作が有効か無効かをユーザへ示すことができる。
【００１２】
また、前記画像認識結果が一定期間継続したことを検出する認識結果検出手段を備え、前記表示手段は、前記画像認識結果が一定期間継続したとき、前記選択されたメニュー項目の選択肢画像パターンの表示を変化させることで、選択肢の確定をユーザに示すことができる。
【００１３】
また、前記画像認識結果が一定期間継続したことを検出する認識結果検出手段を備え、前記表示手段は、前記画像認識結果が一定期間得られなかったとき、前記選択メニューの表示をオフするものであってもよい。
【００１４】
前記選択メニューは、該選択メニューを表示切して該選択メニューから抜けるメニュー項目を含むことがより好ましい。
前記選択メニューは、該選択メニューを表示オフするメニュー項目を含むことがより好ましい。
【００１５】
前記選択メニューは、複数の階層からなるものであってもよい。
前記画像認識手段は、操作者の手を振る動作を認識し、前記表示手段は、前記手を振る動作を認識したとき、前記選択メニューの表示をオンすることで、ユーザが手を振るという簡単かつ自然な動作をすることによって選択メニューを表示することができる。
【００１６】
前記画像認識手段は、操作者の指を立てた手の向きを認識し、前記判別手段は、前記指を立てた手の向きに対応する選択肢画像パターンのメニュー項目を選択することで、ユーザが指を立てた手の向きを示すことによって選択メニューからの選択を行うことができる。
前記画像認識結果によるリモート操作のオン／オフをユーザが設定する設定手段を備えることで、ユーザの使用環境にあったリモート操作を行うことができる。
【００１７】
より好ましい具体的な態様として、前記操作機器は、テレビ受信機を含み、前記選択メニューは、該テレビ受信機の選局アップ／ダウンのメニュー項目を含むことで、テレビ用リモート操作装置を実現することができる。
【００１８】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適なリモート操作装置の実施の形態について詳細に説明する。
図１は、本発明の実施の形態のリモート操作装置の構成を示すブロック図である。本実施の形態のリモート操作装置としてテレビジョン受信機に適用した例である。また、対象となる操作機器もテレビ受信機に適用している。
【００１９】
図１において、リモート操作装置は、機器を操作するユーザを撮影可能な場所に取り付けられたカメラ１（撮影手段）と、カメラ１によって撮影された画像の動きを検出する動き検出器２（動き検出手段）と、動き検出器２により検出された画像から動きのある部分を抽出する動き部分抽出器３（動き部分抽出手段）と、動き部分を含む被写体ウィンドウの領域を決定し、撮影映像の該当領域を抽出する被写体ウィンドウ設定器４と、抽出された部分の画像から所定の動き及び／又は形状を認識する画像認識器５，６（画像認識手段）と、認識結果があらかじめ設定された確定時間以上継続することを検出する認識結果確定検出器７（認識結果検出手段）と、操作内容を選択させる選択肢画像パターンからなる選択メニューを表示するメニュー表示器８（表示手段）と、ユーザからの有効な選択動作がある一定期間検出されないことを検出する有効認識結果タイムアウト検出器９と、対象の操作機器とのインターフェースとなる操作機器インターフェース１０（操作機器インターフェース手段）と、操作機器１１と、リモコンレス操作モードのオン／オフを設定するリモコンレスモードスイッチ１２（設定手段）とを備えて構成される。
【００２０】
メニュー表示器８は、画像認識結果があらかじめ決められたパターンに一致したとき選択メニューを表示する構成としてもよい。
カメラ１は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）等から構成され、対象となる画像情報を入力する。入力映像信号を図示しないＡＤ変換器によりデジタル信号に変換され、動き検出器２及び動き部分抽出器３に出力される。
【００２１】
上記動き検出器２、動き部分抽出器３、被写体ウィンドウ設定器４、画像認識器５，６、認識結果確定検出器７、メニュー表示器８、及び有効認識結果タイムアウト検出器９は、具体的には、本装置全体を制御する制御部であるＣＰＵ（判別手段，制御手段）と、制御プログラムや固定データ等を記憶するメモリとにより実現される。なお、上記動き検出器２、動き部分抽出器３及び被写体ウィンドウ設定器４は、専用の動き補償回路（ＬＳＩ）を用いるものでもよい。
【００２２】
上記ＣＰＵは、画像認識処理，画像表示処理などのアプリケーションの処理の実行を含むリモート操作装置全体の制御を行うとともに、各制御部を総括して制御する。
【００２３】
特に、ＣＰＵは、操作内容を選択させる選択肢画像パターンからなる選択メニューを表示する表示手段と、画像認識結果と選択メニューで表示された選択肢画像パターンとが対応することを判別する判別手段と、判別結果に基づいて操作内容を実行する制御手段としての機能を有する。動作の詳細については図３により後述する。
【００２４】
本リモート操作装置は、メニュー表示器８によって表示画面上（例えば、操作機器がテレビ受信機である場合、そのテレビ画面上）に表示されたソフトウェアキーによる選択メニューから、ユーザ動作により所望の操作選択（例えば、選局）を行うものである。
【００２５】
図２は、リモート操作装置の選択メニューの表示例を説明する図であり、図２（ａ）は選択メニューのテレビ画面への表示例を、図２（ｂ）は第１階層目の選択メニュー＜１＞の表示例を、図２（ｃ）は第２階層目の選択メニュー＜２＞の表示例をそれぞれ示す。
【００２６】
図２（ａ）において、２０は本リモート操作装置が適用されたテレビ受信機の表示画面、２１は表示画面２０上のテレビ映像の所定領域（ここでは右下隅）にＯＳＤ（オン・スクリーン・ディスプレイ）又はソフトウェア処理により表示されるソフトウェアキーである選択メニュー（選択メニュー＜１＞）である。
【００２７】
選択メニュー２１は、本リモート操作開始時に表示される第１階層目の選択メニュー＜１＞であり、図２（ｂ）にその拡大詳細を示すように、選択メニュー２１（選択メニュー＜１＞）は、指を立てた手を上下左右方向に４つ組み合わせた選択肢選択用の画像パターンから構成される。第１階層目の選択メニュー＜１＞は、テレビの選局アップ２１ａ，選局ダウン２１ｂ，次メニュー２１ｃ，表示切２１ｄの、指を立てた手の各画像パターンから構成される。ユーザはこの画像パターンに従って指を立てた手を所望の向きに動かせば該当する操作を直感的に行うことができる。例えば、ユーザが指を立てた手を上に向けて動かせば選局アップ２１ａであると認識され、テレビの選局アップが実行される。
【００２８】
図２（ｂ）に示す第１階層目の選択メニュー＜１＞において、次メニュー２１ｃが選択されると、図２（ｃ）に示すように、次の階層である第２階層目の選択メニュー２２（選択メニュー＜２＞）が表示される。第２階層目の選択メニュー＜２＞も、第１階層目の選択メニュー＜１＞と同様に、指を立てた手の画像パターンによるテレビの音声アップ２２ａ，音声ダウン２２ｂ，入力切替２２ｃ，表示切２２ｄの、各画像パターンから構成される。入力切替２２ｃが選択されると、図２（ｂ）に示す第１階層目の選択メニュー＜１＞の表示に戻る。
【００２９】
また、第１階層目の選択メニュー＜１＞及び第２階層目の選択メニュー＜２＞のいずれにも、選択メニューを表示切して選択メニューから抜けるための選択肢である表示切２１ｄ，２２ｄが設置されている。
また、画像認識結果があらかじめ決められたパターンに一致した場合、有効な画像認識結果が一定期間得られなかった場合には、選択メニューを表示オフする。
さらに、選択メニュー表示開始用の画像パターンには手を振る動作を用いるようにして、操作者が手を振る動作をすることによって選択メニューが表示される。
【００３０】
なお、本実施の形態では、第１及び第２の階層としているがそれ以上の階層構造や階層構造を持たない構成であってもよい。
また、指を立てた手による選択肢選択用の画像パターンは一例であり、どのようなものでもよい。第１の階層と第２の階層とで画像パターンを変えてもよいがユーザに違和感を与えないためには同一の画像パターンとすることが好ましい。
【００３１】
以下、上述のように構成されたリモート操作装置の動作を説明する。
カメラ１は、機器を操作するユーザを撮影可能な場所に取り付けてあり、撮影されたユーザの映像はＡＤ変換されてから動き検出器２と被写体ウィンドウ設定器４に供給される。
【００３２】
動き検出器２では、撮影された映像から動き成分を検出し、動き部分抽出器３に供給する。動き検出は、フレームメモリを用いて撮影映像をフレーム遅延させた信号と現撮影映像信号間での差分を取って検出できる。勿論、より良い動き検出性能を得るためにはさらに複雑な処理が必要であるが、本発明は動き検出性能を向上するためのものではないため、ここでは記載しない。
【００３３】
動き部分抽出器３では、動き検出信号の分布を分析し、動きが集中的に検出された部分を抽出し、被写体ウィンドウ設定器４に供給する。
被写体ウィンドウ設定器４は、動き部分を含む被写体ウィンドウの領域を決定し、撮影映像の該当領域を抽出し、画像認識器５と画像認識器６に供給する。
【００３４】
画像認識器５では、選択メニューを表示オン／オフするためのパターンを検出し、検出結果を選択メニュー表示切替指示としてメニュー表示器８に供給する。
選択メニューを表示切替するためのパターンは、ユーザが手を振る動作と決めることで、ユーザが手を振ったら選択メニューが表示されるという、非常に直感的にわかりやすくユーザフレンドリィなユーザインターフェースを実現することができる。
【００３５】
手を振る動作をパターンとして検出する方法について説明する。
フレームメモリを用いて撮影映像をフレーム遅延させた信号と現撮影映像間でパターンマッチングにより、動きベクトルを検出する。具体的には、画像を１６画素×１６画素程度のブロックに分け、その１つ１つが１フレーム前の画像でどのブロックに近いかを差分をとり、その差分データ量や２乗和の最も小さいブロックを求めることにより、対応するブロック間の位置的差が求まりこれが動きベクトルとなる。手以外の静止部分については有効な動きベクトルは検出されないが、動きのある手の部分では有効な大きさを持つ動きベクトルが検出され、それが単純な運動であるため、その動きベクトルの推移により特定パターンとして検出可能である。勿論、手の形状や色を判定要素に加えても良いし、温度感知型カメラを使って表面温度を判定要素に加えても良い。
【００３６】
選択メニュー表示切替指示が送られると、メニュー表示器８は、テレビ画面に選択メニュー２１（選択メニュー＜１＞）を表示する（図２（ａ）参照）。選択メニューが表示されている状態で、再度選択メニューを表示オン／オフするためのパターンが検出されれば、それを受けたメニュー表示器８は選択メニューの表示を消す。
【００３７】
図１に戻って、画像認識器６は、選択メニューからの選択肢に対応するパターンをパターンマッチングにより認識してその認識結果を、認識結果確定検出器７とメニュー表示器８に供給する。選択肢の選択用のパターンは、例えば手の指を１本立てた指の向きと決めることで、直感的にわかりやすくユーザフレンドリィなユーザインターフェースを実現できる。認識結果を受けたメニュー表示器８は、選択メニュー表示の認識結果に対応する選択肢部分の色を変化させ、ユーザの動作が有効な状態か無効な状態かを表す。
【００３８】
認識結果確定検出器７は、認識結果があらかじめ設定された確定時間以上継続することを検出し、確定時間以上継続が検出された場合、それを選択確定結果として有効認識結果タイムアウト検出器９、メニュー表示器８、及びリモコンレスモードスイッチ１２に供給する。このようにユーザからの選択動作を検出するために、継続時間の検出を用いることにより、ユーザ意図とは異なる誤判定を軽減でき、さらに確定時間をユーザが設定できるような設定手段を設けているので、ユーザが操作に慣れてきて確定を早くしてスピードアップしたいという要求に応えられる。
【００３９】
有効認識結果タイムアウト検出器９は、選択メニューが表示された状態で、ユーザからの有効な選択動作がある一定期間検出されなかった場合、メニュー表示器８に選択メニュー表示切を指示する。これを受けてメニュー表示器８は、選択メニューを表示切する。一方、タイムアウト前に選択確定が、メニュー表示器８に供給された場合、認識結果確定検出器７からの選択確定により、メニュー表示器８は、対応する選択肢の表示の色を変化させ、ユーザの選択動作が確定されたことを表す。
【００４０】
また、リモコンレスモードスイッチ１２は、リモコンレス操作モードのオン／オフを設定するためにある。ここでユーザが、本リモート操作を行うリモコンレスモードを使用するかしないかを設定できるようにすれば、多人数が撮影されて誤判定が発生しやすいような状況では、あらかじめリモコンレスモードをオフして誤判定による誤動作を防止することができる。この設定は機器本体のボタンによる設定やリモコンでの設定操作による。リモコンレスモードがオンのときには、リモコンレスモードスイッチ１２は操作機器インターフェース１０に接続されており、ユーザからの選択動作により操作機器インターフェース１０経由で操作機器１１がコントロールされる。
【００４１】
図３は、本リモート操作装置の動作を示すフローチャートであり、図中、Ｓはフローの各ステップを示す。
プログラムが起動すると、まず、ステップＳ１で撮影映像の画像認識により選択メニュー切替用パターン検出を行い、ステップＳ２で選択メニュー切替用パターン検出が検出されたか否かを判別する。選択メニュー切替用パターンが検出されないときはステップＳ１に戻る。選択メニュー切替用パターンが検出されたときは、ステップＳ３で選択メニュー＜１＞の表示を行う。選択メニュー＜１＞の表示例は、図２（ｂ）に示される。
【００４２】
次いで、ステップＳ４で撮影映像の画像認識を行い、ステップＳ５で選択メニュー切替用パターンが検出されたか否かを判別する。選択メニュー切替用パターンが検出されたときは、ステップＳ６で選択メニュー表示切を実行してステップＳ１の画像認識処理に戻る。
【００４３】
上記ステップＳ５で選択メニュー切替用パターンが検出されなかったときは、ステップＳ７で選択肢選択用パターンか否かの判定を行う。有効な選択用パターンでなければ、ステップＳ８で選択肢表示の色戻しにより全選択肢を通常の色に戻してステップＳ４の画像認識処理に戻る。有効な選択用パターンであれば、ステップＳ９で選択肢表示の色変更により選択メニュー表示の選択された選択肢に対応する表示部分の色を選択されていることを表す色に設定する。
【００４４】
ステップＳ１０では、ユーザの選択動作が確定したか否かを判別し、ユーザの選択動作が確定していれば、ステップＳ１１で選択表示の色変更により選択メニュー表示の選択された選択肢に対応する表示部分の色を確定されたことを表す色に設定する。選択確定でなければ、ステップＳ４の画像認識処理に戻る。
【００４５】
ステップＳ１２では、選択確定した選択肢が「表示切」か否かを判別する。選択確定した選択肢が「表示切」であれば、ステップＳ６で選択メニュー表示切を実行後、ステップＳ１の画像認識処理に戻る。
【００４６】
上記ステップＳ１２で「表示切」でなければ、ステップＳ１３で選択確定した選択肢が「次メニュー」であるか否かを判別する。選択確定した選択肢が「次メニュー」であれば、ステップＳ１４で選択メニュー＜２＞により次の階層の選択メニューを表示し、ステップＳ４の画像認識処理に戻る。選択メニュー＜２＞の例を図２（ｃ）に示す。「次メニュー」でなければ、ステップＳ１５で操作機器の制御により操作機器１１をコントロールしてステップＳ４の画像認識処理に戻る。
【００４７】
これにより、図２（ｂ）に示すように選択メニューの第１階層に、選局アップ／ダウンを設けることにより、テレビで使用頻度の多い選局動作を２アクションで実行できる。また、図２（ｃ）に示すように、各メニューに必ず「表示切」の選択肢を設けることにより、いつでもメニューを消すことができる。
【００４８】
以上のように、本実施の形態のリモート操作装置は、操作機器１１を操作するユーザを撮影可能な場所に取り付けられたカメラ１、画像の動き及び／又は形状を認識する画像認識器５，６、操作内容を選択させる選択肢画像パターンからなる選択メニューを表示するメニュー表示器８を備え、画像認識結果と選択メニューで表示された選択肢画像パターンとが一致するとき、一致したメニュー項目を選択し、この選択結果に基づいて、例えば、次ニュー表示，表示切，入力切替などの選択メニュー表示のオン／オフ、あるいは操作機器インターフェース１０を介して操作機器１１の選局等の制御コマンドを実行するので、遠隔操作のためにリモコンを使用しないことから、リモコンを手元に置いていない場合やリモコンを紛失した場合でも機器をリモート操作することができる。
【００４９】
また、ユーザ操作の結果で選択メニューが表示されるため、操作途中でも操作が機器に受け入れられているかどうかを認識することができることに加え、ユーザの手による動作であるためコマンドとなる動作や形状がシンプルであり、ユーザにわかりやすく、さらに選択メニューを階層化できるため操作項目が多くても対応できる効果がある。ユーザが覚える必要のある動作は最小限で済む。
また、ユーザが自身の選択動作が有効か無効かをメニュー項目の選択肢の表示変化から視覚的に認識できる。
【００５０】
さらに、有効認識結果タイムアウト検出器９を備え、選択動作の一定期間継続を検出するので、選択の際の誤判定を軽減でき、また、選択確定時には選択肢の表示を変化させることにより、ユーザが自身の選択動作の確定を選択肢の表示変化から視覚的に認識できる。
【００５１】
また、選択メニュー２１，２２に必ず表示切するための選択肢（表示切２１ｄ，２２ｄ）が含まれる構成としているので、選択メニューのどの階層にあっても１アクションで表示切が行える。
【００５２】
また、画像認識結果があらかじめ決められたパターンに一致したら選択メニューを表示オフする構成としているので、選択メニューの中に表示切の選択肢が無くても、１アクションで表示切が行える。
【００５３】
また、有効な画像認識結果が一定期間得られなかったら選択メニューを表示オフする構成としているので、ユーザが操作を途中で止めた場合に選択メニューが自動で消え便利である。また、ユーザの意図しない動作によって選択メニューが表示されたとしても自然に選択メニューが消えるため便利である。
【００５４】
また、選択メニューの第１階層目にはテレビの選局アップ／ダウンの選択肢（選局アップ２１ａ，選局ダウン２１ｂ）を含む構成としているため、テレビの選局操作が少ないアクションで行え便利である。
【００５５】
また、選択メニュー表示開始用の画像パターンには手を振る動作を用いる構成としているため、ユーザが手を振ったら選択メニューが表示されるという、直感的にわかりやすくユーザフレンドリィなユーザインターフェースを実現することができる。
【００５６】
また、選択肢選択用の画像パターンには指を立てた手の向きを用いる構成としているため、操作者が指を立てた手の向きを示すことによって選択メニューからの選択を行え、直感的にわかりやすくユーザフレンドリィなユーザインターフェースを実現できる。
【００５７】
さらに、画像認識結果によるリモート操作のオン／オフを行うユーザ設定メニューを備える構成としているので、多人数が撮影されて誤判定が発生しやすいような状況であっても、あらかじめリモコンレスモードをオフして誤判定による誤動作を防止することができる。
【００５８】
さらにまた、選択メニューでの選択確定用に有効な画像認識結果が一定期間継続したことを検出するための継続時間長をユーザが設定できる構成としているので、ユーザが操作に慣れてきて確定を早くしてスピードアップしたいという要求に応えられる。
【００５９】
なお、上記実施の形態では、リモート操作装置として、テレビ受信機に適用した例であるが、テレビ受信機に限るものでなく、他の家電機器や家電機器以外の産業機器に幅広く適用できる。
【００６０】
また、本実施の形態では、リモート操作装置という名称を用いたが、これは説明の便宜上であり、機器制御装置、リモートコントロール装置や機器制御方法等でもよいことは勿論である。
【００６１】
さらに、上記表示画面上の選択メニュー，メニュー項目，画像パターンの数や配置、色、背景色、表示点滅、表示形式等はどのようなものでもよい。
さらに、上記リモート操作装置を構成する回路や部材の数、種類などは前述した実施の形態に限られないことは言うまでもなく、ソフトウェアに限らずハードウェアにより実現するようにしてもよい。
【００６２】
また、以上説明したリモート操作装置は、これらリモート操作装置を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、ＣＰＵのメインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムはシステム制御部のＣＰＵがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。
【００６３】
ここで、上記プログラムメディアは、通信端末装置又は情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の光ディスクのディスク系、ＰＣカード、コンパクトフラッシュカード、スマートメディア、ＩＣカード、ＳＤカード、メモリースティック等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００６４】
さらに、インターネット接続プロバイダ又は携帯メールサービス等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録楳体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【００６５】
【発明の効果】
以上、詳述したように、本発明によれば、リモコンを手元に置いていない場合やリモコンを紛失した場合でも機器をリモート操作することができ、操作途中でも操作が機器に受け入れられているかどうかを認識することができる。
【００６６】
また、コマンドとなる動作や形状をユーザが覚える必要はなく、直感的にわかりやすくユーザフレンドリィなユーザインターフェースにより機器をリモート操作することができる。さらに、選択メニューの階層を複数階層にすることにより、コマンドの数を順次増やすことができる。その際、各選択メニューに表示切を設けておけばいつでもメニュー表示をオフすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態のリモート操作装置の構成を示すブロック図である。
【図２】本実施の形態のリモート操作装置の選択メニューの表示例を説明する図である。
【図３】本実施の形態のリモート操作装置の動作を示すフローチャートである。
【符号の説明】
１カメラ（撮影手段）
２動き検出器（動き検出手段）
３動き部分抽出器（動き部分抽出手段）
４被写体ウィンドウ設定器
５，６画像認識器（画像認識手段）
７認識結果確定検出器（認識結果検出手段）
８メニュー表示器（表示手段）
９有効認識結果タイムアウト検出器
１０操作機器インターフェース（操作機器インターフェース手段）
１１操作機器
１２リモコンレスモードスイッチ（設定手段）
２０テレビ受信機（操作機器）の表示画面
２１選択メニュー（第１階層目の選択メニュー＜１＞）
２１ａ選局アップ
２１ｂ選局ダウン
２１ｃ次メニュー
２１ｄ表示切
２２選択メニュー（第２階層目の選択メニュー＜２＞）
２２ａ音声アップ
２２ｂ音声ダウン
２２ｃ入力切替
２２ｄ表示切[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a remote control device for remotely controlling a device.
[0002]
[Prior art]
Generally, remote control of home appliances is performed using a wireless remote control device using infrared light (hereinafter, referred to as a remote control). On the transmitter side, the operation instruction is transmitted as an infrared light signal obtained by modulating a signal (data). On the receiver side, the infrared light signal is received and demodulated, and the original signal (data) is extracted. The operation according to the operation instruction is performed by the extracted signal. For example, when the camera is equipped with a remote controller, if the photographer presses a button for photographing provided on the transmitter, the photographer can perform photographing while away from the camera without directly pressing the release button of the camera. .
[0003]
2. Description of the Related Art Conventionally, there is a remote control using an infrared ray used in a television or the like. However, a remote control is naturally required for operation, and cannot be used when the remote control is not at hand or the remote control is lost. Therefore, for example, Patent Literature 1 discloses a device control device and a method of operating a device by recognizing an operation of a user's hand or the like by having a photographing unit and a unit for recognizing a movement or a shape of a photographed image. I have.
[Patent Document 1]
JP 2001-5975 (FIG. 1)
[0004]
[Problems to be solved by the invention]
Such a conventional operation method using a remote controller and an apparatus operation device have the following problems.
[0005]
As described above, the operation method using the remote control cannot be used when the remote control is not at hand or the remote control is lost.
Further, in the device described in Patent Literature 1, (1) the reaction to the user operation is only the actual operation of the operation result, so it is difficult to know whether the operation is accepted by the device during the operation. (2) It is necessary for the user to memorize the actions and shapes that become commands, which makes it difficult to use. (3) The number of commands and the number of commands that can be remembered by the user is limited because the number of operations and shapes that can be commands are remembered by the user. (4) There is a problem that a malfunction due to an erroneous determination is likely to occur.
[0006]
Even if the remote control is not at hand or the remote control is lost, the device can be operated remotely, and a selection menu is displayed as a result of the user operation, so whether the operation is accepted by the device even during operation is It can be recognized, the operation and shape of the command are simple, easy for the user to understand, and the selection menu can be hierarchized, so that even a large number of operation items can be handled. The actions that the user needs to remember are minimal.
[0007]
The present invention has been made in view of such a problem, and enables remote operation of a device even when the remote control is not at hand or lost, and operation is accepted by the device even during operation. It is an object of the present invention to provide a remote operation device capable of recognizing whether or not the operation has been performed.
[0008]
[Means for Solving the Problems]
The remote operation device of the present invention includes: a photographing unit; a motion detecting unit that detects a motion of an image photographed by the photographing unit; a motion part extracting unit that extracts a moving part from the detected image; Image recognition means for recognizing a predetermined movement and / or shape from the image of the extracted portion; display means for displaying a selection menu including option image patterns for selecting operation contents; and displaying the image recognition result and the selection menu. It is characterized by comprising a determining means for determining that the displayed option image pattern corresponds, and a control means for executing an operation content based on the determination result.
[0009]
As a more preferable specific mode, when the image recognition result matches the option image pattern displayed in the selection menu, the determination unit selects a menu item of the matched option image pattern.
[0010]
The apparatus further includes an operation device interface unit serving as an interface with an operation device to be controlled, and the control unit controls the operation device based on the determination result. Equipment can be controlled.
[0011]
The display means can indicate to the user whether the user's selection operation is valid or invalid by changing the display of the option image pattern of the selected menu item.
[0012]
The image processing apparatus further includes a recognition result detecting unit that detects that the image recognition result has continued for a certain period, and the display unit displays the option image pattern of the selected menu item when the image recognition result continues for a certain period. Is changed, it is possible to show the user that the option has been determined.
[0013]
The image processing apparatus further includes a recognition result detecting unit that detects that the image recognition result has continued for a certain period, and the display unit turns off the display of the selection menu when the image recognition result has not been obtained for a certain period. There may be.
[0014]
More preferably, the selection menu includes a menu item that turns off the display of the selection menu and exits the selection menu.
More preferably, the selection menu includes a menu item for turning off the display of the selection menu.
[0015]
The selection menu may include a plurality of layers.
The image recognizing means recognizes an operation of waving an operator's hand, and the display means, when recognizing the operation of waving the hand, turns on the display of the selection menu so that the user can easily shake the hand. The selection menu can be displayed by performing a natural operation.
[0016]
The image recognition means recognizes the direction of the hand with the finger of the operator, and the determination means selects the menu item of the option image pattern corresponding to the direction of the hand with the finger, so that the user can By indicating the direction of the hand with the finger raised, selection from the selection menu can be performed.
The provision of the setting means for the user to set on / off of the remote operation based on the image recognition result allows the user to perform a remote operation suitable for the user's use environment.
[0017]
As a more preferable specific mode, the operation device includes a television receiver, and the selection menu includes a menu item of channel selection up / down of the television receiver, thereby realizing a remote operation device for television. be able to.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of a remote control device according to the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram illustrating a configuration of a remote operation device according to an embodiment of the present invention. This is an example in which the present embodiment is applied to a television receiver as the remote operation device. In addition, target operating devices are also applied to television receivers.
[0019]
In FIG. 1, a remote operation device includes a camera 1 (imaging unit) attached to a place where a user who operates the device can be photographed, and a motion detector 2 (movement detection) that detects a motion of an image photographed by the camera 1. Means), a moving part extractor 3 (moving part extracting means) for extracting a moving part from the image detected by the movement detector 2, a subject window area including the moving part is determined, and A subject window setting unit 4 for extracting an area; image recognition units 5 and 6 (image recognition means) for recognizing a predetermined movement and / or shape from an image of the extracted portion; A recognition result determination detector 7 (recognition result detection means) for detecting the continuation of the above, and a menu for displaying a selection menu composed of option image patterns for selecting operation contents A display 8 (display means), a valid recognition result time-out detector 9 for detecting that a valid selection operation from a user is not detected for a certain period of time, and an operation device interface 10 serving as an interface with a target operation device (operation Device interface means), an operation device 11, and a remote controlless mode switch 12 (setting means) for setting on / off of a remote controlless operation mode.
[0020]
The menu display 8 may be configured to display a selection menu when the image recognition result matches a predetermined pattern.
The camera 1 is configured by a CCD (Charge Coupled Device) or the like, and inputs target image information. The input video signal is converted into a digital signal by an A / D converter (not shown) and output to the motion detector 2 and the motion portion extractor 3.
[0021]
The motion detector 2, the motion portion extractor 3, the subject window setting device 4, the image recognizers 5 and 6, the recognition result determination detector 7, the menu display 8, and the valid recognition result timeout detector 9 are specifically described. Is realized by a CPU (determination means, control means), which is a control section for controlling the entire apparatus, and a memory for storing a control program, fixed data, and the like. The motion detector 2, the motion portion extractor 3, and the subject window setting device 4 may use a dedicated motion compensation circuit (LSI).
[0022]
The CPU controls the entire remote operation device including execution of application processes such as an image recognition process and an image display process, and controls the entire control units.
[0023]
In particular, the CPU includes: display means for displaying a selection menu composed of option image patterns for selecting operation contents; determination means for determining that the image recognition result corresponds to the option image pattern displayed in the selection menu; It has a function as control means for executing the operation content based on the result. Details of the operation will be described later with reference to FIG.
[0024]
The user selects a desired operation by a user operation from a selection menu using software keys displayed on a display screen by the menu display 8 (for example, when the operation device is a television receiver, the television screen). (For example, tuning).
[0025]
2A and 2B are diagrams illustrating a display example of a selection menu of the remote operation device. FIG. 2A illustrates a display example of a selection menu on a television screen, and FIG. 2B illustrates a selection menu of a first hierarchy. FIG. 2C shows a display example of <1>, and FIG. 2C shows a display example of selection menu <2> of the second hierarchy.
[0026]
2A, reference numeral 20 denotes a display screen of a television receiver to which the remote operation device is applied, and reference numeral 21 denotes an OSD (on-screen display) on a predetermined area (here, a lower right corner) of the television image on the display screen 20. ) Or a selection menu (selection menu <1>) which is a software key displayed by software processing.
[0027]
The selection menu 21 is a first-level selection menu <1> displayed at the start of the remote operation. As shown in FIG. 2B, the selection menu 21 (selection menu <1>) is shown in detail. Is composed of an image pattern for option selection in which four hands with fingers raised are combined in up, down, left, and right directions. The first level selection menu <1> is composed of image patterns of a hand with a finger raised, including a channel selection up 21a, a channel selection down 21b, a next menu 21c, and a display off 21d. The user can intuitively perform the corresponding operation by moving the hand with his finger up in a desired direction according to the image pattern. For example, if the user moves his hand with his finger up, it is recognized that the channel selection is up 21a, and the channel selection up of the television is performed.
[0028]
When the next menu 21c is selected in the first-level selection menu <1> shown in FIG. 2B, as shown in FIG. 2C, the second-level selection menu, which is the next level, is displayed. 22 (selection menu <2>) is displayed. Similarly to the selection menu <1> of the first hierarchy, the selection menu <2> of the second hierarchy also includes a TV sound up 22a, a sound down 22b, an input switching 22c, and a display based on the image pattern of the hand with the finger raised. It is composed of each image pattern of the cut 22d. When the input switch 22c is selected, the display returns to the selection menu <1> of the first hierarchy shown in FIG.
[0029]
In both of the selection menu <1> of the first hierarchy and the selection menu <2> of the second hierarchy, display off 21d and 22d as options for turning off the display of the selection menu and exiting from the selection menu are provided. is set up.
If the image recognition result matches a predetermined pattern, or if an effective image recognition result has not been obtained for a certain period of time, the display of the selection menu is turned off.
In addition, a waving operation is used for the image pattern for starting selection menu display, and the selection menu is displayed when the operator performs a waving operation.
[0030]
In the present embodiment, the first and second layers are used. However, a structure having no further hierarchical structure or a hierarchical structure may be used.
Further, the image pattern for selecting an option by the hand with the finger raised is an example, and any pattern may be used. Although the image pattern may be changed between the first layer and the second layer, it is preferable to use the same image pattern in order not to give the user a sense of discomfort.
[0031]
Hereinafter, the operation of the remote control device configured as described above will be described.
The camera 1 is attached to a place where a user who operates the device can be photographed. The photographed image of the user is AD-converted and then supplied to the motion detector 2 and the subject window setting device 4.
[0032]
The motion detector 2 detects a motion component from the captured video and supplies the motion component to the motion portion extractor 3. The motion detection can be performed by taking a difference between a signal obtained by delaying a captured video by using a frame memory and a current captured video signal. Needless to say, more complicated processing is required to obtain better motion detection performance, but the present invention is not intended to improve the motion detection performance, and will not be described here.
[0033]
The motion portion extractor 3 analyzes the distribution of the motion detection signal, extracts the portion where the motion is intensively detected, and supplies the extracted portion to the subject window setting device 4.
The subject window setting unit 4 determines a region of the subject window including the moving part, extracts a corresponding region of the captured video, and supplies the extracted region to the image recognizers 5 and 6.
[0034]
The image recognizer 5 detects a pattern for turning on / off the display of the selection menu, and supplies the detection result to the menu display 8 as a selection menu display switching instruction.
The pattern for switching the display of the selection menu is determined by the user's waving action, and the selection menu is displayed when the user shakes the hand, realizing a very intuitive and easy-to-understand user-friendly user interface can do.
[0035]
A method of detecting a waving motion as a pattern will be described.
A motion vector is detected by pattern matching between a signal obtained by delaying a captured image by using a frame memory and a current captured image. More specifically, the image is divided into blocks of about 16 pixels × 16 pixels, and a difference is determined as to which block is closer to which block in the image one frame before, and the difference data amount and the smallest sum of squares are obtained. By obtaining a block, a positional difference between the corresponding blocks is obtained, and this becomes a motion vector. A valid motion vector is not detected for a stationary part other than the hand, but a motion vector having a valid magnitude is detected for a moving hand part.Since it is a simple motion, a transition of the motion vector It can be detected as a specific pattern. Of course, the shape or color of the hand may be added to the determination element, or the surface temperature may be added to the determination element using a temperature sensing camera.
[0036]
When the selection menu display switching instruction is sent, the menu display 8 displays the selection menu 21 (selection menu <1>) on the television screen (see FIG. 2A). When a pattern for turning on / off the selection menu is detected again while the selection menu is being displayed, the menu display 8 that has received the pattern turns off the display of the selection menu.
[0037]
Returning to FIG. 1, the image recognizer 6 recognizes a pattern corresponding to an option from the selection menu by pattern matching, and supplies the recognition result to a recognition result confirmation detector 7 and a menu display 8. The pattern for selecting an option can be intuitively understood and a user-friendly user interface can be realized by, for example, deciding the direction of the finger with one finger on the hand. The menu display 8 that has received the recognition result changes the color of the option portion corresponding to the recognition result of the selection menu display to indicate whether the user's operation is valid or invalid.
[0038]
The recognition result confirmation detector 7 detects that the recognition result continues for a preset confirmation time or more, and when the continuation is detected for the confirmation time or more, uses the recognition result as a selection confirmation result as a valid recognition result timeout detector 9 and a menu. It is supplied to the display 8 and the remote-less mode switch 12. As described above, by using the detection of the duration to detect the selection operation from the user, a setting unit that can reduce erroneous determination different from the user's intention and further allows the user to set the confirmation time is provided. Therefore, it is possible to respond to a request that the user is accustomed to the operation and wants to speed up the determination process.
[0039]
The validity recognition result time-out detector 9 instructs the menu display 8 to turn off the selection menu display when a valid selection operation by the user is not detected for a certain period of time while the selection menu is displayed. In response to this, the menu display 8 turns off the selection menu. On the other hand, when the selection confirmation is supplied to the menu display 8 before the timeout, the menu display 8 changes the display color of the corresponding option by the selection confirmation from the recognition result confirmation detector 7, and Indicates that the selection operation has been determined.
[0040]
The remote-control-less mode switch 12 is for setting ON / OFF of the remote-control-less operation mode. Here, if the user can set whether or not to use the remote controlless mode for performing this remote operation, the remote controlless mode is turned off in advance in a situation where a large number of people are photographed and erroneous determination is likely to occur. As a result, malfunction due to erroneous determination can be prevented. This setting is performed by setting using buttons on the device body or setting operation using a remote control. When the remote-control-less mode is on, the remote-control-less mode switch 12 is connected to the operating device interface 10, and the operating device 11 is controlled via the operating device interface 10 by a user's selection operation.
[0041]
FIG. 3 is a flowchart showing the operation of the remote operation device. In the figure, S indicates each step of the flow.
When the program starts, first, in step S1, a selection menu switching pattern is detected by recognizing a captured video image, and in step S2, it is determined whether the selection menu switching pattern is detected. If no selection menu switching pattern is detected, the process returns to step S1. When the selection menu switching pattern is detected, the selection menu <1> is displayed in step S3. A display example of the selection menu <1> is shown in FIG.
[0042]
Next, in step S4, image recognition of the captured video is performed, and in step S5, it is determined whether a selection menu switching pattern has been detected. When the selection menu switching pattern is detected, the selection menu is turned off in step S6, and the process returns to the image recognition processing in step S1.
[0043]
If no selection menu switching pattern is detected in step S5, it is determined in step S7 whether the selected menu switching pattern is an option selection pattern. If it is not a valid selection pattern, all options are returned to normal colors by returning colors of option display in step S8, and the process returns to the image recognition processing in step S4. If it is a valid selection pattern, the color of the display portion corresponding to the selected option in the selection menu display is set to a color indicating that the selected option is selected by changing the color of the option display in step S9.
[0044]
In step S10, it is determined whether or not the user's selection operation is finalized. If the user's selection operation is finalized, the display corresponding to the selected option in the selection menu display is changed by changing the color of the selection display in step S11. Set the color of the part to the color indicating that it has been confirmed. If the selection is not confirmed, the process returns to the image recognition processing in step S4.
[0045]
In step S12, it is determined whether or not the selected option is "display off". If the selected option is "display off", the display of the selection menu is turned off in step S6, and then the process returns to the image recognition processing in step S1.
[0046]
If it is not "display off" in step S12, it is determined whether or not the option selected and confirmed in step S13 is "next menu". If the selected option is the "next menu", a selection menu of the next hierarchy is displayed by the selection menu <2> in step S14, and the process returns to the image recognition processing in step S4. FIG. 2C shows an example of the selection menu <2>. If it is not the "next menu", the operation device 11 is controlled by controlling the operation device in step S15, and the process returns to the image recognition process in step S4.
[0047]
Thus, as shown in FIG. 2 (b), by providing tuning up / down in the first hierarchy of the selection menu, a tuning operation frequently used on the television can be executed by two actions. In addition, as shown in FIG. 2C, the menu can be deleted at any time by always providing an option of "display off" in each menu.
[0048]
As described above, the remote operation device according to the present embodiment includes the camera 1 attached to the place where the user who operates the operation device 11 can be photographed, and the image recognizers 5 and 6 that recognize the movement and / or shape of the image. A menu display 8 for displaying a selection menu composed of option image patterns for selecting operation contents, and when the image recognition result matches the option image pattern displayed in the selection menu, selects the matched menu item; On the basis of the selection result, for example, a control command such as turning on / off a selection menu display such as next menu display, display off, input switching, or selecting the operation device 11 via the operation device interface 10 is executed. Since the remote control is not used for remote control, even if the remote control is not at hand or lost, It is possible to remotely control the.
[0049]
In addition, since a selection menu is displayed as a result of user operation, it is possible to recognize whether or not the operation is accepted by the device even during the operation, and in addition, the operation or shape that becomes a command because the operation is performed by the user's hand Is simple, easy for the user to understand, and the selection menu can be hierarchized. The actions that the user needs to remember are minimal.
In addition, the user can visually recognize whether the user's own selection operation is valid or invalid from the display change of the menu item options.
[0050]
Furthermore, since a valid recognition result time-out detector 9 is provided to detect the continuation of the selection operation for a certain period of time, erroneous determination at the time of selection can be reduced. Can be visually recognized from the change in the display of the options.
[0051]
In addition, since the selection menus 21 and 22 include options for always turning off the display (display off 21d and 22d), the display can be turned off by one action at any level of the selection menu.
[0052]
Further, since the selection menu is turned off when the image recognition result matches a predetermined pattern, the display can be turned off by one action even if there is no option to turn off the display in the selection menu.
[0053]
In addition, since the selection menu is turned off when a valid image recognition result is not obtained for a certain period of time, the selection menu automatically disappears and is convenient when the user stops the operation halfway. Further, even if the selection menu is displayed by an operation not intended by the user, the selection menu naturally disappears, which is convenient.
[0054]
In addition, since the first level of the selection menu includes selection of TV channel up / down (channel up 21a, channel down 21b), the TV channel selection operation can be performed with few actions and convenient. is there.
[0055]
In addition, since an image pattern for starting selection menu display is configured to use a waving operation, a selection menu is displayed when the user waves his / her hand, thereby realizing an intuitive and intuitive user-friendly user interface. be able to.
[0056]
In addition, since the image pattern for selecting options uses the direction of the hand with the finger raised, the operator can select from the selection menu by indicating the direction of the hand with the finger raised, so that the operator can intuitively understand An easy and user-friendly user interface can be realized.
[0057]
Furthermore, since the system is provided with a user setting menu for turning on / off the remote operation based on the image recognition result, even in a situation where a large number of people are photographed and erroneous determination is likely to occur, the remote controlless mode is turned off in advance. As a result, malfunction due to erroneous determination can be prevented.
[0058]
Furthermore, since the configuration is such that the user can set the duration for detecting that the effective image recognition result for selection selection in the selection menu has continued for a certain period of time, the user becomes accustomed to the operation and the determination can be made quickly. And want to speed it up.
[0059]
In the above embodiment, the remote operation device is an example applied to a television receiver. However, the present invention is not limited to the television receiver, but can be widely applied to other home electric appliances and industrial appliances other than home electric appliances.
[0060]
Further, in the present embodiment, the name “remote operation device” is used, but this is for convenience of description, and it goes without saying that a device control device, a remote control device, a device control method, or the like may be used.
[0061]
Further, the selection menu, the menu items, the number and arrangement of the image patterns, the color, the background color, the display blinking, the display format, and the like on the display screen may be arbitrary.
Further, it goes without saying that the number and types of circuits and members constituting the remote operation device are not limited to the above-described embodiment, and may be realized not only by software but also by hardware.
[0062]
Further, the remote operation device described above is also realized by a program for causing these remote operation devices to function. This program is stored in a computer-readable recording medium. In the present invention, as the recording medium, the main memory of the CPU itself may be a program medium, or a program reading device such as a CD-ROM drive may be provided as an external storage device, and the recording medium may be inserted therein. It may be a program medium such as a CD-ROM that can be read by a computer. In any case, the stored program may be configured to be accessed and executed by the CPU of the system control unit, or the program may be read in any case, and the read program is not shown. The program may be downloaded to the program storage area and the program may be executed. This download program is stored in advance in each device.
[0063]
Here, the program medium is a recording medium configured to be separable from the communication terminal device or the information processing device, and is a magnetic disk such as a magnetic tape or a cassette tape, a CD-ROM, a CD-R / RW, an MO, an MD. , DVD-ROM, DVD-RAM, DVD-RW and other optical disc systems, PC cards, compact flash cards, smart media, IC cards, SD cards, memory sticks, etc., or mask ROMs, EPROMs, EEPROMs, flashes It may be a medium that carries a fixed program including a semiconductor memory such as a ROM.
[0064]
Further, the medium may carry a program in a fluid manner such that the program is downloaded from a communication network through a communication connection unit capable of connecting to an external communication network such as an Internet connection provider or a mobile mail service. . When the program is downloaded from the communication network as described above, the download program may be stored in advance, or may be installed from another storage medium. The content stored in the recording medium is not limited to a program, but may be data.
[0065]
【The invention's effect】
As described in detail above, according to the present invention, the device can be remotely operated even when the remote control is not at hand or the remote control is lost, and whether the operation is accepted by the device even during the operation. Can be recognized.
[0066]
In addition, the user does not need to memorize the operation or shape that becomes a command, and the device can be remotely operated by an intuitive and easy-to-understand user-friendly user interface. Furthermore, the number of commands can be sequentially increased by setting a plurality of selection menu layers. At this time, the menu display can be turned off at any time by providing a display off for each selection menu.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a remote operation device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a display example of a selection menu of the remote operation device according to the present embodiment.
FIG. 3 is a flowchart illustrating an operation of the remote operation device according to the present embodiment.
[Explanation of symbols]
1 camera (photographing means)
2 motion detector (motion detection means)
3 Moving part extractor (moving part extracting means)
4 Subject window setting device
5,6 Image recognizer (image recognition means)
7. Recognition result confirmation detector (recognition result detection means)
8 Menu display (display means)
9 Effective recognition result timeout detector
10. Operation device interface (operation device interface means)
11 Operation equipment
12 Remote controlless mode switch (setting means)
20 Display screen of TV receiver (operating device)
21 Selection menu (first level selection menu <1>)
21a Tuning up
21b Tuning down
21c Next menu
21d Display off
22 Selection menu (Second hierarchy selection menu <2>)
22a Voice up
22b Voice down
22c Input switching
22d display off

Claims

Shooting means,
A motion detecting unit that detects a motion of an image captured by the capturing unit;
A moving part extracting means for extracting a moving part from the detected image;
Image recognition means for recognizing a predetermined movement and / or shape from the image of the extracted portion;
Display means for displaying a selection menu composed of option image patterns for selecting operation contents;
Determining means for determining that the image recognition result corresponds to the option image pattern displayed in the selection menu,
A remote control device comprising: control means for executing an operation content based on the determination result.

2. The remote operation according to claim 1, wherein when the image recognition result matches the option image pattern displayed in the selection menu, the determination unit selects a menu item of the matched option image pattern. apparatus.

An operation device interface unit that serves as an interface with the operation device to be controlled is provided,
The remote control device according to claim 1, wherein the control unit controls the operation device based on the determination result.

4. The remote operation device according to claim 1, wherein the display unit changes display of an option image pattern of the selected menu item. 5.

A recognition result detection unit that detects that the image recognition result has continued for a certain period,
5. The remote device according to claim 1, wherein when the image recognition result continues for a certain period, the display unit changes display of an option image pattern of the selected menu item. 6. Operating device.

A recognition result detection unit that detects that the image recognition result has continued for a certain period,
The remote operation device according to claim 1, wherein the display unit turns off the display of the selection menu when the image recognition result has not been obtained for a certain period of time.

The remote operation device according to any one of claims 1 to 6, wherein the selection menu includes a menu item that switches off the display of the selection menu and exits the selection menu.

The remote operation device according to claim 1, wherein the selection menu includes a menu item for turning off the display of the selection menu.

The remote operation device according to claim 1, wherein the selection menu includes a plurality of layers.

The image recognition means recognizes an operation of waving an operator's hand,
10. The remote operation device according to claim 1, wherein the display unit turns on the display of the selection menu when recognizing the waving operation.

The image recognition means recognizes the direction of the hand with the finger of the operator,
The remote operation device according to claim 1, wherein the determination unit selects a menu item of an option image pattern corresponding to a direction of the hand with the finger raised.

The remote operation device according to claim 1, further comprising a setting unit configured to allow a user to set on / off of a remote operation based on a result of the image recognition.

The operation device includes a television receiver,
The remote operation device according to claim 1, wherein the selection menu includes a menu item of channel selection up / down of the television receiver.