WO2006008947A1

WO2006008947A1 - 移動体通信端末、アプリケーションプログラム、画像表示制御装置、電子機器及び画像表示制御方法

Info

Publication number: WO2006008947A1
Application number: PCT/JP2005/012316
Authority: WO
Inventors: Hirohisa Kusuda; Yasuhiro Nishide; Daisuke Tsujino; Jun Yamazaki; Takashi Katayama
Original assignee: Vodafone K.K.
Priority date: 2004-07-20
Filing date: 2005-07-04
Publication date: 2006-01-26
Also published as: EP1783592B1; JP2006031515A; EP1783592A1; US8619028B2; US20080014987A1; EP1783592A4

Abstract

　本移動体通信端末２０の検知手段２２１は、移動体通信端末２０の位置、向き、姿勢及び動きのうちの少なくとも１つを検知する。アプリケーションプログラム実行手段２２０は、アプリケーションプログラムを実行することにより、２つの方向パラメータに応じて互いに異なる２つの方向変更処理を並行して行うことが可能なものであって、これらの２つの方向パラメータのうちの少なくとも一方は検知手段２２１の検知データに基づいて決定する。上記２つの方向変更処理は、例えば表示手段２２２上の画像における視点の移動方向を変更する視点移動方向変更処理及び視線方向を変更する視線方向変更処理である。上記方向パラメータの一方は、キー操作手段２２３からのキー操作信号に基づいて決定してもよい。

Description

明細書

移動体通信端末、アプリケーションプログラム、画像表示制御装置、電子機器及び画像表示制御方法

技術分野

[0001] 本発明は、携帯電話機等の移動体通信端末、移動体通信端末で実行可能なアブリケーシヨンプログラム、画像表示制御装置、電子機器及び画像表示制御方法に関するものである。

背景技術

[0002] 従来、移動体通信端末としては、方向キーのキー操作信号に基づいて決定される方向パラメータを用いてアプリケーションプログラムを実行する携帯電話機が知られている。このようなアプリケーションプログラムとしては、例えば、仮想のゲーム空間内を移動する仮想戦闘機 (仮想物体)の移動方向を変更する処理に用いる方向パラメータを、利用者が操作した方向キーのキー操作信号に基づいて決定するものがある。このようなアプリケーションプログラムを実行する携帯電話機としては、プラットフォームに依存しないオブジェクト指向のプログラミング言語で記述されたアプリケーションプログラムを実行可能なものが挙げられる。例えば、 JAVA (登録商標。以下同様。 ) 仮想マシン機能を実装し、 JAVAで記述されたアプリケーションプログラムを実行できるようにした携帯電話機がある (特許文献 1参照)。このような携帯電話機では、所定のサーバからダウンロードするなどして取得した様々なアプリケーションプログラムを利用することが可能である。また、 BREW (登録商標。以下同様。）のアプリケーション実行環境上で動作するアプリケーションプログラムなどにっ、ても、同様である。

[0003] また、検知手段の検知データに基づ!/、て決定される方向パラメータを用いてアプリケーシヨンプログラムを実行する携帯電話機も知られている。例えば、特許文献 2には、加速度を検知するセンサ (検知手段）によって検知した加速度を用いて携帯電話機の移動方向を特定するものが記載されている。この携帯電話機では、その検知結果から特定した携帯電話機の移動方向に基づ、て、液晶ディスプレイ上に表示された複数の入力文字候補の中の 1つを選択するためのカーソルの移動方向（方向パラメータ）を決定し、そのカーソルを移動させる処理を行う。具体的には、例えば、携帯電話機を右方向へ移動させると、その移動方向に応じて液晶ディスプレイ上に表示されたカーソルを右方向へ移動させる処理を行う。

[0004] 一方、従来の移動体通信端末や携帯ゲーム機などの電子機器にお!、てディスプレィの二次元の画面内で三次元の立体画像オブジェクトを表示する場合、ある一定の視点から画像オブジェクトを視た画像を表示する必要があった。そのため、画像ォブジェクトを視る視点を、かに制御するか力上記三次元の立体画像オブジェクトを表示する上で重要である。このような三次元の立体画像オブジェクトの画像表示制御の代表的なものとして、 (1)立体画像オブジェクトの外部に固定された視点から俯瞰的に立体画像オブジェクトを視るように表示する制御や、 (2)立体画像オブジェクト自身に視点を持たせ、主観的な視点で立体画像オブジェクト上の視点から周囲を視るように表示する制御、などが知られている。

[0005] 上記三次元空間内で、立体画像オブジェクトである飛行機の制御を外部コントローラー力の入力により行!、、それをディスプレイの二次元の画面上に表示する家庭用または業務用のゲーム機上のフライトシミュレータを例にとれば、上記（1)及び（2)の画像表示制御は次のように行われる。例えば、上記（1)は、飛行機（立体画像ォブジェタト)の後方や側方に固定された視点で俯瞰的に飛行機を捉えた画像として表示するように行う画像表示制御である。また、上記（2)の画像処理は、例えば飛行機の仮想的な操縦席カゝら飛行機の前方に向けた主観的な視点をおき、飛行機の進行方向が外部コントローラ一力の入力で変わるように制御されたときでも、常に進行方向における前方を視る視点で画面を表示するように行う画像表示制御である。

[0006] また、特許文献 3には、上記立体画像オブジェクトを視る視点を変更可能な画像表示制御が記載されている。この制御では、仮想空間内に設定される視点から視線方向へその仮想空間内を見たときの擬似的な視界の画像を表示手段に表示する。そして、利用者カ^ッチパネルに対して所定のタツチパネル操作を行うと、その操作内容に応じて上記視点を移動させたり、その移動方向を変えたり、上記視線方向を変えたりすることができる。これにより、仮想空間内における視点の位置や視線方向が変更され、タツチパネル上に表示される擬似的な視界の画像が変更される。 [0007] 特許文献 1：特開 2000— 347867号公報

特許文献 2 :特開 2002— 169645号公報

特許文献 3：特開 2004— 5272号公報

発明の開示

発明が解決しょうとする課題

[0008] 上述のように、方向キーのキー操作信号に基づ!/、て決定される方向パラメータに応じて、仮想戦闘機の移動方向を変更する処理 (方向変更処理)を行う場合、この処理と並行して、その仮想のゲーム空間内に設定されるゲーム画面の視点からの視線方向を変更する処理 (方向変更処理)を行うことができれば、より臨場感のあるゲームを利用者に提供することができる。ところが、従来の携帯電話機がこのような方向変更処理に用いる方向パラメータは、方向キーのキー操作信号のみに基づいて決定されるものであり、 2つの方向パラメータに応じて互いに異なる 2つの方向変更処理を並行して行う携帯電話機は存在しな力つた。そのため、上記のような臨場感のあるゲームを利用者に提供することができな力つた。

なお、上記 2つの方向変更処理を並行して行うことが可能な携帯電話機を実現できれば、このようなゲームのアプリケーションプログラムに限らず、他の様々なアプリケーシヨンプログラムにとっても有用となる。

[0009] ここで、上記 2つの方向変更処理を並行して行うことを可能にする方法としては、例えば、これらの 2つの方向変更処理で用いる 2つの方向パラメータをそれぞれ決定するために、 2つの方向キーを携帯電話機に設けることが考えられる。しかし、この方法では、方向キーを備えていた従来の携帯電話機に更にもう 1つの方向キーを追加することが必要になり、追加する方向キーの設置スペースを携帯電話機の外面に確保しなければならない。そのため、小型化の要求が強い携帯電話機の大型化を招いてしまうという問題が発生する。

以上の説明は、携帯電話機を例に挙げて行ったが、小型化が要求されるような他の移動体通信端末においても、同様である。

[0010] また、上述の（1)や（2)の従来の画像表示制御においては、視点を変更する操作もその他の操作 (例えばゲーム操作)もキーゃタツチパネルを用いた入力で行われているため、ユーザーの操作の利便性を考えて、視点変更と実際の操作を択一的に選択させることが多い。すなわち、先のフライトシミュレータの例の場合、普段はキー入力で飛行機を操作するが、キー入力受付の切り替えを行って力画面上の視点を変更させる画像表示制御が行われる。このように視点を変更する操作とその他の操作との競合により、ユーザの操作性が悪い。

[0011] また、上記特許文献 3の画像表示制御の場合は、上述したように、利用者カ^ッチパネルに対して操作を行うことで仮想空間内に設定される視点を移動させたり、その視点からの視線方向を変更したりすることができる。しかし、この装置において、利用者の操作は、タツチパネルという 2次元平面上に対する操作であるため、この操作だけではその平面上における 2次元の方向しか決定することができない。そのため、このような操作では、仮想空間内における視点の移動方向やその視線方向という 3次元の方向を利用者が直感的に変更できるという高い操作性を実現することができない。

[0012] 本発明の目的は、当該移動体通信端末を大型化せずに、利用者の操作に応じて互いに異なる 2つの方向変更処理を並行して行うことを可能にする移動体通信端末及びアプリケーションプログラムを提供することである。

また、本発明の他の目的は、仮想空間内における視点を変更する操作とその他の操作との競合を回避しつつ、かかる視点の移動方向やその視線方向という 3次元の方向を利用者が直感的に変更できるという高い操作性を実現することが可能な画像表示制御装置、電子機器及び画像表示制御方法を提供することである。

課題を解決するための手段

[0013] 本発明に係る移動体通信端末は、方向パラメータを用いてアプリケーションプログラムを実行するアプリケーションプログラム実行手段と、移動体通信端末の位置、向き、姿勢及び動きのうちの少なくとも 1っを検知するための検知手段とを備え、該ァプリケーシヨンプログラム実行手段は、該アプリケーションプログラムを実行することにより、 2つの方向パラメータに応じて互いに異なる 2つの方向変更処理を並行して行うことが可能なものであって、該 2つの方向パラメータのうちの少なくとも一方は該検知手段の検知データに基づいて決定することを特徴とするものである。この移動体通信端末では、並行して行うことが可能な 2つの方向変更処理で用いる方向パラメータのうちの少なくとも一方が、検知手段の検知データに基づいて決定される。よって、少なくとも一方の方向パラメータは、利用者が位置、向き、姿勢及び動きのうちの少なくとも 1つが変化するように本移動体通信端末を動かすことにより決定される。検知手段は、方向キー等のキー操作手段とは違って、移動体通信端末の内部に設けることができる。したがって、上記 2つの方向パラメータを決定するためにキ一操作手段を 2つ設ける場合に比べて、移動体通信端末が大型化しな!/、で済む。なお、ここでいう「互いに異なる 2つの方向変更処理」とは、アプリケーションプロダラムの実行により、方向が変化し得る互いに異なる 2つの対象について、その 2つの対象の方向を 2つの方向パラメータに応じてそれぞれ変更するために必要な処理をい

[0014] 上記移動体通信端末において、仮想空間内に設定される視点から視線方向へ該仮想空間内を見たときの擬似的な視界の画像を表示する表示手段を備え、上記 2つの方向変更処理は、該視点の移動方向を変更する視点移動方向変更処理と、該視線方向を変更する視線方向変更処理であることが好ましい。

この移動体通信端末では、利用者が位置、向き、姿勢及び動きのうちの少なくとも 1 つが変化するように本移動体通信端末を動かすとヽぅ操作を行うことで、視点の移動方向及び視線方向の少なくとも一方が変更される。この操作は、移動体通信端末を動かすという 3次元空間（現実空間）内の操作であるため、同じ 3次元空間である仮想空間内で視点の移動方向やその視線方向を変更するにあたり、利用者は直感的に操作することが可能となるので、高、操作性を実現できる。

[0015] 上記移動体通信端末において、上記アプリケーションプログラム実行手段は、上記検知手段の検知データに基づ、て上記 2つの方向パラメータの両方を決定し、上記視線方向変更処理は、上記視点が移動しても上記視線方向が上記仮想空間内に存在する仮想物体に向力う方向へ維持されるように該視線方向を変更するのが好ましい。

この移動体通信端末では、検知手段の検知データに基づ、て決定される 2つの方向パラメータに応じて、視点移動方向変更処理と視線方向変更処理とを並行して行うことが可能である。そして、その視線方向変更処理は、視点が移動しても、視線方向が仮想空間内に存在する仮想物体に向力う方向へ維持されるように行われる。よつて、表示手段には、常に、その仮想物体の画像が表示されることになる。しかも、利用者が移動体通信端末を動かせば、これに応じて視点の移動方向が変更され、仮想空間内における仮想物体に対する視点の相対的な位置を変化させることができる

。したがって、利用者は、移動体通信端末を動かすという 1つの操作を行うだけで、その仮想物体を自分の希望する方向から確認することが可能となる。

[0016] 上記移動体通信端末にお!、て、利用者により操作されるキーを備えたキー操作手段を備え、上記アプリケーションプログラム実行手段は、上記 2つの方向パラメータの一方は上記検知手段の検知データに基づいて決定し、他方は該キー操作手段からのキー操作信号に基づ、て決定するのが好ま、。

この移動体通信端末では、上記 2つの方向変更処理の一方を、キー操作信号に基づき決定される方向パラメータを用いて行い、他方を検知手段の検知データに基づき決定される方向パラメータを用いて行う。前者の方向パラメータは、利用者がキー操作を行うことにより決定されるものである。後者の方向パラメータは、利用者が位置、向き、姿勢及び動きのうちの少なくとも 1つが変化するように本移動体通信端末を動かすことにより決定されるものである。キー操作を行うことと本移動体通信端末を動かすこととは、利用者が同時にかつ独立して行うことができる。よって、本移動体通信端末によれば、並行して行われる 2つの方向変更処理でそれぞれ用いられる 2つの方向パラメータを決定するための操作を、同時にかつ独立して行うことが可能となる。

[0017] 上記移動体通信端末において、上記アプリケーションプログラム実行手段は、上記アプリケーションプログラムを実行することにより、仮想のゲーム空間内を仮想物体が移動するゲームを進行するものであり、上記 2つの方向変更処理のいずれか一方は、該仮想のゲーム空間内における該仮想物体の移動方向を変更する処理であることが好ましい。

この移動体通信端末では、利用者がキー操作を行うか、本移動体通信端末を動かす操作を行うかすることにより、仮想のゲーム空間内における仮想物体の移動方向を変えることができる。一方、利用者が、キー操作か本移動体通信端末を動かす操作のうち、仮想物体の移動方向を変えることに用いない操作を行うと、仮想物体の移動方向とは異なる変更対象方向を変更する他の方向変更処理を行うことができる。よつて、仮想物体の移動方向を変更する処理及び他の方向変更処理に用いる各方向パラメータを決定する操作を、同時にかつ独立して行うことができる。

[0018] 上記移動体通信端末において、上記アプリケーションプログラム実行手段は、上記アプリケーションプログラムを実行することにより、仮想のゲーム空間内を仮想物体が移動するゲームを進行するものであり、該仮想のゲーム空間内に設定される視点から視線方向へ該ゲーム空間内を見たときの擬似的な視界を表示する表示手段を備え、上記 2つの方向変更処理のいずれか一方は、該視点の移動方向を変更する処理又は該視線方向を変更する処理であることが好ましい。

この移動体通信端末では、利用者がキー操作を行うか、本移動体通信端末を動かす操作を行うかすることにより、仮想のゲーム空間内に設定される視点の移動方向又は視線方向を変えることができる。このように視点の移動方向や視線方向を変わることで、仮想のゲーム空間内における擬似的な視界を変えることができ、表示手段に表示される画像を変えることができる。一方、利用者が、キー操作か本移動体通信端末を動かす操作のうち、視点の移動方向又は視線方向を変えることに用、な、操作を行うと、視点の移動方向又は視線方向とは異なる変更対象方向を変更する他の方向変更処理を行うことができる。よって、仮想のゲーム空間内における擬似的な視界の変更するための方向変更処理と、他の方向変更処理とを、同時かつ個別に行うことができる。

[0019] 上記移動体通信端末において、上記アプリケーションプログラム実行手段は、上記アプリケーションプログラムを実行することにより、仮想のゲーム空間内を仮想物体が移動するゲームを進行するものであり、該仮想のゲーム空間内に設定される視点から視線方向へ該ゲーム空間内を見たときの擬似的な視界を表示する表示手段を備え、上記 2つの方向変更処理の一方は該視点の移動方向を変更する処理であり、他方は該視線方向を変更する処理であることが好ましい。

この移動体通信端末では、利用者がキー操作を行うか、本移動体通信端末を動かす操作を行うかすることにより、仮想のゲーム空間内に設定される視点の移動方向を変えることができる。一方、利用者が、キー操作か本移動体通信端末を動かす操作のうち、視点の移動方向を変えることに用いない操作を行うと、視線方向を変える方向変更処理を行うことができる。よって、仮想のゲーム空間内における視点の移動方向を変更する方向変更処理と、仮想のゲーム空間内における視点からの視線方向を変更する方向変更処理とを、同時かつ個別に行うことができる。

[0020] 本発明に係るアプリケーションプログラムは、移動体通信端末の位置、向き、姿勢及び動きのうちの少なくとも 1っを検知するための検知手段を備えた該移動体通信端末に設けられるコンピュータを機能させるためのアプリケーションプログラムであって、 2つの方向パラメータに応じて互いに異なる 2つの方向変更処理を並行して行うことが可能であって、該 2つの方向パラメータのうちの少なくとも一方を該知手段の検知データに基づ、て決定するアプリケーションプログラム実行手段として、該コンピュータを機能させることを特徴とするものである。

このアプリケーションプログラムは、移動体通信端末のコンピュータに、その移動体通信端末が有する前述のアプリケーションプログラム実行手段と同様の処理を実行させることができる。

なお、本アプリケーションプログラムの受け渡しは、デジタル情報としてプログラムを記録した FD、 CD— ROM等の記録媒体を用いて行ってもいいし、コンピュータネットワーク等の通信ネットワークを用いて行ってもょ、。

[0021] 本発明に係る画像表示制御装置は、仮想空間内に設定される視点から視線方向へ該仮想空間内を見たときの擬似的な視界の画像を表示手段に表示させるための表示制御を行う画像表示制御装置であって、操作体の位置、向き、姿勢及び動きのうちの少なくとも 1っを検知するための検知手段によって検知した検知データに基づ V、て、上記視点を変更する視点変更処理及び上記視線方向を変更する視線方向変更処理の少なくとも一方を行って、上記擬似的な視界の画像を変更する画像変更処理手段を備えたことを特徴とするものである。なお、上記視点の変更には、視点の移動方向の変更のほか、視点の移動量の変更も含まれる。

この画像表示制御装置では、利用者が位置、向き、姿勢及び動きのうちの少なくとも 1つが変化するように操作体を動かすと、う操作を行うことで、視点及びその視点からの視線方向の少なくとも一方が変更される。この操作は、操作体を動かすという 3次元空間 (現実空間）内の操作であるため、同じ 3次元空間である仮想空間内で視点の移動やその視点からの視線方向を変更するにあたり、利用者は直感的に操作することが可能となる。

[0022] 本発明に係る電子機器は、表示手段と、仮想空間内に設定される視点から視線方向へ該仮想空間内を見たときの擬似的な視界の画像を該表示手段に表示させるための表示制御を行う画像表示制御手段と、該電子機器の位置、向き、姿勢及び動きのうちの少なくとも 1っを検知するための検知手段とを備え、該画像表示制御手段として、上記画像表示制御装置を備えたことを特徴とするものである。

この電子機器では、仮想空間内に設定される視点から視線方向へ仮想空間内を見たときの擬似的な視界の画像が表示手段に表示される。そして、利用者が位置、向き、姿勢及び動きのうちの少なくとも 1つが変化するように電子機器を動かす 3次元空間 (現実空間）内の操作により、表示手段に表示されている擬似的な視界の画像における視点及び視線方向の少なくとも一方が変更される。この操作は、操作体を動かすという 3次元空間（現実空間）内の操作であるため、同じ 3次元空間である仮想空間内で視点や視線方向を変更するにあたり、利用者は直感的に操作することが可能となる。

[0023] また、上記電子機器では、上記視点や視線方向の変更に、利用者が位置、向き、姿勢及び動きのうちの少なくとも 1つが変化するように電子機器を動かす 3次元空間（現実空間）内の操作を用いている。そのため、上記視点や視線方向の変更に、方向キーの操作ゃタツチパネルの操作を用いる必要がない。従って、方向キー等を用いた他の操作との競合を回避できる。また、方向キー等は、上記仮想空間内の画像ォブジエ外を操作する操作専用として割り当てることができため、上記視点や視線方向の変更と画像オブジェクト操作との役割分担を明確にすることができる。

また、電子機器の位置、向き、姿勢及び動きの少なくとも一つの外部入力と、電子機器に表示手段に表示される仮想空間の画像における視点や視線方向の変更とが連動することにより、力かる視点や視線方向の変更操作についてインタラクティブ性をもたせることができる。特に、携帯電話機や PDA、携帯ゲーム機などの電子機器にお!、て、その電子機器本体の傾きや加速度と！/、つた姿勢変化を上記視点や視線方向の変更に連動させれば、従来とは異なるダイナミックな画像処理を行うことができる

[0024] 本発明に係る画像表示制御方法では、仮想空間内に設定される視点から視線方向へ該仮想空間内を見たときの擬似的な視界の画像を表示手段に表示させるための表示制御を行う画像表示制御方法であって、操作体の位置、向き、姿勢及び動きのうちの少なくとも 1っを検知し、その検知データに基づいて、該視点を変更する視点変更処理及び該視線方向を変更する視線方向変更処理の少なくとも一方を行つて、該擬似的な視界の画像を変更することを特徴とするものである。

この画像表示制御方法では、利用者が位置、向き、姿勢及び動きのうちの少なくとも 1つが変化するように操作体を動かすという操作を行うことで、視点及び視線方向の少なくとも一方が変更される。この操作は、操作体を動かすという 3次元空間 (現実空間）内の操作であるため、同じ 3次元空間である仮想空間内で視点や視線方向を変更するにあたり、利用者は直感的に操作することが可能となる。

[0025] 上記移動体通信端末としては、 PDC (Personal Digital Cellular)方式、 GSM (Glob al bystem for Mobile し ommunication)方式、 TIA、 telecommunications Industry Asso ciation)方式等の携帯電話機、 IMT (International Mobile Telecommunications)—2 000で標準化された携帯電話機、 TD- SCDMA (Time Division Synchronous Code Division Multiple Access)方式の一つである TD— SCDMA (MC : Multi Carrier)方式の携帯電話機、 PHS (Personal Handyphone System) ,自動車電話機等の電話機が挙げられる。また、この移動体通信端末としては、上記電話機のほか、電話機能を有しない PDA (Personal Digital Assistance)等の移動型の移動体通信端末なども含まれる。

また、上記電子機器には、上記移動体通信端末のほか、携帯型情報端末 (PDA : Personal Digital Assistance)やゲーム機等も含まれる。

発明の効果

[0026] 本発明に係る移動体通信端末及びアプリケーションプログラムによれば、移動体通信端末を大型化せずに、利用者の操作に応じて互いに異なる 2つの方向変更処理を並行して行うことが可能になる。

また、本発明に係る画像表示制御装置、電子機器及び画像表示制御方法によれば、方向キーの操作ゃタツチパネルの操作等のように 2次元の操作に比べて、 3次元空間である仮想空間内における視点やその視点力もの視線方向の変更を直感的な操作によりことが可能となるため、高い操作性を実現できる。しかも、上記視点や視線方向の変更に、方向キーの操作ゃタツチパネルの操作を用いる必要がないため、方向キー等を用いた他の操作との競合を回避できる。

図面の簡単な説明

[図 1]本発明の実施形態に係る携帯電話機が利用可能な移動体通信システムの全体構成を説明するための説明図。

[図 2]同移動体通信システムを構成するダウンロードサーバのハードウェア構成を示す概略構成図。

[図 3]同携帯電話機の外観を示す正面図。

[図 4]同携帯電話機のハードウェア構成を示す概略構成図。

[図 5]同携帯電話機の機能ブロック図。

[図 6]同携帯電話機の主要構成を示すブロック図。

[図 7]同携帯電話機におけるソフトウェア構造の説明図。

[図 8]同携帯電話機で動作例 1におけるアプリケーションプログラムを実行するための処理の流れを示すフローチャート。

[図 9]同携帯電話機で動作例 2における機種選択処理の流れを示すフローチャート。

[図 10A]基本姿勢の携帯電話機とその液晶ディスプレイに表示される仮想空間内の飛行機の外観画像との関係を示す説明図。

[図 10B]姿勢を変化させた後の携帯電話機と、その液晶ディスプレイに表示される仮想空間内の飛行機の外観画像との関係を示す説明図。

[図 10C]更に姿勢を変化させた後の携帯電話機と、その液晶ディスプレイに表示される仮想空間内の飛行機の外観画像との関係を示す説明図。

[図 11]同携帯電話機で動作例 3におけるアプリケーションプログラムを実行するための処理の流れを示すフローチャート。符号の説明

[0028] 10 携帯電話通信網

11 ダウンロードサーバ

20 携帯電話機 (移動体通信端末）

24 方向キー

27 液晶ディスプレイ (表示手段）

207 加速度センサ

208 地磁気センサ

213 操作部 (キー操作手段）

214 アプリケーションプログラム実行管理部

215 主制御部

216 出力部

217 センサ検知部 (検知手段）

発明を実施するための最良の形態

[0029] 以下、図面を参照して本発明の実施形態について説明する。

図 1は、本実施形態に係る携帯電話機が利用可能な移動体通信システムの全体構成を説明するための説明図である。

この移動体通信システムにおいて、ユーザー 1が使用する携帯電話機 20は、ユーザ一 1によって登録されたアプリケーションプログラムを実行可能な構成を有して!/、る。本実施形態において、このアプリケーションプログラムは、プラットフォームに依存しないオブジェクト指向プログラミングによって開発されたものである。このようなアプリケーシヨンプログラムとしては、 JAVAで記述されたアプリケーションプログラム、 BRE Wのアプリケーション実行環境上で動作するアプリケーションプログラムなどが挙げられる。この携帯電話機 20は、通信ネットワークとしての携帯電話通信網 10に接続可能である。また、この携帯電話通信網 10には、プログラム提供用サーバとしてのアブリケーシヨンプログラムダウンロードサーバ（以下、「ダウンロードサーノ」という。） 11が接続されている。このダウンロードサーバ 11は、携帯電話機 20からのダウンロード要求を受け付けると、その要求に係るアプリケーションプログラムを携帯電話機 20に対して送信する。

[0030] ダウンロードサーバ 11から提供されるアプリケーションプログラムは、アプリケーションプログラムの開発元 2から提供される。具体的には、例えば、アプリケーションプログラム開発元 2側のパーソナルコンピュータ等から、専用回線や公衆回線を介してダゥンロードサーバ 11にアップロードして提供する。なお、開発したアプリケーションプログラムを記録した光ディスクや磁気ディスク等の記録媒体を、アプリケーションプログラム開発元 2からダウンロードサーバ 11を管理 ·運営する通信事業者に送り、その記録媒体内のアプリケーションプログラムをダウンロードサーバ 11で読み取るようにして、提供してもよい。このようにして提供されたアプリケーションプログラムは、携帯電話機 20から携帯電話通信網 10を介してダウンロード可能な状態でダウンロードサ一ノ 11に登録される。

[0031] 図 2は、上記ダウンロードサーバ 11のハードウェア構成を示す概略構成図である。

このダウンロードサーバ 11は、システムバス 100、 CPU101、内部記憶装置、外部記憶装置 104、入力装置 105及び出力装置 106を備えている。上記内部記憶装置は、 RAM102や ROM103等で構成されている。上記外部記憶装置は、ハードディスクドライブ (HDD)や光ディスクドライブ等で構成されて、る。上記入力装置 105は、外部記憶装置 104、マウスやキーボード等で構成されている。上記出力装置 106 は、ディスプレイやプリンタ等で構成されている。更に、このダウンロードサーバ 11は、携帯電話通信網 10を介して各ユーザー 1の携帯電話機 20と通信するための携帯電話用通信装置 107を備えている。

上記 CPU101や RAM102等の構成要素は、システムバス 100を介して、互いにデータやプログラムの命令等のやり取りを行っている。このダウンロードサーバ 11を所定の手順に従って動作させるためのプログラムは、 ROM103や外部記憶装置 10 4に記憶されており、必要に応じて CPU101や RAM102上の作業エリアに呼び出されて実行される。また、このダウンロードサーバ 11には、携帯電話機 20に提供するァプリケーシヨンプログラムが外部記憶装置 104に記憶されている。ダウンロードサーバ 11は、携帯電話機 20からのダウンロード要求に応じ、 CPU101、 RAM102、携帯電話通信網用通信装置 107等が協働して、外部記憶装置 104に記憶されてヽるァプリケーシヨンプログラムを、携帯電話通信網 10を介して携帯電話機 20に送信する機能を有している。なお、このダウンロードサーバ 11は、専用の制御装置として構成してもいいし、汎用のコンピュータシステムを用いて構成してもよい。また、 1台のコンピュータで構成しても、、し、複数の機能をそれぞれ受け持つ複数台のコンピュータをネットワークで結んで構成してもよ、。

[0032] 図 3は、上記携帯電話機 20の外観を示す正面図であり、図 4は、その携帯電話機 2 0のハードウェア構成を示す概略構成図である。

この携帯電話機 20は、クラムシェル (折り畳み)タイプの携帯電話機であり、システムノス 200、 CPU201、 RAM202や ROM203等力なる内部制御装置、入力装置 204、出力装置 205、携帯電話用通信装置 206、加速度センサ 207、地磁気センサ 208を備えている。 CPU201や RAM202等の構成要素は、システムバス 200を介して、互いに各種データや後述のプログラムの命令等のやり取りを行っている。上記入力装置 204は、データ入力キー（テンキー、 *キー、 #キー） 21、通話開始キー 22、終話キー 23、方向キー 24、多機能キー 25、マイク 26など力も構成されている。上記出力装置 205は、表示手段としての液晶ディスプレイ (LCD) 27、スピーカ 28等から構成されている。上記携帯電話用通信装置 206は、携帯電話通信網 10を介して他の携帯電話機や上記ダウンロードサーバ 11と通信するためのものである。また、 RA M202内には、後述する電話機プラットフォームが管理する第 1の記憶手段としてのプラットフォーム用記憶領域と、後述するアプリケーション実行環境上で管理される第 2の記憶手段としてのアプリケーション用記憶領域とが存在する。

[0033] 上記加速度センサ 207は、データ入力キーが設けられた操作面に対して平行な面内で互いに直交する 2方向（図 3中、 X軸方向及び Y軸方向）に向力う加速度 a , a

X

と、その面の法線方向（図 3中、 Z軸方向）に向力う加速度 a とを検出する 3軸の加

Y Z

速度センサである。この加速度センサ 207は、携帯電話機 20の内部に設けられた図示しない回路基板上に実装されており、上記加速度 α , a , a を検出できる公知

X Y Z

のものを用いることができる。なお、加速度センサ 207として、例えば加速度 α , a

X Y

を検出できる 2軸の加速度センサを用いてもょ、。

また、上記地磁気センサ 208は、上記 X軸、 Υ軸、 Ζ軸からなる 3次元座標上における地磁気の磁界強度成分 (磁束密度成分)を検知する 3軸のセンサである。そして、本実施形態では、この地磁気センサ 208の検知結果を利用して、 X軸、 Y軸及び Z軸のまわりの角度 0 , θ , Θ を検出する。具体的には、地磁気の方向が、基準となる

X Y Z

地磁気の方向（基準方向）に対して変化したときの変化量を、 X軸、 Y軸及び Z軸のまわりの角度 0 , θ , Θ を用いて検出する。これにより、地磁気の方向が基準方向に

X Y Z

あるときの姿勢力も携帯電話機がその姿勢を変化させたとき、その変化後の姿勢を各角度 0 , θ , Θ によって特定することができる。なお、以下の説明では、 X軸まわ

X Y Z

りの角度 Θ をピッチ角といい、 Y軸まわりの角度 Θ をローノレ角といい、 Z軸まわりの

X Y

角度 Θ をョ一角という。また、ここでいうロール角 Θ は、上記 Z軸を水平面上に投影

Z Y

した水平投影 Z軸と北方位との角度を示すものである。よって、このロール角 Θ により

Y

、携帯電話機 20の水平投影 Z軸が向いている方位を把握することができる。この地磁気センサ 208も、携帯電話機 20の内部に設けられた図示しない回路基板上に実装されている。

[0034] なお、上記加速度センサ 207及び上記地磁気センサ 208は、携帯電話機 20の本体とは別体の装置として構成してもよい。この場合、上記加速度センサ 207及び上記地磁気センサ 208については、これらのセンサ 207, 208を備えた外部装置を、携帯電話機 20の本体と一体になるように接続する。

[0035] 図 5は本発明に係る携帯電話機 20の機能ブロック図である。図 6は、携帯電話機 2 0の主要構成を示すブロック図であり、図 7は、携帯電話機 20におけるソフトウェア構造の説明図である。

この携帯電話機 20は、無線通信手段としての電話通信部 211及びデータ通信部 2 12、キー操作手段 223としての操作部 213、アプリケーションプログラム実行手段 22 0としてのアプリケーションプログラム実行管理部 214、主制御部 215、出力部 216、検知手段 221としてのセンサ検知部 217等を備えている。

[0036] 上記電話通信部 211は、他の携帯電話機や固定電話機と電話通信を行うために、携帯電話通信網 10の基地局と無線通信を行うものであり、上述のハードウェア構成上の携帯電話用通信装置 206等に対応する。

上記データ通信部 212は、上記電話通信部 211と同様に、上述のハードウェア構成上の携帯電話用通信装置 206等に対応する。このデータ通信部 212は、携帯電話通信網 10を介して他の携帯電話機とメールのやり取りを行ったり、携帯電話通信網 10からゲートウェイサーバを介して、インターネット等の外部の通信ネットワークに接続し、インターネット上での電子メールのやり取りや Webページの閲覧等を行ったりするためのものである。また、このデータ通信部 212は、携帯電話通信網 10を介して、ダウンロードサーバ 11が提供するアプリケーションプログラムをダウンロードするためにも用いられる。

[0037] 上記操作部 213は、ユーザー 1により操作される上述の方向キー 24、テンキー 21、通話開始キー 22、終話キー 23等で構成されている。この操作部 213を操作することにより、ユーザーは、携帯電話機 20に対して URL等のデータを入力したり、電話着信の際に通話の開始及び終了を行ったり、アプリケーションプログラムの選択、起動及び停止を行ったりすることができる。また、ユーザーは操作部 213を操作することにより、上記ダウンロードサーバ 11からアプリケーションプログラムをダウンロードすることちでさる。

[0038] 上記アプリケーションプログラム実行管理部 214は、上述のシステムバス 200、 CP U201や RAM202の一部等で構成されている。このアプリケーションプログラム実行管理部 214は、図 7のソフトウェア構造上において中央の「アプリケーション実行環境」に対応しており、オブジェクト指向プログラミングで開発されたアプリケーションプログラムに利用されるクラスライブラリ、実行環境管理ライブラリ、アプリケーション管理等のソフトウェアを提供し、アプリケーションプログラムの実行環境を管理する。このァプリケーシヨン実行環境は、実行するアプリケーションプログラムに応じて適宜選定される。例えば、実行するアプリケーションプログラム力 SJAVAで記述されたものである場合には、 JAVAのアプリケーション実行環境を選定する。また、実行するアプリケーシヨンプログラムが BREWの実行環境上で動作する C言語で記述されたものである場合には、 BREWのアプリケーション実行環境を選定する。なお、実行するアプリケーシヨンプログラム力 SJAVAで記述されたものである場合には、 BREWのアプリケーシヨン実行環境上に更に JAVAのアプリケーション実行環境を構築することで、これを実行することができる。 [0039] ここで、アプリケーションプログラムは、クラスライブラリ API (アプリケーションインタ一フェース）を介して上記アプリケーション実行環境内にある関数等のクラスライブラリを呼び出して使用できるようになつている。この関数等のクラスライブラリの呼び出しの履歴は、アプリケーションプログラムの仮想的な実行環境 (仮想マシン: VM)が終了するまで、 RAM202内におけるアプリケーション用記憶領域に記憶される。また、アプリケーション実行環境は、アプリケーションプログラムの実行に際して用いる各種データも、そのアプリケーション用記憶領域に保存する。そして、この各種データを用いるときには、このアプリケーション用記憶領域力読み出したり、書き込んだりする。また、アプリケーション実行環境内の実行環境管理ライブラリは、電話機プラットフォーム APIを介して後述の電話機プラットフォーム内の電話機プラットフォームライブラリを呼び出して使用できるようになつている。

[0040] 本実施形態において、加速度センサ 207及び地磁気センサ 208等で構成される後述のセンサ検知部 217で検知した検知データ (加速度 α , a , a及びピッチ角 0

X Y Z X

、ロール角 0 、ョ一角 0 )は、アプリケーションプログラムで利用される。従来のァプ

Y Z

リケーシヨン実行環境にぉ、ては、アプリケーションプログラムが上記検知データを利用する手段がな力たため、本実施形態では、クラスライブラリに新しいクラス（Orient ationクラス）を追加している。この Orientationクラスには、加速度 α , a , a のデー

X Y z タを取得するための getXGravityO、 getYGravityO及び getZGravitvOや、ピッチ角 Θ

X、ロール角 Θ 、ョ一角 Θ の各データを取得するための getPitchO、 getRollO

Υ ζ 、 getComp assBearingO等の命令セットであるメソッドが用意されている。よって、本実施形態によれば、アプリケーションプログラムは、これらのメソッドを使用して上記検知データを取得し、これを利用することができる。

[0041] 上記主制御部 215は、上記電話通信部 211、データ通信部 212、出力部 216、センサ検知部 217を制御するものであり、上述のシステムバス 200、 CPU201や RAM 202等で構成されている。この主制御部 215は、アプリケーションプログラム実行管理部 214との間で制御命令や各種データのやりとりを行い、これと協働して制御を行う。主制御部 215は、図 7のソフトウェア構造上において最下部の「電話機プラットフオーム」に対応しており、上記電話通信部 211等を制御するための制御用プログラムやユーザインターフェースを実行したり、電話機プラットフォームライブラリを提供したりする。この電話機プラットフォームは、上記アプリケーション実行環境内の実行環境管理ライブラリに対してイベントを送ることにより、アプリケーションプログラムにおいて各種処理を実行したり、アプリケーション管理 APIを介して上記アプリケーション実行環境内のアプリケーション管理のソフトウェアを呼び出して使用したりできるようになつている。また、アプリケーション実行環境が電話機プラットフォーム APIを介して電話機プラットフォームライブラリを呼び出して使用したとき、電話機プラットフォームは、その電話機プラットフォームライブラリに応じた処理を実行する。例えば、電話機プラットフォームは、電話機プラットフォームライブラリを利用したアプリケーション実行環境からの指示に基づき、 RAM202内における電話機プラットフォームが管理するプラットフォーム用記憶領域に記憶されたデータを読み出して、これをアプリケーション用記憶領域に移行することができる。

[0042] 上記出力部 216は、表示手段 222としての液晶ディスプレイ 27、スピーカ 28等からなる出力装置 205等で構成されている。また、この出力部 216は、上記データ通信部 212で受信した Webページ画面を液晶ディスプレイ 27に表示する。また、この出力部 216の液晶ディスプレイ 27は、上記電話通信部 211やデータ通信部 212で情報を着信した旨をユーザーに報知するときに用いられる。具体的には、その情報を着信すると、主制御部 215により、出力部 216の液晶ディスプレイ 27に着信報知画像を表示したり、スピーカ 28から着信音を出力させたりする。更に、この出力部 216は、アブリケーシヨン実行環境で実行されるアプリケーションプログラムの実行中に、そのプログラム実行に関連したメニュー画面等の表示や音楽の出力にも用いられる。

[0043] 上記センサ検知部 217は、上述の加速度センサ 207や地磁気センサ 208等で構成されている。このセンサ検知部 217は、上記主制御部 215の制御の下で動作し、その検知データは主制御部 215が取得する。検知データである加速度 α , a , a

X Y z のデータ、ピッチ角 θ 、ロール角 0 及びョ一角 Θ のデータは、上述したように RA

X Υ Ζ

Μ202のプラットフォーム用記憶領域に記憶される。例えば携帯電話機 20の位置が変化するなどして加速度が発生すると、その X軸方向、 Υ軸方向及び Ζ軸方向の加速度成分がセンサ検知部 217を構成する加速度センサ 207によって検知される。検知データが主制御部 215に入力されると、主制御部 215は、その検知データから X 軸方向、 Y軸方向及び Z軸方向の各加速度を把握することができる。加速度 a , a

X Y

， aのデータは、主制御部 215によって、 RAM202内のプラットフォーム用記憶領

Z

域に一時保存される。

また、携帯電話機 20の姿勢が変わると、その姿勢の変化後における磁界強度成分 (磁束密度成分）がセンサ検知部 217を構成する地磁気センサ 208によって検知される。センサ検知部 217は、地磁気センサ 208で検知された検出信号から姿勢変化後のそれぞれの角度 0 , θ , Θ を算出する。算出した各角度 0 , θ , Θ のデー

Y Z Y Z

タは、加速度 α , a , aの場合と同様に、主制御部 215へ出力され、主制御部 21

Y Z

5によって RAM202内のプラットフォーム用記憶領域に一時保存される。

また、携帯電話機 20の向きが変わると、その向きの変化後における磁界強度成分 ( 磁束密度成分）がセンサ検知部 217を構成する地磁気センサ 208によって検知される。センサ検知部 217は、地磁気センサ 208で検知された検出信号から向きの変化後におけるョ一角 Θ を算出する。算出したョ一角 Θ のデータも、同様に、主制御部

Z Z

215へ出力され、主制御部 215によって RAM202内のプラットフォーム用記憶領域に一時保存される。

[0044] なお、プラットフォーム記憶領域へ保存する加速度 α , a , aや各角度 0 , θ ,

Y Z Y

Θ のデータを、主制御部 215がセンサ検知部 217から取得する方法としては、次の

Z

ようなものが挙げられる。例えば、主制御部 215からセンサ検知部 217へリクエストを送り、これに応じてセンサ検知部 217が出力したデータを主制御部 215が受信する取得方法である。また、例えば、リクエストがなくてもセンサ検知部 217が連続的に出力するデータを、主制御部 215が適宜受信する取得方法を採用してもよい。また、ァプリケーシヨンプログラムがアプリケーションプログラム実行管理部 214を介して出力したリクエストに応じて主制御部 215がセンサ検知部 217へリクエストを送り、これに応じてセンサ検知部 217が出力したデータを主制御部 215が受信する取得方法を採用することちできる。

[0045] 携帯電話機 20を所定の手順に従って動作させる電話機プラットフォームを構築するための制御用プログラムは、 RAM202や ROM203に記憶されている。また、基本 OS (オペレーティングシステム）のプログラムや、上記アプリケーション実行環境を構築するためのプログラム及びアプリケーションプログラムも、 RAM202や ROM203に記憶されている。そして、これらのプログラムは、必要に応じて CPU201や RAM202 中の作業エリアに呼び出されて実行される。

[0046] 〔動作例 1〕

次に、本発明の特徴部分である、アプリケーションプログラムによる処理の一動作例 (以下、本動作例を「動作例 1」という。 )について説明する。本動作例 1では、上記ピツチ角 Θ 、ロール角 0 及びョ一角 0 を用いたアプリケーションプログラムを実行す

X Y Z

るための処理動作に適用した場合を例に挙げて説明する。本動作例 1のアプリケーシヨンプログラムは、ゲームであるフライトシミュレータである。

[0047] 図 8は、フライトシミュレータ用アプリケーションプログラムを実行するための処理の流れを示すフローチャートである。

まず、ユーザー iは、フライトシミュレータ用アプリケーションプログラムを上記ダウンロードサーバ 11からダウンロードして取得し、これを登録する（Sl)。具体的には、ュ一ザ一 1は、操作部 213の各種キーを操作して、ダウンロードサーバ 11にアクセスする。これにより、ダウンロード可能なアプリケーションプログラムを選択するためのダウンロード選択画面が液晶ディスプレイ 27上に表示される。そして、そのダウンロード選択画面において、実行対象となるアプリケーションプログラムを方向キー 24を用いて選択し、多機能キー 25を押下すると、主制御部 215がデータ通信部 212を制御して、そのアプリケーションプログラムをダウンロードサーバ 11からダウンロードする。このようにしてダウンロードされたアプリケーションプログラムは、主制御部 215により、 RA M102に記憶される。

[0048] ダウンロードしたアプリケーションプログラムを実行する場合、ユーザー 1は、操作部 213の各種キーを操作して、実行するアプリケーションプログラムを選択するためのアプリケーション選択画面を液晶ディスプレイ 27上に表示させる。そして、そのアプリケーシヨン選択画面において、実行対象であるフライトシミュレータ用アプリケーションプログラムを方向キー 24を用いて選択し、多機能キー 25を押下する。すると、図 7に示した電話機プラットフォームすなわち図 6に示した主制御部 215に、アプリケーションプログラムの実行指示が入力される（S2)。これにより、主制御部 215は、フライトシミュレータ用アプリケーションプログラムを読み出してこれを起動する（S3)。アプリケーシヨンプログラムが起動すると、図 7に示したアプリケーション実行環境すなわち図 6に示したアプリケーションプログラム実行管理部 214上で、そのアプリケーションプログラムが動作する。

[0049] このプログラムが起動し、ユーザー 1がゲームを開始するための所定の操作を操作部 213の各種キーに対して行うと（S4)、ゲームが開始され、出力部 216の液晶ディスプレイ 27に、仮想のゲーム空間内において飛行機 (仮想物体)の操縦席に座った操縦者の視点力見た視界を擬似的に表したゲーム画面が表示される。初期状態においては、その視点からの視線方向が飛行機の進路方向正面に向力う方向であるので、ゲーム画面には、仮想の飛行機の操縦席力その進路方向正面に向力う擬似的な視界が映し出される。

[0050] 本フライトシミュレータでは、方向キー 24のキー操作信号に基づき決定される方向パラメータと、センサ検知部 217によって検知されるピッチ角 Θ 、ロール角 Θ 及びョ

X Y

一角 Θ のデータに基づき決定される方向パラメータの 2つの方向パラメータを用い

Z

て、ゲームが進行される。

本動作例 1では、前者の方向パラメータに応じて飛行機の進路方向（移動方向）を変える方向変更処理を行う。なお、本動作例 1では、ゲーム画面に映し出される画像の視点が飛行機の操縦席に座った操縦者の視点であるので、飛行機の移動に伴つて視点も移動する。よって、上述した飛行機の進路方向を変える方向変更処理は、視点の移動方向を変える方向変更処理でもある。

一方、後者の方向パラメータについては、その方向パラメータに応じて操縦者の視点からの視線方向を変える方向変更処理を行う。これにより、仮想のゲーム空間内において操縦者の視線方向が変わることになる。すなわち、本動作例 1において、ユーザ一 1は、方向キー 24を操作して仮想のゲーム空間内の飛行機の進路方向を変えると同時に、これとは別個に、携帯電話機 20の姿勢を変える操作を行って仮想のゲーム空間内の飛行機の操縦者の視線方向を変えることができる。

[0051] 本動作例 1においては、ユーザー 1がゲームを開始するための所定の操作を行うと (S4)、アプリケーションプログラム実行管理部 214が保存手段として機能し、アプリケーシヨンプログラムが最初に取得した角度データ 0 , Θ ， Θ を、基準データとして、

X Y Z

RAM202内のアプリケーション用記憶領域における基準データ記憶領域 (基準データ記憶手段）に保存する（S5, S6)。この基準データに基づき、ユーザー 1がフライトシミュレータを行うときの携帯電話機 20の姿勢 (基本姿勢)を把握する。

[0052] 上記基本姿勢を把握した後、アプリケーションプログラム実行管理部 214は、方向キー 24の上下左右のキー操作信号をリアルタイムで受け付ける処理を開始する（S7 )。ユーザー 1が仮想のゲーム空間内における飛行機を操縦するために携帯電話機 20の方向キー 24を操作すると、そのキー操作信号が操作部 213から主制御部 215 を介してアプリケーションプログラム実行管理部 214に送られる。このキー操作信号を受け取ったアプリケーションプログラム実行管理部 214は、飛行機の進路変更処理を行う（S8)。この進路変更処理では、例えばユーザー 1が携帯電話機 20の方向キー 2 4の上側を押すと、そのキー操作信号により仮想のゲーム空間内における飛行機の機首が鉛直方向下方に向き、これにより飛行機の進路が鉛直方向下方へ変更されるように、ゲーム進行がなされる。また、例えばユーザー 1が携帯電話機 20の方向キー 24の左側を押すと、そのキー操作信号により仮想のゲーム空間内における飛行機が左向きにロールし、これにより飛行機の進路が進路方向正面に向力つて左側へ変更されるように、ゲーム進行がなされる。

[0053] また、アプリケーションプログラム実行管理部 214は、このゲーム進行に伴、、液晶ディスプレイ 27にゲーム画面を表示させるためのゲーム画面情報を更新する処理も行う（S10)。具体的には、仮想のゲーム空間内における飛行機の進路方向が変更されているようなゲーム画面となるようにする。例えば、ユーザー 1が携帯電話機 20の方向キー 24の上側を押した場合、ゲーム画面において飛行機の進路が鉛直方向下方へ変更されたかのような操縦席力の視界が再現されるように、ゲーム画面情報を更新する。その後、更新後のゲーム画面を液晶ディスプレイ 27の表示面に描画するための処理を実行する（S 11)。

[0054] 一方で、上記基本姿勢を把握した後、アプリケーションプログラム実行管理部 214 は、センサ検知部 217によって検知されるピッチ角 Θ 、ロール角 Θ 及びョ一角 Θ のデータをほぼリアルタイムで取得する（S9)。そして、ユーザー 1が仮想のゲーム空間内における操縦者の視線方向を変えるために携帯電話機 20の姿勢を変えると、その姿勢変化がセンサ検知部 217の地磁気センサ 208によって検知され、その角度 θ ,

X

θ , Θ のデータがアプリケーションプログラム実行管理部 214に受け渡される。ァプ

Y Z

リケーシヨンプログラム実行管理部 214は、受け取った角度データに応じて、液晶デイスプレイ 27にゲーム画面を表示させるためのゲーム画面情報を更新する処理を行う（S10)。具体的には、仮想のゲーム空間内における飛行機の操縦者の視線方向が変更されているようなゲーム画面となるようにする。詳しく説明すると、アプリケーシヨンプログラムを実行するアプリケーションプログラム実行管理部 214は、上記 S9で取得した各角度 0 , θ , Θ のデータと、アプリケーション用記憶領域に記憶された

X Y Z

基本姿勢データ 0 , θ , Θ との差分をそれぞれ算出する。ここで、例えば、携帯

XO YO Z0

電話機 20を Z軸まわりに左回転させたとする。この場合、ョ一角 Θ だけが基本姿勢

Z

から変化する。このときのョ一角 Θ のの

Z データと基本姿勢データ Θ と

Z0 差分を算出することにより、携帯電話機 20の Y軸が基本姿勢力 Z軸のまわりを左方向へどのくらいの角度で回転したかを把握することができる。そして、アプリケーションプログラム実行管理部 214は、把握した回転方向と回転角度に応じて、ゲーム画面を右側ヘスクロールし、あた力も操縦者の視線方向が左方向へ変更されたかのようなゲーム画面情報に更新する。その後、更新後のゲーム画面を液晶ディスプレイ 27の表示面に描画するための処理を実行する（S 11)。

以上のように、本動作例 1においては、ユーザーが携帯電話機 20の姿勢を変えずに方向キー 24を操作した場合、そのキー操作信号に応じて仮想のゲーム空間内における飛行機の進路方向が変更される。また、この進路方向の変更に伴って、飛行機の移動とともに移動する操縦者の視点の移動方向も変更される。このような場合、仮想のゲーム空間内における飛行機の操縦席に座った操縦者の視線方向は、その進路方向正面に一致した状態に維持される。したがって、ゲーム画面には、その進路方向正面に向力操縦者の視点から見た視界が映し出される。

また、ユーザーが方向キー 24を操作しないまま携帯電話機 20の姿勢を変えた場合、検知した角度データに応じて仮想のゲーム空間内における操縦者の視線方向が変更される。この場合、仮想のゲーム空間内における飛行機の進路方向は維持されたまま、その進路方向とは異なる方向、例えば進路方向から水平方向へ 90° 回転した方向を操縦者が見たときの視界がゲーム画面に映し出される。

また、ユーザーが方向キー 24を操作しながら携帯電話機 20の姿勢を変えた場合、そのキー操作信号に応じて仮想のゲーム空間内における飛行機の進路方向が変更されると同時に、検知した角度データに応じて仮想のゲーム空間内における操縦者の視線方向が変更される。この場合、仮想のゲーム空間内における視点及び視線方向の両方が変化したゲーム画面情報の更新処理が行われ (S 10)、その更新後のゲーム画面を液晶ディスプレイ 27の表示面に描画するための処理が実行される（S11)

[0056] なお、本動作例 1では、センサ検知部 217の地磁気センサ 208により検知されるピツチ角 Θ 、ロール角 Θ 、ョ一角 0 を利用して携帯電話機 20の姿勢を把握したが、

X Y Z

加速度センサ 207により検知される 3つの加速度 α , a , a を利用して携帯電話

X Y Z

機 20の姿勢を把握することもできる。すなわち、加速度センサ 207により重力加速度を検知することで、その加速度 α , α , α

X Υ Ζはそれぞれ X軸、 Υ軸、 Ζ軸の各重力加速度成分となる。この各重力加速度成分から、重力方向に対する携帯電話機 20の姿勢を把握することができる。

また、本動作例 1において、方向キー 24のキー操作信号に基づき決定される方向ノメータと、角度データに基づき決定される方向パラメータとを入れ替えても同様である。すなわち、方向キー 24の操作により仮想のゲーム空間内の操縦者の視線方向を変え、携帯電話機 20の姿勢により仮想のゲーム空間内の飛行機の進路方向すなわち操縦者の視点の移動方向を変えるようにしてもよい。

[0057] 〔動作例 2〕

次に、上記動作例 1で説明したフライトシミュレータにおいて、そのゲーム開始前にゲームで使用する飛行機の機種を選択する処理について説明する。

図 9は、本動作例 2における機種選択処理の流れを示すフローチャートである。ユーザーがプログラムが起動した後、ゲームを開始するための操作ではなぐ機種選択処理を行うための操作を操作部 213に対して行うと、角度データ 0 , 0 , 0 の取得処理を行う（S21)。そして、取得した角度データ 0 , θ , Θ のうち、ロール角

X Y Z

Θ のデータを、基準データとして RAM202内に保存する（S22)。上述したように、

Y

このロール角 θ によって、携帯電話機 20の水平投影 Z軸が向いている方位を把握

Y

することができる。そして、ユーザーの正面方向と水平投影 Z軸方向とは通常一致していることから、このロール角 Θ によって、ユーザーが正面を向いている方位を把握

Y

することができる。本動作例 2では、ロール角 Θ が基準データと一致し、かつ、液晶

Y

ディスプレイの表示面の法線方向（ほぼ Z軸方向）が水平方向を向いているときを、基本姿勢として把握する。携帯電話機 20がこの基本姿勢にあるとき、出力部 216の液晶ディスプレイ 27には、仮想空間内に存在する 1つ目の飛行機 (仮想物体)を正面側から見たときの外観画像が表示される（S23)。この液晶ディスプレイ 27に表示される外観画像は、上記仮想空間内に設定された視点から視線方向へその仮想空間内を見たときの擬似的な視界の画像である。

[0058] ここで、ユーザーが基本姿勢の携帯電話機 20を把持したまま左回りに 90° だけ向きを変えたとする。このとき、携帯電話機 20は、図 10Aに示す基本姿勢から、鉛直方向を回転軸として、その液晶ディスプレイ 27の表示面の法線方向（ほぼ Z軸方向）が 90° 回転した姿勢に変化することになる。アプリケーションプログラム実行管理部 21 4は、この変化を角度データ 0 , θ , Θ によって把握することができる（S24)。そし

X Y Z

て、アプリケーションプログラム実行管理部 214は、取得した角度データ 0 , θ , Θ

X Y Z

と基準データとに基づき、視点の移動方向を変更する視点移動方向変更処理と、その視点力の視線方向を変更する視線方向変更処理とを並行して行、、画像情報の更新処理を行う（S25)。具体的には、仮想空間内において飛行機の中心点を中心として規定された仮想球体の表面上に沿って、視点を飛行機の左側面に対向する位置に向力つて移動させる。この移動中、その視点からの視線方向は常に飛行機の中心点を向くように変更される。そして、この位置にある視点からその視線方向へ仮想空間内を見たときの擬似的な視界、すなわち、図 10Bに示すような飛行機の左側面の外観画像を、液晶ディスプレイ 27に描画するための描画処理を行う（S26)。

[0059] その後、ユーザーが、携帯電話機 20のアンテナをユーザーから見て奥側に倒す方向へ携帯電話機 20を 90° 回転させてその姿勢を変化させたとする。アプリケーションプログラム実行管理部 214は、この変化を角度データ 0 , θ , Θ によって把握す

X Y Z

ることができる（S24)。そして、アプリケーションプログラム実行管理部 214は、取得した角度データ 0 , θ , Θ と基準データとに基づき、画像情報の更新処理を行う（S2

X Y Z

5)。具体的には、上記仮想球体の表面上に沿って、視点を飛行機の上面に対向する位置に向力つて移動させる。この移動中も、その視点からの視線方向は常に飛行機の中心点を向くように変更される。そして、この位置にある視点力その視線方向へ仮想空間内を見たときの擬似的な視界、すなわち、図 10Cに示すような飛行機の上面の外観画像を、液晶ディスプレイ 27に描画するための描画処理を行う（S26)。

[0060] このように、取得した角度データ 0 , Θ ， Θ に基づいて画像情報の更新処理を行

X Y Z

つて描画処理を行うという一連の処理（S24, S25, S26)は、連続的に行われる。よつて、ユーザーは、フライトシミュレータで使用する飛行機を選択するにあたり、姿勢が変化するように携帯電話機 20を動かすとヽぅ操作を行うことで、その外観を 360° 方向から自由に確認することができる。

[0061] なお、ユーザーが方向キー 24を操作した場合 (S27)、そのキー操作信号に応じて次に用意されている別機種の飛行機の外観画像が表示される（S28)。別機種の飛行機についても、ユーザーは、姿勢が変化するように携帯電話機 20を動かすという操作を行うことで、その外観を 360° 方向から自由に確認することができる。

[0062] 以上のようにして、ユーザーはいろいろな飛行機の外観を確認して自分の好みにあった飛行機を見つけたら、、その飛行機の外観が液晶ディスプレイ 27に表示されている状態で、多機能キー 25を押す (S29)。すると、その飛行機の機種を特定するデータが RAM202内の使用機種記憶領域に記憶される（S30)。その後、ユーザーがゲームを開始するための所定の操作を操作部 213の各種キーに対して行うと、その使用機種記憶領域に記憶されたデータにより特定される機種の飛行機を使用したフライトシミュレータゲームが開始される。

[0063] 本動作例 2においては、フライトシミュレータで使用する飛行機の機種選択処理を例に挙げ、仮想空間内に設定される視点から視線方向へその仮想空間内を見たときの擬似的な視界の画像を液晶ディスプレイ 27に表示させるための表示制御を行う画像表示制御装置として、画像変更処理手段としてのアプリケーションプログラム実行管理部 214を有する携帯電話機 20である場合について説明した。しかし、本動作例 2のように、操作体の位置、向き、姿勢及び動きのうちの少なくとも 1っを検知するための検知手段によって検知した検知データに基づいて、上記視点の移動方向を変更する視点移動方向変更処理及び上記視線方向を変更する視線方向変更処理の少なくとも一方を行って、上記擬似的な視界の画像を変更する画像変更処理手段を有する画像表示制御装置は、このような携帯電話機に限らず、このような画像変更処理手段を有する装置であれば、他の移動体通信端末ある、はパーソナルコンビユータ等の汎用コンピュータなどであってもよい。

また、本動作例 2では、操作体が画像表示制御装置である携帯電話機自体である場合を例に挙げたが、操作体は、画像表示制御装置とは別体のものであってもよい。この場合、例えば、上記センサ検知部 217を内蔵した操作体を、携帯電話機 20やその他の画像表示制御装置に対して有線通信又は無線通信が可能なように接続する。特に、液晶ディスプレイ等の表示手段と画像表示制御装置とが一体構成になつている場合、操作体をこれとは別体に設ければ、利用者が操作体を動かす際に、その一体構成された装置を動かす必要はない。したがって、表示手段の大型化が可能となり、上記擬似的な視界の画像を大画面で見ることが可能となる。

[0064] 〔動作例 3〕

次に、上記加速度 α , a , a を用いたアプリケーションプログラムを実行するため

X Y Z

の処理動作 (以下、「動作例 3」という。）について説明する。本動作例 3のアプリケーシヨンプログラムは、上記携帯電話機 20を、ノートパソコン等の携帯型パーソナルコンピュータゃ PDA等のポインティングデバイスであるマウスとして動作させるためのものである。もちろん、据え置き型のパーソナルコンピュータなどのポインティングデバイスとしてち同様〖こ動作させることができる。

[0065] 図 11は、本動作例 3におけるアプリケーションプログラムを実行するための処理の流れを示すフローチャートである。

まず、ユーザー ;Lは、マウス用のアプリケーションプログラムを上記動作例 1の場合と同様に取得してこれを登録する（S31)。このアプリケーションプログラムを実行する場合、ユーザー丄は、まず、携帯電話機 20の図示しない USB (Universal Serial Bus)端子と、ノートパソコン等の USB端子とを接続する。本実施形態の接続方式は、 USB 端子を利用した有線接続である力その他の有線接続又は無線接続を用いた方式であってもよい。また、本携帯電話機 20をノートパソコン等に接続する場合に用いる携帯電話機 20側の通信手段としては、その USB端子に限らず、ノートパソコン等との間でデータ通信が可能なあらゆる通信手段を利用することが可能である。携帯電話機 20とノートパソコン等とを接続したら、ユーザー 1は、操作部 213のキーを操作して（S32)、マウス用のアプリケーションプログラムを起動させる（S33)。

[0066] マウス用のアプリケーションプログラムが起動した後、アプリケーションプログラム実行管理部 214は、方向キー 24の上下左右のキー操作信号をリアルタイムで受け付ける処理を開始する（S34)。ユーザー 1がノートパソコン等の画面を所定方向ヘスクロールさせるために携帯電話機 20の方向キー 24を操作すると、そのキー操作信号が操作部 213から主制御部 215を介してアプリケーションプログラム実行管理部 214に送られる。このキー操作信号を受け取ったアプリケーションプログラム実行管理部 21 4は、その画面スクロールの方向を示す画面スクロール信号を外部端子力ノートパソコン等に出力する方向変更処理を実行する（S35)。これにより、ノートパソコン等の制御部では、その画面スクロール信号が示す方向に画面をスクロールさせる処理が行われる。

[0067] 一方で、マウス用のアプリケーションプログラムが起動した後、そのアプリケーションプログラム実行管理部 214は、センサ検知部 217によって検知される加速度 α , a

X Y

, α のデータをほぼリアルタイムで取得する。そして、アプリケーションプログラム実

Z

行管理部 214は、取得したデータに基づいて携帯電話機 20の移動量及び移動方向 (方向パラメータ）を決定する。この移動量及び移動方向は、所定の短い時間間隔で、連続的に携帯電話機 20の外部端子を介してノートパソコン等に出力される。なお、本動作例 3では、加速度 α のデータは使用しない。

Ζ

具体的に説明すると、アプリケーション実行環境において、起動したアプリケーションプログラムは、アプリケーションプログラム実行管理部 214に対して、加速度データの取得要求を送る。これを受けたアプリケーションプログラム実行管理部 214は、電話機プラットフォームの主制御部 215に対してデータ移行命令である加速度データの取得要求を送る。これを受けた主制御部 215は、 RAM202内のプラットフォーム用記憶領域に記憶した加速度 α , a , a のデータを、アプリケーションプログラム

X Y Z

実行管理部 214に送り、このデータはアプリケーションプログラムに渡される（S36)。そして、加速度 α , a のデータは、 RAM202内のアプリケーション用記憶領域に

X Y

記憶される。その後、これらの加速度 α , a のデータから携帯電話機 20の移動量

X Y

及び移動方向を算出し (S37)、その移動量及び移動方向を示すポインタ移動信号を外部端子力もノートパソコン等に出力する方向変更処理を実行する（S38)。本動作例 3において、主制御部 215は、アプリケーションプログラム実行管理部 214から加速度データの取得要求を受け取ると、その後、プラットフォーム記憶領域内の加速度 α , α , α が更新されるたびに、更新後のデータをアプリケーションプログラム実

X Υ Ζ

行管理部 214に送る。よって、マウス用のアプリケーションプログラムは、ほぼリアルタィムで、加速度 α , a , a のデータを取得し、ノートパソコン等に移動量及び移動

X Y Z

方向を示すポインタ移動信号を出力することができる。これにより、ノートパソコン等の制御部では、そのポインタ移動信号が示す移動方向に、その移動量分だけ、その画面上に映し出されているポインタ画像を移動させる処理が行われる。

[0068] 以上、本動作例 3によれば、携帯電話機 20を、携帯型パーソナルコンピュータ等のポインティングデバイスとして利用することができる。一般に、携帯型パーソナルコンピュータ等は小型化のため、備え付けのポインティングデバイスの操作性は、ディスクトップ型パーソナルコンピュータには劣るものである。そのため、ユーザーの中には、携帯型パーソナルコンピュータ等とは別個に、いわゆる外付けマウスを携帯する者も多い。本動作例 3においては、一般のユーザーであればほぼ常時携帯している携帯電話機 20を、スクロール機能付きの外付けマウスとして利用することができる。よって、従来のように、外付けマウスをわざわざ持ち歩かなくても、ディスクトップ型パーソナルコンピュータと同様の操作性を得ることができる。

[0069] なお、本動作例 3では、加速度 α , a のデータを用いたアプリケーションプロダラ

X Y

ムとして、マウス用のアプリケーションプログラムを例に挙げて説明した力これに限られるものではない。

[0070] また、上述した動作例 1乃至 3においては、センサ検知部 217から送信されてくる角度データや加速度データを、電話機プラットフォーム上に構築されるアプリケーション実行環境上で動作するプラットフォームに依存しないアプリケーションプログラムで利用する場合について説明した力プラットフォームに依存するアプリケーションプログラムすなわち電話機プラットフォーム上で直接動作するものであっても同様である。以上、本発明の好ましい実施形態を説明したが、本発明の範囲又は精神から逸脱することなぐ請求の範囲に記載された技術的事項の範囲内において、開示した実施形態に種々の変更をカ卩えることができる。

例えば、本発明は、上記動作例 1や上記動作例 2で説明したフライトシミュレータのようなゲーム以外の他のゲームについても同様に適用することが可能である。例えば、ゲーム空間内を仮想登場人物 (仮想物体)が移動するゲームなどにも適用できる。また、上記動作例 3で説明したマウス用アプリケーションプログラム以外のゲームでないアプリケーションプログラムについても同様に適用することが可能である。

また、本発明は、上述した携帯電話機 20に限らず、広く移動体通信端末全般について適用することができ、同様な効果が得られるものである。

Claims

請求の範囲

[1] 方向パラメータを用いてアプリケーションプログラムを実行するアプリケーションプログラム実行手段と、

移動体通信端末の位置、向き、姿勢及び動きのうちの少なくとも 1っを検知するための検知手段とを備え、

該アプリケーションプログラム実行手段は、該アプリケーションプログラムを実行することにより、 2つの方向パラメータに応じて互いに異なる 2つの方向変更処理を並行して行うことが可能なものであって、該 2つの方向パラメータのうちの少なくとも一方は該検知手段の検知データに基づいて決定することを特徴とする移動体通信端末。

[2] 請求項 1の移動体通信端末において、

仮想空間内に設定される視点力視線方向へ該仮想空間内を見たときの擬似的な視界の画像を表示する表示手段を備え、

上記 2つの方向変更処理は、該視点の移動方向を変更する視点移動方向変更処理と、該視線方向を変更する視線方向変更処理であることを特徴とする移動体通信端末。

[3] 請求項 2の移動体通信端末において、

上記アプリケーションプログラム実行手段は、上記検知手段の検知データに基づ、て上記 2つの方向パラメータの両方を決定し、

上記視線方向変更処理は、上記視点が移動しても上記視線方向が上記仮想空間内に存在する仮想物体に向力う方向へ維持されるように該視線方向を変更するものであることを特徴とする移動体通信端末。

[4] 請求項 1の移動体通信端末において、

利用者により操作されるキーを備えたキー操作手段を備え、

上記アプリケーションプログラム実行手段は、上記 2つの方向パラメータの一方は上記検知手段の検知データに基づ、て決定し、他方は該キー操作手段からのキー操作信号に基づいて決定することを特徴とする移動体通信端末。

[5] 請求項 4の移動体通信端末において、

上記アプリケーションプログラム実行手段は、上記アプリケーションプログラムを実行することにより、仮想のゲーム空間内を仮想物体が移動するゲームを進行するものであり、

上記 2つの方向変更処理のいずれか一方は、該仮想のゲーム空間内における該仮想物体の移動方向を変更する処理であることを特徴とする移動体通信端末。

[6] 請求項 4の移動体通信端末において、

該仮想のゲーム空間内に設定される視点力視線方向へ該ゲーム空間内を見たときの擬似的な視界を表示する表示手段を備え、

上記 2つの方向変更処理のいずれか一方は、該視点の移動方向を変更する処理又は該視線方向を変更する処理であることを特徴とする移動体通信端末。

[7] 請求項 4の移動体通信端末において、

上記 2つの方向変更処理の一方は該視点の移動方向を変更する処理であり、他方は該視線方向を変更する処理であることを特徴とする移動体通信端末。

[8] 当該移動体通信端末の位置、向き、姿勢及び動きのうちの少なくとも 1っを検知するための検知手段を備えた移動体通信端末に設けられるコンピュータを機能させるためのアプリケーションプログラムであって、

2つの方向パラメータに応じて互いに異なる 2つの方向変更処理を並行して行うことが可能であって、該 2つの方向パラメータのうちの少なくとも一方を該知手段の検知データに基づ、て決定するアプリケーションプログラム実行手段として、該コンピュータを機能させることを特徴とするアプリケーションプログラム。

[9] 仮想空間内に設定される視点力視線方向へ該仮想空間内を見たときの擬似的な視界の画像を表示手段に表示させるための表示制御を行う画像表示制御装置であつて、

操作体の位置、向き、姿勢及び動きのうちの少なくとも 1っを検知するための検知手段によって検知した検知データに基づいて、上記視点を変更する視点変更処理及び上記視線方向を変更する視線方向変更処理の少なくとも一方を行って、上記擬似的な視界の画像を変更する画像変更処理手段を備えたことを特徴とする画像表示制御装置。

[10] 表示手段と、仮想空間内に設定される視点から視線方向へ該仮想空間内を見たときの擬似的な視界の画像を該表示手段に表示させるための表示制御を行う画像表示制御手段と、電子機器の位置、向き、姿勢及び動きのうちの少なくとも 1つを検知するための検知手段とを備え、

該画像表示制御手段として、請求項 9の画像表示制御装置を備えたことを特徴とする電子機器。

[11] 仮想空間内に設定される視点力視線方向へ該仮想空間内を見たときの擬似的な視界の画像を表示手段に表示させるための表示制御を行う画像表示制御方法であつて、

操作体の位置、向き、姿勢及び動きのうちの少なくとも 1っを検知し、その検知デ一タに基づいて、該視点を変更する視点変更処理及び該視線方向を変更する視線方向変更処理の少なくとも一方を行って、該擬似的な視界の画像を変更することを特徴とする画像表示制御方法。