JP7237149B2 - Information provision system and information terminal - Google Patents
Information provision system and information terminal Download PDFInfo
- Publication number
- JP7237149B2 JP7237149B2 JP2021511722A JP2021511722A JP7237149B2 JP 7237149 B2 JP7237149 B2 JP 7237149B2 JP 2021511722 A JP2021511722 A JP 2021511722A JP 2021511722 A JP2021511722 A JP 2021511722A JP 7237149 B2 JP7237149 B2 JP 7237149B2
- Authority
- JP
- Japan
- Prior art keywords
- article
- information
- display
- image
- designated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、ユーザに情報を提供する情報提供システムおよび情報端末に関する。 The present invention relates to an information providing system and an information terminal that provide information to users.
スマートフォンなどの携帯端末を介してネットワークと接続することでサービスを提供するアプリケーションが考案されている。例えば、特許文献１には、携帯無線通信端末（スマートフォン）において撮像画像をディスプレイに表示するとともに、当該撮影画像内に含まれる部品の案内（名称）をディスプレイに重畳表示すること、および、ディスプレイに重畳表示された部品の案内を押下した場合に、当該部品の操作マニュアルをディスプレイに表示することが開示されている。 Applications that provide services by connecting to networks via mobile terminals such as smartphones have been devised. For example, in Patent Document 1, a captured image is displayed on a display in a mobile wireless communication terminal (smartphone), and a guide (name) of a part included in the captured image is displayed superimposed on the display. It is disclosed that when a guide for a superimposed part is pressed, an operation manual for the part is displayed on the display.
ユーザは、例えば、車載部品の購入を検討している場合に当該車載部品を車両に搭載または取付けることができるのかや、大型の物品の購入を検討している場合に当該物品を車両に積むことができるのかなど、ユーザが購入を検討している物品が車両に対して適合するのか否か（即ち、車両に対する物品の適合性）を、当該物品の購入前に容易に把握したいと望むことがある。また、ユーザは、例えば、車両の構造物に適合する物品の情報を容易に把握したいと望むことがある。 For example, if the user is considering purchasing an in-vehicle component, the user may ask whether the in-vehicle component can be mounted or attached to the vehicle, or if the user is considering purchasing a large-sized item, ask whether the item can be loaded on the vehicle. Before purchasing the item, the user may desire to easily grasp whether the item that the user is considering to purchase is compatible with the vehicle (that is, whether the item is compatible with the vehicle). be. Also, the user may desire to easily grasp information on articles that fit into the structure of the vehicle, for example.
そこで、本発明は、ユーザの所望する情報を容易且つ直感的にユーザに提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a user with information desired by the user easily and intuitively.
本発明の一側面としての情報提供システムは、カメラおよびディスプレイを有する情報端末を用いて、指定物品と当該指定物品を搭載予定の対象箇所との適合性に関する情報をユーザに提供する情報提供システムであって、前記情報端末は、前記カメラで得られた撮影画像を前記ディスプレイに表示する表示制御手段と、前記指定物品の画像データを取得する取得手段と、前記取得手段で取得された画像データに基づいて、前記指定物品の拡張現実画像を生成する生成手段と、を有し、前記表示制御手段は、前記生成手段で生成された前記指定物品の拡張現実画像を前記情報として、前記撮影画像内の前記対象箇所に重畳させて前記ディスプレイに表示する、ことを特徴とする。 An information providing system as one aspect of the present invention is an information providing system that uses an information terminal having a camera and a display to provide a user with information on compatibility between a designated article and a target location where the designated article is to be mounted. The information terminal comprises display control means for displaying an image captured by the camera on the display, acquisition means for acquiring image data of the designated article, and image data acquired by the acquisition means. generating means for generating an augmented reality image of the designated article based on the information, and the display control means generates the augmented reality image of the designated article generated by the generating means as the information in the photographed image is displayed on the display while being superimposed on the target location.
本発明によれば、例えば、ユーザの所望する情報を拡張現実を通して当該ユーザに提供することができるため、ユーザは、当該情報を容易に且つ直感的に把握することが可能となる。 According to the present invention, for example, information desired by a user can be provided to the user through augmented reality, so the user can easily and intuitively grasp the information.
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. It should be noted that the following embodiments do not limit the invention according to the claims, and not all combinations of features described in the embodiments are essential to the invention. Two or more of the features described in the embodiments may be combined arbitrarily. Also, the same or similar configurations are denoted by the same reference numerals, and redundant explanations are omitted.
＜第１実施形態＞
本発明に係る第１実施形態について説明する。図１は、本実施形態の情報提供システム１００の構成を示すブロック図である。本実施形態の情報提供システム１００は、例えばネットワークＮＴＷを介して互いに通信可能に接続された情報端末１０およびサーバ装置２０を含み、ユーザが指定した物品と当該物品を搭載する予定である車両の対象箇所との適合性に関する情報をユーザに提供するためのシステムである。以下では、ユーザが指定した物品を「指定物品」と呼ぶことがあり、指定物品を搭載予定の対象箇所を「搭載予定箇所」と呼ぶことがある。また、本実施形態では、車両として四輪車を例示して説明する。<First embodiment>
A first embodiment according to the present invention will be described. FIG. 1 is a block diagram showing the configuration of an
まず、情報端末１０の構成について説明する。情報端末１０は、例えば、処理部１１と、記憶部１２と、カメラ１３と、ディスプレイ１４と、位置検知センサ１５と、姿勢検知センサ１６と、通信部１７とを含みうる。情報端末１０の各部は、システムバス１８を介して相互に通信可能に接続されている。情報端末１０としては、例えばスマートフォンやタブレット端末などが挙げられ、本実施形態では、情報端末１０としてスマートフォンを用いる例について説明する。スマートフォンおよびタブレット端末は、通話機能以外の様々な機能を有する携帯端末のことであるが、ディスプレイの寸法が互いに異なる。一般的には、タブレット端末の方が、スマートフォンよりディスプレイの寸法が大きい。
First, the configuration of the
処理部１１は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインターフェース等を含む。記憶部１２には、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納されており、処理部１１は、記憶部１２に記憶されたプログラムをメモリ等の記憶デバイスに読み出して実行することができる。本実施形態の場合、記憶部１２には、指定物品と車両の搭載予定箇所との適合性に関する情報をユーザに提供するためのアプリケーションプログラム（情報提供プログラム）が格納されており、処理部１１は、記憶部１２に記憶された情報提供プログラムをメモリ等の記憶デバイスに読み出して実行しうる。
The
カメラ１３は、レンズと撮像素子とを有し、被写体を撮影して撮影画像を取得する。カメラ１３は、例えばディスプレイ１４が設けられた外面とは反対側の外面に設けられうる。また、ディスプレイ１４は、画像の表示によりユーザに対して情報を報知する。本実施形態の場合、ディスプレイ１４は、カメラ１３で取得された撮影画像をリアルタイムに表示することができる。ここで、本実施形態のディスプレイ１４は、例えばタッチパネル式ＬＣＤ（Liquid Crystal Display）などを含み、画像を表示する機能に加えて、ユーザからの情報の入力を受け付ける機能を有する。しかしながら、それに限られず、画像を表示する機能のみをディスプレイ１４に持たせ、当該ディスプレイ１４とは独立して入力部（例えばキーボードやマウスなど）を設けてもよい。
The
位置検知センサ１５は、情報端末１０の位置および方位を検知する。位置検知センサ１５としては、例えば、ＧＰＳ衛星からの信号を受信して情報端末１０の現在位置を取得するＧＰＳセンサや、地磁気などに基づいて情報端末１０のカメラ１３が向けられている方位を検知する方位センサなどを用いることができる。本実施形態では、「情報端末１０の位置」と記載した場合、情報端末１０の現在位置に加えて、情報端末１０の方位をも含むものとする。また、姿勢検知センサ１６は、情報端末１０の姿勢を検知する。姿勢検知センサ１６としては、例えば、加速度センサやジャイロセンサなどを用いることができる。
通信部１７は、ネットワークＮＴＷを介してサーバ装置２０と通信可能に接続される。具体的には、通信部１７は、ネットワークＮＴＷを介してサーバ装置２０に情報を送信する送信部としての機能と、ネットワークＮＴＷを介してサーバ装置２０から情報を受信する受信部としての機能とを有する。
The
処理部１１の具体的な構成としては、例えば、第１取得部１１ａと、第２取得部１１ｂと、特定部１１ｃと、生成部１１ｄと、受付部１１ｅと、表示制御部１１ｆとが設けられうる。第１取得部１１ａは、カメラ１３で得られて撮影画像のデータを取得する。第２取得部１１ｂは、物品に紐づけられてサーバ装置２０に記憶されている物品情報などをサーバ装置２０から取得する。特定部１１ｃは、例えばパターンマッチング手法などの画像処理を行うことにより撮影画像を解析し、ディスプレイ１４に表示された撮影画像内において搭載予定箇所を特定する。生成部１１ｄは、物品の外観の画像データに基づいて、当該指定物品の拡張現実（ＡＲ；Augmented Reality）画像を生成する。受付部１１ｅは、ユーザによる物品の指定を受け付ける処理を実行する。表示制御部１１ｄは、第１取得部１１ａで取得された撮影画像をディスプレイ１４に表示する。また、表示制御部１１ｅは、生成部１１ｄで指定物品の拡張現実画像が生成された場合には、位置検知センサ１５および姿勢検知センサ１６でそれぞれ検知された情報端末１０の位置および姿勢に基づいて、当該指定物品の拡張現実画像を、撮影画像に重畳させてディスプレイ１４に表示する。
As a specific configuration of the
次に、サーバ装置２０の構成について説明する。サーバ装置２０は、処理部２１と、記憶部２２と、通信部２３とを含みうる。処理部２１は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインターフェース等を含む。記憶部２２には、プロセッサが実行するプログラムや、プロセッサが処理に使用するデータ等が格納されており、処理部２１は、記憶部２２に記憶されたプログラムをメモリ等の記憶デバイスに読み出して実行することができる。また、通信部２３は、ネットワークＮＴＷを介して情報端末１０と通信可能に接続される。具体的には、通信部２３は、ネットワークＮＴＷを介して情報端末１０から情報を受信する受信部としての機能と、ネットワークＮＴＷを介して情報端末１０に情報を送信する送信部としての機能とを有する。
Next, the configuration of the
本実施形態の場合、サーバ装置２０（記憶部２２）には、複数種類の物品の各々についての物品情報が記憶されている。物品とは、例えば、車両に取り付けられる車載部品であってもよいし、車両によって運搬するために車両の荷室に積載される運搬物（包装容器を含む）であってもよい。また、物品情報は、例えば、当該物品の型式や寸法を示す情報、当該物品の外観の画像データ、当該物品が販売されている施設およびその位置情報、当該物品の利用者からの投稿情報などを含みうる。投稿情報とは、各物品の利用者から投稿された情報であり、例えば、物品を搭載することができる車両の型式や、物品を車両の荷室に積載するときの当該物品の向き、物品としての段ボールを車両に積載する際の潰し方などの情報を含みうる。投稿情報としては、物品をより快適に使用する方法や、当該物品の使い易さなど、当該物品の操作マニュアルに記載されていない情報が含まれてもよい。 In the case of this embodiment, the server device 20 (storage unit 22) stores article information about each of a plurality of types of articles. The article may be, for example, an in-vehicle component attached to a vehicle, or an article (including a packaging container) loaded in the luggage compartment of the vehicle for transportation by the vehicle. In addition, the product information includes, for example, information indicating the type and dimensions of the product, image data of the appearance of the product, facility where the product is sold and its location information, information posted by the user of the product, etc. can contain Posted information is information posted by the user of each item. It can include information such as how to crush the cardboard when loading it on the vehicle. Posted information may include information that is not described in the operation manual of the article, such as how to use the article more comfortably, ease of use of the article, and the like.
次に、情報提供プログラムが実行されたときに情報端末１０で行われる処理について説明する。図２Ａ～図２Ｂは、情報端末１０の処理部１１で行われる処理を示すフローチャートである。図２Ａは、ユーザによる物品の指定を受け付ける処理を示すフローチャートであり、図２Ｂは、車両に対する指定物品の適合性に関する情報をユーザに提供する処理を示すフローチャートである。
Next, processing performed by the
まず、ユーザによる物品の指定を受け付ける処理について、図２Ａに示すフローチャートを用いて説明する。図２Ａに示すフローチャートの処理は、処理部１１の受付部１１ｅによって行われうる。なお、図３～図７は、情報端末１０のディスプレイ１４に表示される画像を示す図であり、情報端末１０の処理部１１で行われる処理を説明するために用いられうる。
First, the process of receiving the user's specification of an article will be described with reference to the flowchart shown in FIG. 2A. The processing of the flowchart shown in FIG. 2A can be performed by the
Ｓ１１では、処理部１１は、初期画面をディスプレイ１４に表示する。図３は、情報端末１０のディスプレイ１４に初期画面を表示した状態を示している。初期画面には、図３に示すように、例えば、ユーザにより物品のカテゴリ（分類、種類）が入力される入力欄３１ａと、物品の検索を開始するためのユーザの指示を受け付けるための検索ボタン３１ｂとが設けられうる。図３に示す例では、物品のカテゴリとして「車載部品」が、ユーザにより入力欄３１ａに入力されている。
In S<b>11 , the
Ｓ１２では、処理部１１は、ユーザにより検索ボタン３１ｂがディスプレイ１４上でタッチされたか否かを判断する。ユーザにより検索ボタン３１ｂがタッチされた場合にはＳ１３に進み、検索ボタン３１ｂがタッチされていない場合にはＳ１２を繰り返す。Ｓ１３では、処理部１１は、ユーザによって物品のカテゴリが入力欄３１ａに入力されていたか否かを判断する。物品のカテゴリが入力欄３１ａに入力されていない状態で検索ボタン３１ｂがタッチされた場合にはＳ１４に進み、ユーザに物品のカテゴリを選択させる選択処理（Ｓ１４～Ｓ１５）を実行する。一方、物品のカテゴリが入力欄３１ａに入力された状態で検索ボタン３１ｂがタッチされた場合には、Ｓ１４～Ｓ１５の選択処理を省略してＳ１６に進む。
In S<b>12 , the
Ｓ１４では、処理部１１は、情報端末１０の周辺に存在する商店等の施設のリストをディスプレイ１４に表示する。具体的には、サーバ装置２０の記憶部２２には、複数の施設の位置が示された地図情報が記憶されている。処理部１１は、位置検知センサ１５で検知された情報端末１０の現在位置を、通信部１７を介してサーバ装置２０に送信する。情報端末１０の現在位置を受信したサーバ装置２０では、記憶部２２に記憶されている地図情報に基づいて、情報端末１０の現在位置から所定範囲内に存在する施設を検索し、検索の結果で得られた施設のリストを通信部２３を介して情報端末１０に送信する。そして、情報端末１０は、図４に示すように、受信した施設のリストを示す画像をディスプレイ１４に表示する。図４に示す例では、各施設の名称が表示されている領域が、ユーザが施設を選択するための選択ボタン３２となっており、ユーザは、いずれかの選択ボタン３２をディスプレイ１４上でタッチすることで、施設を選択することができる。ユーザにより施設が選択された場合にはＳ１５に進む。ここで、所定範囲は、ユーザにより事前に且つ任意に設定されうる。所定範囲としては、情報端末１０からの距離の範囲であってもよいし、施設に到着するまでの時間の範囲であってもよい。
In S<b>14 , the
Ｓ１５では、処理部１１は、Ｓ１４で選択された施設で提供（販売）されている物品のカテゴリのリストをディスプレイ１４に表示する。具体的には、サーバ装置２０の記憶部２２には、複数の施設の各々で提供されうる物品情報が、各施設に紐づけられて物品のカテゴリごとに記憶されている。処理部１１は、Ｓ１４で選択された施設に紐づけられてサーバ装置２０（記憶部２２）に記憶されている物品情報を取得することで、図５に示すように、物品のカテゴリのリストをディスプレイ１４に表示することができる。図５に示す例では、物品のカテゴリ名が表示されている領域が、ユーザが物品のカテゴリを選択するための選択ボタン３３となっており、ユーザは、いずれかの選択ボタン３３をディスプレイ１４上でタッチすることで、物品のカテゴリを選択することができる。
At S<b>15 , the
Ｓ１６では、処理部１１は、ユーザにより指定された物品のカテゴリについて、物品の候補リストをディスプレイ１４に表示する。ユーザにより指定された物品のカテゴリとは、ユーザにより初期画面の入力欄３１ａに入力された物品のカテゴリ、または、Ｓ１５でユーザにより選択された物品のカテゴリである。例えば、処理部１１は、ユーザにより指定された物品のカテゴリに紐づけられてサーバ装置２０の記憶部２２に記憶されている物品情報をサーバ装置２０から取得することで、図６に示すように、物品の候補リストをディスプレイ１４に表示することができる。図６に示す例では、物品のカテゴリとして「ドライブレコーダ」がユーザによって指定された例を示しており、物品の型式等が表示されている領域が、ユーザが物品を選択するための選択ボタン３４となっている。ユーザは、いずれかの選択ボタン３４をディスプレイ１４上でタッチすることで、物品を指定（選択）することができる。ここで、Ｓ１４で施設が選択されている場合には、処理部１１は、選択された施設で提供（販売）される物品の候補リストをディスプレイ１４上に表示しうる。
In S<b>16 , the
Ｓ１７では、処理部１１は、ユーザにより物品が指定されたか否かを判断する。ユーザにより物品が指定された場合にはＳ１８に進み、ユーザにより物品が指定されていない場合にはＳ１７を繰り返す。Ｓ１８では、処理部１１（第２取得部１１ｂ）は、Ｓ１７で指定された物品（指定物品）に関する物品情報をサーバ装置２０から取得し、取得した物品情報をディスプレイ１４上に表示する。例えば、上述したように、物品情報には、物品の型式や寸法を示す情報、物品の外観の画像データ、物品の利用者からの投稿情報などが含まれ、それらの情報およびデータがディスプレイ１４上に表示される。図７は、指定物品としてのドライブレコーダに関する物品情報の表示画面の一例を示している。物品情報の表示画面には、図７に示すように、指定物品の型式の表示欄３５ａ、指定物品の外観の表示欄３５ｂ、物品の寸法の表示欄３５ｃ、投稿情報の表示欄３５ｄが設けられる。また、物品情報の表示画面には、ＯＫボタン３５ｅとキャンセルボタン３５ｆとが設けられている。ユーザによりＯＫボタン３５ｅがタッチされた場合には図２ＢのＳ２１に進み、ユーザによりキャンセルボタン３５ｆがタッチされた場合には終了する。
In S17, the
次に、車両に対する指定物品の適合性に関する情報をユーザに提供する処理について、図２Ｂに示すフローチャートを用いて説明する。なお、図８～図１０Ｂは、情報端末１０のディスプレイ１４に表示される画像を示す図であり、情報端末１０の処理部１１で行われる処理を説明するために用いられうる。
Next, the process of providing the user with information about the suitability of the designated article for the vehicle will be described using the flowchart shown in FIG. 2B. 8 to 10B are diagrams showing images displayed on the
Ｓ２１では、処理部１１は、指定物品の物品情報に基づいて、当該指定物品を搭載する予定である車両の対象箇所（例えば構造物や車両の位置）を決定する。以下では、指定物品を搭載する予定の対象箇所を「搭載予定箇所」と呼ぶことがある。例えば、物品情報には、物品が車載部品であるか否かの情報、および、物品が車載部品である場合には当該物品の搭載予定箇所を示す情報が含まれうる。したがって、処理部１１は、指定物品の物品情報に基づいて、当該指定物品が車載部品であるか否かを判断するとともに、当該指定物品の搭載予定箇所を決定することができる。具体的には、車載部品であるドライブレコーダが指定物品である場合、処理部１１は、物品情報に基づいて、ドライブレコーダの搭載予定箇所を、ルームミラー付近のフロントガラスと決定することができる。一方、処理部１１は、指定物品の物品情報に基づいて当該指定物品が車載部品でないと判断した場合には、指定物品の搭載予定箇所を車両の荷室（積載部）に決定することができる。
In S21, the
Ｓ２２では、処理部１１は、Ｓ２１で決定した搭載予定箇所を撮影する旨の要求をユーザに対して行う。例えば、指定物品がドライブレコーダである場合、処理部１１は、搭載予定箇所であるルームミラー付近のフロントガラスの撮影を要求するコメントをディスプレイ１４に表示する。また、指定物品が車載部品でないと判断した場合には、搭載予定箇所である車両の荷室の撮影を要求するコメントをディスプレイ１４に表示する。
In S22, the
Ｓ２３では、処理部１１（第１取得部１１ａ）は、カメラ１３に撮影を開始させるとともに、カメラ１３から撮影画像を取得する。Ｓ２４では、処理部１１（表示制御部１１ｆ）は、カメラ１３から取得した撮影画像をディスプレイ１４に逐次表示する。図８は、ルームミラーとセンターコンソールとを含むように車内を情報端末１０（カメラ１３）で撮影している様子を示している。
In S<b>23 , the processing unit 11 (first obtaining
Ｓ２５では、処理部１１（特定部１１ｃ）は、ディスプレイ１４に表示された撮影画像内において、Ｓ２１で決定された搭載予定箇所の特定を行う。例えば、処理部１１は、公知の画像処理を行うことにより、撮影画像が、車両のどの部分をカメラ１３で撮影して得られた画像であるのかを判断することができる。公知の画像処理の一例としては、撮影画像内において、角部（コーナー）や曲率、明度の変化、色の変化などの特徴量を有する部分（特徴点）を検出し、検出した特徴点の特徴量や位置関係などを示す特徴情報から、カメラ１３で撮影されている車両の部分（撮影部分）を認識する方法が挙げられる。このような方法により、処理部１１は、撮影画像内において、搭載予定箇所の特定を行うことができる。
In S<b>25 , the processing unit 11 (identifying
Ｓ２６では、処理部１１は、ディスプレイ１４に表示された撮影画像内において、搭載予定箇所が特定されたか否かを判断する。撮影画像内において搭載予定箇所が特定された場合にはＳ２７に進み、撮影画像内において搭載予定箇所が特定されなかった場合にはＳ２５に戻る。
In S<b>26 , the
Ｓ２７では、処理部１１は、Ｓ２５～Ｓ２６で特定された搭載予定箇所の寸法情報を取得する。例えば、情報端末１０の記憶部１２には、複数種類の車両の各々についての特徴情報が記憶されており、処理部１１は、Ｓ２５～Ｓ２６で特定された特徴情報に対して一致度が高い（即ち、一致度が所定値を超える）特徴情報を有する車両の型式を特定することができる。また、サーバ装置２０の記憶部２２には、車両の型式ごとに、車両の各部品の寸法情報が、車両の型式に紐づけられて記憶されている。情報端末１０の処理部１１は、特定した車両の型式の情報をサーバ装置２０に送信し、当該車両の型式に紐づけられてサーバ装置２０に記憶されている各部品の寸法情報をサーバ装置２０から受信する。これにより、情報端末１０の処理部１１は、Ｓ２５～Ｓ２６で特定された搭載予定箇所の寸法情報を取得することができる。
In S27, the
Ｓ２８では、処理部１１（生成部１１ｄ）は、指定物品の外観の画像データに基づいて当該指定物品の拡張現実画像４０を生成する。そして、処理部１１（表示制御部１１ｆ）は、生成した指定物品の拡張現実画像４０を、カメラ１３で得られた撮影画像内における搭載予定箇所に重畳させて（重ね合わせて）ディスプレイ１４に表示する。このとき、処理部１１は、位置検知センサ１５および姿勢検知センサ１６で検知された情報端末１０の位置姿勢の情報に基づいて、情報端末１０の動きに合わせて指定物品の拡張現実画像４０が移動するように、カメラ１３での撮影画像と指定物品の拡張現実画像４０との位置合わせを行う。つまり、処理部１１は、情報端末１０の位置姿勢の情報に基づいて、ディスプレイ１４に表示された撮影画像内における搭載予定箇所の位置に整合させるように、指定物品の拡張現実画像４０をディスプレイ１４に表示する。また、処理部１１は、指定物品の寸法情報とＳ２７で取得された搭載予定箇所の寸法情報とに基づいて、指定物品と搭載予定箇所との実際の寸法関係が反映されるように、指定物品の拡張現実画像４０をディスプレイ１４に表示する。なお、指定物品の外観の画像データおよび指定物品の寸法情報は、Ｓ１８でサーバ装置２０から取得された物品情報に含まれている情報である。
In S28, the processing unit 11 (generating
例えば、図９は、指定物品がドライブレコーダである場合において、ドライブレコーダの拡張現実画像４０ａを、撮影画像内の搭載予定箇所（ルームミラー付近のフロントガラス）に重畳させてディスプレイ１４に表示した例を示している。図９に示す例では、ルームミラー４１とセンターコンソール４２とを含む車内の撮影画像がディスプレイ１４に表示されており、搭載予定箇所として特定されたルームミラー付近のフロントガラスに対して、ドライブレコーダの拡張現実画像４０ａが表示されている。これにより、ユーザは、車両とドライブレコーダとの位置関係および寸法関係など、車両に対するドライブレコーダの適合性を、当該ドライブレコーダを購入する前に容易に且つ直感的に把握することができる。
For example, FIG. 9 shows an example in which an
また、図１０Ａ～図１０Ｂは、指定物品が運搬物（例えば、机やベッドなどの包装容器）である場合において、当該運搬物の拡張現実画像４０ｂを、撮影画像内の搭載予定箇所（車両４３の荷室）に重畳させてディスプレイ１４に表示した例を示している。図１０Ａ～図１０Ｂに示す例では、バックドアを開けた状態の車両４３の後部（荷室）の撮影画像がディスプレイ１４に表示されており、搭載予定箇所として特定された荷室に対して、運搬物の拡張現実画像４０ｂが表示されている。図１０Ａは、運搬物の寸法が車両４３の荷室の寸法より小さい場合を示しており、図１０Ｂは、運搬物の寸法が車両４３の荷室の寸法より大きい場合を示している。これにより、ユーザは、指定物品としての運搬物が車両４３の荷台に積載可能か否かなど、車両に対する運搬物の適合性を、当該運搬物を購入する前に容易に且つ直感的に把握することができる。
Also, FIGS. 10A and 10B show an
このように、本実施形態の情報提供システム１００では、ユーザにより指定された指定物品の拡張現実画像を、搭載予定箇所に対する指定物品の適合性を示す情報として、カメラ１３で得られた撮影画像内における搭載予定箇所に重畳させてディスプレイ１４に表示する。これにより、ユーザは、情報端末１０により物品を指定して、車両の搭載予定箇所を情報端末１０のカメラ１３で撮影すれば、車両の搭載予定箇所に対する指定物品の適合性を容易に且つ直感的に把握することができる。
As described above, in the
＜第２実施形態＞
本発明に係る第２実施形態について説明する。上述した第１実施形態では、情報提供システム１００を四輪車に適用する例について説明したが、それに限られるものではない。例えば、鞍乗型車両（二輪車、三輪車）、或いは、船舶、航空機、耕運機、芝刈機、発電機、除雪機などの他の機械や装置に対しても、上記の情報提供システム１００を適用することができる。本実施形態では、二輪車および耕運機に対して、上記の情報提供システムを適用した例について説明する。<Second embodiment>
A second embodiment according to the present invention will be described. In the first embodiment described above, an example in which the
まず、二輪車に対して情報提供システム１００を適用する例について説明する。ここでは、上述した図２Ａ～図２Ｂに示すフローチャートを実行することにより、二輪車５０のキー挿入部５１に搭載される蓄光性のカバーが指定物品として指定され、キー挿入部５１が搭載予定箇所として決定された例を示す。図１１は、情報端末１０（カメラ１３）により二輪車５０のキー挿入部５１付近を撮影している様子を示す図である。図１１に示す例では、キー挿入部５１のカバーの拡張現実画像４０ｃが、撮影画像内におけるキー挿入部５１に重畳してディスプレイ１４に表示されている。これにより、ユーザは、所有している二輪車５０のキー挿入部５１とカバーとの位置関係および寸法関係など、二輪車に対するキー挿入部５１のカバーの適合性を、当該カバーの購入前に容易に且つ直感的に把握することができる。
First, an example in which the
次に、耕運機に対して情報提供システム１００を適用する例について説明する。ここでは、上述した図２Ａ～図２Ｂに示すフローチャートを実行することにより、オプション装備として耕運機６０の爪部６１の左右に搭載される移動用の車輪が指定物品として指定され、爪部６１が搭載予定箇所として決定された例を示す。図１２は、情報端末１０（カメラ１３）により耕運機６０を撮影している様子を示す図である。図１２に示す例では、車輪の拡張現実画像４０ｄが、撮影画像内における爪部６１に重畳してディスプレイ１４に表示されている。これにより、ユーザは、所有している耕運機６０に対する車輪の適合性を、当該車輪の購入前に容易に且つ直感的に把握することができる。ここで、図２Ｂに示すフローチャートのＳ２７では、搭載予定箇所の寸法情報を取得するために、耕運機６０（車両）の型式が特定される。この場合、処理部１１は、車輪の物品情報に基づいて、特定した型式の耕運機６０に対して当該車輪が適合しない（即ち、取り付けることができない）と判断した場合には、適合しない旨のコメントやバツ印などのマークをディスプレイ１４に表示してもよい。
Next, an example of applying the
＜第３実施形態＞
本発明に係る第３実施形態について説明する。本実施形態は、第１～第２実施形態を基本的に引き継ぐものであり、用語や定義等は第１～第２実施形態で説明したとおりである。本実施形態では、情報提供プログラムが実行されたときに情報端末１０で行われる処理として、カメラ１３で得られた撮影画像内に含まれる構造物を特定し、特定した構造物に適合する物品の情報をユーザに提供する処理について説明する。<Third Embodiment>
A third embodiment according to the present invention will be described. This embodiment basically inherits the first and second embodiments, and the terms and definitions are the same as those described in the first and second embodiments. In this embodiment, as processing performed by the
例えば、情報提供プログラムが起動された場合、情報端末１０（処理部１１）は、第１モードおよび第２モードのいずれかをユーザに選択させるための画面をディスプレイ１４に表示し、ユーザにより選択されたモードを実行する。第１モードとは、ユーザにより指定された物品に関する物品情報を取得するモードであり、第１モードが選択されると、第１～第２実施形態で説明した処理が実行される。一方、第２モードとは、撮影画像内の構造物を特定し、特定した構造物に適合する物品に関する物品情報を取得するモードであり、以下に説明する処理が実行される。
For example, when the information providing program is started, the information terminal 10 (processing unit 11) displays a screen for allowing the user to select either the first mode or the second mode on the
図１３は、ユーザにより第２モードが選択された場合に、情報端末１０の処理部１１で行われる処理を示すフローチャートである。 Ｓ３１では、処理部１１（第１取得部１１ａ）は、カメラ１３に撮影を開始させるとともに、カメラ１３から撮影画像を取得する。Ｓ３２では、処理部１１（表示制御部１１ｆ）は、カメラ１３から取得した撮影画像をディスプレイ１４に逐次表示する。
FIG. 13 is a flow chart showing the processing performed by the
Ｓ３３では、処理部１１（特定部１１ｂ）は、ディスプレイ１４に表示された撮影画像内に含まれる構造物の特定を行う。例えば、処理部１１は、まず、公知の画像処理を行うことにより、撮影画像内に含まれる構造物を認識する。公知の画像処理の一例としては、図２ＢのフローチャートのＳ２５で説明したように、撮影画像内において特徴点を検出し、検出した特徴点の特徴量や位置関係などを示す特徴情報から構造物を認識する方法が挙げられる。サーバ装置２０の記憶部２２には、複数種類の構造物の各々についての特徴情報が、各構造物の型式等に紐づけられて記憶されており、情報端末１０の処理部１１は、認識した構造物に対して特徴情報の一致度が高い（即ち、一致度が所定値を超える）構造物があるか否かの調査（判定）を行う。これにより、処理部１１は、撮影画像内に含まれる構造物の型式を特定することができる。一例として、図８に示すように、ユーザが、ルームミラーやセンターコンソールなどの車載部品を含むように車内を情報端末１０（カメラ１３）で撮影した場合、処理部１１は、ルームミラーを構造物として特定することができる。
In S<b>33 , the processing unit 11 (identifying
Ｓ３４では、処理部１１は、ディスプレイ１４に表示された撮影画像内において、構造物が特定されたか否かを判断する。撮影画像内において構造物が特定された場合にはＳ３５に進み、撮影画像内において構造物が特定されなかった場合にはＳ３３に戻る。
In S<b>34 , the
Ｓ３５では、処理部１１は、情報端末１０の周辺に存在する商店等の施設で提供可能な物品リストを取得する。例えば、処理部１１は、情報端末１０の周辺に存在する商店等の施設で提供可能な物品リストとして、当該施設で推奨されている物品のリスト（おすすめ物品のリスト）を取得してもよい。
At S<b>35 , the
具体的には、サーバ装置２０の記憶部２２には、複数の施設の位置が示された地図情報が記憶されている。処理部１１は、位置検知センサ１５で検知された情報端末１０の現在位置を、通信部１７を介してサーバ装置２０に送信する。情報端末１０の現在位置を受信したサーバ装置２０では、記憶部２２に記憶されている地図情報に基づいて、情報端末１０の現在位置から所定範囲内に存在する施設を検索し、検索の結果で得られた施設で提供可能な複数の物品のリスト（物品リスト）を通信部２３を介して情報端末１０に送信する。これにより、情報端末１０は、周辺の施設で提供可能な物品リストを取得することができる。ここで、所定範囲は、ユーザにより事前に且つ任意に設定されうる。所定範囲としては、情報端末１０からの距離の範囲であってもよいし、施設に到着するまでの時間の範囲であってもよい。
Specifically, the
Ｓ３６では、処理部１１は、Ｓ３５で取得した物品リストの中に、Ｓ３３で特定された構造物に適合する物品（以下、適合物品と呼ぶことがある）があるか否かを判断する。適合物品がある場合にはＳ３７に進み、適合物品がない場合にはＳ３３に戻る。また、Ｓ３７では、処理部１１（第２取得部１１ｂ）は、適合物品に紐づけられてサーバ装置２０（記憶部２２）に記憶されている物品情報をサーバ装置２０から取得する。物品情報は、上述したように、物品の型式や寸法を示す情報、物品の外観の画像データ、物品が販売されている施設およびその位置情報などを含みうる。
In S36, the
Ｓ３８では、処理部（生成部１１ｄ）は、適合物品の外観の画像データに基づいて当該適合物品の拡張現実画像４０を生成する。そして、処理部１１（表示制御部１１ｆ）は、カメラ１３で得られた撮影画像内において、適合物品の拡張現実画像を、Ｓ３３で特定された構造物に重畳させてディスプレイ１４に表示する。このとき、処理部１１は、位置検知センサ１５および姿勢検知センサ１６で検知された情報端末１０の位置姿勢の情報に基づいて、情報端末１０の動きに合わせて適合物品の拡張現実画像が移動するように、カメラ１３での撮影画像と適合物品の拡張現実画像との位置合わせを行う。つまり、処理部１１は、情報端末１０の位置姿勢の情報に基づいて、ディスプレイ１４に表示された撮影画像内における構造物の位置に整合させるように、適合物品の拡張現実画像をディスプレイ１４に表示する。また、処理部１１は、適合物品の寸法情報とＳ３３で特定された構造物の寸法情報とに基づいて、適合物品と当該構造物との実際の寸法関係が反映されるように、適合物品の拡張現実画像４０をディスプレイ１４に表示するとよい。
In S38, the processing unit (generating
ここで、処理部１１は、Ｓ３８において、適合物品が提供される施設の情報をディスプレイ１４に表示してもよい。施設の情報とは、例えば、当該施設のホームページや電話番号などの情報や、当該施設までの経路（ルート）の情報などを含みうる。このような施設の情報は、適合物品の拡張現実画像をユーザがディスプレイ１４上でタッチした場合にディスプレイ１４に表示される態様であってもよい。
Here, in S38, the
一例として、図８に示すように、ユーザが、ルームミラーやセンターコンソールなどの車載部品を含むように車内が情報端末１０（カメラ１３）で撮影され、Ｓ３３において、ルームミラー或いはルームミラー付近のフロントガラスが構造物として特定されたとする。この場合、処理部１１は、Ｓ３５において、情報端末１０から所定範囲内に存在するカー用品店（施設）で提供可能な物品リストを取得したとすると、Ｓ３７では、ルームミラー或いはルームミラー付近のフロントガラスに適合するドライブレコーダの物品情報が取得されうる。そして、図９に示すように、取得した物品情報（画像データ）に基づいて生成したドライブレコーダの拡張現実画像４０ａを、撮影画像内の構造物（例えば、ルームミラー付近のフロントガラス）に重畳させてディスプレイ１４に表示する。
As an example, as shown in FIG. 8, the user captures an image of the interior of the vehicle with the information terminal 10 (camera 13) so as to include vehicle-mounted parts such as a rearview mirror and a center console. Suppose that glass is identified as a structure. In this case, if the
このように、第２モードでは、撮影画像内の構造物を特定し、特定した構造物に適合する物品（適合物品）に関する物品情報を取得する。そして、物品情報（画像データ）に基づいて適合物品の拡張現実画像を生成し、適合物品の拡張現実画像を、撮影画像内の構造物に重畳させてディスプレイに表示する。これにより、ユーザは、情報端末１０で物品を指定しなくても、情報端末１０のカメラ１３で得られた撮影画像内の構造物に適合する物品の情報を容易に且つ直感的に取得することができる。
Thus, in the second mode, the structure within the photographed image is identified, and the article information regarding the article (conforming article) that conforms to the identified structure is acquired. Then, an augmented reality image of the conforming article is generated based on the article information (image data), and the augmented reality image of the conforming article is superimposed on the structure in the photographed image and displayed on the display. As a result, the user can easily and intuitively acquire the information of the article that matches the structure in the photographed image obtained by the
＜実施形態のまとめ＞
１．上記実施形態の情報提供システムは、
カメラ（例えば１３）およびディスプレイ（例えば１４）を有する情報端末（例えば１０）を用いて、指定物品と当該指定物品を搭載予定の対象箇所との適合性に関する情報をユーザに提供する情報提供システム（例えば１００）であって、
前記情報端末は、
前記カメラで得られた撮影画像を前記ディスプレイに表示する表示制御手段（例えば１１ｆ）と、
前記指定物品の画像データを取得する取得手段（例えば１１ｂ）と、
前記取得手段で取得された画像データに基づいて、前記指定物品の拡張現実画像を生成する生成手段（例えば１１ｄ）と、
を有し、
前記表示制御手段は、前記生成手段で生成された前記指定物品の拡張現実画像を前記情報として、前記撮影画像内の前記対象箇所に重畳させて前記ディスプレイに表示する。
この構成によれば、ユーザは、情報端末で物品を指定し、指定した物品（指定物品）が搭載される予定の対象箇所を情報端末のカメラで撮影すれば、当該対象箇所に対する指定物品の適合性を容易に且つ直感的に把握することが可能となる。<Summary of embodiment>
1. The information providing system of the above embodiment is
An information providing system (e.g., 10) having a camera (e.g., 13) and a display (e.g., 14) is used to provide a user with information on compatibility between a designated article and a target location where the designated article is to be mounted. For example, 100) and
The information terminal is
Display control means (for example, 11f) for displaying an image captured by the camera on the display;
Acquisition means (for example, 11b) for acquiring image data of the designated article;
generation means (for example, 11d) for generating an augmented reality image of the specified article based on the image data acquired by the acquisition means;
has
The display control means superimposes the augmented reality image of the specified article generated by the generating means on the display as the information on the target location in the captured image.
According to this configuration, the user designates an article on the information terminal, and if the target location where the designated article (designated article) is to be mounted is photographed with the camera of the information terminal, the conformity of the designated article to the target location can be determined. It is possible to easily and intuitively grasp the nature of a person.
２．上記実施形態の情報提供システムにおいて、
前記表示制御手段は、前記指定物品と前記対象箇所との実際の寸法関係が反映されるように、前記指定物品の拡張現実画像を前記ディスプレイに表示する。
この構成によれば、ユーザは、指定物品と対象箇所との寸法関係の把握がより容易になるため、対象箇所に対する指定物品の適合性をより容易に且つ直感的に把握することが可能となる。2. In the information providing system of the above embodiment,
The display control means displays an augmented reality image of the specified item on the display so as to reflect an actual dimensional relationship between the specified item and the target location.
According to this configuration, the user can more easily grasp the dimensional relationship between the designated article and the target location, so that the user can more easily and intuitively grasp the suitability of the designated article for the target location. .
３．上記実施形態の情報提供システムにおいて、
前記情報端末は、前記撮影画像内において前記対象箇所を特定する特定手段（例えば１１ｃ）を更に含み、
前記表示制御手段は、前記特定手段で特定された前記撮影画像内の前記対象箇所に対して、前記指定物品の拡張現実画像を重畳して表示する。
この構成によれば、ユーザが撮影画像内における対象箇所の位置を指示しなくても、情報端末側で対象箇所が特定されるため、対象箇所に対する指定物品の適合性の把握する際のユーザの利便性を向上させることが可能となる。3. In the information providing system of the above embodiment,
The information terminal further includes specifying means (for example, 11c) for specifying the target location in the captured image,
The display control means superimposes and displays an augmented reality image of the specified article on the target location in the captured image specified by the specifying means.
According to this configuration, even if the user does not indicate the position of the target location in the captured image, the target location is specified on the information terminal side. It is possible to improve convenience.
４．上記実施形態の情報提供システムにおいて、
前記情報端末は、物品の候補リストを前記ディスプレイに表示して、ユーザによる物品の指定を受け付ける受付手段（例えば１１ｅ）を更に有し、
前記指定物品は、前記受付手段でユーザの指定を受け付けた物品である。
この構成によれば、物品を指定する際のユーザの利便性を向上させることが可能となる。4. In the information providing system of the above embodiment,
The information terminal further comprises receiving means (e.g., 11e) for displaying a candidate list of items on the display and receiving designation of items by a user,
The designated article is an article for which the user's designation is received by the receiving means.
According to this configuration, it is possible to improve the user's convenience when specifying an article.
５．上記実施形態の情報提供システムにおいて、
前記受付手段は、前記情報端末の現在位置から所定範囲内に存在する施設で提供可能な物品を前記候補リストとして前記ディスプレイに表示する。
この構成によれば、例えば移動中などにおいて、近くの施設で提供（販売）されている物品の情報をユーザに提示することができるため、ユーザは、その情報に基づいて、必要な物品があれば施設に立ち寄ることができ、ユーザの利便性を向上させることが可能となる。5. In the information providing system of the above embodiment,
The receiving means displays on the display, as the candidate list, items that can be provided at facilities existing within a predetermined range from the current position of the information terminal.
According to this configuration, the user can be presented with information on goods offered (sold) at nearby facilities while moving, for example. It is possible to drop in at the facility if necessary, and it is possible to improve the convenience of the user.
６．上記実施形態の情報提供システムにおいて、
前記受付手段は、ユーザにより入力されたカテゴリに属する物品のリストを前記候補リストとして前記ディスプレイに表示する。
この構成によれば、ユーザは、必要な物品をカテゴリで検索することができるため、ユーザの利便性を向上させることが可能となる。6. In the information providing system of the above embodiment,
The receiving means displays a list of articles belonging to the category input by the user on the display as the candidate list.
According to this configuration, the user can search for a desired article by category, so that convenience for the user can be improved.
７．上記実施形態の情報提供システムは、
カメラ（例えば１３）およびディスプレイ（例えば１４）を有する情報端末（例えば１０）を用いてユーザに情報を提供する情報提供システム（例えば１００）であって、
前記情報端末は、
前記カメラで得られた撮影画像を前記ディスプレイに表示する表示制御手段（例えば１１ｆ）と、
前記ディスプレイに表示された前記撮影画像内に含まれる構造物を特定する特定手段（例えば１１ｃ）と、
前記情報端末の現在位置から所定範囲内に存在する施設で提供可能な複数の物品のうち、前記特定手段で特定された前記構造物に適合する物品の画像データを取得する取得手段（例えば１１ｂ）と、
前記取得手段で取得された画像データに基づいて、前記物品の拡張現実画像を生成する生成手段（例えば１１ｄ）と、
を有し、
前記表示制御手段は、前記生成手段で生成された前記物品の拡張現実画像を、前記撮影画像内の前記構造物に重畳させて前記ディスプレイに表示する。
この構成によれば、ユーザは、情報端末で物品を指定しなくても、情報端末のカメラで得られた撮影画像内の構造物に適合する物品の情報を容易に且つ直感的に取得することが可能となる。7. The information providing system of the above embodiment is
An information providing system (e.g., 100) that provides information to a user using an information terminal (e.g., 10) having a camera (e.g., 13) and a display (e.g., 14),
The information terminal is
Display control means (for example, 11f) for displaying an image captured by the camera on the display;
specifying means (for example, 11c) for specifying a structure included in the photographed image displayed on the display;
Acquisition means (for example, 11b) for acquiring image data of an article that matches the structure identified by the identification means, from among a plurality of articles that can be provided at facilities existing within a predetermined range from the current position of the information terminal. and,
generating means (for example, 11d) for generating an augmented reality image of the article based on the image data acquired by the acquiring means;
has
The display control means superimposes the augmented reality image of the article generated by the generating means on the structure in the photographed image and displays the augmented reality image on the display.
According to this configuration, a user can easily and intuitively obtain information on an article that matches the structure in the image captured by the camera of the information terminal without specifying the article on the information terminal. becomes possible.
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。 The present invention is not limited to the embodiments described above, and various modifications and variations are possible without departing from the spirit and scope of the present invention. Accordingly, to publicize the scope of the invention, the following claims are included.
１０：情報端末、１１：処理部、１２：記憶部、１３：カメラ、１４：ディスプレイ、１５：位置検知センサ、１６：姿勢検知センサ、１７：通信部、２０：サーバ装置、２１：処理部、２２：記憶部、２３：通信部 10: information terminal, 11: processing unit, 12: storage unit, 13: camera, 14: display, 15: position detection sensor, 16: orientation detection sensor, 17: communication unit, 20: server device, 21: processing unit, 22: storage unit, 23: communication unit
Claims (8)
前記情報端末は、
前記カメラで得られた撮影画像を前記ディスプレイに表示する表示制御手段と、
前記指定物品の画像データを取得する取得手段と、
前記取得手段で取得された画像データに基づいて、前記指定物品の拡張現実画像を生成する生成手段と、
を有し、
前記表示制御手段は、前記生成手段で生成された前記指定物品の拡張現実画像を前記情報として、前記指定物品の寸法と前記指定物品が前記対象箇所に搭載されるときの当該指定物品の向きの情報とに基づいて前記指定物品と前記対象箇所との実際の外観、寸法及び向きの関係が反映されるように、前記指定物品の拡張現実画像を前記撮影画像内の前記対象箇所に重畳させて前記ディスプレイに表示する、ことを特徴とする情報提供システム。 An information providing system that uses an information terminal having a camera and a display to provide a user with information on compatibility between a designated article and a target location where the designated article is to be mounted,
The information terminal is
display control means for displaying an image captured by the camera on the display;
Acquisition means for acquiring image data of the designated article;
generation means for generating an augmented reality image of the specified article based on the image data acquired by the acquisition means;
has
The display control means uses the augmented reality image of the designated article generated by the generation means as the information to determine the dimensions of the designated article and the orientation of the designated article when the designated article is mounted on the target location. superimposing an augmented reality image of the designated article on the target location in the photographed image so as to reflect the actual appearance, size, and orientation relationship between the designated article and the target location based on the information; An information providing system characterized by displaying on the display.
前記表示制御手段は、前記特定手段で特定された前記撮影画像内の前記対象箇所に対して、前記指定物品の拡張現実画像を重畳して表示する、ことを特徴とする請求項１に記載の情報提供システム。 The information terminal further includes specifying means for specifying the target location in the captured image,
2. The method according to claim 1, wherein said display control means superimposes and displays an augmented reality image of said designated article on said target portion within said photographed image specified by said specifying means. information system.
前記指定物品は、前記受付手段でユーザの指定を受け付けた物品である、ことを特徴とする請求項１又は２に記載の情報提供システム。 The information terminal further comprises receiving means for displaying a candidate list of items on the display and receiving designation of items by a user,
3. The information providing system according to claim 1, wherein said specified item is an item whose designation by said user is accepted by said accepting means.
前記情報端末は、
前記カメラで得られた撮影画像を前記ディスプレイに表示する表示制御手段と、
前記ディスプレイに表示された前記撮影画像内に含まれる構造物を特定する特定手段と、
前記情報端末の現在位置から所定範囲内に存在する施設で提供可能な複数の物品のうち、物品を搭載予定の前記構造物であって前記特定手段で特定された前記構造物に適合する物品の画像データを取得する取得手段と、
前記取得手段で取得された画像データに基づいて、前記物品の拡張現実画像を生成する生成手段と、
を有し、
前記表示制御手段は、前記生成手段で生成された前記物品の拡張現実画像を、前記物品の寸法と前記物品が前記構造物に搭載されるときの当該物品の向きの情報とに基づいて前記物品と前記構造物との実際の外観、寸法及び向きの関係が反映されるように前記撮影画像内の前記構造物に重畳させて前記ディスプレイに表示する、ことを特徴とする情報提供システム。 An information providing system that provides information to a user using an information terminal having a camera and a display,
The information terminal is
display control means for displaying an image captured by the camera on the display;
identifying means for identifying a structure included in the photographed image displayed on the display;
Among a plurality of items that can be provided at a facility that exists within a predetermined range from the current position of the information terminal, the item that is the structure on which the item is to be mounted and that is compatible with the structure specified by the specifying means. acquisition means for acquiring image data;
generating means for generating an augmented reality image of the article based on the image data acquired by the acquiring means;
has
The display control means generates the augmented reality image of the article generated by the generation means based on the dimensions of the article and information on the orientation of the article when the article is mounted on the structure. and superimposed on the structure in the photographed image and displayed on the display so as to reflect the actual appearance, size and orientation relationship between the structure and the structure.
前記カメラで得られた撮影画像を前記ディスプレイに表示する表示制御手段と、
前記指定物品の画像データを取得する取得手段と、
前記取得手段で取得された画像データに基づいて、前記指定物品の拡張現実画像を生成する生成手段と、
を有し、
前記表示制御手段は、前記生成手段で生成された前記指定物品の拡張現実画像を前記情報として、前記指定物品の寸法と前記指定物品が前記対象箇所に搭載されるときの当該指定物品の向きの情報とに基づいて前記指定物品と前記対象箇所との実際の外観、寸法及び向きの関係が反映されるように、前記指定物品の拡張現実画像を前記撮影画像内の前記対象箇所に重畳させて前記ディスプレイに表示する、ことを特徴とする情報端末。 An information terminal that has a camera and a display and provides the user with information on compatibility between an article designated by the user and a target location where the designated article is to be mounted,
display control means for displaying an image captured by the camera on the display;
Acquisition means for acquiring image data of the designated article;
generation means for generating an augmented reality image of the specified article based on the image data acquired by the acquisition means;
has
The display control means uses the augmented reality image of the designated article generated by the generation means as the information to determine the dimensions of the designated article and the orientation of the designated article when the designated article is mounted on the target location. superimposing an augmented reality image of the designated article on the target location in the photographed image so as to reflect the actual appearance, size, and orientation relationship between the designated article and the target location based on the information; An information terminal characterized by displaying on the display.
前記カメラで得られた撮影画像を前記ディスプレイに表示する表示制御手段と、
前記ディスプレイに表示された前記撮影画像内に含まれる構造物を特定する特定手段と、
前記情報端末の現在位置から所定範囲内に存在する施設で提供可能な複数の物品のうち、物品を搭載予定の前記構造物であって前記特定手段で特定された前記構造物に適合する物品の画像データを取得する取得手段と、
前記取得手段で取得された画像データに基づいて、前記物品の拡張現実画像を生成する生成手段と、
を有し、
前記表示制御手段は、前記生成手段で生成された前記物品の拡張現実画像を、前記物品の寸法と前記物品が前記構造物に搭載されるときの当該物品の向きの情報とに基づいて前記物品と前記構造物との実際の外観、寸法及び向きの関係が反映されるように前記撮影画像内の前記構造物に重畳させて前記ディスプレイに表示する、ことを特徴とする情報端末。 An information terminal that has a camera and a display and provides information to a user,
display control means for displaying an image captured by the camera on the display;
identifying means for identifying a structure included in the photographed image displayed on the display;
Among a plurality of items that can be provided at a facility that exists within a predetermined range from the current position of the information terminal, the item that is the structure on which the item is to be mounted and that is compatible with the structure specified by the specifying means. acquisition means for acquiring image data;
generating means for generating an augmented reality image of the article based on the image data acquired by the acquiring means;
has
The display control means generates the augmented reality image of the article generated by the generation means based on the dimensions of the article and information on the orientation of the article when the article is mounted on the structure. and the structure are superimposed on the structure in the photographed image and displayed on the display so as to reflect the actual appearance, size, and orientation of the structure.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/014254 WO2020202347A1 (en) | 2019-03-29 | 2019-03-29 | Information provision system and information terminal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020202347A1 JPWO2020202347A1 (en) | 2020-10-08 |
| JP7237149B2 true JP7237149B2 (en) | 2023-03-10 |
Family
ID=72666511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021511722A Active JP7237149B2 (en) | 2019-03-29 | 2019-03-29 | Information provision system and information terminal |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7237149B2 (en) |
| CN (1) | CN113383363A (en) |
| WO (1) | WO2020202347A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022157058A (en) * | 2021-03-31 | 2022-10-14 | 本田技研工業株式会社 | Information provision method, program, and information provision device |
| JP2022157034A (en) * | 2021-03-31 | 2022-10-14 | 本田技研工業株式会社 | Information provision method, program and information provision device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003044704A (en) | 2001-07-31 | 2003-02-14 | Honda Motor Co Ltd | Service provision method |
| JP2003331075A (en) | 2002-05-09 | 2003-11-21 | Honda Motor Co Ltd | Service providing system |
| JP2011222000A (en) | 2010-03-25 | 2011-11-04 | Choushin Inc | Image combination service system |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9449342B2 (en) * | 2011-10-27 | 2016-09-20 | Ebay Inc. | System and method for visualization of items in an environment using augmented reality |
| US9928544B1 (en) * | 2015-03-10 | 2018-03-27 | Amazon Technologies, Inc. | Vehicle component installation preview image generation |
| CN108255304B (en) * | 2018-01-26 | 2022-10-04 | 腾讯科技（深圳）有限公司 | Video data processing method and device based on augmented reality and storage medium |
-
2019
- 2019-03-29 JP JP2021511722A patent/JP7237149B2/en active Active
- 2019-03-29 CN CN201980090738.2A patent/CN113383363A/en active Pending
- 2019-03-29 WO PCT/JP2019/014254 patent/WO2020202347A1/en not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003044704A (en) | 2001-07-31 | 2003-02-14 | Honda Motor Co Ltd | Service provision method |
| JP2003331075A (en) | 2002-05-09 | 2003-11-21 | Honda Motor Co Ltd | Service providing system |
| JP2011222000A (en) | 2010-03-25 | 2011-11-04 | Choushin Inc | Image combination service system |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113383363A (en) | 2021-09-10 |
| WO2020202347A1 (en) | 2020-10-08 |
| JPWO2020202347A1 (en) | 2020-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10562406B2 (en) | System and method for autonomous charging of an autonomous vehicle | |
| KR102346825B1 (en) | Shopping trip planner | |
| US11182967B2 (en) | Devices, computer-readable media, and systems for augmented reality of available resources | |
| JP6177998B2 (en) | Information display method and information display terminal | |
| US20120044264A1 (en) | Apparatus and method for providing augmented reality | |
| US12182904B2 (en) | Information processing device and information processing method | |
| JP6915195B2 (en) | Designated reception system, search system, search terminal, designated reception program, search program and search terminal control program | |
| JP7237149B2 (en) | Information provision system and information terminal | |
| US20200160715A1 (en) | Information processing system, program, and information processing method | |
| US11556976B2 (en) | Server apparatus, mobile shop, and information processing system | |
| US20200279314A1 (en) | Proximity-based vehicle comparison | |
| CN111047060A (en) | Server, information processing method, and non-transitory storage medium storing program | |
| US20110130953A1 (en) | Navigation equipment and navigation system | |
| JP2018106692A (en) | Method and system for moving object virtual information remote management | |
| US20170186073A1 (en) | Shopping cart display | |
| CN112837111A (en) | Server device, medium, and method of operation of information processing system | |
| US11488238B2 (en) | Arrangement system for trial use or trial fitting vehicle | |
| JP5970973B2 (en) | Vehicle map display device | |
| JP7117454B2 (en) | Support method and support system | |
| US20210224926A1 (en) | Server apparatus, control apparatus, medium, mobile shop, and operation method for information processing system | |
| KR20220117550A (en) | Information displaying method and computer readable medium storing instructions to execute information displayimg method | |
| JP6040804B2 (en) | Object identification system and object identification method | |
| US20170178210A1 (en) | Device, system and method for a mobile mechanic | |
| WO2020202346A1 (en) | Information provision system and information terminal | |
| JP2021081945A (en) | Repair estimate preparation device and repair estimate preparation device method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210812 |
|
| A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20210812 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210812 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7237149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |