+

WO2006001129A1 - 情報処理装置および方法、プログラム、並びに情報処理システム - Google Patents

情報処理装置および方法、プログラム、並びに情報処理システム Download PDF

Info

Publication number
WO2006001129A1
WO2006001129A1 PCT/JP2005/008689 JP2005008689W WO2006001129A1 WO 2006001129 A1 WO2006001129 A1 WO 2006001129A1 JP 2005008689 W JP2005008689 W JP 2005008689W WO 2006001129 A1 WO2006001129 A1 WO 2006001129A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition
positioning
information
information processing
hmm
Prior art date
Application number
PCT/JP2005/008689
Other languages
English (en)
French (fr)
Inventor
Makoto Murata
Tamaki Kojima
Wenwu Zhao
Ryu Aoyama
Brian Clarkson
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to CN2005800289434A priority Critical patent/CN101010560B/zh
Priority to US11/630,389 priority patent/US7739033B2/en
Priority to EP05739115A priority patent/EP1762822A4/en
Priority to JP2006528397A priority patent/JPWO2006001129A1/ja
Publication of WO2006001129A1 publication Critical patent/WO2006001129A1/ja
Priority to KR1020067027564A priority patent/KR101174531B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the present invention relates to an information processing device and method, a program, and an information processing system, and in particular, an information processing device and method, a program, and a program capable of accurately performing position recognition with high strength and granularity And an information processing system.
  • Commonly used infrastructure type position recognition technologies include, for example, GPS (Global
  • Positioning System and PHS (Personal Handyphone System) (registered trademark).
  • Position recognition using GPS is performed using information from a captured satellite
  • position recognition using PHS is performed using information from a base station.
  • portable devices equipped with a GPS module or PHS module can identify the user's position (the position of the device itself) with a granularity of several meters to several tens of meters. For example, it is possible to know the user's location with granularity such as being at home, at school, at work, or at an intersection.
  • Patent Document 1 discloses a technique for specifying the current position by using position information calculated by GPS and position information specified by the characteristic information power of a captured image. As a result, it is possible to improve the accuracy of position recognition as compared with the case where only the position information acquired by GPS is used or the case where only the position information specified from the feature information of the photographed image is used. Is.
  • Patent Document 1 Japanese Patent Laid-Open No. 9-190413
  • Patent Document 1 in order to perform position recognition from a captured image, a user needs to prepare data such as a recognition model in a device in advance by learning, for example. is there. Therefore, the user's burden required for learning, etc., which is a prerequisite for position recognition, is also large. I can't recognize it.
  • the present invention has been made in view of such a situation, and makes it possible to accurately perform position recognition with a fine granularity. In addition, even if the user visits for the first time, the user can recognize the position from the captured image sequence. Means for solving the problem
  • the first information processing apparatus of the present invention acquires positioning data for performing position recognition based on positioning means for positioning and position information obtained by positioning by the positioning means. And a position recognition means for performing position recognition using the recognition data acquired by the acquisition means and an output from a predetermined sensor.
  • the first information processing apparatus of the present invention creates recognition data based on the output of the sensor force. It is possible to further include a creating means.
  • the first information processing apparatus of the present invention further includes storage means for storing the recognition data created by the creating means in association with the position information obtained by positioning by the positioning means. can do.
  • the acquisition means is based on the position information obtained by positioning by the positioning means!
  • the data for recognition is acquired from the storage means.
  • the first information processing apparatus of the present invention may further include a transmission means for transmitting the recognition data to another apparatus.
  • the first information processing apparatus of the present invention can further include receiving means for receiving position information from another apparatus and search means for searching for recognition data based on the position information.
  • the transmitting unit transmits the recognition data searched by the searching unit to another device.
  • the acquisition means may store the recognition data corresponding to the position information obtained by positioning by the positioning means in the storage means.
  • other apparatus force may also acquire the recognition data. it can.
  • the acquisition unit may acquire the recognition data every predetermined time.
  • the position information obtained by positioning by the positioning means is represented by predetermined position coordinates, and the position information associated with the recognition data and stored in the storage means is represented by a predetermined position coordinate range.
  • the acquiring means can acquire the recognition data for other device forces.
  • the positioning means performs positioning using GPS and PHS, and selects the position with higher reliability from the position obtained using GPS and the position obtained using PHS as the positioning result. You can do that.
  • the sensor can also be an imaging element of a camera or a plurality of optical sensor forces.
  • the first information processing method of the present invention includes a positioning step for positioning, and recognition data for performing position recognition based on the position information obtained by positioning by the processing of the positioning step.
  • the first program of the present invention obtains recognition data for performing position recognition based on a positioning step for positioning and position information obtained by positioning by the processing of the positioning step. And a computer that executes a process including a position recognition step of performing position recognition using the recognition data acquired by the process of the acquisition step and an output from a predetermined sensor. To do.
  • the information processing system of the present invention is an information processing system including a first information processing apparatus and a second information processing apparatus, and the first information processing apparatus is a positioning means for performing positioning.
  • a transmission means for transmitting the position information obtained by positioning by the positioning means to a second information processing apparatus that stores recognition data for performing position recognition in association with the position information; and Receiving means for receiving the recognition data transmitted from the second information processing device, searched based on the transmitted position information, recognition data received by the receiving means, and output of a predetermined sensor force
  • the second information processing apparatus includes a receiving means for receiving position information transmitted from the first information processing apparatus, and a position received by the receiving means. For recognition based on information Characterized in that it comprises a retrieval means for retrieving over data, and transmitting means for transmitting the recognition data searched by the search unit to the first information processing apparatus.
  • the second information processing apparatus of the present invention includes positioning means for performing positioning based on transmitted information and recognition data used for position recognition based on an output of a predetermined sensor force. Using the recognition data acquired by the acquisition means, the position recognition means for performing position recognition based on the output from the sensor, the position obtained by positioning by the positioning means, and the position recognition means A reliability measurement unit that measures the reliability of each recognized position, and a position output unit that outputs information representing the position according to the reliability measured by the reliability measurement unit. .
  • the second information processing method of the present invention is a recognition step used to perform positioning based on the transmitted information and perform positioning based on the output of a predetermined sensor force.
  • a recognition step used to perform positioning based on the transmitted information and perform positioning based on the output of a predetermined sensor force.
  • a position recognition step that performs position recognition based on the output of the sensor force, a position obtained by positioning by the processing of the positioning step, and a reliability that measures the reliability of each position recognized by the processing of the position recognition step It includes a measurement step and a position extraction step that outputs information representing a position according to the reliability measured by the process of the reliability measurement step.
  • the second program of the present invention acquires a positioning step for performing positioning based on transmitted information and recognition data used when performing position recognition based on an output of a predetermined sensor force.
  • positioning is performed, and recognition data for performing position recognition is acquired based on position information obtained by positioning.
  • position recognition is performed using the acquired recognition data and an output from a predetermined sensor.
  • the positioning is performed, and the position information obtained by the positioning stores the recognition data for performing the position recognition in association with the position information. It is transmitted to the information processing apparatus.
  • the recognition data that is searched based on the transmitted position information and transmitted from the second information processing apparatus is received, and the received recognition data and the output of a predetermined sensor force are used.
  • Position recognition In addition, the first information processing apparatus receives the received position information and is based on the received position information! Then, the recognition data is retrieved, and the retrieved recognition data is transmitted to the first information processing apparatus.
  • positioning is performed based on transmitted information and used when position recognition is performed based on an output from a predetermined sensor.
  • Recognition data is acquired.
  • Position recognition based on force is performed, and the position obtained by positioning and the reliability of the recognized position are measured, and information representing the position is output according to the measured reliability.
  • position recognition is possible even at a location where the user has visited for the first time.
  • FIG. 1 is a diagram showing position recognition performed using a mobile terminal to which the present invention is applied.
  • FIG. 2 is a diagram showing a specific example of position recognition.
  • FIG. 3 is another diagram showing a specific example of position recognition.
  • FIG. 4 A diagram showing the sharing of HMMs.
  • FIG. 5 is a block diagram showing a hardware configuration example of a mobile terminal.
  • FIG. 6 is a block diagram illustrating a functional configuration example of an information processing unit in FIG.
  • FIG. 7 is a block diagram illustrating a detailed configuration example of a registration management unit in FIG.
  • FIG. 8 is a diagram showing an example of an HMM.
  • FIG. 9 is a diagram illustrating clustering and creation of an HMM.
  • FIG. 10 is another diagram showing clustering and HMM creation.
  • FIG. 11 is still another diagram showing clustering and HMM creation.
  • FIG. 12 is a block diagram illustrating a detailed configuration example of the position recognition unit in FIG. 6.
  • FIG. 13 is a diagram showing selection of positioning results based on reliability.
  • FIG. 14 is a diagram illustrating a detailed functional configuration example of the recognition unit in FIG.
  • FIG. 15 is a diagram showing the Viterbi algorithm.
  • FIG. 16 is a flowchart for explaining position recognition model configuration processing.
  • FIG. 17 is a flowchart for explaining position recognition processing.
  • FIG. 18 is a flowchart subsequent to FIG. 17, for explaining position recognition processing.
  • FIG. 19 is a flowchart illustrating the recognition processing performed in steps S27 and S31 in FIG. 17 and step S38 in FIG.
  • FIG. 20A is a diagram showing an example of the shape of a mobile terminal.
  • FIG. 20B is a diagram showing another example of the shape of the mobile terminal.
  • FIG. 20C is a diagram showing still another example of the shape of the mobile terminal.
  • FIG. 20D is a diagram showing another example of the shape of the mobile terminal.
  • FIG. 21A is another diagram showing an example of the shape of the mobile terminal.
  • FIG. 21B is another view showing another example of the shape of the mobile terminal.
  • FIG. 21C is another diagram showing still another example of the shape of the mobile terminal.
  • FIG. 21D is another diagram showing another example of the shape of the mobile terminal.
  • FIG. 22 is a block diagram illustrating a configuration example of a personal computer.
  • FIG. 1 is a diagram showing position recognition performed using a mobile terminal to which the present invention is applied.
  • a camera such as a CCD (Charge Coupled Device) is provided (FIG. 5 to be described later).
  • CCD Charge Coupled Device
  • the current position of the user (mobile terminal itself) on the global area is recognized by the GPS module or PHS module, and the position recognition model selected from the recognition result and the image taken by the camera Based on the image sequence, the current position of the user on the local area is recognized.
  • the upper part of Fig. 1 shows position recognition on the global area, and the lower part shows position recognition on the local area.
  • the position in the global area is determined by the GPS module or PHS module.
  • the location on the map specified by the obtained latitude and longitude information. Since the accuracy of latitude and longitude information acquired by the GPS module or PHS module is about several meters to several tens of meters, only the location recognition by the GPS module or PHS module can be found near ⁇ ⁇ station '', ⁇ home '', Only the approximate current location of the user, such as near the office, can be recognized.
  • the position on the local area refers to the position of finer granularity in the "home” such as the living, kitchen, dining, and sleeping room in the “home”, as well as what floor in the "office”, The location of a finer granularity within the “office”, such as which conference room or user's desk.
  • Position recognition by a mobile terminal basically includes a position recognition model construction phase and a position recognition phase.
  • the position recognition model construction phase is a position recognition model (for example, data used when position recognition is performed from an image sequence photographed by a camera.
  • the position recognition phase is a phase in which position recognition is actually performed by using a position recognition model. is there.
  • a camera provided in the mobile terminal repeatedly shoots at a predetermined frame rate such as 15 frames per second, and shoots a landscape for each destination of the user. Is done.
  • a position recognition model is created by the portable terminal from the image sequence photographed in this way.
  • the created position recognition model is stored in the mobile terminal and can be used in the position recognition phase. Therefore, since shooting is repeatedly performed at the destination, more models are created and the recognizable positions increase as the user goes to various places.
  • the created position recognition model is the latitude and longitude recognized by the GPS module or PHS module at the time of shooting the image sequence (the cluster including the position specified by the latitude and longitude). It will be stored in the portable terminal in association with a)).
  • Fig. 1 shows the model of Home HMM (bottom left), Gotanda station yard and its model, which was created from a sequence of images taken when the user moved in or near "home.”
  • Gotanda HMM bottom center
  • a model created by the user when the user moves in the vicinity Image sequence taken when the user moves in or near the office. It is indicated that the created model Office HMM (bottom right) is created by the mobile device and stored in the mobile device in association with each latitude / longitude information.
  • latitude / longitude information representing the current position on the global area is acquired by the GPS module or PHS module, and the closest to the current position is acquired based on the acquired latitude / longitude information.
  • the HMM stored in the position model is selected from the HMMs created in the HMM (HMM stored in correspondence with the cluster including the current position) force position recognition model configuration phase.
  • the selected HMM is used, and the current position of the user on the local area is recognized based on the image sequence obtained by photographing the landscape at the current position with the camera.
  • FIG. 2 it is assumed that, for example, three HMMs of Home HMM, Gotanda HMM, and Office HMM in FIG. 1 are stored in the mobile terminal.
  • the Home HMM States correspond to images 1 through N
  • Gotanda HMM states correspond to images 101
  • the GPS module and the PHS module were used when the images used to create the HMM were taken (during the position recognition model construction phase), respectively. As a result of positioning, the determined clusters are associated.
  • the GPS module or PHS module measures the current position of the user in the global area, and is identified from the latitude and longitude of the positioning result.
  • the HMM associated with the cluster including the current position is selected as the HMM used for position recognition on the local area.
  • the HMM associated with the cluster including the current position obtained by the GPS module or PHS module is the Home HMM, and as indicated by the tip of the white arrow, the Home HMM From the three HMMs, Gotanda HMM and Office HMM, the Home HMM is now selected as the HMM used for position recognition on the oral area!
  • each state of the Home HMM corresponds to images 1 to N.
  • images 1 to 5 are “living”
  • images 6 to 10 are “entrances”
  • images 11 to 15 are “bedrooms”
  • images 16 to 20 are “corridors”, and so on.
  • the name is set.
  • the Home HMM was captured in the “living room”, “entrance”, “bedroom”, and “corridor” during the location model construction phase. This is an HMM created from the created images.
  • the name of the place such as “living room” is set by the user who viewed the captured image, for example, during the position recognition model construction phase.
  • the Home HMM in FIG. 3 is the same as the Home HMM in FIG. 2, and is an image sequence force V composed of four images 301 to 304 above it, and a captured image sequence for recognition.
  • the images 301 to 304 have been taken now, Homes in the same sequence as the sequence of the images 301 to 304 (in fact, the time series of the feature values of the images 301 to 304 are described later).
  • Name power set in the HMM image string The name of the current location in the user's local area.
  • the image sequence for recognition is composed of four images 301 to 304, for example, four images are selected from the top of the Home HMM, and the four images of the selected HMM are arranged. And matching with a sequence of images for recognition.
  • the alignment of the images 1 to 4 of the Home HMM and the images 301 to 304, which are recognition images, are matched, and then the Home selected by shifting only one image is selected.
  • the HMM images 2 to 5 are matched with the images 301 to 304 which are recognition images.
  • Home HMM images to be matched with images 301 to 304 are selected sequentially shifted one by one, and the selected Home HMM image and images 30 1 to 304 that are images for recognition are selected. Matching is performed.
  • the Home HMM image determined to have the same degree of matching with the arrangement of the images 301 to 304, which are recognition images, by matching, and the same arrangement as the arrangement of the images 301 to 304, for example, In the case of 1 to 4, the current position of the user on the local area is recognized as “Living” with the name set in the images 1 to 4 as shown by the tip of the white arrow in FIG. It will be.
  • the Office HMM in FIG. 1 is selected from the latitude and longitude information by the GPS module or PHS module, and the selected Office HMM is selected. Based on the matching result between the predetermined image sequence selected from the image sequence and the recognition image sequence captured by the camera, it is recognized that the user is in the conference room.
  • the mobile terminal Uses the GPS module or PHS module to recognize the upper position, the HMM selected as a result of the position recognition, and the captured image sequence. In other words, hierarchical position recognition is performed.
  • the current position can be identified only inside the portable terminal that does not need to present the name of the recognized current position to the user! /, This name setting is not necessary. That is, inside the mobile terminal, each position is identified by predetermined identification information, and processing corresponding to the identified position is performed.
  • the position recognition cannot be performed in a place where the user has not visited in the past.
  • the position between users who have portable terminals having similar functions is Let the recognition model be shared.
  • FIG. 4 is a diagram illustrating sharing of the position recognition model.
  • user A in FIG. 4 moves around “Shinagawa Station S premises” and its vicinity with a portable terminal.
  • the user A's mobile terminal recognizes the location of “Shinagawa Station S premises” as described above.
  • a model HMM in Shinagawa Station is created.
  • the created Shinagawa Station HMM is networked with the latitude and longitude information of Shinagawa Station S acquired by the GPS module and PHS module.
  • User A's mobile device is uploaded to a specified server on the network, and the latitude and longitude information is uploaded.
  • Information is registered in association with the place name, facility name, etc. as a keyword. Note that positioning with the GPS module or PHS module has an error of several meters to several tens of meters, so it is desirable to register latitude and longitude information with a certain range as shown.
  • the latitude and longitude information associated with each of the Shinagawa station HMM, Gotanda station HMM, and Shibuya station HMM is given a range of 2 seconds from the reference position. Registered on the server.
  • the Shinagawa station premises HMM is shared with other mobile terminal users who have accessed the server.
  • the mobile terminal of user B who first visited Shinagawa Station S stores the HMM in Shinagawa Station.
  • the latitude and longitude information (the latitude and longitude information of Shinagawa Station S) obtained by inputting "Shinagawa Station” as a search keyword or by the GPS module or PHS module on the mobile terminal of User B. ) Is sent to the server.
  • the Shinagawa station HMM registered by the band terminal is downloaded from Sano.
  • user B's mobile terminal can also recognize the location of Shinagawa Station S.
  • the location recognition model may be downloaded to the mobile terminal of user B by user B manually sending a request for the location recognition model to the server! It may be done automatically depending on the terminal position and time transition.
  • a new position recognition model is required to navigate user B from Shinj11 station.
  • User B's mobile terminal that has acquired the HMM in 11 stations is within the latitude and longitude range registered in association with the HMM in Shinagawa station, that is, 139 degrees 44 minutes 30 seconds ⁇ 2 seconds east, north latitude 35 degrees 3 7 minutes 30 seconds If you are within the range of 2 seconds, continue to recognize the location using the HMM in the Shinagawa station. However, if user B goes out of this range, that is, if it exceeds the recognizable range by the HMM within the Shinagawa station premises that holds the current position force measured using the GPS module or PHS module, the position is no longer recognized. I can't. Therefore, user B's mobile terminal sends the latitude and longitude information of the current position to the server, and a new HMM Download. This series of processing is repeated as appropriate until user B reaches the destination.
  • the latitude and longitude information is transmitted to the server at a predetermined time interval without comparing the held HMM with the measured latitude and longitude information, and the HMM download is repeated. .
  • uploading of the position recognition model created in the mobile terminal of user A to the server may be automatically performed in response to a request from a user who does not have the position recognition model as described below.
  • a server that has received a request for an HMM in Shinagawa Station from a mobile terminal of user B sends an HMM request associated with latitude and longitude information of the mobile terminal of user B to a plurality of terminals on the network. Forward.
  • the receiving terminal searches for the HMM using the latitude and longitude information as a clue, and the user A's mobile terminal holding the requested HMM sends the Shinagawa station HMM to the server.
  • the server that acquired the Shinagawa station HMM from user A registers the HMM and latitude / longitude information in association with each other and transmits the Shinagawa station HMM to the mobile terminal of user B.
  • the server can immediately acquire the position recognition model in response to a user request without waiting for the position recognition model to be manually uploaded.
  • FIG. 5 is a block diagram illustrating a hardware configuration example of the mobile terminal 1 that performs hierarchical position recognition.
  • the mobile terminal 1 is formed of, for example, a casing having a hexagonal cross section.
  • the size of the housing is such that the user can hold it with one hand.
  • the information processing unit 11 that controls the entire portable terminal 1 includes, for example, a GPS module 12,
  • the information processing unit 11 includes a CPU (Central Processing Unit), a ROM (Read Only Memory),
  • RAM Random Access Memory
  • the GPS module 12 receives the transmitted information of the captured satellite force and outputs it to the information processing unit 11.
  • the PHS module 13 receives information transmitted from the communicating base station and outputs it to the information processing unit 11.
  • the wireless LAN module 14 is connected to an external network through an access point installed in the vicinity, and uploads a position recognition model to a server on the network (the server in FIG. 4), or positions from the server. Download recognition models.
  • the camera 15 outputs the captured image sequence to the information processing unit 11.
  • the camera 15 may be provided in the portable terminal 1 so that the lens appears on the surface, and even if the portable terminal 1 is placed in a bag or pocket by the user, May be provided as a separate casing from the casing of the mobile terminal 1.
  • the lens of the camera 15 may be a wide-angle lens or a fish-eye lens as will be described later.
  • FIG. 6 is a block diagram illustrating a functional configuration example of the information processing unit 11 in FIG.
  • each functional unit in FIG. 6 is realized by a predetermined program being executed by the CPU of the information processing unit 11.
  • the positioning control unit 31 controls the GPS module 12 and the PHS module 13, and acquires latitude and longitude information on the global area based on the information supplied by the positioning device power.
  • the latitude / longitude information obtained by the positioning control unit 31 is output to the registration management unit 32 when the phase at that time is the position recognition model configuration phase, and the position recognition unit 35 when the phase is the position recognition phase. Is output.
  • the registration management unit 32 creates an HMM that is a position recognition model based on the image sequence supplied from the imaging control unit 34, and the generated HMM and the latitude supplied from the positioning control unit 31.
  • the cluster information obtained by clustering the longitude and longitude information is associated and stored in the position recognition model DB (Data Base) 33.
  • the registration management unit 32 also outputs the HMM and cluster information to the communication control unit 36.
  • the position recognition model DB 33 stores the HMM created by the registration management unit 32.
  • the stored HMM is appropriately read out by the position recognition unit 35 and used for position recognition.
  • the imaging control unit 34 controls imaging by the camera 15, and when the phase at that time is the position recognition model configuration phase, outputs the obtained image sequence to the registration management unit 32, and the position recognition phase. Is output to the position recognition unit 35.
  • the matching performed by the mobile terminal 1 is, for example, a feature of an image sequence for recognition and an image sequence selected from images corresponding to each state of the HMM. This is done by looking at the time series of quantity (time change). In this way, since only the temporal change is seen, a high resolution is not required for the image for recognition and the image for creating the HMM, and the image is captured by the camera 15 and obtained by the imaging control unit 34.
  • the image may be converted into an image with a resolution of 32 ⁇ 24 (horizontal ⁇ vertical) pixels and output to the registration management unit 32 and the position recognition unit 35.
  • the lens of the camera 15 is a fisheye lens.
  • a wider angle lens is used.
  • shooting with a lens with a wide angle of view is more effective when the camera 15 changes its orientation than shooting with a lens with a narrow angle of view.
  • the change in value can be suppressed, and this can improve the determination accuracy.
  • FIGS. 1 to 4 described above a circle is drawn in the picture of the image of one frame, and the force that the picture of the landscape that is the subject is drawn in the circle. The picture was taken with a lens with a wide angle of view, and this shows that the scenery is distorted.
  • the position recognition unit 35 recognizes the position of the HMM associated with the cluster including the current position based on the latitude and longitude information supplied from the positioning control unit 31.
  • Model Read from DB33, read HMM and image supplied from shooting controller 34 The current position on the local area is recognized based on the image sequence.
  • Information on the current position on the local area recognized by the position recognition unit 35 is provided, for example, to an application that performs processing for presenting predetermined information according to the current position.
  • the position recognition unit 35 since the position recognition unit 35 is a place where the user has visited for the first time, the HMM associated with the cluster including the current position is stored in the position recognition model DB 33! In this case, the latitude and longitude information is output to the communication control unit 36, and the server HMM of the cluster including the current position is also downloaded. In the same manner as when the HMM is acquired from the position recognition model DB33, the position recognition unit 35 recognizes the current position on the local area based on the HMM acquired from the server.
  • the communication control unit 36 controls the wireless LAN module 14, and uploads the HMM and cluster information supplied from the registration management unit 32 to the server. Further, the communication control unit 36 downloads the HMM associated with the cluster including the current position represented by the latitude / longitude information based on the latitude / longitude information supplied from the position recognition unit 35. It is output to the position recognition unit 35.
  • FIG. 7 is a block diagram illustrating a detailed functional configuration example of the registration management unit 32 in FIG.
  • the registration management unit 32 includes, for example, a clustering unit 51, a registration unit 52, and a model creation unit 53.
  • the clustering unit 51 performs clustering of the current position represented by the latitude and longitude information supplied from the positioning control unit 31, and outputs information on the cluster to which the current position belongs to the registration unit 52.
  • the cluster information supplied to the registration unit 52 includes information on a position serving as a reference for a cluster having a predetermined range, information on the range, and the like.
  • the registration unit 52 associates and stores the cluster information supplied from the clustering unit 51 and the HMM supplied from the model creation unit 53 in the position recognition model DB 33 and also stores the information. Is transmitted from the communication control unit 36 to a server on the network.
  • the model creation unit 53 creates an HMM based on the image sequence supplied from the imaging control unit 34 and outputs the created HMM to the registration unit 52. If an HMM has already been created for a certain cluster, the model creation unit 53 learns (updates) the HMM based on the image sequence supplied from the imaging control unit 34. The HMM of the learning result is The data is supplied to and stored in the position recognition model DB33 via the recording unit 52.
  • the model creation unit 53 omits images considered unnecessary for HMM creation from the image sequence captured by the camera 15 during the position recognition model construction phase, and removes the HMM from images considered unnecessary. create.
  • the model creation unit 53 compares the image Z acquired this time with the image X selected last as not unnecessary, based on the following equation (1), and If the dissimilarity or time interval between the two images has a difference greater than a predetermined threshold, the image Z acquired this time is selected as the image for recognition.
  • D is the maximum value of D (x, Z).
  • Function D is defined by equation (3) below
  • ⁇ is a factor for adjusting the adaptation speed. Predetermined values are set for these ⁇ and ⁇ . Furthermore, t is the time when image X was acquired, and t is the time when image Z was acquired
  • FIG. 8 is a diagram showing an example of an HMM created by the model creation unit 53. As shown in FIG.
  • an HMM is created in which N images selected during the position recognition model configuration phase and selected as V, which are not required, correspond to each state.
  • the model used in the mobile terminal 1 uses, for example, an expected value maximization method (Expectation-Maximization) from partially labeled data.
  • Each state of the HMM that does not consist of the estimated parameters is directly associated with each image obtained during the position recognition model construction phase.
  • transition parameter a predetermined value is set as shown in the lower part of FIG.
  • the vertical axis is the transition probability
  • the horizontal axis is the temporal distance between images (between states). For example, as shown in FIG. 8, as the distance increases, a value calculated based on a Gaussian distribution that approaches the transition probability power ⁇ is set. As a result, the processing load that does not require the optimization processing of transition parameters can be reduced.
  • FIGS. 9 to 11 are diagrams showing clustering and HMM creation by the registration management unit 32 having the above configuration. Note that the global areas shown in Figs. 9 to 11 show the force above the bird's eye view shown in Fig. 1.
  • the clustering unit 51 performs clustering on the plot as shown in Fig. 9 using a predetermined method, and the Home cluster around the position P as shown by the dotted circle in Fig. 10.
  • Information such as 1 2 3 is output to the registration unit 52 as information of each cluster.
  • the model creation unit 53 has described the HMM used when performing position recognition in each cluster generated by the clustering unit 51 based on the image sequence photographed at the position of each plot in FIG.
  • the created HMM is output to the registration unit 52.
  • the registration unit 52 registers the cluster information generated by the clustering unit 51 and the HMM used in each cluster created by the model creation unit 53 in association with the position recognition model DB 33. If the name of the cluster (name of the shooting location) or the name of the HMM image is set by the user, the name is also included in the cluster information.
  • the Home cluster is associated with the Home cluster created for the image cluster force captured at the position of the plot included in the Home cluster. Is associated with the Department Store HMM in which the image train force captured at the position of the plot included is also created. For Office clusters, Office HMMs created from image sequences taken at the plot positions included are associated.
  • FIG. 12 is a block diagram illustrating a detailed functional configuration example of the position recognition unit 35 in FIG.
  • the position recognition unit 35 includes, for example, a reliability determination unit 61, a model acquisition unit 62, a recognition unit 63, and a recognition result acquisition unit 64.
  • the reliability determination unit 61 determines the reliability of the positioning result by the GPS module 12 or the PHS module 13 based on the information supplied from the positioning control unit 31, and determines the more reliable one.
  • the positioning result (latitude and longitude information) is output to the model acquisition unit 62.
  • the positioning control unit 31 supplies information such as the number of satellites captured by the GPS module 12, information on the radio wave condition of the base station received by the PHS module 13, and the like. Therefore, the reliability determination unit 61 determines the reliability of the positioning result based on such information.
  • the reliability determination unit 61 also determines the reliability of the positioning result on the global area estimated by the recognition unit 63 based on the captured image sequence. For example, the positioning result power estimated by the recognition unit 63 based on the captured image sequence! GPS module 12 or PHS module If the positioning result by the control unit 13 is more reliable, the positioning result by the recognition unit 63 is output to the model acquisition unit 62 as the current position.
  • FIG. 13 is a diagram showing an example of selecting a positioning result based on the reliability.
  • This hierarchical position recognition engine is an engine that performs the above-described hierarchical position recognition by the model acquisition unit 62, the recognition unit 63, and the like in FIG.
  • the model acquisition unit 62 recognizes the position of the HMM associated with the cluster including the current position represented by the latitude and longitude information supplied from the reliability determination unit 61. Read (obtain) from model DB33. For example, in Fig. 11, when the current position on the global area is recognized as being within the Home cluster based on the latitude and longitude information obtained by the GPS module 12, the Home HMM associated with the Home cluster is located. Read from recognition model DB33.
  • the model acquisition unit 62 is supplied with the latitude / longitude supplied from the reliability determination unit 61.
  • the information is output to the communication control unit 36, and the cluster HMM including the current position is downloaded from the server.
  • the HMM downloaded from Sano by the communication control unit 36 is acquired by the model acquisition unit 62.
  • the HMM acquired by the model acquisition unit 62 as described above is output to the recognition unit 63.
  • the reliability Information on the current position supplied from the judgment unit 61 position information measured by the GPS module 12 or PHS module 13
  • information on the current position directly recognized by the recognition unit 63 from the captured image sequence It is supplied to the recognition result acquisition unit 64 as it is and is adopted as the current position.
  • the recognition unit 63 recognizes the current position on the local area based on the HMM supplied from the model acquisition unit 62 and the image sequence supplied from the imaging control unit 34. The result is output to the recognition result acquisition unit 64.
  • FIG. 14 is a diagram showing a detailed functional configuration example of the recognition unit 63 in FIG.
  • the recognition unit 63 includes an image selection unit 71, a feature vector calculation unit 72, a feature vector storage unit 73, and a matching processing unit 74.
  • the image selection unit 71 omits images considered unnecessary from the images supplied from the imaging control unit 34 in the position recognition phase, and selects an image used for position recognition on the local area.
  • the image selection by the image selection unit 71 is performed by the same algorithm as the image selection algorithm by the model creation unit 53, for example.
  • the image selected by the image selection unit 71 is output to the feature vector calculation unit 72.
  • the feature vector calculation unit 72 calculates a feature vector (feature amount) representing the feature of the image supplied from the image selection unit 71, and stores the calculated feature vector in the feature vector storage unit 73.
  • a feature vector whose elements are the respective distances obtained in (1) is acquired.
  • a high-dimensional feature vector expressed by the following equation (2) is obtained.
  • D (x, y) may be any other function as long as it can express the difference between the two images x and y expressed by the following equation (3), for example. it can.
  • HW is the maximum value in the height direction and width direction of the sensor number (CCD pixels provided in the camera 15). 1 represents the pixel position of the image, c represents the color channel number (usually 1, 2, and 3 represent red, green, and blue, respectively).
  • the feature vector storage unit 73 is configured by, for example, a circular buffer, and stores a predetermined number of feature vectors in the order supplied from the feature vector calculation unit 72.
  • the order of the feature vectors stored in the feature vector storage unit 73 corresponds to the temporal order in which the recognition images are taken.
  • the content stored in the feature vector storage unit 73 is a sequence of feature vectors arranged in time series, and when the latest feature vector is “present”, the current vector is reached. It represents the transition of the situation over time. In this way, the transition of the situation up to the “present” represented by a predetermined number of feature vectors is matched with the transition of the “past” situation represented by the image corresponding to each state of the HMM.
  • the matching processing unit 74 performs a Viterbi time series match by the HMM supplied from the model acquisition unit 62 and is stored in the feature vector storage unit 73, and the HMM state ( The degree of matching with the feature vector time series obtained from the image representing the state is calculated.
  • the Viterbi time series match (Viterbi algorithm) performed by the matching processing unit 74 will be described.
  • s represents the state corresponding to the i-th image X
  • s * represents the optimized state
  • the Viterbi algorithm stores an image represented as a matrix ⁇ ⁇ of feature vectors stored in the feature vector storage unit 73 and the state of ⁇ supplied from the model acquisition unit 62.
  • the optimum state sequence that matches the images to be represented is determined, and is obtained as the degree of matching between the probability power images obtained along the optimum state sequence.
  • the sequences ⁇ S1, S1, S2, S3, S3, S2, S3, S4, S4 ⁇ indicated by the thick arrows are determined as the optimum state sequences.
  • the degree of match is obtained by the Viterbi time-series match, but naturally, the degree of match can be obtained by other methods.
  • the details of the Viterbi time series match as described above are further disclosed in Japanese Patent Application No. 2004-191308 by the present applicant.
  • the recognition unit 63 recognizes the current position on the global area based on the image sequence supplied from the imaging control unit 34, if necessary.
  • the recognition result is output to the reliability determination unit 61.
  • an HMM or the like stored in the position recognition model DB33 is used as appropriate.
  • the recognition result acquisition unit 64 acquires information on the current position on the local area supplied from the recognition unit 63 and information on the current position on the global area supplied from the model acquisition unit 62.
  • the acquired information is provided to a predetermined application. Based on information on the current position on the local area provided by the recognition result acquisition unit 6 4 Information is provided accordingly.
  • step S1 the imaging control unit 34 of the information processing unit 11 performs imaging with the camera 15, and outputs the obtained image sequence to the model creation unit 53 of the registration management unit 32.
  • Shooting is performed continuously at a rate of 15 frames per second, for example.
  • This shooting may be repeated until an instruction from the user is given, or the shooting was performed only at a place and the user moved to a place where the shooting has been performed. Sometimes, let ’s stop shooting.
  • the determination of whether the current position has been taken, the power that is the place, and the place that has been taken is stored in the position recognition model DB33, for example, by the positioning result by the GPS module 12 or the PHS module 13. This is based on the information that is present. Basically, this shooting and the processing after step S2 are performed in parallel.
  • step S2 the positioning control unit 31 controls the GPS module 12 and the PHS module 13, and recognizes the current position on the global area based on the information supplied with the positioning device power.
  • the latitude and longitude information obtained by the positioning control unit 31 is output to the clustering unit 51 of the registration management unit 32.
  • step S3 the clustering unit 51 performs clustering of the current position represented by the latitude / longitude information supplied from the positioning control unit 31, and outputs the cluster information including the current position to the registration unit 52. To do.
  • step S 4 the model creation unit 53 creates an HMM based on the image sequence supplied from the imaging control unit 34, and outputs the created HMM to the registration unit 52.
  • a predetermined image is selected from the images supplied from the imaging control unit 34, and the selected image is made to correspond to each state.
  • the HMM may be created at a predetermined timing later.
  • a predetermined memory such as the position recognition model DB33 is obtained by associating the captured image sequence with information on the shooting position. Will be stored in the department.
  • step S5 the registration unit 52 registers names such as clusters as necessary.
  • the registration unit 52 displays an image just taken on a display unit (not shown) provided in the mobile terminal 1 and sets a name for the scenery.
  • step S6 the registration unit 52 associates the cluster information supplied from the clustering unit 51 with the HMM supplied from the model creation unit 53, and associates the position recognition model.
  • step S7 the registration unit 52 uploads the cluster information and the HMM to the communication control unit 36 server.
  • the HMM is associated with the cluster and stored in the position recognition model DB33.
  • the HMM is shared on the server.
  • step S21 the imaging control unit 34 of the information processing unit 11 performs imaging using the camera 15, and outputs the obtained image sequence to the recognition unit 63 of the position recognition unit 35.
  • the photographing here is repeated until, for example, an image having the number of frames that can recognize the current position is obtained.
  • step S22 the positioning control unit 31 controls the GPS module 12 and the PHS module 13, and recognizes the current position on the global area based on the information supplied by the positioning device power. .
  • the latitude / longitude information obtained by the positioning control unit 31 is output to the reliability determination unit 61 of the position recognition unit 35.
  • step S23 the reliability determination unit 61 calculates the reliability of the positioning result by the GPS module 12 based on the status of the radio wave received from the satellite received by the GPS module 12, and the calculated reliability is It is determined whether or not it is a predetermined threshold value or more.
  • step S23 when the reliability determination unit 61 determines that the reliability of the positioning result by the GPS module 12 is equal to or greater than the threshold, the latitude / longitude information of the positioning result by the GPS module 12 is output to the model acquisition unit 62. Then go to step S24.
  • the model acquisition unit 62 has been supplied from the reliability determination unit 61 in step S24.
  • a cluster including the current position represented by latitude and longitude information is searched for the position recognition model DB33.
  • step S25 when the model acquisition unit 62 determines that there is a cluster including the current position, the model acquisition unit 62 proceeds to step S26, and acquires the HMM stored in association with the cluster from the position recognition model DB33. .
  • the HMM acquired by the model acquisition unit 62 is output to the recognition unit 63.
  • step S27 the recognition unit 63 performs recognition processing.
  • the recognition processing by the recognition unit 63 will be described with reference to the flowchart of FIG.
  • the recognition result by the recognition unit 63 is output to the recognition result acquisition unit 64.
  • step S28 the recognition result acquisition unit 64 acquires information on the current position on the oral area, which is the recognition result of the recognition unit 63, and provides the information to a predetermined application or the like to end the process.
  • step S23 when the reliability determination unit 61 determines that the reliability of the positioning result by the GPS module 12 is less than the threshold, the process proceeds to step S29, and then receives radio waves from the base station. Based on the situation, etc., it is judged whether the reliability of the positioning result by the PHS module 13 is a predetermined threshold or more.
  • step S29 when the reliability determination unit 61 determines that the reliability of the positioning result of the PHS module 13 is equal to or greater than the threshold, the latitude / longitude information of the positioning result of the PHS module 13 is output to the model acquisition unit 62. Then, go to step S30.
  • step S30 the model acquisition unit 62 searches for a cluster including the current position represented by the latitude and longitude information supplied from the reliability determination unit 61 using the position recognition model DB33 as a target, and proceeds to step S25. Proceed and perform subsequent processing.
  • the HMM associated therewith is read from the position recognition model DB33, and the read HMM is used to create a local area.
  • the current position above is recognized.
  • step S31 the recognition process is performed by the recognition unit 63 as in step S27. sand That is, in this case, the current position on the global area or the local area is directly recognized from the captured image sequence.
  • step S32 the reliability determination unit 61 determines whether or not the reliability of the current position directly recognized by the recognition unit 63 from the photographed image sequence is greater than or equal to the threshold value. If it is determined that there is, the process proceeds to step S28. In step S28, information on the current position directly recognized from the photographed image sequence is acquired by the recognition result acquisition unit 64, and the process ends.
  • step S32 If the recognizing unit 63 determines in step S32 that the reliability of the current position directly recognized from the captured image sequence is less than the threshold value, the recognizing unit 63 proceeds to step S33.
  • step S33 a predetermined error process is performed on the assumption that the current position cannot be recognized, and the process ends. For example, if a place you visit for the first time is in a suburb where reception of radio waves from PHS base stations is poor and in a building where reception of radio waves from satellites is also poor, error handling will be performed. become.
  • step S25 the model acquisition unit 62 stores the current position of the positioning result by the GPS module 12 or the cluster including the current position of the positioning result by the PHS module 13 in the position recognition model DB33. If it is determined that the latitude / longitude information indicating the current position is output to the communication control unit 36, the process proceeds to step S34 (FIG. 18).
  • step S34 the communication control unit 36 transmits the latitude / longitude information supplied from the model acquisition unit 62 to the server via the network.
  • step S35 the communication control unit 36 determines whether or not the cluster information including the current position represented by the transmitted latitude and longitude information is registered in the server, and is registered. If it is determined that there is not, the process proceeds to step S36. In this case, the positioning result by the GPS module 12 or the positioning result by the PHS module 13 is supplied from the model acquisition unit 62 to the recognition result acquisition unit 64 and acquired as the recognition result of the current position. Thereafter, the process is terminated.
  • step S35 If the communication control unit 36 determines in step S35 that the cluster information including the current position is registered in the server, the communication control unit 36 proceeds to step S37 and selects the HMM registered in association with the cluster. to download. Downloaded by communication controller 36 The HMM is output to the recognition unit 63 via the model acquisition unit 62.
  • the recognition unit 63 performs recognition processing in step S38, as in step S27.
  • the HMM used in the recognition process here is also downloaded server power.
  • the recognition result obtained by the recognition unit 63 is acquired by the recognition result acquisition unit 64, and the process ends.
  • step S61 the image selection unit 71 (Fig. 14) of the recognition unit 63 selects an image used for position recognition on the local area from the images supplied from the imaging control unit 34, and so on.
  • the image sequence for recognition having the selected image power is output to the feature vector calculation unit 72.
  • step S62 the feature vector calculation unit 72 calculates a feature vector representing the feature of the image supplied from the image selection unit 71, and stores the calculated feature vector in the feature margin storage unit 73.
  • the feature vector storage unit 73 stores a time series of feature vectors.
  • step S63 the matching processing unit 74 performs Viterbi time-series matching using the HMM supplied from the model acquisition unit 62, and the time series of feature vectors stored in the feature vector storage unit 73, The degree of matching with the state of the HMM (time series of feature vectors obtained from the image representing the state) is calculated.
  • step S64 the matching processing unit 74 recognizes the identification information and name set in the image string of the HMM with the highest matching degree based on the result of the matching degree recognition of the current position in the local area. As a result, the result is output to the recognition result acquisition unit 64. Thereafter, the processing returns to steps S27 and S31 in FIG. 17 or step S38 in FIG. 18, and the subsequent processing is performed.
  • the mobile terminal 1 can be used in the following scenario.
  • the user can remember to purchase clothes at the clothes store A.
  • the memo entered by the user is stored as a file in the system of the mobile terminal 1 together with information for identifying the location of the clothes store A.
  • the mobile terminal 1 can be used in the following scenario.
  • latitude and longitude information is regularly acquired by the GPS module 12 or PHS module 13.
  • GPS module 12 Since it becomes difficult for module 12 to receive radio waves of satellite power (because it becomes impossible to capture navigation messages), GPS module 12 notifies mobile terminal 1's system (information processing unit 11) that the reliability has dropped.
  • the system of the mobile terminal 1 compares the reliability of the GPS module 12 with the reliability of the PHS module 13.
  • PHS for example, Shinagawa Station S
  • the output from the PHS module 13 is used as a positioning result in the global area where reliability is high.
  • the system of mobile terminal 1 uses the latitude and longitude information, which is the positioning result by PHS module 13, to search the cluster including Shinagawa Station S from position recognition model DB33, but the user
  • the system of mobile terminal 1 sends an HMM request to a server on the network (sends latitude / longitude information recognized by PHS module 13), and other users' mobile terminals create the server. If an HMM is present, it is downloaded and used for position recognition within the Shinagawa Station S premises. [0202] As a result, the user is directed toward the west exit of Shinagawa Station S.
  • the HMM is an HMM parameter or feature vector in the case of the above-described position recognition engine, and cannot be restored as a photo or video later. It is not possible to extract personal information (such as where to go and what power to buy) from it. Therefore, as long as HMM transmission / reception is performed, the risk of sharing data is very low from the viewpoint of privacy protection. In addition, since the data size is from several tens of kilobytes to several megabytes, data transfer can be performed easily.
  • the mobile terminal 1 can be used in the following scenario.
  • the mobile terminal 1 of this user does not have a position recognition model of Hakuba Station. Therefore, this user requested the server to send an HMM, which is a Hakuba station location recognition model, and the HMM of the Hakuba station was not yet registered in the server.
  • the user's mobile terminal 1 performs broadcast communication using a wireless communication means such as a wireless LAN, and requests HMM at Hakuba Station to multiple terminals on the network. Send.
  • a wireless communication means such as a wireless LAN
  • the mobile terminal 2 The HMM of Hakuba station is searched from the recognition model held by the mobile terminal 2 based on the location information of the Hakuba station transmitted together with the request from the mobile terminal 1.
  • a response to the effect that the HMM of Hakuba Station is owned is sent to the mobile terminal 1.
  • the mobile terminal 1 receives the response from the mobile terminal 2, the mobile terminal 1 connects to the mobile terminal 2 in the ad hoc mode, and downloads the HMM of Hakuba Station from the mobile terminal 2.
  • the position recognition model is shared by the so-called Peer to Peer method, that is, the position is directly between individuals. It is possible to exchange recognition models.
  • the position recognition model is shared by the so-called Peer to Peer method, that is, the position is directly between individuals. It is possible to exchange recognition models.
  • a new HMM is required to navigate the user from Hakuba Station. If the mobile terminal 1 of the user who has already obtained the HMM of Hakuba Station is within the latitude and longitude range registered in association with the Hakuba Station HMM, it will continue to recognize the position using the Hakuba Station HMM. However, if the user is out of range, that is, if the current position measured using the GPS module or PHS module exceeds the recognizable range of the Hakuba Station HMM that he / she holds, position recognition will no longer occur. I can't do it. Therefore, the user's mobile terminal 1 sends latitude / longitude information of the current position to surrounding terminals, and requests a new HMM. This series of processing is repeated as appropriate until the user reaches the destination.
  • the shape of the mobile terminal 1 is a force that assumes that the cross section has a hexagonal shape as shown in FIG.
  • FIGS. 20A to 20D and FIGS. 21A to 21D are diagrams showing other examples of the shape of the mobile terminal 1.
  • FIG. 20A to 20D and FIGS. 21A to 21D are diagrams showing other examples of the shape of the mobile terminal 1.
  • the portable terminal 1 may be a notebook personal computer.
  • the camera 15 is provided at a position where the personal computer is at the upper end when the personal computer is opened as shown in FIG. 20A, or at a hinge portion as shown in FIG. 20B.
  • Fig. 20C shows a portable terminal 1 shaped like a small video camera
  • Fig. 20D shows a portable terminal 1 having a shape that can be attached to clothes, such as a nodge. .
  • FIG. 21A shows a neck strap type portable terminal 1
  • FIG. 21B shows a balloon type portable terminal 1.
  • the balloon-type mobile terminal 1 is realized by being incorporated in a balloon-like object, for example.
  • FIG. 21C shows a belt-like mobile terminal 1 that is used while being slanted on the shoulder like a shoulder bag
  • FIG. 21D shows a headset-type mobile terminal 1.
  • the mobile terminal 1 can have various shapes.
  • the power for performing position recognition based on HMM can be applied to the case of position recognition based on other algorithms.
  • a neural network for example, a perceptron, an SVM (Support Vector Machine), or the like can be used as a position recognition model.
  • the positioning device built in the portable terminal 1 together with the GPS is PHS.
  • base stations are installed every several hundred meters, and transmitted from those base stations. Any device having a function capable of performing positioning based on information may be used.
  • the hierarchical position recognition is a force that is used to present predetermined information to the user.
  • This position recognition is not limited to this purpose.
  • It may be used for a navigation system mounted on a passenger car or the like.
  • VICS Vehicles
  • the position recognition model may be acquired automatically when the vehicle reaches the beacon reception area installed at a predetermined position on the road! /, FM sound It may be possible to receive the position recognition model that is multiplexed and transmitted on the broadcast wave of the broadcast station at predetermined time intervals.
  • the HMM is associated with the cluster, and the HMM associated with the cluster selected based on the positioning result by the GPS module 12 or the PHS module 13 is used for position recognition in the local area.
  • Forced GPS module 12 and The HMM may be directly associated with the latitude and longitude that are the positioning results in the position recognition model construction phase by the PHS module 13.
  • the HMM that is closest to the current position obtained by positioning by the GPS module 12 or the like and is associated with the latitude and longitude is selected, and this is used for position recognition on the local area. Used.
  • the creation of the HMM and the oral area may have a low resolution. Therefore, instead of an image sensor such as a CCD, an optical sensor array having a plurality of optical sensor forces is used. It may be provided in the camera 15.
  • an image sensor such as a CCD
  • the “image” taken by the camera 15 includes not only the optical information obtained by the CCD but also the optical information obtained by the respective optical sensors.
  • the above-described series of processing can be executed by force software that can be executed by hardware.
  • the device for executing the software is constituted by, for example, a personal computer as shown in FIG.
  • the CPU 101 executes various processes according to a program stored in the ROM 102 or a program loaded from the storage unit 108 to the RAM 103.
  • the RAM 103 also appropriately stores data necessary for the CPU 101 to execute various processes.
  • the CPU 101, the ROM 102, and the RAM 103 are connected to each other via the bus 104.
  • An input / output interface 105 is also connected to the bus 104.
  • the input / output interface 105 includes an input unit 106 including a keyboard and a mouse,
  • LCD Liquid Crystal Display
  • speaker output unit 107 speaker output unit 107
  • hard disk storage unit 108 communication via network
  • communication unit 109 that performs processing is connected.
  • a drive 110 is connected to the input / output interface 105 as necessary, and a removable medium 111 composed of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately mounted and read out therefrom. Installed in the storage unit 108 as needed.
  • this recording medium is a magnetic disk (including a flexible disk) on which the program is recorded, which is distributed to provide the program to the user separately from the main body of the apparatus.
  • Optical disks including compact disk-read only memory (CD-ROM), DVD (digital versatile disk)), magneto-optical disks (including MD (registered trademark) (Minto Disk)), or semiconductor memory It is composed of the ROM102 that stores the program and the hard disk that is included in the storage unit 108, which is provided to the user in a state that it is preinstalled in the main body of the device, not just the removable media 111 that is a medium.
  • the ROM102 that stores the program and the hard disk that is included in the storage unit 108, which is provided to the user in a state that it is preinstalled in the main body of the device, not just the removable media 111 that is a medium.
  • each step is executed in parallel or individually even if not necessarily time-sequentially processed, as well as processing that is time-sequentially performed according to the described order. It also includes processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Navigation (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

　本発明は細かい粒度での位置認識を精度よく行うことができるようにする情報処理装置および方法、プログラム、並びに情報処理システムに関する。携帯端末にはGPSモジュールなどの他にカメラが設けられている。位置認識モデル構成フェーズでは、カメラで撮影された画像列から位置認識モデルが作成され、作成された位置認識モデルがGPSモジュールなどにより得られた位置情報と対応付けて記憶される。位置認識フェーズでは、GPSモジュールによりグローバルエリア上の現在位置が認識され、その認識結果から選択される位置認識モデルと、そのとき撮影された画像列に基づいて、ローカルエリア上の現在位置が認識される。本発明は、ノートブック型のパーソナルコンピュータ、PDA、携帯電話機などの携帯型の端末に適用することができる。

Description

情報処理装置および方法、プログラム、並びに情報処理システム 技術分野
[0001] 本発明は、情報処理装置および方法、プログラム、並びに情報処理システムに関し 、特に、細力 、粒度での位置認識を精度よく行うことができるようにする情報処理装 置および方法、プログラム、並びに情報処理システムに関する。
背景技術
[0002] 一般に普及しているインフラ型の位置認識技術には、例えば、 GPS(Global
Positioning System)や PHS(Personal Handyphone System) (登録商標）を用いるものが ある。
[0003] GPSを用いた位置認識は、捕捉した衛星からの情報を利用することにより行われ、 PHSを用いた位置認識は、基地局からの情報を利用することにより行われる。
[0004] これらの位置認識により、 GPSモジュールや PHSモジュールを搭載した携帯型デバ イスは、ユーザの位置 (デバイス自身の位置）を数 m〜数十 m程度の粒度で特定する ことができる。例えば、自宅にいる/学校にいる/会社にいる/ある交差点にいる、とい つた粒度で、ユーザの位置を知ることができる。
[0005] ところで、特許文献 1には、 GPSにより算出された位置情報と、撮影した画像の特徴 情報力 特定された位置情報とを用いることによって現在位置を特定する技術が開 示されている。これにより、単に、 GPSにより取得された位置情報だけを用いる場合や 、撮影した画像の特徴情報カゝら特定された位置情報だけを用いる場合に較べて、位 置認識の精度を高めることができるものである。
特許文献 1：特開平 9 - 190413号公報
発明の開示
発明が解決しょうとする課題
[0006] しカゝしながら、 GPSや PHSを用いた位置認識の場合、位置認識の粒度が数 m〜数 十 m程度であることから、ユーザが自宅にいることまでは認識できても、リビング、キッ チン、ダイニング等の、自宅のどの部屋にいるのかまでは認識することができない。 [0007] 同様に、ユーザが会社にいることまでは認識できても、会社の何階にいるの力、ど の部屋にいるの力、までは認識することができず、また、屋外であれば、ユーザがある 交差点にいることまでは認識できても、交差点を渡る前なのか、渡った後なのか、とい つたことまでは認識することができな 、。
[0008] すなわち、ユーザの現在の状況に近! 、、レベルの細力 、粒度の位置までは特定す ることができな 、と!/、う課題があった。
[0009] 上述した特許文献 1に開示されている技術を用いることによつても、「A事業所の会 議室」などのように細かい位置までを特定することができるが（番号 [0023]、 [0024] 段落）、これは、画像による位置認識結果が、 GPSにより取得された位置情報により重 み付けがされて (総合的に判定されて)得られるものであり（例えば図 8)、画像の特徴 を用いた位置認識力 ^、きなり行われることから、例えば、他の情報を用いておおよそ の現在位置を推測し、それに応じて認識に用いるデータ (機器に用意されるモデル 等)を適応的に変化させて位置認識を行う場合に較べて、位置認識の精度が悪いも のとなるおそれがある。
[0010] 一方、特許文献 1にもあるように、撮影した画像から位置認識を行うためには、ユー ザは、認識用のモデルなどのデータを例えば学習によりデバイスに予め用意しておく 必要がある。従って、位置認識をさせるための前提となる、学習などに要するユーザ の負担が大きぐし力も、ユーザが初めて訪れた場所 (位置)では認識用のデータが デバイスに用意されて 、な 、ことから位置認識ができな 、。
[0011] 本発明はこのような状況に鑑みてなされたものであり、細かい粒度での位置認識を 精度よく行うことができるようにするものである。また、ユーザが初めて訪れたような場 所であっても、撮影した画像列から位置認識を行うことができるよう〖こするものである。 課題を解決するための手段
[0012] 本発明の第 1の情報処理装置は、測位を行う測位手段と、測位手段による測位によ り得られた位置情報に基づ 、て、位置認識を行うための認識用データを取得する取 得手段と、取得手段により取得された認識用データと、所定のセンサからの出力とを 用いて位置認識を行う位置認識手段とを備えることを特徴とする。
[0013] 本発明の第 1の情報処理装置は、センサ力もの出力に基づいて認識用データを作 成する作成手段をさらに備えるようにすることができる。
[0014] 本発明の第 1の情報処理装置は、作成手段により作成された認識用データを、前 記測位手段の測位により得られた位置情報と対応付けて記憶する記憶手段をさらに 備えるようにすることができる。この場合、取得手段は、測位手段による測位により得 られた位置情報に基づ！/、て、認識用データを記憶手段から取得する。
[0015] 本発明の第 1の情報処理装置は、認識用データを他の装置に送信する送信手段 をさらに備えるようにすることができる。
[0016] 本発明の第 1の情報処理装置は、他の装置から位置情報を受信する受信手段と、 位置情報に基づき認識用データを検索する検索手段とをさらに備えるようにすること ができる。この場合、送信手段は、検索手段により検索された認識用データを他の装 置に送信する。
[0017] 取得手段は、測位手段の測位により得られた位置情報に対応する認識用データが 記憶手段により記憶されて 、な 、場合、他の装置力も認識用データを取得するように することができる。
[0018] 取得手段は、所定の時間ごとに認識用データを取得するようにすることができる。
[0019] 測位手段の測位により得られる位置情報は、所定の位置座標で表され、認識用デ ータに対応付けられて記憶手段に記憶される位置情報は、所定の位置座標範囲で 表される場合に、取得手段は、測位手段の測位により得られた位置座標が、所定の 位置座標範囲を超えているとき、他の装置力も認識用データを取得するようにするこ とがでさる。
[0020] 測位手段は、 GPSと PHSを用いた測位を行 、、 GPSを用いて得られる位置と、 PHSを 用いて得られる位置のうち、信頼度の高 、方の位置を測位結果として選択するように することができる。
[0021] センサは、カメラの撮像素子、または複数の光センサ力もなるようにすることができる
[0022] 本発明の第 1の情報処理方法は、測位を行う測位ステップと、測位ステップの処理 による測位により得られた位置情報に基づ 、て、位置認識を行うための認識用デー タを取得する取得ステップと、取得ステップの処理により取得された認識用データと、 所定のセンサからの出力とを用いて位置認識を行う位置認識ステップとを含むことを 特徴とする。
[0023] 本発明の第 1のプログラムは、測位を行う測位ステップと、測位ステップの処理によ る測位により得られた位置情報に基づ ヽて、位置認識を行うための認識用データを 取得する取得ステップと、取得ステップの処理により取得された認識用データと、所 定のセンサからの出力とを用いて位置認識を行う位置認識ステップとを含む処理をコ ンピュータに実行させることを特徴とする。
[0024] 本発明の情報処理システムは、第 1の情報処理装置と第 2の情報処理装置からな る情報処理システムであって、そのうちの第 1の情報処理装置は、測位を行う測位手 段と、測位手段の測位により得られた位置情報を、位置認識を行うための認識用デ ータを位置情報と対応付けて記憶する第 2の情報処理装置に送信する送信手段と、 送信手段により送信された位置情報に基づいて検索され、第 2の情報処理装置から 送信されてきた認識用データを受信する受信手段と、受信手段により受信された認 識用データと、所定のセンサ力 の出力とを用いて位置認識を行う位置認識手段とを 備え、第 2の情報処理装置は、第 1の情報処理装置から送信されてきた位置情報を 受信する受信手段と、受信手段により受信された位置情報に基づいて認識用データ を検索する検索手段と、検索手段により検索された認識用データを第 1の情報処理 装置に送信する送信手段とを備えることを特徴とする。
[0025] 本発明の第 2の情報処理装置は、送信される情報に基づ!/ヽて測位を行う測位手段 と、所定のセンサ力もの出力に基づく位置認識を行うときに用いる認識用データを取 得する取得手段と、取得手段により取得された認識用データを用いて、センサからの 出力に基づく位置認識を行う位置認識手段と、測位手段による測位により得られた 位置と、位置認識手段により認識された位置のそれぞれの信頼度を測定する信頼度 測定手段と、信頼度測定手段により測定された信頼度に応じて、位置を表す情報を 出力する位置出力手段とを備えることを特徴とする。
[0026] 本発明の第 2の情報処理方法は、送信される情報に基づ!/ヽて測位を行う測位ステ ップと、所定のセンサ力もの出力に基づく位置認識を行うときに用いる認識用データ を取得する取得ステップと、取得ステップの処理により取得された認識用データを用 いて、センサ力もの出力に基づく位置認識を行う位置認識ステップと、測位ステップ の処理による測位により得られた位置と、位置認識ステップの処理により認識された 位置のそれぞれの信頼度を測定する信頼度測定ステップと、信頼度測定ステップの 処理により測定された信頼度に応じて、位置を表す情報を出力する位置出カステツ プとを含むことを特徴とする。
[0027] 本発明の第 2のプログラムは、送信される情報に基づ!/ヽて測位を行う測位ステップ と、所定のセンサ力もの出力に基づく位置認識を行うときに用いる認識用データを取 得する取得ステップと、取得ステップの処理により取得された認識用データを用いて 、センサ力もの出力に基づく位置認識を行う位置認識ステップと、測位ステップの処 理による測位により得られた位置と、位置認識ステップの処理により認識された位置 のそれぞれの信頼度を測定する信頼度測定ステップと、信頼度測定ステップの処理 により測定された信頼度に応じて、位置を表す情報を出力する位置出力ステップとを 含む処理をコンピュータに実行させることを特徴とする。
[0028] 本発明の第 1の情報処理装置および方法、並びにプログラムにおいては、測位が 行われ、測位により得られた位置情報に基づいて、位置認識を行うための認識用デ ータが取得される。また、取得された認識用データと、所定のセンサからの出力とを 用いて位置認識が行われる。
[0029] 本発明の情報処理システムにお 、ては、測位が行われ、測位により得られた位置 情報が、位置認識を行うための認識用データを位置情報と対応付けて記憶する第 2 の情報処理装置に送信される。また、送信された位置情報に基づいて検索され、第 2 の情報処理装置から送信されてきた認識用データが受信され、受信された認識用デ ータと、所定のセンサ力もの出力とを用いて位置認識が行われる。さらに、第 1の情 報処理装置力 送信されてきた位置情報が受信され、受信された位置情報に基づ！、 て認識用データが検索され、検索された認識用データが第 1の情報処理装置に送信 される。
[0030] 本発明の第 2の情報処理装置および方法、並びにプログラムにおいては、送信さ れる情報に基づ 、て測位が行われ、所定のセンサからの出力に基づく位置認識を行 うときに用いる認識用データが取得される。認識用データを用いて、センサからの出 力に基づく位置認識が行われ、測位により得られた位置と、認識された位置の信頼 度が測定され、測定された信頼度に応じて、位置を表す情報が出力される。
発明の効果
[0031] 本発明によれば、細か 、粒度での現在位置の認識が可能になる。
[0032] さらに、本発明によれば、ユーザが初めて訪れた場所であっても位置認識が可能 になる。
図面の簡単な説明
[0033] [図 1]本発明を適用した携帯端末を用いて行われる位置認識について示す図である
[図 2]位置認識の具体例にっ 、て示す図である。
[図 3]位置認識の具体例につ 、て示す他の図である。
[図 4]HMMの共有につ!、て示す図である。
[図 5]携帯端末のハードウ ア構成例を示すブロック図である。
[図 6]図 5の情報処理部の機能構成例を示すブロック図である。
[図 7]図 6の登録管理部の詳細な構成例を示すブロック図である。
[図 8]HMMの例を示す図である。
[図 9]クラスタリングと HMMの作成について示す図である。
[図 10]クラスタリングと HMMの作成について示す他の図である。
[図 11]クラスタリングと HMMの作成について示すさらに他の図である。
[図 12]図 6の位置認識部の詳細な構成例を示すブロック図である。
[図 13]信頼度に基づく測位結果の選択について示す図である。
[図 14]図 12の認識部の詳細な機能構成例を示す図である。
[図 15]ビタビアルゴリズムについて示す図である。
[図 16]位置認識モデル構成処理について説明するフローチャートである。
[図 17]位置認識処理について説明するフローチャートである。
[図 18]位置認識処理について説明する、図 17に続くフローチャートである。
[図 19]図 17のステップ S27, S31、および図 18のステップ S38において行われる認 識処理にっ 、て説明するフローチャートである。 [図 20A]携帯端末の形状の例につ 、て示す図である。
[図 20B]携帯端末の形状の他の例につ 、て示す図である。
[図 20C]携帯端末の形状のさらに他の例について示す図である。
[図 20D]携帯端末の形状の他の例につ 、て示す図である。
[図 21 A]携帯端末の形状の例について示す他の図である。
[図 21B]携帯端末の形状の他の例につ 、て示す他の図である。
[図 21C]携帯端末の形状のさらに他の例について示す他の図である。
[図 21D]携帯端末の形状の他の例について示す他の図である。
[図 22]パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
[0034] 1 携帯端末， 11 情報処理部， 12 GPSモジュール， 13 PHSモジュール， 14 無線 LANモジュール， 15 カメラ， 31 測位制御部， 32 登録管理部， 3 3 位置認識モデル DB, 34 撮影制御部， 35 位置認識部， 36 通信制御部， 51 クラスタリング部， 52 登録部， 53 モデル作成部， 61 信頼度判定部， 62 モデル取得部， 63 認識部， 64 認識結果取得部， 71 画像選択部， 72 特徴ベクトル算出部， 73 特徴ベクトル記憶部， 74 マッチング処理部 発明を実施するための最良の形態
[0035] 以下、本発明の実施の形態について図を参照して説明する。
[0036] 図 1は、本発明を適用した携帯端末を用いて行われる位置認識について示す図で ある。
[0037] 携帯端末には、 GPSモジュール、 PHSモジュールなどの測位デバイスの他に、
CCD(Charge Coupled Device)などよりなるカメラが設けられている（後述する図 5)。
[0038] この携帯端末においては、 GPSモジュールや PHSモジュールによりグローバルエリ ァ上のユーザ (携帯端末自身)の現在位置が認識され、その認識結果から選択され る位置認識モデルと、カメラにより撮影された画像列に基づいて、ローカルエリア上の ユーザの現在位置が認識される。図 1の上段はグローバルエリア上での位置認識を 示し、下段はローカルエリア上での位置認識を示して 、る。
[0039] ここで、グローバルエリア上の位置とは、 GPSモジュールや PHSモジュールにより取 得される緯度経度情報により特定される地図上の位置を 、う。 GPSモジュールや PHS モジュールにより取得される緯度経度情報の精度は数 m〜数十 m程度であるから、 GPSモジュールや PHSモジュールによる位置認識だけでは、「〜駅」付近、「自宅」付 近、「オフィス」付近といった、ユーザのおおよその現在位置しか認識することができ ない。
[0040] また、ローカルエリア上の位置とは、「自宅」内のリビング、キッチン、ダイニング、寝 室等の「自宅」内のさらに細かい粒度の位置、同様に、「オフィス」内の何階、どの会 議室、ユーザの机の前等の「オフィス」内のさらに細かい粒度の位置をいう。
[0041] 携帯端末においては、このようなローカルエリア上の細かい粒度の位置までが認識 される。
[0042] 携帯端末による位置認識は、基本的には、位置認識モデル構成フェーズと位置認 識フェーズからなる。位置認識モデル構成フェーズは、カメラで撮影された画像列か ら位置認識を行うときに用いられるデータである位置認識モデル (例えば、
HMM(Hidden Markov Model)のパラメータ、特徴抽出により得られる特徴ベクトルなど の特徴量）を作成するためのフェーズであり、位置認識フェーズは、位置認識モデル を用いることによって位置認識を実際に行うフェーズである。
[0043] 位置認識モデル構成フェーズにおいては、携帯端末に設けられているカメラにより 、例えば、 1秒間に 15フレームなどの所定のフレームレートで撮影が繰り返し行われ 、ユーザの移動先毎の風景が撮影される。
[0044] 図 1に示すように、ユーザが普段、「五反田」駅の近くにある「オフィス」で仕事をして いる場合、「自宅」の画像列、「自宅」から「五反田」まで、および「五反田」から「オフィ ス」までの移動中の風景の画像列、並びに「オフィス」での画像列が携帯端末により 撮影される。図 1において、 S乃至 Sで示される四角は電車の駅を表し、そのうちの S
1 5
は「五反田駅」を、 Sは「品川駅」を表している。
3 5
[0045] このようにして撮影された画像列から、位置認識モデルが携帯端末により作成され る。
作成された位置認識モデルは携帯端末に記憶され、位置認識フェーズで利用可能 となる。 従って、移動先で撮影が繰り返し行われることから、様々な場所に行けば行くほど多 くのモデルが作成され、認識可能な位置が増えることになる。
[0046] なお、作成された位置認識モデルは、その作成の元になつた画像列の撮影時に GPSモジュールや PHSモジュールにより認識された緯度経度 (緯度経度により特定さ れる位置を含むクラスタ (クラスタにつ 、ては後述する） )と対応付けて携帯端末に記 憶される。
[0047] 図 1には、「自宅」内やその近傍をユーザが移動したときに撮影された画像列から作 成されたモデルである Home HMM (下段左側）、「五反田」の駅構内やその近傍をュ 一ザが移動したときに撮影された画像列カゝら作成されたモデルである Gotanda HMM (下段中央)、「オフィス」内やその近傍をユーザが移動したときに撮影された画像列 力 作成されたモデルである Office HMM (下段右側）が携帯端末により作成され、そ れぞれの緯度経度情報と対応付けて携帯端末に記憶されて ヽることが示されて ヽる
[0048] 後に詳述するように、例えば、携帯端末により作成され、管理される HMMの各状態
(State)は、撮影された各画像 (実際には各画像の特徴量）に対応する。このようなモ デル (HMM)が位置認識フェーズにお!/、て用いられる。
[0049] 位置認識フェーズにおいては、まず、 GPSモジュールや PHSモジュールによりグロ 一バルエリア上の現在位置を表す緯度経度情報が取得され、取得された緯度経度 情報に基づ 、て、現在位置に最も近 、位置のモデルとして記憶されて 、る HMM (現 在位置を含むクラスタに対応して記憶されている HMM)力 位置認識モデル構成フ エーズにお 、て作成された HMMの中から選択される。
[0050] そして、選択された HMMが用いられ、現在位置の風景をカメラで撮影することによ つて得られた画像列に基づいてローカルエリア上のユーザの現在位置が認識される
[0051] ここで、図 2および図 3を参照して、位置認識フェーズにおいて行われる処理の具 体例について説明する。
[0052] 図 2に示すように、例えば、図 1の Home HMM, Gotanda HMM, Office HMMの 3つ の HMMが携帯端末に記憶されているものとする。図 2の例においては、 Home HMM の各状態は画像 1乃至 Nにそれぞれ対応し、 Gotanda HMMの各状態は画像 101乃
1
至 Nにそれぞれ対応している。また、 Office HMMの各状態は画像 201乃至 Nにそ
2 3 れぞれ対応している。
[0053] これらの Home HMM, Gotanda HMM, Office HMMには、それぞれ、 HMM作成のた めに用いられた画像の撮影時 (位置認識モデル構成フェーズ時）に、 GPSモジュール や PHSモジュールに行われた測位の結果力 決定されたクラスタが対応付けられて いる。
[0054] このような状態で、位置認識フェーズにお 、ては、まず、 GPSモジュールや PHSモジ ユールによりユーザのグローバルエリア上の現在位置の測位が行われ、測位結果の 緯度経度より特定される現在位置を含むクラスタに対応付けられて ヽる HMMが、 ヽま 、ローカルエリア上の位置認識で用いる HMMとして選択される。
[0055] 図 2の例においては、 GPSモジュールや PHSモジュールにより得られた現在位置を 含むクラスタに対応付けられている HMMは Home HMMであり、白抜き矢印の先に示 すように、 Home HMM, Gotanda HMM, Office HMMの 3つの HMMの中から、いま、口 一カルエリア上の位置認識で用いる HMMとして Home HMMが選択されて!、る。
[0056] 図 2の白抜き矢印の先に示すように、 Home HMMの各状態は画像 1乃至 Nに対応
1 しており、このうちの画像 1乃至 5には「リビング」、画像 6乃至 10には「玄関」、画像 11 乃至 15には「寝室」、画像 16乃至 20には「廊下」、…の名前が設定されている。すな わち、 Home HMMは、位置認識モデル構成フェーズ時に、「リビング」で撮影された 画像、「玄関」で撮影された画像、「寝室」で撮影された画像、および、「廊下」で撮影 された画像、…から作成された HMMである。なお、「リビング」等の場所の名前は、例 えば、位置認識モデル構成フェーズ時に、撮影された画像を見たユーザにより設定 されたものである。
[0057] 図 2に示すように、 GPSモジュールや PHSモジュールによる測位結果から Home
HMMが選択された後、選択された Home HMMの画像列（Home HMMの各状態に対 応する画像列）と、いま撮影された画像列とのマッチングが図 3に示すように行われる 。図 3の Home HMMは、図 2の Home HMMと同じものであり、その上の 4つの画像 30 1乃至 304からなる画像列力 V、ま撮影された認識用の画像列である。 [0058] 画像 301乃至 304はいま撮影されたものであるから、画像 301乃至 304の並び（後 述するように、実際には、画像 301乃至 304の特徴量の時系列）と同じ並びの Home HMMの画像列に設定されている名前力 現在の、ユーザのローカルエリア上の位置 の名前となる。
[0059] 図 3に示すように認識用の画像列が 4つの画像 301乃至 304からなる場合、例えば 、 Home HMMの先頭から 4つずつ画像が選択され、選択された HMMの 4つの画像の 並びと、認識用の画像の並びとのマッチングが行われる。図 3の例においては、まず 、 Home HMMの画像 1乃至 4の並びと、認識用の画像である画像 301乃至 304の並 びとのマッチングが行われ、次に、 1画像だけずらして選択される Home HMMの画像 2乃至 5と、認識用の画像である画像 301乃至 304とのマッチングが行われる。同様 に、画像 301乃至 304とのマッチングの対象になる Home HMMの画像が 1つずつ順 次ずらして選択され、選択された Home HMMの画像と、認識用の画像である画像 30 1乃至 304とのマッチングが行われる。
[0060] マッチングにより、認識用の画像である画像 301乃至 304の並びとのマッチ度が高 く、画像 301乃至 304の並びと同じ並びであると判断された Home HMMの画像が、 例えば、画像 1乃至 4である場合、ローカルエリア上のユーザの現在位置は、図 3の 白抜き矢印の先に示すように、その、画像 1乃至 4に設定されている名前の「リビング 」として認識されることになる。
[0061] 同様にして、例えば、ユーザが、現在、「オフィス」の会議室にいる場合、 GPSモジュ ールゃ PHSモジュールによる緯度経度情報から図 1の Office HMMが選択され、選択 された Office HMMの画像列から選択された所定の画像列と、いま、カメラにより撮影 された認識用の画像列とのマッチング結果に基づいて、その会議室にいることが認 識される。
[0062] このように、携帯端末にお!、ては、 GPSモジュールや PHSモジュールによる上位の 位置認識と、その位置認識の結果カゝら選択される HMMと、撮影した画像列を用いて 行われる下位の位置認識との、 、わば階層的な位置認識が行われることになる。
[0063] これにより、撮影した画像列にも基づ 、て位置認識が行われることから、 GPSモジュ ールゃ PHSモジュールだけを用いた場合には不可能な、細か 、粒度の位置までを認 識することができる。
[0064] また、 GPSモジュールや PHSモジュールによる上位の位置認識の結果に基づいて、 下位の位置認識で用いる HMMを絞り込むことができることから、全てのモデルを対象 として位置認識を行う場合などに較べて認識精度を高めることができる。
[0065] さらに、細かい粒度での位置の認識が可能であることから、図 2に示すように、 HMM を構成する画像に名前を設定しておくことで、ユーザは、そのときの自分自身の状況 に応じた情報を携帯端末に提示させることができる。
[0066] 例えば、ユーザが、自宅のリビングでの予定を外出先で携帯端末に登録しておき、 その後、自宅のリビングに着いたときに「リビングでは予定があります」などのメッセ一 ジを携帯端末に出力させるなどの、ローカルエリア上の現在位置に応じた情報を提 示させることができる。携帯端末においては、現在位置がリビングであることが認識さ れたとき、登録されていた予定が読み出され、その提示が行われる。
[0067] なお、認識した現在位置の名前をユーザに提示する必要がなぐ携帯端末の内部 でのみ現在位置を識別することができればよ!/、場合、この名前の設定は不要となる。 すなわち、携帯端末の内部ではそれぞれの位置が所定の識別情報で識別され、識 別された位置に応じた処理が行われる。
[0068] ところで、以上の階層的な位置認識を行わせるためには、ユーザは、位置認識モデ ルを携帯端末に予め記憶させておく必要があり、そのためには、携帯端末を持って 様々な場所に移動する必要がある。
[0069] 従って、ユーザが過去に訪れたことのないところでは位置認識ができないことになる 力 これを可能なものとするため、同様の機能を有する携帯端末を有しているユーザ の間で位置認識モデルが共有されるようにしてもょ 、。
[0070] 図 4は、位置認識モデルの共有について示す図である。
[0071] 例えば、図 4のユーザ Aが、携帯端末を持って「品川駅 S構内」やその近傍を移動
5
した場合、ユーザ Aの携帯端末では上述したようにして「品川駅 S構内」の位置認識
5
モデルである品川駅構内 HMMが作成される。作成された品川駅構内 HMMは、 GPS モジュールや PHSモジュールにより取得された品川駅 Sの緯度経度情報とともにネッ
5
トワーク上の所定のサーバにユーザ Aの携帯端末力 アップロードされ、緯度経度情 報及び、キーワードとしての地名、施設名等に対応付けられて登録される。なお、 GPSモジュールや PHSモジュールによる測位には、数メートルから数十メートル程度 の誤差が生じるため、緯度経度情報は図示のようにある程度の範囲を持たせて登録 されることが望ましい。図 4の例においては、品川駅構内 HMM、五反田駅 HMM、渋 谷駅構内 HMMのそれぞれと対応付けられている緯度 ·経度情報には、基準位置に 対して士 2秒の範囲が与えられ、サーバに登録されて 、る。
[0072] これにより、品川駅構内 HMMは、サーバにアクセスしてきた他の携帯端末のユーザ との間で共有のものとなる。
[0073] 一方、品川駅 Sを初めて訪れたユーザ Bの携帯端末には品川駅構内 HMMが記憶
5
されていないことから、ユーザ Bは、品川駅 S構内でのローカルエリア上の位置認識
5
はもとより、品川駅 Sに関する情報などを提示させることができない。
5
[0074] このとき、ユーザ Bの携帯端末において、検索キーワードとして「品川駅」が入力さ れることにより、あるいは、 GPSモジュールや PHSモジュールにより取得された緯度経 度情報（品川駅 Sの緯度経度情報）がサーバに送信されることにより、ユーザ Aの携
5
帯端末により登録された品川駅構内 HMMがサーノからダウンロードされる。これによ り、ユーザ Bの携帯端末においても品川駅 S構内の位置認識が可能になる。
5
[0075] ユーザ Bの携帯端末への位置認識モデルのダウンロードは、ユーザ Bがサーバに 対して手動で位置認識モデルの要求を送信することにより行われてもよ!/ヽが、ユーザ Bの携帯端末の位置や時間の遷移に応じて自動で行われてもよ 、。
[0076] 例えば、ユーザ Bが品川駅構内を出て、新たな目的地に向力う場合、ユーザ Bを品 J 11駅からナビゲートするためには新たな位置認識モデルが必要になる。既に品) 11駅 構内の HMMを取得したユーザ Bの携帯端末は、品川駅構内 HMMと対応付けて登録 されている緯度経度の範囲内、すなわち、東経 139度 44分 30秒 ± 2秒、北緯 35度 3 7分 30秒士 2秒の範囲内にいるときには、引き続き品川駅構内 HMMを利用して位置 認識を行う。しかし、ユーザ Bがこの範囲内を出た場合、すなわち、 GPSモジュールや PHSモジュールを用いて測位される現在位置力 保持する品川駅構内 HMMによる認 識可能範囲を超えた場合、もはや位置認識を行うことができない。そこで、ユーザ B の携帯端末は、サーバに対して現在位置の緯度経度情報を送信して、新たな HMM のダウンロードを行う。この一連の処理は、ユーザ Bが目的地に到達するまで適宜繰 り返される。
[0077] あるいは、保持する HMMと、測位される緯度経度情報との比較を行うことなぐ所定 時間間隔でサーバに対して緯度経度情報を送信し、 HMMのダウンロードを繰り返す ようにすることちでさる。
[0078] また、ユーザ Aの携帯端末において作成された位置認識モデルのサーバへのアツ ブロードも、以下の如ぐ当該位置認識モデルを持たないユーザのリクエストに応じて 自動で行われてもよい。
[0079] まず、ユーザ Bの携帯端末から品川駅構内 HMMの要求を受信したサーバが、ネッ トワーク上の複数の端末に対して、ユーザ Bの携帯端末の緯度経度情報と対応付け た HMM要求を転送する。受信した端末において、緯度経度情報を手がかりに HMM の検索が行われ、要求された HMMを保持するユーザ Aの携帯端末から、品川駅構 内 HMMがサーバに送信される。ユーザ Aから品川駅構内 HMMを取得したサーバは 、 HMMと緯度経度情報とを対応付けて登録するとともに、品川駅構内 HMMを、ユー ザ Bの携帯端末に対して送信する。
[0080] これにより、サーバは、位置認識モデルが手動でアップロードされるのを待つことな ぐユーザの要求に応じて即座に位置認識モデルを取得することができる。
[0081] このように同様の機能を有する携帯端末を有しているユーザの間で位置認識モデ ルが共有されるようにすることにより、ある場所を初めて訪れたユーザであっても、口 一カルエリア上の位置認識を自分の携帯端末に行わせることができ、現在位置に応 じた情報を提示させることができる。
[0082] 以上のような携帯端末の動作につ!、てはフローチャートを参照して後述する。
[0083] 図 5は、階層的な位置認識を行う携帯端末 1のハードウェア構成例を示すブロック 図である。
[0084] 図 5に示すように、携帯端末 1は、例えば、その断面が六角形となる筐体により形成 される。筐体の大きさは、ユーザが片手で把持可能な程度の大きさとされる。
[0085] 携帯端末 1の全体を制御する情報処理部 11には、例えば、 GPSモジュール 12、
PHSモジュール 13、無線 LAN(Local Area Network)モジュール 14、およびカメラ 15が 接続される。
[0086] 情報処理部 11は、 CPU(Central Processing Unit), ROM(Read Only Memory),
RAM(Random Access Memory)などから構成され、例えば、 GPSモジュール 12や PHS モジュール 13を制御してグローノ レエリア上の現在位置を認識する処理や、カメラ 1 5により撮影された画像列に基づいてローカルエリア上の現在位置を認識する処理 などを行う。
[0087] GPSモジュール 12は、捕捉した衛星力も送信されてくる情報を受信し、それを情報 処理部 11に出力する。 PHSモジュール 13は、通信を行っている基地局から送信され てくる情報を受信し、それを情報処理部 11に出力する。無線 LANモジュール 14は、 例えば、近傍に設置されているアクセスポイントを介して外部のネットワークに接続し 、ネットワーク上のサーバ（図 4のサーバ）に対して位置認識モデルをアップロードし たり、サーバから位置認識モデルをダウンロードしたりする。
[0088] カメラ 15は撮影した画像列を情報処理部 11に出力する。カメラ 15は、レンズが表 面に現れる形で携帯端末 1に内蔵して設けられるようにしてもょ 、し、ユーザにより携 帯端末 1がカバンの中やポケットの中にしまわれた場合でも周囲を撮影することがで きるように、携帯端末 1の筐体とは別筐体のものとして設けられるようにしてもよい。ま た、カメラ 15のレンズには、後述するように広角のレンズや魚眼レンズが用いられるよ うにしてもよい。
[0089] 図 6は、図 5の情報処理部 11の機能構成例を示すブロック図である。
[0090] 図 6の各機能部の少なくとも一部は、情報処理部 11の CPUにより所定のプログラム が実行されることで実現される。
[0091] 測位制御部 31は、 GPSモジュール 12や PHSモジュール 13を制御し、それらの測位 デバイス力 供給されてくる情報に基づいてグローバルエリア上の緯度経度情報を 取得する。測位制御部 31により得られた緯度経度情報は、そのときのフェーズが位 置認識モデル構成フェーズである場合には登録管理部 32に出力され、位置認識フ エーズである場合には位置認識部 35に出力される。
[0092] 登録管理部 32は、撮影制御部 34から供給されてくる画像列に基づいて位置認識 モデルである HMMを作成し、作成した HMMと、測位制御部 31から供給されてくる緯 度経度情報をクラスタリングして得られるクラスタの情報を対応付けて位置認識モデ ル DB (Data Base) 33に記憶させる。また、登録管理部 32は、 HMMとクラスタの情報 を通信制御部 36にも出力する。
[0093] 位置認識モデル DB33は、登録管理部 32により作成された HMMを記憶する。記憶 されている HMMは、適宜、位置認識部 35により読み出され、位置認識に用いられる
[0094] 撮影制御部 34は、カメラ 15による撮影を制御し、そのときのフェーズが位置認識モ デル構成フェーズである場合には得られた画像列を登録管理部 32に出力し、位置 認識フェーズである場合には位置認識部 35に出力する。
[0095] 図 3を参照して説明したように、携帯端末 1により行われるマッチングは、例えば、認 識用の画像列と、 HMMの各状態に対応する画像から選択された画像列との特徴量 の時系列（時間的変化)を見ることで行われる。このように、時間的変化を見るだけで あるから、認識用の画像や、 HMMを作成するための画像には高い解像度は求めら れず、カメラ 15により撮影され、撮影制御部 34により得られた画像は、例えば、 32 X 24 (横 X縦)画素の低!、解像度の画像に変換されて登録管理部 32や位置認識部 3 5に出力されるようにしてもよい。
[0096] また、対応する画素の画素値の変化が大きすぎる場合、画素値の変化が比較的小 さい場合に較べて、マッチングの精度が落ちることから、カメラ 15のレンズには、魚眼 レンズなどの、より広角のレンズが用いられる。 1つの画像の解像度（例えば 32 X 24) が同じであるとすると、狭い画角のレンズで撮影するよりも、広い画角のレンズで撮影 した方が、カメラ 15の向きを変えたときの画素値の変化を抑えることができ、これによ り、判定精度を高めることができる。なお、上述した図 1乃至図 4において、 1フレーム の画像の絵には円が描かれ、円の中に被写体である風景の絵が描かれている力 こ のことは、それぞれの画像が、画角の広いレンズで撮影されたものであり、それに写 つて 、る風景が歪んで 、ることを表して 、る。
[0097] 図 6の説明に戻り、位置認識部 35は、測位制御部 31から供給されてくる緯度経度 情報に基づ 、て、現在位置を含むクラスタに対応付けられて ヽる HMMを位置認識モ デル DB33から読み出し、読み出した HMMと、撮影制御部 34から供給されてくる画 像列に基づ 、てローカルエリア上の現在位置を認識する。位置認識部 35により認識 されたローカルエリア上の現在位置の情報は、例えば、現在位置に応じて所定の情 報を提示する処理を行うアプリケーションに提供される。
[0098] また、位置認識部 35は、ユーザが初めて訪れた場所であることから、現在位置を含 むクラスタに対応付けられて 、る HMMが位置認識モデル DB33に記憶されて!、な!/ヽ 場合、緯度経度情報を通信制御部 36に出力し、現在位置を含むクラスタの HMMを サーバ力もダウンロードさせる。位置認識モデル DB33から HMMが取得された場合と 同様に、そのようにしてサーバから取得された HMMに基づいて、位置認識部 35によ りローカルエリア上の現在位置の認識が行われる。
[0099] 通信制御部 36は、無線 LANモジュール 14を制御し、登録管理部 32から供給され てきた HMMとクラスタの情報をサーバにアップロードする。また、通信制御部 36は、 位置認識部 35から供給されてきた緯度経度情報に基づ ヽて、緯度経度情報により 表される現在位置を含むクラスタに対応付けられている HMMをサーバ力 ダウンロー ドし、それを位置認識部 35に出力する。
[0100] 図 7は、図 6の登録管理部 32の詳細な機能構成例を示すブロック図である。
[0101] 登録管理部 32は、例えば、クラスタリング部 51、登録部 52、およびモデル作成部 5 3から構成される。
[0102] クラスタリング部 51は、測位制御部 31から供給されてくる緯度経度情報により表さ れる現在位置のクラスタリングを行 、、現在位置が属するクラスタの情報を登録部 52 に出力する。登録部 52に供給されるクラスタの情報には、所定の範囲をとるクラスタ の基準となる位置の情報や、その範囲に関する情報などが含まれる。
[0103] 登録部 52は、クラスタリング部 51から供給されてくるクラスタの情報と、モデル作成 部 53から供給されてくる HMMを対応付けて位置認識モデル DB33に記憶させるとと もに、それらの情報を通信制御部 36からネットワーク上のサーバに送信させる。
[0104] モデル作成部 53は、撮影制御部 34から供給されてくる画像列に基づいて HMMを 作成し、作成した HMMを登録部 52に出力する。なお、あるクラスタに対応するものと して HMMが既に作成されている場合、モデル作成部 53は、撮影制御部 34から供給 されてくる画像列に基づいてその HMMの学習（更新）を行う。学習結果の HMMは登 録部 52を介して位置認識モデル DB33に供給され、記憶される。
[0105] ここで、モデル作成部 53による HMMの作成について説明する。
[0106] モデル作成部 53は、位置認識モデル構成フェーズ時にカメラ 15により取り込まれ た画像列のうち、 HMMの作成に不要であると考えられる画像を省き、不要ではないと 考えられる画像から HMMを作成する。
[0107] 例えば、モデル作成部 53は、下式（1)に基づいて、今回取得された画像 Zと、不要 なものではな 、として最後に選択した画像 Xとの比較を行 、、これらの 2つの画像間 の非類似度または時間間隔に、予め定められた閾値以上の差がある場合、その、今 回取得された画像 Zを認識用の画像として選択する。
[0108] [数 1]
^ z) . 广 tl
o ttutx ヽ *ん
[0109] ここで、 D は D(x , Z)の最大値である。関数 Dは、後述する下式（3)で定義される
max —1
。また、 は画像 X 、および画像 Zの受付に必要となるパーセンテージ変化であり、
i-1
βは適応速度を調整するためのファクタである。これらの ρ , βには所定の値が設定 される。さら〖こ、 t は画像 X が取得された時刻であり、 tは画像 Zが取得された時刻
i-1 i-1 Z
である。
[0110] このように、 2つの画像間の非類似度や時間間隔に基づいて画像を選択することに より、同一、または、ほぼ同一の画像が連続して選択されることを防止することができ 、限られた記憶容量の中で、マッチング処理で利用可能な情報を効率的に多く含む 、より大きな HMMを生成することが可能になる。
[0111] 図 8は、モデル作成部 53により作成される HMMの例を示す図である。
[0112] 図 8に示すように、位置認識モデル構成フェーズ時に撮影され、不要なものではな V、として選択された N個の画像が各状態にそれぞれ対応するように構成された HMM が作成される。すなわち、携帯端末 1において用いられるモデルは、例えば、部分的 にラベル付けされたデータから期待値最大化法（Expectation-Maximization)等を用 いて推定されるパラメータよりなるものではなぐ HMMの各状態を、位置認識モデル 構成フェーズ時に得られたそれぞれの画像に直接対応させたものである。
[0113] また、その遷移パラメータとして、図 8の下方に示すように、予め定められた値が設 定される。図 8の遷移パラメータのグラフにおいて、縦軸は遷移確率であり、横軸は画 像間 (状態間）の時間的な距離である。例えば、図 8に示すように、距離が大きくなる に従って、遷移確率力^に近づくようなガウス分布に基づいて算出された値が設定さ れる。これにより、遷移パラメータの最適化処理を行う必要がなぐ処理負担を軽減さ せることができる。
[0114] このように、通常のように学習を行わずに、遷移パラメータとして予め定めたものを 使用するのは、 HMMの各状態に対応する画像は時系列的に順次取得されたもので あり、ある状態（図 8の場合、状態 4)から、時間的に遠い状態に遷移する可能性は小 さいか、またはゼロであると考えられるためである。
[0115] 図 9乃至図 11は、以上の構成を有する登録管理部 32によるクラスタリングと、 HMM の作成について示す図である。なお、図 9乃至図 11に示すグローバルエリアは、図 1 にお 、て鳥瞰して ヽたものを真上力も示したものである。
[0116] いま、上述したように、ユーザは、普段「五反田」の近くにある「オフィス」で仕事をし 、週末には、駅 Sの近くにあるデパートメントストアによく出かけるものとする。また、ュ
2
一ザは、携帯端末 1を常に持ち歩いているものとする。
[0117] この場合、周囲の撮影と、 GPSモジュール 12などによる測位が繰り返し行われること から、測位により得られた位置をグローバルエリア上にプロットした場合、図 9に示す ように、例えば、駅 Sの近くにある自宅、五反田駅 Sの近くにあるオフィス、駅 Sの近
1 3 2 くにあるデパートメントストアのそれぞれの位置をほぼ中心としてプロットの位置が集 中する。また、これらのプロットの位置で撮影された画像列が集まる。
[0118] ここで、クラスタリング部 51は、図 9に示すようなプロットに対して所定の手法を用い てクラスタリングを行い、図 10の点線の円で示すような、位置 Pを中心とした Homeク
1
ラスタ、位置 Pを中心とした Department Storeクラスタ、位置 Pを中心とした Officeクラ
2 3 スタを生成する。なお、各クラスタの名前に含まれる「Home」、「Department Store」、「 OfficeJは説明の便宜上付してあるものである。 [0119] このようにして生成されたクラスタの中心位置 (位置 P、位置 P、位置 P )を表す情
1 2 3 報などが、各クラスタの情報として登録部 52に出力される。
[0120] 一方、モデル作成部 53は、図 9の各プロットの位置で撮影された画像列に基づい て、クラスタリング部 51により生成された各クラスタ内で位置認識を行うときに用いる HMMを上述したようにして作成し、作成した HMMを登録部 52に出力する。
[0121] 登録部 52は、クラスタリング部 51により生成されたクラスタの情報と、モデル作成部 53により作成されたそれぞれのクラスタ内で用いる HMMを対応付けて位置認識モデ ル DB33に登録する。クラスタの名前 (撮影場所の名前)や HMMの画像の名前がュ 一ザにより設定された場合、その名前もクラスタの情報に含まれる。
[0122] これにより、図 11に示すように、 Homeクラスタに対しては、そこに含まれるプロットの 位置で撮影された画像列力 作成された Home HMMが対応付けられ、 Department Storeクラスタに対しては、そこに含まれるプロットの位置で撮影された画像列力も作 成された Department Store HMMが対応付けられる。また、 Officeクラスタに対しては、 そこに含まれるプロットの位置で撮影された画像列から作成された Office HMMが対 応付けられる。
[0123] 図 12は、図 6の位置認識部 35の詳細な機能構成例を示すブロック図である。
[0124] 位置認識部 35は、例えば、信頼度判定部 61、モデル取得部 62、認識部 63、およ び認識結果取得部 64から構成される。
[0125] 信頼度判定部 61は、測位制御部 31から供給されてくる情報に基づいて、 GPSモジ ユール 12や PHSモジュール 13による測位結果の信頼度の判定を行 、、より信頼でき る方の測位結果 (緯度経度情報)をモデル取得部 62に出力する。
[0126] 例えば、測位制御部 31からは、 GPSモジュール 12により捕捉された衛星の数など の情報や、 PHSモジュール 13により受信されている基地局力もの電波の状況に関す る情報などが供給されてくるため、信頼度判定部 61は、これらの情報に基づいて測 位結果の信頼度の判定を行う。
[0127] また、信頼度判定部 61は、撮影された画像列に基づいて認識部 63により推測され たグローバルエリア上の測位結果の信頼度も判定する。例えば、撮影された画像列 に基づ!/、て認識部 63により推測された測位結果力 GPSモジュール 12や PHSモジュ ール 13による測位結果よりも信頼できるものである場合、その認識部 63による測位 結果が現在位置としてモデル取得部 62に出力される。
[0128] 図 13は、信頼度に基づく測位結果の選択の例について示す図である。
[0129] 例えば、図 13に示すように、最大を 100として、 GPSモジュール 12による測位結果 の信頼度が 90、 PHSモジュール 13による測位結果の信頼度が 70、センサ型位置認 識エンジン (センサであるカメラ 15により撮影された画像列力も位置を推測する認識 部 63)による測位結果の信頼度が 65である場合、信頼度の最も高い GPSモジュール 12の測位結果が選択され、階層型位置認識エンジンによる位置認識に用いられる。 この階層型位置認識エンジンは、図 12のモデル取得部 62、認識部 63等による、上 述した階層的な位置認識を行うエンジンである。
[0130] このように、以降の処理で用いられる測位結果が信頼度に基づいて選択されること から、より精度の高い位置認識が可能となる。
[0131] 例えば、基地局力 の電波の受信が困難な都市部力 比較的離れた場所では、 PHSモジュール 13による測位結果の信頼度が下がるため、 GPSモジュール 12による 測位結果が採用されることになる。また、衛星からの電波の受信が困難な建物ゃ電 車の中などでは、 GPSモジュール 12による測位結果の信頼度が下がるため、 PHSモ ジュール 13による測位結果が採用されることになる。
[0132] 図 12の説明に戻り、モデル取得部 62は、信頼度判定部 61から供給されてくる緯度 経度情報により表される現在位置を含むクラスタに対応付けてられている HMMを位 置認識モデル DB33から読み出す（取得する）。例えば、図 11において、 GPSモジュ ール 12により得られた緯度経度情報により、グローバルエリア上の現在位置が Home クラスタ内であるとして認識された場合、 Homeクラスタに対応付けられている Home HMMが位置認識モデル DB33から読み出される。
[0133] また、モデル取得部 62は、現在位置を含むクラスタに対応付けてられている HMM が位置認識モデル DB33に記憶されて ヽな 、場合、信頼度判定部 61から供給され てくる緯度経度情報を通信制御部 36に出力し、現在位置を含むクラスタの HMMをサ ーノくからダウンロードさせる。通信制御部 36によりサーノくからダウンロードされた HMMはモデル取得部 62により取得される。 [0134] 以上のようにしてモデル取得部 62により取得された HMMは認識部 63に出力される 例えば、現在位置を含むクラスタに対応付けてられている HMMがサーバからも取得 できない場合、信頼度判定部 61から供給されてきた現在位置の情報 (GPSモジユー ル 12や PHSモジュール 13により測位された位置情報)や、撮影された画像列から認 識部 63により直接認識された現在位置の情報がそのまま認識結果取得部 64に供給 され、現在位置として採用される。
[0135] 認識部 63は、モデル取得部 62から供給されてきた HMMと、撮影制御部 34から供 給されてきた画像列に基づ 、てローカルエリア上の現在位置の認識を行 ヽ、認識結 果を認識結果取得部 64に出力する。
[0136] 図 14は、図 12の認識部 63の詳細な機能構成例を示す図である。
[0137] 認識部 63は、画像選択部 71、特徴ベクトル算出部 72、特徴ベクトル記憶部 73、マ ツチング処理部 74から構成される。
[0138] 画像選択部 71は、位置認識フェーズ時に撮影制御部 34から供給されてきた画像 のうち、不要であると考えられる画像を省き、ローカルエリア上の位置認識に用いる画 像を選択する。画像選択部 71による画像の選択は、例えば、モデル作成部 53による 画像の選択のアルゴリズムと同じアルゴリズムで行われる。
[0139] 従って、位置認識モデル構成フェーズ時と位置認識フェーズ時とで、全く同じ風景 が撮影された場合、位置認識モデル構成フェーズ時にモデル作成部 53により選択 される画像 (HMMを作成するための画像）と、位置認識フェーズ時に画像選択部 71 により選択される画像 (位置認識を行うための認識用の画像）は同じものになる。これ により、不要な画像を省きつつ、位置認識フェーズ時のローカルエリア上の位置認識 が可能になる。
[0140] 画像選択部 71により選択された画像は特徴ベクトル算出部 72に出力される。
[0141] 特徴ベクトル算出部 72は、画像選択部 71から供給されてきた画像の特徴を表す特 徴ベクトル (特徴量)を算出し、算出した特徴ベクトルを特徴ベクトル記憶部 73に記 憶させる。
[0142] 例えば、特徴ベクトル算出部 72は、画像選択部 71から供給されてきた画像 Xと、画 像選択部 71により過去に選択された画像 {x ,· ··,χ }とのそれぞれの距離を求め、そ
1
の求めた各距離を要素とする特徴ベクトルを取得する。すなわち、下式 (2)で表され る Μ次元の特徴ベクトルが得られる。
[0143] [数 2]
Figure imgf000025_0001
[0144] なお、 D(x,y)は例えば下式（3)で表される力 2つの画像 x, y間の差を表すことが できるものであれば他の任意の関数を用いることができる。式（3)において、 HWはセ ンサ番号 (カメラ 15に設けられる CCDの画素）の高さ方向および幅方向の最大値で ある。また、 1は画像のピクセル位置、 cは色チャネル番号 (通常 1、 2、 3はそれぞれ赤 、緑、青を示す)を表す。
[0145] [数 3]
W 3
I>(xf y) = ∑\ x( c)-y( c) \ "*(3)
[0146] 特徴ベクトル記憶部 73は、例えば、サーキユラバッファ（Circular Buffer)により構成 され、予め定められた数の特徴ベクトルを、特徴ベクトル算出部 72から供給されてき た順序で記憶する。特徴ベクトル記憶部 73に記憶される特徴ベクトルの順序は、認 識用の画像が撮影された時間的な順序に対応する。
[0147] すなわち、特徴ベクトル記憶部 73に記憶されている内容は、特徴ベクトルを時系列 的に並べたものであり、そのうちの最新の特徴ベクトルを「現在」とすると、その「現在」 に至るまでの時間的な状況の遷移を表すことになる。このように所定の数の特徴べク トルにより表される「現在」に至るまでの状況の遷移が、 HMMの各状態に対応する画 像により表される「過去」の状況の遷移とマッチングされる。
[0148] マッチング処理部 74は、モデル取得部 62から供給されてきた HMMによるビタビ時 系列マッチを行 、、特徴ベクトル記憶部 73に記憶されて 、る特徴ベクトルの時系列と 、 HMMの状態 (状態を表す画像から求めれた特徴ベクトルの時系列）とのマッチ度を 算出する。 [0149] ここで、マッチング処理部 74により行われるビタビ時系列マッチ（ビタビアルゴリズム )について説明する。
[0150] ビタビアルゴリズムは、以下のような最大化問題への解を提供する。下式 (4)にお 、 て、 sは i番目の画像 Xに対応する状態を表し、 s*は最適化された状態を表す。
[0151] 画 s†， ··· , sjy = argmax P(sif ··* , sN \h )
N
= rgmax P(x{ \ s,)P(s,) Π P(x | Sj)P(xj | s ) Λ，·"，Α',ν/ '
"' (4)
[0152] ビタビアルゴリズムによって、図 15に示すように、特徴ベクトル記憶部 73に記憶され て 、る特徴ベクトルの行列 Ηとして表される画像と、モデル取得部 62から供給されて きた ΗΜΜの状態を表す画像をマッチさせる最適状態系列が決定され、その最適状 態系列に沿って求められる確率力 画像間のマッチ度として取得される。図 15の例 においては、太線矢印で示す {S1,S1,S2,S3,S3,S2,S3,S4,S4}の系列が最適状態系列 として決定されている。
[0153] 以上においては、ビタビ時系列マッチによりマッチ度が求められるとしたが、当然、 他の方法によりマッチ度が求められるようにすることも可能である。なお、以上のような ビタビ時系列マッチについては、本出願人による特願 2004— 191308号に、さらに その詳細が開示されている。
[0154] 図 12の説明に戻り、また、認識部 63は、必要に応じて、撮影制御部 34から供給さ れてきた画像列に基づ!、て逆にグローバルエリア上の現在位置の認識を行 ヽ、認識 結果を信頼度判定部 61に出力する。グローバルエリア上の現在位置の認識におい ては、適宜、位置認識モデル DB33に記憶されている HMM等が用いられる。
[0155] 認識結果取得部 64は、認識部 63から供給されてくるローカルエリア上の現在位置 の情報や、モデル取得部 62から供給されてくるグローバルエリア上の現在位置の情 報を取得し、取得した情報を所定のアプリケーションに提供する。認識結果取得部 6 4から提供されたローカルエリア上の現在位置の情報に基づいて、ユーザの位置に 応じた情報の提供などが行われる。
[0156] 次に、以上のような構成を有する携帯端末 1の動作についてフローチャートを参照 して説明する。
[0157] 始めに、図 16のフローチャートを参照して、位置認識モデル構成フェーズのときに 携帯端末 1により行われる位置認識モデル構成処理につ！ヽて説明する。
[0158] ステップ S1において、情報処理部 11の撮影制御部 34は、カメラ 15による撮影を行 い、得られた画像列を登録管理部 32のモデル作成部 53に出力する。撮影は、例え ば 1秒間に 15フレームなどのレートで連続して行われる。
[0159] この撮影は、ユーザ力もの指示があるまで繰り返されるようにしてもよいし、或いは、 まだ撮影したことのな 、場所でのみ撮影が行われ、撮影したことのある場所に移動し たときに撮影が終了されるようにしてもょ 、。現在位置が撮影したことのな 、場所であ る力、撮影したことのある場所であるかの判断は、例えば、 GPSモジュール 12や PHS モジュール 13による測位結果と、位置認識モデル DB33に記憶されている情報に基 づいて行われる。基本的には、この撮影とステップ S2以降の処理は並行して行われ る。
[0160] ステップ S2において、測位制御部 31は、 GPSモジュール 12や PHSモジュール 13を 制御し、それらの測位デバイス力も供給されてくる情報に基づ 、てグローバルエリア 上の現在位置の認識を行う。測位制御部 31により得られた緯度経度情報は登録管 理部 32のクラスタリング部 51に出力される。
[0161] ステップ S3において、クラスタリング部 51は、測位制御部 31から供給されてきた緯 度経度情報により表される現在位置のクラスタリングを行 ヽ、現在位置を含むクラスタ の情報を登録部 52に出力する。
[0162] モデル作成部 53は、ステップ S4にお ヽて、撮影制御部 34から供給されてきた画像 列に基づいて HMMを作成し、作成した HMMを登録部 52に出力する。ここでは、上 述したように、撮影制御部 34から供給されてきた画像のうちの所定の画像の選択や 、選択された画像をそれぞれの状態に対応させることなどが行われる。なお、 HMMの 作成は、後から所定のタイミングで行われるようにしてもよい。この場合、撮影された 画像列と、撮影位置の情報が対応付けて位置認識モデル DB33などの所定の記憶 部に保存されることになる。
[0163] ステップ S5において、必要に応じて登録部 52はクラスタなどの名前の登録を行う。
例えば、登録部 52は、携帯端末 1に設けられる図示せぬ表示部に、撮影されたばか りの画像を表示し、その風景に名前を設定させる。
[0164] ステップ S6において、登録部 52は、クラスタリング部 51から供給されてくるクラスタ の情報と、モデル作成部 53から供給されてくる HMMを対応付けて位置認識モデル
DB33〖こ記'隐させる。
[0165] また、登録部 52は、ステップ S7において、クラスタの情報と HMMを通信制御部 36 力 サーバにアップロードさせる。
[0166] 以上の処理により HMMがクラスタと対応付けられて位置認識モデル DB33に記憶さ れる。また、 HMMがサーバ上で共有のものとされる。
[0167] 次に、図 17および図 18のフローチャートを参照して、位置認識フェーズのときに携 帯端末 1により行われる位置認識処理にっ 、て説明する。
[0168] ステップ S21において、情報処理部 11の撮影制御部 34は、カメラ 15による撮影を 行い、得られた画像列を位置認識部 35の認識部 63に出力する。ここでの撮影は、 例えば、現在位置を認識することができるだけのフレーム数の画像が得られるまで繰 り返し行われる。
[0169] ステップ S22において、測位制御部 31は、 GPSモジュール 12や PHSモジュール 13 を制御し、それらの測位デバイス力 供給されてくる情報に基づ 、てグローバルエリ ァ上の現在位置の認識を行う。測位制御部 31により得られた緯度経度情報は位置 認識部 35の信頼度判定部 61に出力される。
[0170] 信頼度判定部 61は、ステップ S23において、 GPSモジュール 12により受信されてい る衛星からの電波の状況などに基づいて GPSモジュール 12による測位結果の信頼 度を算出し、算出した信頼度が所定の閾値以上であるか否かを判定する。
[0171] ステップ S23において、信頼度判定部 61は、 GPSモジュール 12による測位結果の 信頼度が閾値以上であると判定した場合、 GPSモジュール 12による測位結果の緯度 経度情報をモデル取得部 62に出力し、ステップ S24に進む。
[0172] モデル取得部 62は、ステップ S24において、信頼度判定部 61から供給されてきた 緯度経度情報により表される現在位置を含むクラスタを位置認識モデル DB33を対 象として検索する。
[0173] ステップ S25において、モデル取得部 62は、現在位置を含むクラスタがあると判定 した場合、ステップ S26に進み、そのクラスタに対応付けて記憶されている HMMを位 置認識モデル DB33から取得する。モデル取得部 62により取得された HMMは認識 部 63に出力される。
[0174] ステップ S27において、認識部 63は認識処理を行う。認識部 63による認識処理に ついては図 19のフローチャートを参照して説明する。認識部 63による認識結果は認 識結果取得部 64に出力される。
[0175] 認識結果取得部 64は、ステップ S28において、認識部 63による認識結果である口 一カルエリア上の現在位置の情報を取得し、所定のアプリケーションなどに提供して 処理を終了させる。
[0176] 一方、ステップ S23において、信頼度判定部 61は、 GPSモジュール 12による測位 結果の信頼度が閾値未満であると判定した場合、ステップ S29に進み、次に、基地 局からの電波の受信状況などに基づいて、 PHSモジュール 13による測位結果の信頼 度が所定の閾値以上である力否かを判定する。
[0177] ステップ S29において、信頼度判定部 61は、 PHSモジュール 13の測位結果の信頼 度が閾値以上であると判定した場合、 PHSモジュール 13による測位結果の緯度経度 情報をモデル取得部 62に出力し、ステップ S30に進む。
[0178] ステップ S30において、モデル取得部 62は、信頼度判定部 61から供給されてきた 緯度経度情報により表される現在位置を含むクラスタを位置認識モデル DB33を対 象として検索し、ステップ S25に進み、それ以降の処理を行う。
[0179] すなわち、現在位置を含むクラスタが位置認識モデル DB33に記憶されている場合 、それに対応付けられている HMMが位置認識モデル DB33から読み出され、読み出 された HMMが用いられてローカルエリア上の現在位置の認識が行われる。
[0180] 一方、信頼度判定部 61は、ステップ S29において、 PHSモジュール 13による測位 結果の信頼度も所定の閾値未満であると判定した場合、ステップ S31に進む。ステツ プ S31においては、ステップ S27と同様、認識部 63により認識処理が行われる。すな わち、この場合、撮影された画像列から、グローバルエリア上のまたはローカルエリア 上の現在位置が直接認識されることになる。
[0181] ステップ S32において、信頼度判定部 61は、撮影された画像列から認識部 63によ り直接認識された現在位置の信頼度が閾値以上であるか否かを判定し、閾値以上で あると判定した場合、ステップ S28に進む。ステップ S28においては、撮影された画 像列から直接認識された現在位置の情報が認識結果取得部 64により取得され、処 理が終了される。
[0182] 認識部 63は、ステップ S32にお ヽて、撮影された画像列から直接認識した現在位 置の信頼度が閾値未満であると判定した場合、ステップ S33に進む。ステップ S33に おいては、現在位置が認識不能であるとして所定のエラー処理が行われ、処理は終 了される。例えば、初めて訪れた場所が、 PHSの基地局からの電波の受信状況が悪 い郊外であり、かつ衛星力 の電波の受信状況も悪い建物の中などである場合には エラー処理が行われることになる。
[0183] 一方、ステップ S25において、モデル取得部 62は、 GPSモジュール 12による測位 結果の現在位置、または、 PHSモジュール 13による測位結果の現在位置を含むクラ スタが位置認識モデル DB33に記憶されて 、な 、と判定した場合、それらの現在位 置を表す緯度経度情報を通信制御部 36に出力し、ステップ S34 (図 18)に進む。
[0184] ステップ S34において、通信制御部 36は、モデル取得部 62から供給されてきた緯 度経度情報をネットワークを介してサーバに送信する。
[0185] また、通信制御部 36は、ステップ S35において、送信した緯度経度情報により表さ れる現在位置を含むクラスタの情報がサーバに登録されて 、る力否かを判定し、登 録されていないと判定した場合、ステップ S36に進む。この場合、 GPSモジュール 12 による測位結果、または、 PHSモジュール 13による測位結果がモデル取得部 62から 認識結果取得部 64に供給され、現在位置の認識結果として取得される。その後、処 理は終了される。
[0186] 通信制御部 36は、ステップ S35において、現在位置を含むクラスタの情報がサー バに登録されていると判定した場合、ステップ S37に進み、そのクラスタに対応付け て登録されている HMMをダウンロードする。通信制御部 36によりダウンロードされた HMMは、モデル取得部 62を介して認識部 63に出力される。
[0187] 認識部 63は、ステップ S38において、ステップ S27と同様、認識処理を行う。ここで の認識処理において用いられる HMMはサーバ力もダウンロードされたものである。認 識部 63による認識結果は認識結果取得部 64により取得され、処理が終了される。
[0188] 次に、図 19のフローチャートを参照して、図 17のステップ S27, S31、および図 18 のステップ S38にお 、て行われる認識処理にっ 、て説明する。
[0189] ステップ S61において、認識部 63の画像選択部 71 (図 14)は、撮影制御部 34から 供給されてきた画像の中からローカルエリア上の位置認識に用いる画像を選択し、そ のように選択した画像力もなる認識用の画像列を特徴ベクトル算出部 72に出力する
[0190] ステップ S62において、特徴ベクトル算出部 72は、画像選択部 71から供給されて きた画像の特徴を表す特徴ベクトルを算出し、算出した特徴ベクトルを特徴べ外ル 記憶部 73に記憶させる。これにより、特徴ベクトル記憶部 73には特徴ベクトルの時系 列が記憶される。
[0191] ステップ S63において、マッチング処理部 74は、モデル取得部 62から供給されて きた HMMによるビタビ時系列マッチを行 、、特徴ベクトル記憶部 73に記憶されて ヽ る特徴ベクトルの時系列と、 HMMの状態 (状態を表す画像から求めれた特徴ベクトル の時系列）とのマッチ度を算出する。
[0192] マッチング処理部 74は、ステップ S64において、マッチ度の算出結果に基づいて、 マッチ度の最も高い HMMの画像列に設定されている識別情報や名前を、ローカル エリア上の現在位置の認識結果として認識結果取得部 64に出力する。その後、処理 は、図 17のステップ S27, S31、または図 18のステップ S38に戻り、それ以降の処理 が行われる。
[0193] 以上の処理によりローカルエリア上の現在位置が認識されることから、次のようなシ ナリオでの携帯端末 1の利用が可能となる。
[0194] 例えば、ユーザが図 11の駅 Sの近くにあるデパートメントストアの洋服店 Aを前回
2
訪れたとき、気に入った洋服を見つけていたが、そのときは購入せずに次回購入す ることを携帯端末 1を用いてメモにとっていたとする（写真を撮る、テキストでメモを残 していたとする)。この場合、ユーザが洋服店 Aを次に訪れ、洋服店 Aにいることが携 帯端末 1により認識されることに応じて、そのメモが提示されることになる。
[0195] これにより、ユーザは、洋服店 Aで洋服を購入することを思い出すことができる。な お、ユーザにより入力されたメモは、洋服店 Aの位置を識別する情報とともに、携帯 端末 1のシステム内にファイルとして保存されている。
[0196] また、 GPSモジュール 12による測位結果と PHSモジュール 13による測位結果が信 頼度に応じて切り替えられるようにしたことから、さらに、初めて訪れた場所であっても 、そこでの位置認識を行うための HMMがサーバ力もダウンロードされるようにしたこと から (サーバにその HMMが登録されている場合）、次のようなシナリオでの携帯端末 1の利用が可能である。
[0197] 例えば、図 11の品川駅 Sに訪れたことのないユーザが品川駅 S構内で友人と待ち
5 5
合わせをして 、るものとする。
[0198] このユーザが有する携帯端末 1においては、 GPSモジュール 12または PHSモジユー ル 13によって緯度経度情報が定期的に取得されている力 品川駅 S構内では GPS
5
モジュール 12による衛星力もの電波の受信が困難になるので (航法メッセージを捕 捉できなくなるので）、 GPSモジュール 12から携帯端末 1のシステム (情報処理部 11) に信頼度が下がったことが通知される。
[0199] これに応じて、携帯端末 1のシステムは、 GPSモジュール 12の信頼度と、 PHSモジュ ール 13の信頼度を比較する。 PHSの場合、例えば品川駅 S構内でも基地局からの
5
電波が届いているので、信頼度は高ぐグローバルエリア上の測位結果として PHSモ ジュール 13からの出力が用いられる。
[0200] 携帯端末 1のシステムは、 PHSモジュール 13による測位結果である緯度経度情報 を用いて、品川駅 Sを含むクラスタを位置認識モデル DB33から探すが、ユーザが品
5
川駅 Sを訪れたことがないため、クラスタが存在しない。
5
[0201] この場合、携帯端末 1のシステムは、ネットワーク上のサーバに HMMのリクエストを 送り（PHSモジュール 13により認識された緯度経度情報を送信し）、そのサーバに他 のユーザの携帯端末により作成された HMMが存在する場合、その HMMをダウンロー ドし、品川駅 S構内での位置認識に用いる。 [0202] その結果、ユーザは、自分が品川駅 S構内の東口に向かっているの力、西口に向
5
力つて 、るのかなどを、携帯端末 1によるナビゲーシヨンによって確認することができ、 慣れない場所でも友人との待ち合わせを行うことができる。
[0203] なお、 HMMは、上述の位置認識エンジンの場合には HMMのパラメータや特徴べク トルであって、後から写真や動画として復元することが不可能であるため、それらのデ ータから個人情報 (例えば、どこに行って、何を買った力など)を抽出することはでき ない。従って、 HMMの送受信を行う限りにおいては、プライバシー保護の観点からも 、データをシェアするリスクは非常に少ないといえる。また、データサイズも数 10KBか ら数 MBであるため、データ転送を容易に行うことが可能である。
[0204] このような特性を活力して、さらに次のようなシナリオでの携帯端末 1の利用が可能 である。
[0205] 例えば、あるユーザが初めて訪れた白馬駅でのナビゲーシヨンを想定する。
[0206] 当然、このユーザの携帯端末 1には、白馬駅の位置認識モデルは存在しない。そこ で、このユーザはサーバに対して、白馬駅の位置認識モデルである HMMの送信を 要求した力 サーバにはまだ白馬駅の HMMが登録されていなかった。
[0207] この場合、ユーザの携帯端末 1は、無線 LANなどの無線通信手段を用いて、同報 通信（Broadcast)を行い、ネットワーク上の複数の端末に対して白馬駅の HMMのリク エストを送信する。携帯端末 1からのリクエストを受信した、携帯端末 1の周囲の端末 の中に、既に白馬駅の HMMを保有する白馬駅周辺の住人の携帯端末 2が含まれて いたとすると、当該携帯端末 2において、携帯端末 1からリクエストと共に送信された 白馬駅の位置情報に基づき、携帯端末 2が保持する認識モデルの中から白馬駅の HMMの検索が行われる。そして、白馬駅の HMMを保有する旨の返答を携帯端末 1 に対して行う。
[0208] 携帯端末 2からの返答を受信した携帯端末 1は、携帯端末 2とアドホックモードで接 続し、携帯端末 2から、白馬駅の HMMのダウンロードを行う。
[0209] このように、ナビゲーシヨンが必要なときに所望の位置認識モデルがサーバに登録 されていない場合でも、いわゆる Peer to Peer方式で位置認識モデルを共有すること 、すなわち、直接個人間で位置認識モデルの授受を行うことが可能である。 [0210] 携帯端末 1にお!/、て、上述のような、他の端末から HMMを取得する処理を繰り返す ことで、白馬駅からさらに他の目的地へのナビゲーシヨンを実現することができる。
[0211] 例えば、ユーザが白馬駅を出て、新たな目的地に向かう場合、ユーザを白馬駅から ナビゲートするためには新たな HMMが必要になる。既に白馬駅の HMMを取得した ユーザの携帯端末 1は、白馬駅 HMMと対応付けて登録されている緯度経度の範囲 内にいるときには、引き続き白馬駅 HMMを利用して位置認識を行う。しかし、ユーザ 力 の範囲内を出た場合、すなわち、 GPSモジュールや PHSモジュールを用いて測 位される現在位置が、保持する白馬駅 HMMによる認識可能範囲を超えた場合、もは や位置認識を行うことができない。そこで、ユーザの携帯端末 1は、周囲の端末に対 して現在位置の緯度経度情報を送信して、新たな HMMのリクエストを行う。この一連 の処理は、ユーザが目的地に到達するまで適宜繰り返される。
[0212] あるいは、保持する HMMと、測位される緯度経度情報との比較を行うことなぐ所定 時間間隔で周囲の端末に対して HMMのリクエストを繰り返すようにすることもできる。
[0213] 以上においては、携帯端末 1の形状は、図 5に示すように断面が六角形のものであ るとした力 当然、これに限られない。
[0214] 図 20A乃至 D、および図 21A乃至 Dは、携帯端末 1の形状の他の例を示す図であ る。
[0215] 例えば、図 20Aおよび Bに示すように、携帯端末 1はノートブック型のパーソナルコ ンピュータであってもよい。この場合、カメラ 15は、例えば、図 20Aに示すようにパー ソナルコンピュータを開いたときにその上端にくるような位置や、図 20Bに示すように ヒンジの部分に設けられる。
[0216] 図 20Cは、小型のビデオカメラのような形状の携帯端末 1を示し、図 20Dは、ノ ッジ のように洋服などに貼り付けることのできる形状を有する携帯端末 1を示している。
[0217] また、図 21Aは、ネックストラップ型の携帯端末 1を示し、図 21Bは、バルーン型の 携帯端末 1を示している。バルーン型の携帯端末 1は、例えば、風船のようなものに 内蔵されて実現される。
[0218] 図 21Cは、ショルダーバッグのように肩に斜めに掛けて用いるベルト状の携帯端末 1を示し、図 21Dはヘッドセット型の携帯端末 1を示している。 [0219] このように、携帯端末 1を様々な形状のものとすることができる。
[0220] また、以上においては、 HMMに基づく位置認識を行うようにした力 本発明は他の アルゴリズムに基づく位置認識の場合でも適用可能である。他の例として、例えば、 ニューラルネットワーク、パーセプトロン、 SVM(Support Vector Machine)等を位置認 識モデルとして用いることも可能である。
[0221] さらに、以上においては、 GPSとともに携帯端末 1に内蔵される測位デバイスは PHS であるとしたが、数百 mの範囲毎に基地局が設置され、それらの基地局から送信され てくる情報に基づいて測位を行うことができる機能を有するものであれば、どのような ものであってもよい。
[0222] また、以上においては、階層型の位置認識が、ユーザに所定の情報を提示するた めに用いられるとした力 この位置認識は、このためだけに用いられるに限られず、例 えば、乗用車などに搭載されるナビゲーシヨンシステムに用いられるようにしてもよい
[0223] これにより、例えば、高架の高速道路に並行して、その下にある一般道路を走行し ているような場合でも、その状況に即した形で一般道路を走行していることをナビゲ ーシヨンすることができる。すなわち、単に、 GPSによる測位結果だけに基づいてナビ ゲーシヨンする場合、実際には一般道路を走行している場合であっても、高速道路を 走行しているかのように地図上では表示され、ナビゲーシヨンされることがある力 こ のような誤ったナビゲーシヨンを防止することができる。
[0224] なお、乗用車などのナビゲーシヨンシステムにお!/、ては、例えば、 VICS (Vehicle
Information and Communication System)すなわち、道路交通情報通信システムを利 用して、位置認識モデルリアルタイムで取得することが考えられる。この場合、位置認 識モデルの取得は、道路上の所定の位置に設置されたビーコンの受信エリア内に乗 用車が到達したときに自動的に行われてもよ!/、し、 FM音声放送局の放送波に多重 化されて送信される位置認識モデルを、所定時間間隔で受信するようにしてもょ ヽ。
[0225] 以上においては、クラスタに HMMが対応付けられており、 GPSモジュール 12や PHS モジュール 13による測位結果に基づいて選択されたクラスタに対応付けられている HMMがローカルエリア上の位置認識に用いられるとした力 GPSモジュール 12や PHSモジュール 13による位置認識モデル構成フェーズ時の測位結果である緯度経 度に対して、直接、 HMMが対応付けられているようにしてもよい。この場合、位置認 識フェーズ時には、例えば、 GPSモジュール 12等による測位により得られた現在位置 に最も近 、緯度経度が対応付けられて 、る HMMが選択され、それがローカルエリア 上の位置認識に用いられる。
[0226] また、以上においては、 CCDなどの撮像素子を有するカメラ 15により撮影された画 像 (例えば、撮影された画像を低解像度化したもの）に基づいて、 HMMの作成や口 一カルエリア上の位置認識が行われるとした力 上述したように、これらの処理で用 いる画像は解像度の低いものでよいことから、 CCDなどの撮像素子に替えて、複数 の光センサ力もなる光センサアレイがカメラ 15に設けられるようにしてもよい。
[0227] 例えば、 5 X 5個の光センサアレイが撮像素子に替えて設けられることによつても、 それぞれの光センサの出力の時間的変化力 マッチ度を計算することは可能である 。また、配列する光センサの数によっては、 CCDを駆動させる場合に較べて消費電 力を抑えることが可能になる。従って、以上の説明において、カメラ 15により撮影され る「画像」には、 CCDにより得られた光学情報の他、それぞれの光センサにより得られ た光学情報も含まれる。
[0228] 上述した一連の処理は、ハードウェアにより実行させることもできる力 ソフトウェア により実行させることもできる。この場合、そのソフトウェアを実行させる装置は、例え ば、図 22に示すようなパーソナルコンピュータにより構成される。
[0229] 図 22において、 CPU101は、 ROM102に記憶されているプログラム、または、記憶 部 108から RAM103にロードされたプログラムに従って各種の処理を実行する。 RAM 103にはまた、 CPU101が各種の処理を実行する上において必要なデータなどが適 宜記憶される。
[0230] CPU101、 ROM102、および RAM103は、バス 104を介して相互に接続されている 。このバス 104にはまた、入出力インタフェース 105も接続されている。
[0231] 入出力インタフェース 105には、キーボード、マウスなどよりなる入力部 106、
LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出 力部 107、ハードディスクなどより構成される記憶部 108、ネットワークを介しての通信 処理を行う通信部 109が接続されている。
[0232] 入出力インタフェース 105にはまた、必要に応じてドライブ 110が接続され、磁気デ イスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメデ ィァ 111が適宜装着され、それから読み出されたコンピュータプログラム力 必要に応 じて記憶部 108にインストールされる。
[0233] 一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプ ログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプ ログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎 用のパーソナルコンピュータなどに記録媒体からインストールされる。
[0234] この記録媒体は、図 22に示されるように、装置本体とは別に、ユーザにプログラム を提供するために配布される、プログラムが記録されて ヽる磁気ディスク（フレキシブ ルディスクを含む）、光ディスク（CD- ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD (登録商標） (Minト Disk)を 含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディ ァ 111により構成されるだけでなぐ装置本体に予め組み込まれた状態でユーザに 提供される、プログラムが記録されている ROM102や、記憶部 108に含まれるハード ディスクなどで構成される。
[0235] なお、本明細書にぉ 、て、各ステップは、記載された順序に従って時系列的に行 われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別 に実行される処理をも含むものである。

Claims

請求の範囲
[1] 測位を行う測位手段と、
前記測位手段による測位により得られた位置情報に基づ 、て、位置認識を行うた めの認識用データを取得する取得手段と、
前記取得手段により取得された前記認識用データと、所定のセンサからの出力とを 用いて位置認識を行う位置認識手段と
を備えることを特徴とする情報処理装置。
[2] 前記センサ力 の出力に基づいて前記認識用データを作成する作成手段をさらに 備える ことを特徴とする請求項 1に記載の情報処理装置。
[3] 前記作成手段により作成された前記認識用データを、前記測位手段の測位により 得られた位置情報と対応付けて記憶する記憶手段をさらに備え、
前記取得手段は、前記測位手段による測位により得られた位置情報に基づ!、て、 前記認識用データを前記記憶手段から取得する
ことを特徴とする請求項 2に記載の情報処理装置。
[4] 前記認識用データを他の装置に送信する送信手段をさらに備える
ことを特徴とする請求項 1に記載の情報処理装置。
[5] 前記他の装置から位置情報を受信する受信手段と、
前記位置情報に基づき前記認識用データを検索する検索手段と
をさらに備え、
前記送信手段は、前記検索手段により検索された前記認識用データを前記他の装 置に送信する
ことを特徴とする請求項 4に記載の情報処理装置。
[6] 前記取得手段は、前記測位手段の測位により得られた位置情報に対応する前記 認識用データが前記記憶手段により記憶されて ヽな 、場合、他の装置から前記認識 用データを取得する
ことを特徴とする請求項 3に記載の情報処理装置。
[7] 前記取得手段は、所定の時間ごとに前記認識用データを取得する
ことを特徴とする請求項 1に記載の情報処理装置。
[8] 前記測位手段の測位により得られる位置情報は、所定の位置座標で表され、 前記認識用データに対応付けられて前記記憶手段に記憶される位置情報は、所 定の位置座標範囲で表される場合に、
前記取得手段は、前記測位手段の測位により得られた位置座標が、前記所定の位 置座標範囲を超えて ヽるとき、前記他の装置から前記認識用データを取得する ことを特徴とする請求項 3に記載の情報処理装置。
[9] 前記測位手段は、 GPSと PHSを用いた測位を行 、、 GPSを用いて得られる位置と、 PHSを用いて得られる位置のうち、信頼度の高!、方の位置を測位結果として選択す る
ことを特徴とする請求項 1に記載の情報処理装置。
[10] 前記センサは、カメラの撮像素子、または複数の光センサ力もなる
ことを特徴とする請求項 1に記載の情報処理装置。
[11] 測位を行う測位ステップと、
前記測位ステップの処理による測位により得られた位置情報に基づ 、て、位置認 識を行うための認識用データを取得する取得ステップと、
前記取得ステップの処理により取得された前記認識用データと、所定のセンサから の出力とを用 、て位置認識を行う位置認識ステップと
を含むことを特徴とする情報処理方法。
[12] 測位を行う測位ステップと、
前記測位ステップの処理による測位により得られた位置情報に基づ 、て、位置認 識を行うための認識用データを取得する取得ステップと、
前記取得ステップの処理により取得された前記認識用データと、所定のセンサから の出力とを用 、て位置認識を行う位置認識ステップと
を含む処理をコンピュータに実行させるプログラム。
[13] 第 1の情報処理装置と第 2の情報処理装置からなる情報処理システムにおいて、 前記第 1の情報処理装置は、
測位を行う測位手段と、
前記測位手段の測位により得られた位置情報を、位置認識を行うための認識用 データを位置情報と対応付けて記憶する前記第 2の情報処理装置に送信する送信 手段と、
前記送信手段により送信された位置情報に基づいて検索され、前記第 2の情報 処理装置から送信されてきた前記認識用データを受信する受信手段と、
前記受信手段により受信された前記認識用データと、所定のセンサからの出力と を用いて位置認識を行う位置認識手段と
を備え、
前記第 2の情報処理装置は、
前記第 1の情報処理装置から送信されてきた前記位置情報を受信する受信手段 と、
前記受信手段により受信された前記位置情報に基づいて前記認識用データを検 索する検索手段と、
前記検索手段により検索された前記認識用データを前記第 1の情報処理装置に 送信する送信手段と
を備えることを特徴とする情報処理システム。
[14] 送信される情報に基づ!、て測位を行う測位手段と、
所定のセンサからの出力に基づく位置認識を行うときに用 、る認識用データを取得 する取得手段と、
前記取得手段により取得された前記認識用データを用 、て、前記センサからの出 力に基づく位置認識を行う位置認識手段と、
前記測位手段による測位により得られた位置と、前記位置認識手段により認識され た位置のそれぞれの信頼度を測定する信頼度測定手段と、
前記信頼度測定手段により測定された信頼度に応じて、位置を表す情報を出力す る位置出力手段と
を備えることを特徴とする情報処理装置。
[15] 送信される情報に基づ ヽて測位を行う測位ステップと、
所定のセンサからの出力に基づく位置認識を行うときに用 、る認識用データを取得 する取得ステップと、 前記取得ステップの処理により取得された前記認識用データを用いて、前記センサ からの出力に基づく位置認識を行う位置認識ステップと、
前記測位ステップの処理による測位により得られた位置と、前記位置認識ステップ の処理により認識された位置のそれぞれの信頼度を測定する信頼度測定ステップと 前記信頼度測定ステップの処理により測定された信頼度に応じて、位置を表す情 報を出力する位置出力ステップと
を含むことを特徴とする情報処理方法。
送信される情報に基づいて測位を行う測位ステップと、
所定のセンサからの出力に基づく位置認識を行うときに用 、る認識用データを取得 する取得ステップと、
前記取得ステップの処理により取得された前記認識用データを用いて、前記センサ からの出力に基づく位置認識を行う位置認識ステップと、
前記測位ステップの処理による測位により得られた位置と、前記位置認識ステップ の処理により認識された位置のそれぞれの信頼度を測定する信頼度測定ステップと 前記信頼度測定ステップの処理により測定された信頼度に応じて、位置を表す情 報を出力する位置出力ステップと
を含む処理をコンピュータに実行させるプログラム。
PCT/JP2005/008689 2004-06-29 2005-05-12 情報処理装置および方法、プログラム、並びに情報処理システム WO2006001129A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN2005800289434A CN101010560B (zh) 2004-06-29 2005-05-12 信息处理设备和方法、以及信息处理系统
US11/630,389 US7739033B2 (en) 2004-06-29 2005-05-12 Information processing device and method, program, and information processing system
EP05739115A EP1762822A4 (en) 2004-06-29 2005-05-12 INFORMATION PROCESSING DEVICE AND METHOD, PROGRAM AND INFORMATION PROCESSING SYSTEM
JP2006528397A JPWO2006001129A1 (ja) 2004-06-29 2005-05-12 情報処理装置および方法、プログラム、並びに情報処理システム
KR1020067027564A KR101174531B1 (ko) 2004-06-29 2006-12-28 정보 처리 장치 및 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004191307 2004-06-29
JP2004-191307 2004-06-29
JP2004-291392 2004-10-04
JP2004291392 2004-10-04

Publications (1)

Publication Number Publication Date
WO2006001129A1 true WO2006001129A1 (ja) 2006-01-05

Family

ID=35781665

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/008689 WO2006001129A1 (ja) 2004-06-29 2005-05-12 情報処理装置および方法、プログラム、並びに情報処理システム

Country Status (6)

Country Link
US (1) US7739033B2 (ja)
EP (1) EP1762822A4 (ja)
JP (1) JPWO2006001129A1 (ja)
KR (1) KR101174531B1 (ja)
CN (1) CN101010560B (ja)
WO (1) WO2006001129A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230255A (ja) * 2008-03-19 2009-10-08 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置、情報提供方法および情報提供処理プログラム
CN101188656B (zh) * 2006-11-20 2010-09-08 佳能株式会社 信息处理设备及其控制方法
JP2011039974A (ja) * 2009-08-18 2011-02-24 Kddi Corp 画像検索方法およびシステム
JP2011508190A (ja) * 2007-12-11 2011-03-10 クゥアルコム・インコーポレイテッド カメラ支援を伴うｇｎｓｓ方法及び受信機
JP2011174759A (ja) * 2010-02-23 2011-09-08 Nippon Telegr & Teleph Corp <Ntt> 位置算出装置、方法及びプログラム
WO2012086821A1 (ja) * 2010-12-20 2012-06-28 日本電気株式会社 測位装置、測位方法
WO2013065519A1 (ja) 2011-10-31 2013-05-10 ソニー株式会社 発電制御システム、発電制御プログラムおよび電子機器
CN103973890A (zh) * 2009-01-22 2014-08-06 宏达国际电子股份有限公司 管理移动装置影像及地理位置数据的方法、系统及装置
US8903430B2 (en) 2008-02-21 2014-12-02 Microsoft Corporation Location based object tracking
USRE45319E1 (en) 2007-06-07 2015-01-06 Sony Corporation Imaging apparatus, information processing apparatus and method, and computer program therefor
JP2015513679A (ja) * 2012-03-02 2015-05-14 クアルコム，インコーポレイテッド シーン構造ベース自己姿勢推定
US9222783B2 (en) 2007-03-15 2015-12-29 Microsoft Technology Licensing, Llc Location estimation using image analysis
JP2016507797A (ja) * 2012-11-30 2016-03-10 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 画像に基づく屋内位置決定
JP2021103169A (ja) * 2017-06-01 2021-07-15 テスラ，インコーポレイテッド 車両測位技術
JP2022069318A (ja) * 2020-10-23 2022-05-11 トヨタ自動車株式会社 位置把握システム、位置把握方法及び位置把握プログラム

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333820B2 (en) 2001-07-17 2008-02-19 Networks In Motion, Inc. System and method for providing routing, mapping, and relative position information to users of a communication network
US7082365B2 (en) 2001-08-16 2006-07-25 Networks In Motion, Inc. Point of interest spatial rating search method and system
US7486958B2 (en) * 2001-09-05 2009-02-03 Networks In Motion, Inc. System and method for maintaining an online point-of-interest directory
US7271742B2 (en) 2002-03-01 2007-09-18 Networks In Motion, Inc. Method and apparatus for sending, retrieving and planning location relevant information
US8290505B2 (en) 2006-08-29 2012-10-16 Telecommunications Systems, Inc. Consequential location derived information
US8918073B2 (en) 2002-03-28 2014-12-23 Telecommunication Systems, Inc. Wireless telecommunications location based services scheme selection
US7565155B2 (en) 2002-04-10 2009-07-21 Networks In Motion Method and system for dynamic estimation and predictive route generation
US8666397B2 (en) 2002-12-13 2014-03-04 Telecommunication Systems, Inc. Area event handling when current network does not cover target area
WO2004074778A1 (en) * 2003-02-14 2004-09-02 Networks In Motion, Inc. Method and system for saving and retrieving spatial related information
CA2535032A1 (en) * 2003-08-08 2005-02-17 Networks In Motion, Inc. Method and system for collecting synchronizing and reporting telecommunication call events and work flow related information
US20080126535A1 (en) 2006-11-28 2008-05-29 Yinjun Zhu User plane location services over session initiation protocol (SIP)
BRPI0516840A (pt) * 2004-10-01 2008-09-23 Networks In Motion Inc método e sistema para capacitar uma solução de navegação fora de bordo
EP1864085A4 (en) 2005-03-07 2009-11-25 Networks In Motion Inc METHOD AND SYSTEM FOR IDENTIFYING GEOGRAPHICAL BARRIERS (GEOFENCES)
WO2007067754A2 (en) * 2005-12-07 2007-06-14 Networks In Motion, Inc. Telecommunication device for address guidance
US8208605B2 (en) 2006-05-04 2012-06-26 Telecommunication Systems, Inc. Extended efficient usage of emergency services keys
US8171237B2 (en) 2006-10-31 2012-05-01 Yahoo! Inc. Automatic association of reference data with primary process data based on time and shared identifier
US8600674B1 (en) * 2007-08-15 2013-12-03 University Of South Florida Using pattern recognition in real-time LBS applications
US8099238B2 (en) 2007-11-14 2012-01-17 Telecommunication Systems, Inc. Stateful, double-buffered dynamic navigation voice prompting
US8406531B2 (en) * 2008-05-15 2013-03-26 Yahoo! Inc. Data access based on content of image recorded by a mobile device
US9753948B2 (en) * 2008-05-27 2017-09-05 Match.Com, L.L.C. Face search in personals
US8098894B2 (en) 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
JP5412795B2 (ja) * 2008-11-04 2014-02-12 日本電気株式会社 情報提供システム、情報提供方法、情報提供サーバおよびコンピュータプログラム
US8311339B2 (en) * 2008-11-05 2012-11-13 Palo Alto Research Center Incorporated Method to robustly match images with similar body and head pose from image sequence
US9740921B2 (en) 2009-02-26 2017-08-22 Tko Enterprises, Inc. Image processing sensor systems
US9293017B2 (en) * 2009-02-26 2016-03-22 Tko Enterprises, Inc. Image processing sensor systems
US9277878B2 (en) * 2009-02-26 2016-03-08 Tko Enterprises, Inc. Image processing sensor systems
CN101616225B (zh) * 2009-08-06 2011-05-18 陈新琴 一种为数码相片提供地理信息标签的终端服务方法
WO2011049998A2 (en) * 2009-10-21 2011-04-28 Randall Winslow Electronic badge apparatus
WO2012037994A1 (en) * 2010-09-23 2012-03-29 Telefonica, S.A. Method and system for calculating the geo-location of a personal device
CN102054166B (zh) * 2010-10-25 2016-04-27 北京理工大学 一种新的用于户外增强现实系统的场景识别方法
WO2012141762A1 (en) 2011-02-25 2012-10-18 Telecommunication Systems, Inc. Mobile internet protocol (ip) location
US8831556B2 (en) 2011-09-30 2014-09-09 Telecommunication Systems, Inc. Unique global identifier header for minimizing prank emergency 911 calls
US9297881B2 (en) * 2011-11-14 2016-03-29 Microsoft Technology Licensing, Llc Device positioning via device-sensed data evaluation
US9217644B2 (en) 2012-01-26 2015-12-22 Telecommunication Systems, Inc. Natural navigational guidance
US9307372B2 (en) 2012-03-26 2016-04-05 Telecommunication Systems, Inc. No responders online
US9544260B2 (en) 2012-03-26 2017-01-10 Telecommunication Systems, Inc. Rapid assignment dynamic ownership queue
KR101329111B1 (ko) 2012-05-02 2013-11-14 한국과학기술연구원 실내 네비게이션 시스템 및 방법
US8930139B2 (en) 2012-06-21 2015-01-06 Telecommunication Systems, Inc. Dynamically varied map labeling
WO2014028712A1 (en) 2012-08-15 2014-02-20 Telecommunication Systems, Inc. Device independent caller data access for emergency calls
US9456301B2 (en) 2012-12-11 2016-09-27 Telecommunication Systems, Inc. Efficient prisoner tracking
CN103064980A (zh) * 2013-01-15 2013-04-24 广东欧珀移动通信有限公司 基于移动终端及gps查询景点信息的方法和系统
US8983047B2 (en) 2013-03-20 2015-03-17 Telecommunication Systems, Inc. Index of suspicion determination for communications request
US9408034B2 (en) 2013-09-09 2016-08-02 Telecommunication Systems, Inc. Extended area event for network based proximity discovery
US9516104B2 (en) 2013-09-11 2016-12-06 Telecommunication Systems, Inc. Intelligent load balancer enhanced routing
US9479897B2 (en) 2013-10-03 2016-10-25 Telecommunication Systems, Inc. SUPL-WiFi access point controller location based services for WiFi enabled mobile devices
EP2889635A1 (en) * 2013-12-24 2015-07-01 Televic Healthcare NV Localisation system
CN105217147B (zh) * 2015-10-08 2018-04-17 青岛澳柯玛超低温冷冻设备有限公司 一种低温保存箱
US10839226B2 (en) * 2016-11-10 2020-11-17 International Business Machines Corporation Neural network training
JP6399127B2 (ja) * 2017-03-08 2018-10-03 日本電気株式会社 システム管理装置、システム管理方法、プログラム、情報処理システム
CN110044348A (zh) * 2019-03-15 2019-07-23 广东康云科技有限公司 一种三维室内导航系统及其实现方法
CN110569819A (zh) * 2019-09-16 2019-12-13 天津通卡智能网络科技股份有限公司 一种公交车乘客再识别方法
CN113361901B (zh) * 2021-06-02 2024-04-19 湖南中车时代通信信号有限公司 一种列车调度指挥信息的设置方法、系统及相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190413A (ja) 1996-01-08 1997-07-22 Ricoh Co Ltd 情報処理装置
EP1134549A2 (de) 2000-03-15 2001-09-19 Robert Bosch Gmbh Navigationssystem
JP2001305210A (ja) * 2000-04-25 2001-10-31 Matsushita Electric Works Ltd 位置検出装置
US20020045988A1 (en) 2000-09-25 2002-04-18 International Business Machines Corporation Spatial information using system, system for obtaining information, and server system
JP2003111128A (ja) 2001-09-28 2003-04-11 J-Phone East Co Ltd 現在位置特定方法、現在位置情報提供方法、移動経路案内方法、位置情報管理システム及び情報通信端末
JP2004077273A (ja) * 2002-08-19 2004-03-11 Sony Corp 位置移動支援方法および位置移動支援システム
JP2004117094A (ja) * 2002-09-25 2004-04-15 Nec Fielding Ltd 個人ナビゲーションシステム
DE10248534A1 (de) 2002-10-14 2004-04-22 T-Mobile Deutschland Gmbh Verfahren zur genauen Positionsbestimmung eines mobilen Endgerätes
WO2005124594A1 (en) 2004-06-16 2005-12-29 Koninklijke Philips Electronics, N.V. Automatic, real-time, superimposed labeling of points and objects of interest within a view

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115481A (en) * 1998-10-22 2000-09-05 Centrak, Llc User modifiable land management zones for the variable application of substances thereto
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP4226730B2 (ja) * 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
US6388688B1 (en) * 1999-04-06 2002-05-14 Vergics Corporation Graph-based visual navigation through spatial environments
JP3873554B2 (ja) * 1999-12-27 2007-01-24 株式会社日立製作所 監視装置、監視プログラムが記録された記録媒体
DE10007813A1 (de) * 2000-02-21 2001-09-06 Becker Gmbh Navigationssystem für ein Kraftfahrzeug und Verfahren zum Betreiben eines Navigationssystems
IL151526A0 (en) * 2000-03-30 2003-04-10 Cellguide Ltd Locating a mobile unit
US6462674B2 (en) * 2000-04-18 2002-10-08 Mazda Motor Corporation Communication apparatus and its current position communication method, navigation apparatus for a vehicle and its information communication method, computer program product, and computer-readable storage medium
JP3833486B2 (ja) * 2000-04-19 2006-10-11 富士写真フイルム株式会社 撮像装置
KR100386752B1 (ko) * 2000-04-24 2003-06-09 김석배 실영상을 이용한 차량 항법 시스템
US6587783B2 (en) * 2000-10-05 2003-07-01 Siemens Corporate Research, Inc. Method and system for computer assisted localization, site navigation, and data navigation
JP2002209208A (ja) * 2001-01-11 2002-07-26 Mixed Reality Systems Laboratory Inc 画像処理装置及びその方法並びに記憶媒体
SE519884C2 (sv) * 2001-02-02 2003-04-22 Scalado Ab Metod för zoomning och för att framställa en zoomningsbar bild
US6657184B2 (en) * 2001-10-23 2003-12-02 Agilent Technologies, Inc. Optical navigation upon grainy surfaces using multiple navigation sensors
JP2003162217A (ja) * 2001-11-26 2003-06-06 Nec Corp 地図情報表示システム、携帯無線端末及びサーバー
DE10316208A1 (de) * 2002-04-12 2003-11-20 Samsung Electro Mech Navigationssystem und Navigationsverfahren
KR100777458B1 (ko) * 2002-04-16 2007-11-21 삼성전자주식회사 영상기록장치에 착탈 가능한 위치정보출력장치 및 이를구비한 영상기록장치
JP3949007B2 (ja) * 2002-05-30 2007-07-25 アルパイン株式会社 ナビゲーション装置
US7535492B2 (en) * 2002-07-02 2009-05-19 Lightsurf Technologies, Inc. Imaging system providing automated fulfillment of image photofinishing based on location
US20040004663A1 (en) * 2002-07-02 2004-01-08 Lightsurf Technologies, Inc. Imaging system providing automatic organization and processing of images based on location
JP2004053351A (ja) * 2002-07-18 2004-02-19 Fujitsu Ten Ltd ナビゲーション装置
US7272467B2 (en) * 2002-12-17 2007-09-18 Evolution Robotics, Inc. Systems and methods for filtering potentially unreliable visual data for visual simultaneous localization and mapping

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190413A (ja) 1996-01-08 1997-07-22 Ricoh Co Ltd 情報処理装置
EP1134549A2 (de) 2000-03-15 2001-09-19 Robert Bosch Gmbh Navigationssystem
JP2001305210A (ja) * 2000-04-25 2001-10-31 Matsushita Electric Works Ltd 位置検出装置
US20020045988A1 (en) 2000-09-25 2002-04-18 International Business Machines Corporation Spatial information using system, system for obtaining information, and server system
JP2003111128A (ja) 2001-09-28 2003-04-11 J-Phone East Co Ltd 現在位置特定方法、現在位置情報提供方法、移動経路案内方法、位置情報管理システム及び情報通信端末
JP2004077273A (ja) * 2002-08-19 2004-03-11 Sony Corp 位置移動支援方法および位置移動支援システム
JP2004117094A (ja) * 2002-09-25 2004-04-15 Nec Fielding Ltd 個人ナビゲーションシステム
DE10248534A1 (de) 2002-10-14 2004-04-22 T-Mobile Deutschland Gmbh Verfahren zur genauen Positionsbestimmung eines mobilen Endgerätes
WO2005124594A1 (en) 2004-06-16 2005-12-29 Koninklijke Philips Electronics, N.V. Automatic, real-time, superimposed labeling of points and objects of interest within a view

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1762822A4

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188656B (zh) * 2006-11-20 2010-09-08 佳能株式会社 信息处理设备及其控制方法
US9710488B2 (en) 2007-03-15 2017-07-18 Microsoft Technology Licensing, Llc Location estimation using image analysis
US9222783B2 (en) 2007-03-15 2015-12-29 Microsoft Technology Licensing, Llc Location estimation using image analysis
USRE45319E1 (en) 2007-06-07 2015-01-06 Sony Corporation Imaging apparatus, information processing apparatus and method, and computer program therefor
USRE47775E1 (en) 2007-06-07 2019-12-17 Sony Corporation Imaging apparatus, information processing apparatus and method, and computer program therefor
US8374786B2 (en) 2007-12-11 2013-02-12 Qualcomm Incorporated GNSS method and receiver with camera aid
JP2011508190A (ja) * 2007-12-11 2011-03-10 クゥアルコム・インコーポレイテッド カメラ支援を伴うｇｎｓｓ方法及び受信機
US8903430B2 (en) 2008-02-21 2014-12-02 Microsoft Corporation Location based object tracking
JP2009230255A (ja) * 2008-03-19 2009-10-08 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置、情報提供方法および情報提供処理プログラム
CN103973890A (zh) * 2009-01-22 2014-08-06 宏达国际电子股份有限公司 管理移动装置影像及地理位置数据的方法、系统及装置
JP2011039974A (ja) * 2009-08-18 2011-02-24 Kddi Corp 画像検索方法およびシステム
JP2011174759A (ja) * 2010-02-23 2011-09-08 Nippon Telegr & Teleph Corp <Ntt> 位置算出装置、方法及びプログラム
US9794519B2 (en) 2010-12-20 2017-10-17 Nec Corporation Positioning apparatus and positioning method regarding a position of mobile object
WO2012086821A1 (ja) * 2010-12-20 2012-06-28 日本電気株式会社 測位装置、測位方法
WO2013065519A1 (ja) 2011-10-31 2013-05-10 ソニー株式会社 発電制御システム、発電制御プログラムおよび電子機器
JP2015513679A (ja) * 2012-03-02 2015-05-14 クアルコム，インコーポレイテッド シーン構造ベース自己姿勢推定
US9582720B2 (en) 2012-11-30 2017-02-28 Qualcomm Incorporated Image-based indoor position determination
JP2016507797A (ja) * 2012-11-30 2016-03-10 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 画像に基づく屋内位置決定
JP2021103169A (ja) * 2017-06-01 2021-07-15 テスラ，インコーポレイテッド 車両測位技術
US11366238B2 (en) 2017-06-01 2022-06-21 Tesla, Inc. Systems and methods for correcting the geographic location of a vehicle
JP2022069318A (ja) * 2020-10-23 2022-05-11 トヨタ自動車株式会社 位置把握システム、位置把握方法及び位置把握プログラム
CN114485606A (zh) * 2020-10-23 2022-05-13 丰田自动车株式会社 位置掌握系统、位置掌握方法以及记录介质
JP7424269B2 (ja) 2020-10-23 2024-01-30 トヨタ自動車株式会社 位置把握システム、位置把握方法及び位置把握プログラム
US12123960B2 (en) 2020-10-23 2024-10-22 Toyota Jidosha Kabushiki Kaisha Position locating system, position locating method, and position locating program

Also Published As

Publication number Publication date
KR101174531B1 (ko) 2012-08-16
JPWO2006001129A1 (ja) 2008-04-17
CN101010560A (zh) 2007-08-01
EP1762822A1 (en) 2007-03-14
US20080019564A1 (en) 2008-01-24
US7739033B2 (en) 2010-06-15
CN101010560B (zh) 2012-08-08
KR20070026673A (ko) 2007-03-08
EP1762822A4 (en) 2011-06-29

Similar Documents

Publication Publication Date Title
WO2006001129A1 (ja) 情報処理装置および方法、プログラム、並びに情報処理システム
US8538688B2 (en) User generated pedestrian and indoor shortcut routes for navigation systems
CN103827634B (zh) 用于室内定位的徽标检测
CN110263213B (zh) 视频推送方法、装置、计算机设备及存储介质
WO2021185375A1 (zh) 一种分享数据的方法及设备
US20140204093A1 (en) Map display system and map display method
US20250103888A1 (en) Context-based model selection
US10102675B2 (en) Method and technical equipment for determining a pose of a device
US11825189B2 (en) Photography assistance for mobile devices
US20160379056A1 (en) Capturing media moments
JP6757009B1 (ja) コンピュータプログラム、対象物特定方法、対象物特定装置及び対象物特定システム
CN108020231A (zh) 一种基于视频的地图系统及导航方法
RU2540844C2 (ru) Способ и устройство для выбора приемника
CN117606475A (zh) 一种基于vslam的头戴室内导览装置及方法
KR102078286B1 (ko) 전자 지리정보를 활용한 자가촬영사진지원 카메라 시스템
KR20200083157A (ko) 사용자에게 현실 공간에 기반한 게임을 추천하는 방법 및 장치
JP2001005994A (ja) 画像処理装置および画像処理方法
JP2015195439A (ja) 画像処理装置、画像処理方法及びプログラム
CN117092586A (zh) 室内定位方法、装置、电子设备及介质
WO2018037955A1 (ja) 情報処理装置および方法、並びに記録媒体
CN114071003B (zh) 一种基于光通信装置的拍摄方法和系统
KR20200004135A (ko) 증강현실 기반의 모델하우스 가상이미지 제공방법
JP2020042528A (ja) オブジェクト識別システム、モデル学習システム、オブジェクト識別方法、モデル学習方法、プログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005739115

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006528397

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 1020067027564

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 200580028943.4

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020067027564

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2005739115

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11630389

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 11630389

Country of ref document: US

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载