WO2018167843A1 - 情報処理装置、情報処理システム、制御方法、及びプログラム - Google Patents
情報処理装置、情報処理システム、制御方法、及びプログラム Download PDFInfo
- Publication number
- WO2018167843A1 WO2018167843A1 PCT/JP2017/010204 JP2017010204W WO2018167843A1 WO 2018167843 A1 WO2018167843 A1 WO 2018167843A1 JP 2017010204 W JP2017010204 W JP 2017010204W WO 2018167843 A1 WO2018167843 A1 WO 2018167843A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- marker
- information processing
- content
- display screen
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Definitions
- the present invention relates to a user interface.
- Patent Document 1 discloses a technique for displaying a virtual keyboard on a head-mounted display.
- Japanese Patent Application Laid-Open No. H10-228688 discloses a technique for virtually attaching an object in real space that can be seen through a head-mounted display using a tablet terminal that cooperates with the head-mounted display.
- Patent Document 3 discloses a technique for displaying a menu screen on a palm or switching the menu screen according to a gesture of a user's palm (for example, a gesture for opening a palm).
- An object of the present invention is to provide a technique for improving the convenience of a user interface.
- the information processing apparatus includes: 1) a first specifying unit that detects a first marker from a captured image and specifies content corresponding to the detected first marker; and 2) a first different from the first marker. 2) a second specifying unit for detecting two markers from the captured image and specifying a display position on the first display screen based on the detected second marker; and 3) the specified display position on the first display screen.
- Display control means for displaying a content image relating to the specified content.
- the information processing system includes the information processing apparatus, the first marker, the second marker, and the first display screen described above.
- the control method of the present invention is executed by a computer.
- the control method includes: 1) a first specifying step for detecting a first marker from a captured image and specifying a content corresponding to the detected first marker; and 2) a second marker different from the first marker.
- the program of the present invention causes a computer to execute each step of the control method of the present invention.
- FIG. 3 is a diagram conceptually illustrating an operation of the information processing apparatus according to the first embodiment. It is a figure which illustrates a head mounted display. It is a figure which illustrates the visual field of the user of information processing apparatus. It is a figure which illustrates the function structure of information processing apparatus. It is a figure which illustrates the structure of the computer which implement
- 3 is a flowchart illustrating a flow of processing executed by a first specifying unit according to the first embodiment.
- 4 is a flowchart illustrating a flow of processing executed by a second specifying unit and a display control unit according to the first embodiment.
- FIG. 1 It is a figure which illustrates the information which matches the identifier of a content, and the feature-value of a 1st marker with a table format. It is a figure which illustrates the device in which the 1st marker is displayed. It is a figure which illustrates the 1st marker attached to the dial part of a timepiece. It is sectional drawing corresponding to FIG. It is a figure which illustrates the clock-shaped attachment with which the 1st marker was printed beforehand. It is a figure which illustrates the booklet on which the 1st marker was printed. It is a figure which illustrates the 1st marker provided in the use place of contents. It is a figure which illustrates the 2nd marker currently drawn or printed on a device.
- each block diagram unless otherwise specified, each block represents a functional unit configuration, not a hardware unit configuration.
- FIG. 1 is a diagram conceptually illustrating the operation of the information processing apparatus 2000 according to the first embodiment.
- the information processing apparatus 2000 detects the first marker 10 and the second marker 20 from the captured image 30.
- the first marker 10 and the second marker 20 are different markers.
- the first marker 10 and the second marker 20 may be included in the same captured image 30 or may be included in different captured images 30. In FIG. 1, the first marker 10 and the second marker 20 are included in different captured images 30.
- the information processing apparatus 2000 identifies content by using the first marker 10 detected from the captured image 30.
- content For example, in FIG. 1, an application “facility inspection support” is specified as the content. As will be described later, the content is not limited to an application.
- the information processing apparatus 2000 specifies the display position of an image corresponding to the content (hereinafter, content image 40) by using the second marker 20.
- the display position is a position on the display screen 50 of the display device.
- the information processing apparatus 2000 displays the content image 40 corresponding to the content specified by the first marker 10 at the display position of the display screen 50 specified by the second marker 20.
- the marker is used not only for the display position of the image related to the content but also for specifying the content. Therefore, the user can use the desired content by causing the information processing apparatus 2000 to detect a marker corresponding to the desired content. Therefore, the user can easily use the desired content and can easily switch the content. Therefore, according to the information processing apparatus 2000, a highly convenient user interface is provided to the user.
- the information processing apparatus 2000 two different processes of specifying the content used by the user and specifying the display position of the content image 40 are realized using different markers.
- the first marker 10 used for specifying the content needs to be different for each content.
- the second marker 20 used for specifying the display position of the content image 40 can also be realized by a single marker common to a plurality of contents.
- the same marker is used for specifying the display position of the content image 40 and specifying the content, the content image 40 that is common to a plurality of contents cannot be used.
- the display position of the content image 40 and the specification of the content are realized using different markers.
- the second marker 20 to be used can be one marker common to a plurality of contents. If the second marker 20 is realized as one marker common to a plurality of contents as described above, the display position of the content image 40 is specified as compared with the case where a different second marker 20 must be used for each content. Therefore, the process of detecting the second marker 20 can be simplified. As a result, there are advantages that the time required for the process of detecting the second marker 20 is shortened and that the calculation cost of this process is reduced.
- the second marker 20 can be attached to the user's body, and the first marker 10 used for specifying the content can be provided at a location away from the user's body. Further, as will be described later, the second marker 20 is configured to be drawn or printed in advance, and the first marker 10 can be displayed as an image on the display screen.
- the information processing apparatus 2000 is realized using, for example, a head mounted display.
- FIG. 2 is a diagram illustrating a head mounted display.
- the head mounted display 100 is a glass-type head mounted display.
- the head mounted display 100 has a display screen 50.
- the display screen 50 is a transmissive display screen (display screen that transmits light) provided in the lens portion of the head mounted display 100. As described above, the content image 40 is displayed on the display screen 50.
- the camera 130 is a camera that generates the captured image 30.
- the camera 130 is attached near the lens of the head mounted display 100.
- the display screen 50 is not limited to a transmissive display screen. Further, the installation position of the camera 130 is not limited to the head mounted display 100.
- FIG. 3 is a diagram illustrating a user's field of view of the information processing apparatus 2000.
- the content image 40-1 and the content image 40-2 are images displayed on the display screen 50 by the information processing apparatus 2000.
- other objects are real objects.
- the user can perform various operations using information presented by the information processing apparatus 2000.
- the user checks the equipment while viewing the information presented by the information processing apparatus 2000.
- the operation of the information processing apparatus 2000 described with reference to FIGS. 1 to 3 is an example for facilitating understanding of the information processing apparatus 2000, and the operation of the information processing apparatus 2000 is limited to the above-described example. I don't mean. Details and variations of the operation of the information processing apparatus 2000 will be described in the following description.
- FIG. 4 is a diagram illustrating a functional configuration of an information processing system 3000 including the information processing apparatus 2000.
- the information processing system 3000 includes the first marker 10, the second marker 20, the display screen 50, and the information processing device 2000.
- the information processing apparatus 2000 includes a first specifying unit 2020, a second specifying unit 2040, and a display control unit 2060.
- the first specifying unit 2020 detects the first marker 10 from the captured image 30 and specifies the content corresponding to the detected first marker 10.
- the second specifying unit 2040 detects the second marker 20 from the captured image 30 and specifies the display position of the content image 40 on the display screen 50 based on the detected second marker 20.
- the display control unit 2060 displays the content image 40 at the specified display position on the display screen 50.
- the information processing system 3000 may include the device 60.
- Each functional component of the information processing apparatus 2000 may be realized by hardware (eg, a hard-wired electronic circuit) that implements each functional component, or a combination of hardware and software (eg: It may be realized by a combination of an electronic circuit and a program for controlling it).
- hardware eg, a hard-wired electronic circuit
- software eg: It may be realized by a combination of an electronic circuit and a program for controlling it.
- the computer 1000 is a variety of computers.
- the computer 1000 is a head-mounted display, a personal computer (PC), a server machine, a tablet terminal, or a smartphone.
- the computer 1000 may be a dedicated computer designed for realizing the information processing apparatus 2000 or a general-purpose computer.
- FIG. 5 is a diagram illustrating a configuration of a computer 1000 that implements the information processing apparatus 2000.
- the computer 1000 includes a bus 1020, a processor 1040, a memory 1060, a storage device 1080, and an input / output interface 1100.
- the bus 1020 is a data transmission path for the processor 1040, the memory 1060, and the storage device 1080 to transmit / receive data to / from each other.
- the method of connecting the processors 1040 and the like is not limited to bus connection.
- the processor 1040 is an arithmetic processing device such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
- the memory 1060 is a main storage device realized by RAM (Random Access Memory).
- the storage device 1080 is an auxiliary storage device implemented by a hard disk, an SSD (Solid State Drive), a memory card, or a ROM (Read Only Memory). However, the storage device 1080 may be realized by hardware similar to the hardware used for realizing the main storage device, such as a RAM.
- the input / output interface 1100 is an interface for connecting the computer 1000 and an input / output device.
- a camera 130 that generates a captured image 30 and a display screen 50 are connected to the input / output interface 1100.
- the storage device 1080 stores program modules that implement the functions of the information processing apparatus 2000.
- the processor 1040 implements each function corresponding to the program module by executing each program module.
- the hardware configuration of the computer 1000 is not limited to the configuration shown in FIG.
- each program module may be stored in the memory 1060.
- the computer 1000 may not include the storage device 1080.
- the method of connecting the camera 130 to the computer 1000 is not limited to the method of connecting via the input / output interface 1100.
- the camera may be connected to the computer 1000 via a network.
- the computer 1000 has a network interface for connecting to the network.
- the head mounted display 100 is an arbitrary head mounted display having a display screen 50 that enters the user's field of view.
- the display screen 50 is a transmissive display screen as described above. In this case, the user can see both the real object ahead of the display screen 50 and the image displayed on the display screen 50.
- the display screen 50 may be a non-transmissive display screen.
- the head mounted display 100 superimposes an image captured by a camera that captures the user's surroundings (for example, the user's face direction) and an image (for example, the content image 40) representing other objects on the display screen 50.
- a camera that captures the user's surroundings for example, the user's face direction
- an image for example, the content image 40
- the “camera that captures the user's surroundings” may be the camera 130 that is used for imaging the marker, or may be a camera that is provided separately.
- the camera 130 is an arbitrary camera that repeatedly captures images and generates a plurality of captured images 30.
- each captured image 30 is a moving image frame constituting a moving image.
- the camera 130 may be a two-dimensional (2D) camera or a three-dimensional (3D) camera.
- the camera 130 is provided in a place where the imaging direction of the camera 130 and the front direction of the user's face substantially coincide.
- this place is near the lens of the head-mounted display 100 described with reference to FIG.
- the imaging direction of the camera and the front direction of the user's face are substantially the same.
- the installation position of the camera 130 may be installed in a place where the imaging direction of the camera 130 and the front direction of the user's face do not always coincide.
- the camera 130 is provided at any location on the user's head (not limited to the head).
- the relationship (angle shift etc.) between the imaging direction of the camera 130 and the front direction of the user's face is defined as a parameter in advance.
- the information processing apparatus 2000 uses this parameter to grasp the relationship between the imaging direction of the camera 130 and the front direction of the user's face. This parameter may be set in advance in the information processing apparatus 2000, or may be stored in a storage device accessible from the information processing apparatus 2000.
- the camera 130 may be attached to an object worn by the user (for example, the user's clothes or an employee ID card worn by the user from the neck).
- the camera 130 may be provided on a wall of a room where the user uses the information processing apparatus 2000. In this case, it is preferable that the shooting range (shooting direction, zoom ratio, etc.) of the camera 130 can be changed by remote operation using a remote controller or the like.
- the display screen 50 is a display screen provided in the head mounted display 100 as described above.
- the display screen 50 is a projection surface (a wall or the like) on which an image is projected by a projector.
- the display control unit 2060 controls the projector to project the content image 40 at a specific position on the projection surface.
- the display screen 50 is a display screen of a display device such as a liquid crystal display.
- FIG. 6 is a flowchart illustrating the flow of processing executed by the first specifying unit 2020 according to the first embodiment.
- the first specifying unit 2020 acquires the captured image 30 (S102).
- the first specifying unit 2020 detects the first marker 10 from the acquired captured image 30 (S104).
- the first specifying unit 2020 specifies content corresponding to the detected first marker 10 (S106).
- FIG. 7 is a flowchart illustrating the flow of processing executed by the second specifying unit 2040 and the display control unit 2060 according to the first embodiment.
- S202 to S212 is a loop process A that is repeatedly executed until a predetermined end condition is satisfied.
- the second specifying unit 2040 determines whether or not an end condition is satisfied. If the end condition is satisfied, the process in FIG. 7 ends. On the other hand, if the end condition is not satisfied, the process of FIG. 7 proceeds to S204.
- the second specifying unit 2040 acquires the captured image 30 (S204).
- the second specifying unit 2040 detects the second marker 20 from the captured image 30 (S206).
- the second specifying unit 2040 specifies the display position of the content image 40 on the display screen 50 from the detected second marker 20 (S208).
- the display control unit 2060 displays the content image 40 corresponding to the content specified by the first marker 10 at the display position of the display screen 50 specified in S208 (S210). Since S212 is the end of the loop process A, the process of FIG. 7 returns to S202.
- each captured image 30 acquired in S204 that is repeatedly executed is a different captured image 30.
- the second specifying unit 2040 acquires the latest captured image 30 at the time of executing S204.
- the second specifying unit 2040 may acquire a plurality of captured images 30 generated by the camera 130 and process the plurality of captured images 30 in the order of generation.
- the display position of the content image 40 is changed so as to follow the change of the position.
- the display position of the content image 40 is changed so as to follow the movement of the user's body. Therefore, the convenience of the information processing apparatus 2000 for the user is improved.
- the end condition of loop processing A is arbitrary.
- the termination condition is to accept a predetermined input operation from the user.
- the termination condition is that the state of the information processing apparatus 2000 (for example, the state of an operating system or an application executed on the computer 1000 that implements the information processing apparatus 2000) becomes a predetermined state.
- the information processing apparatus 2000 acquires the captured image 30 (S102, S204).
- the method by which the information processing apparatus 2000 acquires the captured image 30 is arbitrary.
- the information processing apparatus 2000 acquires a captured image from the camera 130.
- the information processing apparatus 2000 and the camera 130 are connected to be communicable.
- the information processing apparatus 2000 may acquire the captured image 30 from the storage device.
- the information processing device 2000 is communicably connected to the storage device.
- the information processing apparatus 2000 may acquire all of the captured image 30 generated by the camera 130 or may acquire only a part thereof. In the latter case, for example, the information processing apparatus 2000 acquires a part of a moving image frame constituting a moving image generated by the camera 130 (for example, one moving image frame for every predetermined number of moving image frames). In addition, after the information processing apparatus 2000 acquires all of the captured images 30 generated by the camera 130, only a part of the captured image 30 acquired by the first specifying unit 2020 or the second specifying unit 2040 is used. It may be.
- the content is an application as illustrated in FIG.
- the first marker 10 is used to select an application that the user wants to execute.
- An arbitrary application can be adopted as the application specified by the first marker 10.
- the application is an application that plays a moving image, an application that takes a picture, or a Web browser.
- the content is an input interface.
- the first marker 10 is used to select an input interface that the user wants to use.
- Any input interface specified by the second marker 20 can be adopted.
- the input interface is a keyboard, a numeric keypad, or a selection button.
- the display control unit 2060 displays the content image 40 corresponding to the content specified by the first marker 10 on the display screen 50.
- the content image 40 is statically specified (uniquely specified) according to the content.
- the content image 40 can be realized as a specific image representing the input interface.
- the input interface is a keyboard
- the content image 40 is a keyboard image.
- the path name of the content image 40 and the content identifier are associated in advance.
- the display control unit 2060 displays the content image 40 having the path name associated with the content identifier specified by the first specifying unit 2020 on the display screen 50.
- the path name of the content image 40 may be used as the content identifier.
- the content image 40 is specified by specifying the content identifier by the first specifying unit 2020.
- the content image 40 corresponding to the content may be determined dynamically.
- the content image 40 is an image generated by the application.
- the content image 40 includes a moving image frame.
- the content image 40 changes as the reproduction of the moving image proceeds. Therefore, the display control unit 2060 acquires the content image 40 generated by the application that is the content, and displays the content image 40 on the display screen 50.
- the number of content images 40 corresponding to one content may be one or plural.
- a content image 40 representing a web browser window and a content image 40 representing an input interface for performing an input operation on the web browser can be displayed on the display screen 50.
- the first marker 10 is an arbitrary marker that can be used for specifying content.
- the first marker 10 is a mark having a feature amount associated with a content identifier.
- the 10 feature amount of the first marker is a value representing the feature of the appearance (shape, pattern, color, etc.) of the first marker 10.
- a mark here means arbitrary characters, a figure, or a symbol.
- a logo or a photograph can be used for the first marker 10.
- FIG. 8 is a diagram illustrating information that associates the content identifier with the feature amount of the first marker 10 in a table format.
- This table is referred to as a table 200.
- the table 200 has two columns, a content identifier 202 and a feature amount 204.
- the content identifier 202 represents a content identifier.
- the feature amount 204 represents the feature amount of the first marker 10 corresponding to the content identifier. In FIG. 8, the feature amount 204 is shown as a graphic for easy understanding.
- the first specifying unit 2020 detects a mark having a feature amount that is the same as or similar to the feature amount 204 (for example, a feature amount having a similarity equal to or greater than a predetermined value) from the captured image 30, and is associated with the detected feature amount 204.
- the content is identified by the identifier. For example, when the first marker 10 is defined in the table 200 of FIG. 8, when a circular mark having a dot pattern is detected from the captured image 30, the first specifying unit 2020 has an identifier c001. Identify content.
- the first marker 10 may be various codes obtained by encoding content identifiers.
- the code is, for example, a bar code or a “QR” code (registered trademark).
- the first specifying unit 2020 calculates the content identifier by decoding the code included in the captured image 30.
- the content is specified by the calculated identifier.
- An existing technique can be used as a technique for detecting a code included in an image and decoding the code.
- the first marker 10 may be a character string representing a content identifier.
- the character string referred to here may be a numeric string.
- the first specifying unit 2020 calculates the content identifier by recognizing the character string included in the first marker 10. The content is specified by the calculated identifier.
- An existing technique can be used as a technique for detecting a character string included in an image and recognizing the character string.
- the first marker 10 is an image displayed on the display screen.
- This display screen is provided in a device attached to the user, for example.
- This device is an arbitrary electronic device having a function of displaying an image on a display screen.
- this device may be directly attached to the user's body, or may be attached to the user's body from above clothes or the like.
- FIG. 9 is a diagram illustrating a device 60 on which the first marker 10 is displayed.
- the device 60 is a watch-type device worn on the wrist of the user, and has a display screen 62 in a portion corresponding to a clock face.
- the device 60 can display an arbitrary image on the display screen 62.
- the user operates the device 60 so that the first marker 10 corresponding to the content to be used is displayed on the display screen 62.
- the display screen 62 is a touch panel
- the user can operate the device 60 by operating the display screen 62.
- the user causes the camera 130 to image the first marker 10.
- the captured image 30 including the first marker 10 corresponding to the content to be used is generated.
- specification part 2020 detects the 1st marker 10 from this captured image 30, and the 1st specific
- the method of changing the first marker 10 displayed on the display screen 62 is not limited to the method of operating the touch panel of the device 60.
- the user changes the first marker 10 displayed on the display screen 62 by performing an input operation on the head mounted display 100. May be.
- the head mounted display 100 communicates with the device 60
- the first marker 10 displayed on the display screen 62 is changed according to the input operation performed on the head mounted display 100. To do.
- the first marker 10 may be an image stored in the device 60 in advance, or may be an image stored in a storage device outside the device 60.
- the device 60 may acquire the first marker 10 by receiving the first marker 10 transmitted from the head mounted display 100. .
- the first marker 10 is not limited to the image described above.
- the first marker 10 is a mark provided in advance on an attachment attached to the user's body. Any attachment can be adopted.
- the attachment is a watch-type attachment.
- the wearing item is a ring, a wristband, clothes worn by the user, or a seal.
- the attached device includes the above-described devices.
- the attached items include not only items that are directly attached to the user's body but also items that are further attached to items that are attached to the user's body.
- an attachment attached to a dial part or a band part of a watch-type attachment worn by the user is also called an attachment. Therefore, “providing the first marker 10 on the wearing object” includes not only providing the first marker 10 on the wearing object (for example, a watch) directly attached to the user's body, but also attaching to the wearing object. It also includes providing the first marker 10 on an object (for example, an attachment attached to a watch).
- the first marker 10 attached to an uneven portion such as a dial portion of a watch is formed of a flexible object.
- the first marker 10 is drawn or printed on a plate-like object formed by compression molding resin, cardboard, wood, wood chips, or the like.
- the 1st marker 10 may be provided as a seal
- the 1st marker 10 may be drawn or printed on the surface of the flexible thing formed so that a wearing thing might be covered.
- FIG. 10 is a diagram illustrating the first marker 10 attached to the dial portion of the watch.
- the first marker 10 is provided on a flexible plate 190.
- the watch 180 has a dial 182.
- a plate-like object 190 is inserted into the dial 182.
- FIG. 11 is a cross-sectional view corresponding to FIG. FIG. 11A is a CD cross-sectional view of the plate-like object 190.
- FIG. 11 (a) in the normal state, the cross section of the plate-shaped object 190 is a rectangle. That is, in the normal state, the shape of the plate-like object 190 is a rectangular parallelepiped.
- FIG. 11B is an EF cross-sectional view of the dial 182 in which the plate-like object 190 is fitted. As shown in this figure, the plate-like object 190 is fitted in the dial 182 by shrinking a part of the plate-like object 190 in accordance with the shape of the dial 182.
- the first marker 10 When there is an unevenness on a wearing object such as a watch worn by the user, for example, when the first marker 10 is directly provided on the wearing object, or a seal provided with the first marker 10 is directly attached to the wearing object.
- the influence of the unevenness of the mounted article affects the first marker 10 and the first marker 10 is also uneven.
- corrugation produced becomes difficult to detect from the captured image 30 compared with the 1st marker 10 of a normal state.
- the first marker 10 it is preferable to provide the first marker 10 on a flexible object such as a plate-like object 190 and attach the object to the attachment.
- a flexible object such as a plate-like object 190
- attach the object to the attachment since it is possible to prevent the first marker 10 from being uneven, the accuracy of the process of detecting the first marker 10 from the captured image 30 rather than directly providing the first marker 10 where there is unevenness. Becomes higher.
- the first marker 10 necessary for using the information processing apparatus 2000 can be provided at low cost. Therefore, for example, by providing the first marker 10 as an extra item of a certain product (for example, a toy bundled with a candy), content related to the product can be used in the information processing apparatus 2000. Operation is considered. Also from the viewpoint of manufacturing cost, it is preferable to provide the first marker 10 on an object that can be attached to an attachment such as a watch.
- the first marker 10 may be manually drawn on the attachment or may be printed.
- the first marker 10 is drawn or printed in advance on a portion corresponding to a clock face.
- FIG. 12 is a diagram illustrating a watch-shaped attachment 110 on which the first marker 10 is printed in advance.
- the wearing object 110 has a plate-like object 112 which is a part corresponding to a dial of a watch.
- the plate-like object 112 is made of, for example, a resin.
- a first marker is printed on the plate-like object 112 in advance.
- the first marker 10 may be formed by a method such as engraving a pattern representing the first marker 10 on a resin plate forming the plate-like object 112.
- the attachment is prepared for each content provided to the user.
- the user wears an attachment corresponding to the content to be used and uses the content.
- the user selects an attachment to be worn according to the work to be performed.
- the attachment is realized as a seal
- the user selects a seal corresponding to the content to be used, and places the seal in an arbitrary place (for example, a dial portion of a watch-type attachment or a sleeve of clothes).
- the information processing apparatus 2000 is used.
- the first marker 10 may be a mark drawn or printed in advance on an object (paper, cloth, desk, wall, or the like) other than the attachment.
- a booklet or a menu table on which the first marker 10 is printed is prepared.
- FIG. 13 is a diagram illustrating a booklet 70 on which the first marker 10 is printed. The user uses the desired content by causing the camera 130 to image the first marker 10 printed on the booklet 70.
- the booklet 70 is a book in which a list of contents and input interfaces that can be used in the information processing apparatus 2000 is shown.
- the first marker 10 corresponding to the application is provided in the application manual, or the first marker corresponding to the application supporting the work and the input interface used in the work is provided in the user work manual. 10 may be provided.
- a first marker 10 corresponding to the content is provided on a wall or a desk installed at the location where the content is used.
- a user who uses the content causes the camera 130 to image the first marker 10 provided at the usage location.
- the user can easily use an application that supports the work to be performed at the place.
- FIG. 14 is a diagram illustrating the first marker 10 provided at the location where the content is used.
- a first marker 10 for specifying an application that supports inspection of the facility is provided on the wall where the facility to be inspected is set. The user can use an application for checking this facility by imaging the first marker 10 with the camera 130.
- the first marker 10 may be realized as an image, or may be realized as something other than that. According to the embodiment in which the first marker 10 is realized as an image, it is easy to change the first marker 10 for each content to be used. Further, it is not necessary to draw or print the first marker 10 in advance.
- the display screen that displays the image is a form in which the display screen itself emits light to display the image, or a backlight of the display screen emits light and blocks the image to display the image. A configuration in which an image is displayed using reflected light of sunlight or illumination light, such as electronic paper, is more preferable than the configuration.
- halation occurs when the difference between the light emitted from the display screen and the ambient light is large (for example, when the periphery of the first marker 10 is dark), and the first marker 10 appears in the captured image 30. This is because there is a possibility that the image is blurred. In the case of a display screen in which an image is displayed using reflected light, the above-described halation does not occur, so the detection accuracy of the first marker 10 is increased. Moreover, there exists an advantage that the distance (distance between the camera 130 and the 1st marker 10) which can detect the 1st marker 10 becomes long. These advantages are also the advantages that the first marker 10 is realized by something other than an image.
- the second marker 20 is an arbitrary marker that can specify at least its position in the captured image 30.
- the second marker 20 is a marker that can be used to determine a three-dimensional coordinate system.
- a marker that can be used for determining a three-dimensional coordinate system is, for example, an AR (Augmented Reality) marker.
- the marker that can be used to determine the three-dimensional coordinate system is not limited to the AR marker as long as it can specify three directions orthogonal to each other from a certain reference point (for example, the center of the marker).
- the 2nd marker 20 should just be a thing which can pinpoint the position in the captured image 30, and does not necessarily need to be usable for determination of a three-dimensional coordinate system.
- the second marker 20 is provided on an attachment attached to the user's body. Similar to the attachment to which the first marker 10 is attached, for example, a watch-type attachment, a ring, a wristband, clothes worn by the user, or a seal can be adopted as the attachment to which the second marker 20 is attached. . Similarly to the attachment to which the first marker 10 is attached, the attachment to which the second marker 20 is attached includes an object (a plate-like object 190 or an object to be covered) further attached to an object attached to the user's body. Etc.) can also be adopted. Note that the attachment to which the first marker 10 is attached and the attachment to which the second marker 20 is attached may be the same or different.
- the second marker 20 is, for example, a predetermined mark (character, figure, symbol, or the like having a predetermined feature amount) drawn or printed on the attachment.
- FIG. 15 is a diagram illustrating the second marker 20 drawn or printed on the device 60.
- the second marker 20 is realized as a predetermined pattern printed on the band portion of the device 60.
- the second marker 20 is realized as a predetermined pattern printed around the display screen 62 (a portion corresponding to a bezel on a clock face).
- the second marker 20 provided on the attachment may be realized as the whole or a part of the attachment.
- the second marker 20 may be realized as an image displayed by an attachment attached to the user's body.
- the device 60 to which the user's body is attached may be the device 60 described above, or may be other than that.
- An example of an attachment other than the device 60 is as described above.
- the second marker 20 may be manually drawn on these attachments or may be printed.
- the attachment may be a light emitting device that emits light (such as an LED (Light Emitting Diode)).
- the second marker 20 is a light emitting device and a three-dimensional coordinate system is determined based on the second marker 20, the second marker 20 is configured using three or more light emitting devices.
- the second specifying unit 2040 calculates the position of the light emitted by each of these three or more light emitting devices included in the captured image 30.
- the second specifying unit 2040 can determine a three-dimensional coordinate system based on the position of each light emitting device. Since a known method can be used as a method for determining a three-dimensional coordinate system using three or more objects, a description of the specific method is omitted.
- the second marker 20 is not limited to the mark provided on the attachment.
- the second marker 20 may be a predetermined mark drawn directly on the user's body.
- the second marker 20 may be a predetermined part (such as the back of the hand) of the user's body.
- the second marker 20 can be provided at any location on the user's body.
- the 2nd marker 20 is provided in a user's arm part.
- the arm portion means a portion from the tip of the user's hand to the shoulder.
- the second specifying unit 2040 uses information for specifying the second marker 20 (hereinafter, marker information).
- the marker information indicates the feature amount of the second marker 20.
- the second specifying unit 2040 detects the second marker 20 by detecting an object or an image having a feature amount indicated by the marker information from the captured image 30.
- the marker information may be set in advance in the second specifying unit 2040, or may be stored in a storage device accessible from the second specifying unit 2040.
- the second marker 20 is preferably realized by a single marker that does not depend on the content.
- the process which detects the 2nd marker 20 can be made simpler.
- the time required for the process of detecting the second marker 20 is shortened and that the calculation cost of this process is reduced.
- the second marker 20 may be realized as an image, or may be realized as something other than that.
- achieves the 2nd marker 20 as an image has the advantage that it is not necessary to draw or print the 2nd marker 20 previously.
- the display screen for displaying an image is a form or display screen in which the display screen itself displays an image by emitting light, as in the case where the first marker 10 is realized as an image. It is preferable to use a configuration in which an image is displayed by using reflected light of sunlight or illumination light, such as electronic paper, rather than a configuration in which the backlight emits light and blocks the light.
- the advantage is the same as that of the first marker 10.
- the advantage is the same when the second marker 20 is realized as something other than an image.
- the first marker 10 and the second marker 20 can be provided at various locations.
- both the first marker 10 and the second marker 20 are provided in the device 60.
- FIG. 16 is a diagram illustrating a case where the device 60 is provided with both the first marker 10 and the second marker 20.
- the first marker 10 is an image displayed on the display screen 62.
- the second marker 20 is a mark printed around the display screen 62.
- the first marker 10 to be imaged by the camera 130 differs depending on the content that the user wants to use. Therefore, when the first marker 10 is provided in the device 60, the first marker 10 can be changed according to a user operation by realizing the first marker 10 as an image displayed on the display screen 62. Is preferred.
- the 2nd marker 20 is a marker for determining the display position of the content image 40, it does not need to be changed according to user operation. Therefore, as shown in FIG. 16, the second marker 20 may be a mark provided in advance in the device 60. Therefore, in the example of FIG. 16, the first marker 10 is realized as an image displayed on the display screen 62, and the second marker 20 is realized as a mark provided in advance on the device 60.
- the second marker 20 can be made larger than the first marker 10.
- the second marker 20 used for specifying the display position of the content image 40 has a higher frequency to be detected by the information processing device 2000 than the first marker 10 used for specifying the content.
- the ease of detection of the second marker 20 having a high frequency to be detected is equal to or greater than the ease of detection of the first marker 10. Therefore, it is preferable to make the second marker 20 larger than the first marker 10 (for example, the second marker 20 is provided around the first marker 10 as shown in FIG. 16).
- the second marker 20 is not always necessary to make the second marker 20 larger than the first marker 10, and these sizes may be the same, or the first marker 10 may be larger than the second marker 20.
- the first marker 10 is realized as an image and the second marker 20 is realized as a mark provided in advance.
- both the first marker 10 and the second marker 20 may be realized as images displayed on the display screen 62.
- the user operates the device 60 to display the first marker 10 corresponding to the content to be used on the display screen 62, and causes the camera 130 to image the first marker 10.
- the content to be used is specified.
- the user further operates the device 60 to display the second marker 20 on the display screen 62, and causes the camera 130 to image the second marker 20.
- the display position of the content image 40 is specified, and the content image 40 is displayed at the specified position.
- both the first marker 10 and the second marker 20 may be realized as marks provided in advance on an attachment worn by the user.
- the first marker 10 is printed in advance near the center of the portion corresponding to the dial, and the second marker 20 is printed in advance around this portion.
- the first marker 10 is located near the center of the attachment, and the second marker 20 is located around the center.
- the positional relationship between the first marker 10 and the second marker 20 can be an arbitrary positional relationship that does not overlap each other.
- the 1st marker 10 and the 2nd marker 20 are the ranges which do not affect these detections, those parts may overlap.
- FIG. 17 is a diagram illustrating another example of the first marker 10 and the second marker 20 provided on the same attachment.
- the first marker 10 and the second marker 20 are provided side by side in a plan view.
- the first marker 10 and the second marker 20 may be 1) images displayed on the display screen, respectively, or 2) one of the images displayed on the display screen.
- the other may be a mark drawn or printed in advance, or 3) both may be marks drawn or printed in advance.
- the first marker 10 is an image displayed on the display screen 62 of the device 60.
- the second marker 20 is printed on a sticker that is pasted so as to cover a part of the display screen 62.
- the dotted line represents the frame of the display screen 62 covered with this seal.
- a part of the first marker 10 is not visible.
- the captured image If the first marker 10 is visible to the extent that the similarity between the first marker 10 included in the first marker 10 and the feature amount of the first marker 10 prepared in advance is equal to or greater than a predetermined threshold (included in the captured image 30). The first marker 10 can be detected. Therefore, even if a part of the first marker 10 is hidden by the second marker 20 as shown in FIG. 17B, the first specifying unit 2020 can detect the first marker 10.
- the second marker 20 makes part of the first marker 10 invisible, but conversely, the first marker 10 makes part of the second marker 20 invisible.
- the positions of the first marker 10 and the second marker 20 may be different in the depth direction when the wearing object is viewed in plan.
- the plane represented by the first marker 10 and the plane represented by the second marker 20 may not be on the same plane.
- the plane represented by the first marker 10 and the plane represented by the second marker 20 may be different from each other in the direction perpendicular to the plane.
- FIG. 18 is a diagram illustrating the first marker 10 and the second marker 20 having different positions in the depth direction when the attachment is viewed in plan.
- 18A is a plan view of the watch-shaped attachment 110
- FIG. 18B is an AB cross-sectional view of the attachment 110.
- FIG. 18B in the attachment 110, the position where the first marker 10 is provided and the position where the second marker 20 is provided are in the z direction (depth direction in plan view, attachment 110). In the thickness direction).
- the wearing object 110 is the device 60
- the first marker 10 is provided on the display screen 62
- the second marker 20 is provided around the display screen 62 (part corresponding to the bezel of the clock face)
- the display screen 62 is provided behind the periphery of the display screen 62 in plan view. In other words, the position where the first marker 10 is provided and the position where the second marker 20 is provided are different from each other in a direction perpendicular to the plane of the display screen 62.
- the first marker 10 is located behind the second marker 20 in the field of view of the camera 130 that images the attachment 110. Therefore, the first marker 10 included in the captured image 30 differs depending on the direction in which the camera 130 captures the first marker 10 (depending on the direction in which the user views the wearing object 110).
- FIG. 19 is a diagram illustrating a state in which the first marker 10 included in the captured image 30 is different depending on the direction in which the first marker 10 is imaged.
- the wearing object 110 is captured from the diagonally lower left direction in plan view. Therefore, the captured image 30-1 does not include the lower left part of the first marker 10.
- the captured image 30-2 the wearing object 110 is imaged from an obliquely lower right direction in a plan view. As a result, the captured image 30-2 does not include the lower right part of the first marker 10.
- the first specifying unit 2020 specifies content from the first marker 10 (part of the first marker 10) included in the captured image 30.
- the keyboard is specified as the content in the case of the captured image 30-1
- the numeric keypad is specified as the content in the case of the captured image 30-2.
- the user can use the desired content by changing the direction in which the camera 130 captures the first marker 10 according to the content to be used (for example, the direction in which the user views the first marker 10). Become. Therefore, the convenience of the information processing apparatus 2000 is improved. Further, since the number of the first markers 10 with respect to the number of contents can be reduced, the labor for preparing the first markers 10 is reduced. Further, when the first marker 10 is realized as an image, the storage area for storing the first marker 10 can be reduced, and when the first marker 10 is drawn or printed in advance, the first marker 10 can be reduced. The space required to provide one marker 10 can be reduced.
- Timing for detecting the first marker 10 and the second marker 20 The timing and frequency of detection of the first marker 10 and detection of the second marker 20 are arbitrary. Below, these suitable timing and frequency are illustrated.
- FIG. 20 is a flowchart illustrating the detection timing of the first marker 10 and the detection of the second marker 20.
- the first specifying unit 2020 performs processing for detecting the first marker 10 (S102 to S106 in FIG. 5). During this time, the second marker 20 is not detected. By doing so, the processing load of the information processing apparatus 2000 can be reduced.
- the first marker 10 is detected by the first specifying unit 2020
- the second marker 20 is detected by the second specifying unit 2040 and the content image 40 is displayed by the display control unit 2060 (S202 in FIG. 6). To S212).
- the termination condition of the loop process A is, for example, that the user performs a predetermined input operation or the information processing apparatus 2000 is in a predetermined state as described above.
- the content specified by the first marker 10 is an application
- the information processing apparatus 2000 enters a predetermined state
- the information processing apparatus 2000 is in a predetermined state when the input operation using the input interface is completed.
- the predetermined end condition is that the second marker 20 is not detected for a predetermined time or more (in the loop processing A of a predetermined number of times or more).
- the fact that the second marker 20 is not detected for a predetermined time or more means that the second marker 20 is out of the user's field of view for a predetermined time or more. Therefore, by adopting this end condition, when the user wants to use another content, the content processing can be performed by the information processing apparatus 2000 with an easy operation of removing the second marker 20 from view. Can be shifted to the identification of
- the first marker 10 is not detected while the loop process A is being executed. By doing so, the processing load of the information processing apparatus 2000 can be reduced.
- the processing in FIG. executes the process of FIG. 20 again. By doing so, the process is repeated in the flow of 1) detecting the first marker 10 and 2) repeating the detection of the second marker 20 and the display of the content image 40 until a predetermined end condition is satisfied.
- Second Example the process for detecting the first marker 10 and the process for detecting the second marker 20 are performed in parallel.
- the information processing apparatus 2000 performs 1) a first state in which the frequency of performing the detection process of the first marker 10 is higher than the frequency of performing the detection process of the second marker 20, and 2) performing the detection process of the second marker 20.
- the transition is made between two states, ie, a second state whose frequency is higher than the frequency at which the first marker 10 is detected.
- FIG. 21 is a diagram illustrating a state in which the state of the information processing device 2000 transitions between the first state and the second state.
- the information processing apparatus 2000 when content is not specified (for example, when the information processing apparatus 2000 is activated), the information processing apparatus 2000 is in the first state. Thereafter, when the first marker 10 is detected and the content is specified, the information processing apparatus 2000 transitions to the second state.
- the state of the information processing apparatus 2000 is transitioned to the first state.
- the predetermined time may be determined in common for all contents, or may be determined for each content.
- the state of the information processing apparatus 2000 is changed to the first state in response to the end of the content (end of application or input operation using the input interface).
- the second marker 20 is not detected for a predetermined time or more in the second state, the state of the information processing device 2000 is changed to the first state.
- the state of the information processing device 2000 is changed to the first state.
- the second marker 20 is located around the first marker 10 as a premise.
- the device 60 is operated to change the first marker 10 (for example, a touch panel is operated)
- a part of the second marker 20 is a user's hand. It disappears by hiding.
- FIG. 22 is a diagram illustrating the operation of changing the first marker 10.
- the first marker 10 is an image displayed on the display screen 62.
- the second marker 20 is a mark printed on the bezel portion of the device 60. Since the operation of changing the first marker 10 by operating the touch panel of the device 60 is performed, a part of the second marker 20 is hidden by the user's finger. That is, a part of the second marker 20 detected from the captured image 30 is missing.
- the lack of a part of the second marker 20 detected from the captured image 30 means that there is a high probability that the operation of changing the first marker 10 has been performed. And when the operation
- the degree of similarity with the feature amount of the second marker 20 prepared in advance is equal to or greater than a predetermined threshold. If the second marker 20 is included in the captured image 30, the detection is possible.
- the state of the information processing device 2000 is changed to the first state.
- the second marker 20 is prevented from being imaged (the second marker 20 is removed from the field of view).
- the information processing apparatus 2000 can transition to one state.
- the second specifying unit 2040 determines the display position of the content image 40 based on the second marker 20. For example, when a three-dimensional coordinate system is determined based on the second marker 20, the position of the content image 40 is defined in advance as a position in this coordinate system.
- FIG. 23 is a diagram illustrating a coordinate system 80 determined based on the second marker 20.
- the coordinate system 80 is a three-dimensional coordinate system determined by the x direction, the y direction, and the z direction.
- a known technique can be used as a technique for determining a three-dimensional coordinate system based on the shape of the marker included in the image.
- FIG. 24 is a diagram illustrating the position of the content image 40 in the coordinate system 80.
- the position of the content image 40 in the coordinate system 80 is determined in advance as (-3Mx-Ix, -Iy / 2, 0).
- Mx represents the size of the second marker 20 in the x direction
- Ix represents the size of the content image 40 in the x direction
- Iy represents the size of the content image 40 in the y direction.
- the position of the content image 40 represents the upper left coordinates of the content image 40.
- the display control unit 2060 displays the content image 40 on the display screen 50 so that the position in the coordinate system 80 is ( ⁇ 3Mx ⁇ Ix, ⁇ Iy / 2, 0).
- the position in the coordinate system determined based on the second marker 20 may be determined in common for all contents, may be determined for each content, or may be determined for each content image 40. .
- the second specifying unit 2040 may determine the posture and size of the content image 40 based on the second marker 20 in addition to the position of the content image 40.
- the determination method of posture and size will be described respectively.
- the second specifying unit 2040 determines the posture of the content image 40 according to the posture of the second marker 20. Specifically, first, the second specifying unit 2040 determines the coordinate system 80 using the second marker 20 shown in the captured image 30. Further, the second specifying unit 2040 determines the posture of the content image 40 based on the determined coordinate system 80. For example, for this determination, a predetermined correspondence between the coordinate system 80 and the posture of the content image 40 is used.
- FIG. 25 is a diagram illustrating a correspondence relationship between the coordinate system 80 and the posture 90 of the content image 40.
- the posture 90 of the content image 40 is such that the right direction when the content image 40 is planarly viewed is the x direction in the coordinate system 80, and the downward direction when the content image 40 is planarly viewed is the coordinate system 80.
- the direction opposite to the visual line direction when the content image 40 is viewed in plan is the z direction in the coordinate system 80.
- This correspondence may be set in advance in the second specifying unit 2040, or may be stored in a storage device accessible from the second specifying unit 2040. Further, this correspondence relationship may be common to all the content images 40, may be determined for each content, or may be determined for each content image 40.
- the second specifying unit 2040 may not determine the orientation of the content image 40 using the second marker 20. In this case, for example, the second specifying unit 2040 displays the content image 40 in a fixed posture that does not depend on the second marker 20.
- the second specifying unit 2040 determines the size of the content image 40 to be displayed on the display screen 50 according to the size of the second marker 20 included in the captured image 30. For example, a ratio between the size of the second marker 20 and the size of the content image 40 is determined in advance. And the 2nd specific
- the ratio may be set in advance in the second specifying unit 2040 or may be stored in a storage device accessible from the second specifying unit 2040. Further, this ratio may be determined in common for all content images 40, may be determined for each content, or may be determined for each content image 40.
- the second specifying unit 2040 may not determine the size of the content image 40 using the second marker 20. In this case, for example, the second specifying unit 2040 displays the content image 40 with a fixed size that does not depend on the size of the second marker 20.
- the display control unit 2060 displays the content image 40 on the display screen 50.
- a technique for displaying an image on the display screen 50 an existing technique can be used.
- the display control unit 2060 may not display the content image 40 on the display screen 50, or may display a predetermined mode (predetermined position, The content image 40 may be displayed in a predetermined posture and a predetermined size. In the latter case, for example, the display control unit 2060 sets the center position of the content image 40 as the center position of the display screen 50 so that the direction in which the display screen 50 is planarly viewed is the direction in which the content image 40 is planarly viewed. The content image 40 is displayed in the maximum size that can be displayed on the screen 50.
- FIG. 26 is a diagram illustrating a state in which the aspect of the content image 40 displayed on the display screen 50 is changed depending on whether the second marker 20 is included in the captured image 30 or not.
- the information processing apparatus 2000 is realized by using a transmissive head mounted display 100.
- a dotted frame (range 120) represents a range that the user views through the transmissive display screen 50.
- the range 120 also represents the imaging range of the camera 130. That is, other than the content image 40 included in the range 120 is also included in the captured image 30.
- the second marker 20 since the second marker 20 is included in the imaging range of the camera 130, the second marker 20 is detected from the captured image 30. Therefore, the content image 40-1 representing the window of the web browser and the content image 40-2 representing the keyboard for performing input to the web browser are determined by the position, size, and orientation determined by the second marker 20. It is displayed.
- the method of switching the display between the case where the second marker 20 is included in the captured image 30 and the case where the second marker 20 is not included for example, when the user wants to perform an input operation and when he wants to focus on browsing information
- a display suitable for each For example, in the example of FIG. 26, when the user wants to focus on browsing information, the window of the Web browser can be easily enlarged by removing the second marker 20 from the user's view.
- the window of the Web browser can be easily enlarged by removing the second marker 20 from the user's view.
- inputting characters it is possible to easily display the input interface by putting the second marker 20 in the user's field of view. In this way, the convenience of the information processing apparatus 2000 is improved.
- the information processing apparatus 2000 may detect an input operation by the user using the first marker 10 or the second marker 20. Below, the method to detect input operation by a user using the 1st marker 10 is demonstrated. In the method described below, the second marker 20 can be used instead of the first marker 10.
- the first marker 10 is used not only for specifying the content but also for specifying the timing when the input operation is performed by the user.
- the first marker 10 is realized as an image displayed on the display screen 62 of the device 60.
- a sensor 64 is attached to the user's body.
- the sensor 64 any sensor that can change the sensing result in accordance with a user input operation can be used.
- the sensor 64 is a vibration sensor, an acceleration sensor, a vibration switch, a pressure sensor, a capacitance sensor, or the like.
- the device 60 acquires the result of sensing by the sensor 64.
- the sensor 64 is connected to the device 60.
- the sensor 64 is provided inside the device 60.
- the sensor 64 only needs to be connected to the device 60 in an arbitrary manner capable of notifying the device 60 of the sensing result, and is not necessarily provided inside the device 60.
- the sensor 64 may be attached directly to the user's body or attached to the user's clothing.
- the user performs an input operation in a manner that affects the result of sensing by the sensor 64.
- the sensor 64 is a vibration sensor
- the user performs an input operation so that vibration is applied to the sensor 64 at the timing of the start and end of the input operation.
- the sensor 64 is a vibration sensor built in the device 60
- the user taps the arm at the timing of starting or ending the input operation so that vibration is applied to the sensor 64.
- the device 60 changes the first marker 10 to be displayed on the display screen 62 according to the sensing result by the sensor 64.
- the sensor 64 is a vibration sensor
- the device 60 changes the first marker 10 in response to vibration detected by the sensor 64 having a predetermined magnitude or more.
- the information processing apparatus 2000 detects that the first marker 10 displayed on the display screen 62 has been changed by analyzing a plurality of repeatedly generated captured images 30. As a result, the information processing apparatus 2000 identifies the timing when the input operation is performed by the user.
- FIG. 27 is a diagram illustrating a state in which the first marker 10 is changed by an input operation by the user.
- the second specifying unit 2040 of the present embodiment needs to be able to specify the same content regardless of which of the first marker 10 before change and the first marker 10 after change.
- the device 60 associates a plurality of different first markers 10 with the same content. And when the device 60 changes the 1st marker 10 according to the sensing result by the sensor 64, it is matched with the same content as the content specified by the 1st marker 10 before a change on the display screen 62.
- FIG. Another first marker 10 is displayed.
- the device 60 changes the first marker 10 as long as the second specifying unit 2040 does not affect the specification of the first marker 10.
- the second specifying unit 2040 specifies the first marker 10 by the pattern or shape of the first marker 10.
- contents are associated with patterns and shapes.
- the device 60 changes only the color of the display screen 62 without changing the pattern or shape displayed on the display screen 62.
- the first marker 10 before the change and the first marker 10 after the change have the same barcode portion but a different background color.
- the first marker 10 is changed within a range that does not affect the specification of the content by the first specifying unit 2020. Can do.
- the device 60 changes the first marker 10 to be displayed on the display screen 62 when the sensor 64 detects an acceleration greater than or equal to a predetermined magnitude.
- the sensor 64 is a pressure sensor
- the device 60 changes the first marker 10 displayed on the display screen 62 when the sensor 64 detects a pressure of a predetermined magnitude or more.
- the sensor 64 is a capacitance sensor
- the device 60 changes the first marker 10 displayed on the display screen 62 when the sensor 64 detects a displacement of the capacitance greater than or equal to a predetermined size.
- the case where the sensor 64 is a vibration switch is the same as the case where the sensor 64 is a vibration sensor.
- the input operation by the user is an operation on an input interface (keyboard, button, etc.) displayed as the content image 40.
- the information processing apparatus 2000 uses the captured image 30 generated at the timing when the first marker 10 is changed or a timing close thereto (timing before or after a predetermined time from the timing when the first marker 10 is changed).
- An object hereinafter referred to as an operation body used for input operation is detected.
- the operating body is a predetermined object such as a user's finger or a pen held by the user's hand.
- the information processing apparatus 2000 recognizes an input operation by the user based on the detected position of the operation tool in the captured image 30 and the position of the content image 40 displayed on the display screen 50. For example, if the input interface is a keyboard, the information processing apparatus 2000 identifies which key the user has operated based on the detected position of the operating tool and the position of the keyboard on the display screen 50.
- the user input operation is not limited to the operation on the input interface displayed as the content image 40.
- the user may perform an operation of drawing a character, a figure, or the like with the operation body. That is, the movement of the operating body is recognized as the content of the input operation.
- the user performs an input operation so that the first marker 10 is changed at the timing of the start and end of the input operation.
- the user taps the arm to which the device 60 is attached, draws a figure, and finally taps the arm again.
- the first marker 10 is changed at the start timing and the end timing of the input operation.
- the information processing apparatus 2000 identifies the start and end timing of the input operation by detecting the change of the first marker 10. Further, the information processing apparatus 2000 analyzes the plurality of captured images 30 generated between the start timing and the end timing of the input operation to detect the motion of the operating body between them, and uses the motion as the input operation. recognize.
- the user when an input operation is performed by the movement of the operating body, the user performs an input operation so that the first marker 10 is changed twice.
- the first marker 10 may be changed once.
- the user performs an operation (for example, an arm tap) that affects the sensing result of the sensor 64 at the start timing of the input operation.
- the information processing apparatus 2000 recognizes the input operation, for example, with the timing when the first marker 10 is changed as the start time of the input operation, and after a predetermined time after this time as the end time of the input operation.
- the user may perform an operation that affects the sensing result of the sensor 64 at the end timing of the input operation.
- the information processing apparatus 2000 recognizes the input operation, for example, with the timing when the first marker 10 is changed as the end time of the input operation, and with a predetermined time before this time as the start time of the input operation.
- FIG. 28 is a diagram illustrating a first example of a method for specifying the timing of an input operation without changing the first marker 10 or the second marker 20.
- the first marker 10 is provided in advance at a place where the information processing apparatus 2000 is used.
- the second marker 20 is provided on the bezel portion of the device 60.
- the device 60 changes the display screen 62 in accordance with the result of sensing by the sensor 64 (for example, in response to detection of vibration of a predetermined magnitude or more). Specifically, the device 60 changes the backlight color of the display screen 62 or blinks the backlight.
- the information processing apparatus 2000 identifies the timing of the input operation by the user by detecting the change of the display screen 62 using the captured image 30.
- FIG. 29 is a diagram illustrating a second example of a method for specifying the timing of an input operation without changing the first marker 10 or the second marker 20.
- the first marker 10 in FIG. 29 is the same as the first marker 10 in FIG.
- the second marker 20 in FIG. 29 is provided on the plate-like object 112 of the attached object 110.
- the plate-like object 112 is formed of a translucent resin, and a LED light 114 is provided under the plate-like object 112.
- the LED light 114 is configured to blink according to the result of sensing by the sensor 64.
- the information processing apparatus 2000 identifies the timing of the input operation by detecting that the LED light 114 blinks using the captured image 30.
- ⁇ Use case of information processing apparatus 2000> a use case of the information processing apparatus 2000 is illustrated. Note that the use cases shown below are merely examples, and the utilization method of the information processing apparatus 2000 is not limited to the use cases described below.
- the information processing apparatus 2000 is realized using the head mounted display 100. That is, the display screen 50 on which the content image 40 is displayed is provided on the lens portion of the head mounted display 100. The camera 130 that generates the captured image 30 is provided near the lens of the head mounted display 100.
- the information processing apparatus 2000 can be used to support inspection work of equipment (for example, equipment) in a factory or the like.
- the user causes the camera 130 to capture the first marker 10 corresponding to an application (hereinafter referred to as an inspection support application) that realizes the support of the inspection work, thereby executing the application.
- an inspection support application an application that realizes the support of the inspection work
- the state in which the inspection support application is being executed is represented in FIG. 3, for example.
- the inspection support application acquires an inspection list registered in the database.
- the inspection list shows information (inspection location and contents of inspection) regarding each of a plurality of inspection items.
- the display control unit 2060 causes the display screen 50 to sequentially display content images 40-1 representing the inspection items for each inspection item included in the inspection list. Further, the display control unit 2060 causes the display screen 50 to display the content image 40-2 representing the input interface associated with the inspection item. The user inputs the inspection result by operating this input interface.
- the information processing apparatus 2000 can be used to support picking work in a warehouse or the like.
- the picking operation means an operation of searching for and collecting a desired item from items placed on a shelf or the like.
- the user causes the camera 130 to capture the first marker 10 corresponding to an application (hereinafter, picking support application) that realizes the picking work support, thereby causing the picking support application to be executed.
- picking support application an application that realizes the picking work support
- the picking support application acquires, for example, a list of articles to be collected from the database. Further, the picking support application sequentially generates, as the content image 40, a guide indicating where the product is stored in the warehouse for each product shown in the list.
- the display control unit 2060 displays the content image 40 on the display screen 50. By doing so, the user can easily move to the place where the articles to be collected are stored.
- FIG. 30 is a diagram illustrating a state in which the location of an article to be collected is highlighted.
- the picking support application causes the display screen 50 to display a content image 40 representing an input interface for inputting a record related to the picking work.
- the user inputs a work record using this input interface.
- the information processing apparatus 2000 can be used to support various operations in the medical field. For example, when a nurse performs an infusion, an operation called three-point verification is performed. Whether or not this work is correct by checking three combinations of 1) the nurse performing the worker, 2) the patient receiving the infusion, and 3) the administered drug when injecting the infusion. This is a judgment.
- FIG. 31 is a diagram illustrating a state in which three-point matching is performed using the information processing apparatus 2000.
- the user causes the camera 130 to capture the first marker 10 corresponding to the application that realizes the support for the three-point matching, thereby causing the application to be executed.
- This application provides a function for reading the identifiers 1) to 3).
- the display control unit 2060 displays the content image 40 (frame line 140) representing the range in which the nurse code 170 for identifying the nurse is read.
- a content image 40 (message 150) representing a message indicating that the nurse code 170 should be read is displayed.
- an input interface button 160 for instructing the application to read the nurse code is displayed.
- each content image 40 is determined based on the position of the second marker 20. Therefore, the user moves the arm to change the position of the second marker 20 so that the nurse code 170 is within the frame line 140. Then, the user presses the button 160 (for example, places a finger at a position overlapping the button 160), and causes the application to read the nurse code 170. The user performs the same operation for reading the patient identifier and the drug identifier. With the above operation, three-point matching is realized.
- the information processing apparatus 2000 in the medical field other than support for three-point matching. For example, since the nurse performs the work (blood collection, infusion, etc.) transmitted from the doctor, the items to be transmitted from the doctor to the nurse are displayed using the information processing apparatus 2000.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
情報処理装置(2000)は、第1特定部(2020)、第2特定部(2040)、及び表示制御部(2060)を有する。第1特定部(2020)は、第1マーカ(10)を撮像画像(30)から検出し、検出された第1マーカ(10)に対応するコンテンツを特定する。第2特定部(2040)は、第2マーカ(20)を撮像画像(30)から検出し、検出された第2マーカ(20)に基づいて、表示画面におけるコンテンツ画像(40)の表示位置を特定する。表示制御部(2060)は、表示画面の特定された表示位置にコンテンツ画像(40)を表示させる。
Description
本発明はユーザインタフェースに関する。
様々なユーザインタフェースが開発されている。例えば、ヘッドマウントディスプレイなどを用いて、コンピュータによって表示される画像があたかも実空間上に存在するようにユーザへ見せるインタフェースが開発されている。
例えば特許文献1は、ヘッドマウントディスプレイに仮想キーボードを表示する技術を開示している。特許文献2は、ヘッドマウントディスプレイと連携するタブレット端末を用いて、ヘッドマウントディスプレイを通して見える実空間上の物体に対し、仮想的にアノテーションを付す技術を開示している。特許文献3は、ユーザの手のひらのジェスチャ(例えば手のひらを開くジェスチャ)に応じて、その手のひらにメニュー画面を表示したり、そのメニュー画面を切り替えたりする技術を開示している。
本発明者は、より利便性の高いユーザインタフェースを開発することを検討した。本発明は、ユーザインタフェースの利便性を高める技術を提供することをその目的の一つする。
本発明の情報処理装置は、1)第1マーカを撮像画像から検出し、前記検出された第1マーカに対応するコンテンツを特定する第1特定手段と、2)前記第1マーカとは異なる第2マーカを撮像画像から検出し、前記検出された第2マーカに基づいて、第1表示画面における表示位置を特定する第2特定手段と、3)前記第1表示画面の前記特定された表示位置に、前記特定されたコンテンツに関するコンテンツ画像を表示させる表示制御手段と、を有する。
本発明の情報処理システムは、前述した情報処理装置、第1マーカ、第2マーカ、及び第1表示画面を有する。
本発明の制御方法は、コンピュータによって実行される。当該制御方法は、1)第1マーカを撮像画像から検出し、前記検出された第1マーカに対応するコンテンツを特定する第1特定ステップと、2)前記第1マーカとは異なる第2マーカを撮像画像から検出し、前記検出された第2マーカに基づいて、第1表示画面における表示位置を特定する第2特定ステップと、3)前記第1表示画面の前記特定された表示位置に、前記特定されたコンテンツに関するコンテンツ画像を表示させる表示制御ステップと、を有する。
本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。
本発明によれば、ユーザインタフェースの利便性を高める技術が提供される。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。
[実施形態1]
<概要>
図1は、実施形態1に係る情報処理装置2000の動作を概念的に例示する図である。情報処理装置2000は、撮像画像30から第1マーカ10と第2マーカ20を検出する。なお、第1マーカ10と第2マーカ20は、互いに異なるマーカである。第1マーカ10と第2マーカ20は、同一の撮像画像30に含まれていてもよいし、それぞれ異なる撮像画像30に含まれていてもよい。図1では、第1マーカ10と第2マーカ20が互いに異なる撮像画像30に含まれている。
<概要>
図1は、実施形態1に係る情報処理装置2000の動作を概念的に例示する図である。情報処理装置2000は、撮像画像30から第1マーカ10と第2マーカ20を検出する。なお、第1マーカ10と第2マーカ20は、互いに異なるマーカである。第1マーカ10と第2マーカ20は、同一の撮像画像30に含まれていてもよいし、それぞれ異なる撮像画像30に含まれていてもよい。図1では、第1マーカ10と第2マーカ20が互いに異なる撮像画像30に含まれている。
情報処理装置2000は、撮像画像30から検出される第1マーカ10によって、コンテンツを特定する。例えば図1では、コンテンツとして、「設備の点検支援」というアプリケーションが特定される。なお、後述するように、コンテンツはアプリケーションに限定されない。
さらに情報処理装置2000は、第2マーカ20によって、コンテンツに対応する画像(以下、コンテンツ画像40)の表示位置を特定する。ここで、表示位置は、ディスプレイ装置の表示画面50における位置である。
そして情報処理装置2000は、第1マーカ10によって特定されたコンテンツに対応するコンテンツ画像40を、第2マーカ20によって特定された表示画面50の表示位置に表示させる。
このように本実施形態の情報処理装置2000によれば、コンテンツに関する画像の表示位置だけでなく、そのコンテンツの特定にもマーカが利用される。そのためユーザは、所望のコンテンツに対応するマーカを情報処理装置2000に検出させることにより、所望のコンテンツを利用できる。よって、ユーザは所望のコンテンツを容易に利用することができ、コンテンツの切り替えも容易に行える。よって、情報処理装置2000によれば、利便性の高いユーザインタフェースがユーザに提供される。
また、情報処理装置2000によれば、ユーザが利用するコンテンツの特定と、コンテンツ画像40の表示位置の特定という互いに異なる2つの処理が、互いに異なるマーカを用いて実現される。ここで、コンテンツの特定に用いる第1マーカ10は、コンテンツごとに異なるものである必要がある。一方、コンテンツ画像40の表示位置の特定に用いる第2マーカ20は、複数のコンテンツに共通する1つのマーカで実現することも可能である。しかし、コンテンツ画像40の表示位置の特定とコンテンツの特定に同一のマーカを用いると、コンテンツ画像40として複数のコンテンツに共通のものを利用できない。
この点、本実施形態の情報処理装置2000によれば、コンテンツ画像40の表示位置の特定と、コンテンツの特定とが、互いに異なるマーカを用いて実現するため、コンテンツ画像40の表示位置の特定に利用する第2マーカ20を、複数のコンテンツに共通する1つのマーカとすることができる。このように複数のコンテンツに共通する1つのマーカとして第2マーカ20を実現すれば、コンテンツごとに異なる第2マーカ20を利用しなければならない場合と比較し、コンテンツ画像40の表示位置を特定するために第2マーカ20を検出する処理をよりシンプルにすることができる。その結果、第2マーカ20を検出する処理に要する時間が短くなるという利点や、この処理の計算コストが小さくなるという利点がある。
またこのように、コンテンツの特定と、コンテンツ画像40の表示位置の特定とに異なるマーカを利用することで、これらを1つのマーカで実現する場合と比較し、マーカの設置場所や実現方法などの自由度が高くなる。例えば後述するように、第2マーカ20はユーザの身体に取り付け、コンテンツの特定に用いる第1マーカ10はユーザの身体から離れた場所に設けるといったことが可能となる。さらに後述するように、第2マーカ20は予め描画又は印字されるものとして構成し、第1マーカ10については画像として表示画面に表示されるものとすることができる。
情報処理装置2000は、例えばヘッドマウントディスプレイを利用して実現される。図2は、ヘッドマウントディスプレイを例示する図である。ヘッドマウントディスプレイ100は、グラス型のヘッドマウントディスプレイである。ヘッドマウントディスプレイ100は表示画面50を有する。表示画面50は、ヘッドマウントディスプレイ100のレンズ部分に設けられている透過型の表示画面(光を透過させる表示画面)である。前述したように、表示画面50にはコンテンツ画像40が表示される。
カメラ130は、撮像画像30を生成するカメラである。図2において、カメラ130はヘッドマウントディスプレイ100のレンズ付近に取り付けられている。なお、後述するように、表示画面50は透過型の表示画面に限定されない。また、カメラ130の設置位置は、ヘッドマウントディスプレイ100上に限定されない。
図3は、情報処理装置2000のユーザの視界を例示する図である。コンテンツ画像40-1とコンテンツ画像40-2は、情報処理装置2000によって表示画面50に表示される画像である。一方、それ以外の物(機器やユーザの腕など)は実物体である。
このように情報処理装置2000を用いることで、ユーザは、情報処理装置2000によって提示される情報を使って種々の作業などを行うことができる。図3の例では、ユーザは、情報処理装置2000によって提示される情報を見ながら設備の点検を行っている。
ここで、図1から図3を用いて説明した情報処理装置2000の動作は、情報処理装置2000の理解を容易にするための例示であり、情報処理装置2000の動作は上述の例に限定されるわけではない。情報処理装置2000の動作の詳細やバリエーションについては、以降の記載で説明する。
以下、本実施形態の情報処理装置2000について、さらに詳細に説明する。
<機能構成の例>
図4は、情報処理装置2000を含む情報処理システム3000の機能構成を例示する図である。情報処理システム3000は、第1マーカ10、第2マーカ20、表示画面50、及び情報処理装置2000を有する。情報処理装置2000は、第1特定部2020、第2特定部2040、及び表示制御部2060を有する。第1特定部2020は、第1マーカ10を撮像画像30から検出し、検出された第1マーカ10に対応するコンテンツを特定する。第2特定部2040は、第2マーカ20を撮像画像30から検出し、検出された第2マーカ20に基づいて、表示画面50におけるコンテンツ画像40の表示位置を特定する。表示制御部2060は、表示画面50の特定された表示位置にコンテンツ画像40を表示させる。
図4は、情報処理装置2000を含む情報処理システム3000の機能構成を例示する図である。情報処理システム3000は、第1マーカ10、第2マーカ20、表示画面50、及び情報処理装置2000を有する。情報処理装置2000は、第1特定部2020、第2特定部2040、及び表示制御部2060を有する。第1特定部2020は、第1マーカ10を撮像画像30から検出し、検出された第1マーカ10に対応するコンテンツを特定する。第2特定部2040は、第2マーカ20を撮像画像30から検出し、検出された第2マーカ20に基づいて、表示画面50におけるコンテンツ画像40の表示位置を特定する。表示制御部2060は、表示画面50の特定された表示位置にコンテンツ画像40を表示させる。
なお、第1マーカ10や第2マーカ20の実現に後述するデバイス60を利用する場合、情報処理システム3000はデバイス60を含んでもよい。
<情報処理装置2000のハードウエア構成の例>
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
計算機1000は種々の計算機である。例えば計算機1000は、ヘッドマウントディスプレイ、Personal Computer(PC)、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機1000は、情報処理装置2000を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
図5は、情報処理装置2000を実現する計算機1000の構成を例示する図である。計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージデバイス1080、及び入出力インタフェース1100を有する。バス1020は、プロセッサ1040、メモリ1060、及びストレージデバイス1080が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。プロセッサ1040は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ1060は、RAM (Random Access Memory) などで実現される主記憶装置である。ストレージデバイス1080は、ハードディスク、SSD (Solid State Drive)、メモリカード、又は ROM (Read Only Memory) などで実現される補助記憶装置である。ただしストレージデバイス1080は、RAM など、主記憶装置の実現に用いられるハードウエアと同様のハードウエアで実現されてもよい。
入出力インタフェース1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。図5において、入出力インタフェース1100には、例えば撮像画像30を生成するカメラ130や表示画面50が接続されている。
ストレージデバイス1080は情報処理装置2000の各機能を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。
計算機1000のハードウエア構成は図5に示した構成に限定されない。例えば、各プログラムモジュールはメモリ1060に格納されてもよい。この場合、計算機1000は、ストレージデバイス1080を備えていなくてもよい。また、カメラ130を計算機1000に接続する方法は、入出力インタフェース1100を介して接続する方法に限定されない。例えばカメラは、ネットワークを介して計算機1000に接続されてもよい。この場合、計算機1000は、ネットワークに接続するためのネットワークインタフェースを有する。
<<ヘッドマウントディスプレイ100について>>
ヘッドマウントディスプレイ100は、ユーザの視界に入る表示画面50を有する任意のヘッドマウントディスプレイである。例えば表示画面50は、前述したように、透過型の表示画面である。この場合、ユーザは、表示画面50の先にある実物体及び表示画面50に表示される画像の両方を見ることができる。
ヘッドマウントディスプレイ100は、ユーザの視界に入る表示画面50を有する任意のヘッドマウントディスプレイである。例えば表示画面50は、前述したように、透過型の表示画面である。この場合、ユーザは、表示画面50の先にある実物体及び表示画面50に表示される画像の両方を見ることができる。
その他にも例えば、表示画面50は、非透過型の表示画面であってもよい。この場合、ヘッドマウントディスプレイ100は、ユーザの周囲(例えばユーザの顔方向)を撮像するカメラによって撮像された画像と、その他の物を表す画像(例えばコンテンツ画像40)とを重畳させて表示画面50に表示させる。ユーザは、この表示画面50を見ることで、周囲の景色にその他の物が重畳された様子を見ることができる。なお、「ユーザの周囲を撮像するカメラ」は、マーカに撮像に利用されるカメラ130であってもよいし、これとは別途設けられるカメラであってもよい。
<<カメラ130について>>
カメラ130は、繰り返し撮像を行って複数の撮像画像30を生成する任意のカメラである。例えば各撮像画像30は、動画を構成する動画フレームである。なお、カメラ130は、2次元(2D:two-dimensional)カメラであってもよいし、3次元(3D:three-dimensional)カメラであってもよい。
カメラ130は、繰り返し撮像を行って複数の撮像画像30を生成する任意のカメラである。例えば各撮像画像30は、動画を構成する動画フレームである。なお、カメラ130は、2次元(2D:two-dimensional)カメラであってもよいし、3次元(3D:three-dimensional)カメラであってもよい。
カメラ130によって生成される撮像画像を用いてコンテンツ画像40の表示位置の決定などを行うためには、カメラ130の撮像方向とユーザの顔の正面方向との関係が予め把握できていることが好適である。そのため、例えばカメラ130は、カメラ130の撮像方向とユーザの顔の正面方向とが略一致する場所に設けられる。表示画面50が透過型のヘッドマウントディスプレイの場合、例えばこの場所は、図2で説明したヘッドマウントディスプレイ100のレンズ付近などである。また、表示画面50が非透過型のヘッドマウントディスプレイであり、表示画面50に表示する周囲の景色を撮像するカメラがカメラ130である場合、カメラの撮像方向とユーザの顔の正面方向は略一致する。
ただし、カメラ130の設置位置は、カメラ130の撮像方向とユーザの顔の正面方向とが略一致するとは限らない場所に設置されてもよい。例えばこの場合、カメラ130は、ユーザの頭部の任意の箇所に設けられる(頭部に限定はされない)。この場合、カメラ130の撮像方向とユーザの顔の正面方向との関係(角度のずれなど)を予めパラメタとして定義しておく。情報処理装置2000は、このパラメタを利用することでカメラ130の撮像方向とユーザの顔の正面方向との関係を把握する。このパラメタは、情報処理装置2000に予め設定されていてもよいし、情報処理装置2000からアクセス可能な記憶装置に記憶されていてもよい。
その他にも例えば、カメラ130は、ユーザが身につけている物(例えばユーザの衣服や、ユーザが首から提げている社員証など)に取り付けられてもよい。その他にも例えば、カメラ130は、ユーザが情報処理装置2000を利用する部屋の壁等に設けられていてもよい。この場合、カメラ130の撮影範囲(撮影方向やズーム率など)は、リモコンなどによる遠隔操作によって変更できることが好ましい。
<<表示画面50について>>
表示制御部2060によって制御される表示画面50の実現態様は様々である。例えば表示画面50は、前述したように、ヘッドマウントディスプレイ100に設けられる表示画面である。その他にも例えば、表示画面50は、プロジェクタによって画像が投影される投影面(壁など)である。この場合、表示制御部2060は、プロジェクタを制御して、投影面の特定の位置にコンテンツ画像40を投影させる。その他にも例えば、表示画面50は、液晶ディスプレイなどのディスプレイ装置の表示画面である。
表示制御部2060によって制御される表示画面50の実現態様は様々である。例えば表示画面50は、前述したように、ヘッドマウントディスプレイ100に設けられる表示画面である。その他にも例えば、表示画面50は、プロジェクタによって画像が投影される投影面(壁など)である。この場合、表示制御部2060は、プロジェクタを制御して、投影面の特定の位置にコンテンツ画像40を投影させる。その他にも例えば、表示画面50は、液晶ディスプレイなどのディスプレイ装置の表示画面である。
<処理の流れ>
図6は、実施形態1の第1特定部2020によって実行される処理の流れを例示するフローチャートである。第1特定部2020は、撮像画像30を取得する(S102)。第1特定部2020は、取得した撮像画像30から第1マーカ10を検出する(S104)。第1特定部2020は、検出した第1マーカ10に対応するコンテンツを特定する(S106)。
図6は、実施形態1の第1特定部2020によって実行される処理の流れを例示するフローチャートである。第1特定部2020は、撮像画像30を取得する(S102)。第1特定部2020は、取得した撮像画像30から第1マーカ10を検出する(S104)。第1特定部2020は、検出した第1マーカ10に対応するコンテンツを特定する(S106)。
図7は、実施形態1の第2特定部2040及び表示制御部2060によって実行される処理の流れを例示するフローチャートである。S202からS212は、所定の終了条件が満たされるまで繰り返し実行されるループ処理Aである。S202において、第2特定部2040は、終了条件が満たされているか否かを判定する。終了条件が満たされている場合、図7の処理は終了する。一方、終了条件が満たされていない場合、図7の処理はS204に進む。
第2特定部2040は、撮像画像30を取得する(S204)。第2特定部2040は、撮像画像30から第2マーカ20を検出する(S206)。第2特定部2040は、検出した第2マーカ20から、表示画面50におけるコンテンツ画像40の表示位置を特定する(S208)。表示制御部2060は、第1マーカ10で特定されたコンテンツに対応するコンテンツ画像40を、S208で特定された表示画面50の表示位置に表示させる(S210)。S212はループ処理Aの終端であるため、図7の処理はS202に戻る。
ここで、繰り返し実行されるS204で取得される各撮像画像30は、それぞれ異なる撮像画像30である。例えば第2特定部2040は、S204を実行する時点における最新の撮像画像30を取得する。その他にも例えば、第2特定部2040は、カメラ130によって生成された複数の撮像画像30をまとめて取得し、その複数の撮像画像30を生成された順に処理してもよい。
図7に示した処理の流れによれば、時間と共に第2マーカ20の位置が変化する場合に、その位置の変化に追従するように、コンテンツ画像40の表示位置が変更される。例えば後述するようにユーザの身体に第2マーカ20が取り付けられている場合、ユーザの身体の動きに追従するように、コンテンツ画像40の表示位置が変更される。よって、ユーザによる情報処理装置2000の利便性が向上する。
ループ処理Aの終了条件は任意である。例えば終了条件は、ユーザから所定の入力操作を受け付けることである。その他にも例えば、終了条件は、情報処理装置2000の状態(例えば情報処理装置2000を実現する計算機1000で実行されているオペレーティングシステムやアプリケーションの状態など)が所定の状態になることである。
<撮像画像30を取得する方法:S102、S204>
情報処理装置2000は、撮像画像30を取得する(S102、S204)。情報処理装置2000が撮像画像30を取得する方法は任意である。例えば情報処理装置2000は、カメラ130から撮像画像を取得する。この場合、情報処理装置2000とカメラ130とは通信可能に接続されている。
情報処理装置2000は、撮像画像30を取得する(S102、S204)。情報処理装置2000が撮像画像30を取得する方法は任意である。例えば情報処理装置2000は、カメラ130から撮像画像を取得する。この場合、情報処理装置2000とカメラ130とは通信可能に接続されている。
また、カメラ130が外部の記憶装置に撮像画像30を記憶させる場合、情報処理装置2000は、この記憶装置から撮像画像30を取得してもよい。この場合、情報処理装置2000は、この記憶装置と通信可能に接続されている。
なお、情報処理装置2000は、カメラ130によって生成される撮像画像30の全てを取得してもよいし、一部のみを取得してもよい。後者の場合、例えば情報処理装置2000は、カメラ130によって生成される動画を構成する動画フレームの一部(例えば所定数の動画フレームごとに1枚の動画フレーム)を取得する。また、カメラ130によって生成される撮像画像30の全てを情報処理装置2000が取得した上で、第1特定部2020や第2特定部2040が取得された撮像画像30の一部のみを利用するようにしてもよい。
<コンテンツについて>
第1マーカ10によって特定されるコンテンツとしては、様々なものを採用できる。例えばコンテンツは、図1で例示したように、アプリケーションである。この場合、第1マーカ10は、ユーザが実行したいアプリケーションを選択するために利用される。第1マーカ10によって特定されるアプリケーションには、任意のものを採用できる。例えばアプリケーションは、動画を再生するアプリケーション、写真を撮影するアプリケーション、又は Web ブラウザなどである。
第1マーカ10によって特定されるコンテンツとしては、様々なものを採用できる。例えばコンテンツは、図1で例示したように、アプリケーションである。この場合、第1マーカ10は、ユーザが実行したいアプリケーションを選択するために利用される。第1マーカ10によって特定されるアプリケーションには、任意のものを採用できる。例えばアプリケーションは、動画を再生するアプリケーション、写真を撮影するアプリケーション、又は Web ブラウザなどである。
その他にも例えば、コンテンツは、入力インタフェースである。この場合、第1マーカ10は、ユーザが利用したい入力インタフェースを選択するために利用される。第2マーカ20によって特定される入力インタフェースには、任意のものを採用できる。例えば入力インタフェースは、キーボード、テンキー、又は選択ボタンなどである。
<コンテンツ画像40について>
表示制御部2060は、第1マーカ10によって特定されるコンテンツに対応するコンテンツ画像40を表示画面50に表示させる。例えばコンテンツ画像40は、コンテンツに応じて静的に特定される(一意に特定される)。例えばコンテンツが入力インタフェースである場合、コンテンツ画像40は、その入力インタフェースを表す特定の画像として実現できる。例えば入力インタフェースがキーボードである場合、コンテンツ画像40はキーボードの画像である。
表示制御部2060は、第1マーカ10によって特定されるコンテンツに対応するコンテンツ画像40を表示画面50に表示させる。例えばコンテンツ画像40は、コンテンツに応じて静的に特定される(一意に特定される)。例えばコンテンツが入力インタフェースである場合、コンテンツ画像40は、その入力インタフェースを表す特定の画像として実現できる。例えば入力インタフェースがキーボードである場合、コンテンツ画像40はキーボードの画像である。
このようにコンテンツに対応するコンテンツ画像40が静的に定まる場合、例えばコンテンツ画像40のパス名とコンテンツの識別子とを予め対応づけておく。表示制御部2060は、第1特定部2020によって特定されたコンテンツの識別子と対応づけられているパス名を持つコンテンツ画像40を表示画面50に表示させる。その他にも例えば、コンテンツの識別子としてコンテンツ画像40のパス名を用いてもよい。この場合、第1特定部2020によってコンテンツの識別子が特定されることにより、コンテンツ画像40が特定される。
コンテンツに対応するコンテンツ画像40は動的に定まるものであってもよい。例えばコンテンツがアプリケーションである場合、コンテンツ画像40は、アプリケーションによって生成される画像である。例えば、コンテンツが動画再生用のアプリケーションである場合、コンテンツ画像40には動画フレームが含まれる。このコンテンツ画像40は、動画の再生が進むにつれて変化していく。そこで表示制御部2060は、コンテンツであるアプリケーションによって生成されるコンテンツ画像40を取得し、そのコンテンツ画像40を表示画面50に表示させる。
なお、1つのコンテンツに対応するコンテンツ画像40の数は、1つであってもよいし、複数であってもよい。例えばコンテンツが Web ブラウザである場合、Web ブラウザのウインドウを表すコンテンツ画像40と、Web ブラウザに対して入力操作を行うための入力インタフェースを表すコンテンツ画像40が、表示画面50に表示されうる。
<第1マーカ10について>
第1マーカ10は、コンテンツの特定に利用できる任意のマーカである。例えば第1マーカ10は、コンテンツの識別子と対応づけられている特徴量を持つマークである。第1マーカの10の特徴量とは、その第1マーカ10の外観(形状、模様、又は色など)の特徴を表す値である。なお、ここでいうマークとは、任意の文字、図形、又は記号などを意味する。例えば第1マーカ10には、ロゴや写真なども採用することができる。
第1マーカ10は、コンテンツの特定に利用できる任意のマーカである。例えば第1マーカ10は、コンテンツの識別子と対応づけられている特徴量を持つマークである。第1マーカの10の特徴量とは、その第1マーカ10の外観(形状、模様、又は色など)の特徴を表す値である。なお、ここでいうマークとは、任意の文字、図形、又は記号などを意味する。例えば第1マーカ10には、ロゴや写真なども採用することができる。
図8は、コンテンツの識別子と第1マーカ10の特徴量を対応づける情報をテーブル形式で例示する図である。このテーブルを、テーブル200と表記する。テーブル200は、コンテンツ識別子202と特徴量204という2つの列を有する。コンテンツ識別子202は、コンテンツの識別子を表す。特徴量204は、コンテンツの識別子に対応する第1マーカ10の特徴量を表す。図8では、説明を分かりやすくするため、特徴量204を図形として示している。
第1特定部2020は、撮像画像30から、特徴量204と同一又は類似する特徴量(例えば類似度が所定値以上の特徴量)を持つマークを検出し、検出した特徴量204に対応づけられている識別子でコンテンツを特定する。例えば、図8のテーブル200で第1マーカ10が定められている場合に、ドット柄の模様を持つ円形のマークが撮像画像30から検出されたとき、第1特定部2020は c001 という識別子を持つコンテンツを特定する。
その他にも例えば第1マーカ10は、コンテンツの識別子を符号化した種々のコードでもよい。コードは、例えばバーコードや QR コード(登録商標)などである。この場合、第1特定部2020は、撮像画像30に含まれるコードを復号することで、コンテンツの識別子を算出する。この算出された識別子により、コンテンツが特定される。なお、画像に含まれるコードを検出し、そのコードを復号する技術には、既存の技術を利用できる。
その他にも例えば、第1マーカ10は、コンテンツの識別子を表す文字列であってもよい。なお、ここで言う文字列は、数値列であってもよい。この場合、第1特定部2020は、第1マーカ10に含まれる文字列を認識することで、コンテンツの識別子を算出する。この算出された識別子により、コンテンツが特定される。なお、画像に含まれる文字列を検出し、その文字列を認識する技術には、既存の技術を利用することができる。
例えば第1マーカ10は、表示画面に表示される画像である。この表示画面は、例えば、ユーザに取り付けられるデバイスに設けられる。このデバイスは、表示画面に画像を表示させる機能を有する任意の電子機器である。なおこのデバイスは、ユーザの身体に直接取り付けられてもよいし、服などの上からユーザの身体に取り付けられてもよい。
図9は、第1マーカ10が表示されるデバイス60を例示する図である。デバイス60は、ユーザの手首に身につけられる時計型のデバイスであり、時計の文字盤に相当する部分に表示画面62を有する。デバイス60は、表示画面62に任意の画像を表示させることができる。
例えばユーザは、デバイス60を操作することで、利用したいコンテンツに対応する第1マーカ10が表示画面62に表示されるようにする。例えば表示画面62がタッチパネルである場合、ユーザは、表示画面62を操作することによってデバイス60を操作することができる。その後ユーザは、カメラ130に第1マーカ10を撮像させる。こうすることで、利用したいコンテンツに対応する第1マーカ10が含まれる撮像画像30が生成される。そして、第1特定部2020がこの撮像画像30から第1マーカ10を検出することで、ユーザが利用したいコンテンツが第1特定部2020によって特定される。
なお、表示画面62に表示される第1マーカ10を変更する方法は、デバイス60のタッチパネルを操作する方法に限定されない。例えば前述したヘッドマウントディスプレイ100を利用して情報処理装置2000を実現する場合、ユーザは、ヘッドマウントディスプレイ100に対して入力操作を加えることで、表示画面62に表示される第1マーカ10を変更してもよい。この場合、例えばヘッドマウントディスプレイ100がデバイス60と通信を行うことで、ヘッドマウントディスプレイ100に対して行われた入力操作に応じて表示画面62に表示される第1マーカ10が変更されるようにする。
なお、第1マーカ10は、予めデバイス60に記憶されている画像であってもよいし、デバイス60の外部にある記憶装置に記憶されている画像であってもよい。また、ヘッドマウントディスプレイ100を使って第1マーカ10を選択する場合、デバイス60は、ヘッドマウントディスプレイ100から送信される第1マーカ10を受信することで、第1マーカ10を取得してもよい。
第1マーカ10は、前述した画像に限定されない。例えば第1マーカ10は、ユーザの身体に取り付けられる装着物に予め設けられるマークである。この装着物としては、任意のものを採用できる。例えば装着物は、時計型の装着物である。その他にも例えば、装着物は、指輪、リストバンド、ユーザが着ている服、又はシールなどである。なお、装着物には前述したデバイスも含まれる。
また、装着物には、ユーザの身体に直接取り付けられるものだけでなく、ユーザの身体に取り付けられる物に対してさらに取り付けられる物も含まれる。例えば、ユーザに身につけられている時計型の装着物の文字盤部分やバンド部分に取り付けられるアタッチメントなども、装着物と呼ぶ。よって、「第1マーカ10を装着物に設ける」ことには、ユーザの身体に直接取り付けられる装着物(例えば時計)に第1マーカ10を設けることのみでなく、装着物に対して取り付けられる装着物(例えば時計に対して取り付けられるアタッチメント)に第1マーカ10を設けることも含む。
ここで、時計の文字盤部分など、凹凸がある部分に取り付けられる第1マーカ10は、可撓性のある物で形成されることが好適である。例えば第1マーカ10は、樹脂、ボール紙で形成された板状物、木材、木くずなどを圧縮成型することで形成された板状物に描画又は印字される。また、第1マーカ10は、その板状物に貼り付けられるシールとして設けられていてもよい。このほかに、第1マーカ10は、装着物を被覆するように形成された可撓性のある物の表面に描画又は印字されたものでもよい。
図10は、時計の文字盤部分に取り付けられる第1マーカ10を例示する図である。第1マーカ10は、可撓性のある板状物190に設けられている。時計180は、文字盤182を有する。そして、この文字盤182に対して、板状物190がはめこまれている。
図11は、図10に対応する断面図である。図11(a)は、板状物190のC-D断面図である。図11(a)に示すように、通常の状態において、板状物190の断面は長方形である。つまり、通常の状態において板状物190の形状は直方体である。
図11(b)は、板状物190がはめこまれた文字盤182のE-F断面図である。この図が示すように、板状物190は、その一部が文字盤182の形状に合わせて縮むことによって、文字盤182にはめこまれている。
ユーザによって装着されている時計などの装着物に凹凸がある場合、例えばその装着物に直接第1マーカ10を設けたり、第1マーカ10が設けられたシールをその装着物に直接貼り付けたりすると、装着物の凹凸の影響が第1マーカ10に及び、第1マーカ10にも凹凸が生じる。このように凹凸が生じた第1マーカ10は、通常の状態の第1マーカ10と比較し、撮像画像30から検出しにくくなる。
そこで、図11に示すように、板状物190のように可撓性のある物に第1マーカ10を設け、その物を装着物に取り付けることが好適である。こうすることで、第1マーカ10に凹凸が生じることを防ぐことができるため、凹凸がある場所に直接第1マーカ10を設けるよりも、撮像画像30から第1マーカ10を検出する処理の精度が高くなる。
また一般に、このような可撓性のある物は安価に製造できることが多い。そのため、情報処理装置2000の利用に必要な第1マーカ10を安価に提供することができる。そこで、例えば或る製品のおまけの品(例えばお菓子に同梱されるおもちゃ)として第1マーカ10を提供することで、その製品に関連するコンテンツを情報処理装置2000で利用できるようにするといった運用が考えられる。このような製造コストの面からも、時計などの装着物に取り付けることができる物に第1マーカ10を設けることは好適である。
第1マーカ10は、装着物に人手で描画されてもよいし、印字されてもよい。例えば時計型の装着物において、時計の文字盤に相当する部分に第1マーカ10を予め描画又は印字しておく。図12は、第1マーカ10が予め印字されている時計型の装着物110を例示する図である。装着物110は、時計の文字盤に相当する部分である板状物112を有する。板状物112は、例えば樹脂で形成される。板状物112には、第1マーカが予め印字されている。
なお、或る物にマークを描画又は印字する方法には、その物の表面にインクなどの塗料を付ける方法だけでなく、様々な方法を利用できる。例えば、その物を刻んでマークを形成する方法(いわゆる刻印)、その物をプレス加工によってマークを形成する方法、金型にその物の原料(例えば樹脂)を流し込むことによってマークが設けられたその物を形成する方法などが利用できる。例えば図12において、第1マーカ10は、板状物112を形成する樹脂板に対して第1マーカ10を表す模様を刻み込むなどの方法で形成しうる。
第1マーカ10が装着物に予め設けられている場合、例えば、ユーザに提供するコンテンツごとに装着物を用意しておく。ユーザは、利用したいコンテンツに対応する装着物を身につけて、そのコンテンツを利用する。例えば、ユーザの作業を支援するアプリケーションをコンテンツとする場合、ユーザは、行おうとしている作業に応じて身につける装着物を選ぶようにする。その他にも例えば、装着物をシールとして実現する場合、ユーザは、利用したいコンテンツに対応するシールを選び、そのシールを任意の場所(例えば時計型の装着物の文字盤部分や服の袖など)に貼り付けて情報処理装置2000を利用する。
第1マーカ10は、装着物以外の物体(紙、布、机、又は壁など)に予め描画又は印字されているマークであってもよい。例えば、第1マーカ10が印字された冊子やメニュー表を用意しておく。図13は、第1マーカ10が印字された冊子70を例示する図である。ユーザは、冊子70に印字されている第1マーカ10をカメラ130に撮像させることで、所望のコンテンツを利用する。例えば冊子70は、情報処理装置2000で利用できるコンテンツや入力インタフェースの一覧が示されている本である。
その他にも例えば、アプリケーションのマニュアルにそのアプリケーションに対応する第1マーカ10を設けておいたり、ユーザの作業のマニュアルにその作業を支援するアプリケーションやその作業で利用する入力インタフェースに対応する第1マーカ10を設けておいたりしてもよい。
その他にも例えば、コンテンツの利用場所に設置されている壁や机などに、そのコンテンツに対応する第1マーカ10を設けておく。コンテンツを利用するユーザは、その利用場所に設けられている第1マーカ10をカメラ130に撮像させる。こうすることで、例えばユーザは、その場所で行うべき作業を支援するアプリケーションを容易に利用することができる。
図14は、コンテンツの利用場所に設けられた第1マーカ10を例示する図である。この例では、点検対象の設備が設定されている壁に、その設備の点検を支援するアプリケーションを特定するための第1マーカ10が設けられている。ユーザは、この第1マーカ10をカメラ130に撮像されることにより、この設備を点検するためのアプリケーションを利用することができる。
ここで、前述したように、第1マーカ10は画像として実現されてもよいし、それ以外のもので実現されてもよい。第1マーカ10を画像として実現する形態によれば、利用するコンテンツごとに第1マーカ10を変更することが容易となる。また、第1マーカ10を予め描画又は印字しておく必要がない。なお、第1マーカ10を画像として実現する場合、画像を表示する表示画面は、表示画面自体が発光することで画像を見せる形態または表示画面のバックライトが発光しそれを遮ることで画像を見せる形態のものよりも、電子ペーパーなどのように太陽光や照明光の反射光を利用して画像を見せる形態のものが好適である。表示画面自体が発光する形態では、表示画面から発せられる光と環境光との差が大きい場合(例えば第1マーカ10の周囲が暗い場合)にハレーションが発生し、撮像画像30に第1マーカ10が不鮮明に撮像される可能性があるためである。反射光を利用して画像を見せる形態の表示画面の場合、前述したハレーションが起こらないため、第1マーカ10の検出精度が高くなる。また、第1マーカ10を検出できる距離(カメラ130と第1マーカ10の間の距離)が長くなるという利点がある。これらの利点は、第1マーカ10を画像以外のもので実現する形態も同様に有する利点である。
<第2マーカ20について>
第2マーカ20は、撮像画像30において少なくともその位置を特定できる任意のマーカである。例えば第2マーカ20は、3次元の座標系の決定に利用できるマーカである。3次元の座標系の決定に利用できるマーカは、例えば AR(Augmented Reality)マーカである。ただし、3次元の座標系の決定に利用できるマーカは、或る基準点(例えばマーカの中心)からの相互に直交する3つの方向を特定できるものであればよく、AR マーカには限定されない。また、第2マーカ20は、撮像画像30においてその位置が特定できる物であればよく、必ずしも3次元の座標系の決定に利用できる必要はない。
第2マーカ20は、撮像画像30において少なくともその位置を特定できる任意のマーカである。例えば第2マーカ20は、3次元の座標系の決定に利用できるマーカである。3次元の座標系の決定に利用できるマーカは、例えば AR(Augmented Reality)マーカである。ただし、3次元の座標系の決定に利用できるマーカは、或る基準点(例えばマーカの中心)からの相互に直交する3つの方向を特定できるものであればよく、AR マーカには限定されない。また、第2マーカ20は、撮像画像30においてその位置が特定できる物であればよく、必ずしも3次元の座標系の決定に利用できる必要はない。
例えば第2マーカ20は、ユーザの身体に取り付けられる装着物に設けられる。第1マーカ10が取り付けられる装着物と同様に、第2マーカ20が取り付けられる装着物には、例えば時計型の装着物、指輪、リストバンド、ユーザが着ている服、又はシールなどを採用できる。また、第1マーカ10が取り付けられる装着物と同様に、第2マーカ20が取り付けられる装着物には、ユーザの身体に取り付けられた物にさらに取り付けられる物(板状物190や被覆される物など)も採用できる。なお、第1マーカ10が取り付けられる装着物と、第2マーカ20が取り付けられる装着物は、同じ物であってもよいし、異なる物であってもよい。
第2マーカ20は、例えば装着物に描画又は印字されている所定のマーク(所定の特徴量を持つ文字、図形、又は記号など)である。図15は、デバイス60に描画又は印字されている第2マーカ20を例示する図である。図15(a)において、第2マーカ20は、デバイス60のバンド部分に印字されている所定の模様として実現されている。図15(b)において、第2マーカ20は、表示画面62の周囲(時計の文字盤におけるベゼルに相当する部分)に印字されている所定の模様として実現されている。
その他にも例えば、装着物に設けられる第2マーカ20は、装着物の全体又は一部の形状として実現されてもよい。
その他にも例えば、第2マーカ20は、ユーザの身体に取り付けられる装着物によって表示される画像として実現されてもよい。なお、ユーザの身体の取り付けられる装着物は、前述したデバイス60であってもよいし、それ以外のものであってもよい。デバイス60以外の装着物の例は、前述した通りである。第2マーカ20は、これらの装着物に人手で描画されてもよいし、印字されてもよい。
その他にも例えば、装着物は、光を発する発光デバイス(LED(Light Emitting Diode)など)であってもよい。なお、第2マーカ20が発光デバイスであり、なおかつ第2マーカ20に基づいて3次元の座標系が定められる場合、第2マーカ20は3つ以上の発光デバイスを用いて構成される。第2特定部2040は、撮像画像30に含まれるこれら3つ以上の発光デバイスそれぞれによって発せられた光の位置を算出する。そして、第2特定部2040は、各発光デバイスの位置に基づいて、3次元の座標系を決定することができる。なお、3点以上の物を用いて3次元の座標系を決定する方法には既知の方法を利用できるため、その具体的な方法の説明は省略する。
第2マーカ20は、装着物に設けられるマークに限定されない。例えば第2マーカ20は、ユーザの身体に直接描画される所定のマークでもよい。その他にも例えば、第2マーカ20は、ユーザの身体の所定の部分(手の甲など)でもよい。
第2マーカ20は、ユーザの身体の任意の箇所に設けることができる。例えば第2マーカ20は、ユーザの腕部に設けられる。ここで、腕部とは、ユーザの手の先から肩にかけての部分を意味する。
撮像画像30から第2マーカ20を検出するために、第2特定部2040は、第2マーカ20を特定する情報(以下、マーカ情報)を利用する。例えばマーカ情報は、第2マーカ20の特徴量を示す。第2特定部2040は、マーカ情報によって示される特徴量を持つ物体や画像を撮像画像30から検出することで、第2マーカ20を検出する。マーカ情報は、予め第2特定部2040に設定されていてもよいし、第2特定部2040からアクセス可能な記憶装置に記憶されていてもよい。
ここで、第2マーカ20は、コンテンツに依存しない一つのマーカで実現することが好適である。このようにすることで、前述したとおり、第2マーカ20を検出する処理をよりシンプルにすることができる。その結果、第2マーカ20を検出する処理に要する時間が短くなるという利点や、この処理の計算コストが小さくなるという利点がある。
前述したように、第2マーカ20は画像として実現されてもよいし、それ以外のもので実現されてもよい。第2マーカ20を画像として実現する形態には、第2マーカ20を予め描画又は印字しておく必要がないという利点がある。
なお、第2マーカ20を画像として実現する場合、第1マーカ10を画像として実現する場合と同様に、画像を表示する表示画面は、表示画面自体が発光することで画像を見せる形態または表示画面のバックライトが発光しそれを遮ることで画像を見せる形態のものよりも、電子ペーパーなどのように太陽光や照明光の反射光を利用して画像を見せる形態のものが好適である。その利点は、第1マーカ10の場合と同様である。また、その利点は、第2マーカ20を画像以外のものとして実現する場合についても同様である。
<第1マーカ10と第2マーカ20を設ける位置の関係について>
前述したように、第1マーカ10と第2マーカ20はそれぞれ様々な場所に設けることができる。例えば第1マーカ10と第2マーカ20の双方がデバイス60に設けられる。図16は、デバイス60に第1マーカ10と第2マーカ20の双方が設けられるケースを例示する図である。図16において、第1マーカ10は、表示画面62に表示される画像である。一方、第2マーカ20は、表示画面62の周囲に印字されているマークである。
前述したように、第1マーカ10と第2マーカ20はそれぞれ様々な場所に設けることができる。例えば第1マーカ10と第2マーカ20の双方がデバイス60に設けられる。図16は、デバイス60に第1マーカ10と第2マーカ20の双方が設けられるケースを例示する図である。図16において、第1マーカ10は、表示画面62に表示される画像である。一方、第2マーカ20は、表示画面62の周囲に印字されているマークである。
カメラ130に撮像させるべき第1マーカ10は、ユーザが利用したいコンテンツによって異なる。そのため、第1マーカ10をデバイス60に設ける場合、第1マーカ10を表示画面62に表示される画像として実現することで、ユーザの操作に応じて第1マーカ10を変更できるようにすることが好適である。一方、第2マーカ20はコンテンツ画像40の表示位置を決定するためのマーカであるため、ユーザ操作に応じて変更できなくてもよい。そのため、図16に示すように、第2マーカ20は、デバイス60に予め設けられているマークであってもよい。そこで図16の例では、第1マーカ10を表示画面62に表示される画像として実現し、第2マーカ20をデバイス60に予め設けられているマークとして実現している。
また、図16のように第1マーカ10の周囲に第2マーカ20を設けることで、第2マーカ20を第1マーカ10よりも大きくすることができる。ここで、コンテンツの特定に利用される第マーカ10と比較し、コンテンツ画像40の表示位置の特定に利用される第2マーカ20は、情報処理装置2000によって検出されるべき頻度が高いといえる。そして、検出されるべき頻度が高い第2マーカ20の検出のしやすさは、第1マーカ10の検出のしやすさ以上であることが好適である。そこで、第2マーカ20を第1マーカ10よりも大きくする(例えば図16のように、第2マーカ20を第1マーカ10の周囲に設ける)ことが好適である。ただし、必ずしも第1マーカ10よりも第2マーカ20を大きくする必要はなく、これらの大きさは同じであってもよいし、第1マーカ10を第2マーカ20より大きくしてもよい。
なお、図16の例では第1マーカ10を画像として実現し、第2マーカ20を予め設けられているマークとして実現しているが、必ずしもこのような実現方法に限定されない。例えば、第1マーカ10と第2マーカ20の双方を、表示画面62に表示される画像として実現してもよい。このケースではまず、ユーザは、デバイス60を操作して、利用したいコンテンツに対応する第1マーカ10を表示画面62に表示させ、カメラ130にその第1マーカ10を撮像させる。その結果、利用したいコンテンツが特定される。その後ユーザは、さらにデバイス60を操作して第2マーカ20を表示画面62に表示させ、カメラ130にその第2マーカ20を撮像させる。その結果、コンテンツ画像40の表示位置が特定され、特定された位置にコンテンツ画像40が表示される。
また、第1マーカ10と第2マーカ20の双方を、ユーザが身につける装着物に予め設けられるマークとして実現してもよい。例えば、時計型の装着物において、文字盤に相当する部分の中央付近に第1マーカ10を予め印字しておき、この部分の周囲に第2マーカ20を予め印字しておく。
なお、上述の各例では、第1マーカ10が装着物の中心付近に位置し、第2マーカ20がその周囲に位置している。しかし、第1マーカ10と第2マーカ20の位置関係は、互いに重ならない任意の位置関係とすることができる。また、第1マーカ10と第2マーカ20は、これらの検出に影響のない範囲であればそれらの一部が重なり合ってもよい。
図17は、同一の装着物に設けられる第1マーカ10と第2マーカ20の他の例を示す図である。図17(a)において、第1マーカ10と第2マーカ20は、平面視において縦に並べて設けられている。図17(a)において、第1マーカ10と第2マーカ20は、1)それぞれ表示画面に表示される画像であってもよいし、2)いずれか一方が表示画面に表示される画像で、もう一方が予め描画又は印字されているマークであってもよいし、3)双方が予め描画又は印字されているマークであってもよい。
図17(b)において、第1マーカ10はデバイス60の表示画面62に表示される画像である。第2マーカ20は、表示画面62の一部を覆うように貼り付けられているシールに印字されている。点線は、このシールによって覆われている表示画面62の枠を表す。このように、図17(b)では、第1マーカ10の一部が見えなくなっている。
第1マーカ10の検出を第1マーカ10の特徴量によって検出する方法(テーブル200を利用する方法)によれば、撮像画像30において第1マーカ10の一部が欠けていたとしても、撮像画像30に含まれる第1マーカ10と予め用意されている第1マーカ10の特徴量との類似度が所定の閾値以上になる程度に第1マーカ10が見えていれば(撮像画像30に含まれていれば)、第1マーカ10の検出が可能である。よって、図17(b)のように第1マーカ10の一部が第2マーカ20によって隠されていても、第1特定部2020は第1マーカ10を検出することができる。
なお、図17(b)では第2マーカ20によって第1マーカ10の一部が見えなくなっているが、逆に第1マーカ10によって第2マーカ20の一部が見えなくなっていてもよい。
第1マーカ10と第2マーカ20の位置は、装着物を平面視した場合における奥行き方向の位置が異なっていてもよい。言い換えれば、第1マーカ10が表す平面と第2マーカ20が表す平面は、同一平面上に存在しなくてもよい。さらに言い換えれば、第1マーカ10が表す平面と、第2マーカ20が表す平面は、それらの平面に垂直な方向についての位置が互いに異なっていてもよい。
図18は、装着物を平面視した場合における奥行き方向の位置が異なる第1マーカ10と第2マーカ20を例示する図である。図18(a)は、時計型の装着物110の平面図であり、図18(b)は、装着物110のAB断面図である。図18(b)に示すように、装着物110において、第1マーカ10が設けられている位置と第2マーカ20が設けられている位置は、z 方向(平面視における奥行き方向、装着物110の厚み方向)において互いに異なっている。装着物110がデバイス60である場合、例えば、第1マーカ10が表示画面62に設けられ、第2マーカ20が表示画面62の周囲(時計の文字盤のベゼルに相当する部分)に設けられ、表示画面62がその周囲よりも平面視において奥に設けられる。言い換えれば、第1マーカ10が設けられる位置と第2マーカ20が設けられる位置が、表示画面62の平面に対して垂直な方向において互いに異なる。
装着物110を撮像するカメラ130の視野において、第1マーカ10は、第2マーカ20よりも奥に位置することとなる。そのため、カメラ130が第1マーカ10を撮像する方向によって(ユーザが装着物110を見る方向によって)、撮像画像30に含まれる第1マーカ10が異なる。図19は、第1マーカ10を撮像する方向によって撮像画像30に含まれる第1マーカ10が異なる様子を例示する図である。撮像画像30-1では、装着物110が、平面視における左斜め下方向から撮像されている。そのため、撮像画像30-1には、第1マーカ10の左下の一部が含まれていない。一方、撮像画像30-2では、平面視における右斜め下方向から装着物110が撮像されている。その結果、撮像画像30-2には、第1マーカ10の右下の一部が含まれていない。
このように、同一の第1マーカ10であってもカメラ130によって撮像される方向によって撮像画像30に含まれる形状や模様などが異なる場合(例えば第1マーカ10の一部が欠ける場合)、1つの第1マーカ10が複数のコンテンツに共通するものとして利用されてもよい。この場合、第1特定部2020には、撮像画像30に含まれる第1マーカ10(第1マーカ10の一部)からコンテンツを特定する。例えば図19の例において、撮像画像30-1のケースではコンテンツとしてキーボードが特定され、撮像画像30-2のケースではコンテンツとしてテンキーが特定されるようにする。こうすることで、ユーザは、利用したいコンテンツに応じてカメラ130が第1マーカ10を撮像する方向(例えばユーザが第1マーカ10を見る方向)を変えることによって、所望のコンテンツを利用できるようになる。よって、情報処理装置2000の利便性が向上する。また、コンテンツの数に対する第1マーカ10の数を減らすことができるため、第1マーカ10を用意する手間が軽減する。また、第1マーカ10を画像として実現する場合には、第1マーカ10を記憶させておく記憶領域を削減することができ、第1マーカ10を予め描画又は印字しておく場合には、第1マーカ10を設けるために要するスペースを減らすことができる。
<第1マーカ10と第2マーカ20の検出を行うタイミング>
第1マーカ10の検出と第2マーカ20の検出のタイミングや頻度は任意である。以下では、これらの好適なタイミングや頻度を例示する。
第1マーカ10の検出と第2マーカ20の検出のタイミングや頻度は任意である。以下では、これらの好適なタイミングや頻度を例示する。
<<第1の例>>
この例では、第1マーカ10の検出と第2マーカ20の検出が、それぞれ異なるタイミングで行われる。図20は、第1マーカ10の検出と第2マーカ20の検出のタイミングを例示するフローチャートである。まず、第1特定部2020によって、第1マーカ10を検出する処理が行われる(図5のS102からS106)。この間、第2マーカ20の検出は行わない。こうすることで、情報処理装置2000の処理負荷を軽減することができる。
この例では、第1マーカ10の検出と第2マーカ20の検出が、それぞれ異なるタイミングで行われる。図20は、第1マーカ10の検出と第2マーカ20の検出のタイミングを例示するフローチャートである。まず、第1特定部2020によって、第1マーカ10を検出する処理が行われる(図5のS102からS106)。この間、第2マーカ20の検出は行わない。こうすることで、情報処理装置2000の処理負荷を軽減することができる。
第1特定部2020によって第1マーカ10が検出されると、次に第2特定部2040による第2マーカ20の検出、及び表示制御部2060によるコンテンツ画像40の表示が行われる(図6のS202からS212)。
ループ処理Aの終了条件は、例えば前述したようにユーザによって所定の入力操作や、情報処理装置2000の状態が所定の状態になることである。第1マーカ10によって特定されたコンテンツがアプリケーションである場合、例えば情報処理装置2000が所定の状態になるとは、そのアプリケーションが終了することである。その他にも例えば、第1マーカ10によって特定されたコンテンツが入力インタフェースである場合、情報処理装置2000が所定の状態になるとは、その入力インタフェースを用いた入力操作が完了することである。これらの終了条件を採用することで、アプリケーションの終了や入力操作の終了を契機として、情報処理装置2000によって行われる処理を、コンテンツ画像40の表示位置の決定からコンテンツの特定へ自動的に移行させることができる。
その他にも例えば、所定の終了条件は、所定時間以上(所定回数以上のループ処理Aにおいて)、第2マーカ20が検出されないことである。例えばヘッドマウントディスプレイ100を利用する場合、所定時間以上第2マーカ20が検出されないことは、第2マーカ20が所定時間以上ユーザの視界から外れていることを意味する。よって、この終了条件を採用することで、ユーザは、別のコンテンツを利用したいと考えた場合に、第2マーカ20を視界から外すという容易な動作で、情報処理装置2000によって行われる処理をコンテンツの特定へ移行させることができる。
ここで、ループ処理Aが実行されている間、第1マーカ10の検出は行わない。こうすることで、情報処理装置2000の処理負荷を軽減することができる。
前述した所定の終了条件が満たされると、図20の処理は終了する。この場合、例えば情報処理装置2000は、再度図20の処理を実行する。こうすることで、1)第1マーカ10を検出する、2)所定の終了条件が満たされるまで第2マーカ20の検出及びコンテンツ画像40の表示を繰り返す、という流れで処理が繰り返される。
<<第2の例>>
この例では、第1マーカ10を検出する処理と第2マーカ20の検出処理が並行しておこなわれる。ただし、情報処理装置2000は、1)第1マーカ10の検出処理を行う頻度が第2マーカ20の検出処理を行う頻度よりも高い第1状態と、2)第2マーカ20の検出処理を行う頻度が第1マーカ10の検出処理を行う頻度よりも高い第2状態という、2つの状態の間を遷移する。図21は、情報処理装置2000の状態が第1状態と第2状態の間を遷移する様子を例示する図である。
この例では、第1マーカ10を検出する処理と第2マーカ20の検出処理が並行しておこなわれる。ただし、情報処理装置2000は、1)第1マーカ10の検出処理を行う頻度が第2マーカ20の検出処理を行う頻度よりも高い第1状態と、2)第2マーカ20の検出処理を行う頻度が第1マーカ10の検出処理を行う頻度よりも高い第2状態という、2つの状態の間を遷移する。図21は、情報処理装置2000の状態が第1状態と第2状態の間を遷移する様子を例示する図である。
まず、コンテンツが特定されていない時(例えば情報処理装置2000の起動時)には、情報処理装置2000は第1状態となる。その後、第1マーカ10が検出されてコンテンツが特定されると、情報処理装置2000は第2状態に遷移する。
第2状態から第1状態へ遷移する条件には、様々なものを採用できる。例えば、第2状態に遷移してから所定の時間が経過したら、情報処理装置2000の状態を第1状態に遷移させる。この所定の時間は、全てのコンテンツに共通で定められていてもよいし、コンテンツ毎に定められていてもよい。その他にも例えば、コンテンツの終了(アプリケーションの終了や入力インタフェースを用いた入力操作に終了)を契機として、情報処理装置2000の状態を第1状態に遷移させる。その他にも例えば、第2状態において所定時間以上第2マーカ20が検出されない場合に、情報処理装置2000の状態を第1状態に遷移させる。
その他にも例えば、第2状態において撮像画像30から検出された第2マーカ20の一部が欠けていたら、情報処理装置2000の状態を第1状態に遷移させる。このケースでは、前提として、第2マーカ20が第1マーカ10の周囲に位置するとする。第2マーカ20が第1マーカ10の周囲に位置すると、第1マーカ10を変更するためにデバイス60を操作する(例えばタッチパネルを操作する)場合に、第2マーカ20の一部がユーザの手などによって隠れて見えなくなる。
図22は、第1マーカ10を変更する作業を例示する図である。図22において、第1マーカ10は表示画面62に表示される画像である。また、第2マーカ20は、デバイス60のベゼル部分に印字されているマークである。デバイス60のタッチパネルを操作して第1マーカ10を変更する作業が行われているため、ユーザの指によって第2マーカ20の一部が隠れている。つまり、撮像画像30から検出される第2マーカ20の一部が欠けている。
このように、撮像画像30から検出された第2マーカ20の一部が欠けていることは、第1マーカ10を変更する作業が行われた蓋然性が高いことを意味する。そして、第1マーカ10を変更する作業が行われた場合、ユーザがコンテンツを切り替えようとしていることを意味する。そこで、このような状況下で情報処理装置2000の状態を第1状態に遷移させることにより、ユーザがコンテンツを切り替えようとしている時に、第1マーカ10が検出される蓋然性を高くすることができる。
なお前述したように、第2マーカ20は、撮像画像30においてその一部が欠けていたとしても、予め用意されている第2マーカ20の特徴量との類似度が所定の閾値以上となる程度に第2マーカ20が撮像画像30に含まれていれば、その検出が可能である。
その他にも例えば、第2状態において撮像画像30から第2マーカ20が検出されなくなったら、情報処理装置2000の状態を第1状態に遷移させる。この方法によれば、ユーザは、コンテンツを切り替えたい時に、第2マーカ20が撮像されないようにする(第2マーカ20を視界から外す)という簡易な動作によって、コンテンツを特定するために適した第1状態に情報処理装置2000を遷移させることができる。
<コンテンツ画像40の表示位置の特定>
第2特定部2040は、第2マーカ20に基づいてコンテンツ画像40の表示位置を決定する。例えば第2マーカ20に基づいて3次元の座標系が決定される場合、コンテンツ画像40の位置を、この座標系における位置として予め定義しておく。
第2特定部2040は、第2マーカ20に基づいてコンテンツ画像40の表示位置を決定する。例えば第2マーカ20に基づいて3次元の座標系が決定される場合、コンテンツ画像40の位置を、この座標系における位置として予め定義しておく。
図23は、第2マーカ20に基づいて決定される座標系80を例示する図である。座標系80は、x 方向、y 方向、及び z 方向で定まる3次元の座標系である。ここで、画像に含まれるマーカの形状等に基づいて3次元の座標系を決定する技術には、既知の技術を利用することができる。
図24は、座標系80におけるコンテンツ画像40の位置を例示する図である。図24の例において、座標系80におけるコンテンツ画像40の位置は予め、(-3Mx-Ix, -Iy/2, 0) と定められている。ここで、Mx は第2マーカ20の x 方向の大きさ、Ix はコンテンツ画像40の x 方向の大きさ、Iy はコンテンツ画像40の y 方向の大きさを表す。また、コンテンツ画像40の位置は、コンテンツ画像40の左上の座標を表す。表示制御部2060は、座標系80における位置が (-3Mx-Ix, -Iy/2, 0) となるように、コンテンツ画像40を表示画面50に表示させる。
第2マーカ20に基づいて定まる座標系における位置は、全てのコンテンツに共通で定められていてもよいし、コンテンツごとに定められていてもよいし、コンテンツ画像40ごとに定められていてもよい。
<コンテンツ画像40の姿勢や大きさについて>
第2特定部2040は、コンテンツ画像40の位置に加え、コンテンツ画像40の姿勢や大きさを第2マーカ20に基づいて決定してもよい。以下、姿勢と大きさの決定方法についてそれぞれ説明する。
第2特定部2040は、コンテンツ画像40の位置に加え、コンテンツ画像40の姿勢や大きさを第2マーカ20に基づいて決定してもよい。以下、姿勢と大きさの決定方法についてそれぞれ説明する。
<<コンテンツ画像40の姿勢を決定する方法>>
第2特定部2040は、第2マーカ20の姿勢に応じて、コンテンツ画像40の姿勢を決定する。具体的にはまず、第2特定部2040は、撮像画像30に写っている第2マーカ20を用いて座標系80を決定する。さらに第2特定部2040は、上記決定した座標系80に基づいて、コンテンツ画像40の姿勢を決定する。例えばこの決定には、予め定めておいた上記座標系80とコンテンツ画像40の姿勢との対応関係を利用する。
第2特定部2040は、第2マーカ20の姿勢に応じて、コンテンツ画像40の姿勢を決定する。具体的にはまず、第2特定部2040は、撮像画像30に写っている第2マーカ20を用いて座標系80を決定する。さらに第2特定部2040は、上記決定した座標系80に基づいて、コンテンツ画像40の姿勢を決定する。例えばこの決定には、予め定めておいた上記座標系80とコンテンツ画像40の姿勢との対応関係を利用する。
図25は、座標系80とコンテンツ画像40の姿勢90との対応関係を例示する図である。図25において、コンテンツ画像40の姿勢90は、コンテンツ画像40を平面視した場合の右方向が座標系80における x 方向となっており、コンテンツ画像40を平面視した場合における下方向が座標系80における y 方向となっており、コンテンツ画像40を平面視した場合における視線方向と逆の方向が座標系80における z 方向となっている。この対応関係は、第2特定部2040に予め設定されていてもよいし、第2特定部2040からアクセス可能な記憶装置に記憶されていてもよい。また、この対応関係は、全てのコンテンツ画像40に共通であってもよいし、コンテンツごとに定められていてもよいし、コンテンツ画像40ごとに定められていてもよい。
第2特定部2040は、第2マーカ20を用いてコンテンツ画像40の姿勢を決定しなくてもよい。この場合、例えば第2特定部2040は、第2マーカ20によらない固定の姿勢でコンテンツ画像40を表示する。
<<操作画像の大きさの決定>>
第2特定部2040は、撮像画像30に含まれる第2マーカ20の大きさに応じて、表示画面50に表示させるコンテンツ画像40の大きさを決定する。例えば予め、第2マーカ20の大きさとコンテンツ画像40の大きさとの比率を定めておく。そして、第2特定部2040は、この比率及び撮像画像30に写っている第2マーカ20の大きさとに基づいて、表示画面50に表示させるコンテンツ画像40の大きさを決定する。上記比率は、第2特定部2040に予め設定されていてもよいし、第2特定部2040からアクセス可能な記憶装置に記憶されていてもよい。また、この比率は、全てのコンテンツ画像40に共通で定められていてもよいし、コンテンツごとに定められていてもよいし、コンテンツ画像40ごとに定められていてもよい。
第2特定部2040は、撮像画像30に含まれる第2マーカ20の大きさに応じて、表示画面50に表示させるコンテンツ画像40の大きさを決定する。例えば予め、第2マーカ20の大きさとコンテンツ画像40の大きさとの比率を定めておく。そして、第2特定部2040は、この比率及び撮像画像30に写っている第2マーカ20の大きさとに基づいて、表示画面50に表示させるコンテンツ画像40の大きさを決定する。上記比率は、第2特定部2040に予め設定されていてもよいし、第2特定部2040からアクセス可能な記憶装置に記憶されていてもよい。また、この比率は、全てのコンテンツ画像40に共通で定められていてもよいし、コンテンツごとに定められていてもよいし、コンテンツ画像40ごとに定められていてもよい。
第2特定部2040は、第2マーカ20を用いてコンテンツ画像40の大きさを決定しなくてもよい。この場合、例えば第2特定部2040は、第2マーカ20の大きさによらない固定の大きさでコンテンツ画像40を表示させる。
<コンテンツ画像40の表示>
表示制御部2060は、コンテンツ画像40を表示画面50に表示させる。ここで、表示画面50に画像を表示させる技術には、既存の技術を利用することができる。
表示制御部2060は、コンテンツ画像40を表示画面50に表示させる。ここで、表示画面50に画像を表示させる技術には、既存の技術を利用することができる。
なお、第2マーカ20が撮像画像30に含まれない場合、表示制御部2060は、表示画面50にコンテンツ画像40を表示させなくてもよいし、表示画面50に所定の態様(所定の位置、所定の姿勢、及び所定の大きさ)でコンテンツ画像40を表示させてもよい。後者の場合、例えば表示制御部2060は、コンテンツ画像40の中心位置を表示画面50の中心位置とし、表示画面50を平面視する方向がコンテンツ画像40を平面視する方向になるようにし、なおかつ表示画面50に表示可能な最大の大きさでコンテンツ画像40を表示させる。
図26は、第2マーカ20が撮像画像30に含まれる場合と含まれない場合とで、表示画面50に表示されるコンテンツ画像40の態様が変更される様子を例示する図である。この例において、情報処理装置2000は透過型のヘッドマウントディスプレイ100を用いて実現されている。点線の枠(範囲120)は、ユーザが透過型の表示画面50を介して見る範囲を表している。さらに範囲120は、カメラ130の撮像範囲も表している。つまり、範囲120に含まれるコンテンツ画像40以外のものは、撮像画像30にも含まれる。
図26(a)では、第2マーカ20がカメラ130の撮像範囲に含まれるため、撮像画像30から第2マーカ20が検出される。そこで、Web ブラウザのウインドウを表すコンテンツ画像40-1と、この Web ブラウザに対して入力を行うためのキーボードを表すコンテンツ画像40-2が、第2マーカ20によって定まる位置、大きさ、及び姿勢で表示されている。
一方、図26(b)では、第2マーカ20がカメラ130の撮像範囲に含まれないため、撮像画像30から第2マーカ20が検出されない。そこで、コンテンツ画像40-1が大きく表示され、なおかつコンテンツ画像40-2が表示されていない。
このように、第2マーカ20が撮像画像30に含まれる場合と含まれない場合とで表示を切り替える方法によれば、ユーザは、例えば入力操作を行いたい時と情報の閲覧に注力したい時とで、それぞれに適した表示に容易に切り替えを行うことができる。例えば図26の例では、情報の閲覧に注力したい時には、第2マーカ20をユーザの視界から外すことにより、Web ブラウザのウインドウを容易に大きくすることができる。一方、文字入力を行いたい時には、第2マーカ20をユーザの視界に入れることにより、容易に入力インタフェースを表示させることができる。このように、情報処理装置2000の利便性が向上する。
<マーカを利用した入力操作の検出>
情報処理装置2000は、第1マーカ10又は第2マーカ20を利用して、ユーザによる入力操作を検出してもよい。以下では、第1マーカ10を利用してユーザによる入力操作を検出する方法について説明する。以下で説明する方法では、第1マーカ10の代わりに第2マーカ20を利用することも可能である。
情報処理装置2000は、第1マーカ10又は第2マーカ20を利用して、ユーザによる入力操作を検出してもよい。以下では、第1マーカ10を利用してユーザによる入力操作を検出する方法について説明する。以下で説明する方法では、第1マーカ10の代わりに第2マーカ20を利用することも可能である。
ここでは、第1マーカ10は、コンテンツの特定に加え、ユーザによって入力操作が行われたタイミングを特定するためにも利用される。この場合、第1マーカ10は、デバイス60の表示画面62に表示される画像として実現される。また、ユーザの身体にセンサ64が取り付けられる。センサ64には、ユーザの入力操作に応じてセンシングの結果が変化しうる任意のセンサを採用できる。例えばセンサ64は、振動センサ、加速度センサ、振動スイッチ、圧力センサ、又は静電容量センサなどである、
デバイス60は、センサ64によるセンシングの結果を取得する。そのために、センサ64はデバイス60に接続される。例えばセンサ64は、デバイス60の内部に設けられる。ただし、センサ64は、そのセンシング結果をデバイス60へ通知できる任意の態様でデバイス60と接続されていればよく、必ずしもデバイス60の内部に設けられる必要はない。例えばセンサ64は、ユーザの身体に直接取り付けられたり、ユーザの衣服に取り付けられたりしてもよい。
ユーザは、センサ64によるセンシングの結果に影響を与える態様で入力操作を行う。例えばセンサ64が振動センサである場合、ユーザは、入力操作の開始や終了などのタイミングでセンサ64に対して振動が加わるように入力操作を行う。例えばセンサ64がデバイス60に内蔵されている振動センサである場合、ユーザは、入力操作の開始や終了などのタイミングでその腕をタップすることで、センサ64に対して振動が加わるようにする。
デバイス60は、センサ64によるセンシングの結果に応じて、表示画面62に表示させる第1マーカ10を変更する。例えばセンサ64が振動センサである場合、デバイス60は、センサ64によって所定の大きさ以上の振動が検出されたことに応じて、第1マーカ10を変更する。
情報処理装置2000は、繰り返し生成される複数の撮像画像30を解析することで、表示画面62に表示される第1マーカ10が変更されたことを検出する。これにより、情報処理装置2000は、ユーザによって入力操作が行われたタイミングを特定する。図27は、ユーザによる入力操作によって第1マーカ10が変更される様子を例示する図である。
ここで、本実施形態の第2特定部2040は、変更前の第1マーカ10と変更後の第1マーカ10のいずれを用いても、同じコンテンツを特定できる必要がある。これを実現する方法は様々である。例えば、デバイス60は、同一のコンテンツに対して複数の異なる第1マーカ10を対応づけておく。そして、デバイス60は、センサ64によるセンシングの結果に応じて第1マーカ10を変更する際、表示画面62に、変更前の第1マーカ10によって特定されるコンテンツと同じコンテンツに対応づけられている別の第1マーカ10を表示させる。
その他にも例えば、デバイス60は、第2特定部2040による第1マーカ10の特定に影響を与えない限度で、第1マーカ10を変更する。例えば第2特定部2040が、第1マーカ10の模様や形状で第1マーカ10を特定するとする。具体的には、模様や形状に対してコンテンツを対応づけておく。この場合、デバイス60は、例えば表示画面62に表示される模様や形状を変更せず、表示画面62の色のみを変更する。例えば図27の例において、変更前の第1マーカ10と変更後の第1マーカ10は、バーコード部分が同じである一方で、背景の色が異なっている。この場合、背景の色にかかわらずにバーコード部分の形状によってコンテンツを特定するようにしておけば、第1特定部2020によるコンテンツの特定に影響を与えない範囲で第1マーカ10を変更することができる。
前述したように、センサ64としては、振動センサだけでなく、種々のセンサを採用できる。例えばセンサ64が加速度センサである場合、デバイス60は、センサ64が所定の大きさ以上の加速度を検出したときに、表示画面62に表示させる第1マーカ10を変更する。例えばセンサ64が圧力センサである場合、デバイス60は、センサ64が所定の大きさ以上の圧力を検出したときに、表示画面62に表示させる第1マーカ10を変更する。また例えば、センサ64が静電容量センサである場合、デバイス60は、センサ64が所定の大きさ以上の静電容量の変位を検出したときに、表示画面62に表示させる第1マーカ10を変更する。センサ64が振動スイッチである場合については、センサ64が振動センサである場合と同様である。
上述のように第1マーカ10を利用して認識できる入力操作には、様々なものがある。例えば、ユーザによる入力操作が、コンテンツ画像40として表示されている入力インタフェース(キーボードやボタンなど)に対する操作であるとする。この場合、情報処理装置2000は、第1マーカ10が変更されたタイミング又はそれに近いタイミング(第1マーカ10が変更されたタイミングより所定時間前又は後のタイミング)に生成された撮像画像30から、入力操作に利用される物体(以下、操作体)を検出する。操作体は、例えばユーザの指や、ユーザの手に保持されるペンなどの所定の物体である。情報処理装置2000は、検出された操作体の撮像画像30内の位置と、表示画面50に表示されているコンテンツ画像40の位置とに基づいて、ユーザによる入力操作を認識する。例えば入力インタフェースがキーボードであれば、情報処理装置2000は、検出された操作体の位置と表示画面50におけるキーボードの位置とに基づいて、ユーザがどのキーを操作したのかを特定する。
ユーザの入力操作は、コンテンツ画像40として表示されている入力インタフェースに対する操作に限定されない。例えばユーザは、操作体で文字や図形などを描く操作を行ってもよい。つまり、操作体の動きが入力操作の内容として認識される。この場合、例えばユーザは、入力操作の開始と終了それぞれのタイミングで第1マーカ10が変更されるように入力操作を行う。例えば、ユーザは、デバイス60が取り付けられている腕をタップしてから図形を描き、最後に再度その腕をタップする。これにより、入力操作の開始と終了のタイミングそれぞれで、第1マーカ10が変更される。情報処理装置2000は、第1マーカ10の変化を検出することで入力操作の開始と終了のタイミングを特定する。さらに、情報処理装置2000は、入力操作の開始のタイミングと終了のタイミングの間において生成された複数の撮像画像30を解析することでその間における操作体の動きを検出し、その動きを入力操作として認識する。
上述の例では、操作体の動きによって入力操作を行う場合において、ユーザは、第1マーカ10が2回変更されるように入力操作を行っている。しかし、第1マーカ10を変更させる回数は1回でもよい。この場合、例えばユーザが、入力操作の開始のタイミングで、センサ64のセンシング結果に影響を与える動作(例えば腕のタップ)を行うようにする。そして情報処理装置2000は、例えば第1マーカ10が変更されたタイミングを入力操作の開始時点とし、この時点よりも所定時間後を入力操作の終了時点として、入力操作を認識する。同様に、ユーザが、入力操作の終了のタイミングで、センサ64のセンシング結果に影響を与える動作を行うようにしてもよい。この場合、情報処理装置2000は、例えば第1マーカ10が変更されたタイミングを入力操作の終了時点とし、この時点よりも所定時間前を入力操作の開始時点として、入力操作を認識する。
ここで、センサ64を使って入力操作のタイミングを特定する方法においては、必ずしも前述したように第1マーカ10や第2マーカ20を変化させる必要はなく、第1マーカ10や第2マーカ20以外のものを変化させてもよい。図28は、第1マーカ10や第2マーカ20を変化させずに入力操作のタイミングを特定する方法の第1の例を示す図である。図28において、第1マーカ10は、情報処理装置2000を利用する場所に予め設けられている。また、第2マーカ20は、デバイス60のベゼル部分に設けられている。
デバイス60は、センサ64によるセンシングの結果に応じて(例えば所定の大きさ以上の振動が検出されたことに応じて)表示画面62を変化させる。具体的には、デバイス60は、表示画面62のバックライトの色を変更したり、バックライトを点滅させたりする。情報処理装置2000は、撮像画像30を用いて、この表示画面62の変化を検出することにより、ユーザによる入力操作のタイミングを特定する。
図29は、第1マーカ10や第2マーカ20を変化させずに入力操作のタイミングを特定する方法の第2の例を示す図である。図29の第1マーカ10は、図28の第1マーカ10と同様である。一方、図29の第2マーカ20は、装着物110の板状物112に設けられている。また、板状物112は、半透明の樹脂で形成されており、板状物112の下に LED ライト114が設けられている。そして、この LED ライト114は、センサ64によるセンシングの結果に応じて点滅するように構成されている。前述したように板状物112が半透明であるため、LED ライト114が点滅している様子は、撮像画像30から検出できる。そこで情報処理装置2000は、撮像画像30を用いて、この LED ライト114が点滅したことを検出することにより、入力操作のタイミングを特定する。
<情報処理装置2000のユースケース>
ここでは、情報処理装置2000のユースケースを例示する。なお、以下で示すユースケースはあくまで例示であり、情報処理装置2000の活用方法は以下で説明するユースケースに限定されない。以下の例において、情報処理装置2000は、ヘッドマウントディスプレイ100を用いて実現されているとする。すなわち、コンテンツ画像40が表示される表示画面50は、ヘッドマウントディスプレイ100のレンズ部分に設けられる。また、撮像画像30を生成するカメラ130は、ヘッドマウントディスプレイ100のレンズ付近に設けられる。
ここでは、情報処理装置2000のユースケースを例示する。なお、以下で示すユースケースはあくまで例示であり、情報処理装置2000の活用方法は以下で説明するユースケースに限定されない。以下の例において、情報処理装置2000は、ヘッドマウントディスプレイ100を用いて実現されているとする。すなわち、コンテンツ画像40が表示される表示画面50は、ヘッドマウントディスプレイ100のレンズ部分に設けられる。また、撮像画像30を生成するカメラ130は、ヘッドマウントディスプレイ100のレンズ付近に設けられる。
<<第1のユースケース:設備の点検作業の支援>>
情報処理装置2000は、工場などにおける設備(例えば機器)などの点検作業を支援するために利用することができる。この場合、まずユーザは、この点検作業の支援を実現するアプリケーション(以下、点検支援アプリケーション)に対応する第1マーカ10をカメラ130に撮像させることで、このアプリケーションを実行させる。
情報処理装置2000は、工場などにおける設備(例えば機器)などの点検作業を支援するために利用することができる。この場合、まずユーザは、この点検作業の支援を実現するアプリケーション(以下、点検支援アプリケーション)に対応する第1マーカ10をカメラ130に撮像させることで、このアプリケーションを実行させる。
点検支援アプリケーションが実行されている様子は、例えば図3で表される。例えば点検支援アプリケーションは、データベースに登録されている点検リストを取得する。点検リストには、複数の点検項目それぞれに関する情報(点検場所や点検の内容)を示している。表示制御部2060は、点検リストに含まれる各点検項目について、その点検項目を表すコンテンツ画像40-1を順に表示画面50に表示させる。さらに表示制御部2060は、点検項目に対応づけられている入力インタフェースを表すコンテンツ画像40-2を、表示画面50に表示させる。ユーザは、この入力インタフェースを操作することで点検結果を入力する。
<<第2のユースケース:ピッキング作業の支援>>
情報処理装置2000は、倉庫などにおけるピッキング作業を支援するために利用することができる。ここで、ピッキング作業とは、棚などに置かれている物の中から、所望の物を探し集める作業のことを意味する。ユーザは、このピッキング作業の支援を実現するアプリケーション(以下、ピッキング支援アプリケーション)に対応する第1マーカ10をカメラ130に撮像させることで、ピッキング支援アプリケーションを実行させる。
情報処理装置2000は、倉庫などにおけるピッキング作業を支援するために利用することができる。ここで、ピッキング作業とは、棚などに置かれている物の中から、所望の物を探し集める作業のことを意味する。ユーザは、このピッキング作業の支援を実現するアプリケーション(以下、ピッキング支援アプリケーション)に対応する第1マーカ10をカメラ130に撮像させることで、ピッキング支援アプリケーションを実行させる。
ピッキング支援アプリケーションは、例えば、収集すべき物品のリストをデータベースから取得する。さらに、ピッキング支援アプリケーションは、このリストに示される各商品について順に、その商品が倉庫内のどこに保管されているかを示すガイドをコンテンツ画像40として生成する。表示制御部2060は、このコンテンツ画像40を表示画面50に表示させる。こうすることで、ユーザは、収集すべき物品が保管されている場所へ容易に移動できる。
さらにピッキング支援アプリケーションは、収集すべき物品が置かれている場所がカメラ130の撮像範囲に入ったら、その場所を強調表示するためのコンテンツ画像40を生成する。表示制御部2060は、このコンテンツ画像40を表示画面50に表示させる。図30は、収集すべき物品の場所が強調表示される様子を例示する図である。
さらにピッキング支援アプリケーションは、ピッキング作業に関する記録を入力するための入力インタフェースを表すコンテンツ画像40を表示画面50に表示させる。ユーザはこの入力インタフェースを利用して、作業記録を入力する。
<<第3のユースケース:医療現場における作業の支援>>
情報処理装置2000は、医療現場における種々の作業を支援するために利用することができる。例えば、看護師が点滴注射を行う際などに、3点照合などと呼ばれる作業が行われている。この作業は、点滴を注射する際に、1)作業者を行う看護師、2)点滴注射を受ける患者、及び3)投与する薬剤の3つの組み合わせを照合することで、正しい作業であるか否かを判定するものである。
情報処理装置2000は、医療現場における種々の作業を支援するために利用することができる。例えば、看護師が点滴注射を行う際などに、3点照合などと呼ばれる作業が行われている。この作業は、点滴を注射する際に、1)作業者を行う看護師、2)点滴注射を受ける患者、及び3)投与する薬剤の3つの組み合わせを照合することで、正しい作業であるか否かを判定するものである。
そこで情報処理装置2000は、この3点照合の支援を実現する。図31は、情報処理装置2000を利用して3点照合が行われる様子を例示する図である。ユーザは、この3点照合の支援を実現するアプリケーションに対応する第1マーカ10をカメラ130に撮像させることで、このアプリケーションを実行させる。このアプリケーションは、上記1)から3)それぞれの識別子を読み取るための機能を提供する。まず表示制御部2060により、看護師を識別するための看護師コード170が読み取られる範囲を表すコンテンツ画像40(枠線140)が表示される。また、看護師コード170を読み取るべきことを伝えるメッセージを表すコンテンツ画像40(メッセージ150)が表示される。さらに、アプリケーションに対して看護師コードの読み取りを指示するための入力インタフェース(ボタン160)が表示される。
各コンテンツ画像40の表示位置は、第2マーカ20の位置に基づいて決定される。そこでユーザは、腕を動かして第2マーカ20の位置を変更することで、看護師コード170が枠線140に収まるようにする。そしてユーザは、ボタン160を押す(例えばボタン160に重なる位置に指を配置する)ことで、看護師コード170をアプリケーションに読み取らせる。ユーザは、同様の操作を患者の識別子の読み取りと薬剤の識別子の読み取りについても行う。以上の動作により、3点照合が実現される。
なお、医療現場における情報処理装置2000の活用方法は、3点照合の支援以外にも様々なものがある。例えば、看護師は医師から伝えられた作業(血液採取や点滴注射など)を行うため、医師から看護師への伝達事項が情報処理装置2000を使って表示されるようにする。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
Claims (25)
- 第1マーカを撮像画像から検出し、前記検出された第1マーカに対応するコンテンツを特定する第1特定手段と、
前記第1マーカとは異なる第2マーカを撮像画像から検出し、前記検出された第2マーカに基づいて、第1表示画面における表示位置を特定する第2特定手段と、
前記第1表示画面の前記特定された表示位置に、前記特定されたコンテンツに関するコンテンツ画像を表示させる表示制御手段と、を有する情報処理装置。 - 前記第1特定手段は、ユーザの身体に取り付けられる装着物が備える第2表示画面に表示される画像である前記第1マーカを検出する、請求項1に記載の情報処理装置。
- 前記第2表示画面に表示される前記第1マーカは、前記装着物に対する操作に応じて変更される、請求項2に記載の情報処理装置。
- 前記第2マーカは、前記第1マーカの周囲に設けられるものである、請求項1乃至3いずれか一項に記載の情報処理装置。
- 前記第1マーカと前記第2マーカは、ユーザの身体に取り付けられる装着物に設けられ、
前記第1マーカの平面に対して垂直な方向において、前記第1マーカの位置と前記第2マーカの位置が互いに異なる、請求項1乃至4いずれか一項に記載の情報処理装置。 - 前記第2特定手段は、ユーザの身体に取り付けられる装着物に印字若しくは描画された第2マーカ、又は前記装着物の形状として形成される第2マーカを検出する、請求項1乃至5いずれか一項に記載の情報処理装置。
- 前記第2特定手段は、撮像画像から検出される前記第1マーカの位置の変化に応じ、前記コンテンツ画像の前記表示位置を変更する、請求項1乃至6いずれか一項に記載の情報処理装置。
- 前記第1表示画面はヘッドマウントディスプレイに設けられる、請求項1乃至7いずれか一項に記載の情報処理装置。
- 第1マーカ、前記第1マーカとは異なる第2マーカ、第1表示画面、及び情報処理装置を有し、
前記情報処理装置は、
前記第1マーカを撮像画像から検出し、前記検出された第1マーカに対応するコンテンツを特定する第1特定手段と、
前記第2マーカを撮像画像から検出し、前記検出された第2マーカに基づいて、前記第1表示画面における表示位置を特定する第2特定手段と、
前記第1表示画面の前記特定された表示位置に、前記特定されたコンテンツに関するコンテンツ画像を表示させる表示制御手段と、を有する情報処理システム。 - 前記第1マーカは、ユーザの身体に取り付けられる装着物が備える第2表示画面に表示される画像である、請求項9に記載の情報処理システム。
- 前記第2表示画面に表示される前記第1マーカは、前記装着物に対する操作に応じて変更される、請求項10に記載の情報処理システム。
- 前記第2マーカは、前記第1マーカの周囲に設けられるものである、請求項9乃至11いずれか一項に記載の情報処理システム。
- 前記第1マーカと前記第2マーカは、ユーザの身体に取り付けられる装着物に設けられ、
前記第1マーカの平面に対して垂直な方向において、前記第1マーカの位置と前記第2マーカの位置が互いに異なる、請求項9乃至12いずれか一項に記載の情報処理システム。 - 前記第2マーカは、ユーザの身体に取り付けられる装着物に印字若しくは描画されるか、又は前記装着物の形状として形成される、請求項9乃至13いずれか一項に記載の情報処理システム。
- 前記第2特定手段は、撮像画像から検出される前記第1マーカの位置の変化に応じ、前記コンテンツ画像の前記表示位置を変更する、請求項9乃至14いずれか一項に記載の情報処理システム。
- 前記第1表示画面はヘッドマウントディスプレイに設けられる、請求項9乃至15いずれか一項に記載の情報処理システム。
- コンピュータによって実行される制御方法であって、
第1マーカを撮像画像から検出し、前記検出された第1マーカに対応するコンテンツを特定する第1特定ステップと、
前記第1マーカとは異なる第2マーカを撮像画像から検出し、前記検出された第2マーカに基づいて、第1表示画面における表示位置を特定する第2特定ステップと、
前記第1表示画面の前記特定された表示位置に、前記特定されたコンテンツに関するコンテンツ画像を表示させる表示制御ステップと、を有する制御方法。 - 前記第1特定ステップは、ユーザの身体に取り付けられる装着物が備える第2表示画面に表示される画像である前記第1マーカを検出する、請求項17に記載の制御方法。
- 前記第2表示画面に表示される前記第1マーカは、前記装着物に対する操作に応じて変更される、請求項18に記載の制御方法。
- 前記第2マーカは、前記第1マーカの周囲に設けられるものである、請求項17乃至19いずれか一項に記載の制御方法。
- 前記第1マーカと前記第2マーカは、ユーザの身体に取り付けられる装着物に設けられ、
前記第1マーカの平面に対して垂直な方向において、前記第1マーカの位置と前記第2マーカの位置が互いに異なる、請求項17乃至20いずれか一項に記載の制御方法。 - 前記第2特定ステップは、ユーザの身体に取り付けられる装着物に印字若しくは描画された第2マーカ、又は前記装着物の形状として形成される第2マーカを検出する、請求項17乃至21いずれか一項に記載の制御方法。
- 前記第2特定ステップは、撮像画像から検出される前記第1マーカの位置の変化に応じ、前記コンテンツ画像の前記表示位置を変更する、請求項17乃至22いずれか一項に記載の制御方法。
- 前記第1表示画面はヘッドマウントディスプレイに設けられる、請求項17乃至23いずれか一項に記載の制御方法。
- 請求項17乃至24いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/493,377 US11030980B2 (en) | 2017-03-14 | 2017-03-14 | Information processing apparatus, information processing system, control method, and program |
| PCT/JP2017/010204 WO2018167843A1 (ja) | 2017-03-14 | 2017-03-14 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
| JP2019505560A JP6828801B2 (ja) | 2017-03-14 | 2017-03-14 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/010204 WO2018167843A1 (ja) | 2017-03-14 | 2017-03-14 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018167843A1 true WO2018167843A1 (ja) | 2018-09-20 |
Family
ID=63522250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/010204 Ceased WO2018167843A1 (ja) | 2017-03-14 | 2017-03-14 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11030980B2 (ja) |
| JP (1) | JP6828801B2 (ja) |
| WO (1) | WO2018167843A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023526270A (ja) * | 2020-05-18 | 2023-06-21 | グーグル エルエルシー | 低電力セミパッシブ相対6自由度トラッキング |
| WO2023181151A1 (ja) * | 2022-03-23 | 2023-09-28 | 株式会社ソニー・インタラクティブエンタテインメント | マーカー装置、コンピュータシステム、方法およびプログラム |
| JP2024074713A (ja) * | 2022-11-21 | 2024-05-31 | ソフトバンク株式会社 | 情報処理装置、プログラム、システム、及び情報処理方法 |
| WO2024142972A1 (ja) * | 2022-12-28 | 2024-07-04 | 株式会社Screenホールディングス | 保守支援方法、及び保守支援システム |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MY195151A (en) * | 2016-12-07 | 2023-01-11 | Ns Solutions Corp | System, Information Processing Device, Information Processing Method, Program, And Recording Medium |
| KR102798196B1 (ko) * | 2017-01-12 | 2025-04-22 | 삼성전자주식회사 | 마커를 검출하기 위한 방법 및 그 전자 장치 |
| US10948980B2 (en) * | 2019-05-10 | 2021-03-16 | Apple Inc. | Electronic device system with controllers |
| US11922904B2 (en) * | 2019-08-22 | 2024-03-05 | Sony Group Corporation | Information processing apparatus and information processing method to control display of a content image |
| US12050962B1 (en) * | 2023-07-13 | 2024-07-30 | Bank Of America Corporation | System and method for implementing dynamic operation identifier |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013190941A (ja) * | 2012-03-13 | 2013-09-26 | Nikon Corp | 情報入出力装置、及び頭部装着表示装置 |
| JP2015011360A (ja) * | 2013-06-26 | 2015-01-19 | 株式会社デジタル・スタンダード | 情報処理装置およびプログラム |
| JP2015522856A (ja) * | 2012-03-15 | 2015-08-06 | クラウン パッケイジング テクノロジー インコーポレイテッド | 無線通信デバイスとパッケージの間の対話を容易にするためのデバイス、システム、及び方法 |
| JP2015176516A (ja) * | 2014-03-18 | 2015-10-05 | 富士通株式会社 | 表示装置、表示制御プログラム、および表示制御方法 |
| JP2016110565A (ja) * | 2014-12-10 | 2016-06-20 | 富士通株式会社 | 表示制御方法、情報処理プログラム、及び情報処理装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5480777B2 (ja) * | 2010-11-08 | 2014-04-23 | 株式会社Nttドコモ | オブジェクト表示装置及びオブジェクト表示方法 |
| CN103946732B (zh) | 2011-09-26 | 2019-06-14 | 微软技术许可有限责任公司 | 基于对透视、近眼显示器的传感器输入的视频显示修改 |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| CN105103198A (zh) | 2013-04-04 | 2015-11-25 | 索尼公司 | 显示控制装置、显示控制方法以及程序 |
| US20150302639A1 (en) * | 2014-03-26 | 2015-10-22 | Augmentecture, Inc. | Method and system for creating enhanced images including augmented reality features to be viewed on mobile devices with corresponding designs |
| KR102798196B1 (ko) * | 2017-01-12 | 2025-04-22 | 삼성전자주식회사 | 마커를 검출하기 위한 방법 및 그 전자 장치 |
-
2017
- 2017-03-14 WO PCT/JP2017/010204 patent/WO2018167843A1/ja not_active Ceased
- 2017-03-14 US US16/493,377 patent/US11030980B2/en active Active
- 2017-03-14 JP JP2019505560A patent/JP6828801B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013190941A (ja) * | 2012-03-13 | 2013-09-26 | Nikon Corp | 情報入出力装置、及び頭部装着表示装置 |
| JP2015522856A (ja) * | 2012-03-15 | 2015-08-06 | クラウン パッケイジング テクノロジー インコーポレイテッド | 無線通信デバイスとパッケージの間の対話を容易にするためのデバイス、システム、及び方法 |
| JP2015011360A (ja) * | 2013-06-26 | 2015-01-19 | 株式会社デジタル・スタンダード | 情報処理装置およびプログラム |
| JP2015176516A (ja) * | 2014-03-18 | 2015-10-05 | 富士通株式会社 | 表示装置、表示制御プログラム、および表示制御方法 |
| JP2016110565A (ja) * | 2014-12-10 | 2016-06-20 | 富士通株式会社 | 表示制御方法、情報処理プログラム、及び情報処理装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023526270A (ja) * | 2020-05-18 | 2023-06-21 | グーグル エルエルシー | 低電力セミパッシブ相対6自由度トラッキング |
| JP7466694B2 (ja) | 2020-05-18 | 2024-04-12 | グーグル エルエルシー | 低電力セミパッシブ相対6自由度トラッキング |
| WO2023181151A1 (ja) * | 2022-03-23 | 2023-09-28 | 株式会社ソニー・インタラクティブエンタテインメント | マーカー装置、コンピュータシステム、方法およびプログラム |
| JP2024074713A (ja) * | 2022-11-21 | 2024-05-31 | ソフトバンク株式会社 | 情報処理装置、プログラム、システム、及び情報処理方法 |
| JP7594573B2 (ja) | 2022-11-21 | 2024-12-04 | ソフトバンク株式会社 | 情報処理装置、プログラム、システム、及び情報処理方法 |
| WO2024142972A1 (ja) * | 2022-12-28 | 2024-07-04 | 株式会社Screenホールディングス | 保守支援方法、及び保守支援システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6828801B2 (ja) | 2021-02-10 |
| JPWO2018167843A1 (ja) | 2020-01-16 |
| US11030980B2 (en) | 2021-06-08 |
| US20200074962A1 (en) | 2020-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6828801B2 (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム | |
| CN108027654B (zh) | 输入设备、输入方法和程序 | |
| JP6895390B2 (ja) | 仮想現実においてハンドヘルド電子装置を追跡するためのシステム | |
| CN107615214B (zh) | 界面控制系统、界面控制装置、界面控制方法及程序 | |
| US9134800B2 (en) | Gesture input device and gesture input method | |
| US20170255838A1 (en) | Information processing apparatus, control method, and storage medium | |
| CN108027656B (zh) | 输入设备、输入方法和程序 | |
| CN115917498A (zh) | 使用语音和文字字幕的增强现实体验 | |
| JP5930618B2 (ja) | 空間手書きシステム及び電子ペン | |
| US20160180594A1 (en) | Augmented display and user input device | |
| US20140198130A1 (en) | Augmented reality user interface with haptic feedback | |
| CN111344663A (zh) | 渲染装置及渲染方法 | |
| JPH07110735A (ja) | 装着型ペン入力装置 | |
| JP2000298544A (ja) | 入出力装置と入出力方法 | |
| CN108027655A (zh) | 信息处理系统、信息处理设备、控制方法和程序 | |
| JP2023531302A (ja) | 動的な形状スケッチングのためのシステム及び方法 | |
| EP3088991B1 (en) | Wearable device and method for enabling user interaction | |
| JP6601480B2 (ja) | 情報処理システム、情報処理装置、制御方法、及びプログラム | |
| CN110291495B (zh) | 信息处理系统、信息处理方法及程序 | |
| CN114003122A (zh) | 一种ar界面交互方法与基于该方法的智能指环 | |
| CN111316320A (zh) | 用于快速确定对象尺寸的方法和装置 | |
| JP7702439B2 (ja) | 誇張されたコンテンツを用いた動的なスケッチのためのシステム及び方法 | |
| WO2012121668A1 (en) | An apparatus associated with at least one of a detachable tip and a detachable grip portion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17901308 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2019505560 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17901308 Country of ref document: EP Kind code of ref document: A1 |