+

WO2016013269A1 - 画像表示装置及び画像表示方法、並びにコンピューター・プログラム - Google Patents

画像表示装置及び画像表示方法、並びにコンピューター・プログラム Download PDF

Info

Publication number
WO2016013269A1
WO2016013269A1 PCT/JP2015/062929 JP2015062929W WO2016013269A1 WO 2016013269 A1 WO2016013269 A1 WO 2016013269A1 JP 2015062929 W JP2015062929 W JP 2015062929W WO 2016013269 A1 WO2016013269 A1 WO 2016013269A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
head
display
image
unit
Prior art date
Application number
PCT/JP2015/062929
Other languages
English (en)
French (fr)
Inventor
河本　献太
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/325,308 priority Critical patent/US20170186236A1/en
Priority to JP2016535819A priority patent/JPWO2016013269A1/ja
Publication of WO2016013269A1 publication Critical patent/WO2016013269A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the technology disclosed in this specification relates to an image display apparatus and an image display method that are worn on the head and used for viewing an image, and a computer program.
  • the surrounding scenery is observed by a video see-through method.
  • the present invention relates to a possible image display device, an image display method, and a computer program.
  • An image display device that is worn on a head or a face and is used for viewing an image, that is, a head-mounted display is known.
  • a head-mounted display for example, an image display unit is arranged for each of the left and right eyes, and a user can observe a realistic image by forming an enlarged virtual image of the display image by a virtual image optical system.
  • Head-mounted displays are very popular. If mass production progresses in the future, it will spread as mobile phones, smartphones, and portable game machines, and it is expected that one person will have one head-mounted display.
  • the head-mounted display is equipped with a high-resolution display panel made of, for example, a liquid crystal or an organic EL (Electro-Luminescence) element as a display unit for the left and right eyes.
  • a high-resolution display panel made of, for example, a liquid crystal or an organic EL (Electro-Luminescence) element as a display unit for the left and right eyes.
  • the head mounted display can be classified into a transmissive type and a light shielding type.
  • the transmissive head-mounted display allows the wearer to observe the surrounding scenery while wearing the head and displaying an image (for example, see Patent Document 1).
  • an image for example, see Patent Document 1.
  • the user can avoid dangers such as collision with obstacles.
  • the light-shielding head-mounted display is configured so as to directly cover the wearer's eyes when worn on the head, which increases the feeling of immersion when viewing images. Enlarge and project the display screen using a virtual image optical system to allow the user to observe it as an enlarged virtual image with an appropriate angle of view, and to reproduce the multi-channel with headphones, reproduce the realism as seen in a movie theater (For example, see Patent Document 2).
  • a video see-through system is known that has a built-in camera that can photograph the front of the wearer and displays an external image obtained by photographing. The surrounding landscape can be observed through the image (see, for example, Patent Documents 3 and 4).
  • the former transparent head-mounted display is called optical see-through or simply see-through.
  • the user authentication screen for the authentication required function is displayed, and the input number information indicating a plurality of different numbers entered by the user on the user authentication screen is compared with the stored personal identification number information.
  • Proposals have been made on electronic devices that include a pressing amount detection type touch panel display for releasing the lock (see, for example, Patent Document 5).
  • the head-mounted display if users are limited such as personal use, it is necessary to perform an authentication process when starting use.
  • an eyeglass-type or head-mounted image display device that permits display of an image on a display on the condition that biometric authentication such as iris authentication, retina authentication, facial copying (morphing), or skeleton authentication has been performed. Proposals have been made (see, for example, Patent Document 6).
  • an authentication screen is generally displayed when starting use, and a normal operation screen is not displayed until after an authentication process.
  • the user In the case of a light-shielding head-mounted display, the user is in the same state as when both eyes are covered, the field of view is lost, and the user is blindfolded. If the built-in camera is turned on and the captured image is video see-through, the user can regain the field of view and observe the surrounding landscape. However, if the authentication function is set, the video see-through screen cannot be observed unless authentication processing is performed, and the screen is hidden. If the authentication process is delayed, such as a mistake in entering the password, the view will be lost for a long time, and the user will be in a very dangerous state.
  • An object of the technology disclosed in the present specification is to provide an excellent image display device and image display method, which can be worn on a head and used for viewing an image, and can observe a surrounding landscape by a video see-through method, and a computer To provide a program.
  • An object of the technology disclosed in the present specification is to provide an excellent image display device that can be worn on a head and used for viewing an image, and can suitably perform authentication processing through a screen when starting use.
  • An object is to provide an image display method and a computer program.
  • An image display device is
  • control unit of the image display device detects that the display unit is mounted on a user's head or face by the detection unit.
  • the display unit is configured to switch from the non-display state to the display of the captured image.
  • the image display device according to claim 1 or 2 further includes an authentication processing unit that authenticates the user.
  • the authentication processing unit of the image display device uses the detection unit to detect that the display unit is mounted on a user's head or face. In response to the detection, an authentication screen is displayed on the captured image.
  • the technique described in claim 5 of the present application is: A display unit used by being worn on the user's head or face; A detection unit for detecting whether or not the display unit is mounted on a user's head or face; and A shooting section for shooting the surroundings, An authentication processing unit for authenticating the user; A control unit for controlling an image displayed on the screen by the display unit; Comprising The control unit displays an authentication screen on the image captured by the imaging unit during the authentication process by the authentication processing unit.
  • An image display device is: A display unit used by being worn on the user's head or face; A detection unit for detecting whether or not the display unit is mounted on a user's head or face; and A shooting section for shooting the surroundings, An authentication processing unit for authenticating the user; A control unit for controlling an image displayed on the screen by the display unit; Comprising The control unit displays an authentication screen on the image captured by the imaging unit during the authentication process by the authentication processing unit.
  • An image display device is: A display unit used by being worn on the user's head or face; A detection unit for
  • the authentication processing unit of the image display device according to claim 4 or 5 is configured to erase the authentication screen in response to completion of the authentication process. It is configured.
  • the image display device further includes a content acquisition unit that acquires content.
  • the control unit is configured to switch the display of the display unit from the captured image to a reproduced image of the content in response to occurrence of a predetermined event.
  • the technique described in claim 8 of the present application is: A detection step of detecting whether or not the display unit used by being mounted on the user's head or face is mounted on the user's head or face; An image acquisition step of acquiring a captured image around the user; In response to detecting that the display unit is mounted on a user's head or face, a display step of displaying the captured image on the display unit; Is an image display method.
  • the technique according to claim 9 of the present application is A detection step of detecting whether or not the display unit used by being mounted on the user's head or face is mounted on the user's head or face; An image acquisition step of acquiring a captured image around the user; An authentication process step of displaying an authentication screen on the captured image and authenticating the user; Is an image display method.
  • the technique according to claim 10 of the present application is A detection unit for detecting whether or not a display unit used by being mounted on the user's head or face is mounted on the user's head or face; An image acquisition unit for acquiring a captured image around the user; In response to detecting that the display unit is mounted on a user's head or face, a display unit that displays the captured image on the display unit, As a computer program written in a computer-readable format to make the computer function.
  • the technique according to claim 11 of the present application is A detection unit for detecting whether or not a display unit used by being mounted on the user's head or face is mounted on the user's head or face; An image acquisition unit for acquiring a captured image around the user; An authentication processing unit that displays an authentication screen on the captured image and authenticates the user; As a computer program written in a computer-readable format to make the computer function.
  • the computer program according to claims 10 and 11 of the present application defines a computer program described in a computer-readable format so as to realize predetermined processing on a computer.
  • a cooperative action is exhibited on the computer, which is the same as the image display method according to claims 8 and 9 of the present application, respectively. The effect of this can be obtained.
  • an excellent image display device and an image display that can be worn on a head and used for viewing an image, and can perform authentication processing suitably through a screen when starting use.
  • Methods and computer programs can be provided.
  • the image display device displays a video see-through image as soon as it is mounted on the user's head or face, thereby avoiding the user from a dangerous state where the field of view is obstructed. be able to.
  • an image display device to which the technology disclosed in this specification is applied can display an authentication screen superimposed on a video see-through image obtained by photographing a surrounding landscape with a built-in camera. Therefore, the user can perform the authentication process while observing the surrounding scenery with the video see-through image. Even with a head-mounted image display device that covers the user's eyes, the user can safely perform the authentication process while constantly checking the appearance of the outside world.
  • FIG. 1 is a diagram showing a user wearing a head-mounted display 100 on the head as viewed from the front.
  • FIG. 2 is a diagram illustrating a state in which a user wearing the head mounted display 100 illustrated in FIG. 1 is viewed from above.
  • FIG. 3 is a diagram showing an example of the internal configuration of the head mounted display 100.
  • FIG. 4 is a diagram illustrating an initial screen displayed on the head-mounted display 100 immediately after being worn by the user.
  • FIG. 5 is a diagram illustrating a screen displayed when the head-mounted display 100 performs user authentication processing.
  • FIG. 6 is a diagram showing a screen transition example of the head mounted display 100.
  • FIG. 7 is a diagram showing a screen transition example of the head-mounted display 100 (when the authentication function is set).
  • FIG. 1 shows a front view of a user wearing a head-mounted display 100 to which the technology disclosed in this specification is applied.
  • the head-mounted display 100 directly covers the user's eyes when the user wears it on the head or face, and can give an immersive feeling to the user who is viewing the image. Further, unlike the see-through type, the user wearing the head mounted display 100 cannot directly view the real world scenery. However, by installing an outer camera 312 that captures a landscape in the direction of the user's line of sight and displaying the captured image, the user indirectly views the real world landscape (that is, displays the landscape with video see-through). be able to. Of course, a virtual display image such as an AR (Augmented Reality) image can be superimposed on the video see-through image. Further, since the display image cannot be seen from the outside (that is, another person), it is easy to protect privacy when displaying information.
  • AR Augmented Reality
  • a display panel (not shown in FIG. 1) for the user to observe is disposed at a position facing the left and right eyes inside the head mounted display 100 main body.
  • the display panel includes a micro display such as an organic EL element or a liquid crystal display, or a laser scanning display such as a direct retina display.
  • An outer camera 312 for inputting a surrounding image is installed in the approximate center of the front surface of the head mounted display 100 main body.
  • microphones 103L and 103R are installed near the left and right ends of the head-mounted display 100 main body, respectively.
  • a touch panel 315 that allows a user to perform touch input using a fingertip or the like is disposed outside the head mounted display 100 main body.
  • a pair of left and right touch panels 315 are provided, but a single touch panel or three or more touch panels 315 may be provided.
  • FIG. 2 shows a state in which the user wearing the head mounted display 100 shown in FIG. 1 is viewed from above.
  • the illustrated head mounted display 100 has left-eye and right-eye display panels 104 ⁇ / b> L and 104 ⁇ / b> R on the side facing the user's face.
  • the display panels 104L and 104R are configured by a laser scanning type display such as a micro display such as an organic EL element or a liquid crystal display or a retina direct drawing display.
  • the display images on the display panels 104L and 104R are observed by the user as enlarged virtual images by passing through the virtual image optical units 101L and 101R.
  • an eye width adjustment mechanism 105 is provided between the display panel for the right eye and the display panel for the left eye.
  • FIG. 3 shows an internal configuration example of the head mounted display 100. Hereinafter, each part will be described.
  • the control unit 301 includes a ROM (Read Only Memory) 301A and a RAM (Random Access Memory) 301B.
  • the ROM 301A stores program codes executed by the control unit 301 and various data.
  • the control unit 301 executes a program loaded into the RAM 301B, thereby starting image display control and overall operation of the head mounted display 100.
  • examples of the program stored in the ROM 301A include an authentication processing program executed at the start of use, and a display control program for displaying a see-through image captured by the outer camera 312 and a playback moving image on the screen. Further, as data stored in the ROM 301A, identification information unique to the head mounted display 100, authentication information for authenticating a user who uses the head mounted display 100 (for example, a password, a password, biometric information) ) And other user attribute information.
  • the input interface (IF) unit 302 includes one or more operators (none of which are shown) such as keys, buttons, switches, etc., on which the user performs input operations, accepts user instructions via the operators, and controls the control unit 301 is output. Further, the input operation unit 302 receives a user instruction including a remote control command received by the remote control reception unit 303 and outputs it to the control unit 301.
  • operators such as keys, buttons, switches, etc.
  • the input interface (IF) unit 302 when the user performs a touch operation with the fingertip on the touch panel 315 disposed outside the head-mounted display 100 main body, the coordinate data of the touched fingertip position, etc. are input to the control unit 301.
  • the touch panel 315 is disposed on the back of the display image of the display unit 309 (enlarged virtual image observed through the virtual image optical unit 310) on the front surface of the main body of the head mounted display 100, the user can touch the display image with a fingertip. Touch operation can be performed as if touching.
  • the status information acquisition unit 304 is a functional module that acquires status information of the head mounted display 100 main body or a user wearing the head mounted display 100.
  • the state information acquisition unit 304 may be equipped with various sensors for detecting state information by itself, or an external device (for example, a user wears a part or all of these sensors).
  • the status information may be acquired via a communication unit 305 (described later) from a smartphone, a wristwatch, or another multifunction terminal.
  • the status information acquisition unit 304 acquires, for example, information on the position and posture of the user's head or information on the posture in order to track the user's head movement.
  • the state information acquisition unit 304 is, for example, a sensor that can detect a total of nine axes including a three-axis gyro sensor, a three-axis acceleration sensor, and a three-axis geomagnetic sensor.
  • the state information acquisition unit 304 may use any one or more sensors such as a GPS (Global Positioning System) sensor, a Doppler sensor, an infrared sensor, and a radio wave intensity sensor.
  • the state information acquisition unit 304 acquires information provided from various infrastructures such as mobile phone base station information and PlaceEngine (registered trademark) information (electrical measurement information from a wireless LAN access point) for acquiring position and orientation information. Further, it may be used in combination.
  • the state acquisition unit 304 for tracking the head movement is built in the head mounted display 100, but is configured with accessory parts attached to the head mounted display 100. It may be.
  • the externally connected state acquisition unit 304 expresses the posture information of the head in the form of a rotation matrix, for example, wireless communication such as Bluetooth (registered trademark) communication, or USB (Universal Serial Bus).
  • the data is transmitted to the head mounted display 100 main body via a high-speed wired interface.
  • the state information acquisition unit 304 may include, for example, the user's work state (head mounted display) as the state information of the user wearing the head mounted display 100. 100 or not), user's action state (moving state such as stationary, walking, running, etc.) gesture by hand or fingertip, opening / closing state of eyelids, gaze direction, pupil size), mental state (user displays display image) The degree of excitement, excitement, wakefulness, emotion, emotion, etc.), and physiological state, such as whether they are immersed or concentrated during observation.
  • the state information acquisition unit 304 acquires the state information from the user by using an outer camera 312, a wearing sensor such as a mechanical switch, an inner camera that captures the user's face, a gyro sensor, an acceleration sensor, Speed sensor, pressure sensor, temperature sensor that detects body temperature or air temperature, sweat sensor, pulse sensor, myoelectric sensor, electro-oculogram sensor, electroencephalogram sensor, exhalation sensor, gas / ion concentration sensor, etc. (Not shown) may also be provided.
  • the state information acquisition unit 304 indicates that the head mounted display 100 has been mounted on the user in conjunction with the movement of contacting the user's forehead when the head mounted display is mounted on the user's head. It is also possible to detect whether or not the head-mounted display 100 is mounted by using a mounting sensor (for example, see Patent Document 8).
  • the environment information acquisition unit 316 is a functional module that acquires information related to the environment surrounding the head mounted display 100 main body or the user wearing the head mounted display 100.
  • Information on the environment here includes sound, air volume, temperature, atmospheric pressure, atmosphere (smoke, dense fog, electromagnetic waves (ultraviolet rays, blue light, radio waves), heat rays (infrared rays), radiation, and the like that the head mounted display 100 or the user receives.
  • the environment sensor may include the above-described microphone and the outside camera 312.
  • the environment information acquisition unit 316 may include an external device (for example, a part or all of these sensors).
  • the environment information may be acquired via a communication unit 305 (described later) from a smartphone, a wristwatch, or other multi-function terminal worn by the user.
  • the outer camera 312 is disposed, for example, in the approximate center of the front surface of the head mounted display 100 (see FIG. 2), and can capture a surrounding image. It is assumed that the user can adjust the zoom of the outer camera 312 through the operation of the input operation unit 302, the size of the pupil recognized by the inner camera, myoelectric potential sensor, or the like, or voice input. Further, by performing posture control in the pan, tilt, and roll directions of the outer camera 312 in accordance with the user's line-of-sight direction acquired by the state information acquisition unit 304, the image of the user's own eyes, that is, the user's line-of-sight direction, is obtained with the outer camera 312. Images can be taken. The captured image of the outer camera 312 can be displayed and output on the display unit 309, and the captured image can be transmitted from the communication unit 305 or stored in the storage unit 306.
  • the outer camera 312 is composed of a plurality of cameras so that the three-dimensional information of the surrounding image can be acquired using the parallax information.
  • shooting is performed while moving the camera using SLAM (Simultaneous Localization and Mapping) image recognition, and parallax information is calculated using a plurality of frame images that move in time (for example, (See Patent Document 9), and the three-dimensional information of the surrounding image can be acquired from the calculated parallax information.
  • SLAM Simultaneous Localization and Mapping
  • the outer camera 312 can acquire three-dimensional information, it can also be used as a distance sensor.
  • a distance sensor made of an inexpensive device such as PSD (Position Sensitive Detector) that detects a reflection signal from an object may be used in combination with the outer camera 312.
  • PSD Position Sensitive Detector
  • the outer camera 312 and the distance sensor can be used to detect the body position, posture, and shape of the user wearing the head mounted display 100.
  • the communication unit 305 performs communication processing with an external device (not shown), modulation / demodulation of communication signals, and encoding / decoding processing.
  • the external device include a content playback device (Blu-ray disc or DVD player) that supplies viewing content when the user uses the head-mounted display 100, and a streaming server.
  • the control unit 301 transmits transmission data to the external device from the communication unit 305.
  • the configuration of the communication unit 305 is arbitrary.
  • the communication unit 305 can be configured according to a communication method used for transmission / reception operations with an external device that is a communication partner.
  • the communication method may be either wired or wireless.
  • Communication standards mentioned here include MHL (Mobile High-definition Link), USB (Universal Serial Bus), HDMI (registered trademark) Multimedia Interface, Wi-Fi (registered trademark), Bluetooth (registered trademark), and Bluetooth (registered trademark), Bluetooth (registered trademark), and Bluetooth (registered trademark), Bluetooth (registered trademark), and Bluetooth (registered trademark), Bluetooth (registered trademark), and Bluetooth (registered trademark), Bluetooth (registered trademark), and Bluetooth (registered trademark), Bluetooth (trademark) Examples include BLE (Bluetooth (registered trademark) Low Energy) communication, ultra-low power wireless communication such as ANT, and a mesh network standardized by IEEE 802.11s.
  • the communication unit 305 may be a cellular radio transceiver that operates according to a standard such
  • the storage unit 306 is a large-capacity storage device configured by an SSD (Solid State Drive) or the like.
  • the storage unit 306 stores application programs executed by the control unit 301 and various data. For example, the user uses the head mounted display 100 to store content to be viewed in the storage unit 306.
  • the image processing unit 307 further performs signal processing such as image quality correction on the image signal output from the control unit 301 and converts the image signal to a resolution that matches the screen of the display unit 309.
  • the display driving unit 308 sequentially selects the pixels of the display unit 309 for each row and performs line sequential scanning, and supplies a pixel signal based on the image signal subjected to signal processing.
  • the display unit 309 includes a display panel including a micro display such as an organic EL (Electro-Luminescence) element or a liquid crystal display, or a laser scanning display such as a retina direct drawing display.
  • the virtual image optical unit 310 enlarges and projects the display image of the display unit 309 and causes the user to observe it as an enlarged virtual image.
  • display images output from the display unit 309 include commercial content (virtual world) supplied from a content playback device (Blu-ray disc or DVD player) or streaming server, images taken by the outer camera 312 (user view images, etc.) Real world images).
  • a content playback device Blu-ray disc or DVD player
  • streaming server images taken by the outer camera 312 (user view images, etc.) Real world images).
  • the audio processing unit 313 further performs signal processing such as sound quality correction, audio amplification, and input audio signal on the audio signal output from the control unit 301. Then, the voice input / output unit 314 outputs the voice after voice processing to the outside and inputs voice from the microphone (described above).
  • the head-mounted display 100 is light-shielding, that is, covers the eyes of the user who wears it.
  • the display unit 309 displays commercial content such as a movie or an image expressed by computer graphics or the like.
  • the virtual image optical unit 310 enlarges and projects the display image of the display unit 309, and causes the user to observe it as an enlarged virtual image having an appropriate angle of view, and reproduces a sense of reality such as watching in a movie theater, for example.
  • the user can experience an immersion in the virtual world displayed on the display unit 309.
  • the head mounted display 100 is driven by a battery (not shown) and is equipped with various power saving functions. For example, it is detected by the mounting sensor (described above) that the user has mounted the head mounted display 100, and an image is displayed on the display unit 309 only in the mounted state; Also, the display unit 309 is set to the screen non-display state to save power consumption.
  • the head-mounted display 100 since the head-mounted display 100 according to the present embodiment is limited to a specific individual user or a specific user group, the wearer is equipped with an authentication function and performs an authentication process when starting use. It is assumed that the authentication function is set to be performed.
  • the authentication processing method itself is not particularly limited. For example, input of authentication information (password or password) using the touch panel 315, authentication processing based on the movement of the user's gaze point (for example, see Patent Document 7), biometric information collected from the wearer Authentication processing based on this can be used. However, in any authentication method, an authentication screen (an authentication information input screen or an authentication screen indicating that authentication processing is being performed) is displayed on the display unit 309 during a period in which the authentication processing is performed. And
  • the timing for starting to use the head mounted display 100 is not when the main power is turned on, but when the user detects that the head mounted display 100 is mounted with the mounting sensor (described above). . Therefore, even if the main power supply of the head mounted display 100 is turned on, the authentication process is not started unless the user is wearing the head or face. When it is detected that the user wears the head mounted display 100, authentication processing is started and an authentication screen is displayed.
  • the user wears the light-shielding head-mounted display 100, both eyes are covered, the field of view is lost, and the user is blindfolded. Therefore, in this embodiment, when the user detects that the user mounts the head-mounted display 100 on the head or face with the mounting sensor (described above) and starts using it, as shown in FIG. As 401, the video see-through image captured by the outer camera 312 is immediately displayed on the display unit 309. Therefore, when the user mounts the head-mounted display 100, the user can immediately recover the field of view and observe the surrounding scenery. Thereafter, the screen may be changed to a display screen of commercial content (movies or the like) input from the outside in accordance with a user operation or the like.
  • the wearing sensor detects that the user has mounted the head mounted display 100 on the head or face, and the use is started. Then, an authentication screen is displayed on the display unit 309. If the authentication process is delayed due to an error in the authentication operation, the authentication screen will not finish easily.
  • the head-mounted display 100 displays an authentication screen on the video see-through image 501 captured by the outer camera 312 as shown in FIG. 5 while the authentication process is being performed. 502 is superimposed and displayed. Therefore, the user can observe the surrounding scenery with the video see-through image even during the authentication process.
  • the user can always know his / her surroundings, so that safety can be ensured.
  • the authentication screen disappears and only the video see-through image as the initial screen remains. Thereafter, the screen may be changed to a display screen of commercial content (movies or the like) input from the outside in accordance with a user operation or the like.
  • the screen design of the authentication screen 502 is arbitrary depending on the authentication method to be used. By making the authentication screen 502 superimposed and displayed on the video see-through image transparent or translucent, the visibility of the surrounding scenery displayed by the video see-through display is improved.
  • the outer camera 312 preferably captures an image that substantially matches the user's line of sight, or displays a video see-through image obtained by converting the captured image to match the user's field of view.
  • the technology disclosed herein is not limited to video see-through images that match the user's field of view.
  • FIG. 6 shows a screen transition example of the head mounted display 100.
  • the head-mounted display 100 is changed from the non-wearing state 601 to the wearing state 602, triggered by the state information acquisition unit 304 having a wearing sensor or the like detecting that the user has attached the head-mounted display 100. Transition to.
  • the display unit 309 transitions from the non-display screen 611 to the initial screen 612.
  • a video see-through image 613 photographed by the outer camera 312 is displayed. Therefore, when the user mounts the head-mounted display 100, the user can immediately recover the field of view and observe the surrounding scenery. That is, since the user always knows the situation around him, safety can be ensured.
  • the screen may be changed to a display screen 621 for externally input commercial content (such as a movie) according to a user operation on the input operation unit 302 or the like.
  • a display screen 621 for externally input commercial content such as a movie
  • the user mounts the head-mounted display 100 in this way, the video see-through image 613 is displayed and normal use of the head-mounted display 100 is started.
  • the mounting sensor or the like detects that the camera has been removed, it returns to the non-mounted state 601.
  • the same authentication process as described above is repeatedly executed.
  • FIG. 7 shows a screen transition example of the head mounted display 100 when the authentication function is set.
  • the head-mounted display 100 is changed from the non-wearing state 701 to the wearing state 702, triggered by the state information acquisition unit 304 having a wearing sensor or the like detecting that the user has attached the head-mounted display 100. Transition to.
  • the display unit 309 transitions from the non-display screen 711 to the initial screen 712.
  • the authentication processing content 714 is superimposed on the video see-through image 713 captured by the outer camera 312.
  • the authentication processing content 714 here is an authentication information input screen or an authentication screen indicating that authentication processing is being performed. For example, therefore, even if the user mounts the head-mounted display 100 and the authentication process is started, the user can observe the surrounding scenery through the authentication process content 714. That is, since the user always knows the situation around him, safety can be ensured.
  • the authentication process content 714 disappears and only the video see-through image 713 remains.
  • the screen may be changed to a display screen 721 for commercial content (such as a movie) input from the outside in accordance with a user operation on the input operation unit 302 or the like.
  • the video see-through image 713 is displayed as soon as the user wears the head-mounted display 100, and when the authentication process is successful, normal use of the head-mounted display 100 is started.
  • the mounting sensor or the like detects that the head-mounted display 100 has been removed, the non-mounted state 701 is restored.
  • the same authentication process as described above is repeatedly executed.
  • the technology disclosed in the present specification has been described mainly with respect to an embodiment in which the technology disclosed in the present invention is applied to a video see-through type head-mounted display. It is not something.
  • the technology disclosed in this specification can be similarly applied to various types of image display devices other than the head-mounted display that can observe the surrounding scenery by video see-through. .
  • the technology disclosed in this specification can also be applied to various types of image display devices with cameras, such as mobile phones, smartphones, tablet terminals, and personal computers.
  • the control unit displays the captured image from the non-display state in response to detection by the detection unit that the display unit is mounted on a user's head or face. Switch to The image display device according to (1) above.
  • the image display device further comprising an authentication processing unit for authenticating the user;
  • the image display device according to any one of (1) and (2).
  • the authentication processing unit displays an authentication screen on the photographed image in response to the detection unit detecting that the display unit is mounted on a user's head or face.
  • the image display device according to (3) above.
  • Image display device .
  • the authentication processing unit erases the authentication screen in response to the end of the authentication processing.
  • the image display device according to any one of (4) and (5).
  • a content acquisition unit that acquires content is further provided, The control unit switches the display of the display unit from the captured image to a reproduced image of the content in response to occurrence of a predetermined event.
  • the image display device according to any one of (1) to (6) above.
  • DESCRIPTION OF SYMBOLS 100 Head mount display 101L, 101R ... Virtual image optical part 103L, 103R ... Microphone, 104L, 104R ... Display panel 105 ... Eye width adjustment mechanism 301 ... Control part, 301A ... ROM, 301B ... RAM 302 ... Input operation unit 303 ... Remote control receiving unit 304 ... Status information acquisition unit 305 ... Communication unit 306 ... Storage unit 307 ... Image processing unit 308 ... Display drive unit 309 ... Display unit 310 ... Virtual image optical unit 312 ... Outside camera 313 ... Audio processing unit, 314 ... Audio input / output unit, 315: Touch panel, 316: Environmental information acquisition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　ビデオ・シースルー方式により周囲の風景を観察可能な、優れた画像表示装置を提供する。　ヘッド・マウント・ディスプレイ１００は、認証処理が行なわれている間は、外側カメラ３１２で撮影したビデオ・シースルー画像上に認証画面を重畳して表示するようにしている。したがって、ユーザーは、認証処理の期間もビデオ・シースルー画像で周囲の風景を観察することができる。ユーザーは、屋外で歩行しながらヘッド・マウント・ディスプレイ１００を使用するときであっても、常に自分の周囲の様子が分かるので、安全を確保することができる。

Description

画像表示装置及び画像表示方法、並びにコンピューター・プログラム
　本明細書で開示する技術は、例えば頭部に装着して画像の視聴に利用される画像表示装置及び画像表示方法、並びにコンピューター・プログラムに係り、特に、ビデオ・シースルー方式により周囲の風景を観察可能な画像表示装置及び画像表示方法、並びにコンピューター・プログラムに関する。
　頭部又は顔部に装着して画像の視聴に利用される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎に画像表示部が配置され、虚像光学系により表示画像の拡大虚像を形成することで、ユーザーは臨場感のある画像を観察することができる。ヘッド・マウント・ディスプレイの人気は極めて高い。今後量産が進めば、携帯電話やスマートフォン、携帯ゲーム機のように普及し、１人が１台のヘッド・マウント・ディスプレイを所持するようになることが想定される。
　ヘッド・マウント・ディスプレイは、左右の眼の表示部として、例えば液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子などからなる高解像度の表示パネルを装備する。また、ヘッド・マウント・ディスプレイを、透過性のタイプと遮光性のタイプに分類することもできる。
　透過性のヘッド・マウント・ディスプレイは、着用者は頭部に装着して画像を表示している間も、周囲の風景を観察することができるので（例えば、特許文献１を参照のこと）、屋外での使用時や歩行中の使用時において、ユーザーは障害物との衝突などの危険から回避することができる。
　一方、遮光性のヘッド・マウント・ディスプレイは、頭部に着用した際に、着用者の眼を直接覆うように構成され、画像視聴時に没入感が増す。虚像光学系を用いて表示画面を拡大投影して、適当な画角となる拡大虚像としてユーザーに観察させるとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる（例えば、特許文献２を参照のこと）。また、遮光性のヘッド・マウント・ディスプレイにおいても、着用者の前方を撮影できるカメラを内蔵して、撮影して得られる外部画像を表示するビデオ・シースルー方式が知られており、着用者は外部画像を通じて周囲の風景を観察することができる（例えば、特許文献３、４を参照のこと）。なお、ビデオ・シースルーに対し、前者の透過性のヘッド・マウント・ディスプレイは、光学シースルー、又は、単にシースルーと呼ばれる。
　ところで、携帯電話やスマートフォン、タブレットなどの多機能端末、パーソナル・コンピューターのように、使用者が個人又は特定のユーザー・グループに限定されるような情報機器においては、使用を開始する際に、暗証番号やパスワードの入力、生体情報などを利用した認証処理を行なうのが一般的である。
　例えば、要認証機能のユーザー認証画面を表示し、ユーザーがユーザー認証画面に入力した複数の異なる番号を示す入力番号情報と記憶された暗証番号情報とを照合して、一致すれば要認証機能のロックを解除する、押圧量検知型タッチパネルディスプレイを備える電子機器について提案がなされている（例えば、特許文献５を参照のこと）。
　また、ヘッド・マウント・ディスプレイにおいても、個人使用など使用者が限定されてくると、使用を開始する際に認証処理を行なう必要が生じてくる。
　例えば、虹彩認証や網膜認証、顔面模写（モーフィング）、骨格認証などの生体認証がなされたことを条件に、ディスプレイでの画像の表示を許可する、眼鏡型又は頭部装着型の画像表示装置について提案がなされている（例えば、特許文献６を参照のこと）。
　また、筋電位や眼電位を検出する筋電センサー、眼電センサーを用いて、ユーザーの注視位置や注視点の移動を検出し、ユーザーの注視位置や注視点の移動からなる動作パターンを利用してユーザー判別や認証処理を行なうヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献７を参照のこと）。
　認証機能が設定されたシステムでは、一般に、使用を開始する際に認証画面が表示され、認証処理を経てからでないと通常のオペレーション画面は表示されない。
　遮光性のヘッド・マウント・ディスプレイの場合、ユーザーは両眼が覆われ、視界が奪われ、目隠しされたのと同じ状態になる。内蔵カメラをオンにして撮影画像をビデオ・シースルーにすれば、ユーザーは視界を取り戻し、周囲の風景を観察することができる。ところが、認証機能が設定されていると、認証処理を経てからでないと、ビデオ・シースルー画面を観察することができず、目隠しされた状態となる。パスワードの入力をミスするなど、認証処理が滞ると、長時間視界が失われたままとなり、ユーザーはとても危険な状態になる。
　本明細書で開示する技術の目的は、頭部に装着して画像の視聴に利用され、ビデオ・シースルー方式により周囲の風景を観察可能な、優れた画像表示装置及び画像表示方法、並びにコンピューター・プログラムを提供することにある。
　また、本明細書で開示する技術の目的は、頭部に装着して画像の視聴に利用され、使用を開始する際に画面を通じて認証処理を好適に行なうことができる、優れた画像表示装置及び画像表示方法、並びにコンピューター・プログラムを提供することにある。
　本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
　ユーザーの頭部又は顔部に装着して用いられる表示部と、
　前記表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部と、
　周囲を撮影する撮影部と、
　前記表示部で画面表示する画像を制御する制御部と、
を具備し、
　前記制御部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記表示部に前記撮影部による撮影画像を表示させる、
画像表示装置である。
　本願の請求項２に記載の技術によれば、請求項１に記載の画像表示装置の前記制御部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記表示部を非表示状態から前記撮影画像の表示に切り換えるように構成されている。
　本願の請求項３に記載の技術によれば、請求項１又は２のいずれかに記載の画像表示装置は、前記ユーザーを認証する認証処理部をさらに備えている。
　本願の請求項４に記載の技術によれば、請求項３に記載の画像表示装置の前記認証処理部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記撮影画像の上に認証画面を表示させるように構成されている。
　また、本願の請求項５に記載の技術は、
　ユーザーの頭部又は顔部に装着して用いられる表示部と、
　前記表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部と、
　周囲を撮影する撮影部と、
　前記ユーザーを認証する認証処理部と、
　前記表示部で画面表示する画像を制御する制御部と、
を具備し、
　前記制御部は、前記認証処理部による認証処理中は、前記撮影部による撮影画像の上に認証画面を表示させる、
画像表示装置である。
　本願の請求項６に記載の技術によれば、請求項４又は５のいずれかに記載の画像表示装置の前記認証処理部は、認証処理が終了したことに応答して前記認証画面を消すように構成されている。
　本願の請求項７に記載の技術によれば、請求項１乃至６のいずれかに記載の画像表示装置は、コンテンツを取得するコンテンツ取得部をさらに備えている。そして、前記制御部は、所定の事象の発生に応じて、前記表示部の表示を前記撮影画像からコンテンツの再生画像に切り換えるように構成されている。
　また、本願の請求項８に記載の技術は、
　ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出ステップと、
　前記ユーザーの周囲の撮影画像を取得する画像取得ステップと、
　前記表示部がユーザーの頭部又は顔部に装着されたことを検出したことに応答して、前記表示部に前記撮影画像を表示させる表示ステップと、
を有する画像表示方法である。
　また、本願の請求項９に記載の技術は、
　ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出ステップと、
　前記ユーザーの周囲の撮影画像を取得する画像取得ステップと、
　前記撮影画像の上に認証画面を表示させて、前記ユーザーを認証する認証処理ステップと、
を有する画像表示方法である。
　また、本願の請求項１０に記載の技術は、
　ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部、
　前記ユーザーの周囲の撮影画像を取得する画像取得部、
　前記表示部がユーザーの頭部又は顔部に装着されたことを検出したことに応答して、前記表示部に前記撮影画像を表示させる表示部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
　また、本願の請求項１１に記載の技術は、
　ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部、
　前記ユーザーの周囲の撮影画像を取得する画像取得部、
　前記撮影画像の上に認証画面を表示させて、前記ユーザーを認証する認証処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
　本願の請求項１０、１１に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１０、１１に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、それぞれ本願の請求項８、９に係る画像表示方法と同様の作用効果を得ることができる。
　本明細書で開示する技術によれば、頭部に装着して画像の視聴に利用され、使用を開始する際に画面を通じて認証処理を好適に行なうことができる、優れた画像表示装置及び画像表示方法、並びにコンピューター・プログラムを提供することができる。
　本明細書で開示する技術によれば、画像表示装置は、ユーザーの頭部又は顔部に装着するとすぐにビデオ・シースルー画像を表示するので、ユーザーを視界が遮られた危険な状態から回避させることができる。
　また、本明細書で開示する技術を適用した画像表示装置は、内蔵カメラで周囲の風景を撮影したビデオ・シースルー画像上に認証画面を重畳して表示することができる。したがって、ユーザーは、ビデオ・シースルー画像で周囲の風景を観察しながら認証処理を行なうことができる。ユーザーの眼を覆う頭部装着型の画像表示装置であっても、ユーザーは、常に外界の様子を確認しながら、安全に認証処理を行なうことができるようになる。
　なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、ヘッド・マウント・ディスプレイ１００を頭部に装着しているユーザーを正面から眺めた様子を示した図である。 図２は、図１に示したヘッド・マウント・ディスプレイ１００を着用したユーザーを上方から眺めた様子を示した図である。 図３は、ヘッド・マウント・ディスプレイ１００の内部構成例を示した図である。 図４は、ユーザーが装着した直後にヘッド・マウント・ディスプレイ１００に表示される初期画面を例示した図である。 図５は、ヘッド・マウント・ディスプレイ１００がユーザーの認証処理を行なう際に表示される画面を例示した図である。 図６は、ヘッド・マウント・ディスプレイ１００の画面遷移例を示した図である。 図７は、ヘッド・マウント・ディスプレイ１００の画面遷移例（認証機能が設定されている場合）を示した図である
　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
　図１には、本明細書で開示する技術を適用したヘッド・マウント・ディスプレイ１００を頭部に装着しているユーザーを正面から眺めた様子を示している。
　ヘッド・マウント・ディスプレイ１００は、ユーザーが頭部又は顔部に装着した際にユーザーの眼を直接覆い、画像視聴中のユーザーに没入感を与えることができる。また、シースルーのタイプとは相違し、ヘッド・マウント・ディスプレイ１００を着用したユーザーは現実世界の風景を直接眺めることはできない。但し、ユーザーの視線方向の風景を撮影する外側カメラ３１２を装備し、その撮像画像を表示することにより、ユーザーは間接的に現実世界の風景を眺める（すなわち、ビデオ・シースルーで風景を表示する）ことができる。勿論、ビデオ・シースルー画像に対し、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：拡張現実感）画像などの仮想的な表示画像を重ね合わせて見せることができる。また、表示画像は、外側（すなわち他人）からは見えないので、情報表示に際してプライバシーが守られ易い。
　図１に示すヘッド・マウント・ディスプレイ１００は、帽子形状に類似した構造体であり、着用したユーザーの左右の眼を直接覆うように構成されている。ヘッド・マウント・ディスプレイ１００本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネル（図１では図示しない）が配設されている。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。
　ヘッド・マウント・ディスプレイ１００本体前面のほぼ中央には、周囲画像（ユーザーの視界）入力用の外側カメラ３１２が設置されている。また、ヘッド・マウント・ディスプレイ１００本体の左右の両端付近にそれぞれマイクロフォン１０３Ｌ、１０３Ｒが設置されている。左右ほぼ対称的にマイクロフォン１０３Ｌ、１０３Ｒを持つことで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。
　また、ヘッド・マウント・ディスプレイ１００本体の外側には、ユーザーが指先などを使ってタッチ入力することができるタッチパネル３１５が配設されている。図示の例では、左右一対のタッチパネル３１５を備えているが、単一又は３以上のタッチパネル３１５を備えていてもよい。
　図２には、図１に示したヘッド・マウント・ディスプレイ１００を着用したユーザーを上方から眺めた様子を示している。図示のヘッド・マウント・ディスプレイ１００は、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネル１０４Ｌ、１０４Ｒを持つ。表示パネル１０４Ｌ、１０４Ｒは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。表示パネル１０４Ｌ、１０４Ｒの表示画像は、虚像光学部１０１Ｌ、１０１Ｒを通過するにより拡大虚像としてユーザーに観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、着用したユーザーの眼と左右の各表示系とを位置合わせする必要がある。図２に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構１０５を装備している。
　図３には、ヘッド・マウント・ディスプレイ１００の内部構成例を示している。以下、各部について説明する。
　制御部３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０１ＡやＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０１Ｂを備えている。ＲＯＭ３０１Ａ内には、制御部３０１で実行するプログラム・コードや各種データを格納している。制御部３０１は、ＲＡＭ３０１Ｂへロードしたプログラムを実行することで、画像の表示制御を始め、ヘッド・マウント・ディスプレイ１００全体の動作を統括的にコントロールする。
　なお、ＲＯＭ３０１Ａに格納するプログラムとして、使用の開始時に実行する認証処理プログラム、外側カメラ３１２で撮影したシースルー画像や再生動画像を画面表示する表示制御プログラムを挙げることができる。また、ＲＯＭ３０１Ａに格納するデータとして、当該ヘッド・マウント・ディスプレイ１００に固有の識別情報、当該ヘッド・マウント・ディスプレイ１００を使用するユーザーを認証するための認証情報（例えば、暗証番号やパスワード、生体情報）などのユーザー属性情報などを挙げることができる。
　入力インターフェース（ＩＦ）部３０２は、キーやボタン、スイッチなど、ユーザーが入力操作を行なう１以上の操作子（いずれも図示しない）を備え、操作子を介したユーザーの指示を受け付けて、制御部３０１に出力する。また、入力操作部３０２は、リモコン受信部３０３で受信したリモコン・コマンドからなるユーザーの指示を受け付けて、制御部３０１に出力する。
　また、入力インターフェース（ＩＦ）部３０２は、ヘッド・マウント・ディスプレイ１００本体の外側に配設されているタッチパネル３１５に対してユーザーが指先でタッチ操作を行なうと、タッチされた指先位置の座標データなどの入力情報を制御部３０１に出力する。例えば、ヘッド・マウント・ディスプレイ１００本体の前面で、ちょうど表示部３０９の表示画像（虚像光学部３１０越しに観察される拡大虚像）の背面にタッチパネル３１５を配置すると、ユーザーは表示画像上を指先で触れるような感覚でタッチ操作を行なうことができる。
　状態情報取得部３０４は、当該ヘッド・マウント・ディスプレイ１００本体、又は当該ヘッド・マウント・ディスプレイ１００を装着したユーザーの状態情報を取得する機能モジュールである。状態情報取得部３０４は、自ら状態情報を検出するための各種センサーを装備していてもよいし、これらのセンサー類の一部又は全部を備えた外部機器（例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末）から通信部３０５（後述）を介して状態情報を取得するようにしてもよい。
　状態情報取得部３０４は、ユーザーの頭部動作を追跡するために、例えばユーザーの頭部の位置及び姿勢の情報又は姿勢の情報を取得する。ユーザーの頭部動作を追跡するために、状態情報取得部３０４は、例えば３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーとする。また、状態情報取得部３０４は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサー、ドップラー・センサー、赤外線センサー、電波強度センサーなどのいずれか１つ又は２以上のセンサーをさらに組み合わせて用いてもよい。また、状態情報取得部３０４は、位置姿勢情報の取得に、携帯電話基地局情報やＰｌａｃｅＥｎｇｉｎｅ（登録商標）情報（無線ＬＡＮアクセスポイントからの電測情報）など、各種インフラストラクチャーから提供される情報をさらに組み合わせて用いるようにしてもよい。図３に示す例では、頭部動作追跡のための状態取得部３０４は、ヘッド・マウント・ディスプレイ１００に内蔵されるが、ヘッド・マウント・ディスプレイ１００に外付けされるアクセサリー部品などで構成するようにしてもよい。後者の場合、外付け接続される状態取得部３０４は、頭部の姿勢情報を例えば回転マトリックスの形式で表現し、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などの無線通信やＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）のような高速な有線インフェース経由でヘッド・マウント・ディスプレイ１００本体に送信する。
　また、状態情報取得部３０４は、上述したユーザーの頭部動作の追跡の他に、当該ヘッド・マウント・ディスプレイ１００を装着したユーザーの状態情報として、例えば、ユーザーの作業状態（ヘッド・マウント・ディスプレイ１００の装着の有無）や、ユーザーの行動状態（静止、歩行、走行などの移動状態、手や指先によるジェスチャー、瞼の開閉状態、視線方向、瞳孔の大小）、精神状態（ユーザーが表示画像を観察中に没頭若しくは集中しているかなどの感動度、興奮度、覚醒度、感情や情動など）、さらには生理状態を取得する。また、状態情報取得部３０４は、これらの状態情報をユーザーから取得するために、外側カメラ３１２や、機械スイッチなどからなる装着センサー、ユーザーの顔を撮影する内側カメラ、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温又は気温を検知する温度センサー、発汗センサー、脈拍センサー、筋電位センサー、眼電位センサー、脳波センサー、呼気センサー、ガス・イオン濃度センサーなどの各種の状態センサー、タイマー（いずれも図示しない）を備えていてもよい。また、状態情報取得部３０４は、ヘッド・マウント・ディスプレイをユーザーの頭部に装着した際に、ユーザーの額に当接する動きに連動して、ヘッド・マウント・ディスプレイ１００がユーザーに装着されたことを検出する装着センサー（例えば、特許文献８を参照のこと）を利用して、ヘッド・マウント・ディスプレイ１００の装着の有無を検出するようにしてもよい。
　環境情報取得部３１６は、当該ヘッド・マウント・ディスプレイ１００本体、又は当該ヘッド・マウント・ディスプレイ１００を着用したユーザーを取り巻く環境に関する情報を取得する機能モジュールである。ここで言う環境に関する情報として、音、風量、気温、気圧、雰囲気（煙、濃霧や、当該ヘッド・マウント・ディスプレイ１００又はユーザーが浴びる電磁波（紫外線、ブルーライト、電波）、熱線（赤外線）、放射線、大気中の一酸化炭素や二酸化炭素、酸素、窒素化合物（ニコチン）、大気中を漂う窒素酸化物（ＮＯx）や炭化水素（揮発性有機化合物（ＶＯＣ：Ｖｏｌａｔｉｌｅ　Ｏｒｇａｎｉｃ　Ｃｏｍｐｏｕｎｄｓ）あるいはこれらが紫外線の影響により光化学反応を起こして生成された光化学スモッグ、粒子状物質、花粉、ハウスダストなどの粉塵、アスベストなどの有害化学物質）、その他の環境因子を挙げることができる。環境情報取得部３１６は、環境情報を検出するために、音センサーや風量センサーを始めとして各種環境センサーを装備していてもよい。前述したマイクロフォンや外側カメラ３１２を環境センサーに含めることもできる。あるいは、環境情報取得部３１６は、これらのセンサー類の一部又は全部を備えた外部機器（例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末）から通信部３０５（後述）を介して環境情報を取得するようにしてもよい。
　外側カメラ３１２は、例えばヘッド・マウント・ディスプレイ１００本体前面のほぼ中央に配置され（図２を参照のこと）、周囲画像を撮影することができる。ユーザーは、入力操作部３０２の操作、内側カメラや筋電位センサーなどで認識される瞳孔の大小や音声入力を通じて、外側カメラ３１２のズームを調整することができるものとする。また、状態情報取得部３０４で取得したユーザーの視線方向に合わせて外側カメラ３１２のパン、チルト、ロール方向の姿勢制御を行なうことで、外側カメラ３１２でユーザーの自分目線の画像すなわちユーザーの視線方向の画像を撮影することができる。外側カメラ３１２の撮影画像を、表示部３０９に表示出力することができ、また、撮影画像を通信部３０５から送信したり記憶部３０６に保存したりすることもできる。
　外側カメラ３１２は、視差情報を利用して、周囲画像の３次元情報を取得できるように、外側カメラ３１２を複数台のカメラで構成することがより好ましい。また、１台のカメラでも、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）画像認識を用いて、カメラを移動させながら撮影を行ない、時間的に前後する複数のフレーム画像を用いて視差情報を算出し（例えば、特許文献９を参照のこと）、算出した視差情報から周囲画像の３次元情報を取得することもできる。
　外側カメラ３１２は、３次元情報を取得できることから、距離センサーとしても利用することができる。あるいは、例えば物体からの反射信号を検出するＰＳＤ（Ｐｏｓｉｔｉｏｎ　Ｓｅｎｓｉｔｉｖｅ　Ｄｅｔｅｃｔｏｒ）など安価なデバイスからなる距離センサーを外側カメラ３１２と併用するようにしてもよい。外側カメラ３１２や距離センサーは、ヘッド・マウント・ディスプレイ１００を装着するユーザーの身体位置、姿勢、形状を検出するために使用することができる。
　通信部３０５は、外部機器（図示しない）との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。外部機器として、ユーザーがヘッド・マウント・ディスプレイ１００を使用する際の視聴コンテンツを供給するコンテンツ再生装置（ブルーレイ・ディスク又はＤＶＤプレイヤー）や、ストリーミング・サーバーを挙げることができる。また、制御部３０１は、外部機器への送信データを通信部３０５から送出する。
　通信部３０５の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信方式に応じて、通信部３０５を構成することができる。通信方式は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）　Ｌｏｗ　Ｅｎｅｒｇｙ）通信、ＡＮＴなどの超低消費電力無線通信、ＩＥＥＥ８０２．１１ｓなどで規格化されたメッシュ・ネットワークなどを挙げることができる。あるいは、通信部３０５は、例えばＷ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ　Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）などの標準規格に従って動作する、セルラー無線送受信機であってもよい。
　記憶部３０６は、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などで構成される大容量記憶装置である。記憶部３０６は、制御部３０１で実行するアプリケーション・プログラムや各種データを記憶している。例えば、ユーザーがヘッド・マウント・ディスプレイ１００を使用して、視聴するコンテンツを記憶部３０６に格納する。
　画像処理部３０７は、制御部３０１から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示部３０９の画面に合わせた解像度に変換する。そして、表示駆動部３０８は、表示部３０９の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。
　表示部３０９は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイ、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される表示パネルを有する。虚像光学部３１０は、表示部３０９の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。
　なお、表示部３０９で出力する表示画像として、コンテンツ再生装置（ブルーレイ・ディスク又はＤＶＤプレイヤー）やストリーミング・サーバーから供給される商用コンテンツ（仮想世界）、外側カメラ３１２の撮影画像（ユーザーの視界画像などの現実世界の画像）などを挙げることができる。
　音声処理部３１３は、制御部３０１から出力される音声信号に対して音質補正や音声増幅、入力された音声信号などの信号処理をさらに行なう。そして、音声入出力部３１４は、音声処理後の音声を外部出力、並びにマイクロフォン（前述）からの音声入力を行なう。
　本実施例に係るヘッド・マウント・ディスプレイ１００は、遮光性、すなわち、着用したユーザーの眼を覆う。そして、表示部３０９には、映画などの商用コンテンツや、コンピューター・グラフィックスなどで表現された画像を表示する。虚像光学部３１０は、表示部３０９の表示画像を拡大投影して、適当な画角となる拡大虚像としてユーザーに観察させ、例えば映画館で視聴しているような臨場感を再現する。ユーザーは、表示部３０９に表示される仮想世界に没入体験することができる。
　また、本実施例に係るヘッド・マウント・ディスプレイ１００は、バッテリー（図示しない）により駆動し、さまざまな省電力機能を装備している。例えば、ユーザーがヘッド・マウント・ディスプレイ１００を装着したことを装着センサー（前述）で検出し、装着状態のときのみ表示部３０９に画像を表示し、それ以外のときには（主電源がオンであっても）表示部３０９を画面非表示状態にして、消費電力をセーブする。
　また、本実施例に係るヘッド・マウント・ディスプレイ１００は、着用者が特定の個人ユーザー又は特定のユーザー・グループに限定されることから、認証機能を装備し、使用を開始する際に認証処理を行なうように、認証機能が設定されているものとする。認証処理の方法自体は特に限定されない。例えば、タッチパネル３１５を利用した認証情報（暗証番号やパスワード）の入力や、ユーザーの注視点の動きに基づく認証処理（例えば、特許文献７を参照のこと）、着用者から採取される生体情報に基づく認証処理などを利用することができる。但し、いずれの認証方法であれ、認証処理が行なわれる期間中は、表示部３０９には、認証画面（認証情報の入力画面や、認証処理中であることを示す認証画面）が表示されるものとする。
　また、ヘッド・マウント・ディスプレイ１００の使用を開始するタイミングは、主電源をオンにしたときではなく、ユーザーがヘッド・マウント・ディスプレイ１００を装着したことを装着センサー（前述）で検出したときとする。したがって、ヘッド・マウント・ディスプレイ１００の主電源をオンにしても、ユーザーが頭部又は顔部に装着していなければ認証処理は起動しない。ユーザーがヘッド・マウント・ディスプレイ１００を装着したことを検出すると認証処理が開始され、認証画面が表示される。
　ユーザーは、遮光性のヘッド・マウント・ディスプレイ１００を装着すると、両眼が覆われ、視界が奪われ、目隠しされたのと同じ状態になる。そこで、本実施形態では、ユーザーがヘッド・マウント・ディスプレイ１００を頭部又は顔部に装着したことを装着センサー（前述）で検出し、その使用を開始すると、図４に示すように、初期画面４０１として、外側カメラ３１２で撮影したビデオ・シースルー画像を表示部３０９に即座に表示する。したがって、ユーザーは、ヘッド・マウント・ディスプレイ１００を装着すると、すぐに視界を取り戻して、周囲の風景を観察することができる。その後、ユーザーの操作などに応じて、外部入力される商用コンテンツ（映画など）の表示画面に遷移してもよい。
　また、ヘッド・マウント・ディスプレイ１００が認証機能を設定しているときには、ユーザーがヘッド・マウント・ディスプレイ１００を頭部又は顔部に装着したことを装着センサー（前述）で検出し、その使用を開始すると、表示部３０９には認証画面が表示される。認証操作をミスするなどして認証処理が滞ると、なかなか認証画面が終了しない。これに対し、本実施形態では、ヘッド・マウント・ディスプレイ１００は、認証処理が行なわれている間は、図５に示すように、外側カメラ３１２で撮影したビデオ・シースルー画像５０１の上に認証画面５０２を重畳して表示するようにしている。したがって、ユーザーは、認証処理の期間もビデオ・シースルー画像で周囲の風景を観察することができる。ユーザーは、屋外で歩行しながらヘッド・マウント・ディスプレイ１００を使用するときであっても、常に自分の周囲の様子が分かるので、安全を確保することができる。認証処理が成功裏に終了すると、認証画面は消滅し、初期画面としてのビデオ・シースルー画像だけが残る。その後、ユーザーの操作などに応じて、外部入力される商用コンテンツ（映画など）の表示画面に遷移してもよい。
　認証画面５０２は、利用する認証方法などに応じてその画面デザインは任意である。ビデオ・シースルー画像の上に重畳して表示する認証画面５０２を透明又は半透明にすることによって、ビデオ・シースルー表示される周囲の風景の視認性が向上する。
　なお、外側カメラ３１２はユーザーの視線とほぼ一致する画像を撮影し、又は、撮影画像をユーザーの視界と一致するように変換したビデオ・シースルー画像を表示することが好ましい。但し、本明細書で開示する技術は、ユーザーの視界と一致するビデオ・シースルー画像に限定される訳ではない。
　図６には、ヘッド・マウント・ディスプレイ１００の画面遷移例を示している。
　装着センサーなどを備えた状態情報取得部３０４が、ユーザーがヘッド・マウント・ディスプレイ１００を装着したことを検出したことをトリガーにして、ヘッド・マウント・ディスプレイ１００は、非装着状態６０１から装着状態６０２へ遷移する。
　この状態遷移に応答して、表示部３０９は、非表示画面６１１から初期画面６１２へ遷移する。この初期画面６１２では、外側カメラ３１２で撮影したビデオ・シースルー画像６１３が表示される。したがって、ユーザーは、ヘッド・マウント・ディスプレイ１００を装着すると、すぐに視界を取り戻して、周囲の風景を観察することができる。すなわち、ユーザーは、常に自分の周囲の様子が分かるので、安全を確保することができる。
　その後、入力操作部３０２に対するユーザーの操作などに応じて、外部入力される商用コンテンツ（映画など）の表示画面６２１に遷移してもよい。このようにユーザーがヘッド・マウント・ディスプレイ１００を装着することによりビデオ・シースルー画像６１３が表示され、ヘッド・マウント・ディスプレイ１００の通常使用が開始されるが、その後、ユーザーがヘッド・マウント・ディスプレイ１００を取り外したことを装着センサーなどが検出すると、非装着状態６０１に復帰する。そして、ユーザーがヘッド・マウント・ディスプレイ１００を再び装着したことを検出すると、上記と同様の認証処理が繰り返し実行される。
　また、図７には、認証機能が設定されている場合のヘッド・マウント・ディスプレイ１００の画面遷移例を示している。
　装着センサーなどを備えた状態情報取得部３０４が、ユーザーがヘッド・マウント・ディスプレイ１００を装着したことを検出したことをトリガーにして、ヘッド・マウント・ディスプレイ１００は、非装着状態７０１から装着状態７０２へ遷移する。
　この状態遷移に応答して、表示部３０９は、非表示画面７１１から初期画面７１２へ遷移する。この初期画面７１２では、外側カメラ３１２で撮影したビデオ・シースルー画像７１３の上に、認証処理用コンテンツ７１４が重畳して表示される。ここで言う認証処理用コンテンツ７１４は、認証情報の入力画面や、認証処理中であることを示す認証画面である。例えば、したがって、ユーザーは、ヘッド・マウント・ディスプレイ１００を装着して認証処理が開始されても、認証処理用コンテンツ７１４越しに周囲の風景を観察することができる。すなわち、ユーザーは、常に自分の周囲の様子が分かるので、安全を確保することができる。
　認証処理が成功裏に終了すると、認証処理用コンテンツ７１４は消滅し、ビデオ・シースルー画像７１３だけが残る。
　その後、入力操作部３０２に対するユーザーの操作などに応じて、外部入力される商用コンテンツ（映画など）の表示画面７２１に遷移してもよい。このようにユーザーがヘッド・マウント・ディスプレイ１００を装着するとすぐにビデオ・シースルー画像７１３が表示され、認証処理が成功すると、ヘッド・マウント・ディスプレイ１００の通常使用が開始されるが、その後、ユーザーがヘッド・マウント・ディスプレイ１００を取り外したことを装着センサーなどが検出すると、非装着状態７０１に復帰する。そして、ユーザーがヘッド・マウント・ディスプレイ１００を再び装着したことを検出すると、上記と同様の認証処理が繰り返し実行される。
特開２０１２－４２６５４号公報 特開２０１２－１４１４６１号公報 特開２００５－３８３２１号公報 特開２０１１－２４２５９１号公報 特開２０１３－２５７６６１号公報 特開２００７－３７４５号公報 特開２０１４－９２９４０号公報 特開２０１２－１８６６６０号公報 特開２００８－３０４２６８号公報
　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本明細書では、本明細書で開示する技術をビデオ・シースルー方式のヘッド・マウント・ディスプレイに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。勿論、ビデオ・シースルーにより周囲の風景を観察することができる、ヘッド・マウント・ディスプレイ以外のさまざまなタイプの画像表示装置に対して、同様に、本明細書で開示する技術を適用することができる。
　また、本明細書で開示する技術は、両眼式及び単眼式の双方のヘッド・マウント・ディスプレイに好適に適用することができる。
　また、本明細書で開示する技術は、携帯電話やスマートフォン、タブレット端末、パーソナル・コンピューターなど、さまざまなタイプのカメラ付きの画像表示装置にも適用することができる。
　要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）ユーザーの頭部又は顔部に装着して用いられる表示部と、
　前記表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部と、
　周囲を撮影する撮影部と、
　前記表示部で画面表示する画像を制御する制御部と、
を具備し、
　前記制御部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記表示部に前記撮影部による撮影画像を表示させる、
画像表示装置。
（２）前記制御部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記表示部を非表示状態から前記撮影画像の表示に切り換える、
上記（１）に記載の画像表示装置。
（３）前記ユーザーを認証する認証処理部をさらに備える、
上記（１）又は（２）のいずれかに記載の画像表示装置。
（４）前記認証処理部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記撮影画像の上に認証画面を表示させる、
上記（３）に記載の画像表示装置。
（５）ユーザーの頭部又は顔部に装着して用いられる表示部と、
　前記表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部と、
　周囲を撮影する撮影部と、
　前記ユーザーを認証する認証処理部と、
　前記表示部で画面表示する画像を制御する制御部と、
を具備し、
　前記制御部は、前記認証処理部による認証処理中は、前記撮影部による撮影画像の上に認証画面を表示させる、
画像表示装置。
（６）前記認証処理部は、認証処理が終了したことに応答して前記認証画面を消す、
上記（４）又は（５）のいずれかに記載の画像表示装置。
（７）コンテンツを取得するコンテンツ取得部をさらに備え、
　前記制御部は、所定の事象の発生に応じて、前記表示部の表示を前記撮影画像からコンテンツの再生画像に切り換える、
上記（１）乃至（６）のいずれかに記載の画像表示装置。
（８）ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出ステップと、
　前記ユーザーの周囲の撮影画像を取得する画像取得ステップと、
　前記表示部がユーザーの頭部又は顔部に装着されたことを検出したことに応答して、前記表示部に前記撮影画像を表示させる表示ステップと、
を有する画像表示方法。
（９）ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出ステップと、
　前記ユーザーの周囲の撮影画像を取得する画像取得ステップと、
　前記撮影画像の上に認証画面を表示させて、前記ユーザーを認証する認証処理ステップと、
を有する画像表示方法。
（１０）ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部、
　前記ユーザーの周囲の撮影画像を取得する画像取得部、
　前記表示部がユーザーの頭部又は顔部に装着されたことを検出したことに応答して、前記表示部に前記撮影画像を表示させる表示部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
（１１）ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部、
　前記ユーザーの周囲の撮影画像を取得する画像取得部、
　前記撮影画像の上に認証画面を表示させて、前記ユーザーを認証する認証処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
　１００…ヘッド・マウント・ディスプレイ
　１０１Ｌ、１０１Ｒ…虚像光学部
　１０３Ｌ、１０３Ｒ…マイクロフォン、１０４Ｌ、１０４Ｒ…表示パネル
　１０５…眼幅調整機構
　３０１…制御部、３０１Ａ…ＲＯＭ、３０１Ｂ…ＲＡＭ
　３０２…入力操作部、３０３…リモコン受信部
　３０４…状態情報取得部、３０５…通信部、３０６…記憶部
　３０７…画像処理部、３０８…表示駆動部
　３０９…表示部、３１０…虚像光学部、３１２…外側カメラ
　３１３…音声処理部、３１４…音声入出力部、
　３１５…タッチパネル、３１６…環境情報取得部

Claims (11)

  1. 　ユーザーの頭部又は顔部に装着して用いられる表示部と、
    　前記表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部と、
    　周囲を撮影する撮影部と、
    　前記表示部で画面表示する画像を制御する制御部と、
    を具備し、
    　前記制御部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記表示部に前記撮影部による撮影画像を表示させる、
    画像表示装置。
  2. 　前記制御部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記表示部を非表示状態から前記撮影画像の表示に切り換える、
    請求項１に記載の画像表示装置。
  3. 　前記ユーザーを認証する認証処理部をさらに備える、
    請求項１又は２のいずれかに記載の画像表示装置。
  4. 　前記認証処理部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記撮影画像の上に認証画面を表示させる、
    請求項３に記載の画像表示装置。
  5. 　ユーザーの頭部又は顔部に装着して用いられる表示部と、
    　前記表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部と、
    　周囲を撮影する撮影部と、
    　前記ユーザーを認証する認証処理部と、
    　前記表示部で画面表示する画像を制御する制御部と、
    を具備し、
    　前記制御部は、前記認証処理部による認証処理中は、前記撮影部による撮影画像の上に認証画面を表示させる、
    画像表示装置。
  6. 　前記認証処理部は、認証処理が終了したことに応答して前記認証画面を消す、
    請求項４又は５のいずれかに記載の画像表示装置。
  7. 　コンテンツを取得するコンテンツ取得部をさらに備え、
    　前記制御部は、所定の事象の発生に応じて、前記表示部の表示を前記撮影画像からコンテンツの再生画像に切り換える、
    請求項１乃至６のいずれかに記載の画像表示装置。
  8. 　ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出ステップと、
    　前記ユーザーの周囲の撮影画像を取得する画像取得ステップと、
    　前記表示部がユーザーの頭部又は顔部に装着されたことを検出したことに応答して、前記表示部に前記撮影画像を表示させる表示ステップと、
    を有する画像表示方法。
  9. 　ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出ステップと、
    　前記ユーザーの周囲の撮影画像を取得する画像取得ステップと、
    　前記撮影画像の上に認証画面を表示させて、前記ユーザーを認証する認証処理ステップと、
    を有する画像表示方法。
  10. 　ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部、
    　前記ユーザーの周囲の撮影画像を取得する画像取得部、
    　前記表示部がユーザーの頭部又は顔部に装着されたことを検出したことに応答して、前記表示部に前記撮影画像を表示させる表示部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
  11. 　ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部、
    　前記ユーザーの周囲の撮影画像を取得する画像取得部、
    　前記撮影画像の上に認証画面を表示させて、前記ユーザーを認証する認証処理部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
PCT/JP2015/062929 2014-07-22 2015-04-30 画像表示装置及び画像表示方法、並びにコンピューター・プログラム WO2016013269A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/325,308 US20170186236A1 (en) 2014-07-22 2015-04-30 Image display device, image display method, and computer program
JP2016535819A JPWO2016013269A1 (ja) 2014-07-22 2015-04-30 画像表示装置及び画像表示方法、並びにコンピューター・プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014149210 2014-07-22
JP2014-149210 2014-07-22

Publications (1)

Publication Number Publication Date
WO2016013269A1 true WO2016013269A1 (ja) 2016-01-28

Family

ID=55162808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/062929 WO2016013269A1 (ja) 2014-07-22 2015-04-30 画像表示装置及び画像表示方法、並びにコンピューター・プログラム

Country Status (3)

Country Link
US (1) US20170186236A1 (ja)
JP (1) JPWO2016013269A1 (ja)
WO (1) WO2016013269A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018101162A1 (ja) * 2016-12-01 2018-06-07 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、表示制御装置、表示制御方法及びプログラム
JP2019525510A (ja) * 2016-05-25 2019-09-05 チンタオ ゴーアテック テクノロジー カンパニー リミテッドＱｉｎｇｄａｏ Ｇｏｅｒｔｅｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 仮想現実ヘルメット及びその使用方法
JP2020021346A (ja) * 2018-08-02 2020-02-06 富士通株式会社 表示制御プログラム、表示制御方法、情報処理装置およびヘッドマウントユニット
JP2020034646A (ja) * 2018-08-28 2020-03-05 株式会社Ｎｔｔドコモ ウェアラブル端末及び表示システム
JPWO2021156939A1 (ja) * 2020-02-04 2021-08-12

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3485425B1 (en) * 2016-07-14 2023-08-23 Magic Leap, Inc. Deep neural network for iris identification
AU2017361061B2 (en) 2016-11-15 2022-02-03 Magic Leap, Inc. Deep learning system for cuboid detection
KR102656425B1 (ko) * 2016-12-07 2024-04-12 삼성전자주식회사 영상을 표시하는 전자 장치 및 방법
CN106682468A (zh) * 2016-12-30 2017-05-17 百度在线网络技术（北京）有限公司 解锁电子设备的方法以及电子设备
CN111033524A (zh) 2017-09-20 2020-04-17 奇跃公司 用于眼睛跟踪的个性化神经网络
JP7181928B2 (ja) 2017-10-26 2022-12-01 マジック リープ， インコーポレイテッド 深層マルチタスクネットワークにおける適応的損失平衡のための勾配正規化システムおよび方法
US10776475B2 (en) * 2017-11-13 2020-09-15 International Business Machines Corporation Secure password input in electronic devices
KR20190089627A (ko) * 2018-01-23 2019-07-31 삼성전자주식회사 Ar 서비스를 제공하는 디바이스 및 그 동작 방법
US20190289396A1 (en) * 2018-03-15 2019-09-19 Microsoft Technology Licensing, Llc Electronic device for spatial output
US10674305B2 (en) 2018-03-15 2020-06-02 Microsoft Technology Licensing, Llc Remote multi-dimensional audio
US10520739B1 (en) * 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
JP7432339B2 (ja) * 2019-10-29 2024-02-16 株式会社日立エルジーデータストレージ ヘッドマウントディスプレイ
US20210365533A1 (en) * 2020-05-20 2021-11-25 Facebook Technologies, Llc Systems and methods for authenticating a user of a head-mounted display
GB2628281A (en) * 2022-01-07 2024-09-18 Jumio Corp Biometric authentication using head-mounted devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258123A (ja) * 2003-02-24 2004-09-16 Canon Inc 表示制御方法、及び表示制御装置
JP2006205930A (ja) * 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
JP2008257671A (ja) * 2007-03-15 2008-10-23 Canon Inc 情報処理装置及び情報処理方法
JP2012053629A (ja) * 2010-08-31 2012-03-15 Canon Inc 画像生成装置、画像生成方法、及びプログラム
JP2012212023A (ja) * 2011-03-31 2012-11-01 Brother Ind Ltd ヘッドマウントディスプレイ，及びその輝度調整方法
JP2014123883A (ja) * 2012-12-21 2014-07-03 Nikon Corp 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6124976A (en) * 1998-03-17 2000-09-26 Sony Corporation Voltage controlling method for head mounted display unit and head mounted display apparatus
KR100656342B1 (ko) * 2004-12-16 2006-12-11 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
KR100809479B1 (ko) * 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
US7855743B2 (en) * 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
WO2010082496A1 (ja) * 2009-01-19 2010-07-22 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム
US9557812B2 (en) * 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
JP2012186660A (ja) * 2011-03-06 2012-09-27 Sony Corp ヘッド・マウント・ディスプレイ
US9081416B2 (en) * 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
US8184067B1 (en) * 2011-07-20 2012-05-22 Google Inc. Nose bridge sensor
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8878749B1 (en) * 2012-01-06 2014-11-04 Google Inc. Systems and methods for position estimation
US20150084864A1 (en) * 2012-01-09 2015-03-26 Google Inc. Input Method
JP5929567B2 (ja) * 2012-07-03 2016-06-08 ソニー株式会社 画像信号処理装置、および画像信号処理方法、並びにプログラム
WO2014021602A2 (ko) * 2012-07-31 2014-02-06 인텔렉추얼디스커버리 주식회사 착용형 전자 장치 및 그의 제어 방법
WO2014041872A1 (ja) * 2012-09-12 2014-03-20 ソニー株式会社 画像表示装置
US9720231B2 (en) * 2012-09-26 2017-08-01 Dolby Laboratories Licensing Corporation Display, imaging system and controller for eyewear display device
US9019174B2 (en) * 2012-10-31 2015-04-28 Microsoft Technology Licensing, Llc Wearable emotion detection and feedback system
US20170061647A1 (en) * 2012-11-02 2017-03-02 Thad Eugene Starner Biometric Based Authentication for Head-Mountable Displays
US9542958B2 (en) * 2012-12-18 2017-01-10 Seiko Epson Corporation Display device, head-mount type display device, method of controlling display device, and method of controlling head-mount type display device
JP6155643B2 (ja) * 2013-01-07 2017-07-05 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
JP6160154B2 (ja) * 2013-03-22 2017-07-12 セイコーエプソン株式会社 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
US9979547B2 (en) * 2013-05-08 2018-05-22 Google Llc Password management
US9251333B2 (en) * 2013-08-29 2016-02-02 Paypal, Inc. Wearable user device authentication system
US10277787B2 (en) * 2013-09-03 2019-04-30 Tobii Ab Portable eye tracking device
US8958158B1 (en) * 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
US9285872B1 (en) * 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device
US20150312468A1 (en) * 2014-04-23 2015-10-29 Narvaro Inc. Multi-camera system controlled by head rotation
KR102227087B1 (ko) * 2014-07-08 2021-03-12 엘지전자 주식회사 글래스 타입 단말기 및 그것의 제어방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258123A (ja) * 2003-02-24 2004-09-16 Canon Inc 表示制御方法、及び表示制御装置
JP2006205930A (ja) * 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
JP2008257671A (ja) * 2007-03-15 2008-10-23 Canon Inc 情報処理装置及び情報処理方法
JP2012053629A (ja) * 2010-08-31 2012-03-15 Canon Inc 画像生成装置、画像生成方法、及びプログラム
JP2012212023A (ja) * 2011-03-31 2012-11-01 Brother Ind Ltd ヘッドマウントディスプレイ，及びその輝度調整方法
JP2014123883A (ja) * 2012-12-21 2014-07-03 Nikon Corp 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10841567B2 (en) 2016-05-25 2020-11-17 Qingdao Goertek Technology Co., Ltd. Virtual reality helmet and method for using same
JP2019525510A (ja) * 2016-05-25 2019-09-05 チンタオ ゴーアテック テクノロジー カンパニー リミテッドＱｉｎｇｄａｏ Ｇｏｅｒｔｅｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 仮想現実ヘルメット及びその使用方法
JPWO2018101162A1 (ja) * 2016-12-01 2019-06-24 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、表示制御装置、表示制御方法及びプログラム
WO2018101162A1 (ja) * 2016-12-01 2018-06-07 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、表示制御装置、表示制御方法及びプログラム
US10965884B2 (en) 2016-12-01 2021-03-30 Sony Interactive Entertainment Inc. Head-mounted display, display controlling apparatus, display controlling method, and program
JP2020021346A (ja) * 2018-08-02 2020-02-06 富士通株式会社 表示制御プログラム、表示制御方法、情報処理装置およびヘッドマウントユニット
JP7103040B2 (ja) 2018-08-02 2022-07-20 富士通株式会社 表示制御プログラム、表示制御方法、情報処理装置およびヘッドマウントユニット
JP2020034646A (ja) * 2018-08-28 2020-03-05 株式会社Ｎｔｔドコモ ウェアラブル端末及び表示システム
JP7140602B2 (ja) 2018-08-28 2022-09-21 株式会社Ｎｔｔドコモ ウェアラブル端末及び表示システム
JPWO2021156939A1 (ja) * 2020-02-04 2021-08-12
WO2021156939A1 (ja) * 2020-02-04 2021-08-12 マクセル株式会社 ヘッドマウントディスプレイ装置
US11971550B2 (en) 2020-02-04 2024-04-30 Maxell, Ltd. Head-mounted display device
JP7487236B2 (ja) 2020-02-04 2024-05-20 マクセル株式会社 ヘッドマウントディスプレイ装置
US12235457B2 (en) 2020-02-04 2025-02-25 Maxell, Ltd. Head-mounted display device

Also Published As

Publication number Publication date
US20170186236A1 (en) 2017-06-29
JPWO2016013269A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
WO2016013269A1 (ja) 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
JP6525010B2 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
KR102332326B1 (ko) 화상 표시 장치 및 화상 표시 방법
JP6079614B2 (ja) 画像表示装置及び画像表示方法
KR102316327B1 (ko) 가상 공간의 캡쳐 방법 및 그 전자장치
KR102544062B1 (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
JP6217747B2 (ja) 情報処理装置及び情報処理方法
KR102233223B1 (ko) 화상 표시 장치 및 화상 표시 방법, 화상 출력 장치 및 화상 출력 방법과, 화상 표시 시스템
JP6340301B2 (ja) ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム
US20150355463A1 (en) Image display apparatus, image display method, and image display system
US20140126782A1 (en) Image display apparatus, image display method, and computer program
KR20160128119A (ko) 이동 단말기 및 이의 제어방법
US20240353922A1 (en) Devices, methods, and graphical user interfaces for user enrollment and authentication
US20240020371A1 (en) Devices, methods, and graphical user interfaces for user authentication and device management
US20200348749A1 (en) Information processing apparatus, information processing method, and program
US20240370542A1 (en) Devices, methods, and graphical user interfaces for transitioning between multiple modes of operation
US12277848B2 (en) Devices, methods, and graphical user interfaces for device position adjustment
WO2024233110A1 (en) Devices, methods, and graphical user interfaces for transitioning between multiple modes of operation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15824360

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016535819

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15325308

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15824360

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载