KR102481884B1

KR102481884B1 - 가상 영상을 표시하는 방법 및 장치

Info

Publication number: KR102481884B1
Application number: KR1020170122888A
Authority: KR
Inventors: 윤치열; 고재우; 염지운; 곽규섭; 강재은
Original assignee: 삼성전자주식회사
Priority date: 2017-09-22
Filing date: 2017-09-22
Publication date: 2022-12-28
Anticipated expiration: 2037-09-22
Also published as: US11119571B2; EP3637169B1; WO2019059506A1; US20200201428A1; EP3637169A1; EP3637169A4; KR20190034029A; EP3637169C0

Abstract

본 개시는 가상 영상을 출력하는 영상 생성기, 출력된 가상 영상에서 제 1 편광 상태의 빛을 투과시키는 필터, 투과된 제 1 편광 상태의 빛을 가이드(guide)하는 다중 경로 광학 소자, 다중 경로 광학 소자의 제 1 측면에 배열되고, 가이드 된 제 1 편광 상태의 빛과 실세계 빛을 통과시키는 제 1 광학 소자, 다중 경로 광학 소자에서 제 1 측면의 반대 측면인 제 2 측면에 배열되고, 실세계 빛을 통과시키는 제 2 광학 소자 및 영상 생성기, 제 1 광학 소자 및 제 2 광학 소자를 제어하는 프로세서를 포함하고, 제 1 광학 소자는 제 1 편광 상태의 빛은 발산시키고, 제 2 편광 상태의 빛은 수렴시키며, 제 2 광학 소자는 제 1 편광 상태의 빛은 수렴시키고, 상기 제 2 편광 상태의 빛은 발산시키는, 가상 영상 표시 장치를 개시한다.

Description

가상 영상을 표시하는 방법 및 장치 {Method and apparatus for displaying a virtual image}

개시된 실시예는 가상 영상을 표시하는 방법, 가상 영상을 표시하는 장치 및 가상 영상을 표시하는 방법을 수행하는 프로그램이 기록된 시스템에 관한 것이다.

증강 현실(augmented reality, AR) 기술은 현실의 환경에 가상 사물이나 정보를 합성하여, 가상 사물이나 정보가 현실의 환경에 존재하는 사물처럼 보이도록 하는 기술이다. 증강 현실 기술은 군대, 항공, 의학, 비디오 게임, 엔터테인먼트, 스포츠 등을 포함하는 다양한 애플리케이션에서 사용될 수 있다.

한편, 증강 현실 기술에 대한 관심이 높아짐에 따라, 증강 현실을 구현하는 다양한 기술들에 대한 개발이 활발하게 이루어지고 있다. 특히, 영상이 사용자의 망막에 직접 투사되도록, 영상을 표시하는 니어 아이(near eye) 디스플레이 기술에 대한 연구가 활발하게 이루어지고 있다.

다만 종래의 기술은 사용자의 시선의 수렴 거리 및 사용자에게 감지되는 실세계 장면의 특성을 고려하여, 가상 영상이 표시되는 위치를 조정하지 못함에 따라, 사용자의 눈의 피로도를 유발하는 등의 문제점을 해결하지 못하고 있는 실정이다.

개시된 실시예는 가상 영상을 실세계에 중첩하여 사용자에게 증강 현실을 체험하도록 하는 경우, 표시되는 가상 영상의 초점 거리를 조정함으로써, 가상 영상이 시선의 수렴 거리에 표시되지 않거나, 가상 영상과 실세계 장면 간의 불일치로 인해 발생되는 사용자의 피로도를 줄일 수 있는 가상 영상을 표시하는 방법 및 장치를 제공할 수 있다.

일 실시예에 따른 가상 영상 표시 장치는, 가상 영상을 출력하는 영상 생성기; 출력된 가상 영상에서 제 1 편광 상태의 빛을 투과시키는 필터;

투과된 제 1 편광 상태의 빛을 가이드(guide)하는 다중 경로 광학 소자; 다중 경로 광학 소자의 제 1 측면에 배열되고, 가이드 된 제 1 편광 상태의 빛과 실세계 빛을 통과시키는 제 1 광학 소자; 다중 경로 광학 소자에서 제 1 측면의 반대 측면인 제 2 측면에 배열되고 실세계 빛을 통과시키는 제 2 광학 소자; 및 영상 생성기, 제 1 광학 소자 및 제 2 광학 소자를 제어하는 프로세서를 포함하고, 제 1 광학 소자는 제 1 편광 상태의 빛은 발산시키고, 제 2 편광 상태의 빛은 수렴시키며, 제 2 광학 소자는 제 1 편광 상태의 빛은 수렴시키고, 제 2 편광 상태의 빛은 발산시킬 수 있다.

일 실시예에 따른 가상 영상 표시 장치는, 사용자의 적어도 하나의 안구 움직임 데이터를 획득하는 이미지 센서를 더 포함하고, 프로세서는 획득된 적어도 하나의 안구 움직임 데이터를 기초로 사용자의 시선을 결정하고, 사용자의 시선에 기초하여 영상 생성기로부터 출력되는 가상 영상을 결정할 수 있다.

일 실시예에 따른 가상 영상 표시 장치에 있어서, 프로세서는, 영상 표시 장치의 위치를 기준으로 실세계 오브젝트의 깊이 정보를 결정하고, 결정된 깊이 정보에 기초하여 영상 생성기로부터 출력되는 가상 영상을 결정할 수 있다.

일 실시예에 따른 가상 영상 표시 장치에 있어서, 프로세서는, 사용자의 시선이 수렴하는 방향 및 거리에 따라 가상 영상의 크기, 가상 영상이 표시되는 3차원 각도, 그림자, 질감, 양안 시차 및 가상 영상의 선명도 중 적어도 하나를 결정할 수 있다.

일 실시예에 따른 가상 영상 표시 장치는, 제 2 광학 소자의 일측 방향에 배열되고, 인가되는 전기적 신호에 따라 색상이 변하는 광 차단 소자를 더 포함하고, 광 차단 소자의 색상이 변함에 따라, 실세계 빛의 투사가 차단될 수 있다.

일 실시예에 따른 가상 영상 표시 장치에 있어서, 제 1 광학 소자는, 제 2 광학 소자를 투사한 실세계 빛이 발산하는 경우, 제 2 광학 소자를 투사한 실세계 빛이 발산한 범위만큼 수렴하도록 제어하는 광 출력을 갖고, 제 2 광학 소자를 투사한 실세계 빛이 수렴하는 경우, 제 2 광학 소자를 투사한 실세계 빛이 수렴한 범위만큼 발산하도록 제어하는 광 출력을 가질 수 있다.

일 실시예에 따른 가상 영상 표시 장치에 있어서, 프로세서는, 사용자의 시선에 따라 가상 영상이 출력되는 초점 거리를 결정하고, 결정된 초점 거리에 기초하여, 제 1 광학 소자 및 제 2 광학 소자에 인가되는 전기적 신호를 결정하고, 인가되는 전기적 신호에 따라, 제 1 광학 소자 및 제 2 광학 소자의 출력값이 결정될 수 있다.

일 실시예에 따른 가상 영상 표시 장치에 있어서, 프로세서는, 사용자의 시선에 따라, 가상 영상이 출력되는 초점 거리를 결정하고, 결정된 초점 거리에 따라, 필터에서 투과되는 가상 영상의 빛의 편광 방향을 결정할 수 있다.

일 실시예에 따른 가상 영상 표시 장치는, 필터에 인가되는 전기적 신호에 따라 필터에서 투과되는 빛의 편광 방향이 결정될 수 있다.

일 실시예에 따른 가상 영상 표시 장치는, 제 1 광학 소자 및 제 2 광학 소자에 특정 방향으로 편광된 가상 영상의 빛이 입사되는 경우, 입사된 빛의 편광 방향이 변경되며, 특정 편광 방향에 따라 입사된 빛의 발산 또는 수렴 여부가 결정될 수 있다.

다른 실시예에 따른 가상 영상 표시 장치는, 가상 영상을 출력하는 영상 생성기; 가상 영상의 빛을 가이드(guide)하는 다중 경로 광학 소자; 다중 경로 광학 소자의 제 1 측면에 배열되고, 가이드 된 빛과 실세계 빛을 통과시키는 제 1 광학 소자; 다중 경로 광학 소자에서 제 1 측면의 반대 측면인 제 2 측면에 배열되고, 실세계 빛을 통과시키는 제 2 광학 소자; 및 사용자의 시선을 결정하고, 사용자의 시선에 대응되는 가상 영상을 생성하며, 영상 생성기, 제 1 광학 소자 및 제 2 광학 소자를 제어하는 프로세서를 포함하고, 제 1 광학 소자가 빛을 발산시키는 경우, 제 2 광학 소자는 빛을 수렴시키도록 설정되며, 제 1 광학 소자가 빛을 수렴시키는 경우, 제 2 광학 소자는 빛을 발산시키도록 설정될 수 있다.

일 실시예에 따른 가상 영상 표시 방법은, 가상 영상을 획득하는 단계;필터에 획득된 가상 영상을 투과시켜 가상 영상으로부터 제 1 편광 상태의 빛을 획득하는 단계; 및 제 1 광학 소자의 반대 측면에 위치한 제 2 광학 소자가 실세계 빛을 수렴시키고, 제 1 광학 소자가 수렴하는 실세계 빛과 제 1 편광 상태의 빛을 발산시키도록 제 1 광학 소자 및 제 2 광학 소자에 각각 전기적 신호를 인가하는 단계를 포함하고, 필터를 투과한 제 1 편광 상태의 빛과 제 2 광학 소자를 통과한 실세계 빛은 제 1 광학 소자와 제 2 광학 소자 사이에 배열된 다중 경로 광학 소자를 통해 가이드 되어 제 1 광학 소자에 투사되고, 제 1 광학 소자는 제 1 편광 상태의 빛은 발산시키고, 제 2 편광 상태의 빛은 수렴시키며, 제 2 광학 소자는 제 1 편광 상태의 빛은 수렴시키고, 제 2 편광 상태의 빛은 발산시킬 수 있다.

다른 실시예에 따른 가상 영상 표시 방법은, 가상 영상을 결정하는 단계; 사용자의 시선의 방향 및 거리를 기초로 상기 가상 영상이 출력되는 초점 거리를 결정하는 단계; 및 제 1 광학 소자의 반대 측면에 위치한 제 2 광학 소자가 결정된 초점 거리에 따라 실세계 빛을 수렴시키고, 제 1 광학 소자가 수렴하는 실세계 빛과 가상 영상의 빛을 발산시키도록 제 1 광학 소자 및 제 2 광학 소자에 각각 전기적 신호를 인가하는 단계를 포함하고, 가상 영상 및 제 2 광학 소자로부터 투사되어 수렴하는 실세계 빛은 제 1 광학 소자와 제 2 광학 소자 사이에 배열된 다중 경로 광학 소자를 통해 가이드 되어 제 1 광학 소자에 투사될 수 있다.

도 1은 일 실시예에 따라 가상 영상을 표시하는 방법을 설명하기 위한 개념도이다.
도 2는 일 실시예에 따라 가상 영상 표시 장치를 설명하기 위한 블록도이다.
도 3은 다른 실시예에 따른 가상 영상 표시 장치의 블록도이다.
도 4는 일 실시예에 따른 가상 영상 표시 장치에 구비된 제 1 광학 소자 및 제 2 광학 소자의 동작 원리를 보다 구체적으로 설명하기 위한 도면이다.
도 5는 다른 실시예에 따른 가상 영상 표시 장치의 필터를 설명하기 위한 블록도이다.
도 6은 일 실시예에 따른 가상 영상 표시 장치가 사용자의 시선의 수렴 거리와 초점 거리를 일치시키는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 가상 영상 표시 장치가 가상 영상의 시청을 위해 실세계 빛의 일부를 차단하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 가상 영상 표시 장치가 가상 영상 및 실세계 장면을 표시하는 방법을 설명하기 위한 흐름도이다.
도 9는 일 실시예에 따른 가상 영상 표시 장치가 사용자의 시선을 추적하여, 가상 영상 및 실세계 장면을 표시하는 방법을 설명하기 위한 흐름도이다.
도 10은 다른 실시예에 따른 가상 영상 표시 장치를 설명하기 위한 블록도이다.
도 11은 다른 실시예에 따른 가상 영상 표시 장치가 가상 영상 및 실세계 장면을 표시하는 방법을 설명하기 위한 흐름도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 특성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 일 실시예에 따라 가상 영상을 표시하는 방법을 설명하기 위한 개념도이다.

도 1을 참조하면, 가상 영상 표시 장치(100)는 사용자가 증강 현실을 체험할 수 있도록, 사용자가 감지하는 실세계(10)에 중첩하여 가상 영상(12)을 출력할 수 있다.

일 실시예에 따른 가상 영상 표시 장치(100)는 출력되는 가상 영상(12)이 사용자의 눈에 감지될 수 있도록, 사용자의 시선을 추적할 수 있다. 가상 영상 표시 장치(100)는 추적 결과, 획득된 사용자의 시선의 방향 및 거리에 기초하여, 출력되는 가상 영상(12)의 형태를 결정할 수 있다.

한편, 가상 영상 표시 장치(100)에 의해 가상 영상(12)이 맺히는(focus) 초점의 위치와 사용자의 시선이 수렴하는 위치가 일치하지 않는 경우, 가상 영상(12)을 시청하는 사용자의 피로도가 증가할 수 있다. 일 실시예에 따른 가상 영상 표시 장치(100)는 사용자의 시선이 수렴하는 위치에 가상 영상(12)이 맺힐 수 있도록, 가상 영상 표시 장치(100)에 구비된 광학 소자의 광 출력을 가변적으로 조정할 수 있다. 여기에서, 광 출력이란 광학 소자의 초점 거리를 결정하는 굴절률을 나타낼 수 있다. 가상 영상 표시 장치(100)가 광 출력을 가변적으로 조정하는 방법에 대해서는, 도 2를 참조하여 보다 구체적으로 후술하도록 한다.

가상 영상 표시 장치(100)를 착용한 사용자는 가상 영상(12)이 감지됨에 따라 실세계(10)에 가상 영상(12)이 중첩된 증강 현실 영상을 시청함으로써, 증강 현실을 체험할 수 있다. 여기에서, 가상 영상(12)과 실세계(10)가 중첩되어 인식됨에 따라, 가상 영상(12)을 위해 조정된 광학 소자의 초점 거리가 실세계(10)의 장면을 왜곡시킬 수 있다. 일 실시예에 따른 가상 영상 표시 장치(100)는 이를 방지하기 위해, 구비된 복수의 광학 소자 중 일부를 가상 영상(12)의 초점 거리를 조정하는데 이용하고, 다른 일부를 실세계(10)의 장면의 왜곡을 보정하기 위해 이용함으로써, 왜곡되지 않은 실세계(10)의 장면에 가상 영상(12)이 중첩되는 증강 현실 영상을 제공할 수 있다.

한편, 일 실시예에 따른 가상 영상 표시 장치(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 가상 영상 표시 장치(100)는 스마트 글래스(Smart Glass), HMD(Head Mounted Display) 등이 있을 수 있으나, 이는 일 실시예일 뿐, 가상 영상 표시 장치(100)가 이에 한정되는 것은 아니다.

도 2는 일 실시예에 따라 가상 영상 표시 장치(100)를 설명하기 위한 블록도이다.

도 2를 참조하면, 가상 영상 표시 장치(100)는 영상 생성기(110), 필터(120), 다중 경로 광학 소자(130), 복수의 광학 소자(140, 150) 및 프로세서(160)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 디바이스(100)의 구성 요소가 전술한 예에 한정되는 것은 아니다.

영상 생성기(110)는 실세계 장면(230)에 중첩되는 가상 영상(220a)을 출력한다. 영상 생성기(110)는 프로세서(160)로부터 사용자의 시선에 대응되는 가상 영상(220a)이 결정됨에 따라, 결정된 가상 영상(220a)을 출력할 수 있다. 영상 생성기 (110)로부터 출력된 가상 영상은 필터(120)를 거쳐 다중 경로 광학 소자(130)에 입사될 수 있다.

필터(120)는 영상 생성기(110)로부터 입사되는 가상 영상(220a)에 대해, 기 설정된 편광 방향의 빛을 투과할 수 있다. 예를 들어, 필터(120)는 입사되는 가상 영상의 좌원편광(left circular polarized light, LCP light) 신호 만을 투과하거나, 우원편광(right circular polarized light, RCP light) 신호 만을 투과할 수 있다. 다만, 이는 일 실시예일 뿐, 필터(120)를 투과하는 빛의 편광 방향이 전술한 예에 한정되는 것은 아니다.

또한, 필터(120)는 편광 소자(polarizer) 및 사반파장판(quarter waveplate)을 포함할 수 있으나, 이는 일 실시예일 뿐, 필터(120)의 구성이 전술한 예에 한정되는 것은 아니다.

한편, 필터(120)에서 투과되는 빛의 편광 방향은 가상 영상(12)이 맺히는 초점 거리에 따라 변경될 수 있다. 이에 대해서는, 도 5를 참조하여 보다 구체적으로 후술하도록 한다.

다중 경로 광학 소자(130)는 필터(120)를 통해 투과된 가상 영상의 빛이 사용자의 눈(210)에 입사될 수 있도록 투과된 가상 영상의 빛을 가이드(guide) 할 수 있다. 다중 경로 광학 소자(130)는 굴절률이 큰 매질의 주변을 굴절률이 작은 매질이 감싸는 구조로 구성될 수 있다. 전술한 구성에 따라, 필터(120)를 투과한 가상 영상의 빛은 다중 경로 광학 소자(130)를 따라 진행하면서, 사용자의 눈(210)에 전달될 수 있다.

제 1 광학 소자(140)는 다중 경로 광학 소자(130)의 제 1 측면에 배열될 수 있다. 여기에서, 제 1 측면은 사용자의 눈(210)이 위치하는 측면을 나타낼 수 있다. 제 1 광학 소자(140)는 사용자의 눈(210)과 다중 경로 광학 소자(130)에 위치하도록 배열될 수 있다.

제 1 광학 소자(140)는 다중 경로 광학 소자(130)로부터 가이드 된 가상 영상의 빛과 실세계 장면(230)의 빛이 발산 또는 수렴하도록 제어하는 제 1 광 출력을 가질 수 있다. 일 실시예에 따라, 제 1 광학 소자(140)에 된 가이드 된 가상 영상의 빛 및 실세계 장면(230)의 빛은 입사 방향에 따라 발산 또는 수렴하고, 이에 따라, 빛의 방향이 변경될 수 있다.

예를 들어, 제 1 광학 소자(140)에 입사된 좌원편광 신호는, 제 1 광학 소자(140)에 의해 발산할 수 있다. 또한, 좌원편광 신호는 제 1 광학 소자(140)를 투과함에 따라 우원편광 신호로 변경될 수 있다. 다른 예에 따라, 제 1 광학 소자(140)에 입사된 우원편광 신호는, 제 1 광학 소자(140)에 의해 수렴할 수 있다. 또한, 우원편광 신호는 제 1 광학 소자(140)를 투과함에 따라 좌원편광 신호로 변경될 수 있다.

한편, 제 1 광학 소자(140)에 입사되는 가상 영상은 전술한 필터(120)에 의해 좌원편광 신호만으로 구성될 수 있다. 이에 따라, 제 1 광학 소자(140)를 통과하는 가상 영상의 빛은 발산할 수 있다. 여기에서, 가상 영상의 빛이 발산되는 정도는 사용자의 시선에 따라 결정된 초점 거리에 따라 결정될 수 있다.

또한, 제 1 광학 소자(140)에 입사되는 실세계의 빛에 포함된 다양한 방향의 신호 중 우원편광 신호는 제 1 광학 소자(140)를 통과함에 따라 발산하고, 좌원편광 신호는 제 1 광학 소자(140)를 통과함에 따라 수렴할 수 있다. 실세계 장면(230)의 경우, 가사 영상에 맞춰진 초점 거리를 조정하기 위한 제 1 광학 소자(140)를 통과함에 따라 왜곡이 발생할 수 있다. 일 실시예에 따른 가상 영상 표시 장치(100)는 실세계 장면(230)이 제 1 광학 소자(140)를 통과하기에 앞서, 제 2 광학 소자(150)를 통과하도록 제어함으로써, 왜곡을 미리 보정할 수 있다.

제 2 광학 소자(150)는 다중 경로 광학 소자(130)에서 제 1 측면의 반대 측면인 제 2 측면에 배열될 수 있다. 제 2 광학 소자(150)는 제 1 광 출력으로 인한 실세계 빛의 발산 또는 실세계 빛의 수렴을 보정하기 위한 제 2 광 출력을 가질 수 있다. 예를 들어, 제 2 광학 소자(150)를 통과한 실세계 장면(230)의 좌원 편광 신호는 발산하면서, 우원편광 신호로 변경될 수 있다. 또한, 우원편광 신호는 제 1 광학 소자(140)를 통과함에 따라, 수렴하면서 좌원편광 신호로 변경될 수 있다. 이 때, 제 2 광학 소자(150) 및 제 1 광학 소자(140)에 의해 각각 발산 또는 수렴되는 정도는 동일하게 설정될 수 있다.

이에 따라, 제 2 광학 소자(150) 및 제 1 광학 소자(140)를 통과한 실세계 장면(230)의 우원편광 신호는 왜곡되지 않은 상태로 사용자의 눈(210)에 입사될 수 있다. 다른 예에 따라, 실세계 장면(230)의 우원편광 신호 또는 전술한 좌원편광 신호의 예와 같이 제 2 광학 소자(150) 및 제 1 광학 소자(140)를 통과함으로써, 왜곡되지 않은 상태로 사용자의 눈(210)에 입사될 수 있다.

일 실시예에 따른 영상 처리 장치(100)는 동일한 수렴 또는 발산 범위를 갖는 제 2 광학 소자(150) 및 제 1 광학 소자(140)를 구비함으로써, 실세계 장면을 왜곡하지 않으면서, 가상 영상의 초점 거리를 조정할 수 있다.

프로세서(160)는 사용자의 시선을 추적하여, 사용자의 시선을 결정할 수 있다. 또한, 프로세서(160)는 사용자의 시선에 대응되는 가상 영상을 획득할 수 있다. 예를 들어, 프로세서(160)는 사용자의 시선의 방향 및 거리에 따라 가상 영상의 절대적/상대적 크기, 3차원 각도(orientation), 텍스쳐, 가상 영상이 표시될 실체 위치의 조명, 그림자, 양안 시차(disparity) 및 선명도 중 적어도 하나를 결정할 수 있다.

또한, 프로세서(160)는 가상 영상을 사용자의 시선의 수렴 거리에 위치시키기 위한 초점 거리를 결정할 수 있다. 프로세서(160)는 결정된 초점 거리에 따라 제 1 광학 소자(140) 및 제 2 광학 소자(150)에 인가되는 전기적 신호를 결정할 수 있다. 여기에서, 제 1 광학 소자(140) 및 제 2 광학 소자(150)는 프로세서(160)로부터 인가되는 전기적 신호에 따라 초점 거리가 변경될 수 있다. 예를 들어, 제 1 광학 소자(140) 및 제 2 광학 소자(150)에 인가되는 전기적 신호에 따라, 입사되는 특정 편광 방향의 빛이 발산 또는 수렴하는 정도가 결정될 수 있다.

도 3은 다른 실시예에 따른 가상 영상 표시 장치(300)의 블록도이다.

도 3을 참조하면, 가상 영상 표시 장치(300)는 영상 생성기 (310), 필터(320), 다중 경로 광학 소자(330), 복수의 광학 소자(340, 350), 프로세서(360), 센서부(370) 및 드라이버(380)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 가상 영상 표시 장치(300)의 구성 요소가 전술한 예에 한정되는 것은 아니다.

본 실시예에서, 영상 생성기(310), 필터(320), 다중 경로 광학 소자(330), 복수의 광학 소자(340, 350)는 도 2의 영상 생성기 (110), 필터(120), 다중 경로 광학 소자(130), 복수의 광학 소자(140, 150)에 대응되므로, 자세한 설명은 생략한다.

프로세서(360)는 사용자의 시선을 결정하기 위해, 센서부(370)로부터 사용자의 눈을 촬영한 복수의 영상을 획득할 수 있다. 프로세서(360)는 복수의 영상으로부터 추출된 눈의 중심점을 기초로, 사용자의 시선이 수렴하는 방향 및 거리를 결정할 수 있다.

프로세서(360)는 사용자의 시선이 결정됨에 따라, 출력되는 가상 영상을 결정할 수 있다. 프로세서(360)가 가상 영상을 결정하는 방법은 도 2를 참조하여 전술한 바와 대응될 수 있다.

한편, 프로세서(360)는 사용자의 시선이 수렴되는 방향 및 거리에 대응하여, 복수의 광학 소자(340, 350)의 초점 거리를 결정할 수 있다. 또한, 프로세서(360)는 결정된 초점 거리를 설정하기 위해, 복수의 광학 소자(340, 350) 각각에 인가되어야 하는 전기적 신호를 결정할 수 있다.

센서부(370)는 가시광 또는 적외선 또는 생체 신호 등을 사용하여, 사용자의 안구 움직임을 측정할 수 있다. 또한, 센서부(370)는 사용자의 시선을 실시간으로 추적하기 위해, 기 설정된 시간 단위로 사용자의 안구 움직임을 측정할 수 있다. 센서부(370)는 측정 결과 획득된 복수의 안구 측정 데이터를 프로세서(360)에 제공할 수 있다.

드라이버(380)는 프로세서(360)에서 복수의 광학 소자(240, 350)에 인가되어야 하는 전기적 신호에 관한 정보를 획득할 수 있다. 드라이버(380)는 프로세서(360)로부터 획득된 전기적 신호에 관한 정보에 기초하여, 제 1 광학 소자(340) 및 제 2 광학 소자(350)에 각각 전기적 신호를 인가할 수 있다. 전기적 신호가 인가됨에 따라, 제 1 광학 소자(340) 및 제 2 광학 소자(350)의 초점 거리가 프로세서(360)에서 결정된 초점 거리로 변경될 수 있다.

도 4는 일 실시예에 따른 가상 영상 표시 장치에 구비된 제 1 광학 소자(410) 및 제 2 광학 소자(420)의 동작 원리를 보다 구체적으로 설명하기 위한 도면이다.

도 4를 참조하면, 제 1 광학 소자(410) 및 제 2 광학 소자(420)는 다중 경로 광학 소자(430)를 기준으로 서로 반대 측면에 배열될 수 있다. 예를 들어, 제 1 광학 소자(410)는 사용자의 눈과 다중 경로 광학 소자(430)의 사이의 제 1 측면에 배열될 수 있다. 또한, 제 2 광학 소자(420)는 제 1 측면의 반대 측면인 제 2 측면에 배열될 수 있다.

도 4에서는, 실세계 빛 중 우원편광(RCP) 신호(442), 실세계 빛 중 좌원편광(LCP) 신호(452) 및 필터를 투과한 결과 획득된 가상 영상의 우원편광 신호(462)가 각각 사용자의 눈에 전달되는 과정이 도시되어 있다.

실세계 빛 중 우원편광(RCP) 신호(442)는 제 2 광학 소자(420)를 통과하여, 다중 경로 광학 소자(430)에 입사할 수 있다. 우원편광(RCP) 신호(442)는 제 2 광학 소자(420)를 통과함에 따라, 발산하면서 좌원편광(LCP) 신호(444)로 변경될 수 있다. 좌원편광(LCP) 신호(444)는 다중 경로 광학 소자(430)를 거쳐 제 1 광학 소자(410)에 투사될 수 있다.

제 1 광학 소자(410)에 의해 투사된 좌원편광(LCP) 신호(444)는 제 1 광학 소자(410)를 통과함에 따라, 수렴하면서, 우원편광(RCP) 신호(446)로 변경될 수 있다. 이에 따라, 사용자의 눈에 도달하는 우원편광(RCP) 신호(446)는 실세계 빛 중 우원편광(RCP) 신호(442)와 동일한 방향으로 사용자의 눈에 입사될 수 있다.

또한, 실세계 빛 중 좌원편광(LCP) 신호(452)는 제 2 광학 소자(420)를 통과하여, 다중 경로 광학 소자(430)에 입사할 수 있다. 좌원편광(LCP) 신호(452)는 제 2 광학 소자(420)를 통과함에 따라, 발산하면서 우원편광(RCP) 신호(454)로 변경될 수 있다. 우원편광(RCP) 신호(454)는 다중 경로 광학 소자(430)를 거쳐 제 1 광학 소자(410)에 투사될 수 있다.

제 1 광학 소자(410)에 의해 투사된 우원편광(RCP) 신호(454)는 제 1 광학 소자(410)를 통과함에 따라, 수렴하면서, 좌원편광(LCP) 신호(456)로 변경될 수 있다. 이에 따라, 사용자의 눈에 도달하는 좌원편광(LCP) 신호(456)는 실세계 빛 중 좌원편광(RCP) 신호(452)와 동일한 방향으로 사용자의 눈에 입사될 수 있다.

한편, 일 실시예에 따른 가상 영상 표시 장치는 필터를 통해 가상 영상 중 우원편광(RCP) 신호(462)만을 다중 경로 광학 소자(430)에 전달할 수 있다. 다중 경로 광학 소자(430)에 전달된 가상 영상의 우원편광(RCP) 신호(462)는 다중 경로 광학 소자(430)를 통해 가이드되어, 제 1 광학 소자(410)에 입사될 수 있다.

가상 영상의 우원편광(RCP) 신호(462)는 다중 경로 광학 소자(430)를 거쳐 제 1 광학 소자(410)에 투사될 수 있다. 제 1 광학 소자(410)에 의해 투사된 가상 영상의 우원편광(RCP) 신호(462)는 제 1 광학 소자(410)를 통과함에 따라, 발산하면서, 좌원편광(LCP) 신호(466)로 변경될 수 있다. 이에 따라, 가상 영상은 발산된 정도에 대응되는 초점 거리에 상이 맺힘으로써, 실세계 장면과 중첩되어 사용자에 의해 감지될 수 있다.

또한, 제 1 광학 소자(410) 및 제 2 광학 소자(420) 각각에서 영상이 수렴되거나 발산되는 정도는 도 2 및 도 3을 참조하여 전술한 바와 같이, 사용자의 시선의 수렴 거리를 기초로 결정된 초점 거리에 따라 결정될 수 있다.

도 5는 다른 실시예에 따른 가상 영상 표시 장치(500)의 필터(520)를 설명하기 위한 블록도이다.

도 5를 참조하면, 가상 영상 표시 장치(500)는 영상 생성기(510), 필터(520), 다중 경로 광학 소자(530), 복수의 광학 소자(540, 550) 및 프로세서(560)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 가상 영상 표시 장치(500)의 구성 요소가 전술한 예에 한정되는 것은 아니다.

본 실시예에서, 영상 생성기 (510), 다중 경로 광학 소자(530), 복수의 광학 소자(540, 550)는 도 2의 영상 생성기(110), 다중 경로 광학 소자(130), 복수의 광학 소자(140, 150)에 대응되므로, 자세한 설명은 생략한다.

프로세서(560)는 사용자의 시선의 방향 및 거리에 따라, 가상 영상을 획득할 수 있다. 프로세서(560)가 가상 영상을 획득하는 방법은 도 2를 참조하여 전술한 바와 대응될 수 있다.

프로세서(560)는 사용자의 시선의 수렴거리에 따라, 사용자의 눈(210)에 입사되는 가상 영상이 발산해야 하는지 또는 수렴해야 하는지 여부를 결정할 수 있다. 예를 들어, 사용자의 시선의 수렴거리가 가상 영상 표시 장치(500)에 기 설정된 기준 거리 보다 먼 경우, 사용자의 눈(210)에 가상 영상이 수렴하는 형태로 입사되어야, 초점 거리를 기 설정된 기준 거리 보다 멀리 설정할 수 있다.

한편, 가상 영상 표시 장치(500)에 구비된 제 1 광학 소자(540)에 우원편광이 입사되는 경우, 우원편광이 발산하고, 제 1 광학 소자(540)에 좌원편광이 입사되는 경우, 좌원편광이 수렴함에 따라, 프로세서(560)는 제 1 광학 소자(540)에 좌원편광이 입사되도록 필터(520)를 제어할 수 있다. 예를 들어, 프로세서(560)는 필터(520)에 전기적 신호를 인가함으로써, 필터(520)를 투과하는 가상 영상의 편광 방향을 제어할 수 있다. 본 실시예에서, 필터(520)는 인가되는 전기적 신호에 따라 투과되는 빛의 편광 방향이 변경되는 액티브 필터인 것으로 가정한다.

다른 실시예에 따라, 프로세서(560)는 사용자의 시선의 수렴거리가 가상 영상 표시 장치(500)에 기 설정된 기준 거리 이내인 경우, 사용자의 눈(210)에 가상 영상이 발산하는 형태로 입사되도록, 초점 거리를 설정할 수 있다. 이에 따라, 프로세서(560)는 제 1 광학 소자(540)에 우원편광이 입사되도록 필터(520)를 제어할 수 있다.

한편, 본 실시예에서는 제 1 광학 소자(540) 및 제 2 광학 소자(550)에 우원편광이 입사되는 경우, 우원편광이 발산하고, 좌원편광이 입사되는 경우, 좌원편광이 수렴하는 것으로 설명하였으나, 이는 일 실시예일 뿐, 다른 예에 따라, 우원편광이 입사되는 경우, 우원편광이 수렴하고, 좌원편광이 입사되는 경우, 좌원편광이 발산하도록 구성된 광학 소자가 가상 영상 표시 장치(500)에 구비될 수도 있다.

도 6은 일 실시예에 따른 가상 영상 표시 장치가 사용자의 시선의 수렴 거리와 초점 거리를 일치시키는 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 기존의 가상 영상 표시 방법에서는, 가상 영상에 거리감을 주기 위해, 사용자의 좌안과 우안에 각각 위치를 다르게 한 영상(402, 604)을 투사함으로써, 사용자가 거리감을 느낄 수 있도록 하였다. 예를 들어, 사용자의 좌안과 우안 각각으로부터 일정 거리에 배열된 다중 경로 광학 소자(610, 615)에 출력된 좌안용 영상(602) 및 우안용 영상(604)이 각각 좌안과 우안에 가이드됨으로써, 사용자는 가상 영상을 시청할 수 있다.

다만, 이에 따르면, 좌안과 우안에서 각각 영상이 투사되는 초점 거리(622, 624)와 사용자의 실제 시선의 수렴 거리(626)가 일치하지 않아, 사용자가 불편함을 느낄 수 있다.

일 실시예에 따른 가상 영상 표시 장치는 초점 거리와 시선의 수렴 거리를 일치시킬 수 있도록, 다중 경로 광학 소자(610, 615)의 제 1 측면과 제 2 측면에 각각 제 1 광학 소자(636, 638) 및 제 2 광학 소자(632, 634)를 배열할 수 있다. 다중 경로 광학 소자(610, 615)에 전달되는 가상 영상(642, 644)은 다중 경로 광학 소자(610, 615)를 통해 가이드되어, 제 1 광학 소자(636, 638)를 통해 사용자의 눈에 입사할 수 있다. 여기에서, 제 1 광학 소자(636, 638)는 사용자의 시선의 수렴 거리에 따라 결정된 초점 거리(646)를 가질 수 있다.

또한, 일 실시예에 따른 가상 영상 표시 장치는 제 2 광학 소자(632, 634)를 통해 제 1 광학 소자(636, 638)에 의해 발생될 수 있는 실세계 장면의 왜곡을 보정할 수 있다. 이는 도 2 내지 도 3을 참조하여 전술한 바와 대응되므로, 자세한 설명은 생략한다.

도 7은 일 실시예에 따른 가상 영상 표시 장치(700)가 가상 영상의 시청을 위해 실세계 빛의 일부를 차단하는 방법을 설명하기 위한 도면이다.

도 7을 참조하면, 일 실시예에 따른 가상 영상 표시 장치(700)는 센서부(705), 제 1 광학 소자(712), 다중 경로 광학 소자(714) 및 제 2 광학 소자(716) 및 광 유입 차단 소자(718)를 포함할 수 있다. 한편, 본 실시예에서는 가상 영상의 시청을 위해 실세계 빛의 일부를 차단하는 방법을 설명하기 위해 필요한 구성 요소들만을 도시하였을 뿐, 가상 영상 표시 장치(700)의 구성 요소가 전술한 구성 요소들에 한정되는 것은 아니다.

센서부(705)는 사용자의 안구의 움직임을 센싱한 적어도 하나의 안구 움직임 데이터를 획득할 수 있다. 센서부(705)를 통해 획득된 안구 움직임 데이터를 기초로, 사용자의 시선의 수렴 거리가 결정될 수 있다. 이에 따라, 제 1 광학 소자(712) 및 제 2 광학 소자(716)의 초점 거리가 사용자의 시선의 수렴 거리에 대응될 수 있도록 조정될 수 있다.

한편, 일 실시예에 따른 가상 영상 표시 장치(700)에서 실세계 장면과 중첩되어 보이도록 가상 영상을 표시하더라도, 실세계 장면을 전달하는 빛으로 인하여, 가상 영상의 시인성이 떨어질 수 있다.

이를 해결하기 위해, 일 실시예에 따른 가상 영상 표시 장치(700)는 광 유입 차단 소자(718)를 통해 가상 영상이 표시되는 부분에 한하여, 실세계 빛의 일부를 차단할 수 있다. 광 유입 차단 소자(718)를 통해 실세계 빛의 일부가 차단됨에 따라, 가상 영상이 표시되지 않는 부분의 실세계 빛이 제 2 광학 소자(716), 다중 경로 광학 소자(714) 및 제 1 광학 소자(712)를 통해 사용자의 눈에 전달될 수 있다.

이에 따라, 사용자는 실세계 빛과 가상 영상이 중첩되는 증강 현실을 체험함과 동시에, 실세계 빛의 일부가 차단됨으로써, 가상 영상을 보다 선명하게 시청할 수 있다.

도 8은 일 실시예에 따른 가상 영상 표시 장치가 가상 영상 및 실세계 장면을 표시하는 방법을 설명하기 위한 흐름도이다.

단계 S810에서, 가상 영상 표시 장치는 가상 영상을 획득할 수 있다.

가상 영상 표시 장치는 사용자의 시선에 따라 결정된 가상 영상을 획득할 수 있다. 여기에서, 가상 영상 표시 장치는, 예를 들어, 사용자의 시선을 추적하여, 사용자의 시선의 방향 및 거리에 관한 정보를 획득할 수 있다. 다른 예에 따라, 가상 영상 표시 장치는 사용자의 시선의 방향 및 거리에 관한 정보를 외부의 장치로부터 수신하거나, 가상 영상 표시 장치에 구비된 센서를 통해 획득할 수 있다.

단계 S820에서, 가상 영상 표시 장치는 필터에 획득된 가상 영상을 투과시켜 가상 영상으로부터 제 1 편광 상태의 빛을 획득할 수 있다.

가상 영상 표시 장치는 기 설정된 편광 방향의 빛을 투과하는 필터에 가상 영상을 입력할 수 있다. 예를 들어, 필터는 입사되는 가상 영상의 좌원편광(LCP light) 신호 만을 투과하거나, 우원편광(RCP light) 신호 만을 투과할 수 있다.

단계 S830에서, 가상 영상 표시 장치는 제 1 광학 소자의 반대 측면에 위치한 제 2 광학 소자가 실세계 빛을 수렴시키고, 제 1 광학 소자가 수렴하는 실세계 빛과 제 1 편광 상태의 빛을 발산시키도록 제 1 광학 소자 및 제 2 광학 소자에 전기적 신호를 인가할 수 있다.

가상 영상 표시 장치는 사용자의 시선의 수렴 거리에 가상 영상이 맺힐 수 있도록 전기적 신호를 인가하여 광학 소자의 광 출력을 변경함으로써, 가상 영상이 맺히는 초점 거리를 조정할 수 있다. 예를 들어, 가상 영상 표시 장치는 사용자의 시선의 수렴 거리가 d1인 경우, 초점 거리가 d1'로 설정될 수 있도록 제 1 광학 소자에 인가되는 전기적 신호를 조정할 수 있다. 조정된 전기적 신호가 인가된 제 1 광학 소자에 입사된 특정 편광 방향의 빛은 발산 또는 수렴하여, 조정된 초점 거리에 가상 영상이 맺힐 수 있다. 한편, 가상 영상 표시 장치는 제 1 광학 소자에 의해 실세계 장면이 왜곡되는 것을 방지할 수 있도록, 제 2 광학 소자의 광 출력을 설정할 수 있다.

이에 따라, 특정 범위만큼 빛을 발산시키는 제 2 광 출력을 갖는 제 2 광학 소자를 투사한 실세계 빛은, 특정 범위만큼 빛을 수렴시키는 제 1 광 출력을 갖는 제 1 광학 소자를 투사함으로써, 실세계 장면의 왜곡이 보정될 수 있다. 또한, 특정 범위만큼 빛을 수렴시키는 제 2 광 출력을 갖는 제 2 광학 소자를 투사한 실세계 빛은, 특정 범위 만큼 빛을 발산시키는 제 1 광 출력을 갖는 제 1 광학 소자를 투사함으로써, 실세계 장면의 왜곡이 보정될 수 있다.

도 9는 일 실시예에 따른 가상 영상 표시 장치가 사용자의 시선을 추적하여, 가상 영상 및 실세계 장면을 표시하는 방법을 설명하기 위한 흐름도이다.

단계 S910에서, 가상 영상 표시 장치는 사용자의 적어도 하나의 안구 움직임 데이터를 획득할 수 있다. 가상 영상 표시 장치는 사용자의 시선을 결정하기 위해, 구비된 센서를 이용하여 사용자의 안구 움직임을 측정한 적어도 하나의 안구 움직임 데이터를 획득할 수 있다.

단계 S920에서, 가상 영상 표시 장치는 획득된 적어도 하나의 안구 움직임 데이터를 기초로 사용자의 시선을 결정할 수 있다. 가상 영상 표시 장치는 적어도 하나의 안구 움직임 데이터를 기초로, 사용자의 시선이 수렴하는 방향 및 거리를 결정할 수 있다. 예를 들어, 가상 영상 표시 장치는 복수의 동공 영상으로부터, 사용자의 양안 동공 중심점을 각각 검출하고, 양안의 동공이 수렴하는 지점까지의 사잇각을 결정함으로써 사용자의 시선의 방향과 거리를 결정할 수 있다.

단계 S930에서, 가상 영상 표시 장치는 사용자의 시선에 기초하여, 실세계 장면에 중첩되는 가상 영상을 결정할 수 있다.

예를 들어, 가상 영상 표시 장치는 사용자의 시선의 방향 및 거리에 따라 가상 영상의 절대적/상대적 크기, 3차원 각도(orientation), 텍스쳐, 가상 영상이 표시될 실체 위치의 조명, 그림자, 양안 시차(disparity) 및 선명도 중 적어도 하나를 결정하고, 결정에 따라 가상 영상을 렌더링 할 수 있다.

단계 S940에서, 가상 영상 표시 장치는 기 설정된 편광 방향의 빛을 투과하는 필터에 가상 영상을 입력할 수 있다.

필터는 가상 영상이 입력됨에 따라 기 설정된 편광 방향의 빛을 투과할 수 있다. 한편, 필터에서 투과되는 빛의 편광 방향은 사용자의 시선의 수렴거리 및 초점거리가 적응적으로 변경되는 복수의 광학 소자의 특성에 따라 결정될 수 있다. 여기에서, 필터를 투과하는 빛의 편광 방향은, 도 5를 참조하여 전술한 바와 동일한 방법으로 결정될 수 있다.

단계 S950에서, 가상 영상 표시 장치는 제 1 광학 소자가 제 1 광 출력을 갖고 제 2 광학 소자가 제 1 광 출력으로 인한 실세계 빛의 발산 또는 수렴을 보정하기 위한 제 2 광 출력을 갖도록 제 1 광학 소자 및 제 2 광학 소자에 전기적 신호를 인가할 수 있다.

한편, 단계 S950은 도 8을 참조하여 전술한 단계 S830과 대응될 수 있다.

도 10은 다른 실시예에 따른 가상 영상 표시 장치를 설명하기 위한 블록도이다.

도 10을 참조하면, 가상 영상 표시 장치(1000)는 영상 생성기(1010), 다중 경로 광학 소자(1030), 복수의 광학 소자(1040, 1050), 프로세서(1060), 센서부(1070) 및 드라이버(1080)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 가상 영상 표시 장치(1000)의 구성 요소가 전술한 예에 한정되는 것은 아니다.

영상 생성기(1010)는 실세계 장면에 중첩되는 가상 영상을 출력할 수 있다. 영상 생성기 (1010)는 프로세서(1060)로부터 사용자의 시선에 대응되는 가상 영상이 결정됨에 따라, 결정된 가상 영상을 출력할 수 있다. 영상 생성기 (110)로부터 출력된 가상 영상은 다중 경로 광학 소자(1030)에 전달될 수 있다.

다중 경로 광학 소자(1030)는 영상 생성기 (1010)를 통해 출력된 가상 영상이 사용자의 눈에 입사될 수 있도록 투과된 가상 영상의 빛을 가이드(guide) 할 수 있다. 가상 영상은 다중 경로 광학 소자(130)를 따라 진행하면서, 제 1 광학 소자(1040)를 통해 사용자의 눈에 전달될 수 있다.

제 1 광학 소자(1040)는 다중 경로 광학 소자(1030)의 제 1 측면에 배열될 수 있다. 여기에서, 제 1 측면은 사용자의 눈이 위치하는 측면을 나타낼 수 있다. 제 1 광학 소자는 사용자의 눈과 다중 경로 광학 소자(1030) 사이에 위치하도록 배열될 수 있다.

제 1 광학 소자(1040)는 다중 경로 광학 소자(1030)로부터 가이드 된 가상 영상의 빛과 실세계 빛이 발산 또는 수렴하도록 제어하는 제 1 광 출력을 가질 수 있다.

한편, 실세계 빛의 경우, 가상 영상에 맞춰진 초점 거리를 조정하기 위한 제 1 광학 소자(1040)를 통과함에 따라 왜곡이 발생할 수 있다. 일 실시예에 따른 가상 영상 표시 장치(1000)는 실세계 빛이 제 1 광학 소자(1040)를 통과하기에 앞서, 제 2 광학 소자(1050)를 통과함으로써, 왜곡을 미리 보정할 수 있다.

제 2 광학 소자(1050)는 다중 경로 광학 소자(1030)에서 제 1 측면의 반대 측면인 제 2 측면에 배열될 수 있다. 제 2 광학 소자(1050)는 제 1 광 출력으로 인한 실세계 빛의 발산 또는 실세계 빛의 수렴을 보정하기 위한 제 2 광 출력을 가질 수 있다.

이에 따라, 제 2 광학 소자(1050) 및 제 1 광학 소자(1040)를 통과한 실세계 빛은 왜곡되지 않은 상태로 사용자의 눈에 입사될 수 있다.

프로세서(1060)는 사용자의 시선을 추적하여, 사용자의 시선을 결정할 수 있다. 프로세서(1060)는 결정된 사용자의 시선에 대응되는 가상 영상을 획득할 수 있다.

또한, 프로세서(1060)는 가상 영상을 사용자의 시선의 수렴 거리에 위치시키기 위한 초점 거리를 결정할 수 있다. 프로세서(1060)는 결정된 초점 거리에 따라 제 1 광학 소자(1040) 및 제 2 광학 소자(1050)에 인가되는 전기적 신호를 결정할 수 있다. 여기에서, 제 1 광학 소자(1040) 및 제 2 광학 소자(1050)는 프로세서(1060)로부터 인가되는 전기적 신호에 따라 초점 거리가 변경될 수 있다.

센서부(1070)는 가시광, 적외선, 생체 신호 등을 사용하여, 사용자의 안구 움직임을 측정할 수 있다. 또한, 드라이버(1080)는 프로세서(1060)에서 복수의 광학 소자(1040, 1050)에 인가되어야 하는 전기적 신호에 관한 정보를 획득할 수 있다. 드라이버(1080)는 프로세서(1060)로부터 획득된 전기적 신호에 관한 정보에 기초하여, 제 1 광학 소자(1040) 및 제 2 광학 소자(1050)에 각각 전기적 신호를 인가할 수 있다.

한편, 센서부(1070) 및 드라이버(1080)는 도 3을 참조하여 전술한 센서부(370) 및 드라이버(380)와 대응될 수 있으므로, 자세한 설명은 생략하도록 한다.

도 11은 다른 실시예에 따른 가상 영상 표시 장치가 가상 영상 및 실세계 장면을 표시하는 방법을 설명하기 위한 흐름도이다.

단계 S1110에서, 가상 영상 표시 장치는 사용자의 시선에 기초하여, 가상 영상을 결정할 수 있다.

가상 영상 표시 장치는 사용자의 시선에 따라 결정된 가상 영상을 획득할 수 있다. 여기에서, 가상 영상 표시 장치는, 예를 들어, 사용자의 시선을 추적하여, 사용자의 시선의 방향 및 거리에 관한 정보를 획득할 수 있다. 다른 예에 따라, 가상 영상 표시 장치는 사용자의 시선의 방향 및 거리에 관한 정보를 외부의 장치로부터 수신하거나, 가상 영상 표시 장치에 구비된 센서를 통해 획득할 수 있다. 단계 S1120에서, 가상 영상 표시 장치는 사용자의 시선의 방향 및 거리를 기초로 가상 영상이 출력되는 초점 거리를 결정할 수 있다.

단계 S1130에서, 가상 영상 표시 장치는 제 1 광학 소자의 반대 측면에 위치한 제 2 광학 소자가, 결정된 초점 거리에 따라 실세계 빛을 수렴시키고, 제 1 광학 소자가 수렴하는 실세계 빛과 가상 영상의 빛을 발산시키도록 제 1 광학 소자 및 제 2 광학 소자에 전기적 신호를 인가할 수 있다.

가상 영상 표시 장치는 가상 영상을 사용자의 시선의 수렴 거리에 위치시키기 위한 초점 거리를 결정할 수 있다. 가상 영상 표시 장치는 결정된 초점 거리에 따라 제 1 광학 소자 및 제 2 광학 소자에 인가되는 전기적 신호를 결정할 수 있다. 예를 들어, 가상 영상 표시 장치는 가상 영상이 사용자의 시선의 수렴 거리에 맺힐 수 있도록, 제 1 광학 소자의 초점 거리를 결정할 수 있다. 또한, 결정된 초점 거리로 제 1 광학 소자의 초점 거리를 변경하기 위한 전기적 신호가 제 1 광학 소자에 인가될 수 있다.

또한, 가상 영상 표시 장치는 제 1 광학 소자에 의해 실세계 장면이 왜곡되지 않도록 미리 실세계 빛을 보정하기 위해, 제 2 광학 소자의 초점 거리를 조정할 수 있다. 이에 따라, 실세계 빛은 제 2 광학 소자를 통과한 후에 제 1 광학 소자에 입사됨으로써, 왜곡 없이 사용자의 눈에 감지될 수 있다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

도면에 도시된 실시 예들에서 참고부호를 기재하였으며, 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 실시 예는 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.

실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 또한, 실시예는 동종의 또는 서로 다른 종류의 코어들, 서로 다른 종류의 CPU들을 채용할 수도 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

실시 예에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

실시 예의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시 예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시 예들이 한정되는 것은 아니다. 실시 예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시 예를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 실시 예의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims

가상 영상을 구성하는 빛을 출력하는 영상 생성기;
상기 출력된 빛에서 제 1 편광 상태의 빛을 투과시키는 필터;
상기 투과된 제 1 편광 상태의 빛을 가이드(guide)하는 광학 소자;
상기 광학 소자의 제 2 측면 방향에 배치되어 제 1 편광 상태의 빛과 제 2 편광 상태의 빛을 포함하는 실세계 빛이 입사되는 제 2 광학 소자;
상기 광학 소자의 제 1 측면 방향에 배치되어 상기 가이드된 제 1 편광 상태의 빛과 상기 제 2 광학 소자를 통과한 실세계 빛이 입사되는 제 1 광학 소자; 및
상기 가상 영상을 사용자의 시선의 수렴 거리에 위치시키기 위한 초점 거리를 결정하고, 상기 결정된 초점 거리에 기초하여 상기 제1 광학 소자 및 상기 제2 광학 소자에 전기적 신호를 인가하여 상기 제 1 편광 상태의 빛은 수렴시키도록 상기 제 1 광학 소자를 구동시키고, 제 2 편광 상태의 빛은 발산시키도록 상기 제 2 광학 소자를 구동시키는 프로세서;
를 포함하는, 가상 영상 표시 장치.
제 1 항에 있어서,
사용자의 적어도 하나의 안구 움직임 데이터를 획득하는 이미지 센서를 더 포함하고,
상기 프로세서는 상기 획득된 적어도 하나의 안구 움직임 데이터를 기초로 상기 사용자의 시선을 결정하고, 상기 사용자의 시선에 기초하여 상기 영상 생성기로부터 출력되는 가상 영상을 생성하는, 가상 영상 표시 장치.
제 1 항에 있어서, 상기 프로세서는,
상기 가상 영상 표시 장치의 위치를 기준으로 실세계 오브젝트의 깊이 정보를 결정하고, 상기 결정된 깊이 정보에 기초하여 상기 영상 생성기로부터 출력되는 가상 영상을 생성하는, 가상 영상 표시 장치.
제 1 항에 있어서, 상기 프로세서는,
사용자의 시선이 수렴하는 방향 및 거리에 따라 상기 가상 영상의 크기, 상기 가상 영상이 표시되는 3차원 각도, 그림자, 질감, 양안 시차 및 상기 가상 영상의 선명도 중 적어도 하나를 결정하는, 가상 영상 표시 장치.
제 1 항에 있어서,
상기 제 2 광학 소자의 일측 방향에 배치되어, 인가되는 전기적 신호에 따라 색상이 변하는 광 차단 소자를 더 포함하고,
상기 광 차단 소자의 색상이 변함에 따라, 상기 제 2 광학 소자에 입사되는 실세계 빛의 일부가 차단되는, 가상 영상 표시 장치.
제 1 항에 있어서, 상기 제 1 광학 소자는,
상기 제 2 광학 소자에 입사된 실세계 빛이 발산하는 경우, 상기 제 2 광학 소자에 입사된 실세계 빛이 상기 발산한 범위만큼 수렴하도록 제어하는 광 출력을 갖고,
상기 제 2 광학 소자에 입사된 실세계 빛이 수렴하는 경우, 상기 제 2 광학 소자에 입사된 실세계 빛이 상기 수렴한 범위만큼 발산하도록 제어하는 광 출력을 갖는, 가상 영상 표시 장치.
제 6 항에 있어서,
상기 제 1 광학 소자 및 상기 제 2 광학 소자의 광 출력은 상기 인가되는 전기적 신호에 따라 결정되는, 가상 영상 표시 장치.
제 1 항에 있어서, 상기 프로세서는,
사용자의 시선에 따라, 상기 가상 영상이 출력되는 초점 거리를 결정하고, 상기 결정된 초점 거리에 기초하여, 상기 필터에서 투과되는 빛의 편광 방향을 결정하는, 가상 영상 표시 장치.
제 8 항에 있어서,
상기 필터에서 투과되는 빛의 편광 방향은 상기 필터에 인가되는 전기적 신호에 따라 제어되는, 가상 영상 표시 장치.
제 1 항에 있어서,
상기 제 1 광학 소자 및 상기 제 2 광학 소자에 특정 방향으로 편광된 빛이 입사되는 경우, 상기 입사된 빛의 편광 방향이 변경되며,
상기 편광된 특정 방향에 따라 상기 입사된 빛의 발산 또는 수렴 여부가 결정되는, 가상 영상 표시 장치.
사용자의 시선에 기초하여 가상 영상을 생성하는 프로세서;
상기 가상 영상을 구성하는 빛을 출력하는 영상 생성기;
상기 가상 영상을 구성하는 빛을 가이드(guide)하는 광학 소자;
상기 광학 소자의 제 2 측면 방향에 배치되어 제 1 편광 상태의 빛과 제 2 편광 상태의 빛을 포함하는 실세계 빛이 입사되는 제 2 광학 소자; 및
상기 광학 소자의 제 1 측면 방향에 배치되어 상기 가이드된 빛과 상기 제 2 광학 소자를 통과한 실세계 빛이 입사되는 제 1 광학 소자;
를 포함하고,
상기 프로세서는 상기 가상 영상이 상기 사용자의 시선의 수렴 거리에서 출력되도록 초점 거리를 결정하고,
상기 결정된 초점 거리에 기초하여 상기 제 1 광학 소자 및 상기 제 2 광학 소자에 인가되는 전기적 신호를 결정하고,
상기 결정된 전기적 신호를 상기 제1 광학 소자 및 상기 제 2 광학 소자에 인가하고,
상기 제 1 광학 소자가 빛을 수렴시키는 경우, 상기 제 2 광학 소자는 빛을 발산시키도록 상기 제 2 광학 소자를 구동시키는, 가상 영상 표시 장치.
필터를 이용하여 영상 생성기로부터 출력된 가상 영상을 구성하는 빛에서 제 1 편광 상태의 빛을 투과시키는 단계;
광학 소자를 이용하여 상기 투과된 제 1 편광 상태의 빛을 가이드(guide)하는 단계;
상기 가상 영상을 사용자의 시선의 수렴 거리에 위치시키기 위한 초점 거리를 결정하는 단계;
상기 결정된 초점 거리에 기초하여, 상기 광학 소자의 제 2 측면 방향에 배치되어 제 1 편광 상태의 빛과 제 2 편광 상태의 빛을 포함하는 실세계 빛이 입사되는 제 2 광학 소자와 상기 광학 소자의 제 1 측면 방향에 배치되어 상기 가이드된 제 1 편광 상태의 빛과 상기 제 2 광학 소자를 통과한 실세계 빛이 입사되는 제 1 광학 소자 각각을 구동하기 위한 전기적 신호를 결정하는 단계; 및
상기 결정된 전기적 신호를 상기 제1 광학 소자 및 상기 제2 광학 소자에 인가하는 단계;
를 포함하고,
상기 인가하는 단계는,
제 1 편광 상태의 빛은 수렴시키도록 상기 제 1 광학 소자에 제 1 전기적 신호를 인가하고, 제 2 편광 상태의 빛은 발산시키도록 상기 제 2 광학 소자에 제 2 전기적 신호를 인가하는, 가상 영상 표시 방법.
제 12 항에 있어서,
사용자의 적어도 하나의 안구 움직임 데이터를 획득하는 단계;
상기 획득된 적어도 하나의 안구 움직임 데이터를 기초로, 상기 사용자의 시선을 결정하는 단계; 및
상기 사용자의 시선에 기초하여 상기 가상 영상을 생성하는 단계를 더 포함하는, 가상 영상 표시 방법.
제 12 항에 있어서,
상기 가상 영상 표시 장치의 위치를 기준으로 실세계 오브젝트의 깊이 정보를 결정하는 단계; 및
상기 결정된 깊이 정보에 기초하여 상기 가상 영상을 생성하는 단계를 더 포함하는, 가상 영상 표시 방법.
제 12 항에 있어서,
사용자의 시선이 수렴하는 방향 및 거리에 따라 상기 가상 영상의 크기, 상기 가상 영상이 표시되는 3차원 각도, 그림자, 질감, 양안 시차 및 상기 가상 영상의 선명도 중 적어도 하나를 결정하여 상기 가상 영상을 생성하는 단계를 더 포함하는, 가상 영상 표시 방법.
제 12 항에 있어서,
상기 제 2 광학 소자의 일측 방향에 배치되어, 인가되는 전기적 신호에 따라 색상이 변하는 광 차단 소자에 상기 제 2 광학 소자에 입사되는 실세계 빛의 일부를 차단하기 위한 전기적 신호를 인가하는 단계를 더 포함하는, 가상 영상 표시 방법.
◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈

제 12 항에 있어서, 상기 제 1 광학 소자는,
상기 제 2 광학 소자에 입사된 실세계 빛이 발산하는 경우, 상기 제 2 광학 소자에 입사된 실세계 빛이 상기 발산한 범위만큼 수렴하도록 제어하는 광 출력을 갖고,
상기 제 2 광학 소자에 입사된 실세계 빛이 수렴하는 경우, 상기 제 2 광학 소자에 입사된 실세계 빛이 상기 수렴한 범위만큼 발산하도록 제어하는 광 출력을 갖는, 가상 영상 표시 방법.
◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈

제 17 항에 있어서,
상기 제 1 광학 소자 및 상기 제 2 광학 소자의 광 출력은 상기 인가되는 전기적 신호에 따라 결정되는, 가상 영상 표시 방법.
제 12 항에 있어서,
사용자의 시선에 따라 상기 가상 영상이 출력되는 초점 거리를 결정하는 단계; 및
상기 결정된 초점 거리에 기초하여, 상기 필터에서 투과되는 빛의 편광 방향을 결정하는 단계를 더 포함하는, 가상 영상 표시 방법.
제 19 항에 있어서,
상기 필터에서 투과되는 빛의 편광 방향은 상기 필터에 인가되는 전기적 신호에 따라 제어되는, 가상 영상 표시 방법.
◈청구항 21은(는) 설정등록료 납부시 포기되었습니다.◈

제 12 항에 있어서,
상기 제 1 광학 소자 및 상기 제 2 광학 소자에 특정 방향으로 편광된 빛이 입사되는 경우, 상기 입사된 빛의 편광 방향이 변경되며,
상기 편광된 특정 방향에 따라 상기 입사된 빛의 발산 또는 수렴 여부가 결정되는, 가상 영상 표시 방법.
사용자의 시선에 기초하여, 가상 영상을 생성하는 단계;
상기 사용자의 시선의 방향 및 수렴 거리를 기초로 상기 가상 영상이 출력되는 초점 거리를 결정하는 단계;
상기 결정된 초점 거리에 따라, 제 2 광학 소자가 실세계 빛을 발산시키고, 제 1 광학 소자가 상기 제 1 광학 소자와 상기 제 2 광학 소자 사이에 배치된 광학 소자를 통해 가이드 되어 상기 제 1 광학 소자에 입사된 상기 가상 영상의 빛 및 상기 제 2 광학 소자에 의해 발산된 실세계 빛을 수렴시키도록, 상기 제 1 광학 소자 및 상기 제 2 광학 소자 각각에 인가되는 전기적 신호를 결정하는 단계; 및
상기 결정된 전기적 신호를 상기 제1 광학 소자 및 상기 제2 광학 소자에 인가하는 단계;
를 포함하는, 가상 영상 표시 방법.
제 12 항 내지 제 22 항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.