KR20140139673A

KR20140139673A - Augmented reality method using 3d eyes recognition system

Info

Publication number: KR20140139673A
Application number: KR1020130059762A
Authority: KR
Inventors: 신진수; 성주식
Original assignee: (주)지에스엠솔루션
Priority date: 2013-05-27
Filing date: 2013-05-27
Publication date: 2014-12-08

Abstract

본 발명은 3차원 시선 인식 시스템을 이용한 증강현실 방법에 관한 것이다.
본 발명에 의하면, 사용자가 바라보는 객체의 좌표 추적을 위해 2개의 내부 카메라로 좌안, 우안의 시선을 각각 추적하고, 시선 추적을 통해 검출된 2개의 벡터로 사용자가 바라보는 객체의 좌표를 추적할 수 있으며, 별도의 카메라를 통해 3차원 시선 인식 장치에서 증강현실 결과물을 확인할 수 있는 효과가 있다.The present invention relates to an augmented reality method using a three-dimensional line-of-sight recognition system.
According to the present invention, in order to track the coordinates of an object viewed by a user, the two eyes of the left eye and the right eye are respectively tracked by two internal cameras, and the coordinates of the object viewed by the user are tracked by two vectors detected through eye tracking And it is possible to confirm the result of the augmented reality in the three-dimensional line-recognizing device through a separate camera.

Description

Technical Field [0001] The present invention relates to an augmented reality method using a three-

본 발명은 3차원 시선 인식 시스템을 이용한 증강현실 방법에 관한 것으로, 더욱 상세하게는 사용자가 착용할 수 있도록 안경 형태로 구비되면서, 안구 위치에 따른 시선 방향을 감지하여 객체의 방향 및 거리를 파악할 수 있는 3차원 시선 인식 시스템을 이용한 증강현실 방법에 관한 것이다.The present invention relates to an augmented reality method using a three-dimensional line-of-sight recognition system, and more particularly, to an augmented reality method using a three-dimensional line recognition system, And a method of augmented reality using a three-dimensional line-of-sight recognition system.

본 발명은 국토교통부 및 국토교통과학기술진흥원의 물관리연구사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 11기술혁신C05, 과제명: 수변지하수 활용 고도화 연구].The present invention was derived from a study carried out as part of the water management research project of the Ministry of Land, Transport and Maritime Affairs and the Korea Institute of Land Technology and Innovation (Project number: 11 Technology Innovation C05, Project: Improvement of Utilization of Watershed Groundwater).

안경형 디스플레이 장치 또는 헤드 마운트 디스플레이(Head Mounted Display) 장치는 가상현실(Virtual Reality; VR) 시스템 등에서 사용자의 머리에 착용하기 위한 시각출력장치의 일종으로서 개발되어 점차 다양한 분양에 사용된다.A head-mounted display device or a head-mounted display device has been developed as a type of visual output device for wearing on a user's head in a virtual reality (VR) system or the like, and is gradually used for various sales.

이러한 안경형 디스플레이 장치는 LCD나 CRT와 같은 디스플레이장치가 표시해주는 영상을 정밀한 광학 메커니즘을 이용하여 사용자에게 보여주는 장치로서, 눈과 매우 가까운 위치에 영상 스크린이 위치하기 때문에 매우 짧은 거리에 촛점을 맞추어야 함과 아울러 눈에 피로감을 주지 않도록 하기 위하여 매우 정밀한 광학장치들이 요구된다.Such a spectacles-type display device is a device for displaying an image displayed by a display device such as an LCD or a CRT to a user by using a precise optical mechanism. Since the image screen is located in a position very close to the eye, In addition, very precise optical devices are required to prevent eye fatigue.

본 발명의 목적은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 사용자가 바라보는 객체의 좌표 추적을 위해 2개의 내부 카메라로 좌안, 우안의 시선을 각각 추적하고, 시선 추적을 통해 검출된 2개의 벡터로 사용자가 바라보는 객체의 좌표를 추적할 수 있게 한 3차원 시선 인식 시스템을 이용한 증강현실 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The object of the present invention is to solve the problems of the prior art as described above, and it is an object of the present invention to provide a method of tracking a coordinate of an object viewed by a user, And to provide an augmented reality method using a three-dimensional line-of-sight recognition system that enables the user to track the coordinates of an object viewed by two vectors.

또한, 본 발명의 다른 목적은, 별도의 카메라를 통해 3차원 시선 인식 장치에서 증강현실 결과물을 확인할 수 있게 한 3차원 시선 인식 시스템을 이용한 증강현실 방법을 제공하는 것이다.Another object of the present invention is to provide an augmented reality method using a three-dimensional line-of-sight recognition system capable of confirming an augmented reality result in a three-dimensional line-of-sight recognition apparatus through a separate camera.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은, 3차원 시선 인식 시스템을 이용한 증강현실 방법을 통해 달성된다.According to an aspect of the present invention for achieving the above object, the present invention is achieved through an augmented reality method using a three-dimensional line-of-sight recognition system.

본 발명에 의하면, 사용자가 바라보는 객체의 좌표 추적을 위해 2개의 내부 카메라로 좌안, 우안의 시선을 각각 추적하고, 시선 추적을 통해 검출된 2개의 벡터로 사용자가 바라보는 객체의 좌표를 추적할 수 있는 효과가 있다.According to the present invention, in order to track the coordinates of an object viewed by a user, the two eyes of the left eye and the right eye are respectively tracked by two internal cameras, and the coordinates of the object viewed by the user are tracked by two vectors detected through eye tracking There is an effect that can be.

또한, 본 발명은, 별도의 카메라를 통해 3차원 시선 인식 장치에서 증강현실 결과물을 확인할 수 있는 효과가 있다.In addition, the present invention has the effect of confirming the result of an augmented reality in a three-dimensional line-of-sight recognition apparatus through a separate camera.

도 1은 본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법을 구현하기 위한 3차원 시선 인식 시스템을 도시한 개략도이다.
도 2는 본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법을 구현하기 위한 3차원 시선 인식 시스템에서 안구 영역을 검출하는 상태를 도시한 개략도이다.
도 3은 본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법을 구현하기 위한 3차원 시선 인식 시스템에서 실내에 설치된 카메라로부터 사용자의 위치와 자세를 추출하는 상태를 도시한 개략도이다.
도 4는 본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법을 구현하기 위한 3차원 시선 인식 시스템에서 사용자의 시선을 인식하여 추적하는 상태를 도시한 개략도이다.
도 5는 본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법을 구현하기 위한 3차원 시선 인식 시스템에 의해 사용자의 양안과 객체와의 거리를 계산하기 위한 참고도이다.
도 6은 본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법을 구현하기 위한 3차원 시선 인식 시스템에서 증강현실 결과물을 확인하는 상태를 도시한 사진이다.1 is a schematic view showing a three-dimensional line recognition system for implementing an augmented reality method using the three-dimensional line-of-sight recognition system of the present invention.
FIG. 2 is a schematic diagram showing a state in which an eye region is detected in a three-dimensional line-of-sight recognition system for implementing an augmented reality method using the three-dimensional line-of-sight recognition system of the present invention.
FIG. 3 is a schematic diagram showing a state in which a user's position and posture are extracted from a camera installed in a room in a three-dimensional line recognition system for implementing an augmented reality method using the three-dimensional line-of-sight recognition system of the present invention.
FIG. 4 is a schematic diagram showing a state in which a user's eyes are recognized and tracked in a three-dimensional line-of-sight recognition system for implementing an augmented reality method using the three-dimensional line-of-sight recognition system of the present invention.
FIG. 5 is a reference diagram for calculating the distance between a user's binocular and an object by a three-dimensional line-of-sight recognition system for implementing an augmented reality method using the three-dimensional visual perception system of the present invention.
FIG. 6 is a photograph showing a state in which augmented reality result is confirmed in a three-dimensional line recognition system for implementing an augmented reality method using the three-dimensional line-of-sight recognition system of the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present specification and claims are intended to mean that the inventive concept of the present invention is in accordance with the technical idea of the present invention based on the principle that the inventor can appropriately define the concept of the term in order to explain its invention in the best way Should be interpreted as a concept.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

이하 도면을 참고하여 본 발명에 의한 3차원 시선 인식 시스템을 이용한 증강현실 방법에 대한 실시 예의 구성을 상세하게 설명하기로 한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a configuration of an embodiment of an augmented reality method using a three-dimensional line-of-sight recognition system according to the present invention will be described in detail with reference to the drawings.

도 1에는 본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법을 구현하기 위한 3차원 시선 인식 시스템이 개략도로 도시되어 있고, 도 2에는 본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법을 구현하기 위한 3차원 시선 인식 시스템에서 안구 영역을 검출하는 상태가 개략도로 도시되어 있고, 도 3에는 본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법을 구현하기 위한 3차원 시선 인식 시스템에서 실내에 설치된 카메라로부터 사용자의 위치와 자세를 추출하는 상태가 개략도로 도시되어 있고, 도 4에는 본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법을 구현하기 위한 3차원 시선 인식 시스템에서 사용자의 시선을 인식하여 추적하는 상태가 개략도로 도시되어 있고, 도 5에는 본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법을 구현하기 위한 3차원 시선 인식 시스템에 의해 사용자의 양안과 객체와의 거리를 계산하기 위한 참고도가 도시되어 있으며, 도 6에는 본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법을 구현하기 위한 3차원 시선 인식 시스템에서 증강현실 결과물을 확인하는 상태가 사진으로 도시되어 있다.FIG. 1 is a schematic diagram of a three-dimensional line recognition system for implementing an augmented reality method using the three-dimensional line-of-sight recognition system of the present invention. FIG. FIG. 3 is a schematic diagram of a three-dimensional line-of-sight recognition system for implementing an augmented reality method using the three-dimensional line-of-sight recognition system of the present invention. FIG. 4 is a diagram illustrating a state in which a user's position and posture are extracted from a camera. FIG. 4 illustrates a perspective view of a user in a three-dimensional line recognition system for implementing an augmented reality method using the three- FIG. 5 is a block diagram showing a three-dimensional visual recognition system according to the present invention. A reference diagram for calculating the distance between a user's binoculars and an object is shown by a three-dimensional line-of-sight recognition system for implementing an augmented reality method, A state in which a result of an augmented reality is confirmed in a three-dimensional line-of-sight recognition system for realizing an augmented reality is shown in a photograph.

이들 도면에 의하면, 본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법을 구현하기 위한 3차원 시선 인식 시스템은 디스플레이, 양안 감지 카메라, 외부 카메라 및 제어부를 포함하며, 안경 형태로 구비되어 사용자가 착용할 수 있다.According to these drawings, a 3D visual recognition system for realizing an augmented reality method using a 3D visual recognition system of the present invention includes a display, a binocular detection camera, an external camera, and a control unit, can do.

디스플레이는 투명 디스플레이로 사용자가 착용할 수 있도록 3차원 시선 인식 시스템에 구비된다.The display is equipped with a three-dimensional line-of-sight recognition system for a user to wear with a transparent display.

양안 감지 카메라는 디스플레이의 내벽면에 설치되어 양안의 안구 영역을 각각 촬영하고 검출하여 양안의 시선 방향(바라보고 있는 지점)을 추척하는 기능을 한다.The binocular detection camera is installed on the inner wall of the display, capturing and detecting the eyeball areas of both eyes, and tracking the eye direction of the binocular eye (a point looking at).

즉, 상기 양안 감지 카메라는 좌안과 우안의 시선 영역을 검출하여 상기 좌안과 상기 우안의 시선 벡터를 검출한 후 제어부에 의해 3차원 상대좌표를 통해 시선 거리를 계산하게 된다.That is, the binocular detection camera detects a line-of-sight region of the left eye and the right eye, detects a line-of-sight vector of the left eye and the right eye, and calculates a line-of-sight distance through the three- dimensional relative coordinate by the control unit.

양안 감지 카메라 중 우안을 감지하는 카메라로 사용자의 안구 추적을 위해, 1의 시선 벡터를 검출(yaw1, roll1)하고, 좌안을 감지하는 카메라로 사용자의 안구 추적을 위해 2의 시선 벡터를 검출(yaw2, roll2)하며, 2개의 벡터로 사용자가 바라보는 객체의 3차원 좌표를 결정(xt, yt, zt)하게 된다.A camera that detects the right eye of the binocular detection camera is used to detect the eye vector of 1 (yaw1, roll1) and to detect the eye vector of the user for the eye tracking of the user (yaw2 , roll2), and determines the three-dimensional coordinates (xt, yt, zt) of the object the user views with two vectors.

한편, 상기 양안 감지 카메라의 취득 영상에 의해 시선 추적을 실시 가능하고, 시선 추적을 통해 검출된 2개의 벡터로 사용자가 바라보는 객체의 좌표를 추적할 수 있다.On the other hand, eye tracking can be performed by the captured image of the binocular detection camera, and the coordinates of the object viewed by the user can be tracked with two vectors detected through eye tracking.

이때, 좌안을 A, 우안을 B, 바라보는 객체를 C라 한다.In this case, A is the left eye, B is the right eye, and C is the object that looks at it.

도 5에 도시된 바와 같이 θ 값은 좌안(A)의 안구추적을 통해 알 수 있고, γ 값은 우안(B)의 안구추적을 통해 알 수 있다.As shown in FIG. 5, the θ value can be known through eye tracking of the left eye (A), and the γ value can be obtained through eye tracking of the right eye (B).

객체(C)가 변 AB와 수직으로 만나는 점을 D 라 하였을 때 A와 D의 거리를 a라 하고, D와 B의 거리를 b라 하며, C와 D의 거리를 c 라 한다.The distance between A and D is a, the distance between D and B is b, and the distance between C and D is c.

A와 B의 거리는 a+b로 나타낼 수 있으며, 이 거리는 양안의 안구추적 및 카메라의 거리를 통해 알 수 있다.The distance between A and B can be expressed as a + b, which can be seen through the binocular eye tracking and camera distance.

위와 같은 조건을 통해 사용자와 객체와의 거리 c 는 아래의 수학식 1 내지 4와 같이 구할 수 있다.The distance c between the user and the object can be obtained by the following equations (1) to (4) through the above condition.

사용자의 좌안(B)을 기준으로 할 때, C의 좌표는 ( a , c ) 로 표현할 수 있다.With reference to the user's left eye (B), the coordinates of C can be expressed as (a, c).

사용자가 바라보는 객체의 절대좌표 결정(xm+xt, ym+yt, zm+zt)하고, 결정된 절대좌표에 실존하는 객체(사물)에 대한 정보를 안경형 투명 디스플레이에 투영하게 된다. 이때 투영되는 정보는 본 발명에 이용되는 기술 혹은 설계도면 등에 의해 위치와 속성 정보가 저장되어 있는 데이터베이스에서 가져온다.(Xm + xt, ym + yt, zm + zt) of the object viewed by the user and information on the object (object) existing in the determined absolute coordinate is projected on the transparent display of the glasses type. At this time, the information to be projected is obtained from the database in which the position and the attribute information are stored according to the technology or design drawing used in the present invention.

외부 카메라는 디스플레이의 외벽면 또는 실내공간 내에 2대 또는 그 이상이 설치되어 실내에 설치되는 경우 사용자의 시선 방향을 확인하게 된다.When two or more cameras are installed on the outer wall surface of the display or the indoor space of the display, the external camera is checked for the direction of the user's eyes when installed in the room.

즉, 상기 외부 카메라에서 검출된 사용자의 위치로부터 사용자의 절대좌표(xm, ym, zm) 결정하게 된다. 이때 실외의 경우에는 3차원 시선 인식 시스템의 디스플레이에 설치된 GPS(Global Positioning System, 위성 위치 확인 시스템)를 사용할 수도 있으며, 상기 외부 카메라로부터 3차원 시선 인식 시스템의 위치와 사용자의 자세를 추출할 수도 있다.That is, the absolute coordinates (xm, ym, zm) of the user are determined from the position of the user detected by the external camera. In this case, a GPS (Global Positioning System) installed on the display of the 3D visual recognition system may be used in the case of outdoor, and the position of the 3D visual recognition system and the posture of the user may be extracted from the external camera .

그리고 상기 외부 카메라는 CCTV 등이 적용되며, 객체의 위치를 파악하고 파악 위치를 데이터베이스를 통해 검색한 후 데이터베이스에 있는 객체 정보를 디스플레이에 출력할 수 있게 된다. The external camera can be CCTV or the like, and it can identify the location of the object, search the location of the object through the database, and output the object information in the database to the display.

더욱이, 상기 3차원 시선 인식 시스템에는 자세측정 센서인 지자기, 자이로, 가속도 센서 등이 내장되어 사용자 주시 자세를 결정(Yaw, Roll, Pitch)한다. 즉, 상기 자세측정 센서는 사용자가 주시하는 방향을 외부 카메라와 함께 인식할 수 있게 해준다.Furthermore, the 3D gaze recognition system includes a geomagnetism sensor, a gyro sensor, an acceleration sensor, and the like to determine a user's attitude of attitude (Yaw, Roll, Pitch). That is, the attitude measuring sensor allows the user to recognize the direction that the user is watching with the external camera.

이때, 상기 자세측정 센서는 실내에서는 GPS가 작동하지 않으므로 사용자가 어딜 바라보는지 외부 카메라와 자세측정 센서를 통해 알 수 있다.At this time, since the GPS does not operate in the room, the attitude measuring sensor can know the user's view through the external camera and the attitude measuring sensor.

외부 카메라가 디스플레이의 외벽면에 구비되는 경우 객체에 대한 위치에 기반하여 객체 위치 및 증강현실 정보를 상기 디스플레이로 출력하도록 상기 객체를 촬영할 수 있다.
When an external camera is provided on the outer wall surface of the display, the object may be photographed to output object position and augmented reality information to the display based on the position of the object.

본 발명의 3차원 시선 인식 시스템을 이용한 증강현실 방법은 양안의 안구 위치 검색 단계, 양안 시선 벡터 검출 단계, 시선 거리 계산 단계, 대상 객체의 절대 좌표 계산 단계 및 실제 영상 혼합 단계를 포함한다.The augmented reality method using the three-dimensional line-of-sight recognition system of the present invention includes a binocular eye position search step, a binocular eye vector detection step, a gaze distance calculation step, an absolute coordinate calculation step of a target object, and an actual image blending step.

양안의 안구 위치 검색 단계는 사용자가 착용할 때 사용자의 양안과 대향되도록 디스플레이 이면에 위치된 2개의 양안 감지 카메라를 통해 좌안과 우안에 대한 안구 위치를 파악하는 단계이다.The eye position searching step of the binocular is a step of grasping the eye position with respect to the left eye and the right eye through two binocular detection cameras positioned on the back of the display so as to face the user's eyes when the user wears the eye.

양안 시선 벡터 검출 단계는 상기 양안 감지 카메라를 통해 감지된 양안의 안구 위치에 따라 좌안과 우안의 시선 벡터를 검출하는 단계로, 양안의 방향을 감지한 후 양안에서 대상 객체까지의 거리를 삼각측량법을 이용하여 계산할 수 있다.The binocular visual vector detecting step is a step of detecting the eye vectors of the left eye and the right eye according to the eye position of the binocular sensed by the binocular eye detecting camera. The distance between the binocular eye and the target object is detected by triangulation .

시선 거리 계산 단계는 상기 좌안과 상기 우안의 시선 벡터를 검출한 후 제어부에 의한 3차원 상대좌표를 통해 시선 거리를 계산하는 단계이다.The gaze distance calculation step is a step of calculating gaze distance through three-dimensional relative coordinates by the controller after detecting the gaze vector of the left eye and the right eye.

대상 객체의 절대 좌표 계산 단계는 대상 객체와의 시선 거리를 제어부에서 계산한 후 절대 좌표를 계산하는 단계이다.The step of calculating the absolute coordinates of the target object is a step of calculating an absolute coordinate after calculating the line-of-sight distance from the target object by the control unit.

실제 영상 혼합 단계는 기저장된 절대좌표와 객체정보를 통해 증강현실 정보를 디스플레이에 출력하는 단계이다.The actual image mixing step is a step of outputting the augmented reality information to the display through the pre-stored absolute coordinates and the object information.

한편, 공장이나 복잡한 공간 내에서 유지 보수 등을 위해 내부에서 작업하는 경우 GPS가 작동하지 않으므로 이 경우 외부 카메라로부터 3차원 시선 인식 시스템을 착용한 사용자의 위치와 자세측정 센서를 통해 사용자의 자세를 추출할 수 있다. On the other hand, since the GPS does not operate when working inside the factory or in a complex space for maintenance, in this case, the position of the user wearing the 3D visual recognition system from the external camera and the posture of the user are extracted can do.

예컨대, 공장 내부에 사용자가 들어가면 유지보수가 필요한 공장시설물(밸브 등)의 위치에 증강현실 객체를 디스플레이에 출력되게 하여 공장시설물(밸브 등)의 정보(위치 등)를 용이하게 파악할 수 있게 해준다. 또한, 도 6과 같이 사무실 내에의 매체(프린터) 등에 사용기간 및 잉크 잔량 등의 정보 역시 확인이 가능하다.For example, when a user enters a factory, an augmented reality object is displayed on a display at a location of a factory facility (valve or the like) requiring maintenance, so that information (position, etc.) of factory facilities (valves, etc.) can be easily grasped. Further, as shown in Fig. 6, the information such as the period of use and the remaining amount of ink can be also confirmed in a medium (printer) in the office.

결국, 본 발명은 안구의 위치를 검색하고 안구의 위치와 시선 방향을 이용하여 거리를 파악하는 기존 방식과 달리 양안의 위치를 이용하여, 바라보는 객체의 위치를 파악하고, 파악된 위치를 데이터베이스에서 검색해서 상기 데이터베이스에서 객체에 관한 정보를 표시하는 것이다.As a result, unlike the existing method of searching for the position of the eyeball and using the eyeball's position and eye-line direction, the present invention uses the positions of both eyes to grasp the position of the viewed object, And displays information about the object in the database.

다시 말해, 외부 카메라와 자세측정 센서를 통해 사용자의 위치 및 시선 방향을 파악하고, 사용자의 위치, 방향 및 바라보는 방향에 대한 정보를 취득한 후, 취득한 위치를 통해 알아낼 지점의 데이터베이스화된 정보를 디스플레이에 출력한다.
In other words, the position and direction of the user are grasped through the external camera and the attitude measuring sensor, information on the user's position, direction, and viewing direction is acquired, and the database- .

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited by the described embodiments, but should be determined by the equivalents of the appended claims, as well as the appended claims.

Claims

Augmented reality method using 3 - D line of sight recognition system.