KR101896239B1 - System for controlling drone using motion capture - Google Patents
System for controlling drone using motion capture Download PDFInfo
- Publication number
- KR101896239B1 KR101896239B1 KR1020170121178A KR20170121178A KR101896239B1 KR 101896239 B1 KR101896239 B1 KR 101896239B1 KR 1020170121178 A KR1020170121178 A KR 1020170121178A KR 20170121178 A KR20170121178 A KR 20170121178A KR 101896239 B1 KR101896239 B1 KR 101896239B1
- Authority
- KR
- South Korea
- Prior art keywords
- drones
- image
- user
- motion
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- B64C2201/127—
-
- B64C2201/146—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 모션인식을 이용한 드론 제어 시스템에 관한 것으로서, 보다 상세하게 설명하면, 드론의 카메라를 통해 촬영된 영상을 실시간으로 사용자가 확인하면서, 사용자의 모션을 통해 드론을 조작할 수 있는 모션인식을 이용한 드론 제어 시스템에 관한 것으로, 제1 카메라를 포함하는 드론; 사용자가 착용 가능하고, 상기 카메라의 영상이 디스플레이되는 영상 시현 헤드셋; 및 사용자의 모션을 인식하고, 상기 드론의 작동을 제어하는 모션인식장치;를 포함하여 구성된다. The present invention relates to a drones control system using motion recognition. More specifically, the present invention relates to a drones control system for detecting a motion of a dron through a motion of a user, A drones control system comprising: a dron including a first camera; An image visualization headset to which a user can wear and on which an image of the camera is displayed; And a motion recognition device for recognizing the motion of the user and controlling the operation of the drones.
Description
본 발명은 모션인식을 이용한 드론 제어 시스템에 관한 것으로서, 보다 상세하게 설명하면, 드론의 카메라를 통해 촬영된 영상을 실시간으로 사용자가 확인하면서, 사용자의 모션을 통해 드론을 조작할 수 있는 모션인식을 이용한 드론 제어 시스템에 관한 것이다. The present invention relates to a drones control system using motion recognition. More specifically, the present invention relates to a drones control system for detecting a motion of a dron through a motion of a user, And a drones control system using the same.
무인항공기는 높은 고도에서 지상, 공중의 정보를 사용자의 위험 부담이 없이 타인에게 노출될 위험 없이 용이하게 수집할 수 잇다는 점에서 군사, 산업 등 다양한 면에서 각광받고 있다. Unmanned aerial vehicles are attracting attention in various fields such as military and industry because they can easily collect ground and air information at high altitude without risk of user exposure and risk of exposure to others.
오늘날의 무인항공기는 자신의 위치, 속도, 자세를 측정하고 주어진 임무에 맞는 최적의 경로를 스스로 생성하고, 비행하며 자체적으로 고장을 진단하고 대응하는 매우 높은 수준의 자유성을 가지고 있다. 최근에는 위성항법장치와 센서, 카메라 등을 장착한 민간용 드론이 개발돼 물자수송, 교통관제, 보안 등의 분야로 이용 범위가 확대되고 있다. Today's unmanned aerial vehicles have a very high degree of freedom to measure their position, speed and attitude, create their own optimal path for a given mission, fly, and diagnose and respond to their own failures. In recent years, private drones equipped with satellite navigation devices, sensors, and cameras have been developed and are being used in the fields of material transportation, traffic control, and security.
대한민국 공개특허 제10-2016-0116531호(2016.10.10.공개)에서는 드론을 조작하기 위한 제어 시스템 및 방법에 대해 기술하고 있다. 이러한, 드론은 사용자가 드론의 조작기를 이용하여, 드론을 직접 관찰하면서 조종하였다. Korean Patent Publication No. 10-2016-0116531 (Oct. 10, 2016) discloses a control system and a method for operating a drones. These drones were manipulated by the user using the drones' manipulators to directly observe the drones.
그러나, 드론을 조작하는데, 어려움이 있는 단점을 가지고 있다. 또한, 실제 드론이 비행하는 모습과 드론의 카메라에서 촬영하는 영상을 번갈아가면서 확인하면서 조작해야하는 번거로움이 있다. However, it has a drawback that it is difficult to operate the drones. In addition, there is a problem that it is necessary to operate the drones while checking alternately the images of the actual drones flying and the images taken by the drones.
[선행기술문헌][Prior Art Literature]
[특허문헌][Patent Literature]
대한민국 공개특허 제10-2016-0116531호(2016.10.10.공개)Korean Patent Publication No. 10-2016-0116531 (published October 10, 2016)
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 사용자의 모션을 통해 드론을 조작하고, 실시간으로 드론의 카메라에서 촬영한 영상을 확인할 수 있는 모션인식을 이용한 드론 제어 시스템을 제공함에 있다. It is an object of the present invention to provide a drones control system using motion recognition capable of operating a dron through a motion of a user and confirming an image photographed by a dron camera in real time, .
본 발명은 모션인식을 이용한 드론 제어 시스템에 관한 것으로, 제1 카메라를 포함하는 드론; 사용자가 착용 가능하고, 상기 카메라의 영상이 디스플레이되는 영상 시현 헤드셋; 및 사용자의 모션을 인식하고, 상기 드론의 작동을 제어하는 모션인식장치;를 포함하는 것을 특징으로 한다. The present invention relates to a drones control system using motion recognition, comprising: a dron including a first camera; An image visualization headset to which a user can wear and on which an image of the camera is displayed; And a motion recognition device for recognizing the motion of the user and controlling the operation of the drones.
또한, 상기 모션인식장치는 사용자의 모션을 인식하는 모션 인식 모듈; 상기 모션과 대응되는 제어 신호를 생성하는 제어부; 및 상기 제어 신호를 상기 드론으로 송신하는 통신부;를 포함하는 것을 특징으로 한다. The motion recognition apparatus may further include: a motion recognition module that recognizes motion of a user; A control unit for generating a control signal corresponding to the motion; And a communication unit for transmitting the control signal to the drones.
또한, 상기 드론은 상기 통신부로부터 송신된 제어 신호를 수신하는 수신부; 및 상기 카메라의 영상을 상기 영상 시현 헤드셋으로 송신하는 영상송신부;를 포함하는 것을 특징으로 한다. Further, the drones may include: a receiving unit receiving the control signal transmitted from the communication unit; And an image transmitter for transmitting the image of the camera to the image demonstration headset.
또한, 상기 영상 시현 헤드셋은 상기 드론을 촬영할 수 있는 제2 카메라를 포함하는 것을 특징으로 한다. In addition, the image presenting headset may include a second camera capable of photographing the drones.
또한, 상기 영상 시현 헤드셋은 상기 제1 및 제2 카메라로 촬영된 영상이 동시에 디스플레이되는 것을 특징으로 한다. In addition, the image presenting headset is characterized in that images photographed by the first and second cameras are simultaneously displayed.
또한, 상기 영상 시현 헤드셋은 상기 가상의 영상도 디스플레이되는 것을 특징으로 한다. In addition, the image presenting headset may display the virtual image.
이상에서 설명한 바와 같이 본 발명의 실시예에 따르면, 사용자의 모션을 통해 드론을 손쉽게 조작할 수 있는 효과가 있다. As described above, according to the embodiment of the present invention, it is possible to easily operate the drone through the motion of the user.
또한, 본 발명은 드론의 카메라 영상을 실시간으로 확인할 수 있어, 실제 비행하는 것과 같은 느낌을 받을 수 있는 효과가 있다. In addition, the present invention is capable of realizing the camera image of the drones in real time, so that the user can feel the same feeling as the actual flying.
도 1은 본 발명의 바람직한 일 실시예에 따른 모션인식을 이용한 드론 제어 시스템의 구성도
도 2 및 도 3은 본 발명의 바람직한 일 실시예에 따른 모션인식을 나타낸 도면1 is a configuration diagram of a drones control system using motion recognition according to a preferred embodiment of the present invention
2 and 3 are diagrams showing motion recognition according to a preferred embodiment of the present invention
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Like reference numerals are used for like elements in describing each drawing. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, .
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하, 도면을 참조하여 본 발명의 바람직한 일 실시예에 따른 모션인식을 이용한 드론 제어 시스템에 대해 설명한다. Hereinafter, a drone control system using motion recognition according to a preferred embodiment of the present invention will be described with reference to the drawings.
도1을 참조하여 설명하면, 본 발명은 제1 카메라를 포함하는 드론(100)과, 상기 사용자가 착용 가능하고, 상기 카메라의 영상이 디스플레이되는 영상 시현 헤드셋(200) 및 사용자의 모션을 인식하고, 상기 드론의 작동을 제어하는 모션인식장치(300)를 포함하여 구성된다. 1, the present invention includes a
드론(100)은 영상을 촬영하는 제1 카메라와, 제어신호를 수신하는 수신부와, 촬영된 영상을 영상 시현 헤드셋 및 모션인식 장치로 송신하는 영상 송신부를 포함하여 구성되기도 한다. The
본 발명은 드론 뿐 만 아니라, RC카 및 보트 등 모션 인식을 통해 제어 가능한 것이면 적용가능하다. The present invention is applicable not only to drone, but also to RC vehicles and boats that can be controlled through motion recognition.
영상 시현 헤드셋(200)은 사용자가 착용 가능하며, 상기 드론(100)의 카메라에서 촬영된 영상이 디스플레이된다. 더욱 상세하게 설명하면, 상기 영상 시현 헤드셋(200)은 가상현실 및 증강현실에서 사용하는 것과 같이 사용자가 안경처럼 착용하여, 직접 비행하는 드론의 영상을 생동감 있게 볼 수 있다. The
또한, 상기 영상 시현 헤드셋(200)은 제2 카메라를 더 포함하여 구성되기도 한다. 상기 제2 카메라는 사용자가 드론을 바라보는 시각으로 영상을 촬영한다. 이때, 상기 영상 시현 세드셋(200)은 상기 제1 및 제2 카메라로 촬영된 영상이 동시에 디스플레이되기도 한다. 사용자는 제1 및 제2 카메라로 촬영된 영상을 동시에 확인할 수 있어, 드론의 위치 및 주변 환경 등을 확인하면서 드론을 제어할 수 있다. In addition, the
또한, 상기 영상 시현 헤드셋(200)은 가상의 영상이 디스플레이되기도 한다. 더욱 상세하게 설명하면, 상기 영상 시현 헤드셋(200)은 제1 카메라로 촬영된 영상과 가상의 영상이 혼합되어 디스플레이될 수 있다. 이를 통해, 사용자는 드론을 통해 비행하면서 가상의 영상을 통해 더욱 생동감 있고 재미있게 드론을 제어할 수 있다. In addition, the
모션인식장치(300)는 사용자의 모션을 인식하고, 그에 대응되도록 드론을 제어한다. 더욱 상세하게 설명하면, 상기 모션인식장치(300)는 사용자의 모션을 인식하는 모션 인식 모듈과, 상기 모션과 대응되는 제어 신호를 생성하는 제어부 및 상기 제어 신호를 상기 드론으로 송신하는 통신부를 포함하여 구성된다. The
도 2 및 도 3에서 보는 바와 같이, 상기 모션 인식 모듈은 사용자의 손, 팔, 몸동작 등을 인식한다. 더욱 상세하게 설명하면, 상기 모션 인식 모듈은 TX를 중심으로 RX가 상(RXv+), 하(RXv-), 좌(RXh-), 우(RXh+)에 배치된다. 또한, 상기 모션 인식 모듈은 모션을 판단하는 u-procossor 및 전원을 공급하는 Power supply 로 구성된다. 이러한, 상기 모션 인식 모듈은 사용자의 손이 좌에서 우로 이동하면, RXh-에서 먼저 신호를 받은 후 RXh+에서 신호를 받아 인식한다. 이때, 상기 u-procossor는 사용자의 손이 왼쪽(RXh-)에서 오른쪽(RXh+)로 이동한 것으로 판단하고, 드론을 오른쪽으로 이동하도록 제어 신호를 생성한다. 이와 같이, 모션 인식을 통해 드론을 제어할 수 있다. As shown in FIGS. 2 and 3, the motion recognition module recognizes the user's hand, arm, body motion, and the like. More specifically, the motion recognition module is arranged at RX (RXv +), RXv-, RXh-, and RXh + with respect to TX. The motion recognition module includes a u-procossor for determining motion and a power supply for supplying power. When the user's hand moves from left to right, the motion recognition module receives a signal from RXh- and receives a signal from RXh +. At this time, the u-procossor determines that the user's hand has moved from the left (RXh-) to the right (RXh +), and generates a control signal to move the drones to the right. In this manner, the drone can be controlled through motion recognition.
각각의 모션에 대해 더욱 상세하게 설명하면, 드론을 오른쪽으로 이동시키기 위해서는 사용자가 손을 왼쪽에서 오른쪽으로 움직이면, 제어 신호를 받은 드론이 오른쪽으로 이동한다. 반대로, 드론을 왼쪽으로 이동시키기 위해서는 사용자가 손을 오른쪽에서 왼쪽으로 움직이면, 제어 신호를 받은 드론이 왼쪽으로 이동하게 된다. Each motion is described in more detail. In order to move the drones to the right, when the user moves his / her hand from left to right, the dron that receives the control signal moves to the right. Conversely, to move the drones to the left, when the user moves his or her hands from right to left, the drones that received the control signal move to the left.
또한, 사용자가 손을 아래에서 위쪽으로 움직이면, 드론이 수직 상승하게 된다. 반대로, 사용자가 손은 위에서 아래로 움직이면, 드론이 수직 하강하게 된다. In addition, when the user moves his / her hand from the bottom to the top, the drones rise vertically. Conversely, when the user moves his or her hand from top to bottom, the drones descend vertically.
또한, 사용자가 손을 시계 방향으로 움직이면, 드론이 우회전하게 된다. 반대로 사용자가 손을 반시계 방향으로 움직이면, 드론이 좌회전하게 된다.Also, when the user moves his or her hand clockwise, the drones are turned to the right. Conversely, when the user moves his / her hand counterclockwise, the drone is turned to the left.
이러한 모션들은 통해 드론을 제어할 수 있으며, 상기 상기와 같은 모션은 이에 한정하지 않고, 다양하게 적용 가능하다. These motions can control the drone, and the above-described motion is not limited to this, and can be variously applied.
다음으로, 본 발명에 따른 모션인식을 이용한 드론 제어 시스템을 통해 드론을 제어하는 방법에 대해 설명한다. Next, a method for controlling the drones through the drones control system using the motion recognition according to the present invention will be described.
먼저, 사용자가 영상 시현 헤드셋을 착용한다. 사용자는 드론을 동작시키기 위해 모션을 취한다. 예를 들면, 상기 사용자는 손을 아래에서 위로 움직이면, 바닥에 놓여진 드론이 수직 상승하여 비행한다. 이후, 상기 사용자는 손을 왼쪽에서 오른쪽, 오른쪽에서 왼쪽, 시계방향, 및 반시계방향으로 움직이면, 드론은 오른쪽, 왼쪽, 좌회전, 우회전 방향으로 비행한다. 또한, 상기 사용자가 손을 폈다가 주먹을 주면, 상기 드론은 전방으로 직진하여 비행한다. 이러한, 모션 동작은 이에 한정하지 않고 다양하게 적용할 수 있다. First, the user wears a video presenting headset. The user takes a motion to operate the drones. For example, when the user moves his hand from bottom to top, the drones placed on the floor fly vertically. Then, when the user moves his / her hand from left to right, from right to left, clockwise, and counterclockwise, the drones fly in the right, left, left turn, and right turn directions. Further, when the user opens his or her hand and gives a fist, the drone goes straight forward to fly. Such a motion operation is not limited to this, and can be variously applied.
또한, 드론에서는 제1 카메라를 이용하여, 드론의 위치에서 바라보는 영상을 촬영한다. 촬영된 영상은 상기 영상 시현 헤드셋이나 모션인식장치로 송신된다. 이때, 사용자는 상기 영상 시현 헤드셋을 통해 생동감 있게 드론 위치에서의 영상을 볼 수 있다. 상기 제1 카메라는 360° 방향으로 촬영하기 때문에, 상기 영상 시현 헤드셋을 착용한 사용자가 머리를 회전시키면, 회전한 방향으로 영상이 디스플레이된다. Further, in the drones, a first camera is used to photograph an image viewed from the position of the drones. The photographed image is transmitted to the image presenting headset or the motion recognition device. At this time, the user can vividly see the image at the drones position through the image presenting headset. Since the first camera photographs in the direction of 360 degrees, when the user wearing the image presenting headset rotates the head, the image is displayed in the rotated direction.
또한, 상기 사용자는 상기 영상 시현 헤드셋에 장착된 제2 카메라를 통해 드론의 위치 및 주변 환경을 확인하면서 드론을 제어할 수 있다. Also, the user can control the drones while confirming the position and the surrounding environment of the drones through the second camera mounted on the image presenting headset.
또한, 상기 영상 시현 헤드셋에는 가상의 영상도 동시에 디스플레이된다. Also, a virtual image is simultaneously displayed on the image presenting headset.
상기는 본 발명의 바람직한 실시예를 참고로 설명하였으며, 상기의 실시예에 한정되지 아니하고, 상기의 실시예를 통해 본 발명이 속하는 기술분야에서 통상의 지식을 가진자가 본 발명의 요지를 벗어나지 않는 범위에서 다양한 변경으로 실시할 수 있는 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It is possible to carry out various changes in the present invention.
100 : 드론
200 : 영상 시현 헤드셋
300 : 모션인식장치100: Drones
200: Imaging Headset
300: motion recognition device
Claims (6)
상기 드론의 위치 및 사용자 위치에서의 주변 환경을 촬영할 수 있는 제2 카메라가 설치되며, 상기 제1 카메라로 촬영한 드론 위치에서의 영상과 상기 제2 카메라로 촬영한 사용자 위치에서의 영상이 동시에 디스플레이되고, 사용자가 착용 가능한 영상 시현 헤드셋; 및
사용자의 모션을 인식하는 모션 인식 모듈과, 상기 모션과 대응되는 제어 신호를 생성하는 제어부 및 상기 제어 신호를 상기 드론으로 송신하는 통신부를 포함하여 상기 드론의 작동을 제어하는 모션인식장치; 를 포함하되,
상기 영상 시현 헤드셋은
상기 제1 및 제2 카메라로 촬영된 영상에 기 저장된 가상의 영상이 동시에 디스플레이되는 것을 특징으로 하는 모션인식을 이용한 드론 제어 시스템.A dron including a first camera, a receiver for receiving a control signal transmitted from the following communication unit, and a video transmitter for transmitting an image of the first camera to an image vision headset;
A second camera capable of photographing the surroundings of the drones and the user's location is installed and the images at the drone positions photographed by the first camera and the images at the user positions photographed by the second camera are simultaneously displayed A wearable video imaging headset; And
A motion recognition module for recognizing a motion of a user, a control unit for generating a control signal corresponding to the motion, and a communication unit for transmitting the control signal to the drones, thereby controlling the operation of the drones; , ≪ / RTI &
The image-
Wherein a virtual image previously stored in an image photographed by the first and second cameras is displayed at the same time.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170121178A KR101896239B1 (en) | 2017-09-20 | 2017-09-20 | System for controlling drone using motion capture |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170121178A KR101896239B1 (en) | 2017-09-20 | 2017-09-20 | System for controlling drone using motion capture |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101896239B1 true KR101896239B1 (en) | 2018-09-07 |
Family
ID=63595031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170121178A Expired - Fee Related KR101896239B1 (en) | 2017-09-20 | 2017-09-20 | System for controlling drone using motion capture |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101896239B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102099123B1 (en) * | 2020-02-03 | 2020-04-09 | 김성 | Control method of water sports device using artificial intelligence |
| CN112383345A (en) * | 2020-07-15 | 2021-02-19 | 刘杨 | Distributed remote control device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101617411B1 (en) * | 2015-08-17 | 2016-05-18 | 박시몽 | Method and system for controlling a drone |
| KR20170044451A (en) * | 2015-10-15 | 2017-04-25 | 연세대학교 산학협력단 | System and Method for Controlling Remote Camera using Head mount display |
| KR20170055577A (en) * | 2015-11-10 | 2017-05-22 | 현대오트론 주식회사 | Apparatus for displaying building information using head up display and method thereof |
| KR20170090603A (en) * | 2016-01-29 | 2017-08-08 | 아주대학교산학협력단 | Method and system for controlling drone using hand motion tracking |
-
2017
- 2017-09-20 KR KR1020170121178A patent/KR101896239B1/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101617411B1 (en) * | 2015-08-17 | 2016-05-18 | 박시몽 | Method and system for controlling a drone |
| KR20170044451A (en) * | 2015-10-15 | 2017-04-25 | 연세대학교 산학협력단 | System and Method for Controlling Remote Camera using Head mount display |
| KR20170055577A (en) * | 2015-11-10 | 2017-05-22 | 현대오트론 주식회사 | Apparatus for displaying building information using head up display and method thereof |
| KR20170090603A (en) * | 2016-01-29 | 2017-08-08 | 아주대학교산학협력단 | Method and system for controlling drone using hand motion tracking |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102099123B1 (en) * | 2020-02-03 | 2020-04-09 | 김성 | Control method of water sports device using artificial intelligence |
| CN112383345A (en) * | 2020-07-15 | 2021-02-19 | 刘杨 | Distributed remote control device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190243357A1 (en) | Wearable uav control device and uav system | |
| US10269132B2 (en) | Displaying images according to head posture and camera posture | |
| AU2007252840B2 (en) | Methods and system for communication and displaying points-of-interest | |
| CN108769531B (en) | Method for controlling shooting angle of shooting device, control device and remote controller | |
| CN110060614B (en) | Head-mounted display device, control method thereof, and display system | |
| US11025826B2 (en) | Display system, display device, and control method for display device | |
| US20160148431A1 (en) | Video system for piloting a drone in immersive mode | |
| JP2018165066A (en) | Head-mounted display device and control method thereof | |
| US10377487B2 (en) | Display device and display control method | |
| JP2003267295A (en) | Remote control system | |
| CN107640317A (en) | Unmanned vehicle system | |
| KR101896239B1 (en) | System for controlling drone using motion capture | |
| JP2017046233A (en) | Display device, information processing device, and control method thereof | |
| JP6831949B2 (en) | Display control system, display control device and display control method | |
| JP7024997B2 (en) | Aircraft Maneuvering System and How to Maneuver an Aircraft Using an Aircraft Maneuvering System | |
| TWI436270B (en) | Telescopic observation method for virtual and augmented reality and apparatus thereof | |
| CN114051099B (en) | Unmanned aerial vehicle module VR system and method for realizing VR through unmanned aerial vehicle module | |
| KR101973174B1 (en) | Apparatus for controlling drone based on gesture-recognition and method for using the same | |
| JP6821864B2 (en) | Display control system, display control device and display control method | |
| JP2006197068A (en) | Image display device and image display method | |
| WO2021237625A1 (en) | Image processing method, head-mounted display device, and storage medium | |
| KR20190053018A (en) | Method for controlling unmanned aerial vehicle comprising camera and electronic device | |
| KR20180072928A (en) | Goggle-type display apparatus with head-tracker function and method for controlling camera gimbal | |
| CN120641954A (en) | Auxiliary image processing method and device and readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| PA0302 | Request for accelerated examination |
St.27 status event code: A-1-2-D10-D17-exm-PA0302 St.27 status event code: A-1-2-D10-D16-exm-PA0302 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20220904 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20220904 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |