KR101672732B1

KR101672732B1 - 객체 추적 장치 및 방법

Info

Publication number: KR101672732B1
Application number: KR1020140187880A
Authority: KR
Inventors: 송하룡; 최원섭; 김해동
Original assignee: 한국항공우주연구원
Priority date: 2014-12-24
Filing date: 2014-12-24
Publication date: 2016-11-07
Anticipated expiration: 2034-12-24
Also published as: KR20160077684A

Abstract

본 발명의 한 실시예에 따른 카메라와 라이더(lidar)를 포함하는 객체 추적 장치의 객체 추적 방법은 상기 카메라와 상기 라이더 간의 외적 캘리브레이션(extrinsic calibration)을 계산하는 단계, 상기 카메라를 통해 촬영되는 영상 내의 움직이는 객체를 추적하는 단계, 상기 카메라와 상기 움직이는 객체 간의 상대 각도를 계산하는 단계, 상기 상대 각도에 따라 상기 외적 캘리브레이션을 보정하는 단계, 그리고, 상기 상대 각도에 따라 상기 라이더의 축을 이동시키는 단계를 포함한다.

Description

객체 추적 장치 및 방법{APPARATUS AND METHOD FOR TRACKING OBJECT}

본 발명은 객체 추적 장치 및 방법에 관한 것으로, 보다 상세하게는 카메라와 라이더를 이용하여 움직이는 객체를 추적하는 장치 및 방법에 관한 것이다.

카메라와 라이더(lidar)를 포함하는 객체 추적 장치를 이용하여 객체와의 거리를 추적하는 기술이 연구되고 있다. 이에 따르면, 카메라는 영상을 촬영하며, 라이더는 레이저 펄스를 출력하고, 카메라에 의하여 촬영된 영상 내의 라이더 데이터, 즉 이차원 스캔 라인을 이용하여 객체와의 상대 거리를 추적한다.

일반적으로, 객체 추적 장치 내의 카메라와 라이더는 고정되어 있으며, 외적 캘리브레이션(extrinsic calibration)을 수행하여 라이더 데이터를 추출한다. 이러한 객체 추적 장치는 자동차에 설치되어 보행자를 촬영하며, 영상 내의 라이더 데이터를 이용하여 보행자와의 상대 거리를 측정하는데 이용될 수 있다. 카메라와 라이더의 외적 캘리브레이션을 계산하는 방법 및 라이더 데이터를 이용하여 보행자를 탐지하는 방법은 "Q. Zhang, R. Pless, Extrinsic Calibration of a Camera and Laser Range Finder, IEEE/RSJ International Conference on Intelligent Robots and Systems, 2004(IROS 2004)", "Y. Li, Y. Ruichek, C. Cappelle, Optimal Extrinsic Calibration Between a Stereoscopic System and a LiDAR, IEEE Transactions on Instrumentation and Measurement, Vol. 62, No. 8, Aug. 2013" 및 "C. Primebida, O. Ludwig, U. Nunes, LiDAR and Vision-based Pedestrian Detection Systems, Journal of Field Robotics, Vol 26, No. 9, 2009" 등에 개시되어 있다.

다만, 응용 분야에 따라서는 라이더가 영상 내의 다른 위치에 레이저 펄스를 출력하고, 이차원 스캔 라인을 얻고자 할 때가 있다. 예를 들어, 실내 CCTV에서 카메라는 고정되어 있으나, 영상 내 추적하고자 하는 객체는 시간에 따라 움직일 수 있다. 따라서, 움직이는 객체를 향하여 라이더를 지향할 필요가 있다.

본 발명이 이루고자 하는 기술적 과제는 객체 추적 장치 및 방법을 제공하는데 있다.

상기 상대 각도는 상기 움직이는 객체의 깊이 정보를 이용하여 계산될 수 있다.

상기 상대 각도는 요(yaw) 각도 및 피치(pitch) 각도 중 적어도 하나를 포함할 수 있다.

상기 라이더는 서보모터에 연결되며, 상기 서보모터를 이용하여 상기 라이더의 축을 이동시킬 수 있다.

상기 외적 캘리브레이션은 상기 카메라와 상기 라이더 간의 회전 행렬 및 병진 이동 벡터를 포함할 수 있다.

상기 보정하는 단계에서는 상기 상대 각도에 따라 상기 카메라와 상기 라이더 간의 회전 행렬을 보정할 수 있다.

상기 외적 캘리브레이션은 체스보드(chessboard)를 이용하여 계산될 수 있다.

상기 카메라는 스테레오 카메라일 수 있다.

본 발명의 한 실시예에 따른 객체 추적 장치는 영상을 촬영하는 카메라, 레이저 펄스를 출력하는 라이더(lidar), 그리고 상기 카메라에 의해 촬영된 영상 내의 라이더 데이터를 이용하여 객체를 추적하는 제어부를 포함하며, 상기 제어부는 상기 카메라와 상기 라이더 간의 외적 캘리브레이션(extrinsic calibration)을 계산하고, 상기 카메라를 통해 촬영되는 영상 내의 움직이는 객체를 추적하며, 상기 카메라와 상기 움직이는 객체 간의 상대 각도를 계산하고, 상기 상대 각도에 따라 상기 외적 캘리브레이션을 보정하며, 상기 상대 각도에 따라 상기 라이더의 축을 이동시키도록 설정된다.

본 발명의 실시예에 따르면, 움직이는 객체와 카메라 간의 상대 각도에 따라 라이더의 축을 이동시킴으로써, 라이더가 움직이는 객체를 지향하도록 할 수 있다. 이에 따라, 실내 환경에서 움직이는 객체를 정확하게 추적할 수 있다.

도 1은 본 발명의 한 실시예에 따른 객체 추적 장치의 블록도이다.
도 2는 본 발명의 한 실시예에 따른 객체 추적 장치의 객체 추적 방법을 나타내는 순서도이다.
도 3은 체스보드(chessboard)를 이용하여 카메라와 라이더 간의 외적 캘리브레이션을 계산하는 도면을 나타낸다.
도 4는 영상 내 라이더 데이터를 나타낸다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 한 실시예에 따른 객체 추적 장치의 블록도이고, 도 2는 본 발명의 한 실시예에 따른 객체 추적 장치의 객체 추적 방법을 나타내는 순서도이다.

도 1을 참조하면, 객체 추적 장치(100)는 카메라(110), 라이더(120) 및 제어부(130)를 포함한다.

카메라(110)는 영상을 촬영한다. 예를 들어, 카메라(110)는 객체 추적 장치(100) 내에 고정되어 설치되며, 움직이는 객체를 촬영할 수 있다. 여기서, 카메라(110)는 두 개의 카메라로 객체의 삼차원 정보를 추출하는 스테레오 카메라 또는 3D 키넥트(Kinect) 카메라일 수 있으며, 각 카메라는 RGB 카메라일 수 있다.

라이더(120)는 레이저 펄스를 출력한다. 그리고, 라이더(120)는 레이저 펄스가 객체로부터 반사되어 돌아오는 시간을 이용하여 객체와의 거리를 측정할 수 있다. 라이더(120)는 레이저 레이더와 혼용될 수 있다. 라이더(120)는 카메라(110)의 옆에 배치되거나, 카메라(110)의 전면에 배치될 수 있다.

제어부(130)는 카메라(110)에 의해 촬영된 영상 내의 라이더 데이터를 이용하여 객체를 추적한다. 여기서, 라이더 데이터는 영상 내의 이차원 스캔 라인일 수 있다. 제어부(130)는 카메라(110)와 라이더(120) 사이에 배치된 PCB(Printed Circuit Board) 상에 형성될 수 있다.

도 2를 참조하여, 본 발명의 실시예에 따른 객체 추적 장치(100)가 객체를 추적하는 방법을 더욱 구체적으로 설명한다.

먼저, 객체 추적 장치(100)의 제어부(130)는 카메라(110)와 라이더(120) 간의 외적 캘리브레이션(extrinsic calibration)을 계산한다(S200). 외적 캘리브레이션에 의하여 카메라(110)와 라이더(120) 간의 외부 파라미터 조정 값, 예를 들어 카메라(110)와 라이더(120) 간의 회전 행렬과 병진 이동 벡터를 얻을 수 있다. 외적 캘리브레이션을 통하여 카메라 영상 내에서 라이더의 이차원 스캔 라인이 어디에 위치해 있는지 알 수 있다. 도 3은 체스보드(chessboard)를 이용하여 카메라와 라이더 간의 외적 캘리브레이션을 계산하는 도면을 나타낸다. 도 3을 참조하면, 카메라(110)를 핀홀 카메라로 가정할 때, 실제 3차원 좌표 상의 점 P=[X_w Y_w Z_w]^T는 핀홀 카메라의 영상 내 좌표 p=[u v]^T에 투영되며, 수학식 1의 관계식을 가질 수 있다.

[수학식 1]

p=K(RP+t)

여기서, K는 카메라(110)의 내부 파라미터이고, R은 회전행렬이며, t는 병진 이동 벡터를 나타낸다. 만약, 점 P가 라이더(120)의 이차원 스캔 라인 상의 점 P_f에 있다면, 수학식 2와 같이 나타낼 수 있다.

[수학식 2]

P_f=φP+δ

여기서, φ는 3×3 회전 행렬이며, δ는 3×1 병진 이동 벡터이다.

이와 같이, 카메라(110)와 라이더(120) 간의 외부 파라미터 값, 즉 회전 행렬 및 병진 이동 벡터를 계산하면, 이로부터 도 4와 같이 영상 내 라이더 데이터, 즉 붉은색 선으로 나타내지는 라이더의 이차원 스캔 라인을 얻을 수 있다. 이와 같이 얻어진 외부 파라미터 값은 초기 자세 메모리에 기억될 수 있다.

그리고, 객체 추적 장치(100)의 제어부(130)는 카메라(110)를 통해 촬영되는 영상 내의 움직이는 객체를 추적한다(S210). 예를 들어, 객체 추적 장치(100)가 실내에 설치되는 CCTV인 경우, 카메라(110)는 사람이 움직이는 영상을 촬영할 수 있으며, 객체 추적 장치(100)의 제어부(130)는 카메라(110)에 의하여 촬영된 영상 중 움직이는 사람을 포함하는 영역을 관심 영역으로 추출할 수 있다.

그리고, 객체 추적 장치(100)의 제어부(130)는 카메라(110)와 움직이는 객체 간의 상대 각도를 계산한다(S220). 여기서, 상대 각도는 움직이는 객체의 깊이 정보를 통하여 계산될 수 있다. 예를 들어, 깊이 정보는 키넥트(Kinect) 카메라 또는 스테레오 카메라를 통하여 공지된 방법으로 추출될 수 있다. 여기서, 상대 각도는 요(yaw) 각도 및 피치(pitch) 각도 중 적어도 하나를 포함할 수 있다.

요 각도는 수학식 3과 같으며, 피치 각도는 수학식 4와 같다.

[수학식 3]

Y=tan^-1(X_w/Y_w)

[수학식 4]

여기서, Xw, Yw, Zw는 객체의 실제 삼차원 좌표일 수 있다.

그리고, 객체 추적 장치(100)의 제어부(130)는 상대 각도에 따라 카메라(110)와 라이더(120) 간의 외적 캘리브레이션을 보정하며(S230), 상대 각도에 따라 라이더(120)의 축을 이동시킨다(S240). 여기서, 객체 추적 장치(100)의 제어부(130)는 상대 각도에 따라 외적 캘리브레이션 중 카메라(110)와 라이더(120) 간의 회전 행렬을 보정할 수 있다. 그리고, 객체 추적 장치(100)의 제어부(130)는 상대 각도에 따라 라이더(120)의 기동값 및 자세값을 보정할 수 있다. 예를 들어, 라이더(120)는 서보모터(servomotor) 및 센서를 포함하며, 이를 이용하여 상대 각도에 따른 피치 축을 이동시킬 수 있다. 여기서, 서보모터는 RC 서버모터일 수 있으며, 센서는 자세센서 또는 엔코더일 수 있다.

이와 같이, 라이더(110)는 영상 내의 움직이는 객체에 따라 지향하는 각을 이동시킨다. 이에 따라, 더욱 정확한 객체 추적 결과를 얻을 수 있다.

그리고, 제어부(130)는 라이더(110)가 초기 상태로 복구하도록 제어할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

카메라와 라이더(lidar)를 포함하는 객체 추적 장치의 객체 추적 방법에 있어서,
상기 카메라와 상기 라이더 간의 외적 캘리브레이션(extrinsic calibration)을 계산하는 단계,
상기 카메라를 통해 촬영되는 영상 내의 움직이는 객체를 추적하는 단계,
상기 카메라와 상기 움직이는 객체 간의 상대 각도를 계산하는 단계,
상기 상대 각도에 따라 상기 외적 캘리브레이션을 보정하는 단계, 그리고,
상기 상대 각도에 따라 상기 라이더의 축을 이동시키는 단계
를 포함하고,
상기 상대 각도는 상기 움직이는 객체의 깊이 정보를 이용하여 계산되는 객체 추적 방법.
삭제
제1항에 있어서,
상기 상대 각도는 요(yaw) 각도 및 피치(pitch) 각도 중 적어도 하나를 포함하는 객체 추적 방법.
제3항에 있어서,
상기 라이더는 서보모터에 연결되며, 상기 서보모터를 이용하여 상기 라이더의 축을 이동시키는 객체 추적 방법.
제1항에 있어서,
상기 외적 캘리브레이션은 상기 카메라와 상기 라이더 간의 회전 행렬 및 병진 이동 벡터를 포함하는 객체 추적 방법.
제5항에 있어서,
상기 보정하는 단계에서는 상기 상대 각도에 따라 상기 카메라와 상기 라이더 간의 회전 행렬을 보정하는 객체 추적 방법.
제1항에 있어서,
상기 외적 캘리브레이션은 체스보드(chessboard)를 이용하여 계산되는 객체 추적 방법.
제1항에 있어서,
상기 카메라는 스테레오 카메라인 객체 추적 방법.
영상을 촬영하는 카메라,
레이저 펄스를 출력하는 라이더(lidar), 그리고
상기 카메라에 의해 촬영된 영상 내의 라이더 데이터를 이용하여 객체를 추적하는 제어부를 포함하며,
상기 제어부는 상기 카메라와 상기 라이더 간의 외적 캘리브레이션(extrinsic calibration)을 계산하고, 상기 카메라를 통해 촬영되는 영상 내의 움직이는 객체를 추적하며, 상기 카메라와 상기 움직이는 객체 간의 상대 각도를 계산하고, 상기 상대 각도에 따라 상기 외적 캘리브레이션을 보정하며, 상기 상대 각도에 따라 상기 라이더의 축을 이동시키도록 설정되며,
상기 상대 각도는 상기 움직이는 객체의 깊이 정보를 이용하여 계산되는 객체 추적 장치.
삭제
제9항에 있어서,
상기 상대 각도는 요(yaw) 각도 및 피치(pitch) 각도 중 적어도 하나를 포함하는 객체 추적 장치.
제11항에 있어서,
상기 라이더는 서보모터에 연결되며, 상기 서보모터를 이용하여 상기 라이더의 축을 이동시키는 객체 추적 장치.
제9항에 있어서,
상기 외적 캘리브레이션은 상기 카메라와 상기 라이더 간의 회전 행렬 및 병진 이동 벡터를 포함하는 객체 추적 장치.
제13항에 있어서,
상기 제어부는 상기 상대 각도에 따라 상기 카메라와 상기 라이더 간의 회전 행렬을 보정하는 객체 추적 장치.
제9항에 있어서,
상기 외적 캘리브레이션은 체스보드(chessboard)를 이용하여 계산되는 객체 추적 장치.
제9항에 있어서,
상기 카메라는 스테레오 카메라인 객체 추적 장치.