KR20180055292A - 다중 라이다 좌표계 통합 방법 - Google Patents

Abstract

본 발명은 다중 라이다 좌표계 통합 방법에 관한 것으로서, 차량에 다수개의 라이다 센서를 장착하여 차량 주변 물체를 다수의 라이다에서 동시 검출함으로써 검출률을 높일 수 있도록 다중으로 장착된 라이다의 좌표계를 하나의 카메라 좌표계로 통합하는 방법에 관한 것이다.
본 발명에 따른 차량의 일측에 장착된 카메라 센서와 차량에 장착되어 차량 주변의 상황을 감지하는 n개의 라이다에서 추출된 이미지의 좌표를 통합하는 다중 라이다 좌표계 통합 방법에 있어서, 상기 카메라 센서에서 이미지 데이터를 생성하고, 상기 n개의 라이다에서 각각 n개의 라이다 데이터를 생성하는 단계; 상기 이미지 데이터를 카메라 좌표계에 표시하고, 좌표 통합장치가 상기 n개의 라이다 데이터를 각각 n개의 라이다 좌표계에 표시하는 단계; 상기 좌표 통합장치가 상기 카메라 좌표계와 상기 n개의 라이다 좌표계 간의 보정 파라미터를 순차적으로 각각 추출하는 단계; 및 상기 좌표 통합장치가 상기 n개의 라이다 좌표계에 대해 각각 추출된 보정 파라미터를 이용하여 상기 n개의 라이다 좌표계에 표시된 라이다 데이터를 상기 카메라 좌표계로 변환하는 단계; 를 포함한다.

Description

다중 라이다 좌표계 통합 방법{INTEGRATION METHOD FOR COORDINATES OF MULTI LIDAR}

본 발명은 다중 라이다 좌표계 통합 방법에 관한 것으로서, 차량에 다수개의 라이다 센서를 장착하여 차량 주변 물체를 다수의 라이다에서 동시 검출함으로써 검출율을 높일 수 있도록 다중으로 장착된 라이다의 좌표계를 하나의 카메라 좌표계로 통합하는 방법에 관한 것이다.

자율주행 자동차란 운전자의 개입 없이 주변 환경을 인식하고, 주행 상황을 판단하여, 차량을 제어함으로써 스스로 주어진 목적지까지 주행하는 자동차를 말한다.

최근에는 이러한 자율주행 자동차가 교통사고를 줄이고, 교통 효율성을 높이며, 연료를 절감하고, 운전을 대신해줌으로써 편의를 증대시킬 수 있는 미래 개인 교통 수단으로 주목 받고 있다.

이러한 자율주행 자동차에서는 자동차, 보행자와 같은 장애물을 인식하고, 차선, 정지선, 횡단보도, 신호등과 같은 도로상의 표식을 인식하는 기술이 기본이 되며, 이를 위해 레이다, 라이다, 스테레오 카메라 등의 센서가 이용되고 있다.

자동차가 안정적으로 자율주행하기 위해서는 이러한 환경을 정확하게 인식하는 것이 가장 중요하기 때문에 환경을 정확하게 감지할 수 있는 센서와 감지 방법에 대한 연구가 활발하게 이루어 지고 있다.

라이다 센서는 카메라 센서보다 물체 검출률 및 거리 정확성은 높지만, 검출에 대한 신뢰성은 낮다.

이에 비해, 카메라 센서는 라이다 센서보다 물체 검출 결과에 대한 신뢰성은 높으나, 물체까지의 거리에 대한 정확성 및 실제 존재하는 물체에 대한 검출률은 다소 떨어지는 특성을 갖는다.

따라서, 라이다 센서와 카메라 센서를 상호 보완적으로 이용하여 물체의 존재 여부를 감지하면, 자동차 주변의 환경을 보다 정확하게 감지할 수 있다.

그러나, 종래에는 라이다 센서와 카메라 센서를 단순 병합하여 차량을 인식하는 기술만이 개시되어 있을 뿐이고, 2D로 검출하는 라이다 센서를 하나만 이용하기 때문에 객체 판단을 위한 데이터가 부족하였으며, 이에 따라 복잡한 지형물이나 물체에 대한 검출률이 높지 않았다.

한국등록특허 제10-1281260호 한국등록특허 제10-1655682호

이에 본 발명은 상기한 문제점을 해결하기 위하여, 차량에 다수개의 라이다 센서를 장착하여 하나의 객체를 여러 라이다에서 동시 검출함으로써 검출률을 높일 수 있도록 다중으로 장착된 라이다의 좌표계를 하나의 카메라 좌표계와 통합하는 방법을 제공하는데 그 목적이 있다.

본 발명에 따른 차량의 일측에 장착된 카메라 센서와 차량에 장착되어 차량 주변의 상황을 감지하는 n개의 라이다에서 추출된 이미지의 좌표를 통합하는 다중 라이다 좌표계 통합 방법에 있어서, 상기 카메라 센서에서 이미지 데이터를 생성하고, 상기 n개의 라이다에서 각각 n개의 라이다 데이터를 생성하는 단계; 상기 이미지 데이터를 카메라 좌표계에 표시하고, 좌표 통합장치가 상기 n개의 라이다 데이터를 각각 n개의 라이다 좌표계에 표시하는 단계; 상기 좌표 통합장치가 상기 카메라 좌표계와 상기 n개의 라이다 좌표계 간의 보정 파라미터를 순차적으로 각각 추출하는 단계; 및 상기 좌표 통합장치가 상기 n개의 라이다 좌표계에 대해 각각 추출된 보정 파라미터를 이용하여 상기 n개의 라이다 좌표계에 표시된 라이다 데이터를 상기 카메라 좌표계로 변환하는 단계; 를 포함한다.

본 발명에서 상기 보정 파라미터는, 상기 카메라 좌표계와 상기 n개의 라이다 좌표계 각각에 대한 회전 행렬(R)과 이동 행렬(T)을 포함한다.

본 발명에서 상기 n번째 라이다 좌표계에 표시된 라이다 데이터를 상기 카메라 좌표계로 변환하는 수식은 아래와 같으며,

위의 수식에서

는 카메라 좌표계에서 점 P의 위치,

은 n번째 라이다 좌표계와 상기 카메라 좌표계 간의 회전 행렬,

은 n번째 라이다 좌표계에서의 점 P의 위치,

은 n번째 라이다 좌표계와 상기 카메라 좌표계 간의 이동 행렬을 나타낸다.

본 발명에 따르면 다수개의 2D 라이다 데이터와 카메라 센서 데이터를 융합하는 것만으로 고가의 3D 라이다를 적용한 효과를 줄 수 있어 상대적으로 저가의 장비를 이용해 물체 인식의 정확성을 확보할 수 있다.

또한, 날씨에 따라 물체 인식의 정확성이 떨어지는 카메라 센서 데이터와 객체 인식이 불안정한 2D 라이다 데이터의 단점을 보완함으로써 물체 검출의 신뢰성을 높일 수 있다.

도 1은 본 발명의 일 실시 예에 따른 카메라 센서와 다중 라이다가 적용된 자율주행 차량의 예시이다.
도 2는 본 발명의 일 실시 예에 따른 좌표 통합장치를 이용한 다중 라이다 좌표계 통합 방법에 대한 예시이다.
도 3은 본 발명의 일 실시 예에 따른 다중 라이다 좌표계 통합 방법의 흐름도이다.

이하에서, 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명할 것이다. 또한 본 발명을 설명함에 있어서 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

도 1은 본 발명의 일 실시 예에 따른 카메라 센서와 다중 라이다가 적용된 자율주행 차량의 예시이다.

도 1을 참조하면 자율주행 차량(10)의 정면 범퍼에 카메라 센서(110)가 장착되어 있고, 카메라 센서(110) 바로 옆에 제1 라이다(120)가 장착되어 있으며, 차량의 상부 양측으로 제2 라이다(130)와 제3 라이다(140)가 장착된 것을 확인할 수 있다.

즉, 차량의 주변 환경을 인식하기 위해 카메라 센서 한 개와 라이다 세 개가 장착되어 있는 것이다.

이러한 자율주향 차량(10)에서 각각의 라이다에서 인식된 물체는 각각의 라이다 좌표계에 따라 그 위치가 상이하게 나타날 수 있으므로 좌표를 하나로 통일시켜야 한다.

이를 위해 카메라 센서(110)의 좌표계를 이용하여 각각의 라이다 좌표계를 카메라 센서의 좌표계로 변환하여 통합하는 과정이 필요하다.

도 1에서 보면 카메라 센서(110)의 좌표계는 X축과 Z축이 평면을 구성하고 있으며, Y축이 세로축을 구성하고 있는데 반해, 제1 내지 제3 라이다(120, 130, 140)는 X축과 Z축이 평면을 구성하고 있어 카메라 센서(110)와 동일하지만 Y축의 방향이 마이너스 방향을 향하고 있어 좌표계의 변환이 필요한 상태이다.

또한, 제1 내지 제3 라이다(120, 130, 140)의 위치 및 장착 방향이 카메라 센서(110)의 위치와 차이가 있기 때문에 이를 고려하여 좌표계를 매칭시켜야 한다.

이러한 다중 라이다의 좌표 통합을 위해 좌표 통합장치(미도시)가 구성되며, 좌표 통합장치는 카메라 센서(110) 및 제1 내지 제3 라이다(120, 130, 140)로부터 센싱된 이미지를 수신받아 각각의 좌표계에 매칭시키고, 좌표계를 통합하여 통합된 좌표계에 물체의 이미지를 정확하게 표시한다.

이러한 좌표 통합장치는 예컨데 마이크로 컴퓨터 또는 디지털 시그널 프로세서 등의 이미지 프로세싱이 가능한 제어장치 또는 칩으로 구현되는 것이 바람직하다.

이러한 좌표 통합장치를 이용한 다중 라이다 좌표계 통합 방법에 대해 예시를 통해 좀더 구체적으로 살펴보도록 한다.

도 2는 본 발명의 일 실시 예에 따른 좌표 통합장치를 이용한 다중 라이다 좌표계 통합 방법에 대한 예시이다.

도 2를 참조하면 점 P의 위치는 카메라 센서(110) 및 제1 내지 제3 라이다(120, 130, 140)에서 각각의 좌표계에 따라 각각 다른 좌표값으로 표시된다.

카메라 센서(110)의 좌표계인 카메라 좌표계에서 점 P의 위치는 아래와 같이 표시될 수 있다.

제1 내지 제3 라이다(120, 130, 140)의 좌표계인 제1 내지 제3 라이다 좌표계에서 점 P의 위치는 아래와 같이 표시된다.

이렇게 각각의 좌표계에 따라 다른 값으로 표시된 점 P의 위치는 좌표계 변환을 통해 하나의 좌표계로 표시될 수 있는데 이를 위해 필요한 것이 보정 파라미터이다.

보정 파라미터는 각각 다른 좌표계를 어느 하나의 좌표계로 통일시키기 위한 변수로써, 회전 행렬과 이동 행렬을 포함한다.

회전 행렬이란 도 2에서 제1 라이다(120)의 좌표계인 제1 라이다 좌표계와 카메라 센서(110)의 좌표계인 카메라 좌표계를 예로 들면, 두개의 좌표계는 X축과 Z축의 방향이 같지만 Y축의 방향은 180도 뒤집힌 상태이다.

따라서 어느 하나의 좌표계를 기준으로 다른 하나의 좌표계를 회전시켜야 하는데 이때 필요한 행렬이 회전 행렬이다.

이러한 회전 행렬은 3개의 축을 가진 3차원 축의 회전을 위해 3×3 형태의 행렬로 표시되며, 이러한 회전 행렬을 구하는 공식은 기 공지된 기술이므로 상세하게 설명하지 않는다.

좌표 통합장치는 카메라 센서(110)의 좌표계인 카메라 좌표계를 기준으로 제1 내지 제3 라이다(120, 130, 140)의 좌표계인 제1 라이다 좌표계, 제2 라이다 좌표계, 제3 라이다 좌표계를 각각 변환해야 하므로, 회전 행렬은 각각의 라이다 좌표계에 대해서 총 3개가 구해지고 각각 R1, R2, R3로 표시된다.

이동 행렬이란 도 2에서 제2 라이다(130)의 좌표계인 제1 라이다 좌표계와 카메라 센서(110)의 좌표계인 카메라 좌표계를 예로 들면, 제2 라이다(130)는 차량의 상부에 위치해 있으며, 카메라 센서(110)는 차량의 정면 범퍼에 장착되어 있어 그 장착 위치에 따른 거리 차이가 발생한다.

이동 행렬은 이러한 거리 차이를 보정하기 위한 파라미터로써, 카메라 좌표계를 기준으로 제2 라이다 센서(130)의 장착 위치를 표시하면 그것이 카메라 좌표계와 제2 라이다 좌표계의 이동 행렬이 된다.

이러한 이동 행렬은 거리의 차이를 X축, Y축, Z축에 대해 각각 표시한 행렬이므로, 3×1 형태의 행렬로 표시된다.

좌표 통합장치는 카메라 센서(110)의 좌표계인 카메라 좌표계를 기준으로 제1 내지 제3 라이다(120, 130, 140)의 좌표계인 제1 라이다 좌표계, 제2 라이다 좌표계, 제3 라이다 좌표계를 각각 변환해야 하므로, 이동 행렬은 회전 행렬과 마찬가지로 각각의 라이다 좌표계에 대해서 총 3개가 구해지고 각각 T1, T2, T3로 표시된다.

이렇게 좌표 통합장치에 의해 보정 파라미터가 추출되면, 좌표 통합장치는 보정 파라미터를 이용하여 제1 내지 제3 라이다(120, 130, 140)의 좌표계인 제1 라이다 좌표계, 제2 라이다 좌표계, 제3 라이다 좌표계에 따라 각각 표시된 점 P의 위치

을 카메라 센서(110)의 좌표계인 카메라 좌표계로 변환하여 표시한다.

예를 들어 제3 라이다(140)의 좌표계인 제3 라이다 좌표계에 표시된 점 P의 위치를 카메라 좌표계로 변환하고자 할 때,

는 구하고자 하는 카메라 좌표계에서 점 P의 위치,

은 제3 라이다 좌표계와 카메라 좌표계 간의 회전 행렬,

은 제3 라이다 좌표계에서의 점 P의 위치,

은 제3 라이다 좌표계와 카메라 좌표계 간의 이동 행렬이며, 제3 라이다 좌표계에 표시된 점 P의 위치를 카메라 좌표계로 변환하기 위한 수식은 아래의 수학식 1과 같다.

제1 라이다(120), 제2 라이다(130)에 대해서도 마찬가지의 방법을 통해 점 P의 위치를 카메라 좌표계에 표시할 수 있으며, 이를 통해 점 P의 위치를 정합하여 카메라 센서(110)를 통해 획득한 영상과 제1 내지 제3 라이다(120, 130, 140)를 통해 감지된 데이터를 통합하여 3차원 상의 장애물을 정확하게 추출할 수 있게 된다.

본 발명에서는 카메라 센서 1개와 라이다 3개가 적용된 자율주행 차량에 대한 예시를 들어 다중 라이다 좌표계 통합 방법에 대하여 설명하였지만 카메라 센서와 라이다의 갯수는 본 발명의 예시에 한정되지 않으며, 다른 실시예에서 갯수를 달리하여 적용될 수 있다.

따라서 본 발명의 수학식 1을 n개의 라이다가 적용된 다른 실시예에서도 적용할 수 있도록 표현하여야 한다.

수학식 1을 n번째 라이다 좌표계에 표시된 데이터를 카메라 좌표계로 변환하는 일반적인 수식으로 표현하면 아래의 수학식 2로 나타낼 수 있다.

수학식 2에서

는 카메라 좌표계에서 점 P의 위치,

은 n번째 라이다 좌표계와 상기 카메라 좌표계 간의 회전 행렬,

은 n번째 라이다 좌표계에서의 점 P의 위치,

은 n번째 라이다 좌표계와 상기 카메라 좌표계 간의 이동 행렬을 나타낸다.

또한, 반대로 카메라 좌표계에 표시된 데이터를 라이다 좌표계로 변환하는 수식도 제공될 수 있는데 이를 수학식 3으로 나타내었다.

이러한 수식을 이용하여 좌표 통합장치가 다중 라이다 좌표계를 통합하는 방법을 단계적으로 살펴본다.

도 3은 본 발명의 일 실시 예에 따른 다중 라이다 좌표계 통합 방법의 흐름도이다.

도 3을 참조하면, 차량의 일측에 장착된 카메라 센서와 차량에 장착되어 차량 주변의 상황을 감지하는 n개의 라이다에서 추출된 이미지의 좌표를 통합하는 다중 라이다 좌표계 통합 방법은 먼저, 카메라 센서에서 이미지 데이터를 생성하고, n개의 라이다에서 각각 n개의 라이다 데이터를 생성하는 단계를 수행한다(S101).

다음으로, 생성된 이미지 데이터를 카메라 센서의 좌표계인 카메라 좌표계에 표시하고, n개의 라이다 데이터를 각각 n개의 라이다의 좌표계인 n개의 라이다 좌표계에 표시한다(S103).

다음으로, 카메라 좌표계와 n개의 라이다 좌표계 간의 회전 행렬과 이동 행렬을 포함하는 보정 파라미터를 추출한다(S105).

보정 파라미터는 카메라 센서와 n개의 라이다의 장착 위치 및 방향에 따라 구해지며, 한번 계산되면, 장착 위치 및 방향이 변하지 않는 한 고정되는 파라미터이다.

회전 행렬 R과 이동 행렬 T는 n개의 라이다 좌표계마다 각각 별도로 추출된다.

보정 파라미터가 구해지면, n개의 라이다 좌표계에 대해 각각 추출된 보정 파라미터를 이용하여 상기한 수학식 2에 따라 n개의 라이다 좌표계에 표시된 라이다 데이터를 상기 카메라 좌표계로 변환한다(S107).

이러한 카메라 좌표계와 라이다 좌표계 간의 변환 방법을 통해 서로 다른 지점에서 인식한 차량 주변의 물체를 정확하게 맵핑하여 물체 인식의 정확도를 높일 수 있다.

이상에서 설명한 본 발명은 바람직한 실시 예들을 통하여 상세하게 설명되었지만, 본 발명은 이러한 실시 예들의 내용에 한정되는 것이 아님을 밝혀둔다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 비록 실시 예에 제시되지 않았지만 첨부된 청구항의 기재 범위 내에서 다양한 본 발명에 대한 모조나 개량이 가능하며, 이들 모두 본 발명의 기술적 범위에 속함은 너무나 자명하다 할 것이다. 이에, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

110 : 카메라 센서 120 : 제1 라이다
130 : 제2 라이다 140 : 제3 라이다
10 : 자율주행 차량

Claims (4)

1. 차량의 일측에 장착된 카메라 센서와 차량에 장착되어 차량 주변의 상황을 감지하는 n개의 라이다에서 추출된 이미지의 좌표를 통합하는 다중 라이다 좌표계 통합 방법에 있어서,
   상기 카메라 센서에서 이미지 데이터를 생성하고, 상기 n개의 라이다에서 각각 n개의 라이다 데이터를 생성하는 단계;
   상기 이미지 데이터를 카메라 좌표계에 표시하고, 상기 n개의 라이다 데이터를 각각 n개의 라이다 좌표계에 표시하는 단계;
   상기 카메라 좌표계와 상기 n개의 라이다 좌표계 간의 보정 파라미터를 순차적으로 각각 추출하는 단계; 및
   상기 n개의 라이다 좌표계에 대해 각각 추출된 보정 파라미터를 이용하여 상기 n개의 라이다 좌표계에 표시된 라이다 데이터를 상기 카메라 좌표계로 변환하는 단계; 를 포함하는 다중 라이다 좌표계 통합 방법.
2. 제 1 항에 있어서,
   상기 보정 파라미터는,
   상기 카메라 좌표계와 상기 n개의 라이다 좌표계 각각에 대한 회전 행렬(R)과 이동 행렬(T)을 포함하는 다중 라이다 좌표계 통합 방법.
3. 제 2 항에 있어서,
   상기 n번째 라이다 좌표계에 표시된 라이다 데이터를 상기 카메라 좌표계로 변환하는 수식은 아래와 같으며,
   

   

   
   위의 수식에서

   

   는 카메라 좌표계에서 점 P의 위치,

   

   은 n번째 라이다 좌표계와 상기 카메라 좌표계 간의 회전 행렬,

   

   은 n번째 라이다 좌표계에서의 점 P의 위치,

   

   은 n번째 라이다 좌표계와 상기 카메라 좌표계 간의 이동 행렬을 나타내는 다중 라이다 좌표계 통합 방법.
4. 제 2 항에 있어서,
   상기 카메라 좌표계에 표시된 이미지 데이터를 상기 n번째 라이다 좌표계로 변환하는 수식은 아래와 같으며,
   

   

   
   위의 수식에서

   

   은 n번째 라이다 좌표계에서의 점 P의 위치,

   

   은 n번째 라이다 좌표계와 상기 카메라 좌표계 간의 회전 행렬,

   

   는 카메라 좌표계에서 점 P의 위치,

   

   은 n번째 라이다 좌표계와 상기 카메라 좌표계 간의 이동 행렬을 나타내는 다중 라이다 좌표계 통합 방법.

Images