+

KR102145557B1 - 이종 센서 간의 데이터 융합 장치 및 방법 - Google Patents

이종 센서 간의 데이터 융합 장치 및 방법 Download PDF

Info

Publication number
KR102145557B1
KR102145557B1 KR1020190020480A KR20190020480A KR102145557B1 KR 102145557 B1 KR102145557 B1 KR 102145557B1 KR 1020190020480 A KR1020190020480 A KR 1020190020480A KR 20190020480 A KR20190020480 A KR 20190020480A KR 102145557 B1 KR102145557 B1 KR 102145557B1
Authority
KR
South Korea
Prior art keywords
data
fusion
sensor
point cloud
camera sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190020480A
Other languages
English (en)
Inventor
이진희
쿠마 아재이
권순
김광회
윤성훈
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020190020480A priority Critical patent/KR102145557B1/ko
Priority to PCT/KR2019/012562 priority patent/WO2020067751A1/ko
Priority to US17/274,870 priority patent/US11971961B2/en
Application granted granted Critical
Publication of KR102145557B1 publication Critical patent/KR102145557B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

이종 센서 간의 데이터 융합 장치 및 방법이 개시된다. 이종 센서 간의 데이터 융합 방법은 홀이 존재하는 마커 보드를 이용하여 캘리브레이션이 수행된 카메라 센서 및 라이다(LiDAR) 센서 각각을 통해 탐색 영역에 대한 이미지 데이터 및 포인트 클라우드 데이터를 식별하는 단계; 상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하는 단계; 및 상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합하는 단계를 포함할 수 있다.

Description

이종 센서 간의 데이터 융합 장치 및 방법{APPARATUS AND METHOD FOR DATA FUSION BETWEEN HETEROGENEOUS SENSORS}
본 발명은 이종 센서 간의 데이터 융합 장치 및 방법에 관한 것으로, 보다 구체적으로는 캘리브레이션이 수행된 카메라 센서 및 라이다 센서 각각을 통해 식별된 데이터들을 변환벡터를 이용하여 융합하고, 상기 데이터들이 융합된 융합 데이터의 정확도를 평가하는 기술에 관한 것이다.
최근 센싱 기술의 발달에 따라 카메라, 라이다, 레이더 등의 멀티 센서를 사용한 데이터 융합 및 데이터 통합 기술에 대한 관심이 증가하고 있다. 특히 로봇이나 자율주행 시스템은 센서 간의 상호보완을 통한 안정적 이동성이 중요한 이슈로 대두되었다. 최근 개발된 센서 융합 기술을 통해 각 센서들의 장점을 융합함으로써 개별 센서의 단점을 극복할 수 있고, 안정적 이동에 대한 이슈를 충분히 해결 가능하게 되었다.
일례로, 라이다 센서와 같은 거리 측정 센서는 다양한 객체 탐색을 위해 RGB 카메라와 함께 사용할 수 있다. 라이다 센서는 물체에 대한 3D 위치 및 깊이 정보를 제공할 수 있는 반면 RGB 카메라는 물체에 대한 2D 위치 및 색상 정보를 제공할 수 있다. 따라서 2D 영상 데이터에 3D 위치 정보를 맵핑함으로써 보다 현실 세계 속의 객체를 시각화 할 수 있다.
한편, 자율주행 차량에서 카메라와 라이다를 이용한 인지 기술 개발을 위해서는 우선적으로 카메라와 라이다 사이의 상대적 위치(자세 및 방향 정보 포함)에 대한 정확한 지식이 필요하다. 이것은 두 이종 센서 프레임 간의 변환을 결정하는 것, 다시 말해서 외부 캘리브레이션(extrinsic calibration) 문제로 접근할 수 있다. 라이다의 포인트 클라우드 데이터와 카메라의 이미지 데이터에서 고유한 특징(feature)을 식별하기 위해서는 두 센서 사이의 대응 관계를 설정해야 한다.
그러나 이와 같이 설정된 두 센서 사이의 대응 관계를 통해 각 센서를 통해 식별된 데이터를 융합하는 경우, 해당 융합 데이터가 제대로 융합되었는지를 판단하는 기준이 모호한 실정이다. 따라서, 융합 데이터에 대한 안전성과 신뢰성을 위해 융합 데이터의 정확도를 평가하는 기술이 요구되고 있다.
본 발명은 홀이 존재하는 3D 마커 보드를 통해 이종 센서 간의 캘리브레이션을 수행함으로써 이종 센서의 탑재 위치에 상관없이 원거리의 물체에 대한 탐지 정확도를 향상시키는 장치 및 방법을 제공할 수 있다.
또한, 본 발명은 캘리브레이션이 수행된 이종 센서 각각을 통해 식별된 데이터들을 융합하여 융합 데이터를 생성하고, 생성된 융합 데이터에 대한 정확도를 평가하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 방법은 홀이 존재하는 마커 보드를 이용하여 캘리브레이션이 수행된 카메라 센서 및 라이다(LiDAR) 센서 각각을 통해 탐색 영역에 대한 이미지 데이터 및 포인트 클라우드 데이터를 식별하는 단계; 상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하는 단계; 및 상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합하는 단계를 포함할 수 있다.
상기 변환 벡터는 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정될 수 있다.
상기 제1 거리 및 제2 거리는 상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 이용하여 결정될 수 있다.
상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합한 융합 데이터의 정확도를 평가하는 단계를 더 포함할 수 있다.
상기 평가하는 단계는 상기 융합 데이터에서 상기 식별된 이미지 데이터의 참조 영역에 대응하는 픽셀들의 위치와 상기 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가할 수 있다.
상기 평가하는 단계는 상기 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가할 수 있다.
상기 평가하는 단계는 상기 융합 데이터에서 타겟의 이미지에 대응하는 픽셀들에 정렬된 포인트 클라우드 데이터의 포인트들을 이용하여 상기 타겟까지의 추정 거리를 판단하고, 상기 판단된 추정 거리와 기존의 타겟 인지 알고리즘을 통해 측정된 상기 타겟까지의 측정 거리를 비교하여 상기 융합 데이터의 정확도를 평가할 수 있다.
본 발명의 일실시예에 따른 데이터 융합 장치는 카메라 센서 및 라이다 센서 간의 데이터 융합을 수행하는 프로세서를 포함하고, 상기 프로세서는 홀이 존재하는 마커 보드를 이용하여 캘리브레이션이 수행된 카메라 센서 및 라이다(LiDAR) 센서 각각을 통해 탐색 영역에 대한 이미지 데이터 및 포인트 클라우드 데이터를 식별하고, 상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하며, 상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합할 수 있다.
상기 변환 벡터는 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정될 수 있다.
상기 제1 거리 및 제2 거리는 상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 이용하여 결정될 수 있다.
상기 프로세서는 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합한 융합 데이터의 정확도를 평가할 수 있다.
상기 프로세서는 상기 융합 데이터에서 상기 식별된 이미지 데이터의 참조 영역에 대응하는 픽셀들의 위치와 상기 참조 에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가할 수 있다.
상기 프로세서는 상기 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가할 수 있다.
상기 프로세서는 상기 융합 데이터에서 타겟의 이미지에 대응하는 픽셀들에 정렬된 포인트 클라우드 데이터의 포인트들을 이용하여 상기 타겟까지의 추정 거리를 판단하고, 상기 판단된 추정 거리와 기존의 타겟 인지 알고리즘을 통해 측정된 상기 타겟까지의 측정 거리를 비교하여 상기 융합 데이터의 정확도를 평가할 수 있다.
본 발명은 홀이 존재하는 3D 마커 보드를 통해 이종 센서 간의 캘리브레이션을 수행함으로써 이종 센서의 탑재 위치에 상관없이 원거리의 물체에 대한 탐지 정확도를 향상시킬 수 있다.
또한, 본 발명은 캘리브레이션이 수행된 이종 센서 각각을 통해 식별된 데이터들을 융합하여 융합 데이터를 생성하고, 생성된 융합 데이터에 대한 정확도를 평가할 수 있다.
도 1은 본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 시스템을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 마커 보드의 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 이종 센서 데이터로부터 홀을 추출하는 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 변환 벡터를 결정하기 위한 방법을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 방법을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제1 실시예를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 다양한 시나리오를 고려하여 식별된 카메라 센서의 이미지 데이터와 라이다 센서의 포인트 클라우드 데이터를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제2 실시예를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 터의 정확도 평가 방법에 대한 제3 실시예를 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 시스템을 도시한 도면이다.
도 1을 참고하면, 본 발명의 이종 센서 간의 데이터 융합 시스템(100)은 제1 센서(110), 제1 센서(110)와는 다른 제2 센서(120), 마커 보드(130) 및 데이터 융합 장치(140)로 구성될 수 있다. 일례로, 제1 센서(110) 및 제2 센서(120)는 카메라 센서, 라이다 센서, 레이저 센서 등 다양한 센서 중 하나일 수 있다.
이와 같이 이종 센서를 통해 수집된 데이터를 융합하기 위해서는 각 센서의 프레임 간 좌표 변환, 즉 캘리브레이션을 수행하여야 한다. 이를 위해서는 이종 센서를 통해 수집된 데이터 각각에서 고유한 특징을 식별하고, 식별된 고유한 특징에 기초하여 이종 센서 간 대응 관계를 설정해야 한다.
본 발명에서는 이종 센서 간의 데이터 융합 방법을 제공하기 위해 도 2와 같이 복수의 홀이 존재하는 마커 보드(130)를 이용하여 이종 센서 간의 캘리브레이션을 수행하는 방법을 제공한다. 이때, 마커 보드(130)에 존재하는 홀(131~134)은 원형일 수 있으나, 원형에 한정되지 않고 다각형 등 다양한 모양을 가질 수 있다. 또한, 도 2의 마커 보드(130)에는 4개의 홀(131~134)이 존재하지만 이와 같은 홀의 개수는 하나의 예시일 뿐 다양한 개수로 존재할 수 있다.
이때, 데이터 융합 장치(140)의 통신 장치(141)는 제1 센서(110) 및 제2 센서(120)로부터 마커 보드(130)를 촬영한 데이터를 수신할 수 있다. 이때, 통신 장치(141)는 제1 센서(110) 및 제2 센서(120)와 유선 혹은 무선으로 연결되어 데이터를 수신할 수 있다.
그리고 데이터 융합 장치(140)의 프로세서(142)는 통신 장치(141)를 통해 수신된 데이터들을 식별하고, 식별된 데이터들로부터 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 그리고 프로세서(142)는 제1 센서(110)로부터 식별된 데이터를 통해 인식한 홀의 반지름과 제2 센서(120)로부터 식별된 데이터를 통해 인식한 홀의 반지름에 기초하여 제1 센서(110)와 제2 센서(120) 간의 캘리브레이션을 위한 변환 벡터를 결정할 수 있다.
다시 말하자면, 제1 센서(110)의 좌표계와 제2 센서(120)의 좌표계는 상기 변환 벡터를 통해 일치될 수 있는데, 이와 같은 변환 벡터는 제1 센서(110)와 제2 센서(120)의 상대적인 위치 차이, 즉 제1 센서(110)와 마커 보드(130) 사이의 거리 및 제2 센서(120)와 마커 보드(130) 사이의 거리에 기초하여 결정될 수 있다. 보다 자세한 변환 벡터 결정 방법은 이후 개시되는 도 4를 통해 보다 자세히 설명하도록 한다.
이후 프로세서(142)는 결정된 변환 벡터를 이용하여 제1 센서(110)의 좌표계 및 제2 센서(120)의 좌표계가 서로 일치하도록 이종 센서 간의 캘리브레이션을 수행함으로써 제1 센서(110)로부터 식별된 데이터와 제2 센서(120)로부터 식별된 데이터를 융합할 수 있다.
기존의 이종 센서 간의 캘리브레이션 방법은 마커 보드의 위치 변화나 센서 사이의 위치 변화가 있을 때마다 측정 오차를 유발하거나, 원거리 타겟을 인식하는 경우 센서 자체의 특성에 따라 서로 다른 결과를 생성할 수 있었다. 따라서, 기존의 이종 센서 간의 캘리브레이션 방법은 타겟의 인지 정확도를 높이기 위해 이종 센서 간의 탑재 위치를 최대한 가깝게 배치하여 캘리브레이션을 수행하기 때문에 비교적 가까운 거리 내에 위치한 타겟만을 인식할 수 있으므로, 원거리 타겟을 인지해야 하는 자율주행 시스템 등에서는 적합하지 않는 단점이 있었다.
그러나 본 발명의 이종 센서 간의 캘리브레이션 방법은 홀이 존재하는 마커 보드(130)를 이용하여 캘리브레이션을 수행함으로써 이종 센서 간의 탑재 위치에 상관없이 원거리의 타겟에 대해서도 높은 정확도로 인식할 수 있으므로 자율주행 시스템 등에서도 크게 활용될 수 있다.
추가적으로 본 발명의 데이터 융합 시스템(100)은 이종 센서 간의 캘리브레이션을 통해 융합된 데이터의 정확도를 평가하는 방법을 제공할 수 있으며, 이를 위해 별도의 거리 측정 센서(150)를 더 포함할 수 있다. 보다 구체적인 융합 데이터에 대한 정확도 평가 방법은 도 6 내지 도 9을 통해 자세히 설명하도록 한다.
도 3은 본 발명의 일실시예에 따른 이종 센서 데이터로부터 홀을 인식하는 예를 도시한 도면이다.
본 발명에서는 다양한 이종 센서 간의 캘리브레이션 방법 중 카메라 센서 및 라이다 센서 간의 캘리브레이션 방법을 제공한다. 따라서, 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하기 위해서는 먼저 카메라 센서 및 라이다 센서 각각이 마커 보드(130)를 촬영한 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식하는 것이 필요하다.
먼저, 프로세서(142)는 이종 센서 중 하나가 카메라 센서인 경우, 체커 보드를 이용하여 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심 등 카메라 센서 자체의 내부 특성에 대응하는 카메라 센서 고유의 캘리브레이션 파라미터를 추정할 수 있다. 이는 이종 센서 즉, 카메라 센서 및 라이다 센서 각각을 통해 수집한 이미지 데이터 및 포인트 클라우드 데이터의 융합을 위해 필수적인 단계일 수 있다. 이와 같은 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 수행된 캘리브레이션의 결과로 프로세서(142)는 카메라 행렬, 왜곡 계수 및 카메라 투영 행렬 등을 획득할 수 있다. 이때, 카메라 투영 행렬은 하기의 식 1과 같이 내부 행렬 및 외부 행렬의 결합으로 획득될 수 있다.
<식 1>
Figure 112019018569115-pat00001
여기서,
Figure 112019018569115-pat00002
이고, 내부 행렬
Figure 112019018569115-pat00003
는 하기의 식 2와 같이 2D 변환 행렬(2D translational matrix), 2D 스케일링 행렬(2D scaling matrix) 및 2D 전단 행렬(2D shear matrix)의 곱으로 분해될 수 있다.
<식 2>
Figure 112019018569115-pat00004
여기서
Figure 112019018569115-pat00005
와
Figure 112019018569115-pat00006
는 이미지 데이터의 중심이고,
Figure 112019018569115-pat00007
와
Figure 112019018569115-pat00008
는 픽셀 유닛의 초점 거리이며, s 는 전단 계수이다.
도 3의 (a)는 라이다 센서를 이용하여 마커 보드(130)를 센싱 함으로써 식별된 포인트 클라우드 데이터로부터 프로세서(142)가 마커 보드(130) 내에 존재하는 홀을 인식하는 예를 보여준다.
프로세서(142)는 라이다 센서를 통해 수집된 포인트 클라우드 데이터를 카메라 센서의 시야(Field Of View, FOV)에 기초하여 분할(Segment)할 수 있다. 이때, 카메라 센서의 시야는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출될 수 있다. 분할된 포인트 클라우드 데이터에는 센싱한 마커 보드(130) 뿐만 아니라 마커 보드(130) 주변의 다양한 오브젝트들이 함께 포함될 수 있다.
프로세서(142)는 카메라 센서의 시야에 해당하는 포인트 클라우드 데이터에서 마커 보드(130)만을 추출하기 위하여 모든 오브젝트의 법선(Normal)과 곡률(Curvature)을 계산하여 동일한 법선과 곡률을 가지는 평면(Plane)을 식별할 수 있다. 이때, 식별된 평면은 마커 보드(130)에 해당할 수 있으며, 프로세서(142)는 식별된 평면만을 추출하고, 나머지 부분은 제거할 수 있다.
프로세서(142)는 추출된 평면에 포함된 포인트 클라우드 데이터에서 일정 각도를 가지는 선을 구성하는 포인트들을 제거함으로써 마커 보드(130)에 존재하는 홀을 인식할 수 있다. 보다 구체적으로 프로세서(142)는 평면에 맵핑된 포인트들 중에서 동일한 각도를 가지는 선(Line)을 찾고, 선 분할(Line Segment) 작업을 통해 동일한 각도를 가지는 선을 추출하여 해당 선에 맵핑된 포인트들을 제거할 수 있다. 이와 같은 작업을 통해 프로세서(142)는 마커 보드(130)에 대응하는 평면에서 홀에 대응하는 원형(Circle)의 포인트들만 남길 수 있다.
이후 프로세서(142)는 마커 보드(130) 내에 존재하는 홀을 인식하기 위하여 원의 중심점과 반지름의 임계값을 정하고, 다양하게 검출된 다각형(원 포함) 중에서 일정 반지름을 가지는 홀을 식별할 수 있다. 일례로, 본 발명에서는 자율주행 시스템에 활용하기 위하여 반지름을 20~22cm로 결정하였고, 해당 임계값 범위 내에 있는 네 개의 원을 도 3의 (a)와 같이 인식할 수 있었다.
도 3의 (b)는 카메라 센서를 이용하여 마커 보드(130)를 센싱함으로써 식별된 이미지 데이터로부터 프로세서(142)가 마커 보드(130) 내에 존재하는 홀을 인식하는 예를 보여준다.
프로세서(142)는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출된 카메라 센서의 시야에 대응하여 수집된 이미지 데이터로부터 전체 마커 보드(130)를 포함한 모든 물체의 가장자리(boundary)를 추출하고 그 중에서 홀(130)의 영역만을 따로 추출할 수 있다. 이때, 모든 물체의 가장자리가 추출된 이미지 데이터는 RGB 형태일 수 있는데 프로세서(142)는 RGB 형태로 추출된 이미지 데이터를 그레이 스케일(Gray scale) 형태의 이미지 데이터로 변환할 수 있다.
프로세서(142)는 그레이 스케일 형태의 이미지 데이터에 포함된 픽셀들에 대한 픽셀 값의 변화량에 기초하여 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 구체적으로 프로세서(142)는 그레이 스케일 형태의 이미지 데이터에 대해 3
Figure 112019018569115-pat00009
3 크기의 형렬을 필터로 사용하여 마커 보드(130) 및 마커 보드(130) 내에 존재하는 홀의 에지를 추출할 수 있다. 이때, 프로세서(142)는 그레이 스케일 형태의 이미지 데이터에 포함된 모든 픽셀에 대해 필터를 적용하는데 이미지 데이터 내의 어느 한 점을 기준으로 각 방향의 앞뒤 픽셀 값을 비교하여 그 변화량을 검출함으로써 가장자리 에지를 추출할 수 있다.
프로세서(142)는 이와 같이 추출된 에지 중에서 미리 설정된 원의 중심점과 반지름의 임계값의 범위에 속하는 모든 원형의 에지를 찾고, 찾아진 원형의 에지 중에서 경계의 기울기 임계값을 정해서 경계 강도가 강한 원 만을 추출할 수 있다. 이와 같은 경계의 기울기 임계값은 상기 찾아진 원형의 에지 이미지에 기초하여 사용자에 의해 결정될 수 있으며, 프로세서(142)는 결정된 경계의 기울기 임계값을 이용함으로써 상기 찾아진 원형의 에지 중 보다 선명한 원만을 추출할 수 있다. 일례로, 본 발명의 프로세서(142)는 카메라 센서를 통해 식별된 이미지 데이터로부터 네 개의 원을 도 3의 (b)와 같이 인식할 수 있었다.
도 4는 본 발명의 일실시예에 따른 변환 벡터를 결정하기 위한 방법을 도시한 도면이다.
도 3과 같이 카메라 센서 및 라이다 센서를 통해 식별된 데이터로부터 마커 보드(130)에 존재하는 홀이 인식되면, 프로세서(142)는 인식된 홀을 이용하여 카메라 센서와 라이다 센서 간의 좌표계를 일치시키기 위한 캘리브레이션을 수행할 수 있다. 본 발명에서는 자율주행 차량의 카메라 센서 및 라이다 센서가 3축에서 동일한 방향으로 탑재되므로 회전 차이(Rotation difference)는 고려하지 않고, 센서 간 이동 차이(Translation difference)만을 고려하여 이종 센서 간의 캘리브레이션을 수행함으로써 연산량을 최소화할 수 있다.
즉, 프로세서(142)는 두 센서의 내부 파라미터(Intrinsic parameter) 즉, 카메라 센서 고유의 캘리브레이션 파라미터와 외부 파라미터(Extrinsic parameter) 즉, 변환 벡터를 계산한 후 하기의 식 3을 통해 라이다 센서를 통해 식별된 포인트 클라우드 데이터의 포인트들을 카메라 센서를 통해 식별된 이미지 데이터 상에 투영(Projection)함으로써 두 이종 센서 간의 캘리브레이션을 수행하여 융합 데이터를 생성할 수 있다.
<식 3>
Figure 112019018569115-pat00010
이때, 외부 파라미터인 변환 벡터는 카메라 센서 및 라이다 센서로부터 마커 보트(130)까지의 거리에 기초하여 결정될 수 있다. 먼저, 프로세서(142)는 변환 벡터(
Figure 112019018569115-pat00011
)의 구성요소인
Figure 112019018569115-pat00012
를 계산하기 전
Figure 112019018569115-pat00013
를 계산할 수 있다. 이때,
Figure 112019018569115-pat00014
는 라이다 센서로부터 마커 보드(130)까지의 제1 거리(
Figure 112019018569115-pat00015
)과 카메라 센서로부터 마커 보드(130)까지의 제2 거리(
Figure 112019018569115-pat00016
)를 이용하여 하기의 식 4와 같이 계산될 수 있다.
<식 4>
Figure 112019018569115-pat00017
Figure 112019018569115-pat00018
이때, 각 센서로부터 마커 보드(130)까지의 거리
Figure 112019018569115-pat00019
는 카메라 센서의 초점 거리(
Figure 112019018569115-pat00020
), 포인트 클라우드 데이터 및 이미지 데이터로부터 각각 인식된 홀의 반지름(
Figure 112019018569115-pat00021
)을 이용하여 하기의 식 5와 같이 계산될 수 있다.
<식 5>
Figure 112019018569115-pat00022
이후, 프로세서(142)는 계산된
Figure 112019018569115-pat00023
를 이용하여 나머지 변환 벡터인
Figure 112019018569115-pat00024
를 하기의 식 6을 이용하여 계산할 수 있다.
<식 6>
Figure 112019018569115-pat00025
이와 같이 결정된 변환 벡터(
Figure 112019018569115-pat00026
)를 이용하여 라이다 센서의 포인트 클라우드 데이터를 카메라 센서의 이미지 데이터로 투영함으로써 프로세서(142)는 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하여 융합 데이터를 생성할 수 있다.
도 5는 본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 방법을 도시한 도면이다.
단계(510)에서, 데이터 융합 시스템(100)의 데이터 융합 장치(140)는 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심 등 카메라 센서 고유의 캘리브레이션 파라미터를 추정할 수 있다. 이때, 데이터 융합 장치(140)는 체커 보드를 이용하여 카메라 센서 고유의 캘리브레이션 파라미터를 추정할 수 있다.
데이터 융합 장치(140)는 이와 같은 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 수행된 카메라 센서의 캘리브레이션의 결과 카메라 행렬, 왜곡 계수 및 카메라 투영 행렬 등을 획득할 수 있으며, 이를 통해 카메라 센서 및 라이다 센서를 통해 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합할 수 있다.
단계(520)에서, 데이터 융합 장치(140)는 카메라 센서를 통해 마커 보드(130)를 촬영한 이미지 데이터를 식별하고, 단계(530)에서 라이다(LiDAR) 센서를 통해 마커 보드(130)를 센싱(Sensing)한 포인트 클라우드 데이터를 식별할 수 있다. 이때, 마커 보드(130)에 존재하는 홀은 원형일 수 있으나, 원형에 한정되지 않고 다각형 등 다양한 모양을 가질 수 있으며 다양한 개수로 존재할 수 있다.
단계(540)에서, 데이터 융합 장치(140)는 카메라 센서를 이용하여 마커 보드(130)를 촬영함으로써 식별된 이미지 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 데이터 융합 장치(140)는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출된 카메라 센서의 시야에 대응하여 수집된 이미지 데이터로부터 전체 마커 보드(130)를 포함한 모든 물체의 가장자리(boundary)를 추출하고 그 중에서 홀의 영역만을 따로 추출할 수 있다. 이때, 모든 물체의 가장자리가 추출된 이미지 데이터는 RGB 형태일 수 있는데 데이터 융합 장치(140)는 RGB 형태로 추출된 이미지 데이터를 그레이 스케일(Gray scale) 형태의 이미지 데이터로 변환할 수 있다.
데이터 융합 장치(140)는 변환된 그레이 스케일 형태의 이미지 데이터에 포함된 픽셀들에 대한 픽셀 값의 변화량에 기초하여 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 구체적으로 데이터 융합 장치(140)는 그레이 스케일 형태의 이미지 데이터에 대해 3
Figure 112019018569115-pat00027
3 크기의 형렬을 필터로 사용하여 마커 보드(130) 및 마커 보드(130) 내에 존재하는 홀의 에지를 추출할 수 있다. 이때, 데이터 융합 장치(140)는 그레이 스케일 형태의 이미지 데이터에 포함된 모든 픽셀에 대해 필터를 적용하는데 이미지 데이터 내의 어느 한 점을 기준으로 각 방향의 앞뒤 픽셀 값을 비교하여 그 변화량을 검출함으로써 가장자리 에지를 추출할 수 있다.
데이터 융합 장치(140)는 이와 같이 추출된 에지 중에서 미리 설정된 원의 중심점과 반지름의 임계값의 범위에 속하는 모든 원형의 에지를 찾고, 찾아진 원형의 에지 중에서 경계의 기울기 임계값을 정해서 경계 강도가 강한 원 만을 추출할 수 있다. 이와 같은 경계의 기울기 임계값은 상기 찾아진 원형의 에지 이미지에 기초하여 사용자에 의해 결정될 수 있으며, 데이터 융합 장치(140)는 결정된 경계의 기울기 임계값을 이용함으로써 상기 찾아진 원형의 에지 중 보다 선명한 원만을 추출할 수 있다.
단계(550)에서, 데이터 융합 장치(140)는 라이다 센서를 이용하여 마커 보드(130)를 센싱함으로써 식별된 포인트 클라우드 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 데이터 융합 장치(140)는 라이다 센서를 통해 수집된 포인트 클라우드 데이터를 카메라 센서의 시야(Field Of View, FOV)에 기초하여 분할(Segment)할 수 있다. 이때, 카메라 센서의 시야는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출될 수 있다. 분할된 포인트 클라우드 데이터에는 센싱한 마커 보드(130) 뿐만 아니라 마커 보드(130) 주변의 다양한 오브젝트들이 함께 포함될 수 있다.
데이터 융합 장치(140)는 카메라 센서의 시야에 해당하는 포인트 클라우드 데이터에서 마커 보드(130) 만을 추출하기 위하여 모든 오브젝트의 법선(Normal)과 곡률(Curvature)을 계산하여 동일한 법선과 곡률을 가지는 평면(Plane)을 식별할 수 있다. 이때, 식별된 평면은 마커 보드(130)에 해당할 수 있으며, 데이터 융합 장치(140)는 식별된 평면만을 추출하고, 나머지 부분은 제거할 수 있다.
데이터 융합 장치(140)는 추출된 평면에 포함된 포인트 클라우드 데이터에서 일정 각도를 가지는 선을 구성하는 포인트들을 제거함으로써 마커 보드(130)에 존재하는 홀을 인식할 수 있다. 보다 구체적으로 데이터 융합 장치(140)는 평면에 맵핑된 포인트들 중에서 동일한 각도를 가지는 선(Line)을 찾고, 선 분할(Line Segment) 작업을 통해 동일한 각도를 가지는 선을 추출하여 해당 선에 맵핑된 포인트들을 제거할 수 있다. 이와 같은 작업을 통해 데이터 융합 장치(140)는 마커 보드(130)에 대응하는 평면에서 홀에 대응하는 원형(Circle)의 포인트들만 남길 수 있다.
이후 데이터 융합 장치(140)는 마커 보드(130) 내에 존재하는 홀을 인식하기 위하여 원의 중심점과 반지름의 임계값을 정하고, 다양하게 검출된 다각형(원 포함) 중에서 일정 반지름을 가지는 홀을 식별할 수 있다
단계(560)에서, 데이터 융합 장치(140)는 카메라 센서 및 라이다 센서로부터 마커 보트(130)까지의 거리에 기초하여 변환 벡터를 결정할 수 있다. 이때, 라이다 센서로부터 마커 보드(130)까지의 제1 거리(
Figure 112019018569115-pat00028
)와 카메라 센서로부터 마커 보드(130)까지의 제2 거리(
Figure 112019018569115-pat00029
)는 카메라 센서의 초점 거리(
Figure 112019018569115-pat00030
), 포인트 클라우드 데이터 및 이미지 데이터로부터 각각 인식된 홀의 반지름(
Figure 112019018569115-pat00031
)을 이용하여 계산될 수 있다.
단계(570)에서, 데이터 융합 장치(140)는 결정된 변환 벡터를 이용하여 라이다 센서의 포인트 클라우드 데이터를 카메라 센서의 이미지 데이터로 투영함으로써 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하여 융합 데이터를 생성할 할 수 있다. 그리고, 데이터 융합 장치(140)는 캘리브레이션이 수행된 카메라 센서 및 라이다 센서를 이용하여 원거리에 위치한 타겟을 보다 정확하게 탐지할 수 있다.
도 6은 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제1 실시예를 도시한 도면이다.
본 발명에서는 주행 차량의 깊이 감지 컨텍스트(depth sensing context)를 이용하여 이종 센서 간 데이터 융합 방법의 성능을 평가하는 방법을 제시한다. 데이터 융합 방법은 자율 주행 차량의 현재 요구 사항을 기반으로 주변 환경을 감지할 때 다양한 측면을 고려하여 평가될 수 있다.
또한 본 발명은 자율 주행 차량 플랫폼으로 실제 도로 주행을 통해 식별된 이종 센서의 데이터들을 융합하고, 융합한 데이터의 정확도를 평가하기 위한 기준을 제시할 수 있다.
일례로, 본 발명의 데이터 융합 장치(140)는 자율 주행 차량 플랫폼에 라이다 센서 및 카메라 센서를 배치하고 자율 주행 차량의 이동에 따라 식별된 데이터들의 융합 정확도에 대한 평가 실험을 수행하였다. 자율 주행 차량 플랫폼에는 Velodyne HDL 64E-S2 라이다 센서와 Sekonix SF3321 카메라 센서 1대를 이용하여 데이터를 취득하였다. 라이다 센서 및 카메라 센서에 의해 식별된 데이터를 융합하기 전에 센서를 보정하여 카메라 센서 고유의 캘리브레이션 파라미터(내부 매개 변수와 외부 매개 변수)를 추정할 수 있다.
평가 실험은 이와 같은 자율 주행 차량 플랫폼 및 센서 배치를 통해 얻은 센서 데이터를 사용하여 수행되었다. 다양한 도로 환경 시나리오에서 30-40 km/h로 달리는 차량을 이용하여 데이터를 취득하였는데, 카메라 센서는 초당 40-60 프레임으로 이미지 데이터를 획득하고, 라이다 센서는 초당 20 프레임으로 포인트 클라우드 데이터를 획득하였다. 카메라 센서에 의해 캡처된 이미지 데이터와 라이다 센서에 의해 센싱된 포인트 클라우드 데이터는 각각 도 7의 왼쪽(710)과 오른쪽(720)과 같다.
움직이는 물체 및 고정 물체까지의 거리를 추정하는 방법은 자율 주행을 위한 필수 기술이다. 융합 데이터의 정확도를 평가하는 것은 타겟 물체까지의 거리와 관련된 요소를 고려하여 검증할 수 있다.
데이터 융합 장치(140)는 도 6과 같이 타겟 물체까지의 거리가 변할 때, 융합 데이터의 정확도를 측정하여 평균 오차를 비교할 수 있다. 구체적으로 데이터 융합 장치(140)는 카메라 센서를 통해 식별된 이미지 데이터의 참조 영역에 라이다 센서의 포인트들이 얼마나 맵핑되어 정렬되었는지를 분석함으로써 융합 데이터의 정확도를 평가할 수 있다.
일례로, 표 1은 동일한 평면 마커 보드를 거리를 다르게 실험하여 카메라 센서를 통해 식별된 이미지 데이터의 픽셀들과 라이다 센서를 통해 식별된 포인트 클라우드 데이터의 포인트들을 융합한 분석 결과이다. 이 평가 방법은 차량으로부터 20m(a), 30m(b) 및 40m(c)의 거리에서 각각 실험을 수행하였으며, 1m ㅧ 1.5m 크기의 동일한 평면 보드를 사용하였다.
평면 보드의 모서리(Coner)에는 카메라 센서의 이미지 데이터에서 참조 영역을 표시하기 위해 별도의 테이프를 사용하여 표시하였으며, 라이다 센서의 포인트 클라우드 데이터 중 테이프로 표시된 참조 영역에 일치하는 포인트들을 찾아서 정렬 정도를 측정함으로써 융합 데이터의 정확도를 평가하였다.
다시 말해, 데이터 융합 장치(140)는 카메라 센서와 라이다 센서를 통해 식별된 데이터들을 융합한 후 이미지 데이터에 포함된 각 참조 영역의 픽셀들 위치와 해당 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 통해 융합 데이터의 정확도를 평가할 수 있다.
표 1에서와 같이 평가 실험을 수행한 후 통계 분석을 해본 결과, 참조 영역에 대응하는 이미지 데이터의 픽셀들 위치와 해당 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 평균 오차가 고해상도 카메라의 허용오차 범위인 35 픽셀보다도 낮은 결과를 보이는 것을 확인할 수 있다. 즉, 본 발명의 데이터 융합 장치(140)를 통해 융합된 데이터의 정확도가 높다는 것을 알 수 있다.
Distance Position Camera (Pixel index) LiDAR (Pixel index) Pixel Difference
x y x y x y
20 meters Corner 1 733 363 729 361 4 2
Corner 2 1096 360 1082 348 14 12
30 meters Corner 1 847 398 836 406 11 8
Corner 2 1011 398 986 384 25 14
40 meters Corner 1 847 409 802 383 45 26
Corner 2 1013 409 982 400 31 9
도 8은 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제2 실시예를 도시한 도면이다.
데이터 융합 장치(140)는 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 픽셀과 포인트 간의 정렬 점수를 계산함으로써 상기 융합 데이터의 정확도를 평가할 수 있다.
다시 말하자면, 데이터 융합 장치(140)는 카메라 센서의 이미지 데이터에서 특정 객체의 픽셀 값이 해당 강도 값(intensity value) 기반의 RGB 포인트 값과 일치하는 비율 정도를 측정하여 융합 데이터의 정확도를 평가할 수 있다.
일례로, 데이터 융합 장치(140)는 도 8의 오른쪽(820)과 같이 포인트 클라우드 데이터의 포인트들을 RGB 기반의 강도 값(intensity value)으로 변환하여 시각화 할 수 있다. 먼저 데이터 융합 장치(140)는 라이다 센서를 통해 식별된 3D 포인트 클라우드 데이터를 2D 포인트 클라우드 데이터로 변환하고, 변환된 2D 포인트 클라우드 데이터와 동일한 위치(position)에 있는 2D 이미지 데이터의 픽셀에 대한 색상값으로 2D 포인트 클라우드 데이터의 강도 값을 대체할 수 있다. 이때 픽셀과 포인트 간의 정렬 점수는 RGB로 변환된 포인트 클라우드 데이터의 포인트에 정확히 맵핑된 이미지 데이터의 픽셀 개수 비율을 기반으로 계산될 수 있다.
도 8을 참고하면, 동일한 객체를 나타내는 이미지 데이터(810)와 포인트 클라우드들을 시각화한 융합 데이터(820)는 동일한 좌표계에서 정확하게 정렬되었음을 보여준다. 표 2는 실제 도로 주행을 통해 획득한 데이터를 바탕으로 융합 데이터의 정확도를 통계 분석한 것으로써, 본 발명의 데이터 융합 장치(140)를 통해 생성된 융합 데이터를 이용하여 평균 89% 정도로 동일한 물체를 정확히 찾아낸 결과를 보여준다.
Scene Object ID Alignment Score (in %)
Scene 1 Object 1 91
Object 2 86
도 9는 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제3 실시예를 도시한 도면이다.
도 9를 참고하면, 데이터 융합 장치(140)는 자율주행 차량을 위한 타겟의 깊이 추정을 수행함으로써 융합 데이터의 정확도를 평가할 수 있다. 데이터 융합 장치(140)는 주변 환경에서 차량의 깊이 추정을 위해 카메라 센서의 이미지 데이터에 정렬된 포인트 클라우드 데이터의 집합을 이용할 수 있다.
일례로, 데이터 융합 장치(140)는 차량의 깊이를 차량의 이미지에 대응하는 픽셀들 상에 정렬된 포인트들을 이용하여 추정할 수 있다. 보다 구체적으로 데이터 융합 장치(140)는 일정한 차량 이미지의 바운딩 박스(bounding box)에 포함된 픽셀들 상에 정렬된 포인트들의 거리(depth) 평균값을 이용하여 해당 차량까지의 추정 거리를 판단할 수 있다. 이때, 이미지 데이터에서의 차량 인지는 기존의 차량 인지 알고리즘을 사용하여 인식할 수 있다.
실제도로 시나리오에서 수행된 실험 결과의 통계적 분석은 표 3과 같으며, 해당 장면의 이미지 데이터는 도 9와 같을 수 있다. 다양한 거리에 떨어져 있는 차량들이 포함된 네 개 이미지 데이터가 평가를 위해 고려되었다. 이 이미지 데이터들은 35km/h로 주행하는 동안 캡처되었다.
데이터 융합 장치(140)는 이와 같이 획득한 차량까지의 추정 거리를 레이저 거리 측정기와 같은 별도의 거리 측정 센서(150)를 사용하여 얻은 실제 측정 거리와 비교함으로써 융합 데이터의 정확도를 평가할 수 있다. 즉, 융합 데이터에서 깊이 추정의 정확도는 실제 측정 거리와 추정 거리의 차이를 고려하여 계산될 수 있다.
예를 들어, Scene 4(940)의 C3 차량은 80m 이상 떨어진 거리에서 측정된 차량으로 실제 측정 거리와 추정 거리의 차이가 9cm 임을 확인할 수 있다. 이와 같은 차이는 최대 거리 오차의 허용 기준 내에 존재하므로 본 발명의 데이터 융합 장치(140)를 통해 생성된 융합 데이터의 정확도가 높다는 것을 알 수 있다.
Scene Vehicles Actual Distance (m) Estimated Distance (m) Error (m)
Scene 1(910) C1 18.75 18.78 0.03
Scene 2(920) C1 19.42 19.46 0.04
C2 40.88 40.92 0.04
Scene 3(930) C1 8.01 7.98 -0.03
C2 52.35 52.42 0.07
C3 63.08 63.15 0.07
C4 76.48 76.56 0.08
Scene 4(940) C1 44.69 44.6 -0.09
C2 58.55 58.62 0.07
C3 83.58 83.67 0.09
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
100 : 데이터 융합 시스템
110 : 제1 센서
120 : 제2 센서
130 : 마커 보드
140 : 데이터 융합 장치
141 : 통신 장치
142 : 프로세서
150 : 거리 측정 센서

Claims (15)

  1. 홀이 존재하는 마커 보드를 이용하여 캘리브레이션이 수행된 카메라 센서 및 라이다(LiDAR) 센서 각각을 통해 탐색 영역에 대한 이미지 데이터 및 포인트 클라우드 데이터를 식별하는 단계;
    상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하는 단계; 및
    상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합하는 단계
    를 포함하고,
    상기 변환 벡터는,
    상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 통해 식별되는 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정되는 이종 센서 간의 데이터 융합 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합한 융합 데이터의 정확도를 평가하는 단계
    를 더 포함하는 이종 센서 간의 데이터 융합 방법.
  5. 제4항에 있어서,
    상기 평가하는 단계는,
    상기 융합 데이터에서 상기 식별된 이미지 데이터의 참조 영역에 대응하는 픽셀들의 위치와 상기 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 방법.
  6. 제4항에 있어서,
    상기 평가하는 단계는,
    상기 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 방법.
  7. 제4항에 있어서,
    상기 평가하는 단계는,
    상기 융합 데이터에서 타겟의 이미지에 대응하는 픽셀들에 정렬된 포인트 클라우드 데이터의 포인트들을 이용하여 상기 타겟까지의 추정 거리를 판단하고, 상기 판단된 추정 거리와 기존의 타겟 인지 알고리즘을 통해 측정된 상기 타겟까지의 측정 거리를 비교하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 방법.
  8. 제1항, 제4항 내지 제7항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  9. 카메라 센서 및 라이다 센서 간의 데이터 융합을 수행하는 프로세서
    를 포함하고,
    상기 프로세서는,
    홀이 존재하는 마커 보드를 이용하여 캘리브레이션이 수행된 카메라 센서 및 라이다(LiDAR) 센서 각각을 통해 탐색 영역에 대한 이미지 데이터 및 포인트 클라우드 데이터를 식별하고,
    상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하며,
    상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합하고,
    상기 변환 벡터는,
    상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 통해 식별되는 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정되는 이종 센서 간의 데이터 융합 장치.
  10. 삭제
  11. 삭제
  12. 제9항에 있어서,
    상기 프로세서는,
    상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합한 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 융합 데이터에서 상기 식별된 이미지 데이터의 참조 영역에 대응하는 픽셀들의 위치와 상기 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 장치.
  14. 제12항에 있어서,
    상기 프로세서는,
    상기 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 장치.
  15. 제12항에 있어서,
    상기 프로세서는,
    상기 융합 데이터에서 타겟의 이미지에 대응하는 픽셀들에 정렬된 포인트 클라우드 데이터의 포인트들을 이용하여 상기 타겟까지의 추정 거리를 판단하고, 상기 판단된 추정 거리와 기존의 타겟 인지 알고리즘을 통해 측정된 상기 타겟까지의 측정 거리를 비교하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 장치.
KR1020190020480A 2018-09-28 2019-02-21 이종 센서 간의 데이터 융합 장치 및 방법 Active KR102145557B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190020480A KR102145557B1 (ko) 2019-02-21 2019-02-21 이종 센서 간의 데이터 융합 장치 및 방법
PCT/KR2019/012562 WO2020067751A1 (ko) 2018-09-28 2019-09-27 이종 센서 간의 데이터 융합 장치 및 방법
US17/274,870 US11971961B2 (en) 2018-09-28 2019-09-27 Device and method for data fusion between heterogeneous sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190020480A KR102145557B1 (ko) 2019-02-21 2019-02-21 이종 센서 간의 데이터 융합 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102145557B1 true KR102145557B1 (ko) 2020-08-18

Family

ID=72291933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190020480A Active KR102145557B1 (ko) 2018-09-28 2019-02-21 이종 센서 간의 데이터 융합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102145557B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581541A (zh) * 2020-12-23 2021-03-30 苏州挚途科技有限公司 参数的评估方法、装置和电子设备
KR102306083B1 (ko) * 2021-02-03 2021-09-29 국방과학연구소 영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법
CN113688900A (zh) * 2021-08-23 2021-11-23 阿波罗智联(北京)科技有限公司 雷达和视觉数据融合处理方法、路侧设备及智能交通系统
CN113989545A (zh) * 2021-10-11 2022-01-28 金钱猫科技股份有限公司 一种多源传感器数据融合方法、装置和存储设备
US11249174B1 (en) * 2020-07-27 2022-02-15 Tsinghua University Automatic calibration method and system for spatial position of laser radar and camera sensor
KR20220099679A (ko) * 2021-01-07 2022-07-14 충북대학교 산학협력단 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법
WO2022215898A1 (ko) * 2021-04-09 2022-10-13 현대두산인프라코어(주) 건설기계를 위한 센서 퓨전 시스템 및 센싱 방법
KR20230080130A (ko) * 2021-11-29 2023-06-07 주식회사 아이엠알 자율주행차량의 비전 센서 및 라이더 센서를 실시간 관제하는 플랫폼 연동 시각화 시스템 및 방법
CN117496161A (zh) * 2023-12-29 2024-02-02 武汉理工大学 一种点云分割方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150069927A (ko) * 2013-12-16 2015-06-24 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150069927A (ko) * 2013-12-16 2015-06-24 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11249174B1 (en) * 2020-07-27 2022-02-15 Tsinghua University Automatic calibration method and system for spatial position of laser radar and camera sensor
CN112581541A (zh) * 2020-12-23 2021-03-30 苏州挚途科技有限公司 参数的评估方法、装置和电子设备
KR20220099679A (ko) * 2021-01-07 2022-07-14 충북대학교 산학협력단 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법
KR102575224B1 (ko) * 2021-01-07 2023-09-08 충북대학교 산학협력단 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법
KR102306083B1 (ko) * 2021-02-03 2021-09-29 국방과학연구소 영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법
WO2022215898A1 (ko) * 2021-04-09 2022-10-13 현대두산인프라코어(주) 건설기계를 위한 센서 퓨전 시스템 및 센싱 방법
CN113688900A (zh) * 2021-08-23 2021-11-23 阿波罗智联(北京)科技有限公司 雷达和视觉数据融合处理方法、路侧设备及智能交通系统
CN113989545A (zh) * 2021-10-11 2022-01-28 金钱猫科技股份有限公司 一种多源传感器数据融合方法、装置和存储设备
KR20230080130A (ko) * 2021-11-29 2023-06-07 주식회사 아이엠알 자율주행차량의 비전 센서 및 라이더 센서를 실시간 관제하는 플랫폼 연동 시각화 시스템 및 방법
KR102724228B1 (ko) * 2021-11-29 2024-10-31 (주)아이엠알 자율주행차량의 비전 센서 및 라이더 센서를 실시간 관제하는 플랫폼 연동 시각화 시스템 및 방법
CN117496161A (zh) * 2023-12-29 2024-02-02 武汉理工大学 一种点云分割方法及装置
CN117496161B (zh) * 2023-12-29 2024-04-05 武汉理工大学 一种点云分割方法及装置

Similar Documents

Publication Publication Date Title
KR102145557B1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
KR102054455B1 (ko) 이종 센서 간의 캘리브레이션 장치 및 방법
US11971961B2 (en) Device and method for data fusion between heterogeneous sensors
CN106503653B (zh) 区域标注方法、装置和电子设备
US10909395B2 (en) Object detection apparatus
CN112861653A (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
CN112101092A (zh) 自动驾驶环境感知方法及系统
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
US20100295948A1 (en) Method and device for camera calibration
CN110794406A (zh) 多源传感器数据融合系统和方法
EP3637308A1 (en) Method and device for positioning vehicle, device, and computer readable storage medium
JP5287392B2 (ja) 物体識別装置
KR102498435B1 (ko) 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
CN115797408A (zh) 融合多视角图像和三维点云的目标跟踪方法及装置
US11704815B2 (en) Tracking device, tracking method, and tracking system
KR20200093271A (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
CN113989765A (zh) 一种轨道障碍物的检测方法、检测装置及可读存储介质
US9183748B2 (en) Apparatus for determining available parking space and method thereof
CN112598736A (zh) 一种基于地图构建的视觉定位方法及装置
KR102831462B1 (ko) 차량의 객체 검출 장치 및 방법
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
KR20230032628A (ko) 센서정보 처리 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
CN116958931B (zh) 用于仓储中车辆碰撞预警的方法及计算设备
US11267130B2 (en) Robot localization method and apparatus and robot using the same

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190221

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200218

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200806

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200811

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200811

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230703

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240723

Start annual number: 5

End annual number: 5

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载