KR20180064775A - 차량의 주행 지원 장치 및 이의 구동 방법 - Google Patents

Abstract

본 발명은 피치 모션(pitch motion)에 의한 이미지 검출의 오류 및 실패를 방지한 차량의 주행 지원 장치 및 이의 구동 방법에 관한 것이다. 본 발명의 실시 예에 따른 차량의 주행 지원 장치는 카메라, 레이더, 관심 영역 설정부, 물체 검출부, 이미지 보정부 및 제어부를 포함한다. 레이더는 실시간으로 전방의 하나 이상의 물체와 자차와의 거리를 검출하여 프레임 단위로 거리 정보를 생성한다. 그리고, 카메라는 실시간으로 전방을 촬영하여 프레임 단위로 제1 이미지를 생성한다. 그리고, 관심 영역 설정부는 제1 프레임의 거리 정보를 제2 이미지로 변환하고, 상기 제1 프레임의 제1 이미지 및 제2 이미지에 기초하여 관심 영역을 설정한다. 그리고, 물체 검출부는 상기 관심 영역에 위치하는 복수의 물체를 검출한다. 그리고, 피치 모션 검출부는 차량의 속도 및 고도 변화에 따른 피치 모션을 검출한다. 그리고, 이미지 보정부는 피치 모션 발생 시, 상기 제1 프레임의 제1 이미지와 제2 이미지의 기준점 차이에 기초하여 제2 프레임의 제1 이미지를 보정한다. 그리고, 보정된 제2 프레임의 제1 이미지에 기초하여 차량의 속도, 조향 및 댐퍼(Damper)을 제어한다.

Description

차량의 주행 지원 장치 및 이의 구동 방법{Driving Support Apparatus Of Vehicle And Driving Method Thereof}

본 발명은 차량의 주행 지원 장치 및 이의 구동 방법에 관한 것으로, 더욱 자세하게는 피치 모션(pitch motion)에 의한 이미지 검출의 오류 및 실패를 방지한 차량의 주행 지원 장치 및 이의 구동 방법에 관한 것이다.

차량의 주행 시 돌발 상황이 발생하면 운전자의 인지능력이 현저히 저하되어 교통 사고로 이어질 수 있다. 돌발 상황에 의한 교통 사고를 줄이기 위해서 도로 상의 상황을 감지하는 기술들이 제안되고 있다. 예로서, 레이더 장치를 이용하여 물체를 검출하고, 검출된 물체 전체에 식별자를 부여 및 맵핑(mapping)함으로써 전방 물체를 감지하는 기술이 제안되었다.

차량이 감속 또는 가속하거나, 과속 방지턱을 지나는 경우, 차량의 차체가 상하로 유동되는 피치 모션이 발생하게 된다. 차량의 주행 시 카메라와 레이더를 이용하여 전방의 차량, 물체 및 보행자의 이미지를 운전자에게 제공한다. 그러나, 종래의 기술에서는 일반적인 주행 상황과 피치 모션 상황을 구분하지 않고, 동일하게 이미지를 검출함으로써 피치 모션으로 인한 이미지에 오류가 발생한다.

특히, 피치 모션으로 인해 차선, 차량 및 보행자 검출의 오류나 실패가 발생하고, 이는 곧 안전에 영향을 주게 된다. 따라서, 피치 모션을 고려하여 이미지를 보정함으로써, 이미지 검출 오류 및 실패를 방지할 수 있는 차량의 주행 지원 장치 및 이의 구동 방법이 요구된다.

대한민국 공개특허번호: 10-2014-0123270(레이더 장치 및 영상 맵핑(mapping) 을 이용한 물체 감지 장치, 방법 및 시스템)

본 출원의 발명자들은 앞에서 언급한 문제점들을 검출하고 다음과 같은 기술적 과제를 제시한다.

본 발명은 전술한 문제점을 해결하기 위한 것으로, 피치 모션에 의한 이미지 검출 오류 또는 실패를 방지한 차량의 주행 지원 장치 및 이의 구동 방법을 제공하는 것을 기술적 과제로 한다.

또한, 레이더 및 카메라를 이용하여 피치 모션에 의한 이미지를 검출할 수 있는 차량의 주행 지원 장치 및 이의 구동 방법을 제공하는 것을 기술적 과제로 한다.

또한, 피치 모션에 의해 오류가 발생한 이미지를 보정하여 차량의 속도, 조향 및 댐퍼(Damper)을 제어할 수 있는 차량의 주행 지원 장치 및 이의 구동 방법을 제공하는 것을 기술적 과제로 한다.

또한, 피치 모션이 발생하더라도 운전자에게 안전을 제공하는 차량의 주행 지원 장치 및 이의 구동 방법을 제공하는 것을 기술적 과제로 한다.

위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 실시 예에 따른 차량의 주행 지원 장치는 카메라, 레이더, 관심영역 설정부, 물체 검출부, 피치 모션 검출부, 이미지 보정부 및 제어부를 포함한다. 레이더는 실시간으로 전방의 하나 이상의 물체와 자차와의 거리를 검출하여 프레임 단위로 거리 정보를 생성한다. 그리고, 카메라는 실시간으로 전방을 촬영하여 프레임 단위로 제1 이미지를 생성한다. 그리고, 관심 영역 설정부는 제1 프레임의 거리 정보를 제2 이미지로 변환하고, 상기 제1 프레임의 제1 이미지 및 제2 이미지에 기초하여 관심 영역을 설정한다. 그리고, 물체 검출부는 상기 관심 영역에 위치하는 복수의 물체를 검출한다. 그리고, 피치 모션 검출부는 차량의 속도 및 고도 변화에 따른 피치 모션을 검출한다. 그리고, 이미지 보정부는 피치 모션 발생 시, 상기 제1 프레임의 제1 이미지와 제2 이미지의 기준점 차이에 기초하여 제2 프레임의 제1 이미지를 보정한다. 그리고, 제어부는 보정된 제2 프레임의 제1 이미지에 기초하여 차량의 속도, 조향 및 댐퍼(Damper)을 제어한다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치는 상기 제1 프레임의 제1 이미지와 제2 이미지의 기준점 차이를 검출하고, 상기 기준점 차이에 기초하여 피치 모션을 검출한다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치는 상기 제1 프레임에서 복수의 물체와 자차와의 거리를 산출한다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치는 상기 복수의 물체 중 자차와 가장 근접한 물체를 기준으로 제2 프레임의 제1 이미지를 보정한다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치는 상기 제1 프레임에서 복수의 물체 각각에 대해서 상기 제1 이미지와 상기 제2 이미지의 기준점 차이를 산출하고, 상기 복수의 물체 중 기준점 차이가 가장 큰 물체를 기준으로 이미지를 보정한다.

본 발명의 실시 예에 따른 차량의 주행 지원 방법은 실시간으로 전방을 촬영하여 프레임 단위로 제1 이미지를 생성하는 단계를 포함한다. 그리고, 실시간으로 전방의 하나 이상의 물체와 자차와의 거리를 검출하여 프레임 단위로 거리 정보를 생성하는 단계를 포함한다. 그리고, 제1 프레임의 거리 정보를 제2 이미지로 변환하고, 상기 제1 프레임의 제1 이미지 및 제2 이미지에 기초하여 관심 영역을 설정하는 단계를 포함한다. 그리고, 상기 관심 영역에 위치하는 복수의 물체를 검출하는 단계를 포함한다. 그리고, 차량의 속도 및 고도 변화에 따른 피치 모션을 검출하는 단계를 포함한다. 그리고, 피치 모션 발생 시, 상기 제1 프레임의 제1 이미지와 제2 이미지의 기준점 차이에 기초하여 제2 프레임의 제1 이미지를 보정하는 단계를 포함한다. 보정된 제2 프레임의 제1 이미지에 기초하여 차량의 속도, 조향 및 댐퍼(Damper)을 제어하는 단계를 포함한다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 방법은 상기 피치 모션 검출하는 단계에 있어서, 상기 제1 프레임의 제1 이미지와 제2 이미지의 기준점 차이를 검출하고, 상기 기준점 차이에 기초하여 피치 모션을 검출한다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 방법은 상기 관심 영역 설정하는 단계에 있어서, 상기 제1 프레임에서 복수의 물체와 자차와의 거리를 산출한다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 방법은 상기 이미지 보정하는 단계에 있어서, 상기 복수의 물체 중 자차와 가장 근접한 물체를 기준으로 제2 프레임의 제1 이미지를 보정한다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 방법은 상기 이미지 보정하는 단계에 있어서, 상기 제1 프레임에서 복수의 물체 각각에 대해서 상기 제1 이미지와 상기 제2 이미지의 기준점 차이를 산출하고, 상기 복수의 물체 중 기준점 차이가 가장 큰 물체를 기준으로 이미지를 보정한다.

본 발명의 실시 예에 따른 차량의 주행 지원 장치 및 이의 구동 방법은 실시간으로 전방을 촬영하여 프레임 단위로 생성한 제1 이미지와 실시간으로 전방의 물체와 자차와의 거리를 검출 후, 거리 정보를 제2 이미지로 변환하고, 제1 이미지와 제2 이미지를 이용하여 관심 영역을 설정 할 수 있다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치 및 이의 구동 방법은 관심 영역에 위치하는 복수의 물체를 검출하여 전방의 차량 및 보행자의 위치를 알 수 있다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치 및 이의 구동 방법은 제1 프레임에서 피치 모션이 발생 시, 카메라 이미지와 레이더 이미지의 기준점 차이를 산출하고, 상기 제1 프레임에서 산출된 기준점 차이에 기초하여 제2 프레임의 카메라 이미지를 보정할 수 있다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치 및 이의 구동 방법은 다음 프레임 중 카메라의 이미지에 기초하여 차량의 속도, 조향 및 댐퍼(Damper)을 제어할 수 있고, 피치 모션이 발생하더라도 운전자에게 안전을 제공할 수 있다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치 및 이의 구동 방법은 피치 모션에 따른 이미지를 검출 시 복수의 물체 중 가장 근접한 물체를 기준으로 차량의 속도, 조향 및 댐퍼(Damper)을 제어하여, 피치 모션이 발생하더라도 운전자에게 안정감을 제공할 수 있다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치 및 이의 구동 방법은 카메라의 제1 이미지와 레이더의 제2 이미지의 기준점 차이가 가장 큰 물체를 기준으로 차량의 속도, 조향 및 댐퍼(Damper)을 제어하여, 피치 모션이 발생해도 운전자에게 안정감을 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 차량의 주행 지원 장치를 나타내는 도면이다
도 2a 및 2b는 피치 모션을 검출하기 위해 차량 전방에서 관심 영역을 검출하는 방법을 나타내는 도면이다.
도 3a 및 3b는 본 발명의 실시 예에 따른 차량의 주행에 따른 피치 모션 상태를 검출하는 방법을 나타낸 도면이다.
도 4a 및 4b는 본 발명의 실시 예에 따른 차량의 주행 지원 장치의 이미지 보정 방법을 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따른 차량의 주행 지원 장치의 구동 방법을 나타내는 도면이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.

제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.

여기서, 사용되는 전문 용어는 단지 특정 실시 예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서, 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

도 1은 본 발명의 실시 예에 따른 차량의 주행 지원 장치의 예를 나타내는 도면이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 차량의 주행 지원 장치(100)는 레이더(110), 카메라(120), 속도 센서(130), 관심 영역 설정부(140), 물체 검출부(150), 피치 모션 검출부(160), 이미지 보정부(170) 및 제어부(180)를 포함한다.

레이더(110)는 실시간으로 전방의 하나 이상의 물체와 자차와의 거리를 검출하여 프레임 단위로 거리 정보를 생성한다. 레이더(110)에서 생성된 거리 정보는 관심 영역 설정부(140)에 공급된다.

카메라(120)는 실시간으로 전방을 촬영하여 프레임 단위로 제1 이미지를 생성한다. 전방의 차량 및 보행자를 촬영 시, 1 프레임의 데이터가 이미지다. 카메라(120)에서 획득된 상기 제1 이미지는 관심 영역 설정부(140)에 공급된다.

속도 센서(130)는 차량의 속도 변화를 검출하고, 상기 속도 변화에 기초하여 속도 신호를 생성한다. 속도 센서(130)에서 생성된 속도 신호는 피치 모션 검출부(160)에 공급된다.

관심 영역 설정부(140)는 제1 프레임의 거리 정보를 제2 이미지로 변환하고, 상기 제1 프레임의 제1 이미지 및 제2 이미지에 기초하여 관심 영역을 설정한다.

여기서, 카메라(120)로부터의 이미지 및 레이더(110)로부터의 거리 정보를 하기 수학식 1과 하기 수학식 2을 기초하여 이미지로 변환하고, 변환된 이미지를 기초로 관심 영역을 설정한다. 이후, 설정된 관심 영역을 물체 검출부(150)에 공급한다.

구체적으로, 레이더(110)는

로 이루어진 좌표계를 하기의 수학식 1에 기초하여 영상 좌표계로 변환한다.

[수학식 1]

상기 수학식 1에서, "x"는 차량을 기준으로 전방의 위치이고, "y"는 전방의 물체의 너비이다.

상기 수학식 1에 기초하여 전방의 위치(x), 고도(z) 및 좌우방향(y)의 위치를 영상 좌표계로 변환한다. 이후, 변환한 영상 좌표계를 하기의 수학식 2에 기초하여 영상 좌표로 변환한다. 이때 하기의 수학식 2에서 고도 방향(z)은 "0(zero)"인 것으로 가정한다.

[수학식 2]

상기 수학식 2에서, "K"는 고유 파라미터 행렬식이고, "R"은 레이더의 거리 정보를 행렬식으로 변환하고, "T"는 거리 정보를 이미지로 변환하기 위한 행렬식이다. "P"는 상기 K, R, T를 기초로 이미지로 변환한 결과를 의미한다.

레이더의 이미지(P)는 고유 파라미터(K)와 거리(R) 및 입체변환(T)을 산출하여 생성된다. 레이더의 이미지(P)를 월드 좌표(W)로 변환하여 이미지 좌표(U)를 생성할 수 있다. 이미지 좌표(U)의 생성하는 방법은 이미지 보정부(170)에 대한 설명을 참조하기로 한다.

도 2a 및 2b는 피치 모션을 검출하기 위해 차량 전방에서 관심 영역을 검출하는 과정을 나타내는 도면이다.

도 2a를 참조하면, 전방의 물체의 거리를 x축으로 설정하고, 상기 수학식 2를 기초에 기초하여, 레이더(110)의 길이(

)에 물체의 높이(H)를 곱하여 얻은 결과 값을 거리(d)로 나누어 자차(210)로부터 일정 거리(d)에 위치하는 차량의 높이(H)를 산출한다. 물체의 높이(H)는 차량 시 대략 1m에서 3m 내외이고, 보행자 시 대략 0.8m에서 2m내외이다. 도 2b를 참조하면, 전방 물체(220)의 너비를 y축으로 두고 상기 수학식 2를 기초로 레이더(110)의 너비(

)에 전방 물체(220)의 너비(W2) 곱한다. 그리고, 거리(d)를 나눈 값을 픽셀로 변환한 너비(W1)를 산출한다. 전방 물체(220)의 너비(W2)는 차량 시 대략 1.5m에서 2.5m내외이고, 보행자 시 대략 0.5m에서 1.5m내외이다.

물체 검출부(150)는 상기 관심 영역에 위치하는 복수의 물체를 검출한다. 그리고, 상기 관심 영역에 위치하는 복수의 물체에 대한 제1 프레임의 제1 이미지 및 제2 이미지를 피치 모션 검출부(160)에 공급한다.

또한, 물체 검출부(150)는 제1 프레임에서 복수의 물체와 자차와의 거리를 산출하고, 제1 프레임에서 가장 근접한 물체를 검출한다. 자차와 가장 근접한 물체를 검출하는 방법은 이미지 보정부(170)에 대한 설명을 참조하기로 한다.

여기서, 복수의 물체는 전방에 존재하는 다수의 차량 및 보행자이다. 실제 상황에서는 전방에 적어도 하나 이상의 물체가 존재한다. 적어도 하나 이상의 차량 및 보행자는 동일한 속도로 이동하지 않을 수 있다.

피치 모션 검출부(160)는 물체 검출부(150)에서 공급 받은 제1 프레임의 상기 제1 이미지 및 상기 제2 이미지에 기초하여, 차량의 속도 및 고도 변화에 따른 피치 모션을 검출한다. 그리고, 제1 프레임의 피치 모션 결과를 이미지 보정부(170)에 공급된다.

여기서, 피치 모션은 차량의 상하가 변화하는 경우이다. 피치 모션의 종류로서, 크게 차량의 속도 변화로 인한 고도 변화 및 과속방지턱을 지날 때 발생하는 고도 변화가 있다. 과속방지턱에 대한 차체의 상하가 유동되는 피치 모션을 검출한다. 또한, 속도 센서(130)로부터 검출된 속도 신호를 기초로 차량의 속도 변화에 대한 차체의 상하가 유동하는 피치 모션을 검출할 수 있다.

차량이 상하로 유동되면 카메라에서 획득된 이미지 또는 영상도 상하로 유동되지만, 레이더에서 획득된 전방의 이미지는 상하로 유동되지 않는다. 따라서, 차량이 감속, 가속하거나 또는 과속 방지턱을 지나는 경우, 차량이 상하로 유동되어 카메라에서 획득된 제1 이미지의 기준점과 레이더에서 획득된 제2 이미지의 기준점에 차이가 발생한다.

구체적으로, 카메라(120)의 제1 이미지 및 레이더(110)의 상기 제2 이미지의 기준점 차이를 피치 모션 검출부(160)에서 검출한다. 예를 들어, 차량이 과속방지턱을 지나가면서 상하로 흔들리는 피치 모션이 발생하는 경우, 차량에서 레이더(110)의 제2 이미지는 피치 모션과 상관없이 검출된다. 그러나, 차량이 과속방지턱을 지나가면서 상하로 흔들리는 피치 모션이 발생하는 경우, 카메라의 제1 이미지는 변화하게 된다. 카메라의 제1 이미지와 레이더의 제2 이미지의 기준점 차이가 모든 물체에 발생하면 피치 모션으로 판단한다.

한편, 카메라의 제1 이미지 및 레이더의 제2 이미지의 기준점 차이가 특정 물체만 발생하고, 다른 물체에서는 기준점 차이의 변화가 없는 경우에는 차량의 피치 모션이 아닌 상태, 즉, 논-피치 모션(non-pitch motion)으로 판단한다.

여기서, 피치 모션 검출부(160)는 카메라의 제1 이미지 및 레이더의 제2 이미지의 기준점 차이가 발생한 경우, 카메라의 제1 이미지와 레이더의 제2 이미지의 기준점 차이가 복수의 물체에서 모두 검출되면 피치 모션이 발생했다고 검출한다. 그리고, 피치 모션의 검출결과는 이미지 보정부(170)에 공급된다.

한편, 피치 모션 검출부(160)는 상기 제1 이미지 및 제2 이미지의 기준점 차이가 복수의 물체에서 모두 발생하지 않거나, 또는 일부의 물체에서 발생하면 논-피치 모션을 검출한다. 그리고, 논 피치 모션의 검출 결과는 이미지 보정부(170)에 공급된다.

도 3a 및 3b는 본 발명의 실시 예에 따른 차량의 주행에 따른 피치 모션 상태 검출 과정을 나타낸 도면이다.

도 3a를 참조하면, 제1 이미지에 포함된 제1 물체의 제1 위치(310)와, 제2 이미지에 포함된 제1 물체의 제1 위치(340)를 검출한다. 그리고, 제1 이미지에서 검출된 제1 위치(310)와 제2 이미지에서 검출된 제1 위치(340)의 차이(d1)를 검출한다. 즉, 제1 이미지와 제2 이미지를 오버랩시켜 자차와 제1 물체와의 거리 차이(d1)를 검출한다.

또한, 제1 이미지에 포함된 제2 물체의 제2 위치(320)와, 제2 이미지에 포함된 제2 물체의 제2 위치(350)를 검출한다. 그리고, 제1 이미지에서 검출된 제2 위치(320)와 제2 이미지에서 검출된 제2 위치(350)의 차이(d2)를 검출한다. 즉, 제1 이미지와 제2 이미지를 오버랩시켜 자차와 제2 물체와의 거리 차이(d2)를 검출한다.

또한, 제1 이미지에 포함된 제3 물체의 제3 위치(330)와, 제2 이미지에 포함된 제3 물체의 제3 위치(360)를 검출한다. 그리고, 제1 이미지에서 검출된 제3 위치(330)와 제2 이미지에서 검출된 제3 위치(360)의 차이(d3)를 검출한다. 즉, 즉, 제1 이미지와 제2 이미지를 오버랩시켜 자차와 제3 물체와의 거리 차이(d3)를 검출한다. 본 발명에서는 제1 이미지와 제2 이미지의 제1 거리 차이(d1), 제2 거리 차이(d2) 및 제3 거리 차이(d3)를 기준점 차이라 정의한다. 이와 같이, 복수의 물체(예로서, 제1 물체, 제2 물체 및 제3 물체)에서 기준점 차이가 모두 발생하면 차량의 피치 모션으로 판단한다.

도 3b을 참조하면, 복수의 물체 중, 제1 물체에서는 기준점 차이가 발생하고, 제2 물체 및 제3 물체에서는 기준점 차이가 발생하지 않으면 차량의 논-피치 모션으로 판단한다.

다시, 도 1을 참조하면, 이미지 보정부(170)는 피치 모션 발생 시, 제1 프레임의 제1 이미지와 제2 이미지의 기준점 차이에 기초하여 제2 프레임의 제1 이미지를 보정한다. 한편, 논-피치 모션으로 판단되면 제2 프레임의 제1 이미지를 보정하지 않는다.

여기서, 제2 프레임의 제1 이미지는 피치 모션으로 인한 기준점 차이를 의 제1 프레임의 제1 이미지를 보정한다. 즉, 제2 프레임의 제1 이미지는 피치 모션 발생 시, 제1 프레임의 제1 이미지와 상기 제2 이미지의 기준점 차이에 기초하여 보정된 것이다.

구체적으로, 하기의 방법으로 제1 이미지를 보정할 수 있다. 상기 수학식 2을 기초로 산출된 레이더의 이미지(P)를 월드 좌표(W)로 변환하여 이미지 좌표(U)를 생성한다. 피치 모션 검출 시, 이미지 보정부(170)에서 이미지 좌표(U)를 보정하여 제2 프레임의 제1 이미지로 변환한다. 피치 모션 검출부(160)에서 상기 이미지 좌표(U)를 참조하여 논-피치 모션을 검출하면, 이미지 보정부(170)는 상기 이미지 좌표(U)를 변환하지 않는다. 즉, 제2 프레임의 제1 이미지를 보정하지 않는다.

예로서, 이미지에서 피치 모션에 의한 픽셀 변화량을 좌표로 나타낸다. 하기의 수학식 3을 이용하여, 고도 방향(z)을 기준으로 전방 물체 거리(x)에 대한 픽셀 변화량(Δz)을 검출한다.

[수학식 3]

Δz = x * tan(L)

상기 수학식 3에서, L는 전방 물체 거리(x)에 대한 고도 방향(z)의 기울기 각도이다.

이이서, 하기의 수학식 4를 이용하여 이미지에서의 피치 변화량(Δv)을 검출한다. 센서 길이(f)에 픽셀 변화량(Δz)을 곱하여 얻은 결과 값을 전방 물체 거리(x)를 나누어서 피치 변화량(Δv)을 검출한다. 이후, 검출된 피치 변화량(Δv)을 이용하여 제2 프레임의 제1 이미지를 보정한다.

[수학식 4]

Δv = f * Δz / x = f * tan(L)

도 4a 및 도 4b는 본 발명의 실시 예에 따른 차량의 주행 지원 장치의 이미지 보정 방법을 나타내는 도면이다.

도 4a를 참조하면, 피치 모션이 발생한 경우, 차량을 원점으로 지정하고, 고도(z)를 기준으로 전방 물체 거리(x)에 기초하여 픽셀 변화량(Δz)을 2차원의 그래프로 변환한다.

이어서, 도 4b를 참조하면, 픽셀 변화량(Δz)을 영상 좌표계로 변환하여 이미지에서의 피치 변화량(Δv)으로 변환한다.

자차와 복수의 물체 사이의 거리가 상이할 때, 피치 모션이 발생하면 자차와 가장 근접한 물체의 이미지 변화가 가장 크게 된다. 따라서, 본 발명에서 기준점 차이가 가장 큰 물체는 자차와 가장 근접한 물체라고 판단할 수 있다.

이미지 보정부(170)는 관심 영역에 포함된 복수의 물체 중 자차와 가장 근접한 물체를 기준으로 제2 프레임의 제1 이미지를 보정한다.

또한, 이미지 보정부(170)는 상기 제1 프레임에서 복수의 물체 각각에 대해서 제1 이미지와 제2 이미지의 기준점 차이를 산출하고, 상기 복수의 물체 중 기준점 차이가 가장 큰 물체를 기준으로 제2 프레임의 제1 이미지를 보정할 수 있다. 여기서, 기준점 차이가 가장 크다는 것은 자차와 전방에 위한 차량, 물체 또는 보행자의 고도 차이 또는 거리 차이의 변화가 크다는 것을 의미한다.

이어서, 제어부(180)는 이미지 보정부(170)에서 생성된 상기 제2 프레임의 제1 이미지에 기초하여 차량의 속도, 조향 및 댐퍼(Damper)을 제어하고 돌발 상황에 대처할 수 있다. 예를 들면, 학교 주변도로의 과속방지턱으로 인해 피치 모션의 상황인 경우에 어린 아이(보행자)가 전방에 레이더(110) 및 카메라(120)를 기초로 이미지가 검출 시 제어부(180)에서 피치 모션 상황에도 주행 지원을 보조하여 어린 아이(보행자) 및 운전자에 대한 안전을 지원한다.

이와 같이, 자차와 가장 근접한 물체를 기준으로 차량의 피치 모션 시, 돌발 상황을 대처하여 차량의 속도, 조향 및 댐퍼(Damper)을 제어할 수 있다. 이를 통해, 자차, 전방 차량 및 보행자의 안전을 확보할 수 있다. 또한, 기준점 차이가 가장 큰 물체를 기준으로 제2 프레임의 제1 이미지를 보정하여 차량의 피치 모션 시 돌발 상황을 대처하면 주행 시 안전을 확보할 수 있다.

상술한 본 발명의 실시 예에 따른 차량의 주행 지원 장치는 카메라의 제1 이미지와 레이더의 제2 이미지를 이용하여 관심 영역을 설정하고, 관심 영역에 위치하는 복수의 물체를 검출하여 전방의 차량 및 보행자의 위치를 알 수 있다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치는 제1 프레임에서 피치 모션이 발생 시, 카메라 이미지와 레이더 이미지의 기준점 차이를 산출하고, 상기 제1 프레임에서 산출된 기준점 차이에 기초하여 제2 프레임의 카메라 이미지를 보정할 수 있다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치는 피치 모션에 따른 이미지를 검출 시, 복수의 물체 중 가장 근접한 물체를 기준으로 차량의 속도, 조향 및 댐퍼(Damper)을 제어하여 피치 모션이 발생하더라도 운전자에게 안정감을 제공할 수 있다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치는 카메라의 제1 이미지와 레이더의 제2 이미지의 기준점 차이가 가장 큰 물체를 기준으로 차량의 속도, 조향 및 댐퍼(Damper)을 제어하여 피치 모션이 발생해도 운전자에게 안정감을 제공할 수 있다.

도 5는 본 발명의 실시 예에 따른 차량의 주행 지원 장치의 구동 방법을 나타내는 도면이다. 이하, 도 1 내지 도 5를 결부하여 본 발명의 실시 예에 따른 차량의 주행 지원 방법을 설명하기로 한다.

카메라(120)는 실시간으로 전방을 촬영하여 프레임 단위로 제1 이미지를 생성한다. 그리고, 레이더(110)는 전방의 하나 이상의 물체와 자차와의 거리를 검출하고, 프레임 단위로 거리 정보를 생성한다(S1). 이때, 카메라(120)는 프레임 단위로 제1 이미지를 생성하고, 레이더(110) 또한 프레임 단위로 거리 정보를 생성한다. 카메라(120)에서 생성된 제1 이미지 및 레이더(110)에서 생성된 거리 정보는 관심 영역 설정부(140)에 공급된다.

이어서, 속도 센서(130)는 차량의 속도 변화를 검출하고, 속도의 변화를 기초로 속도 신호를 생성한다(S2). 속도 센서(130)에서 생성된 속도 신호는 피치 모션 검출부(160)에 공급된다.

이어서, 관심 영역 설정부(140)는 제1 프레임의 거리 정보를 제2 이미지로 변환하고, 제1 프레임의 제1 이미지 및 제2 이미지에 기초하여 관심 영역을 설정한다(S3). 관심 영역 설정부(140)에서 설정된 관심 영역은 물체 검출부(150)에 공급된다.

수학식 2을 기초하여 관심 영역을 설정하는 방법을 구체적으로 설명하면, 레이더(110)는 영상 좌표계를 사용한다.

로 이루어진 좌표계를 상기 수학식 1에 기초하여 영상 좌표계로 변환한다. 이후, 영상 좌표계를 상기 수학식 2에 이용하여 영상 좌표로 변환한다. 이때, 상기 수학식 2에서 고도 방향(z)은 0(zero)인 것으로 가정한다.

레이더의 이미지(P)는 고유 파라미터(K)와 거리(R) 및 입체변환(T)을 산출하여 생성된다.

도 2를 결부하여 설명하면, 전방의 물체의 거리를 x축으로 설정하고, 상기 수학식 2를 기초에 기초하여, 레이더(110)의 길이(

)에 물체의 높이(H)를 곱하여 얻은 결과 값을 거리(d)로 나누어 자차(210)로부터 일정 거리(d)에 위치하는 차량의 높이(H)를 산출한다. 한편, 물체의 높이(H)는 차량 시 대략 1m에서 3m 내외이고, 보행자 시 대략 0.8m에서 2m내외이다. 도 2b를 참조하면, 전방 물체(220)의 너비를 y축으로 두고 상기 수학식 2를 기초로 레이더(110)의 너비(

)에 전방 물체(220)의 너비(W2) 곱한다. 그리고, 거리(d)를 나눈 값을 픽셀로 변환한 너비(W1)를 산출한다. 전방 물체(220)의 너비(W2)는 차량 시 대략 1.5m에서 2.5m내외이고, 보행자 시 대략 0.5m에서 1.5m내외이다.

물체 검출부(150)는 관심 영역 설정부(140)에서 검출된 상기 관심 영역을 기초로 상기 관심 영역에 위치하는 복수의 물체를 검출한다(S4). 그리고 검출된 상기 제1 이미지 및 상기 제2 이미지는 피치 모션 검출부(160)에 공급된다.

또한, 물체 검출부(150)는 복수의 물체와 자차와의 거리를 산출하고 자차와 복수의 물체와의 거리에 기초하여, 제1 프레임에서 자차와 가장 근접한 물체를 검출한다.

여기서, 복수의 물체는 전방에 존재하는 다수의 차량 및 보행자이다. 실제 상황에서는 전방에 적어도 하나 이상의 물체가 존재한다. 적어도 하나 이상의 차량 및 보행자는 동일한 속도로 이동하지 않을 수 있다.

이어서, 피치 모션 검출부(160)는 물체 검출부(150)에서 공급 받은 상기 제1 이미지 및 제2 이미지를 기초로 차량의 속도 및 고도 변화에 따른 피치 모션을 검출한다(S5).

피치 모션의 종류로서, 차량의 속도 변화로 인한 고도 변화 및 과속방지턱을 지날 때 발생하는 고도 변화가 있다. 과속방지턱에 대한 차체의 상하가 유동되는 피치 모션을 검출한다. 또한, 속도 센서(130)로부터 검출된 속도 신호를 기초로 차량의 속도 변화에 대한 차체의 상하가 유동하는 피치 모션을 검출할 수 있다.

구체적으로, 카메라(120)의 제1 이미지 및 레이더(110)의 상기 제2 이미지의 기준점 차이를 피치 모션 검출부(160)에서 검출한다. 예를 들어, 차량이 과속방지턱을 지나가면서 상하로 흔들리는 피치 모션이 발생하는 경우, 차량에서 레이더(110)의 제2 이미지는 피치 모션과 상관없이 검출된다. 그러나, 차량이 과속방지턱을 지나가면서 상하로 흔들리는 피치 모션이 발생하는 경우, 카메라의 제1 이미지는 변화하게 된다. 카메라의 제1 이미지와 레이더의 제2 이미지의 기준점 차이가 모든 물체에 발생하면 피치 모션으로 판단한다.

한편, 카메라의 제1 이미지 및 레이더의 제2 이미지의 기준점 차이가 특정 물체만 발생하고, 다른 물체에서는 기준점 차이의 변화가 없는 경우에는 차량의 피치 모션이 아닌 상태, 즉, 논-피치 모션(non-pitch motion)으로 판단한다.

여기서, 피치 모션 검출부(160)는 카메라의 제1 이미지 및 레이더의 제2 이미지의 기준점 차이가 발생한 경우, 카메라의 제1 이미지와 레이더의 제2 이미지의 기준점 차이가 복수의 물체에서 모두 검출되면 피치 모션이 발생했다고 검출한다. 그리고, 피치 모션의 검출결과는 이미지 보정부(170)에 공급된다.

한편, 피치 모션 검출부(160)는 상기 제1 이미지 및 제2 이미지의 기준점 차이가 복수의 물체에서 모두 발생하지 않거나, 또는 일부의 물체에서 발생하면 논-피치 모션을 검출한다. 그리고, 논 피치 모션의 검출 결과는 이미지 보정부(170)에 공급된다.

도 3a를 참조하면, 제1 이미지에 포함된 제1 물체의 제1 위치(310)와, 제2 이미지에 포함된 제1 물체의 제1 위치(340)를 검출한다. 그리고, 제1 이미지에서 검출된 제1 위치(310)와 제2 이미지에서 검출된 제1 위치(340)의 차이(d1)를 검출한다. 즉, 제1 이미지와 제2 이미지를 오버랩시켜 자차와 제1 물체와의 거리 차이(d1)를 검출한다.

또한, 제1 이미지에 포함된 제2 물체의 제2 위치(320)와, 제2 이미지에 포함된 제2 물체의 제2 위치(350)를 검출한다. 그리고, 제1 이미지에서 검출된 제2 위치(320)와 제2 이미지에서 검출된 제2 위치(350)의 차이(d2)를 검출한다. 즉, 제1 이미지와 제2 이미지를 오버랩시켜 자차와 제2 물체와의 거리 차이(d2)를 검출한다.

또한, 제1 이미지에 포함된 제3 물체의 제3 위치(330)와, 제2 이미지에 포함된 제3 물체의 제3 위치(360)를 검출한다. 그리고, 제1 이미지에서 검출된 제3 위치(330)와 제2 이미지에서 검출된 제3 위치(360)의 차이(d3)를 검출한다. 즉, 즉, 제1 이미지와 제2 이미지를 오버랩시켜 자차와 제3 물체와의 거리 차이(d3)를 검출한다. 본 발명에서는 제1 이미지와 제2 이미지의 제1 거리 차이(d1), 제2 거리 차이(d2) 및 제3 거리 차이(d3)를 기준점 차이라 정의한다. 이와 같이, 복수의 물체(예로서, 제1 물체, 제2 물체 및 제3 물체)에서 기준점 차이가 모두 발생하면 차량의 피치 모션으로 판단한다.

도 3b을 참조하면, 복수의 물체 중, 제1 물체에서는 기준점 차이가 발생하고, 제2 물체 및 제3 물체에서는 기준점 차이가 발생하지 않으면 차량의 논-피치 모션으로 판단한다.

상기 S5에서 피치 모션이 검출되면, 즉, 상기 제1 이미지와 상기 제2 이미지의 차이가 복수의 물체에서 모두 검출되면 피치 모션이 발생한 것으로 판단한다. 그리고, 상기 검출된 피치 모션의 발생 정보를 이미지 보정부(170)에 공급한다.

이어서, 이미지 보정부(170)는 피치 모션 검출 시, 제1 프레임의 제1 이미지와 제2 이미지의 기준점 차이에 기초하여 제2 프레임의 제1 이미지를 보정한다(S6).

상기 수학식 2을 기초로 산출된 레이더의 이미지(P)를 월드 좌표(W)로 변환하여 이미지 좌표(U)를 생성한다. 피치 모션 검출 시, 이미지 보정부(170)에서 이미지 좌표(U)를 보정하여 제2 프레임의 제1 이미지로 변환한다. 피치 모션 검출부(160)에서 상기 이미지 좌표(U)를 참조하여 논-피치 모션을 검출하면, 이미지 보정부(170)는 상기 이미지 좌표(U)를 변환하지 않는다. 즉, 제2 프레임의 제1 이미지를 보정하지 않는다.

예로서, 이미지에서 피치 모션에 의한 픽셀 변화량을 좌표로 나타낸다. 상기 수학식 3을 이용하여, 고도 방향(z)을 기준으로 전방 물체 거리(x)에 대한 픽셀 변화량(Δz)을 검출한다.

이어서, 상기 수학식 4를 이용하여 이미지에서의 피치 변화량(Δv)을 검출한다. 센서 길이(f)에 픽셀 변화량(Δz)을 곱하여 얻은 결과 값을 전방 물체 거리(x)를 나누어서 피치 변화량(Δv)을 검출한다. . 이후, 검출된 피치 변화량(Δv)을 이용하여 제2 프레임의 제1 이미지를 보정한다.

도 4a를 결부하여 설명하면, 피치 모션이 발생한 경우, 차량을 원점으로 지정하고, 고도(z)를 기준으로 전방 물체 거리(x)에 기초하여 픽셀 변화량(Δz)을 2차원의 그래프로 변환한다.

이어서, 도 4b를 참조하면, 픽셀 변화량(Δz)을 영상 좌표계로 변환하여 이미지에서의 피치 변화량(Δv)으로 변환한다.

자차와 복수의 물체 사이의 거리가 상이할 때, 피치 모션이 발생하면 자차와 가장 근접한 물체의 이미지 변화가 가장 크게 된다. 따라서, 본 발명에서 기준점 차이가 가장 큰 물체는 자차와 가장 근접한 물체라고 판단할 수 있다.

한편, 상기 S5에서, 복수의 물체 중, 제1 물체에서는 기준점 차이가 발생하고, 제2 물체 및 제3 물체에서는 기준점 차이가 발생하지 않으면 차량의 논-피치 모션으로 판단한다.

이어서, 이미지 보정부(170)는 상기 S6에서 검출된 상기 피치 모션을 기초하여, 제2 프레임의 제1 이미지로 변환한다. 한편, 논-피치 모션으로 판단되면 제2 프레임의 제1 이미지를 보정하지 않는다(S7).

하기의 방법으로 제1 이미지를 보정할 수 있다. 상기 수학식 2을 기초로 산출된 레이더의 이미지(P)를 월드 좌표(W)로 변환하여 이미지 좌표(U)를 생성한다. 피치 모션 검출 시, 이미지 보정부(170)에서 이미지 좌표(U)를 보정하여 제2 프레임의 제1 이미지로 변환한다. 피치 모션 검출부(160)에서 상기 이미지 좌표(U)를 참조하여 논-피치 모션을 검출하면, 이미지 보정부(170)는 상기 이미지 좌표(U)를 변환하지 않는다. 즉, 제2 프레임의 제1 이미지를 보정하지 않는다.

자차와 복수의 물체 사이의 거리가 상이할 때, 피치 모션이 발생하면 자차와 가장 근접한 물체의 이미지 변화가 가장 크게 된다. 따라서, 본 발명에서 기준점 차이가 가장 큰 물체는 자차와 가장 근접한 물체라고 판단할 수 있다. 이미지 보정부(170)는 관심 영역에 포함된 복수의 물체 중 자차와 가장 근접한 물체를 기준으로 제2 프레임의 제1 이미지를 보정한다.

또한, 이미지 보정부(170)는 상기 제1 프레임에서 복수의 물체 각각에 대해서 제1 이미지와 제2 이미지의 기준점 차이를 산출하고, 상기 복수의 물체 중 기준점 차이가 가장 큰 물체를 기준으로 제2 프레임의 제1 이미지를 보정할 수 있다. 여기서, 기준점 차이가 가장 크다는 것은 자차와 전방에 위한 차량, 물체 또는 보행자의 고도 차이 또는 거리 차이의 변화가 크다는 것을 의미한다.

이어서, 제어부(180)는 이미지 보정부(170)에서 보정된 상기 제2 프레임의 제1 이미지에 기초하여 차량의 속도, 조향 및 댐퍼(Damper)을 제어한다(S8). 피치 모션 검출 시 상기 제2 프레임의 제1 이미지로 공급받은 제어부(180)에서 차량의 속도, 조향 및 댐퍼(Damper)을 제어하는 방법과 논-피치 모션 검출 시 상기 이미지로 공급받은 제어부(180)에서 차량의 속도, 조향 및 댐퍼(Damper)을 제어하는 방법은 돌발 상황에 대처할 수 있다. 예를 들면, 학교 주변도로의 과속방지턱으로 인해 피치 모션의 상황인 경우에 어린 아이(보행자)가 전방에 레이더(110) 및 카메라(120)를 기초로 이미지가 검출될 경우 제어부(180)에서 피치 모션 상황에도 주행 지원을 보조하여 어린 아이(보행자) 및 운전자에 대한 안전을 지원한다.

이와 같이, 자차와 가장 근접한 물체를 기준으로 차량의 피치 모션 시, 돌발 상황을 대처하여 차량의 속도, 조향 및 댐퍼(Damper)을 제어할 수 있다. 이를 통해, 차량 주행 시 안전을 확보할 수 있다. 또한, 기준점 차이가 가장 큰 물체를 기준으로 제2 프레임의 제1 이미지를 보정하여 차량의 피치 모션 시 돌발 상황을 대처하면 차량 주행 시 안전을 확보할 수 있다. 상술한 본 발명의 실시 예에 따른 차량의 주행 지원 장치의 구동 방법은 카메라의 제1 이미지와 레이더의 제2 이미지를 이용하여 관심 영역을 설정하고, 관심 영역에 위치하는 복수의 물체를 검출하여 전방의 차량 및 보행자의 위치를 알 수 있다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치의 구동 방법은 제1 프레임에서 피치 모션이 발생 시, 카메라 이미지와 레이더 이미지의 기준점 차이를 산출하고, 상기 제1 프레임에서 산출된 기준점 차이에 기초하여 제2 프레임의 카메라 이미지를 보정할 수 있다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치의 구동 방법은 피치 모션에 따른 이미지를 검출 시, 복수의 물체 중 가장 근접한 물체를 기준으로 차량의 속도, 조향 및 댐퍼(Damper)을 제어하여 피치 모션이 발생하더라도 운전자에게 안정감을 제공할 수 있다.

또한, 본 발명의 실시 예에 따른 차량의 주행 지원 장치의 구동 방법은 카메라의 제1 이미지와 레이더의 제2 이미지의 기준점 차이가 가장 큰 물체를 기준으로 차량의 속도, 조향 및 댐퍼(Damper)을 제어하여 피치 모션이 발생해도 운전자에게 안정감을 제공할 수 있다.

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

110: 레이더
120: 카메라
130: 속도 센서
140: 관심 영역 설정부
150: 물체 검출부
160: 피치 모션 검출부
170: 이미지 보정부
180: 제어부
210: 자차
220: 전방 물체
310: 제1 물체의 제1 위치
320: 제2 물체의 제2 위치
330: 제3 물체의 제3 위치
340: 제1 물체의 제1 위치
350: 제2 물체의 제2 위치
360: 제3 물체의 제3 위치

Claims (10)

1. 실시간으로 전방의 하나 이상의 물체와 자차와의 거리를 검출하여 프레임 단위로 거리 정보를 생성하는 레이더;
   실시간으로 전방을 촬영하여 프레임 단위로 제1 이미지를 생성하는 카메라;
   제1 프레임의 거리 정보를 제2 이미지로 변환하고,
   상기 제1 프레임의 제1 이미지 및 제2 이미지에 기초하여 관심 영역을 설정하는 관심 영역 설정부;
   상기 관심 영역에 위치하는 복수의 물체를 검출하는 물체 검출부;
   차량의 속도 및 고도 변화에 따른 피치 모션을 검출하는 피치 모션 검출부;
   피치 모션 발생 시, 상기 제1 프레임의 제1 이미지와 제2 이미지의 기준점 차이에 기초하여 제2 프레임의 제1 이미지를 보정하는 이미지 보정부;
   보정된 제2 프레임의 제1 이미지에 기초하여 차량의 속도, 조향 및 댐퍼(Damper)을 제어하는 제어부;를 포함하는 차량의 주행 지원 장치.
2. 제1 항에 있어서, 상기 피치 모션 검출부는,
   상기 제1 프레임의 제1 이미지와 제2 이미지의 기준점 차이를 검출하고, 상기 기준점 차이에 기초하여 피치 모션을 검출하는 차량의 주행 지원 장치.
3. 제1 항에 있어서, 상기 물체 검출부는,
   상기 제1 프레임에서 복수의 물체와 자차와의 거리를 산출하는 차량의 주행 지원 장치.
4. 제3 항에 있어서, 상기 이미지 보정부는,
   상기 복수의 물체 중 자차와 가장 근접한 물체를 기준으로 제2 프레임의 제1 이미지를 보정하는 차량의 주행 지원 장치.
5. 제1 항에 있어서, 상기 이미지 보정부는,
   상기 제1 프레임에서 복수의 물체 각각에 대해서 상기 제1 이미지와 상기 제2 이미지의 기준점 차이를 산출하고,
   상기 복수의 물체 중 기준점 차이가 가장 큰 물체를 기준으로 이미지를 보정하는 차량의 주행 지원 장치.
6. 실시간으로 전방을 촬영하여 프레임 단위로 제1 이미지를 생성하는 단계;
   실시간으로 전방의 하나 이상의 물체와 자차와의 거리를 검출하여 프레임 단위로 거리 정보를 생성하는 단계;
   제1 프레임의 거리 정보를 제2 이미지로 변환하고, 상기 제1 프레임의 제1 이미지 및 제2 이미지에 기초하여 관심 영역을 설정하는 단계;
   상기 관심 영역에 위치하는 복수의 물체를 검출하는 단계;
   차량의 속도 및 고도 변화에 따른 피치 모션을 검출하는 단계;
   피치 모션 발생 시, 상기 제1 프레임의 제1 이미지와 제2 이미지의 기준점 차이에 기초하여 제2 프레임의 제1 이미지를 보정하는 단계;
   보정된 제2 프레임의 제1 이미지에 기초하여 차량의 속도, 조향 및 댐퍼(Damper)을 제어하는 단계;를 포함하는 차량의 주행 지원 장치의 구동 방법.
7. 제6 항에 있어서, 상기 피치 모션 검출하는 단계에 있어서,
   상기 제1 프레임의 제1 이미지와 제2 이미지의 기준점 차이를 검출하고, 상기 기준점 차이에 기초하여 피치 모션을 검출하는 차량의 주행 지원 장치의 구동 방법.
8. 제6 항에 있어서, 상기 복수의 물체를 검출하는 단계에 있어서,
   상기 제1 프레임에서 복수의 물체와 자차와의 거리를 산출하는 차량의 주행 지원 장치의 구동 방법.
9. 제8 항에 있어서, 상기 이미지 보정하는 단계에 있어서,
   상기 복수의 물체 중 자차와 가장 근접한 물체를 기준으로 제2 프레임의 제1 이미지를 보정하는 차량의 주행 지원 장치의 구동 방법.
10. 제6 항에 있어서, 상기 이미지 보정하는 단계에 있어서,
    상기 제1 프레임에서 복수의 물체 각각에 대해서 상기 제1 이미지와 상기 제2 이미지의 기준점 차이를 산출하고, 상기 복수의 물체 중 기준점 차이가 가장 큰 물체를 기준으로 이미지를 보정하는 차량의 주행 지원 장치의 구동 방법.

Images