+

KR20140006462A - 안전운전 지원 장치 및 방법 - Google Patents

안전운전 지원 장치 및 방법 Download PDF

Info

Publication number
KR20140006462A
KR20140006462A KR1020120073428A KR20120073428A KR20140006462A KR 20140006462 A KR20140006462 A KR 20140006462A KR 1020120073428 A KR1020120073428 A KR 1020120073428A KR 20120073428 A KR20120073428 A KR 20120073428A KR 20140006462 A KR20140006462 A KR 20140006462A
Authority
KR
South Korea
Prior art keywords
information
obstacle
rider
safe driving
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020120073428A
Other languages
English (en)
Inventor
서성진
박찬홍
김상국
유동규
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020120073428A priority Critical patent/KR20140006462A/ko
Priority to CN201310205312.1A priority patent/CN103523011B/zh
Publication of KR20140006462A publication Critical patent/KR20140006462A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은, 3차원 플래쉬 라이더를 이용하여 차량 주행시 안전운전에 위험할 수 있는 장애물을 정확하게 파악하고, 파악에 기반하여 차량을 제어하는 안전운전 지원 장치 및 방법에 관한 것이다. 본 발명에 따른 안전운전 지원 장치는, 차량의 카메라와 라이더(Lidar)를 이용하여 안전 운전을 지원하는 장치에 있어서, 상기 차량의 카메라가 수집한 카메라정보를 수신하는 카메라정보 수신부; 상기 라이더가 수집한 라이더정보를 수신하는 라이더정보 수신부; 상기 카메라정보 및 상기 라이더정보를 이용하여 장애물이 존재하는지를 파악하는 장애물 파악부; 상기 장애물이 존재한다고 파악된 경우, 상기 차량을 제어하는 제어부를 포함할 수 있다.

Description

안전운전 지원 장치 및 방법{Apparatus and Method for Assisting Safe Driving}
본 발명은 안전운전 지원 장치 및 방법에 관한 것이다. 보다 상세하게는 본 발명은, 3차원 플래쉬 라이더를 이용하여 차량 주행시 안전운전에 위험할 수 있는 장애물을 정확하게 파악하고, 파악에 기반하여 차량을 제어하는 안전운전 지원 장치 및 방법에 관한 것이다.
기존의 라이더(Lidar)를 차량에 이용한 기술로는, 라이더를 이용하여 다른 차량과의 거리 정보를 획득하고, 획득된 거리 정보와 차량의 카메라로부터 수신된 영상을 함께 이용하여 다른 차량의 존재와 다른 차량과의 거리를 인식하여 차량간의 충돌을 방지하는 시스템 등이 있다.
다만, 이러한 라이더를 이용한 차량간의 충돌을 방지하는 시스템은 보행자를 인식하는 기능이 없어, 인식한 장매물이 차량이 아니라 보행자인 경우, 보행자와의 사고에는 대비하지 못하는 문제점이 존재한다.
또한, 기존의 라이더를 이용한 장애물 인식과 이를 이용한 차량간의 충돌 방지 시스템은 주행 차선에 존재하는 차량과 추행차선이 아닌 다른 차선에 존재하는 차량을 구분하지 않는 문제점이 존재한다.
또한, 기존의 라이더를 이용한 장애물 인식은 장애물의 종류를 정확하게 파악하지 못하는 문제가 존재한다.
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 3차원 플래쉬 라이더를 이용하여 차량 주행시 안전운전에 위험할 수 있는 장애물을 정확하게 파악하고, 파악에 기반하여 차량을 제어하는 안전운전 지원 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 문제점을 해결하기 위한 안전운전 지원 장치는, 차량의 카메라와 라이더(Lidar)를 이용하여 안전 운전을 지원하는 장치에 있어서, 상기 차량의 카메라가 수집한 카메라정보를 수신하는 카메라정보 수신부; 상기 라이더가 수집한 라이더정보를 수신하는 라이더정보 수신부; 상기 카메라정보 및 상기 라이더정보를 이용하여 장애물이 존재하는지를 파악하는 장애물 파악부; 상기 장애물이 존재한다고 파악된 경우, 상기 차량을 제어하는 제어부를 포함할 수 있다.
바람직하게는, 상기 안전운전 지원 장치는, 상기 라이더정보 수신부에서 수신된 정보를 이용하여 인텐시티(Intensity) 정보와 깊이(Depth) 정보를 생성하고, 상기 생성된 정보를 이용하여 3차원 이미지를 생성하는 3D 전처리부를 더 포함하며, 상기 장애물 파악부는, 상기 카메라정보 및 생성된 3차원 이미지를 이용하여 상기 장애물이 존재하는지를 파악할 수 있다.
바람직하게는, 상기 장애물 파악부는 장애물이 존재한다고 파악되는 경우, 상기 3차원 이미지에 포함된 상기 인텐시티 정보와 상기 깊이 정보를 이용하여, 상기 장애물의 종류를 파악할 수 있다.
바람직하게는, 안전운전 지원 장치는, 보행자, 차량, 과속방지턱, 표지판 또는 맨홀 이미지와 상기 이미지와 연관된 정보를 저장하는 데이터베이스부를 더 포함하며, 상기 장애물 파악부는 상기 종류가 파악된 장애물을 상기 데이터베이스부에 저장된 이미지와 매칭하여, 매칭률이 가장 높은 이미지와 연관된 상기 정보를 이용하여 상기 장애물의 정보를 파악할 수 있다.
상기한 문제점을 해결하기 위한 안전운전 지원 방법은, 차량의 카메라와 라이더(Lidar)를 이용하여 안전 운전을 지원하는 방법에 있어서, 상기 차량의 카메라가 수집한 카메라정보를 수신하는 카메라정보 수신단계; 상기 라이더가 수집한 라이더정보를 수신하는 라이더정보 수신단계; 상기 카메라정보 및 상기 라이더정보를 이용하여 장애물이 존재하는지를 파악하는 장애물 파악단계; 상기 장애물이 존재한다고 파악된 경우, 상기 차량을 제어하는 제어단계를 포함할 수 있다.
바람직하게는, 상기 안전운전 지원 방법은, 상기 라이더정보 수신단계에서 수신된 정보를 이용하여 인텐시티(Intensity) 정보와 깊이(Depth) 정보를 생성하고, 상기 생성된 정보를 이용하여 3차원 이미지를 생성하는 3D 전처리단계를 더 포함하며, 상기 장애물 파악단계는, 상기 카메라정보 및 생성된 3차원 이미지를 이용하여 상기 장애물이 존재하는지를 파악할 수 있다.
바람직하게는, 상기 장애물 파악단계는 장애물이 존재한다고 파악되는 경우, 상기 3차원 이미지에 포함된 상기 인텐시티 정보와 상기 깊이 정보를 이용하여, 상기 장애물의 종류를 파악할 수 있다.
바람직하게는, 안전운전 지원 방법은, 보행자, 차량, 과속방지턱, 표지판 또는 맨홀 이미지와 상기 이미지와 연관된 정보를 저장하는 데이터베이스단계를 더 포함하며, 상기 장애물 파악단계는 상기 종류가 파악된 장애물을 상기 저장된 이미지와 매칭하여, 매칭률이 가장 높은 이미지와 연관된 상기 정보를 이용하여 상기 장애물의 정보를 파악할 수 있다.
본 발명은 장애물의 종류를 정확하게 파악하여, 상황에 적절하도록 차량을 제어할 수 있다. 이에 따라, 운전자는 보다 편안하고 안전한 운전을 할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 안전운전 지원 장치에 관한 블록도이다.
도 2는 본 발명에 따른 안전운전 지원 장치의 장애물 파악부의 일예를 설명하는 블록도이다.
도 3은 장애물종류 파악부(164)에서 이미지 정보를 이용하여 장애물의 존재여부를 파악할 때, 수학식 1을 적용한 결과의 일예를 나타내는 도이다.
도 4는 본 발명의 바람직한 실시예에 따른 안전운전 지원 방법에 관한 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하의 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
어떤 구성요소가 다른 구성요소에 “연결되어”있다거나 “접속되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다거나 “직접 접속되어”있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 발명에 따른 장애물 구분 인식 장치 및 표지판 인식 장치는 라이더(Lidar)를 이용한다. 바람직하게는 3D 플래쉬 라이더(3D Flash Lidar)를 이용할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 안전운전 지원 장치에 관한 블록도이다.
도 1을 참조하면, 안전운전 지원 장치(100)는 카메라정보 수신부(110), 라이더정보 수신부(120), 영상신호처리부(130), 2D/3D 정합부(150), 3D 전처리부(140), 장애물 파악부(160), 데이터베이스부(170) 및/또는 제어부(180)를 포함한다.
카메라정보 수신부(110)는 차량에 설치된 카메라가 수집한 정보를 수신한다. 카메라가 수집한 정보는 영상 또는 이미지 정보를 포함할 수 있다.
라이더정보 수신부(120)는 라이더가 수집하는 정보를 수신한다.
카메라와 라이더는 차량 전방의 정보 수집이 용이하게 설치되는 것이 바람직하다. 일 예로, 카메라와 라이더는 차량의 윈드실드 바로 뒤쪽과 천장의 룸미러 사이에 설치될 수 있다.
카메라정보 수신부(110)에서 수신된 카메라 정보는 영상신호처리부(130)로 전송된다. 카메라정보 수신부(110)에서 수신된 카메라 정보는 라이더의 필드오브뷰(FOV, Field of View)영역을 2D 영상으로 촬상한 정보가 포함될 수 있다.
영상신호처리부(130)는 카메라 정보를 수신하여 카메라 정보에 포함된 영상 또는 이미지의 처리 속도를 향상시키기 위하여 사이즈와 포맷을 변경하고, 화질 개선 작업을 수행한다. 영상신호처리부(130)는 사이즈와 포맷을 변경하고 화질 개선 작업을 수행한 정보를 2D/3D 정합부(150)로 전송한다. 영상신호처리부(130)에서 2D/3D 정합부(150)로 전송되는 정보는 2D 영상 정보일 수 있다.
2D/3D 정합부(150)는 영상신호처리부(130)에서 전송받은 정보와 3D 전처리부(140)에서 전송받은 정보를 이용하여 관심영역의 이미지를 추출한다. 보다 구체적인 설명은 3D 전처리부(140)를 설명한 후 다시 설명한다.
3D 전처리부(140)는 라이더정보 수신부(120)에서 라이더가 수집한 정보를 전송받고, 수집한 정보 중 라이더의 수광 어레이부에서 수광된 위치 및 파장의 세기를 이용하여 인텐시티(Intensity) 정보를 생성한다. 또한, 3D 전처리부(140)는 라이더의 수광 어레이부에서 수광된 시간에 따라서 깊이(Depth) 정보를 생성한다.
3D 전처리부(140)는 생성된 인텐시티 정보와 깊이 정보를 이용하여 3차원 볼륨 이미지를 생성할 수 있다.
2D/3D 정합부(150)는 영상신호처리부(130)에서 전송받은 2D영상 정보와 3D 전처리부(140)에서 생성된 3차원 볼륨 이미지를 이용하여 관심영역의 이미지를 추출할 수 있다.
2D/3D 정합부(150)에서 추출된 이미지는 장애물 파악부(160)로 전송되어 이용될 수 있다.
장애물 파악부(160)는 영상신호처리부(130), 3D 전처리부(140) 및 2D/3D 정합부(150)에서 정보를 수신하여 장애물의 존재를 파악하고, 장애물의 종류를 파악하며 또한 장애물의 정보를 파악할 수 있다.
여기서 장애물이란, 일반적으로 다른 차량, 보행자, 맨홀 또는 과속방지턱 등 차량의 주행 또는 안전운전을 방해하는 요소를 말하며, 도로 상에 투척된 물건, 교통사고 파편 등도 포함될 수 있다.
도 2는 본 발명에 따른 안전운전 지원 장치의 장애물 파악부의 일예를 설명하는 블록도이다.
도 2를 참조하면, 장애물 파악부(160)는 장애물존재 파악부(162), 장애물종류 파악부(164) 및 장애물정보 파악부(166)를 포함할 수 있다.
장애물존재 파악부(162)는 3D 전처리부에서 생성된 3D 볼륨 이미지를 이용하여 장애물의 존재를 파악한다.
구체적으로, 장애물존재 파악부(162)는 3D볼륨 이미지에 포함된 인텐시티 정보를 이용하여 장애물의 존재를 파악한다. 인텐시티값은 물체마다 상이한바, 기 설정된 도로의 인텐시티값의 범위를 벗어나는 경우, 도로가 아닌 다른 물체가 도로상에 존재한다고 파악할 수 있다.
장애물존재 파악부(162)는 장애물의 존재여부를 파악할 때, 이미지에서 관심영역의 이미지만을 절삭하여 장애물의 존재여부 파악을 수행할 수 있으며, 이러한 관심영역은 2D/3D 정합부(150)에서 지정될 수 있다. 관심영역은 차량의 전방, 차량이 주행하는 차선 또는 차량이 주행하는 차선과 양 옆차선 등이 될 수 있다.
장애물존재 파악부(162)는 3차원 볼륨 이미지에 포함된 뎁스 정보를 이용하여 장애물이 존재하는 위치와 장애물과 차량과의 거리에 관한 정보도 획득할 수 있다.
장애물존재 파악부(162)에서 장애물이 존재한다고 파악된 경우, 장애물종류 파악부(164)는 영상신호처리부(130), 3D 전처리부(140) 또는 2D/3D 정합부(150)에서 생성된 이미지 정보를 이용하여 장애물의 종류를 파악한다.
장애물종류 파악부(164)는 이용하는 이미지 정보에서 이미지 픽셀에 대한 엣지 정보를 추출할 수 있다. 장애물존재 파악부(162)가 이미지 픽셀에 대한 엣지 정보를 추출하는 것은 수학식 1과 같은 그라디언트 산출 공식을 이용할 수 있다.
Figure pat00001
각 픽셀에 대한 각도 정보를 기준으로 크기값인 G(x,y)를 누적하고, 이를 전체 픽셀값으로 나누면 그라디언트 히스토 그램(HOG, Histogram of Gradient) 값을 획득 할 수 있다.
도 3은 장애물종류 파악부(164)에서 이미지 정보를 이용하여 장애물의 존재여부를 파악할 때, 수학식 1을 적용한 결과의 일예를 나타내는 도이다.
도 3을 참조하면, 수학식 1을 이미지에 적용하면, 이미지에서 특정 물체의 윤곽선 정보가 표시됨을 볼 수 있다.
즉, 이미지 (a)에서 수학식 1을 적용하여 획득한 윤곽선 정보를 표현한 것이 (b)가 된다. 이미지 (c)에서 수학식 1을 적용하여 획득한 윤곽선 정보를 표현한 것이 (d)가 된다.
장애물종류 파악부(164)는 이러한 윤곽선 정보를 기준으로 장애물의 종류를 추론할 수 있다.
구체적으로 장애물종류 파악부(164)는 데이터베이스부(170)에 저장된 이미지와 윤곽선 정보를 담은 이미지를 매칭하여 장애물 종류를 파악할 수 있다. 데이터베이스부(170)는 다른 차량, 보행자, 맨홀 또는 과속방지턱 등 다양한 장애물들을 종류별로 각각 수많은 이미지가 저장되어 있다. 매칭을 위한 연산에 과부하가 걸리지 않는다면, 데이터베이스부(170)에 저장된 이미지는 많을수록 바람직하다.
데이터베이스부(170)는 각 이미지와 관련된 정보를 연관시켜 저장될 수 있다.
예를 들어, 데이터베이스부(170)에 저장된 이미지가 맨홀인 경우, 맨홀의 지름, 크기 등에 관한 정보가 연관되어 저장될 수 있으며, 저장된 이미지가 과속방지턱인 경우, 과속방지턱의 높이, 넓이 또는 폭 등에 관한 정보가 연관되어 저장될 수 있다. 또는, 데이터베이스부(170)에 저장된 이미지가 차량인 경우, 해당 차량의 종류, 가속력 등에 관한 정보가 연관되어 저장될 수 있다.
장애물정보 파악부(166)는 장애물종류 파악부(164)에서 파악한 윤곽선 정보와 가장 매칭되는 데이터베이스부(170)의 이미지와 연관된 정보를 획득하여 해당 장애물의 정보를 파악할 수 있다. 파악된 정보는 제어부(180)에서 이용될 수 있다.
제어부(180)는 파악된 장애물 정보에 기반하여 차량을 제어할 수 있다.
구체적으로, 제어부(180)는 차량의 크락션(Klaxon), 차량의 브레이크, 차량의 가속페달, 차량의 안전벨트, 차량의 램프 또는 차량의 시트(Seat) 등을 제어하여 운전자의 안전운전을 지원한다.
예를 들어, 파악된 장애물이 보행자인 경우, 제어부(180)는 차량의 크락션이 동작되도록 제어하여 보행자 및 운전자에게 위험을 알릴 수 있다.
파악된 장애물이 차량인 경우, 제어부(180)는 차량의 브레이크가 동작되도록 제어하여 차간거리를 확보할 수 있다.
파악된 장애물이 맨홀인 경우, 제어부(180)는 차량의 안전벨트나 차량의 시트를 진동시켜 운전자에게 주의를 줄 수 있으며, 장애물정보 파악부(166)에서 파악된 맨홀의 정보를 디스플레이나 내비게이션의 음성 등을 이용하여 출력할 수 있다.
파악된 장애물이 과속방지턱인 경우, 차량의 브레이크가 동작되도록 제어할 수 있다.
다만, 이러한 예는 하나의 실시예에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 예를 들면, 파악된 장애물이 보행자인 경우, 제어부(180)는 차량의 크락션과 차량의 램프를 동작시켜 보행자에게 주의를 줌과 동시에 브레이크를 제어하여 돌발상황에 대처하도록 차량을 제어할 수도 있다.
본 발명에 따른 안전운전 지원 장치는 장애물의 종류를 정확하게 파악하여, 상황에 적절하도록 차량을 제어할 수 있다. 이에 따라, 운전자는 보다 편안하고 안전한 운전을 할 수 있다.
도 4는 본 발명의 바람직한 실시예에 따른 안전운전 지원 방법에 관한 흐름도이다.
도 4를 참조하면, 카메라정보 수신부(110)가 2D 영상정보인 카메라 정보를 수신한다(S410 단계).
카메라정보 수신부(110)에서 수신된 카메라 정보는 영상신호처리부(130)에서 사이즈와 포맷 변경이 이루어지며, 화질개선작업도 수행될 수 있다(S420 단계)
라이더정보 수신부(120)는 라이더에서 수집된 라이더 정보를 수신한다(S430 단계).
3D 전처리부(140)는 라이더정보 수신부(120)에서 라이더가 수집한 정보를 전송받아 인텐시티 정보 및 깊이 정보를 생성하고, 생성된 인텐시티 정보 및 깊이 정보를 이용하여 3D 볼륨 이미지를 생성한다(S440 단계).
2D/3D 정합부(150)는 영상신호처리부(130)에서 처리한 2D영상정보인 카메라 정보와 3차원 볼륨 이미지를 이용하여 관심영역 이미지를 추출한다(S450 단계).
장애물 파악부(160)의 장애물존재 파악부(162)는 관심영역 이미지 또는 3D 볼륨 이미지에서 장애물의 존재여부를 파악한다(S460 단계).
장애물이 존재한다고 파악된 경우, 장애물 파악부(160)의 장애물종류 파악부(164)는 장애물의 종류를 파악한다(S470 단계).
또한, 장애물정보 파악부(166)는 데이터베이스부(170)를 이용하여 장애물의 정보를 파악할 수 있다(S480 단계).
제어부(180)는 파악된 장애물의 종류 또는 장애물의 정보를 이용하여 차량을 제어하여 운전자의 안전운전을 지원할 수 있다(S490 단계).
본 발명의 바람직한 실시예에 따른 안전운전 지원 장치(100)의 블록도는 발명의 원리를 구체화하는 예시적인 개념적 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도는 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (8)

  1. 차량의 카메라와 라이더(Lidar)를 이용하여 안전 운전을 지원하는 장치에 있어서,
    상기 차량의 카메라가 수집한 카메라정보를 수신하는 카메라정보 수신부;
    상기 라이더가 수집한 라이더정보를 수신하는 라이더정보 수신부;
    상기 카메라정보 및 상기 라이더정보를 이용하여 장애물이 존재하는지를 파악하는 장애물 파악부;
    상기 장애물이 존재한다고 파악된 경우, 상기 차량을 제어하는 제어부를 포함하는 것을 특징으로 하는 안전운전 지원 장치.
  2. 제 1 항에 있어서,
    상기 안전운전 지원 장치는,
    상기 라이더정보 수신부에서 수신된 정보를 이용하여 인텐시티(Intensity) 정보와 깊이(Depth) 정보를 생성하고, 상기 생성된 정보를 이용하여 3차원 이미지를 생성하는 3D 전처리부를 더 포함하며,
    상기 장애물 파악부는, 상기 카메라정보 및 생성된 3차원 이미지를 이용하여 상기 장애물이 존재하는지를 파악하는 것을 특징으로 하는 안전운전 지원 장치.
  3. 제 2 항에 있어서,
    상기 장애물 파악부는 장애물이 존재한다고 파악되는 경우, 상기 3차원 이미지에 포함된 상기 인텐시티 정보와 상기 깊이 정보를 이용하여, 상기 장애물의 종류를 파악하는 것을 특징으로 하는 안전운전 지원 장치.
  4. 제 3 항에 있어서,
    안전운전 지원 장치는,
    보행자, 차량, 과속방지턱, 표지판 또는 맨홀 이미지와 상기 이미지와 연관된 정보를 저장하는 데이터베이스부를 더 포함하며,
    상기 장애물 파악부는 상기 종류가 파악된 장애물을 상기 데이터베이스부에 저장된 이미지와 매칭하여, 매칭률이 가장 높은 이미지와 연관된 상기 정보를 이용하여 상기 장애물의 정보를 파악하는 것을 특징으로 하는 안전운전 지원 장치.
  5. 차량의 카메라와 라이더(Lidar)를 이용하여 안전 운전을 지원하는 방법에 있어서,
    상기 차량의 카메라가 수집한 카메라정보를 수신하는 카메라정보 수신단계;
    상기 라이더가 수집한 라이더정보를 수신하는 라이더정보 수신단계;
    상기 카메라정보 및 상기 라이더정보를 이용하여 장애물이 존재하는지를 파악하는 장애물 파악단계;
    상기 장애물이 존재한다고 파악된 경우, 상기 차량을 제어하는 제어단계를 포함하는 것을 특징으로 하는 안전운전 지원 방법.
  6. 제 5 항에 있어서,
    상기 안전운전 지원 방법은,
    상기 라이더정보 수신단계에서 수신된 정보를 이용하여 인텐시티(Intensity) 정보와 깊이(Depth) 정보를 생성하고, 상기 생성된 정보를 이용하여 3차원 이미지를 생성하는 3D 전처리단계를 더 포함하며,
    상기 장애물 파악단계는, 상기 카메라정보 및 생성된 3차원 이미지를 이용하여 상기 장애물이 존재하는지를 파악하는 것을 특징으로 하는 안전운전 지원 방법.
  7. 제 6 항에 있어서,
    상기 장애물 파악단계는 장애물이 존재한다고 파악되는 경우, 상기 3차원 이미지에 포함된 상기 인텐시티 정보와 상기 깊이 정보를 이용하여, 상기 장애물의 종류를 파악하는 것을 특징으로 하는 안전운전 지원 방법.
  8. 제 7 항에 있어서,
    안전운전 지원 방법은,
    보행자, 차량, 과속방지턱, 표지판 또는 맨홀 이미지와 상기 이미지와 연관된 정보를 저장하는 데이터베이스단계를 더 포함하며,
    상기 장애물 파악단계는 상기 종류가 파악된 장애물을 상기 저장된 이미지와 매칭하여, 매칭률이 가장 높은 이미지와 연관된 상기 정보를 이용하여 상기 장애물의 정보를 파악하는 것을 특징으로 하는 안전운전 지원 방법.
KR1020120073428A 2012-07-05 2012-07-05 안전운전 지원 장치 및 방법 Ceased KR20140006462A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120073428A KR20140006462A (ko) 2012-07-05 2012-07-05 안전운전 지원 장치 및 방법
CN201310205312.1A CN103523011B (zh) 2012-07-05 2013-05-29 安全驾驶支持装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120073428A KR20140006462A (ko) 2012-07-05 2012-07-05 안전운전 지원 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140006462A true KR20140006462A (ko) 2014-01-16

Family

ID=49925483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120073428A Ceased KR20140006462A (ko) 2012-07-05 2012-07-05 안전운전 지원 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20140006462A (ko)
CN (1) CN103523011B (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150104409A (ko) * 2014-03-05 2015-09-15 현대모비스 주식회사 센서를 이용한 차량 인식 시스템 및 그 방법
KR20150143145A (ko) * 2014-06-13 2015-12-23 현대모비스 주식회사 차량자동제어방법 및 차량자동제어장치
CN105365820A (zh) * 2015-08-07 2016-03-02 现代富博（天津）智能装备科技有限公司 一种汽车视觉安全辅助驾驶方法及装置
KR20180028149A (ko) * 2016-09-08 2018-03-16 현대자동차주식회사 차량 및 그 제어방법
KR20200140769A (ko) * 2014-03-05 2020-12-16 현대모비스 주식회사 센서를 이용한 차량 인식 시스템 및 방법
EP3658950A4 (en) * 2017-08-08 2020-12-23 Waymo LLC ROTARY LIDAR WITH COALIGNED IMAGER
EP3904994A4 (en) * 2018-12-27 2022-10-05 Yanmar Power Technology Co., Ltd. Obstacle detection system for work vehicle
KR20230153549A (ko) * 2022-04-28 2023-11-07 한국도로공사 건설장비의 스마트 자동제동장치 및 그 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150051735A (ko) * 2013-11-05 2015-05-13 현대모비스 주식회사 주차 보조 시스템 및 그 방법
KR101644370B1 (ko) * 2014-10-23 2016-08-01 현대모비스 주식회사 물체 검출 장치 및 그 동작 방법
CN105652286A (zh) * 2014-12-04 2016-06-08 财团法人金属工业研究发展中心 用于防撞的立体深度感测系统及其运作方法
US9505404B2 (en) * 2015-04-10 2016-11-29 Jaguar Land Rover Limited Collision avoidance system
TWI618644B (zh) * 2016-05-06 2018-03-21 財團法人金屬工業研究發展中心 Image overlay method
US9925979B2 (en) * 2016-06-06 2018-03-27 Robert Bosch Gmbh Autonomous braking failure management in pedestrian protection
JP6980897B2 (ja) * 2018-03-12 2021-12-15 日立Astemo株式会社 車両制御装置
CN108583434B (zh) * 2018-04-17 2020-05-15 北京车和家信息技术有限公司 辅助驾驶方法、装置及系统
CN109556625A (zh) * 2018-11-30 2019-04-02 努比亚技术有限公司 基于前挡风玻璃的导航方法、装置、导航设备及存储介质
CN110550038B (zh) * 2019-09-30 2021-02-09 重庆元韩汽车技术设计研究院有限公司 一种智能驾驶决策信息采集系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096510A (ja) * 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
JP2007255979A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2008269073A (ja) * 2007-04-17 2008-11-06 Denso Corp 車両用物体検出装置
JP2010185769A (ja) * 2009-02-12 2010-08-26 Toyota Motor Corp 物体検出装置
JP2011069626A (ja) * 2009-09-24 2011-04-07 Hitachi Automotive Systems Ltd 障害物検知装置
KR101030763B1 (ko) * 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
KR20120052691A (ko) * 2010-11-16 2012-05-24 한국과학기술연구원 거리 센서를 이용한 연석 탐지 방법 및 이를 이용한 무인 자율 주행 차량

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3330313B2 (ja) * 1997-12-12 2002-09-30 本田技研工業株式会社 物体検知手段を備える車両の制御装置
DE60226817D1 (de) * 2001-08-23 2008-07-10 Nissan Motor Fahrassistenzsystem
JP3867665B2 (ja) * 2002-12-12 2007-01-10 日産自動車株式会社 車両用運転操作補助装置およびその装置を備えた車両
US8355852B2 (en) * 2007-05-04 2013-01-15 GM Global Technology Operations LLC Slow or stopped vehicle ahead advisor with digital map integration
DE102007048848A1 (de) * 2007-10-11 2009-04-16 Robert Bosch Gmbh Raumauflösendes Fahrerassistenzsystem
US8692980B2 (en) * 2010-11-01 2014-04-08 Advanced Scientific Concepts, Inc. Flash LADAR collision avoidance system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096510A (ja) * 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
JP2007255979A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2008269073A (ja) * 2007-04-17 2008-11-06 Denso Corp 車両用物体検出装置
JP2010185769A (ja) * 2009-02-12 2010-08-26 Toyota Motor Corp 物体検出装置
JP2011069626A (ja) * 2009-09-24 2011-04-07 Hitachi Automotive Systems Ltd 障害物検知装置
KR101030763B1 (ko) * 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
KR20120052691A (ko) * 2010-11-16 2012-05-24 한국과학기술연구원 거리 센서를 이용한 연석 탐지 방법 및 이를 이용한 무인 자율 주행 차량

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150104409A (ko) * 2014-03-05 2015-09-15 현대모비스 주식회사 센서를 이용한 차량 인식 시스템 및 그 방법
KR20200140769A (ko) * 2014-03-05 2020-12-16 현대모비스 주식회사 센서를 이용한 차량 인식 시스템 및 방법
KR20150143145A (ko) * 2014-06-13 2015-12-23 현대모비스 주식회사 차량자동제어방법 및 차량자동제어장치
CN105365820A (zh) * 2015-08-07 2016-03-02 现代富博（天津）智能装备科技有限公司 一种汽车视觉安全辅助驾驶方法及装置
KR20180028149A (ko) * 2016-09-08 2018-03-16 현대자동차주식회사 차량 및 그 제어방법
EP3658950A4 (en) * 2017-08-08 2020-12-23 Waymo LLC ROTARY LIDAR WITH COALIGNED IMAGER
US10951864B2 (en) 2017-08-08 2021-03-16 Waymo Llc Rotating LIDAR with co-aligned imager
US11470284B2 (en) 2017-08-08 2022-10-11 Waymo Llc Rotating LIDAR with co-aligned imager
US11838689B2 (en) 2017-08-08 2023-12-05 Waymo Llc Rotating LIDAR with co-aligned imager
US12149868B2 (en) 2017-08-08 2024-11-19 Waymo Llc Rotating LIDAR with co-aligned imager
EP3904994A4 (en) * 2018-12-27 2022-10-05 Yanmar Power Technology Co., Ltd. Obstacle detection system for work vehicle
KR20230153549A (ko) * 2022-04-28 2023-11-07 한국도로공사 건설장비의 스마트 자동제동장치 및 그 방법

Also Published As

Publication number Publication date
CN103523011A (zh) 2014-01-22
CN103523011B (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
KR20140006462A (ko) 안전운전 지원 장치 및 방법
CN110871796B (zh) 车道保持控制装置
KR102553730B1 (ko) 차량의 충돌 회피 제어 장치 및 방법
JP4775391B2 (ja) 障害物検出装置
JP5938569B2 (ja) 方位情報を考慮する高度運転者支援システム、及びその動作方法
US9815460B2 (en) Method and device for safe parking of a vehicle
US9476976B2 (en) Object recognition apparatus and vehicle
JP7165093B2 (ja) 車両制御システム
JP6690517B2 (ja) 運転支援装置、及び運転支援方法
KR102051397B1 (ko) 안전운전 지원 장치 및 방법
CN104554259B (zh) 主动式自动驾驶辅助系统与方法
US10940856B2 (en) Driving assistance system
US20160019429A1 (en) Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
CN105988467A (zh) 自动驾驶装置
CN110271546B (zh) 车辆控制装置、车辆控制方法及存储介质
KR20120034352A (ko) 장애물 감지 시스템 및 방법
JP6129268B2 (ja) 車両用運転支援システムおよび運転支援方法
US20160371549A1 (en) Method and Device for Detecting Objects from Depth-Resolved Image Data
US9776565B2 (en) Apparatus and method for recognizing lane-changing vehicle through recognition of adjacent lane
JP2009237898A (ja) 画像認識装置
JP2017187864A (ja) 車両制御装置、車両制御方法
KR101735080B1 (ko) 주행 구간 내 위험 정보 알람 시스템 및 방법
JP2023511454A (ja) 車両走行路内のデブリの検出
CN114093023A (zh) 移动体妨碍检测装置、系统、方法及存储介质
KR20150145685A (ko) 위치정보를 이용한 제동대상 인식 장치 및 그 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120705

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170703

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120705

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181015

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20190125

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20181015

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载