+

KR102695518B1 - 차량 경로 가이드 방법 및 장치 - Google Patents

차량 경로 가이드 방법 및 장치 Download PDF

Info

Publication number
KR102695518B1
KR102695518B1 KR1020170012864A KR20170012864A KR102695518B1 KR 102695518 B1 KR102695518 B1 KR 102695518B1 KR 1020170012864 A KR1020170012864 A KR 1020170012864A KR 20170012864 A KR20170012864 A KR 20170012864A KR 102695518 B1 KR102695518 B1 KR 102695518B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
lane
location information
guide device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170012864A
Other languages
English (en)
Other versions
KR20180088149A (ko
Inventor
정경부
성영훈
이기창
이원희
정휘룡
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170012864A priority Critical patent/KR102695518B1/ko
Priority to US15/618,729 priority patent/US10900793B2/en
Priority to CN201710748145.3A priority patent/CN108362295B/zh
Priority to EP17188546.0A priority patent/EP3355029A1/en
Priority to EP22155998.2A priority patent/EP4016003A3/en
Publication of KR20180088149A publication Critical patent/KR20180088149A/ko
Application granted granted Critical
Publication of KR102695518B1 publication Critical patent/KR102695518B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags or using precalculated routes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • G08G1/137—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops the indicator being in the form of a map

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)

Abstract

차량 경로를 가이드하는 방법 및 장치가 개시된다. 차량 경로 가이드 장치는 교차로의 위치 정보를 이용하여 차량의 위치 정보를 수정하고, 차량의 위치 정보를 기초로 생성된 차량 경로 정보를 차선의 위치 정보를 이용하여 수정할 수 있다. 이를 통하여, 차량 경로 가이드 장치는 차선 수준의 정확도를 가지는 내비게이션 서비스를 제공할 수 있다.

Description

차량 경로 가이드 방법 및 장치{METHOD AND APPARATUS FOR GUIDING VEHICLE ROUTE}
아래의 설명은 차량 내비게이션 기술에 관한 것이다.
차량용 내비게이션 기술은 미리 설정된 기준에 따라 차량의 현재 위치에서 목적지까지 이르는 경로를 계산하여 제공하는 기술이다. 차량용 내비게이션 기술은 교통 정보 등을 실시간으로 통신하는 기술, 현재 위치를 파악하는 기술, 지도상에서 목적지를 탐지하는 기술, 현재 위치에서 목적지까지의 차량 경로 정보를 결정하는 기술 및 차량 경로 정보를 안내하는 기술을 포함한다.
일 실시예에 따른 차량 경로 가이드 방법은, 제1 센서 데이터에 의해 결정된 차량의 위치 정보에 기초하여 상기 차량이 이동할 경로를 가이드하는 차량 경로 정보를 생성하는 단계, 상기 차량의 주변 영상에 기초하여 상기 차량이 주행하고 있는 주행 차선을 결정하는 단계, 상기 결정된 주행 차선의 위치에 기초하여 상기 생성된 차량 경로 정보를 수정(correction)하는 단계 및 상기 수정된 차량 경로 정보를 디스플레이하는 단계를 포함할 수 있다.
상기 차량의 경로 정보를 수정하는 단계는, 상기 주변 영상을 기초로 생성된 차선 모델과 상기 차량의 경로 정보를 정합하는 단계 및 상기 차선 모델에 대한 상기 주행 차선의 위치를 이용하여 상기 차량 경로 정보를 수정하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 차량의 주변 영상에서 교차로를 탐지하는 단계;
상기 교차로가 탐지된 경우, 상기 탐지된 교차로의 위치 정보에 기반하여 상기 차량의 위치 정보를 수정하는 단계 및 상기 수정된 위치 정보에 기초하여 상기 경로 정보를 생성하는 단계를 포함할 수 있다.
상기 탐지하는 단계는, 상기 차량의 주변 영상에서 상기 차량의 거리 정보를 추출하는 단계, 상기 거리 정보를 이용하여 주변 맵(map)을 생성하는 단계 및 상기 주변 맵을 이용하여 교차로를 탐지하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 차량의 주변 영상에서 상기 차량의 거리 정보를 추출하는 단계 및 상기 차량의 거리 정보를 이용하여 상기 차량의 위치 정보를 수정하는 단계를 포함할 수 있다.
상기 차량의 위치 정보를 수정하는 단계는, 상기 거리 정보를 이용하여 주변 맵을 생성하는 단계, 상기 주변 맵과 상기 차량의 위치 정보를 비교하는 단계 및 상기 비교 결과에 기초하여 상기 차량의 위치 정보를 수정하는 단계를 포함할 수 있다.
상기 주행 차선을 결정하는 단계는, 차선 모델을 생성하는 단계 및 상기 차선 모델에서 상기 주행 차선을 결정하는 단계를 포함할 수 있다.
상기 차선 모델을 생성하는 단계는, 상기 차량의 주변 영상에서 상기 차량의 거리 정보를 추출하는 단계 및 제2 센서 데이터로부터 결정된 차선의 위치 정보 및 상기 거리 정보를 이용하여 차선 모델을 생성하는 단계를 포함할 수 있다.
상기 차량 경로 정보를 생성하는 단계는, 2D 맵 상의 차량 경로 정보를 생성하는 단계, 상기 2D 맵을 3D 맵으로 변환하는 단계 및 상기 변환 결과에 기초하여 상기 2D 맵 상의 차량 경로 정보를 3D 맵 상의 차량 경로 정보로 변환하는 단계를 포함할 수 있다.
상기 제1 센서 데이터는, 관성 측정 장치(inertial measurement unit, IMU) 또는 글로벌 위치 시스템(global positioning system, GPS)로부터 획득될 수 있다.
상기 제2 센서 데이터는 라이다(Light Detection And Ranging, LiDAR) 또는 레이더(Radio detection and ranging, RADAR)로부터 획득될 수 있다.
일 실시예에 따른 컴퓨터 판독 가능한 저장 매체는 상기 방법을 실행하기 위한 인스트럭션들을 저장할 수 있다.
일 실시예에 따른 차량 경로 가이드 장치는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 센서 데이터에 의해 결정된 차량의 위치 정보에 기초하여 상기 차량이 이동할 경로를 가이드하는 차량 경로 정보를 생성하는 동작, 상기 차량의 주변 영상에 기초하여 상기 차량이 주행하고 있는 주행 차선을 결정하는 동작, 상기 결정된 주행 차선의 위치에 기초하여 상기 생성된 차량 경로 정보를 수정(correction)하는 동작 및 상기 수정된 차량 경로 정보를 디스플레이하는 동작을 실행하도록 구성될 수 있다.
상기 차량의 경로 정보를 수정하는 동작은, 상기 주변 영상을 기초로 생성된 차선 모델과 상기 차량의 경로 정보를 정합하는 동작 및 상기 차선 모델에 대한 상기 주행 차선의 위치를 이용하여 상기 차량 경로 정보를 수정하는 동작을 포함할 수 있다.
상기 생성하는 동작은, 상기 차량의 주변 영상에서 교차로를 탐지하는 동작;
상기 교차로가 탐지된 경우, 상기 탐지된 교차로의 위치 정보에 기반하여 상기 차량의 위치 정보를 수정하는 동작 및 상기 수정된 위치 정보에 기초하여 상기 경로 정보를 생성하는 동작을 포함할 수 있다.
상기 생성하는 동작은, 상기 차량의 주변 영상에서 상기 차량의 거리 정보를 추출하는 동작 및 상기 차량의 거리 정보를 이용하여 상기 차량의 위치 정보를 수정하는 동작을 포함할 수 있다.
상기 차량 경로 가이드 장치는 상기 제1 센서 데이터를 획득하는 관성 측정 장치 또는 글로벌 위치 시스템을 더 포함할 수 있다.
상기 주행 차선을 결정하는 동작은, 제2 센서 데이터로부터 결정된 차선의 위치 정보 및 상기 차량의 주변 영상으로부터 생성된 차선 모델에서 상기 주행 차선을 결정할 수 있다.
상기 차량 경로 가이드 장치는 상기 제2 센서 데이터를 획득하는 라이다(Light Detection And Ranging, LiDAR) 또는 레이더(Radio detection and ranging, RADAR)를 더 포함할 수 있다.
도 1a은 일 실시예에 따른 차량 경로 가이드 방법에 따라 차량 경로가 표시되는 디스플레이를 도시한 도면이다.
도 1b는 다른 실시예에 따른 차량 경로 가이드 방법에 따라 차량 경로가 표시되는 헤드업 디스플레이를 도시한 도면이다.
도 2은 일 실시예에 따른 차량 경로 가이드 방법의 순서도를 도시한 도면이다.
도 3는 일 실시예에 따른 차량 경로 가이드 방법의 전체적인 동작을 도시한 흐름도이다.
도 4a는 일 실시예에 따른 종방향 수정의 구체적인 동작을 도시한 흐름도이다.
도 4b은 일 실시예에 따라 종방향으로 수정된 차량의 위치 정보의 일례를 도시한 도면이다.
도 5a은 일 실시예에 따른 횡방향 수정의 구체적인 동작을 도시한 흐름도이다.
도 5b은 일 실시예에 따라 횡방향으로 수정된 차량의 위치 정보 및 그에 대응하여 수정된 차량 경로 정보의 일례를 도시한 도면이다.
도 5c는 일 실시예에 따라 횡방향으로 수정된 차량 경로 정보의 일례를 도시한 도면이다.
도 6는 일 실시예에 따른 차량 경로 가이드 장치의 전체적인 구성을 도시한 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도와 다르게 수행될 수 있다. 예를 들어, 연속하는 두 블록들이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 해당 블록들의 순서가 뒤바뀌어 수행될 수도 있다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1a은 일 실시예에 따른 차량 경로 가이드 방법에 따라 차량 경로가 표시되는 디스플레이를 도시한 도면이다.
일 실시예에 따르면, 차량 경로 가이드 장치는 차량의 주변 영상을 이용하여 주행 차선을 결정하고, 주행 차선을 이용하여 2D 맵 상의 차량 경로 정보를 수정(correction)할 수 있다. 여기서, 주변 영상은 차량의 다시점 영상을 포함할 수 있다. 차량 경로 가이드 장치는 차량용 내비게이션 분야에 적용될 수 있다.
차량(vehicle)은 자동차, 버스, 오토바이 또는 트럭과 같이 구동 기관을 가지고 사람이나 물건을 이동시키기 위해 이용되는 모든 종류의 운송 수단을 포함할 수 있다. 주행 차선은 에고 레인(ego lane)이라고 지칭될 수 있다.
2D 맵 상의 차량 경로 정보는 도로 수준의 정확도를 가지고 도로에 포함된 차선을 식별하는 정도의 정확도에는 이르지 못할 수 있다. 차량 경로 가이드 장치는 주행 차선을 포함하는 차선의 위치 정보를 이용하여 2D 맵 상의 차량 경로 정보를 수정함으로써 차량 경로 정보를 차선 수준의 정확도로 개선할 수 있다. 복수의 차선을 포함하는 도로에서 주행 차선은 횡 방향 정보에 해당하므로, 차량 경로 정보는 횡 방향으로 수정될 수 있다.
일 실시예에 따르면, 차량 경로 가이드 장치는 차량의 주변 영상으로부터 교차로를 탐지하고, 교차로의 위치 정보를 이용하여 차량의 위치 정보를 수정할 수 있다. 차량 경로 가이드 장치는 차량에서 교차로까지의 거리를 기초로 2D 맵 상에서의 차량의 위치 정보를 수정할 수 있다. 교차로가 차량의 전방에서 탐지된 경우 교차로의 위치 정보는 종 방향 정보에 해당하므로, 차량 경로 가이드 장치는 차량 경로 정보의 종 방향에 대한 정확도를 개선할 수 있다.
일 실시예에 따르면, 차량 경로 가이드 장치는 내비게이션 서비스를 증강 현실(Augmented Reality, AR)로 구현할 수 있다. 증강 현실이 적용된 내비게이션 서비스는 실사 영상 기반 내비게이션이라고 지칭될 수 있다. 2D 또는 3D로 구현되는 가상 현실의 배경에 차량 경로 정보를 결합하여 제공되는 내비게이션 서비스는 그래픽 기반 내비게이션이라고 지칭될 수 있다. 그래픽 기반 내비게이션의 경우 사용자는 그래픽으로부터 의미를 이해하고 이해의 결과를 실제 환경에 매칭하여야 하므로 인지적인 부담이 클 수 있다. 이러한 인지적인 부담을 줄이기 위해선 그래픽을 보다 정교하게 렌더링해야 하며 여기에는 보다 많은 리소스가 요구된다. 반면에, 실사 영상 기반 내비게이션의 경우 사용자는 실사 영상을 바로 실제 환경과 매칭할 수 있으므로 사용자의 인지적인 부담은 줄어들 수 있다.
차량 경로 가이드 장치는 실사 영상 기반 내비게이션을 이용할 수 있다. 차량 경로 가이드 장치는 사용자가 바라보는 주행 시점의 실사 영상에 차량 경로 정보를 결합하여 제공할 수 있다. 예를 들어, 차량 경로 가이드 장치는 사용자의 시야에 보이는 실제 도로의 영상을 카메라를 통하여 획득하고, 실제 도로의 영상에 차량 경로 정보를 맵핑하여 표시할 수 있다. 이처럼, 차량 경로 가이드 장치가 실사 영상 기반 내비게이션을 사용함으로써, 사용자는 그래픽 기반 내비게이션과 달리 실제 환경 속에서 차량 경로 정보를 보게 되어 보다 나은 현실감을 느낄 수 있다.
차량 경로 정보를 안내하는 기술과 관련하여, 차량 경로 가이드 장치는 차량 경로 정보를 시각적으로 안내할 수 있다. 예를 들어, 도 1a를 참조하면 차량 경로 정보는 차량에 고정된 디스플레이(110)에 표시될 수 있다. 차량 경로 가이드 장치는 주행 시점의 전방 영상을 카메라로 촬영하여 디스플레이(110)에 표시하고 그 위에 차량 경로 정보를 맵핑(mapping)함으로써 현실감을 높일 수 있다.
디스플레이(110)는 차량에 장착되는 형태에 한정되는 것은 아니고 탈부착이 가능한 형태를 포함할 수 있다. 디스플레이(110)는 PMP, DMB 또는 DMB/PMP 일체형 내비게이션 단말기에 포함될 수 있다. 차량 경로 가이드 장치는 스마트폰의 디스플레이를 이용하여 차량 경로 정보를 표시할 수도 있다.
여기서, 차량 경로 정보는 주행 시점의 전방 영상과 매칭되는 방향 표시, 출발지 및 목적지, 목적지까지 걸리는 시간 및 거리 등의 가이드 정보를 포함할 수 있다. 차량 경로 정보는 화살표 등의 그래픽, 아이콘 또는 텍스트 등을 이용하여 표시될 수 있다.
차량 경로 가이드 장치는 위성 항법 시스템(Global Positioning System, GPS)을 통해 차량의 위치 정보를 획득할 수 있다. 위성 항법 시스템으로부터 획득한 차량의 위치 정보는 오차를 포함할 수 있다. 차량의 주행 방향에 교차로(111)가 검출되는 경우, 차량 경로 가이드 장치는 교차로(111)의 위치 정보를 이용하여 차량의 위치 정보를 수정함으로써 종 방향의 정확도를 향상시킬 수 있다.
차량 경로 가이드 장치는 차량의 현재 위치에서 목적지까지의 경로를 포함하는 차량 경로 정보를 미리 설정된 기준에 따라 생성할 수 있다. 여기서, 미리 설정된 기준은 최소 시간 또는 최단 거리와 같은 기준을 포함할 수 있다. 차량 경로 정보는 고속 도로와 같은 도로의 종류나 교통 상황 등을 고려하여 계산될 수 있다. 차량 경로 정보(112)는 차량의 현재 위치에서 다음 분기점까지의 방향을 화살표와 같은 그래픽으로 표시될 수 있다.
차량 경로 정보가 차선을 식별하는 정도의 정확도에는 이르지 못하는 경우, 차량 경로 가이드 장치는 차선에 상관없이 단순한 우회전 정보를 디스플레이(110)에 표시할 수 있다. 차량의 현재 위치가 1차선임에도 위성 항법 시스템으로부터 획득한 차량의 위치 정보는 1차선과 2차선의 중간에 대응될 수 있다. 차량 경로 정보(112)의 시작점이 1차선과 2차선의 중간에 위치하게 되므로 차량 경로 정보(112)는 부정확할 수 있다.
차량 경로 가이드 장치는 주행 차선 정보를 이용하여 차량 경로 정보를 수정할 수 있다. 예를 들어, 차량의 주행 차선이 도 1a의 1차선인 경우, 차량 경로 가이드 장치는 차량의 현재 위치를 1차선으로 수정하고, 차량 경로 정보(112)를 1차선으로부터 시작되는 차량 경로 정보(113)로 수정할 수 있다. 이처럼, 주행 차선 정보를 이용하여 차량 경로 정보의 시작점을 수정함으로써 차량 경로 정보의 횡 방향의 정확도를 향상시킬 수 있다.
도 1b는 다른 실시예에 따른 차량 경로 가이드 방법에 따라 차량 경로가 표시되는 헤드업 디스플레이를 도시한 도면이다.
차량 경로 가이드 장치는 차량 경로 정보를 시각적으로 안내할 수 있다. 차량 경로 가이드 장치는 단말이 아닌 윈드쉴드(windshield)에 차량 경로 정보를 표시할 수도 있다. 윈드쉴드에 차량 경로 정보가 투사됨으로써 사용자는 주행 시점을 유지하면서도 차량 경로 정보를 파악할 수 있다. 차량 경로 가이드 장치는 윈드쉴드를 이용함으로써 사용자의 주의를 분산시키지 않으면서 인지적인 부담을 덜어주기 때문에 사용자가 보다 편리하고 안전하게 운전할 수 있도록 한다.
차량 경로 가이드 장치는 헤드업 디스플레이(Head-Up Display, HUD)(120)를 사용하여 윈드쉴드에 차량 경로 정보(125)를 투사할 수 있다. 헤드업 디스플레이(120)는 사용자의 시선 위쪽에 설치되어 이미지를 투사하는 장치를 의미한다. 헤드업 디스플레이(120)는 차량의 주행 정보 또는 교통 정보를 운전석 전면의 윈드쉴드에 표시함으로써, 사용자의 시선 이동을 최소화시킬 수 있다. 헤드업 디스플레이(120)의 투사 영역(123)은 사용자의 편의를 위하여 운전석 쪽으로 편향될 수 있다.
차량 경로 가이드 장치는 위성 항법 시스템으로부터 차량의 위치 정보를 획득할 수 있다. 위성 항법 시스템으로부터 획득한 차량의 위치 정보는 보통 10m 내외의 오차를 포함할 수 있다.
차량 경로 가이드 장치는 스테레오 카메라 등을 이용하여 다시점 영상을 획득할 수 있다. 다시점 영상에 교차로(121)가 포함된 경우 차량 경로 가이드 장치는 다시점 영상으로부터 교차로(121)의 위치 정보를 획득하여 차량의 위치 정보를 수정할 수 있다. 차량에서 교차로(121)까지의 거리가 수정되므로, 차량의 위치 정보는 종 방향으로 수정될 수 있다.
위성 항법 시스템으로부터 획득한 차량의 위치 정보는 횡 방향으로도 부정확할 수 있다. 도 1b를 참조하면, 차량의 현재 위치는 1차선과 2차선의 중간으로 표시될 수 있다. 차량 경로 가이드 장치는 미리 설정된 기준에 따라 최적의 경로를 계산하여 차량 경로 정보(124)를 윈드쉴드에 표시할 수 있다. 차량의 현재 위치가 부정확하므로 차량 경로 정보(124)의 시작점도 부정확하게 된다.
차량 경로 가이드 장치는 차량의 다시점 영상을 분석하여 주행 차선을 결정할 수 있다. 차량 경로 가이드 장치는 주행 차선의 위치 정보를 이용하여 차량 경로 정보(124)를 수정할 수 있다. 주행 차선은 1차선으로 결정되므로 차량 경로 정보(124)의 시작점은 1차선으로 수정될 수 있다. 이에 따라 차량 경로 정보(124)는 차량 경로 정보(125)로 수정될 수 있다. 이처럼, 차량 경로 정보(125)는 횡 방향에 대하여 차선 수준으로 정확해질 수 있다.
도 2은 일 실시예에 따른 차량 경로 가이드 방법의 순서도를 도시한 도면이다.
일 실시예에 따르면, 단계(201)에서 차량 경로 가이드 장치는 제1 센서 데이터에 의해 결정된 차량의 위치 정보에 기초하여 차량이 이동할 경로를 가이드하는 차량 경로 정보를 생성할 수 있다. 여기서, 제1 센서는 위성 항법 시스템 또는 관성 측정 장치(Inertial Measurement Unit, IMU)를 포함할 수 있다. 위성 항법 시스템은 GPS 센서로 지칭될 수 있다. 제1 센서 데이터는 위성 항법 시스템 또는 관성 측정 장치로부터 획득된 일차적인 데이터를 의미할 수 있다. 여기서, 제1 센서 데이터에 의해 결정된 차량의 위치 정보는 도로 수준의 정확도를 가질 수 있다. 차량 경로 가이드 장치는 다소 부정확한 차량의 위치 정보 및 목적지 정보를 이용하여 미리 설정된 기준에 따라 최적의 경로를 계산할 수 있다.
일 실시예에 따르면, 단계(203)에서 차량 경로 가이드 장치는 차량의 주변 영상에 기초하여 차량이 주행하고 있는 주행 차선을 결정할 수 있다. 주변 영상은 다시점 영상을 포함할 수 있다. 차량 경로 가이드 장치는 다시점 영상으로부터 차량의 거리 정보를 획득하고, 차선의 위치 정보와 결합하여 차선을 분석할 수 있다. 분석 결과를 이용하여 차량의 주행 차선이 결정될 수 있다.
일 실시예에 따르면, 단계(205)에서 차량 경로 가이드 장치는 결정된 주행 차선의 위치 정보에 기초하여 생성된 차량 경로 정보를 수정할 수 있다. 제1 센서 데이터에 의해 결정된 차량의 위치 정보는 차선을 구분하지 못하기 때문에, 차선 수준의 정확도를 가지지 못할 수 있다. 차량 경로 가이드 장치는 차량의 현재 위치를 주행 차선의 위치 정보를 이용하여 수정함으로써 차량의 위치 정보의 정확도를 차선 수준으로 향상시킬 수 있다. 차량의 위치 정보의 정확도가 향상됨에 따라 차량 경로 정보의 정확도도 향상될 수 있다.
일 실시예에 따르면, 단계(207)에서 차량 경로 가이드 장치는 수정된 차량 경로 정보를 디스플레이할 수 있다. 차량 경로 가이드 장치는 도 1a와 같이 헤드다운 디스플레이(Head-down Display)를 이용하거나 도 1b와 같이 헤드업 디스플레이를 이용할 수 있다. 차량 경로 가이드 장치는 내비게이션 서비스를 시각적으로 제공하는 동시에 청각적으로도 제공할 수 있다. 예를 들어, 차량 경로 가이드 장치는 차량 경로 정보를 디스플레이하면서 차량 경로 정보에 대응하는 내용을 음성으로 안내할 수도 있다.
도 3는 일 실시예에 따른 차량 경로 가이드 방법의 전체적인 동작을 도시한 흐름도이다.
차량 경로 가이드 장치는 차량의 위치 정보를 이용하여 차량 경로 정보를 생성하고, 차선 분석의 결과를 이용하여 차량 경로 정보를 횡 방향으로 수정할 수 있다. 차량 경로 가이드 장치는 수정된 차량 경로 정보를 포함하는 3D 가이드 정보를 생성할 수 있다. 차량 경로 가이드 장치는 3D 가이드 정보를 디스플레이할 수 있다.
차량 경로 가이드 장치는 제1 센서 데이터에 의해 결정된 차량의 위치 정보에 기초하여 차량이 이동할 경로를 가이드하는 차량 경로 정보를 생성할 수 있다. 차량 경로 가이드 장치는 차량 경로 정보를 생성하기 전에 다시점 영상으로부터 차량의 거리 정보를 추출하여 차량의 위치 정보를 종 방향으로 수정할 수도 있다.
단계(303)에서, 차량 경로 가이드 장치는 차량 경로 정보를 생성하기 위하여, 제1 센서 데이터를 수신할 수 있다. 제1 센서 데이터는 관성 측정 장치 또는 위성 항법 시스템로부터 획득되는 로우 데이터(raw data)를 포함할 수 있다. 위성 항법 시스템은 규칙적으로 자신의 궤도를 도는 인공 위성을 이용하여 대상의 위치를 파악하는 시스템이다. 차량 경로 가이드 장치는 차량이 위치하는 장소에서 통신할 수 있는 인공 위성이 송신하는 고유 주파수를 수신하여 로우 데이터를 수신할 수 있다.
단계(304)에서, 차량 경로 가이드 장치는 제1 센서 데이터를 이용하여 차량의 위치 정보를 파악할 수 있다. 차량 경로 가이드 장치는 위성 항법 시스템을 이용하여 차량의 위치 정보를 획득할 수 있다.
차량 경로 가이드 장치가 이용할 수 있는 민간용 위성 항법 시스템의 정밀도는 최소 30m이하에서 최대 10m에 이를 수 있다. 위성 항법 시스템의 오차는 직선도로보다 곡선도로에서 더 커질 수 있다. 위성 항법 시스템이 적용되는 경우 차량 경로 가이드 장치는 차량이 속한 도로를 식별할 수 있다. 따라서, 위성 항법 시스템만 사용하는 경우 차량 경로 가이드 장치는 도로 수준의 정확도를 가진다. 반면, 차선에 의해 구분되는 차로의 폭은 대략 3m 내지 3.6m이다. 차로의 폭은 4m에 못 미치기 때문에 위성 항법 시스템을 이용하는 경우 차량 경로 가이드 장치는 차량이 어느 차로에 속해있는지 정확하게 파악할 수 없다.
차량 경로 가이드 장치는 정확도 향상을 위해 관성 측정 장치로부터 수신한 제1 센서 데이터를 이용하여 차량의 위치 정보를 수정할 수 있다. 관성 측정 장치는 서로 직교하는 세 개의 축 각각에 대한 가속도 센서 및 자이로 센서를 포함하며, 이동하는 차량의 관성량을 측정할 수 있다. 차량 경로 가이드 장치는 관성 측정 장치를 이용하여 차량의 이동 방향 및 속도를 측정할 수 있다. 차량 경로 가이드 장치는 차량의 이동 방향 및 속도를 이용하여 위성 항법 시스템으로부터 획득한 차량의 위치 정보를 수정할 수 있다. 예를 들어, 차량이 위성 항법 시스템을 이용할 수 없는 터널 등을 통과하는 경우 차량 경로 가이드 장치는 가장 최근의 차량의 위치 정보를 기준으로 차량의 이동 방향 및 속도를 계산하여 터널 내부에서도 차량의 위치 정보를 획득할 수 있다.
차량 경로 가이드 장치는 정확도를 더욱 향상하기 위하여 차량의 주변 영상을 이용하여 종 방향으로 차량의 위치 정보를 수정할 수 있다. 차량의 주변 영상은 방향을 기준으로 전방 영상을 포함할 수 있고, 종류를 기준으로 다시점 영상을 포함할 수 있다. 그러나, 주변 영상의 종류는 이에 한정되지 않고 차량의 위치 정보를 수정할 수 있는 정보를 포함하는 모든 영상이 사용될 수 있다.
단계(305)에서, 차량 경로 가이드 장치는 다시점 영상을 획득할 수 있다. 다시점 영상은 복수의 스테레오 카메라를 이용하여 촬영될 수 있다. 예를 들어, 차량 경로 가이드 장치는 두 대의 스테레오 카메라를 이용하여 서로 다른 시점의 좌우 영상을 촬영할 수 있다. 스테레오 카메라는 다시점 카메라로 지칭될 수 있다.
차량 경로 가이드 장치는 차량의 주변 환경에 대한 다시점 영상을 이용하여 시각적 주행 거리 측정(Visual Odometry, VO)을 수행할 수 있다. 시각적 주행 거리 측정 방식은 영상을 이용하여 촬영된 대상과 차량 사이의 거리를 측정하는 방식을 의미한다. 차량 경로 가이드 장치는 스테레오 매칭(stereo matching)을 통해 3차원 공간 상의 한 점에 대응되는 좌우 영상 각각의 매칭 포인트(matching point)를 검출할 수 있다. 예를 들어, 차량 경로 가이드 장치는 영역 기반 매칭(area-based matching), 특징 기반 매칭(feature-based matching) 또는 에너지 기반 매칭(energy-based matching)을 이용하여 스테레오 매칭을 수행할 수 있다.
차량 경로 가이드 장치는 검출된 매칭 포인트 간의 차이를 이용하여 깊이 정보를 추출할 수 있다. 여기서, 깊이 정보는 촬영된 대상과 차량 간의 거리와 연관된다. 차량 경로 가이드 장치는 스테레오 카메라의 내부 및 외부 파라미터를 이용하여 촬영된 시점의 스테레오 카메라의 위치, 자세 및 화각 등을 계산할 수 있다.
단계(306)에서, 차량 경로 가이드 장치는 차량의 주변 영상에서 차량의 거리 정보를 추출할 수 있다. 차량 경로 가이드 장치는 스테레오 카메라가 차량에 배치된 위치에 관한 정보와 스테레오 카메라의 위치, 자세 및 화각 등을 기초로 차량의 거리 정보를 계산할 수 있다. 여기서, 차량의 거리 정보는 촬영된 대상과 차량 간의 상대적 거리에 관한 것이다. 또한, 차량 경로 가이드 장치는 차량의 거리 정보를 시간에 따라 분석하여 차량의 이동량 또는 회전량 등의 주행 정보를 계산할 수 있다. 여기서, 차량의 주행 정보는 상대적인 이동량 또는 회전량에 관한 것이다.
단계(320)에서 차량 경로 가이드 장치는 차량의 거리 정보 또는 주행 정보를 이용하여 위성 항법 시스템으로부터 획득한 차량의 위치 정보를 수정할 수 있다. 다시점 영상이 전방 영상을 포함하는 경우, 차량의 거리 정보는 종 방향에 관한 것이므로 차량의 위치 정보는 종 방향으로 수정될 수 있다. 종 방향 수정(320)이 수행된 경우 단계(310)의 입력은 수정된 차량의 위치 정보일 수 있다. 종 방향 수정(320)은 필수적인 단계는 아니며, 종 방향 수정(320)이 수행되지 않은 경우 단계(310)의 입력은 제1 센서 데이터로부터 추출된 차량의 위치 정보(304)일 수 있다.
단계(310)에서 차량 경로 가이드 장치는 2D 맵(301)과 차량의 위치 정보(321)를 이용하여 차량의 경로 정보를 생성할 수 있다. 차량 경로 가이드 장치는 먼저 단계(311)에서 2D 맵 상의 차량 경로 정보를 생성할 수 있다.
차량의 위치 정보 및 목적지를 파악하고 차량 경로 정보를 생성하기 위해선 차량의 절대 좌표를 파악할 수 있는 맵(map)이 요구된다. 2D 맵 또는 3D 맵이 차량용 내비게이션에 적용될 수 있다. 3D 맵을 이용하는 경우 차량의 위치를 보다 정확하게 파악할 수 있고 차량 경로 정보를 보다 실감나게 제공할 수 있다. 하지만, 3D 맵은 구축이 어렵고 3D 맵을 이용하여 내비게이션 서비스를 구동하기 위해선 2D 맵보다 많은 리소스가 요구된다.
2D 맵은 3D 맵보다 구축이 용이하고 지도 서비스 업체들에 의해 이미 많이 사용되고 있어서 높은 안정성을 가진다. 차량 경로 가이드 장치는 2D 맵을 이용함으로써 3D 맵을 새로 구축하는 비용을 줄이고 3D 맵을 이용하는 경우보다 더 적은 리소스를 이용하여 내비게이션 서비스를 구동할 수 있다.
단계(313)에서 차량 경로 가이드 장치는 2D 맵 상의 차량의 경로 정보를 3D 맵 상의 차량의 경로 정보로 변환할 수 있다. 차량 경로 가이드 장치는 차량의 경로 정보를 주행 시점의 3D 이미지로 변환할 수 있다. 이 과정에서 2D 맵은 3D 맵으로 변환될 수 있다. 여기서 3D 맵은 전통적인 방식으로 구축된 맵을 의미하지 않을 수 있다. 3D 맵은 차선 모델과 정합하기 위한 용도이며, 차선 모델과의 정합을 위해 2D 맵에 포함된 특징점들의 집합이 3D로 변환될 수 있다. 또한, 2D 맵 전체가 3D 맵으로 변환될 필요는 없다. 차량을 중심으로 일정한 범위의 2D 맵이 3D 맵으로 변환될 수 있다. 차량 경로 가이드 장치는 2D 맵을 3D 맵으로 변환하고, 변환 결과에 기초하여 2D 맵 상의 차량 경로 정보를 3D 맵 상의 차량 경로 정보로 변환할 수도 있다. 이러한 3D 변환 과정은 차량 경로 정보를 실사 영상에 맵핑함으로써 증강현실을 구현하기 위한 것이다. 여기서, 차선 모델은 3D 차선 모델을 포함할 수 있다. 다만, 차선 모델은 2D 맵과도 정합될 수 있다.
차량 경로 가이드 장치는 정확도 향상을 위해 차선의 위치 정보를 이용하여 차량 경로 정보를 수정할 수 있다. 이는 횡 방향 수정(304)에 해당된다. 횡 방향 수정(304)을 위해, 단계(307)에서 차량 경로 가이드 장치는 제2 센서 데이터를 수신할 수 있다. 제2 센서 데이터는 레이더(Radio Detection And Ranging, RADAR) 센서 또는 라이다(Light Detection And Ranging, LIDAR) 센서로부터 수신한 로우 데이터(raw data)를 포함할 수 있다.
차량 경로 가이드 장치는 레이더 센서를 이용하여 전자기파를 차량의 전방의 대상으로 방사하고 대상으로부터 반사된 신호를 수신함으로써 차선까지의 거리, 방향 및 속도 등을 파악할 수 있다. 차량 경로 가이드 장치는 레이더 센서를 이용하여 날씨에 영향 받지 않고 차선을 파악할 수 있으며 먼 거리의 차선도 파악할 수 있다.
차량 경로 가이드 장치는 라이다 센서를 이용하여 레이저를 차량의 전방의 대상에 방사하고 반사된 신호를 수신함으로써 차선까지의 거리, 방향 및 속도 등을 파악할 수 있다. 차량 경로 가이드 장치는 높은 에너지 밀도와 짧은 주기를 가지는 펄스 신호인 레이저를 이용함으로써 차선까지의 거리, 방향 및 속도 등을 보다 정확하게 파악할 수 있다.
단계(308)에서 차량 경로 가이드 장치는 제2 센서 데이터를 이용하여 차선의 위치 정보를 획득할 수 있다. 차량 경로 가이드 장치는 레이더 센서 또는 라이더 센서를 통해 수신한 데이터에 대하여 이미지 처리를 수행하여 차선을 검출할 수 있다. 차량 경로 가이드 장치는 제2 센서 데이터에 대하여 전처리 과정을 거쳐 노이즈를 제거하고, 탐지 영역과 배경 영역을 분리할 수 있다. 차량 경로 가이드 장치는 탐지 영역에서 특징점을 추출할 수 있다. 차량 경로 가이드 장치는 추출된 특징점을 이용하여 차선을 탐지하고 차선의 위치 정보를 획득할 수 있다.
단계(330)에서 차량 경로 가이드 장치는 차량의 주변 영상에 기초하여 차선을 분석할 수 있다. 단계(331)에서 차량 경로 가이드 장치는 다시점 영상으로부터 획득한 차량의 거리 정보와 차선의 위치 정보를 이용하여 차선을 3D로 분석할 수 있다.
단계(333)에서 차량 경로 가이드 장치는 분석 결과를 기초로 차선 모델을 생성하고 차선 모델에서 주행 차선을 결정할 수 있다. 차량 경로 가이드 장치는 차량에서 차선까지의 거리, 방향 및 속도 등을 이용하여 검출된 차선 중에서 차량의 주행 차선을 결정할 수 있다. 차량 경로 가이드 장치는 다시점 영상 및 차선의 위치 정보를 이용하여 차량 주변의 차선을 3D로 모델링할 수 있다.
단계(340)에서 차량 경로 가이드 장치는 결정된 주행 차선의 위치에 기초하여 생성된 차량 경로 정보를 횡방향으로 수정할 수 있다. 제1 센서 데이터에 의해 획득한 위치 정보는 도로 수준의 정확도를 가지며 차선 수준의 정확도에 이르지 못할 수 있다. 종 방향 수정이 수행되더라도 이는 종 방향의 정확도가 향상되는 것일 뿐이므로, 횡 방향의 정확도는 도로 수준의 정확도에 그칠 수 있다. 도로에 포함된 복수의 차선 중에서 차량의 주행 차선의 위치로 차량의 위치 정보를 조정함으로써 횡 방향의 정확도가 향상될 수 있다.
단계(350)에서 차량 경로 가이드 장치는 수정된 차량 경로 정보를 포함하는 3D 가이드 정보를 생성할 수 있다. 3D 가이드 정보는 주행 시점의 전방 영상과 매칭되는 방향 표시 등을 포함하는 가이드 정보를 포함할 수 있다. 3D 가이드 정보는 차량의 속도, 엔진의 회전수 또는 주유 상태 등의 주행 정보를 포함할 수 있다. 3D 가이드 정보는 제한 속도나 과속 방지 턱의 존재, 톨게이트나 주유소와 같은 운전 관련 시설과의 거리 등의 교통 정보를 포함할 수 있다. 3D 가이드 정보는 교통 정보 외에도 병원, 은행 또는 대형 마트와 같은 시설에 대한 정보와 날씨 및 시간 등의 기타 정보를 포함할 수도 있다. 3D 가이드 정보는 화살표 등의 그래픽, 아이콘 또는 텍스트 등을 이용하여 표시될 수 있다. 3D 가이드 정보는 시각적 정보를 기반으로 청각적 정보를 부가적으로 포함할 수 있다.
도 4a는 일 실시예에 따른 종방향 수정의 구체적인 동작을 도시한 흐름도이다.
차량 경로 가이드 장치는 단계(303)에서 위성 항법 시스템 등으로부터 제1 센서 데이터를 수신하고, 단계(304)에서 차량의 위치 정보를 계산할 수 있다. 차량 경로 가이드 장치는 단계(305)에서 스테레오 카메라 등으로부터 다시점 영상을 획득하고, 단계(306)에서 다시점 영상을 이미지 처리하여 차량의 거리 정보를 추출할 수 있다.
단계(320)에서 차량 경로 가이드 장치는 차량의 거리 정보를 이용하여 차량의 위치 정보를 종 방향으로 수정할 수 있다. 차량 경로 가이드 장치는 단계(421)를 통해 1차적인 종 방향 수정을 수행할 수 있고, 단계(425)를 통해 2차적인 종 방향 수정을 수행할 수 있다. 단계(425)를 통해 차량 경로 가이드 장치는 단계(421)에서 발생한 누적 오차를 보상할 수 있다.
단계(421)에서 차량 경로 가이드 장치는 차량의 거리 정보 또는 주행 정보를 이용하여 직접 차량의 위치 정보를 수정할 수 있다. 차량 경로 가이드 장치는 맵을 생성하면서 차량의 위치 정보를 점진적으로 수정할 수도 있다. 차량 경로 가이드 장치는 거리 정보 또는 주행 정보를 이용하여 주변 맵을 생성할 수 있다. 차량 경로 가이드 장치는 주변 맵과 차량의 위치 정보를 비교할 수 있다. 차량 경로 가이드 장치는 비교 결과에 기초하여 차량의 위치 정보를 수정할 수 있다.
예를 들어, 차량 경로 가이드 장치는 Visual SLAM(Visual Simultaneous Localization and Mapping)을 이용하여 차량의 거리 정보를 계산할 수 있다. Visual SLAM은 주변 환경에 대한 3D 맵을 생성하는 과정과 자신의 위치를 파악하는 과정을 상호 보완적으로 수행하는 위치 탐지 기법이다. 차량 경로 가이드 장치는 Visual SLAM을 이용하여 차량의 위치를 파악하는 동시에 차량의 주변 환경에 대한 3D 맵을 생성해 나갈 수 있다. 차량의 주변 환경에 대한 3D 맵은 주변 맵이라고 지칭될 수 있다. 차량 경로 가이드 장치는 위성 항법 시스템으로부터 획득한 차량의 위치 정보를 기준으로 다시점 영상으로부터 계산된 차량의 거리 정보를 이용하여 주변 맵을 생성할 수 있다. 차량 경로 가이드 장치는 주변 맵을 이용하여 차량의 위치 정보를 수정할 수 있다. 차량 경로 가이드 장치는 이러한 과정을 반복하면서 차량의 위치 정보의 정확도를 높일 수 있다.
단계(423)에서 차량 경로 가이드 장치는 다시점 영상에 교차로가 존재하는지 탐지할 수 있다. 교차로가 존재하지 않는 경우, 단계(321)에서 차량 경로 가이드 장치는 종 방향으로 1차 수정된 차량의 위치 정보를 출력할 수 있다. 교차로가 탐지된 경우, 단계(321)에서 차량 경로 가이드 장치는 2차 수정된 차량의 위치 정보를 출력할 수 있다.
교차로가 탐지된 경우, 단계(425)에서 차량 경로 가이드 장치는 정확도 향상을 위해 교차로의 위치 정보를 이용하여 차량의 위치 정보를 수정할 수 있다. 차량이 교차로 근처를 주행하는 경우, 차량 경로 가이드 장치는 차량의 주변 환경에 대한 다시점 영상으로부터 교차로를 검출할 수 있다. 차량 경로 가이드 장치는 다시점 영상에 대해 스테레오 매칭을 수행하여 교차로를 포함하는 영역의 깊이 정보를 추출할 수 있다. 차량 경로 가이드 장치는 깊이 정보를 이용하여 차량으로부터 교차로까지의 거리를 계산할 수 있다.
차량 경로 가이드 장치는 위성 항법 시스템으로부터 획득한 차량의 위치로부터 교차로까지의 거리와 다시점 영상으로부터 계산된 거리를 비교하여 차량의 위치 정보를 수정할 수 있다. 예를 들어, 차량 경로 가이드 장치는 Visual SLAM으로부터 생성된 차량 주변의 3D 맵에 표시된 교차로와 위성 항법 시스템의 기준이 되는 2D 맵 상의 교차로를 매칭함으로써 차량의 위치 정보를 수정할 수 있다.
다만, 차량 경로 가이드 장치는 교차로의 위치 정보에 한정하지 않고 주행 경로 상의 랜드마크(landmark)의 위치 정보를 이용하여 차량의 위치 정보를 수정할 수도 있다. 예를 들어, 2D 맵 상에 표시된 특정 건물이 다시점 영상에서 검출된 경우, 차량 경로 가이드 장치는 검출된 특정 건물을 2D 맵 상에 매칭함으로써 차량의 위치 정보를 수정할 수 있다. 예를 들어, 2D 맵 상에 표시된 특정한 도로의 형태가 Visual SLAM으로부터 생성된 차량 주변의 3D 맵에서 검출된 경우, 차량 경로 가이드 장치는 검출된 도로의 형태를 2D 맵 상에 매칭함으로써 차량의 위치 정보를 수정할 수 있다. 랜드마크는 웨이 포인트(way point) 또는 POI(Point of Interest)로 지칭될 수도 있다.
차량이 전방을 촬영하면서 주행하는 경우 전방 영상의 시퀀스가 생성되므로 시각적 주행 거리 측정에 의해 종 방향의 정보가 풍부하게 생성될 수 있다. 차량 경로 가이드 장치는 차량의 전방에 있는 촬영 대상과 차량 간의 거리 정보를 이용하여 차량의 병진 운동 및 회전 운동을 계산하게 되며, 차량의 위치 정보를 종 방향으로 수정할 수 있다. 다만, 시각적 주행 거리 측정을 이용하여 차량의 위치 정보를 수정하는 것은 종 방향에 한정하지 않고, 횡 방향으로도 수행될 수 있다. 예를 들어, 스테레오 카메라를 통해 획득된 영상이 차량의 측면 방향으로 촬영된 것이라면, 시각적 주행 거리 측정에 의해 계산되는 차량의 거리 정보는 횡 방향에 대한 것이 될 수 있다.
도 4b은 일 실시예에 따라 종방향으로 수정된 차량의 위치 정보의 일례를 도시한 도면이다.
차량 경로 가이드 장치는 서로 다른 시점의 스테레오 카메라로부터 제1 시점 영상(431) 및 제2 시점 영상(미도시)을 수신할 수 있다. 제1 시점 영상(431)과 제2 시점 영상은 다시점 영상을 구성할 수 있다.
차량 경로 가이드 장치는 다시점 영상에 대해 스테레오 매칭을 수행하여 매칭 포인트를 추출할 수 있다. 차량 경로 가이드 장치는 매칭 포인트를 기초로 깊이 정보를 획득할 수 있다. 차량 경로 가이드 장치는 촬영 조건과 관련된 파라미터를 기초로 깊이 정보를 거리 정보로 변환할 수 있다.
차량 경로 가이드 장치는 미리 학습된 인식기를 이용하여 도로와 관련된 거리 정보(433)를 추출할 수 있다. 미리 학습된 인식기는 다량의 학습 데이터를 기초로 도로와 관련된 거리 정보를 추출하도록 학습될 수 있다. 차량 경로 가이드 장치는 도로와 관련된 거리 정보를 연결하여 차량 주변의 도로에 대한 맵(435)을 생성할 수 있다.
차량 경로 가이드 장치는 맵(435)으로부터 교차로를 탐지할 수 있다. 차량 경로 가이드 장치는 차량에서 가장 가까운 교차로를 탐지할 수도 있고 차량에서 일정 거리 이하의 교차로를 모두 탐지할 수도 있다. 탐지된 교차로의 수가 많을수록 차량의 위치 정보를 더욱 정확하게 수정할 수 있으나, 보다 넓은 범위의 맵(435)이 생성되어야 하므로 더욱 많은 리소스가 필요할 수 있다. 차량 경로 가이드 장치는 미리 설정된 정확도와 제한된 리소스 사이에서 실시간 내비게이션 서비스에 적합한 기준을 선택할 수 있다.
도 5a은 일 실시예에 따른 횡방향 수정의 구체적인 동작을 도시한 흐름도이다.
단계(535)에서 차량 경로 가이드 장치는 차선 모델 및 주행 차선의 위치 정보를 수신할 수 있다. 차선 모델 및 주행 차선의 위치 정보는 레이더 센서 또는 라이다 센서 등을 통해 수신한 제2 센서 데이터로부터 추출된 차선의 위치 정보와 주변 영상으로부터 추출된 차량의 거리 정보를 분석하여 획득될 수 있다. 차선 모델은 3D 도로 모델에서 도로 내의 차선이 식별되는 정확도를 가질 수 있다.
단계(340)에서 차량 경로 가이드 장치는 차량의 경로 정보를 수정할 수 있다. 수정되기 전의 차량의 경로 정보는 도로를 식별하는 정확도에 그칠 수 있다. 차선 모델 및 주행 차선의 위치 정보는 도로에 포함된 횡 방향으로 나열된 복수의 차선에 관한 위치 정보이므로 차량 경로 가이드 장치는 차선 모델 및 주행 차선의 위치 정보를 이용하여 차량 경로 정보의 횡 방향의 정확도를 향상시킬 수 있다.
단계(541)에서 차량 경로 가이드 장치는 주변 영상을 기초로 생성된 차선 모델과 차량의 경로 정보를 정합할 수 있다. 차선 모델은 데이터 크기를 줄이기 위해 주변 환경에 대한 정보가 삭제된 차선만의 모델일 수 있다. 차량의 경로 정보는 3D 맵을 기준으로 제공될 수 있다. 여기서, 3D 맵은 레이저 스캐너 또는 카메라 등을 이용하여 독자적으로 구축된 것이 아니라 2D 맵을 기초로 변환된 것일 수 있다. 3D 맵은 2D 맵에 포함된 정보 중에서 차선 모델과의 정합을 위해 필요한 정보만을 이용하여 변환된 것일 수 있다. 따라서, 3D 맵은 레이저 스캐너 또는 카메라 등을 이용하여 구축된 3D 맵보다 데이터 크기가 작을 수 있다. 차량 경로 가이드 장치는 차선 모델의 도로와 3D 맵 상의 도로를 정합할 수 있다.
다른 실시예에 따르면, 차량의 경로 정보는 2D 맵을 기준으로 제공될 수도 있다. 이 경우, 차선 모델은 2D 차선 모델을 포함할 수 있으며, 차량 경로 가이드 장치는 차선 모델과 2D 맵을 기준으로 제공된 차량의 경로 정보를 정합할 수 있다. 차량 경로 가이드 장치는 증강 현실을 구현하기 위해, 정합된 결과를 주행 시점에 대응하는 3D 영상으로 변환할 수 있다.
단계(543)에서 차량 경로 가이드 장치는 차선 모델에 대한 주행 차선의 위치를 이용하여 차량 경로 정보를 수정할 수 있다. 주행 차선의 위치 정보는 차선 모델을 기준으로 제공될 수 있다. 차량의 경로 정보는 3D 맵을 기준을 제공될 수 있다. 차선 모델의 도로와 3D 맵 상의 도로가 정합됨에 따라 차량의 경로 정보는 주행 차선의 위치 정보를 기초로 수정될 수 있다. 차량 경로 가이드 장치는 차선 모델에서의 주행 차선의 상대적인 위치를 이용하여 3D 맵 상에서 차량의 경로 정보를 수정할 수 있다.
차량 경로 가이드 장치는 수정된 차량의 경로 정보(515)를 출력할 수 있다. 차량 경로 가이드 장치는 차량의 현재 위치에서 다음 분기점까지의 경로 정보를 수정된 차량의 경로 정보(515)에서 추출할 수 있다. 차량 경로 가이드 장치는 다음 분기점까지의 경로 정보를 가공하여 3D 가이드 정보를 생성할 수 있다. 3D 가이드 정보는 다음 분기점까지의 방향, 거리 및 시간 등을 포함할 수 있고, 다음 분기점까지 존재하는 제한 속도나 과속 방지 턱의 존재, 톨게이트나 주유소와 같은 운전 관련 시설과의 거리 등을 포함할 수 있다.
도 5b은 일 실시예에 따라 횡방향으로 수정된 차량의 위치 정보 및 그에 대응하여 수정된 차량 경로 정보의 일례를 도시한 도면이다.
화면(551)은 사용자의 주행 시점의 전방 영상에 맵핑된 차선 모델을 나타낸다. 차선 모델은 도로의 경계 및 차선을 포함할 수 있다. 차선 모델은 가로수 및 건물 등의 배경은 포함하지 않을 수 있다. 차선 모델은 횡단보도 등의 차선을 제외한 교통 정보도 포함하지 않을 수 있다.
화면(552)은 2D 맵으로부터 변환된 3D 맵에 대응하여 2D 맵을 기준으로 결정된 차량 경로 정보로부터 변환된 3D의 차량 경로 정보를 나타낸다. 여기서, 3D 맵은 2D 맵에서 차선 모델과의 정합을 위해 필요한 특징점을 이용하여 변환된 것일 수 있다. 화면(552)의 차량 경로 정보는 3차원일 수 있고, 주행 시점에 대응하여 변환된 것일 수 있다.
화면(553)은 화면(551)과 화면(552)을 맵핑한 결과를 나타낸다. 차량 경로 가이드 장치는 화면(551)에 속한 차선 모델과 화면(552)에 속한 도로를 매칭할 수 있다. 차량 경로 가이드 장치는 3D 맵의 도로와 차량 경로 정보의 관계를 이용하여 차량 경로 정보(561)를 화면(553)의 차선 모델에 맵핑할 수 있다. 차선 모델은 주행 차선(563)을 포함할 수 있다.
화면(554)은 차선 모델 상의 주행 차선(563)의 위치 정보를 이용하여 차량 경로 정보(561)를 수정한 차량 경로 정보(565)를 나타낸다. 차량 경로 정보(561)는 도로 수준의 정확도를 가지는 제1 센서 데이터를 기초로 결정된 것이므로 차선 수준의 정확도를 가지지 못할 수 있다. 차량 경로 가이드 장치는 차선 모델과 주행 차선(563)의 위치 정보를 이용하여 차량 경로 정보(561)를 차량 경로 정보(565)로 수정할 수 있다. 이를 통하여, 차량 경로 정보의 횡 방향의 정확도는 차선 수준으로 향상될 수 있다.
도 5c는 일 실시예에 따라 횡방향으로 수정된 차량 경로 정보의 일례를 도시한 도면이다.
화면(571)은 주행 시점의 실사 영상에 도로 수준의 정확도를 가지는 차량 경로 정보를 맵핑한 상태를 나타낸다. 차량 경로 정보는 도로 수준의 정확도를 가지므로 차량 경로 가이드 장치는 차선을 식별하는 경로(581, 582 및 583)를 특정할 수 없다.
화면(573)은 차선 수준의 정확도를 가지는 차량 경로 정보를 주행 시점의 실사 영상에 맵핑한 상태를 나타낸다. 차량 경로 가이드 장치는 주행 차선의 위치 정보를 이용하여 도로 수준의 차량 경로 정보에서 가능한 복수의 경로(581, 582 및 583) 중에서 경로(583)에 대응하는 경로(584)를 결정할 수 있다. 차량 경로 가이드 장치는 경로(584)를 이용하여 차량 경로 정보를 차선 수준의 정확도로 수정할 수 있다.
도 6는 일 실시예에 따른 차량 경로 가이드 장치의 전체적인 구성을 도시한 도면이다.
일 실시예에 따르면, 차량 경로 가이드 장치(600)는 적어도 하나의 프로세서(610), GPS 센서(630) 및 다시점 카메라(650)를 포함할 수 있다. 다른 실시예에 따르면, 차량 경로 가이드 장치(600)는 적어도 하나의 프로세서(610) 및 입출력 인터페이스를 포함하고, 입출력 인터페이스를 통해 외부의 GPS 센서로부터 제1 센서 데이터를 수신하고, 입출력 인터페이스를 통해 외부의 다시점 카메라로부터 다시점 영상을 수신할 수도 있다.
일 실시예에 따르면, 차량 경로 가이드 장치(600)는 제1 센서로서 관성 센서(640)를 더 포함할 수 있다. 관성 센서(640)는 관성 측정 장치로 지칭될 수 있다. 차량 경로 가이드 장치(600)는 제2 센서로서 라이다(660) 또는 레이더(670)를 더 포함할 수 있다. 차량 경로 가이드 장치(600)는 메모리(620) 및 출력 장치를 더 포함할 수 있다. 출력 장치는 시각적 출력 장치로서 헤드업 디스플레이 또는 헤드다운 디스플레이를 포함할 수 있고, 청각적 출력 장치로서 스피커를 포함할 수 있다.
메모리(620)는 프로세서(610)에 의해 실행될 동작들에 대응하는 인스트럭션들을 저장할 수 있다. 메모리(620)는 차량 경로 가이드 방법이 수행되면서 생성되는 데이터들을 저장할 수 있다. 예를 들어, 메모리(620)는 제1 센서 데이터, 제1 센서 데이터로부터 추출된 차량의 위치 정보, 다시점 영상, 다시점 영상으로부터 추출된 차량의 거리 정보, 제2 센서 데이터, 제2 센서 데이터로부터 추출된 차선의 위치 정보, 2D 맵, 차선 분석을 통해 생성된 차선 모델 등을 저장할 수 있다.
일 실시예에 따르면, 프로세서(610)는 제1 센서 데이터에 의해 결정된 차량의 위치 정보에 기초하여 차량이 이동할 경로를 가이드하는 차량 경로 정보를 생성할 수 있다. 프로세서(610)는 GPS 센서(630)로부터 수신한 제1 센서 데이터를 이용하여 차량의 위치 정보를 계산할 수 있다. 프로세서(610)는 관성 센서(640)로부터 수신한 제1 센서 데이터를 이용하여 차량의 위치 정보가 정확해지도록 수정할 수 있다.
프로세서(610)는 차량의 주변 영상에서 차량의 거리 정보를 추출할 수 있다. 주변 영상이 다시점 영상인 경우, 프로세서(610)는 차량의 거리 정보를 이용하여 차량의 위치 정보를 수정할 수 있다. 프로세서(610)는 서로 다른 시점의 두 영상에 스테레오 매칭을 수행하여 깊이 정보를 추출하고, 차량의 거리 정보를 계산할 수 있다. 프로세서(610)는 차량의 거리 정보를 이용하여 차량의 위치 정보를 수정할 수 있다.
주변 영상은 전방 영상을 포함할 수 있다. 차량의 전방 영상에 교차로가 존재하는 경우 프로세서(610)는 차량의 주변 영상에서 교차로를 탐지할 수 있다. 교차로가 탐지된 경우, 프로세서(610)는 탐지된 교차로의 위치 정보에 기반하여 차량의 위치 정보를 수정할 수 있다. 프로세서(610)는 수정된 위치 정보에 기초하여 경로 정보를 생성할 수 있다. 이처럼, 차량의 거리 정보 또는 교차로의 위치 정보를 이용하여 차량의 위치 정보는 종 방향으로 수정될 수 있다.
프로세서(610)는 2D 맵 상에서 수정된 차량의 위치 정보 및 목적지 정보를 이용하여 미리 설정된 기준에 부합하는 최적의 경로를 계산할 수 있다. 프로세서(610)는 2D 맵 상의 차량 경로 정보를 3D로 변환할 수 있다.
일 실시예에 따르면, 프로세서(610)는 차량의 주변 영상에 기초하여 차량이 주행하고 있는 주행 차선을 결정할 수 있다. 프로세서(610)는 제2 센서 데이터로부터 결정된 차선의 위치 정보 및 차량의 주변 영상으로부터 생성된 차선 모델을 이용하여 주행 차선을 결정할 수 있다.
일 실시예에 따르면, 프로세서(610)는 결정된 주행 차선의 위치에 기초하여 생성된 차량 경로 정보를 수정할 수 있다. 프로세서(610)는 주변 영상을 기초로 생성된 차선 모델과 차량의 경로 정보를 정합할 수 있다. 여기서, 차량의 경로 정보는 3D로 변환된 것일 수 있다. 프로세서(610)는 차선 모델에 대한 주행 차선의 위치를 이용하여 차량 경로 정보를 수정할 수 있다. 이를 통하여 차량 경로 정보는 횡 방향으로 정확해질 수 있다.
일 실시예에 따르면, 프로세서(610)는 출력 장치를 통하여 수정된 차량 경로 정보를 출력할 수 있다. 프로세서(610)는 헤드 업 디스플레이 또는 헤드다운 디스플레이를 통하여 수정된 차량 경로 정보를 디스플레이하거나 스피커를 통하여 수정된 차량 경로 정보를 출력할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (19)

  1. 제1 센서 데이터에 기초하여 차량의 위치 정보를 결정하는 단계;
    상기 차량의 주변 영상에서 교차로가 존재하는지를 탐지하는 단계;
    상기 차량의 주행 방향에서 상기 교차로가 탐지된 경우, 상기 탐지된 교차로의 위치 정보를 기초로 상기 차량의 위치 정보를 수정하는 단계;
    상기 수정된 차량의 위치 정보에 기초하여 상기 차량이 이동할 경로를 가이드하는 차량 경로 정보를 생성하는 단계;
    상기 차량의 주변 영상에 기초하여 상기 차량이 주행하고 있는 주행 차선을 결정하는 단계;
    상기 결정된 주행 차선의 위치에 기초하여 상기 생성된 차량 경로 정보를 수정하는 단계; 및
    상기 수정된 차량 경로 정보를 디스플레이하는 단계를 포함하고,
    상기 차량의 위치 정보를 수정하는 단계는,
    상기 차량에서 상기 탐지된 교차로까지의 거리를 기초로 2D 맵 상에서의 차량의 위치 정보를 종 방향으로 수정하는 단계를 포함하는,
    차량 경로 가이드 방법.
  2. 제1항에 있어서,
    상기 차량의 경로 정보를 수정하는 단계는,
    상기 주변 영상을 기초로 생성된 차선 모델과 상기 차량의 경로 정보를 정합하는 단계; 및
    상기 차선 모델에 대한 상기 주행 차선의 위치를 이용하여 상기 차량 경로 정보를 수정하는 단계
    를 포함하는 차량 경로 가이드 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 탐지하는 단계는,
    상기 차량의 주변 영상에서 상기 차량의 거리 정보를 추출하는 단계;
    상기 거리 정보를 이용하여 주변 맵(map)을 생성하는 단계; 및
    상기 주변 맵을 이용하여 교차로를 탐지하는 단계
    를 포함하는 차량 경로 가이드 방법.
  5. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 차량의 주변 영상에서 상기 차량의 거리 정보를 추출하는 단계; 및
    상기 차량의 거리 정보를 이용하여 상기 차량의 위치 정보를 수정하는 단계
    를 포함하는 차량 경로 가이드 방법.
  6. 제5항에 있어서,
    상기 차량의 위치 정보를 수정하는 단계는,
    상기 거리 정보를 이용하여 주변 맵을 생성하는 단계;
    상기 주변 맵과 상기 차량의 위치 정보를 비교하는 단계; 및
    상기 비교 결과에 기초하여 상기 차량의 위치 정보를 수정하는 단계
    를 포함하는 차량 경로 가이드 방법.
  7. 제1항에 있어서,
    상기 주행 차선을 결정하는 단계는,
    차선 모델을 생성하는 단계; 및
    상기 차선 모델에서 상기 주행 차선을 결정하는 단계
    를 포함하는 차량 경로 가이드 방법.
  8. 제7항에 있어서,
    상기 차선 모델을 생성하는 단계는,
    상기 차량의 주변 영상에서 상기 차량의 거리 정보를 추출하는 단계; 및
    제2 센서 데이터로부터 결정된 차선의 위치 정보 및 상기 거리 정보를 이용하여 차선 모델을 생성하는 단계
    를 포함하는 차량 경로 가이드 방법.
  9. 제1항에 있어서,
    상기 차량 경로 정보를 생성하는 단계는,
    상기 2D 맵 상의 차량 경로 정보를 생성하는 단계;
    상기 2D 맵을 3D 맵으로 변환하는 단계; 및
    상기 변환 결과에 기초하여 상기 2D 맵 상의 차량 경로 정보를 3D 맵 상의 차량 경로 정보로 변환하는 단계
    를 포함하는 차량 경로 가이드 방법.
  10. 제1항에 있어서,
    상기 제1 센서 데이터는, 관성 측정 장치(inertial measurement unit, IMU) 또는 글로벌 위치 시스템(global positioning system, GPS)로부터 획득되는, 차량 경로 가이드 방법.
  11. 제8항에 있어서,
    상기 제2 센서 데이터는 라이다(Light Detection And Ranging, LiDAR) 또는 레이더(Radio detection and ranging, RADAR)로부터 획득되는, 차량 경로 가이드 방법.
  12. 제1항, 제2항 및 제4항 내지 제11항 중 어느 하나의 항의 방법을 실행하기 위한 인스트럭션들을 저장하는 컴퓨터 판독 가능한 저장 매체.
  13. 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    제1 센서 데이터에 기초하여 차량의 위치 정보를 결정하는 동작;
    상기 차량의 주변 영상에서 교차로가 존재하는지를 탐지하는 동작;
    상기 차량의 주행 방향에서 상기 교차로가 탐지된 경우, 상기 탐지된 교차로의 위치 정보를 기초로 상기 차량의 위치 정보를 수정하는 동작;
    상기 수정된 차량의 위치 정보에 기초하여 상기 차량이 이동할 경로를 가이드하는 차량 경로 정보를 생성하는 동작;
    상기 차량의 주변 영상에 기초하여 상기 차량이 주행하고 있는 주행 차선을 결정하는 동작;
    상기 결정된 주행 차선의 위치에 기초하여 상기 생성된 차량 경로 정보를 수정하는 동작; 및
    상기 수정된 차량 경로 정보를 디스플레이하는 동작을 실행하도록 구성되고,
    상기 차량의 위치 정보를 수정하는 동작은,
    상기 차량에서 상기 탐지된 교차로까지의 거리를 기초로 2D 맵 상에서의 차량의 위치 정보를 종 방향으로 수정하는 동작을 포함하는,
    차량 경로 가이드 장치.
  14. 제13항에 있어서,
    상기 차량의 경로 정보를 수정하는 동작은,
    상기 주변 영상을 기초로 생성된 차선 모델과 상기 차량의 경로 정보를 정합하는 동작; 및
    상기 차선 모델에 대한 상기 주행 차선의 위치를 이용하여 상기 차량 경로 정보를 수정하는 동작
    을 포함하는 차량 경로 가이드 장치.
  15. 삭제
  16. 제13항에 있어서,
    상기 생성하는 동작은,
    상기 차량의 주변 영상에서 상기 차량의 거리 정보를 추출하는 동작; 및
    상기 차량의 거리 정보를 이용하여 상기 차량의 위치 정보를 수정하는 동작
    을 포함하는 차량 경로 가이드 장치.
  17. 제13항에 있어서,
    상기 제1 센서 데이터를 획득하는 관성 측정 장치 또는 글로벌 위치 시스템을 더 포함하는, 차량 경로 가이드 장치.
  18. 제13항에 있어서,
    상기 주행 차선을 결정하는 동작은,
    제2 센서 데이터로부터 결정된 차선의 위치 정보 및 상기 차량의 주변 영상으로부터 생성된 차선 모델에서 상기 주행 차선을 결정하는, 차량 경로 가이드 장치.
  19. 제18항에 있어서,
    상기 제2 센서 데이터를 획득하는 라이다(Light Detection And Ranging, LiDAR) 또는 레이더(Radio detection and ranging, RADAR)를 더 포함하는, 차량 경로 가이드 장치.
KR1020170012864A 2017-01-26 2017-01-26 차량 경로 가이드 방법 및 장치 Active KR102695518B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170012864A KR102695518B1 (ko) 2017-01-26 2017-01-26 차량 경로 가이드 방법 및 장치
US15/618,729 US10900793B2 (en) 2017-01-26 2017-06-09 Vehicle path guiding apparatus and method
CN201710748145.3A CN108362295B (zh) 2017-01-26 2017-08-28 车辆路径引导设备和方法
EP17188546.0A EP3355029A1 (en) 2017-01-26 2017-08-30 Vehicle path guiding apparatus and method
EP22155998.2A EP4016003A3 (en) 2017-01-26 2017-08-30 Vehicle path guiding apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170012864A KR102695518B1 (ko) 2017-01-26 2017-01-26 차량 경로 가이드 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180088149A KR20180088149A (ko) 2018-08-03
KR102695518B1 true KR102695518B1 (ko) 2024-08-14

Family

ID=59856356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170012864A Active KR102695518B1 (ko) 2017-01-26 2017-01-26 차량 경로 가이드 방법 및 장치

Country Status (4)

Country Link
US (1) US10900793B2 (ko)
EP (2) EP4016003A3 (ko)
KR (1) KR102695518B1 (ko)
CN (1) CN108362295B (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180106417A (ko) * 2017-03-20 2018-10-01 현대자동차주식회사 차량의 위치 인식 시스템 및 방법
CN108235725B (zh) * 2018-02-26 2021-08-10 达闼机器人有限公司 基于云端的轨迹地图生成方法、装置、设备及应用程序
US11014532B2 (en) * 2018-05-14 2021-05-25 Gentex Corporation Vehicle control module for smart home control system
CN112400193B (zh) * 2018-07-11 2023-11-14 日产自动车株式会社 行驶环境信息的生成方法、驾驶控制方法、行驶环境信息生成装置
KR102521834B1 (ko) * 2018-08-21 2023-04-17 삼성전자주식회사 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
KR102231775B1 (ko) * 2019-07-08 2021-03-25 네이버랩스 주식회사 차선 변경 가능 여부의 알림을 제공하는 방법 및 시스템
JP7209746B2 (ja) * 2018-09-06 2023-01-20 グーグル エルエルシー マッピングアプリケーションにおいてパーソナル化ランドマークを表示すること
US10495476B1 (en) 2018-09-27 2019-12-03 Phiar Technologies, Inc. Augmented reality navigation systems and methods
US10573183B1 (en) 2018-09-27 2020-02-25 Phiar Technologies, Inc. Mobile real-time driving safety systems and methods
US11448518B2 (en) * 2018-09-27 2022-09-20 Phiar Technologies, Inc. Augmented reality navigational overlay
KR102483649B1 (ko) * 2018-10-16 2023-01-02 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치
US10488215B1 (en) * 2018-10-26 2019-11-26 Phiar Technologies, Inc. Augmented reality interface for navigation assistance
JP7211047B2 (ja) * 2018-12-04 2023-01-24 株式会社アイシン 路面検出装置および路面検出プログラム
US11560690B2 (en) * 2018-12-11 2023-01-24 SafeAI, Inc. Techniques for kinematic and dynamic behavior estimation in autonomous vehicles
JP7223226B2 (ja) * 2019-01-08 2023-02-16 日本電信電話株式会社 設置候補提示方法、設置候補提示装置及びプログラム
JP7063316B2 (ja) * 2019-02-14 2022-05-09 株式会社デンソー 表示制御装置及び表示制御プログラム
WO2020185779A1 (en) * 2019-03-11 2020-09-17 Nvidia Corporation Intersection detection and classification in autonomous machine applications
CN109931945B (zh) * 2019-04-02 2021-07-06 百度在线网络技术（北京）有限公司 Ar导航方法、装置、设备和存储介质
JP7063303B2 (ja) * 2019-04-23 2022-05-09 株式会社デンソー 車両用装置、車両用プログラムおよび記憶媒体
EP3742329A1 (en) * 2019-05-20 2020-11-25 Visteon Global Technologies, Inc. Lane tracking in three dimensions using digital terrain model
CN110191412B (zh) * 2019-05-22 2021-01-26 象翌微链科技发展有限公司 一种修正车辆行驶路线信息的方法、一种车载终端
DE102019207951B4 (de) * 2019-05-29 2022-06-30 Volkswagen Aktiengesellschaft Verfahren zum Durchführen einer Korrektur der Fahrtrichtung durch ein Fahrerassistenzsystem in einem Kraftfahrzeug sowie eine Steuervorrichtung hierzu
KR102751276B1 (ko) * 2019-06-07 2025-01-10 현대자동차주식회사 자율주행차량의 위치 인식 장치 및 그 방법
US10871377B1 (en) * 2019-08-08 2020-12-22 Phiar Technologies, Inc. Computer-vision based positioning for augmented reality navigation
USD956067S1 (en) * 2019-12-17 2022-06-28 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN111207769A (zh) * 2020-01-15 2020-05-29 北京小马慧行科技有限公司 车道级别的导航方法、装置、存储介质和处理器
WO2021157760A1 (ko) * 2020-02-05 2021-08-12 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
EP4477489A3 (en) * 2020-02-14 2025-03-05 Panasonic Intellectual Property Management Co., Ltd. Information processing method, information processing system, and information processing device
CN111693059B (zh) * 2020-05-28 2022-10-11 阿波罗智联(北京)科技有限公司 环岛的导航方法、装置、设备及存储介质
US12073332B2 (en) 2020-08-20 2024-08-27 Toyota Motor Engineering & Manufacturing North America, Inc. Rest stop recommendation system
USD1036453S1 (en) * 2020-08-27 2024-07-23 Mobileye Vision Technologies Ltd. Display screen with graphical user interface
US11833901B2 (en) * 2020-10-12 2023-12-05 GM Global Technology Operations LLC System and method for adjusting a location and distortion of an image projected onto a windshield of a vehicle by a head-up display
JP7744174B2 (ja) * 2021-07-26 2025-09-25 トヨタ自動車株式会社 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム
US11348064B1 (en) * 2021-08-12 2022-05-31 Airspace Technologies, Inc. System and methods for alternate path generation
US11748696B2 (en) 2021-08-12 2023-09-05 Airspace Technologies, Inc. System and methods for alternate path generation
CN114212088B (zh) * 2021-11-22 2024-02-20 北京罗克维尔斯科技有限公司 车辆控制方法、装置、电子设备、车辆及存储介质
CN114646320B (zh) * 2022-02-09 2023-04-28 江苏泽景汽车电子股份有限公司 一种路径引导方法、装置、电子设备及可读存储介质
CN114923492B (zh) * 2022-04-22 2024-12-27 中国第一汽车股份有限公司 定位信息确定方法、装置、电子设备及存储介质
JP2023170768A (ja) * 2022-05-20 2023-12-01 株式会社Soken 車両用虚像表示装置
US12014555B2 (en) * 2022-11-07 2024-06-18 Plusai, Inc. Vehicle localization based on lane templates
CN115950441B (zh) * 2023-03-08 2023-07-07 智道网联科技(北京)有限公司 自动驾驶车辆的融合定位方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070021912A1 (en) * 2005-01-06 2007-01-25 Aisin Aw Co., Ltd. Current position information management systems, methods, and programs
JP2011117842A (ja) * 2009-12-03 2011-06-16 Aisin Aw Co Ltd 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
US20160171893A1 (en) * 2014-12-16 2016-06-16 Here Global B.V. Learning Lanes From Radar Data

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285317B1 (en) * 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
DE102006010478A1 (de) * 2006-03-07 2007-09-13 Robert Bosch Gmbh Verfahren und Anordnung zur Anzeige von Navigationshinweisen
KR101085390B1 (ko) 2008-04-30 2011-11-21 주식회사 코아로직 3ｄ 네비게이션을 위한 영상표현 방법, 장치 및 그 장치를포함한 모바일 장치
KR101612822B1 (ko) 2011-08-05 2016-04-15 엘지전자 주식회사 차선 인식 장치 및 그 방법
CN102322869A (zh) * 2011-08-24 2012-01-18 深圳市凯立德科技股份有限公司 一种投影式车载导航显示方法、装置及系统
EP2775261B1 (en) 2013-03-04 2019-06-12 Harman Becker Automotive Systems GmbH Route guidance at intersections
US9797733B2 (en) 2013-04-10 2017-10-24 Harman Becker Automotive Systems Gmbh Navigation system and method of determining a vehicle position
KR101558353B1 (ko) 2013-09-26 2015-10-07 현대자동차 주식회사 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치
US9384394B2 (en) 2013-10-31 2016-07-05 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps
KR101610502B1 (ko) * 2014-09-02 2016-04-07 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법
JP2016176769A (ja) * 2015-03-19 2016-10-06 クラリオン株式会社 情報処理装置、及び、車両位置検出方法
US9880263B2 (en) * 2015-04-06 2018-01-30 Waymo Llc Long range steerable LIDAR system
KR101750876B1 (ko) * 2015-05-28 2017-06-26 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
KR20170012859A (ko) 2015-07-24 2017-02-03 엘에스전선 주식회사 비할로겐계 난연성 폴리올레핀 가교 절연 전선

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070021912A1 (en) * 2005-01-06 2007-01-25 Aisin Aw Co., Ltd. Current position information management systems, methods, and programs
JP2011117842A (ja) * 2009-12-03 2011-06-16 Aisin Aw Co Ltd 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
US20160171893A1 (en) * 2014-12-16 2016-06-16 Here Global B.V. Learning Lanes From Radar Data

Also Published As

Publication number Publication date
EP3355029A1 (en) 2018-08-01
EP4016003A2 (en) 2022-06-22
CN108362295A (zh) 2018-08-03
US20180209802A1 (en) 2018-07-26
EP4016003A3 (en) 2022-09-14
CN108362295B (zh) 2023-08-01
KR20180088149A (ko) 2018-08-03
US10900793B2 (en) 2021-01-26

Similar Documents

Publication Publication Date Title
KR102695518B1 (ko) 차량 경로 가이드 방법 및 장치
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
US11959771B2 (en) Creation and use of enhanced maps
JP7432285B2 (ja) レーンマッピング及びナビゲーション
JP7616505B2 (ja) 映像及びマップデータ基盤測位方法及び装置
US11333506B2 (en) Computer-vision based positioning for augmented reality navigation
JP7210165B2 (ja) 仮想経路を表示する方法、装置及びディスプレイ装置
KR102815456B1 (ko) 영상 처리를 위한 학습 데이터 생성 방법, 영상 처리 방법, 및 그 장치들
US10240934B2 (en) Method and system for determining a position relative to a digital map
JP5227065B2 (ja) 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置
US9367962B2 (en) Augmented image display using a camera and a position and orientation sensor
JP2018081008A (ja) 基準映像地図を用いた自己位置姿勢標定装置
JP2008249555A (ja) 位置特定装置、位置特定方法および位置特定プログラム
CN112461249A (zh) 根据外部源数据进行的传感器定位
US9791287B2 (en) Drive assist system, method, and program
CN109345015B (zh) 用于选取路线的方法和装置
KR20210057393A (ko) 정밀 항법 장치 및 그 장치의 동작 방법
KR20090065223A (ko) 교차로 경로안내객체 출력장치 및 그 방법
US12397799B2 (en) Object based vehicle localization
EP3637056B1 (en) Method and system for generating navigation data for a geographical location
JP2020201180A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载