+

WO2024261853A1 - 車線境界線検出方法及び車線境界線検出装置 - Google Patents

車線境界線検出方法及び車線境界線検出装置 Download PDF

Info

Publication number
WO2024261853A1
WO2024261853A1 PCT/JP2023/022750 JP2023022750W WO2024261853A1 WO 2024261853 A1 WO2024261853 A1 WO 2024261853A1 JP 2023022750 W JP2023022750 W JP 2023022750W WO 2024261853 A1 WO2024261853 A1 WO 2024261853A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane boundary
line
link
feature points
link line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/022750
Other languages
English (en)
French (fr)
Inventor
佳奈子 酒井
千加夫 土谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to PCT/JP2023/022750 priority Critical patent/WO2024261853A1/ja
Publication of WO2024261853A1 publication Critical patent/WO2024261853A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present invention relates to a lane boundary detection method and a lane boundary detection device.
  • a lane marking recognition device that extracts feature points that make up white line candidates from camera images, converts the coordinates of the feature points from each camera's local coordinate system to a world coordinate system common to multiple cameras, rotates the feature points around the vehicle so that the converted row of feature points is parallel to the Y axis of the world coordinate system, extracts the X coordinate where the cumulative value of the edge strength of the feature points is equal to or greater than a predetermined threshold and is a maximum, and detects the white line from the extracted X coordinate (Patent Document 1).
  • the feature points are dispersed in the X-axis direction of the world coordinate system, so the X-coordinate that is equal to or greater than a certain threshold and is a maximum cannot be extracted, and the white lines cannot be detected accurately.
  • the problem that this invention aims to solve is to provide a lane boundary detection method and device that can accurately detect lane boundary lines.
  • the present invention solves the above problem by detecting lane boundary lines of a road from position information of feature points relative to the link lines when map information including link lines representing the road is used to detect the lane boundary lines of the road.
  • the present invention allows lane boundaries to be detected accurately.
  • FIG. 1 is a block diagram showing an example of an embodiment of a driving assistance device including a lane boundary detection device according to the present invention.
  • 2 is a plan view showing an example of a driving scene in which driving assistance is performed by the driving assistance device of FIG. 1 .
  • 3 is a plan view showing an example of feature points extracted from the driving scene of FIG. 2 .
  • 3 is a plan view showing an example of a link line in the driving scene of FIG. 2 .
  • 5 is a plan view showing the feature points of FIG. 3 in a local coordinate system along the link lines of FIG. 4 .
  • FIG. 11 is a plan view showing another example of the link line of the embodiment. 13 is a plan view showing still another example of the link line of the present embodiment.
  • FIG. 2 is a flowchart showing an example of a processing procedure in the driving assistance device of FIG. 1 .
  • 10 is a flowchart showing another example of the processing procedure in the driving assistance device of FIG. 1 .
  • FIG. 1 is a block diagram showing a driving assistance device 10 according to the present invention.
  • the driving assistance device 10 is a group of devices that perform driving assistance for a vehicle. Driving assistance includes driving a vehicle by autonomous driving control and presenting information to a driver of the vehicle to assist the driver in driving operations.
  • the driving assistance device 10 generates a driving route to a destination set by an occupant, and controls an actuator of the vehicle to drive the vehicle along the driving route.
  • the driving assistance device 10 notifies the driver of the risk of lane departure when the vehicle deviates from the lane.
  • the driving assistance device 10 may be an in-vehicle system, or a part of the components may be provided outside the vehicle.
  • Autonomous driving control refers to autonomously controlling the driving operations of a vehicle using a vehicle control device, and driving operations include all driving operations such as acceleration, deceleration, starting, stopping, and steering.
  • Autonomously controlling driving operations means that the control device controls the driving operations using the vehicle's devices. The control device controls these driving operations within a predetermined range, and driving operations that are not controlled by the control device are manually operated by the driver. When the vehicle is driven manually by the driver without autonomous driving control, the control device does not perform autonomous control of the driving operations, and the vehicle's driving operations are controlled by the driver's operation.
  • the driving assistance device 10 includes a map database 11, a navigation device 12, an imaging device 13, a distance measuring device 14, and a control device 15.
  • the control device 15 in this embodiment also includes a lane boundary detection device 20 as part of it.
  • These devices are connected via a Controller Area Network (CAN) or other in-vehicle LAN, and can exchange information with each other.
  • Information is exchanged with devices installed outside the vehicle via networks such as the Internet or a local area network (LAN).
  • CAN Controller Area Network
  • LAN local area network
  • the map database 11 is a storage medium that stores map information, and is provided inside or outside the vehicle.
  • the control device 15 acquires map information from the map database 11 as necessary.
  • the map information is used for generating driving routes, etc., and includes information on nodes corresponding to specific points on roads where the vehicle's traveling direction changes (intersections, branching points, etc.), and links corresponding to road sections connecting the nodes.
  • Node information includes location information (e.g., latitude and longitude), information on entering and exiting intersections and branching points, etc.
  • link information includes road width, road curvature radius, road shoulder structures, road traffic regulations (e.g., traffic direction), junctions, branching points, etc.
  • the map information may be high-precision map information (HD map) that can grasp the movement trajectory for each lane.
  • HD map high-precision map information
  • the navigation device 12 is a device that references map information to generate a driving route from the vehicle's current position detected by a positioning system (not shown) to a set destination.
  • the navigation device 12 uses node and link information in the map information to search for a driving route for the vehicle to reach the destination.
  • the driving route includes at least information on the roads the vehicle will travel on and the vehicle's traveling direction, and is displayed, for example, by nodes and link lines.
  • the imaging device 13 is a device that captures images of objects around the vehicle, and examples of such devices include a camera equipped with an imaging element such as a CCD, an ultrasonic camera, and an infrared camera. In order to reduce blind spots when detecting objects, multiple imaging devices 13 are installed in the front grille of the vehicle, under the left and right door mirrors, near the rear bumper, etc.
  • the distance measuring device 14 is a device that acquires the relative distance and relative speed between the distance measuring device 14 and an object, and examples of such devices include laser radar, millimeter wave radar, and LiDAR (Light Detection and Ranging) units. In order to reduce blind spots when detecting an object, multiple distance measuring devices 14 are installed at the front, right side, left side, and rear of the vehicle.
  • the object is an object that exists on the road and its surroundings, and includes lane boundaries, center lines, road markings, medians, guard rails, curbs, road signs, traffic lights, and crosswalks.
  • the object also includes obstacles that may affect the traveling of a vehicle, such as automobiles other than the vehicle itself, motorcycles, bicycles, and pedestrians.
  • the object is particularly an object that indicates lane boundaries on a road.
  • the control device 15 acquires the detection results of the imaging device 13 and the distance measurement device 14 at a predetermined time interval (for example, every 0.1 to 1 millisecond).
  • the control device 15 may also integrate or synthesize (sensor fusion) the detection results of the imaging device 13 and the distance measurement device 14 to supplement missing information.
  • the ranging device 14 may generate point cloud data in which information about the ranging points of surrounding objects is arranged two-dimensionally in the left-right and up-down directions of the vehicle.
  • the ranging points of the object are points on the object whose distance to the ranging device 14 is measured.
  • the ranging point information includes the position information of the ranging point as well as the reflectance of electromagnetic waves at the ranging point.
  • the position information of the ranging point includes information on the coordinates of the ranging point and information on the distance from the ranging device 14 to the ranging point.
  • the distance measuring device 14 generates point cloud data by scanning electromagnetic waves in the left-right direction of the vehicle. For example, the distance measuring device 14 irradiates electromagnetic waves along the vehicle width direction, detects the reflected electromagnetic waves (reflected waves), and calculates the distance to the ranging point and the direction of the ranging point.
  • the irradiation range of the electromagnetic waves is not particularly limited. Examples of electromagnetic waves include millimeter waves, infrared rays, and lasers.
  • the control device 15 is a device for executing driving assistance by controlling and cooperating with the constituent devices of the driving assistance device 10.
  • the control device 15 is, for example, a computer, and includes a CPU (Central Processing Unit) which is a processor, a ROM (Read Only Memory) in which programs are stored, and a RAM (Random Access Memory) which functions as an accessible storage device.
  • the CPU is an operating circuit for executing the programs stored in the ROM and realizing the functions of the control device 15.
  • the control device 15 has a driving assistance function that performs driving assistance for the vehicle.
  • the control device 15 also includes a lane boundary detection device 20 as part of its driving assistance function, which has a lane boundary detection function that detects lane boundary lines as part of its driving assistance function.
  • the ROM stores a program for implementing the driving assistance function, and the driving assistance function including the lane boundary detection function is implemented by the CPU executing the program stored in the ROM.
  • the driving control unit 16, the feature acquisition unit 21, the position acquisition unit 22, and the boundary detection unit 23 are conveniently extracted and shown as functional blocks that realize the driving assistance function.
  • the feature acquisition unit 21, the position acquisition unit 22, and the boundary detection unit 23 are functional blocks that realize the lane boundary detection function, and are included in the lane boundary detection device 20. The functions of each functional block will be explained below with reference to FIG. 2.
  • FIG. 2 is a plan view showing an example of a driving scene in which the control device 15 executes autonomous driving control by the driving assistance function.
  • a lane W separated (defined) by white lines L1 and L2 extends in the Y-axis direction (up and down direction in the drawing) of a global coordinate system used in the map information.
  • the coordinate system of the map information is not limited to the global coordinate system, and may be various coordinate systems.
  • the vehicle V is traveling at a position Y1 of the lane W.
  • the control device 15 If the travel direction of the lane W is the positive direction of the Y-axis (the direction from the bottom to the top of the drawing), the control device 15 generates a driving route X along the lane W from a position Y1 to a position Y2 by the function of the driving control unit 16. Then, the driving operation of the vehicle V is autonomously controlled so that the vehicle V travels along the driving route X.
  • the lane W can be recognized from the lane information of the road, but if the map information does not contain lane information, the white lines L1, L2 are detected from images acquired from the imaging device 13, and the lane W is recognized.
  • the control device 15 of this embodiment detects the white lines L1, L2 from the position information of the characteristic points relative to the link lines, using the process described below.
  • the driving control unit 16 shown in FIG. 1 has the function of generating a driving route for the vehicle V and activating the actuators of the vehicle V so that the vehicle V drives along the driving route.
  • the control device 15 determines whether or not to use map information including link lines representing roads. Then, when it is determined that driving assistance is to be performed using map information including link lines representing roads, the control device 15 instructs the lane boundary detection device 20 to perform lane boundary line detection using map information including link lines representing roads in order to generate a driving route X.
  • the feature acquisition unit 21 has a function of acquiring feature points of objects around the vehicle V.
  • Feature points are characteristic parts of an object that are used to detect the object, and examples of such feature points include edges that capture the object's contour, corners of the object, and parts of the object where the brightness changes.
  • the lane boundary detection device 20 acquires images from the imaging device 13 using the function of the feature acquisition unit 21, and extracts feature points from the images using known algorithms such as SIFT (Scale-Invariant Feature Transform).
  • the lane boundary detection device 20 may also obtain point cloud data from the distance measurement device 14 and obtain feature points from the point cloud data. For example, the lane boundary detection device 20 generates an image on which distance measurement points are plotted from the point cloud data, and executes a feature point extraction process on the generated image. At this time, by reflecting information on the reflectance of electromagnetic waves in the generated image, road markings such as lane boundary lines can be detected from the difference in reflectance between the road surface and the road markings.
  • the lane boundary detection device 20 of this embodiment acquires information on the characteristic points of objects that indicate the lane boundary lines of the road on which the vehicle V is traveling from a sensor mounted on the vehicle V.
  • Objects that indicate lane boundary lines include solid white lines, solid yellow lines, and dashed white lines, and information on the characteristic points of the objects includes position information of the edges of the solid white lines, information on the width of the solid yellow lines, information on the length of the dashed white lines in the traveling direction, etc.
  • sensors include an imaging device 13 and a distance measuring device 14.
  • FIG. 3 is a plan view showing an example of feature points extracted from an image acquired by the imaging device 13 in the driving scene shown in FIG. 2.
  • the coordinate system shown in FIG. 3 is a global coordinate system.
  • feature points A1 to A15 are extracted for the white line L1 on the left side of the vehicle V in the direction of travel
  • feature points B1 to B13 are extracted for the white line L2 on the right side of the direction of travel.
  • Each extracted feature point is placed on the XY plane in FIG. 3 based on the coordinate information of the feature point.
  • the number of feature points and the spacing between feature points can be set to appropriate values depending on the feature point extraction process.
  • the position acquisition unit 22 has a function of acquiring position information of feature points relative to link lines.
  • a link line is, for example, a line along a road that indicates the shape of the road corresponding to the road section between nodes.
  • the link line is located on the center line in the width direction of the road, and one link line is set for each road section between nodes. Information on the link lines is included in the information on the links.
  • Nodes are placed on the link lines at predetermined distances (for example, every 1 to 3 meters).
  • the nodes on the link lines have position information for the node.
  • the position information may include coordinate information in the global coordinate system used in the map information, information on the angle between a predetermined direction and the direction of the link line (direction of travel), and information on the travel distance from one node to another node on the link line. For example, the node closest to the start point of travel route X is set as the starting node.
  • the specified direction may be the north direction on the map, or a direction along an axis of the global coordinate system.
  • the direction of the link line is, for example, the tangent direction of the link line at a node on the link line.
  • the travel distance between nodes is calculated as the travel distance when moving from one node to another node along the link line.
  • the nodes on the link line may have information on whether or not the node is located within an intersection.
  • FIG. 4 is a plan view showing an example of a link line set for the road shown in FIG. 2.
  • Link line Z shown in FIG. 4 is a line that runs along the lane W and is located on the center line of the lane W in the width direction, and indicates the curvature of the lane W, etc.
  • Nodes N1 to N14 are provided on link line Z, and each of nodes N1 to N14 has information on its coordinates in the global coordinate system, information on the angle between the Y-axis direction and the tangent direction of link line Z, information on the distance traveled from node N1, which is the starting point, etc.
  • the lane boundary detection device 20 acquires position information in the coordinate system (hereinafter also referred to as the original coordinate system) of the information used to extract the feature points, using the function of the position acquisition unit 22. If the feature points are extracted from an image, the original coordinate system is the coordinate system used in the image, and if the feature points are extracted from point cloud data, the original coordinate system is the coordinate system used in the point cloud data. Next, the lane boundary detection device 20 converts the position information in the original coordinate system into position information in the global coordinate system. As an example, the lane boundary detection device 20 converts the original coordinate system into the global coordinate system using the relative position of the feature point with respect to the vehicle V in the original coordinate system.
  • the lane boundary detection device 20 converts the position information in the global coordinate system into position information in the local coordinate system, and obtains position information of the feature point in the local coordinate system along the link line Z.
  • the local coordinate system along the link line Z is a coordinate system in which the position information of the feature point is expressed by the distance from the link line Z and the travel distance from a specified node.
  • the lane boundary detection device 20 associates the feature point with the closest node on the link line Z, and rotates the feature point around the associated node by the angle formed by the specified direction and the direction of the link line. Furthermore, the lane boundary detection device 20 moves the rotated feature point along the link line Z by the travel distance of the node at the center of rotation.
  • the position information of a feature point is information related to the position of the feature point, and is not particularly limited. Examples include information on the coordinates of the feature point in an arbitrary coordinate system such as a local coordinate system, information on the distance and direction of one feature point relative to another feature point, information on the distance between a feature point and the link line Z, etc. Note that the position information of a feature point relative to the link line Z does not necessarily have to be position information of the feature point in a local coordinate system along the link line Z, and is not particularly limited as long as it is position information based on the link line Z.
  • the coordinates of each feature point in the global coordinate system have been acquired, so the lane boundary detection device 20 associates each feature point with a node on the link line Z.
  • feature points A1 to A8 and feature points B1 to B8 are associated with nodes N1 to N8, respectively.
  • feature points A9 and B9 are associated with node N9
  • feature points A10 and A11 are associated with node N10
  • feature points A12 and B10 are associated with node N11.
  • feature points A13 to A15 and feature points B11 to B13 are associated with nodes N12 to N14, respectively.
  • the lane boundary detection device 20 rotates each of the feature points A1-A15, B1-B13 by an angle using information about the angle between a specific direction and the direction of the link line that is held by the associated nodes N1-N14.
  • the lane boundary detection device 20 then moves each of the rotated feature points A1-A15, B1-B13 along the link line Z using information about the travel distance that is held by the associated nodes N1-N14.
  • the coordinate P raw of the feature point A9 in the global coordinate system is expressed by the following formula (2)
  • the coordinate P node obtained by rotating the coordinate P raw of the feature point A9 in the global coordinate system in the counterclockwise direction by an angle ⁇ is expressed by the following formula (3).
  • xb and yb are the X and Y coordinates of the feature point A9 in the global coordinate system, respectively.
  • a coordinate Pway obtained by moving the coordinate Pnode by a travel distance s along the link line Z is expressed by the following formula (4).
  • the travel distance s is the travel distance from node N1 to node N9.
  • the lane boundary detection device 20 performs the above-mentioned series of processes for each feature point shown in FIG. 4, thereby converting the coordinates of the feature points in the global coordinate system shown in FIG. 4 into coordinates in the local coordinate system shown in FIG. 5.
  • the horizontal axis of the local coordinate system in FIG. 5 indicates the distance d between the feature point and the link line Z, and the vertical axis indicates the travel distance s from node N1.
  • the boundary detection unit 23 has a function of detecting lane boundary lines that separate the lanes of a road from the position information of the feature points relative to the link line Z.
  • the feature points corresponding to the lane boundary lines are arranged at approximately the same distance from the link line Z, so the lane boundary line detection device 20 uses the function of the boundary detection unit 23 to search for peak positions where a predetermined number or more of feature points exist from the position information of the feature points in the local coordinate system, and detects the lane boundary lines from the searched peak positions.
  • the specified number of peak positions can be set to an appropriate value within a range in which lane boundary lines can be accurately detected.
  • the lane boundary line detection device 20 may generate a histogram showing the distribution of feature points from the position information of the feature points in the local coordinate system.
  • the lane boundary detection device 20 searches for the number of feature points in the s-axis direction from an arbitrary position (for example, origin O) along the positive direction of the d-axis (i.e., the direction from the left side to the right side of the drawing). This search detects that there is a peak consisting of feature points A1 to A15 at position d1, and a peak consisting of feature points B1 to B13 at position d2. Then, from the peak at position d1, it detects the white line L1 on the left side of the vehicle V's traveling direction, and from the peak at position d2, it detects the white line L2 on the right side of the vehicle V's traveling direction.
  • the lane boundary detection device 20 outputs information on the detected lane boundary to the driving control unit 16.
  • the control device 15 generates the driving path X shown in FIG. 2 using the information on the lane boundary obtained from the lane boundary detection device 20, and drives the vehicle V along the driving path X by autonomous driving control.
  • the lane boundary detection device 20 may determine whether or not there is a branch point at which a link line branches off on the driving route X to the destination of the vehicle V. For example, as shown in FIG. 6, if it is determined that a branch point D at which link line Z1 branches off into link lines Z2 and Z3 exists on link line Z1, the lane boundary detection device 20 acquires position information for the link line heading toward the destination out of the link lines Z2 and Z3 branching off at branch point D.
  • the lane boundary detection device 20 acquires the coordinates of the characteristic point in the local coordinate system along link lines Z1 and Z2. On the other hand, if it is determined that no branch point D exists on link line Z1, the lane boundary detection device 20 acquires the position information of the characteristic point in the local coordinate system along link line Z1.
  • the lane boundary detection device 20 may acquire position information with respect to link lines for feature points other than those within intersections. In other words, the lane boundary detection device 20 may exclude position information for feature points within intersections from the position information for feature points. This is because feature points within intersections may not be extracted accurately. Specifically, since each node on a link line has information on whether the node is present within an intersection, the lane boundary detection device 20 does not acquire position information for feature points associated with nodes that are present within an intersection when converting the coordinate system.
  • the lane boundary detection device 20 may obtain position information relative to the link line for feature points on both sides of the link line Z. Alternatively or in addition, if the road is two-way, the lane boundary detection device 20 may obtain position information relative to the link line for feature points on the side of the link line Z that is farther from the oncoming lane.
  • the lane boundary detection device 20 may associate a feature point with each detected lane boundary line, convert the position information of the feature point into position information on the map of the map information, and estimate the shape of the lane boundary line for each associated feature point from the position information on the map.
  • the lane boundary detection device 20 may convert the position information of the feature point into a coordinate system with the position of the vehicle V as the origin. In the example shown in FIG. 5, when the lane boundary detection device 20 detects a white line L1 on the left side of the traveling direction of the vehicle V and a white line L2 on the right side of the traveling direction from the coordinates of the feature points shown in FIG.
  • the lane boundary detection device 20 associates the feature points A1 to A15 corresponding to the white line L1 with the feature points B1 to B13 corresponding to the white line L2, respectively. Then, the coordinate system is converted from the local coordinate system shown in FIG. 5 to the global coordinate system shown in FIG. 4, and the shape of the white lines L1 and L2 is estimated for each associated feature point using a known fitting method. By associating (clustering) the feature points with each white line, fitting becomes easier.
  • the lane boundary detection device 20 determines whether the angle ⁇ a formed by the direction C3 of the link line between nodes N8 and N9x and the direction of the link line between nodes N9x and N10 is equal to or greater than a predetermined angle, and if it is determined that the angle ⁇ a is equal to or greater than the predetermined angle, it corrects the shape of the link line Zx at node N9x and the nodes N8 and N10 before and after it. On the other hand, if it is determined that the angle ⁇ a is less than the predetermined angle, no correction of the link line Zx is performed.
  • an inscribed circle E tangent to nodes N8 and N10 is generated, and node N9x is moved to the position of node N9y on the inscribed circle E, or node N9x is replaced with node N9y.
  • Node N9y is the closest point to node N9x on the inscribed circle E.
  • a Bezier curve connecting nodes N8 and N10 may be generated, and node N9x may be moved to the closest point on the Bezier curve from node N9x.
  • an approximation curve may be generated by polynomial approximation using the coordinates of nodes N8, N9x, and N10, and node N9x may be moved to the closest point on the approximation curve from node N9x.
  • FIG. 8 is an example of a flowchart showing information processing executed by the driving assistance device 10.
  • step S1 the feature acquisition unit 21 acquires information on feature points of an object that indicates lane boundary lines from an image or the like, and then in step S2, the position acquisition unit 22 acquires position information of the feature points relative to the link line Z.
  • step S3 the boundary detection unit 23 detects lane boundary lines from the position information of the feature points relative to the link line, and then in step S4, the driving control unit 16 performs driving assistance using the detected lane boundary lines.
  • FIG. 9 is another example of a flowchart showing information processing executed by the driving assistance device 10.
  • step S11 the feature acquisition unit 21 extracts feature points from the image and/or point cloud data.
  • step S12 the position acquisition unit 22 acquires the coordinates of the feature points in the original coordinate system of the image and/or point cloud data.
  • step S13 the coordinate system of the acquired coordinates is transformed from the original coordinate system to the global coordinate system.
  • each feature point is associated with the closest node on the link line Z.
  • step S18 the coordinates of the feature points in the local coordinate system are obtained, and in the following step S19, it is determined whether the road to which the node belongs is one-way or not. If it is determined that the road to which the node belongs is not one-way, the process proceeds to step S20, where the coordinates of the feature points on the side of the link line Z closer to the oncoming lane are excluded, and the process proceeds to step S21. On the other hand, if it is determined that the road to which the node belongs is one-way, the process proceeds to step S21, where the boundary detection unit 23 detects lane boundary lines from the peak positions in the local coordinate system.
  • step S22 feature points are associated with each boundary line, and in the following step S23, the coordinate system is transformed from the local coordinate system to the global coordinate system. Then, in step S24, fitting is performed for each associated feature point to estimate the shape of the lane boundary line.
  • step S4 in FIG. 8 is not essential to the present invention and may be omitted if necessary.
  • steps S15, S16, S19, and S20 in FIG. 9 are not essential to the present invention and may be omitted if necessary.
  • the lane boundary line detection device 20 when performing driving assistance using the lane boundary lines, determines whether or not a branch point D at which the link line Z branches off exists on the driving route X to the destination of the vehicle, and if it is determined that the branch point D exists, it may acquire the position information for the link line Z heading toward the destination, among the link lines Z branching off at the branch point D. This makes it possible to eliminate unnecessary feature points that hinder the detection of lane boundary lines.
  • the lane boundary detection device 20 may acquire the position information relative to the link line for the feature points other than intersections. This makes it possible to suppress erroneous detection of lane boundary lines within intersections.
  • the lane boundary detection device 20 may acquire the position information with respect to the link line for the feature points on both sides of the link line Z if the road is one-way, and may acquire the position information with respect to the link line for the feature points on the side of the link line Z farther from the oncoming lane if the road is two-way. This makes it possible to suppress erroneous detection of the lane boundary line of the oncoming lane.
  • the lane boundary detection device 20 may associate the feature points with each of the detected lane boundary lines, convert the position information of the feature points into position information on the map of the map information, and estimate the shape of the lane boundary line for each of the associated feature points from the position information on the map. This allows the shape of the lane boundary line to be estimated more accurately.
  • the lane boundary detection device 20 determines whether the angle formed between the link line ahead of the node on the link line in the traveling direction and the link line behind the node in the traveling direction is equal to or greater than a predetermined angle, and if it determines that the angle formed between the link line ahead of the node in the traveling direction and the link line behind the node in the traveling direction is equal to or greater than the predetermined angle, it may correct the shape of the link line at the node and before and after it. This makes it possible to suppress erroneous detection of lane boundary lines.
  • a lane boundary detection device 20 that detects lane boundary lines of a road using map information including link lines Z representing the road, the lane boundary detection device 20 including a feature acquisition unit 21 that acquires information on feature points of an object that indicates the lane boundary lines of the road on which the vehicle V is traveling from a sensor mounted on the vehicle V, and a boundary detection unit 23 that detects the lane boundary lines from position information of the feature points relative to the link lines Z. This allows lane boundary lines to be detected accurately.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本発明では、道路を表したリンク線（Ｚ）を含む地図情報を用いて道路の車線境界線を検出する場合に、リンク線（Ｚ）に対する特徴点の位置情報から車線境界線を検出する車線境界線検出方法及び車線境界線検出装置が提供される。

Description

車線境界線検出方法及び車線境界線検出装置
　本発明は、車線境界線検出方法及び車線境界線検出装置に関するものである。
　カメラの画像から、白線候補を構成する特徴点を抽出し、特徴点の座標を、各カメラのローカル座標系から複数のカメラに共通する世界座標系に変換し、変換した特徴点の列が世界座標系のＹ軸に平行になるように、車両を中心に特徴点を回転させ、特徴点のエッジ強度の累積値が所定閾値以上且つ極大となるＸ座標を抽出し、抽出したＸ座標から白線を検出する区画線認識装置が知られている（特許文献１）。
特開２０１７－１５６７９５号公報
　上記従来技術では、車両がカーブを走行している場合は特徴点が世界座標系のＸ軸方向に分散するため、所定閾値以上且つ極大となるＸ座標が抽出できず、白線を正確に検出できないという問題がある。
　本発明が解決しようとする課題は、車線境界線を正確に検出できる車線境界線検出方法及び車線境界線検出装置を提供することである。
　本発明は、道路を表したリンク線を含む地図情報を用いて道路の車線境界線を検出する場合に、リンク線に対する特徴点の位置情報から車線境界線を検出することによって上記課題を解決する。
　本発明によれば、車線境界線を正確に検出できる。
本発明に係る車線境界線検出装置を含む運転支援装置の実施形態の一例を示すブロック図である。 図１の運転支援装置にて運転支援を実行する走行シーンの一例を示す平面図である。 図２の走行シーンにおいて抽出された特徴点の一例を示す平面図である。 図２の走行シーンにおけるリンク線の一例を示す平面図である。 図４のリンク線に沿ったローカル座標系における、図３の特徴点を示す平面図である。 本実施形態のリンク線の他の例を示す平面図である。 本実施形態のリンク線のさらに他の例を示す平面図である。 図１の運転支援装置における処理手順の一例を示すフローチャートである。 図１の運転支援装置における処理手順の他の例を示すフローチャートである。
　以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明は、左側通行の法規を有する国で、車両が左側通行で走行することを前提とする。右側通行の法規を有する国では、以下の説明の左と右を対称にして読み替えるものとする。
［運転支援装置の構成］
　図１は、本発明に係る運転支援装置１０を示すブロック図である。運転支援装置１０は、車両の運転支援を実行する装置群である。運転支援には、自律走行制御により車両を走行させることと、車両の運転者に情報を提示して運転者の運転操作を支援することとが含まれる。一例として、運転支援装置１０は、乗員が設定した目的地までの走行経路を生成し、車両のアクチュエータを制御して走行経路に沿って車両を走行させる。他の例として、運転支援装置１０は、車両が車線から逸脱する場合に、車線逸脱のおそれを運転者に通知する。運転支援装置１０は、車載システムであってもよく、構成機器の一部が車外に設けられていてもよい。
　自律走行制御とは、車両の制御装置を用いて車両の走行動作を自律的に制御することを言い、走行動作には、加速、減速、発進、停車、転舵など、あらゆる走行動作が含まれる。自律的に走行動作を制御するとは、制御装置が、車両の装置を用いて走行動作の制御を行うことをいう。制御装置は、予め定められた範囲内でこれらの走行動作を制御し、制御装置により制御されない走行動作については、運転者による手動の操作が行われる。自律走行制御によらず、運転者の手動運転により車両が走行する場合は、制御装置は走行動作の自律制御を実行せず、運転者の操作により車両の走行動作が制御される。
　図１に示すように、運転支援装置１０は、地図データベース１１、ナビゲーション装置１２、撮像装置１３、測距装置１４及び制御装置１５を備える。また、本実施形態の制御装置１５は、その一部として車線境界線検出装置２０を含む。これらの装置は、ＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、互いに情報を授受できる。車外に設けられた装置とは、インターネット、ＬＡＮ（local area network）などのネットワークを介して情報を授受する。
　地図データベース１１は、地図情報が格納された記憶媒体であり、車内又は車外に設けられている。制御装置１５は、必要に応じて地図データベース１１から地図情報を取得する。地図情報は、走行経路の生成などに用いる情報であり、車両の進行方向が変化する道路上の特定の地点（交差点、分岐点など）に対応するノードと、ノード間を接続する道路区間に対応するリンクとの情報を含む。ノードの情報としては、位置情報（例えば緯度と経度）、交差点及び分岐点の進入及び退出に関する情報などが挙げられ、リンクの情報としては、道路幅、道路の曲率半径、路肩の構造物、道路交通法規（例えば通行方向）、合流点、分岐点などが挙げられる。なお、地図情報は、レーン毎の移動軌跡を把握できる高精度地図情報（ＨＤマップ）であってもよい。
　ナビゲーション装置１２は、地図情報を参照して、図示しない測位システムにより検出された車両の現在位置から、設定された目的地までの走行経路を生成する装置である。ナビゲーション装置１２は、地図情報のノード及びリンクの情報を用いて、車両が目的地に到達するための走行経路を検索する。走行経路は、車両が走行する道路と、車両の進行方向との情報を少なくとも含み、例えば、ノードとリンク線により表示される。
　撮像装置１３は、車両の周囲の対象物を撮像する装置であり、ＣＣＤなどの撮像素子を備えるカメラ、超音波カメラ、赤外線カメラなどが挙げられる。対象物を検出する際の死角を減らすため、撮像装置１３は、車両のフロントグリル部、左右ドアミラーの下部及びリアバンパ近傍などに複数台設置する。
　測距装置１４は、測距装置１４と対象物との相対距離及び相対速度を取得する装置であり、レーザーレーダー、ミリ波レーダー、ＬｉＤＡＲ（Light Detection and Ranging）ユニットなどが挙げられる。対象物を検出する際の死角を減らすため、測距装置１４は、車両の前方、右側方、左側方及び後方に複数台設置する。
　対象物とは、道路及びその周囲に存在する物体であり、車線境界線、中央線、路面標識、中央分離帯、ガードレール、縁石、道路標識、信号機、横断歩道などが含まれる。また、対象物には、自車両以外の自動車、自動二輪車、自転車、歩行者など、車両の走行に影響を与え得る障害物も含まれる。本実施形態の対象物は、特に、道路の車線境界線を示す対象物である。制御装置１５は、所定の時間間隔で（例えば０．１～１ミリ秒毎に）撮像装置１３及び測距装置１４の検出結果を取得する。また、制御装置１５は、不足する情報を補完するため、撮像装置１３及び測距装置１４の検出結果を統合又は合成（センサフュージョン）してもよい。
　測距装置１４は、周囲の対象物の測距点に関する情報を車両の左右方向及び上下方向に二次元配列した点群データを生成してもよい。対象物の測距点とは、測距装置１４との距離が測定された対象物上の点である。測距点の情報には、測距点の位置情報に加えて、測距点における電磁波の反射率などが含まれる。測距点の位置情報としては、測距点の座標の情報、測距装置１４から測距点までの距離の情報などが挙げられる。
　測距装置１４は、車両の左右方向に電磁波を走査することで点群データを生成する。例えば、測距装置１４は、車幅方向に沿って電磁波を照射して反射した電磁波（反射波）を検出し、測距点までの距離及び測距点の方向を算出する。電磁波の照射範囲は特に限定されない。電磁波としては、ミリ波、赤外線、レーザーなどが挙げられる。
　制御装置１５は、運転支援装置１０の構成装置を制御して協働させることで運転支援を実行するための装置である。制御装置１５は、例えばコンピュータであり、プロセッサであるＣＰＵ（Central Processing Unit）と、プログラムが格納されたＲＯＭ（Read Only Memory）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とを備える。ＣＰＵは、ＲＯＭに格納されたプログラムを実行し、制御装置１５が有する機能を実現するための動作回路である。
　制御装置１５は、車両の運転支援を実行する運転支援機能を有する。また、制御装置１５は、その一部として車線境界線検出装置２０を含み、車線境界線検出装置２０は、運転支援機能の一部として、車線境界線を検出する車線境界線検出機能を有する。ＲＯＭには、運転支援機能を実現するためのプログラムが格納され、ＣＰＵがＲＯＭに格納されたプログラムを実行することで、車線境界線検出機能を含む運転支援機能が実現される。
　図１には、運転支援機能を実現する機能ブロックとして走行制御部１６、特徴取得部２１、位置取得部２２及び境界検出部２３を便宜的に抽出して示す。これらの機能ブロックのうち、特徴取得部２１、位置取得部２２及び境界検出部２３が車線境界線検出機能を実現する機能ブロックであり、車線境界線検出装置２０に含まれる。以下、各機能ブロックが有する機能について、図２を用いて説明する。
［車線境界線検出装置の機能］
　図２は、制御装置１５が運転支援機能により自律走行制御を実行する走行シーンの一例を示す平面図である。図２に示す走行シーンでは、白線Ｌ１，Ｌ２により区切られた（画定された）車線Ｗが、地図情報で用いるグローバル座標系のＹ軸方向（図面の上下方向）に延在している。地図情報の座標系は、グローバル座標系に限らず、種々の座標系であってよい。また、車両Ｖは、車線Ｗの位置Ｙ１を走行している。車線Ｗの通行方向がＹ軸の正方向（図面下側から上側に向かう方向）であるとすると、制御装置１５は、走行制御部１６の機能により、車線Ｗに沿って位置Ｙ１から位置Ｙ２まで走行する走行経路Ｘを生成する。そして、走行経路Ｘに沿って車両Ｖが走行するように車両Ｖの走行動作を自律制御する。
　地図データベース１１に格納された地図情報が高精度地図情報である場合は、道路の車線情報から車線Ｗを認識できるが、地図情報に車線情報が含まれていない場合は、撮像装置１３から取得した画像などから白線Ｌ１，Ｌ２を検出し、車線Ｗを認識することになる。この地図情報に依らない車線認識では、車線Ｗの湾曲部分で、画像から抽出した白線Ｌ１，Ｌ２の特徴点が重なってしまい、車線Ｗを正確に認識できなくなるおそれがある。そこで、本実施形態の制御装置１５は、以下に説明する処理により、リンク線に対する特徴点の位置情報から白線Ｌ１，Ｌ２を検出する。
　図１に示す走行制御部１６は、車両Ｖの走行経路を生成し、車両Ｖが走行経路に沿って走行するように車両Ｖのアクチュエータを作動させる機能を有する。制御装置１５は、走行制御部１６の機能により運転支援を実行する場合に、道路を表したリンク線を含む地図情報を用いるか否かを判定する。そして、道路を表したリンク線を含む地図情報を用いて運転支援を実行すると判定した場合は、走行経路Ｘを生成するために、車線境界線検出装置２０に、道路を表したリンク線を含む地図情報を用いた車線境界線の検出の実行を指示する。
　特徴取得部２１は、車両Ｖの周囲の対象物の特徴点を取得する機能を有する。特徴点とは、対象物の検出に利用する、対象物の特徴的な部分であり、対象物の輪郭を捉える縁部分（エッジ）、対象物の角部分（コーナー）、対象物において輝度が変化する部分などが挙げられる。車線境界線検出装置２０は、特徴取得部２１の機能により撮像装置１３から画像を取得し、SIFT（Scale-Invariant Feature Transform）などの公知のアルゴリズムを用いて画像から特徴点を抽出する。
　また、車線境界線検出装置２０は、測距装置１４から点群データを取得し、点群データから特徴点を取得してもよい。例えば、車線境界線検出装置２０は、点群データから測距点をプロットした画像を生成し、生成した画像に対して特徴点抽出の処理を実行する。この際、生成した画像に電磁波の反射率の情報を反映することで、路面と路面標示との反射率の違いから車線境界線などの路面標示を検出できる。
　本実施形態の車線境界線検出装置２０は、特に、車両Ｖが走行している道路の車線境界線を示す対象物の特徴点の情報を、車両Ｖに搭載されたセンサから取得する。車線境界線を示す対象物とは、白い実線、黄色い実線、白い破線などであり、当該対象物の特徴点の情報とは、白い実線のエッジの位置情報、黄色い実線の幅の情報、白い破線の進行方向の長さの情報などである。センサとしては、撮像装置１３及び測距装置１４などが挙げられる。
　図３は、図２に示す走行シーンにおいて、撮像装置１３から取得した画像から抽出された特徴点の一例を示す平面図である。図３に示す座標系は、グローバル座標系である。図２に示す走行シーンでは、図３に示すように、車両Ｖの進行方向左側の白線Ｌ１について特徴点Ａ１～Ａ１５が抽出され、進行方向右側の白線Ｌ２について特徴点Ｂ１～Ｂ１３が抽出される。抽出された各特徴点は、特徴点の有する座標の情報に基づいて図３のＸＹ平面上に配置される。なお、特徴点の数及び特徴点同士の間隔は、特徴点抽出の処理に応じて適宜の値を設定できる。
　位置取得部２２は、リンク線に対する特徴点の位置情報を取得する機能を有する。リンク線とは、ノード間の道路区間に対応する道路の形状を示す、例えば道路に沿った線である。一例として、リンク線は、道路の幅方向の中心線上に位置し、ノード間の道路区間毎に一つのリンク線が設定されている。リンク線の情報は、リンクの情報に含まれている。
　リンク線には、所定距離毎に（例えば１～３ｍ毎に）ノードが配置されている。リンク線上のノードは、ノードの位置情報を有する。位置情報としては、地図情報で用いるグローバル座標系における座標の情報、所定方向とリンク線の向き（進行方向）とが成す角度の情報、リンク線上の一のノードから他のノードまでの走行距離の情報などが挙げられる。起点である一のノードには、例えば、走行経路Ｘの始点に最も近いノードを設定する。
　所定方向としては、地図の北の方向、グローバル座標系の軸に沿った方向などが挙げられる。リンク線の向きとは、例えば、リンク線上のノードにおけるリンク線の接線方向である。ノード間の走行距離は、リンク線に沿って一のノードから他のノードまで移動した場合の移動距離として算出する。また、リンク線上のノードは、ノードが交差点内に存在しているか否かの情報を有してもよい。
　図４は、図２に示す道路に対して設定されたリンク線の一例を示す平面図である。図４に示すリンク線Ｚは、車線Ｗの幅方向の中心線上に位置する、車線Ｗに沿った線であり、車線Ｗの曲率などを示す。リンク線Ｚ上にはノードＮ１～Ｎ１４が設けられ、各ノードＮ１～Ｎ１４は、グローバル座標系における座標の情報、Ｙ軸方向とリンク線Ｚの接線方向とが成す角度の情報、起点であるノードＮ１からの走行距離の情報などを有する。
　車線境界線検出装置２０は、位置取得部２２の機能により、特徴点の抽出に用いた情報の座標系（以下、原座標系とも言う。）における位置情報を取得する。画像から特徴点を抽出した場合は、原座標系は画像で用いる座標系であり、点群データから特徴点を抽出した場合は、原座標系は点群データで用いる座標系である。次に、車線境界線検出装置２０は、原座標系の位置情報を、グローバル座標系の位置情報に変換する。一例として、車線境界線検出装置２０は、原座標系における車両Ｖに対する特徴点の相対位置を用いて、原座標系をグローバル座標系に変換する。
　そして、車線境界線検出装置２０は、グローバル座標系における位置情報を、ローカル座標系における位置情報に変換し、リンク線Ｚに沿ったローカル座標系における特徴点の位置情報を取得する。リンク線Ｚに沿ったローカル座標系とは、特徴点の位置情報を、リンク線Ｚからの距離と、所定のノードからの走行距離とで表す座標系である。車線境界線検出装置２０は、特徴点を、リンク線Ｚ上の最も近いノードと関連付け、所定方向とリンク線の向きとが成す角度だけ、関連付けたノードを中心に回転させる。さらに、車線境界線検出装置２０は、回転させた特徴点を、回転中心のノードの走行距離分だけリンク線Ｚに沿って移動させる。
　特徴点の位置情報とは、特徴点の位置に関する情報であり、特に限定されない。例としては、ローカル座標系などの任意の座標系における特徴点の座標の情報、一の特徴点に対する他の特徴点の距離及び方向の情報、特徴点とリンク線Ｚとの距離の情報などが挙げられる。なお、リンク線Ｚに対する特徴点の位置情報とは、必ずしもリンク線Ｚに沿ったローカル座標系における特徴点の位置情報である必要はなく、リンク線Ｚを基準とした位置情報であれば特に限定されない。
　図４に示す例では、グローバル座標系における各特徴点の座標は取得されているため、車線境界線検出装置２０は、各特徴点をリンク線Ｚ上のノードに関連付ける。具体的には、特徴点Ａ１～Ａ８及び特徴点Ｂ１～Ｂ８を、それぞれ、ノードＮ１～Ｎ８に関連付ける。また、特徴点Ａ９，Ｂ９をノードＮ９に関連付け、特徴点Ａ１０，Ａ１１をノードＮ１０に関連付け、特徴点Ａ１２，Ｂ１０をノードＮ１１に関連付ける。さらに、特徴点Ａ１３～Ａ１５及び特徴点Ｂ１１～Ｂ１３を、それぞれ、ノードＮ１２～Ｎ１４に関連付ける。
　次に、車線境界線検出装置２０は、各特徴点Ａ１～Ａ１５，Ｂ１～Ｂ１３を、関連付けたノードＮ１～Ｎ１４が有する、所定方向とリンク線の向きとが成す角度の情報を用いて当該角度だけ回転させる。そして、車線境界線検出装置２０は、回転した各特徴点Ａ１～Ａ１５，Ｂ１～Ｂ１３を、関連付けたノードＮ１～Ｎ１４が有する走行距離の情報を用いてリンク線Ｚに沿って移動させる。
　ローカル座標系への変換処理を、ノードＮ９に関連付けた特徴点Ａ９の例を用いて具体的に説明する。図４に示すように、ノードＮ９においてＹ軸方向Ｃ１とリンク線Ｚの接線方向Ｃ２とが成す角度がθであるとすると、ノードＮ９におけるリンク線Ｚの向き（進行方向）Ｒは、以下の式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
 　ここで、ｘａ及びｙａは、それぞれ、グローバル座標系におけるノードＮ９のＸ座標とＹ座標である。この場合に、グローバル座標系における特徴点Ａ９の座標Ｐｒａｗが以下の式（２）で表されるとすると、グローバル座標系における特徴点Ａ９の座標Ｐｒａｗを角度θだけ反時計回りの方向に回転した座標Ｐｎｏｄｅは、以下の式（３）で表される。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
 　ここで、ｘｂ及びｙｂは、それぞれ、グローバル座標系における特徴点Ａ９のＸ座標とＹ座標である。そして、座標Ｐｎｏｄｅをリンク線Ｚに沿って走行距離ｓだけ移動した座標Ｐｗａｙは、以下の式（４）で表される。
Figure JPOXMLDOC01-appb-M000004
 　なお、走行距離ｓは、ノードＮ１からノードＮ９までの走行距離である。
　車線境界線検出装置２０は、図４に示す各特徴点に対して上述した一連の処理を実行することで、図４に示す、グローバル座標系における特徴点の座標を、図５に示す、ローカル座標系における座標に変換する。図５のローカル座標系の横軸は、特徴点とリンク線Ｚとの距離ｄを示し、縦軸は、ノードＮ１からの走行距離ｓを示す。
　境界検出部２３は、リンク線Ｚに対する特徴点の位置情報から、道路の車線を区切る車線境界線を検出する機能を有する。一例として、リンク線Ｚに沿ったローカル座標系では、車線境界線に対応する特徴点は、リンク線Ｚからほぼ同じ距離に並ぶため、車線境界線検出装置２０は、境界検出部２３の機能により、ローカル座標系における特徴点の位置情報から、特徴点が所定数以上存在するピーク位置を探索し、探索したピーク位置から車線境界線を検出する。
　ピーク位置の所定数は、車線境界線が正確に検出できる範囲内で適宜の値を設定できる。また、ピーク位置の探索において、車線境界線検出装置２０は、ローカル座標系における特徴点の位置情報から、特徴点の分布を示すヒストグラムを生成してもよい。
　図５に示す例であれば、車線境界線検出装置２０は、任意の位置（例えば原点Ｏ）からｄ軸正方向（つまり、図面の左側から右側に向かう方向）に沿って、ｓ軸方向に存在する特徴点の数を探索する。この探索により、位置ｄ１に特徴点Ａ１～Ａ１５からなるピークと、位置ｄ２に特徴点Ｂ１～Ｂ１３からなるピークとが存在することを検出する。そして、位置ｄ１のピークから、車両Ｖの進行方向左側の白線Ｌ１を検出し、位置ｄ２のピークから、車両Ｖの進行方向右側の白線Ｌ２を検出する。
　車線境界線検出装置２０は、検出した車線境界線の情報を、走行制御部１６に出力する。制御装置１５は、車線境界線検出装置２０から取得した車線境界線の情報を用いて図２に示す走行経路Ｘを生成し、自律走行制御により走行経路Ｘに沿って車両Ｖを走行させる。
　車線境界線検出装置２０は、車線境界線を用いて運転支援を実行する場合に、車両Ｖの目的地までの走行経路Ｘ上に、リンク線が分岐する分岐点が存在するか否かを判定してもよい。例えば、図６に示すように、リンク線Ｚ１がリンク線Ｚ２，Ｚ３に分岐する分岐点Ｄがリンク線Ｚ１に存在すると判定した場合は、車線境界線検出装置２０は、分岐点Ｄにおいて分岐したリンク線Ｚ２，Ｚ３のうち目的地に向かうリンク線に対する位置情報を取得する。
　一例として、図６に示す走行シーンにおいて、リンク線Ｚ２が目的地に向かうリンク線である場合は、車線境界線検出装置２０は、リンク線Ｚ１，Ｚ２に沿ったローカル座標系において、特徴点の座標を取得する。一方、リンク線Ｚ１に分岐点Ｄが存在しないと判定した場合は、車線境界線検出装置２０は、リンク線Ｚ１に沿ったローカル座標系における特徴点の位置情報を取得する。
　車線境界線検出装置２０は、交差点内の特徴点以外の特徴点について、リンク線に対する位置情報を取得してもよい。つまり、車線境界線検出装置２０は、特徴点の位置情報のうち、交差点内の特徴点の位置情報を除外してもよい。交差点内の特徴点は正確に抽出できない場合があるためである。具体的には、リンク線上の各ノードは、ノードが交差点内に存在しているか否かの情報を有するため、車線境界線検出装置２０は、座標系を変換する場合に交差点内に存在するノードに関連付けられた特徴点について、位置情報を取得しない。
　車線境界線検出装置２０は、道路が一方通行である場合は、リンク線Ｚの両側の特徴点について、リンク線に対する位置情報を取得してもよい。これに代え又はこれに加え、車線境界線検出装置２０は、道路が対面通行である場合は、リンク線Ｚに対して対向車線から遠い側の特徴点について、リンク線に対する位置情報を取得してもよい。
　例えば、図２に示す走行シーンでは、車線Ｗ以外の車線は存在せず、道路が一方通行であるため、図５に示す特徴点のうちリンク線Ｚの両側の特徴点Ａ１～Ａ１５，Ｂ１～Ｂ１３について座標を取得し、車線境界線の検出処理を実行する。これに対し、図２に示す走行シーンにおいて、車線Ｗの右側に対向車線が存在する場合は、道路が対面通行となるため、図５に示す特徴点のうちリンク線Ｚに対して対向車線から遠い側の特徴点Ａ１～Ａ１５について座標を取得し、車線境界線の検出処理を実行する。
　車線境界線検出装置２０は、検出した車線境界線毎に特徴点を関連付け、特徴点の位置情報を、地図情報の地図上の位置情報に変換し、地図上の位置情報から、関連付けた特徴点毎に車線境界線の形状を推定してもよい。この際、車線境界線検出装置２０は、特徴点の位置情報を、車両Ｖの位置を原点とする座標系に変換してもよい。図５に示す例であれば、車線境界線検出装置２０は、図５に示す特徴点の座標から、車両Ｖの進行方向左側の白線Ｌ１と、進行方向右側の白線Ｌ２とを検出した場合は、車線境界線検出装置２０は、白線Ｌ１に対応する特徴点Ａ１～Ａ１５と、白線Ｌ２に対応する特徴点Ｂ１～Ｂ１３とをそれぞれ関連付ける。そして、座標系を、図５に示すローカル座標系から、図４に示すグローバル座標系に変換し、関連付けた特徴点毎に、公知のフィッティング手法を用いて白線Ｌ１，Ｌ２の形状を推定する。白線ごとに特徴点を関連付ける（クラスタリングする）ことにより、フィッティングが容易になる。
　車線境界線検出装置２０は、例えばローカル座標系における位置情報を取得する前に、リンク線上のあるノードより進行方向前方のリンク線と、当該ノードより進行方向後方のリンク線とが成す角度が所定角度以上であるか否かを判定してもよい。車線境界線検出装置２０は、あるノードより進行方向前方のリンク線と、当該ノードより進行方向後方のリンク線とが成す角度が所定角度以上であると判定した場合は、当該ノード及びその前後でリンク線の形状を補正する。所定角度は、ローカル座標系への変換が適切に実行できる範囲内で適宜の値を設定できる。
　図７は、図２に示す道路に対して設定されたリンク線の他の例を示す平面図である。図７に示すリンク線Ｚｘでは、ノードＮ９ｘが他のノードより進行方向左側にずれているため、ノードＮ９ｘの前後でリンク線Ｚｘの形状が歪になっている。この場合、車線境界線検出装置２０は、ノードＮ８，Ｎ９ｘ間のリンク線の方向Ｃ３と、ノードＮ９ｘ，Ｎ１０間のリンク線の方向とが成す角度θａが所定角度以上であるか否かを判定し、角度θａが所定角度以上であると判定した場合は、ノードＮ９ｘ及びその前後のノードＮ８，Ｎ１０でリンク線Ｚｘの形状を補正する。一方、角度θａが所定角度未満であると判定した場合は、リンク線Ｚｘの補正は実行しない。
　リンク線Ｚｘの形状の補正方法としては、例えば、図７に示す、ノードＮ８，Ｎ１０に接する内接円Ｅを生成し、ノードＮ９ｘを、内接円Ｅ上のノードＮ９ｙの位置まで移動する、又はノードＮ９ｘを、ノードＮ９ｙで置き換える。ノードＮ９ｙは、内接円Ｅ上でノードＮ９ｘから最も近い点である。また、内接円Ｅの代わりに、ノードＮ８，Ｎ１０を結ぶベジェ曲線を生成し、ベジェ曲線上でノードＮ９ｘから最も近い点までノードＮ９ｘを移動してもよい。さらに、ノードＮ８，Ｎ９ｘ，Ｎ１０の座標を用いて、多項式近似により近似曲線を生成し、近似曲線上でノードＮ９ｘから最も近い点までノードＮ９ｘを移動してもよい。
［運転支援装置における処理］
　図８及び９を参照して、制御装置１５が情報を処理する際の手順を説明する。以下に説明する処理は、制御装置１５が備えるプロセッサ（ＣＰＵ）により所定の時間間隔で（例えば０．１～１ミリ秒毎に）実行される。
　図８は、運転支援装置１０において実行される情報処理を示すフローチャートの一例である。
　まず、ステップＳ１にて、特徴取得部２１の機能により、画像などから車線境界線を示す対象物の特徴点の情報を取得し、続くステップＳ２にて、位置取得部２２の機能により、リンク線Ｚに対する特徴点の位置情報を取得する。ステップＳ３にて、境界検出部２３の機能により、リンク線に対する特徴点の位置情報から車線境界線を検出し、続くステップＳ４にて、走行制御部１６の機能により、検出した車線境界線を用いて運転支援を実行する。
　次に、図９は、運転支援装置１０において実行される情報処理を示すフローチャートの他の例である。
　まず、ステップＳ１１にて、特徴取得部２１の機能により、画像及び／又は点群データから特徴点を抽出する。ステップＳ１２にて、位置取得部２２の機能により、画像及び／又は点群データの原座標系における特徴点の座標を取得し、続くステップＳ１３にて、取得した座標の座標系を原座標系からグローバル座標系に変換し、続くステップＳ１４にて、各特徴点をリンク線Ｚ上の最も近いノードに関連付ける。
　ステップＳ１５にて、ノードの有する情報から、ノードが交差点内に存在するか否かを判定する。ノードが交差点内に存在すると判定した場合は、ステップＳ１６に進み、交差点内に存在するノードに関連付けられた特徴点の座標を除外し、ステップＳ１７に進む。これに対し、ノードが交差点内に存在しないと判定した場合は、ステップＳ１７に進み、座標系をグローバル座標系から座標をローカル座標系に変換する。
　ステップＳ１８にて、ローカル座標系における特徴点の座標を取得し、続くステップＳ１９にて、ノードが属する道路は一方通行であるか否かを判定する。ノードが属する道路は一方通行でないと判定した場合は、ステップＳ２０に進み、リンク線Ｚの対向車線に近い側の特徴点の座標を除外し、ステップＳ２１に進む。これに対し、ノードが属する道路は一方通行であると判定した場合は、ステップＳ２１に進み、境界検出部２３の機能により、ローカル座標系におけるピーク位置から車線境界線を検出する。
　ステップＳ２２にて、境界線毎に特徴点を関連付け、続くステップＳ２３にて、座標系をローカル座標系からグローバル座標系に変換する。そして、ステップＳ２４にて、関連付けた特徴点毎にフィッティングを実行し、車線境界線の形状を推定する。
　なお、図８のステップＳ４は、本発明に必須の処理でなく、必要に応じて省略してもよい。また、図９のステップＳ１５，Ｓ１６，Ｓ１９，Ｓ２０は、本発明に必須の処理でなく、必要に応じて省略してもよい。
［本発明の実施態様］
　本実施形態によれば、道路を表したリンク線Ｚを含む地図情報を用いて前記道路の車線境界線を検出する車線境界線検出装置２０により実行される車線境界線検出方法において、前記車線境界線検出装置２０は、車両Ｖが走行している前記道路の前記車線境界線を示す対象物の特徴点の情報を、前記車両Ｖに搭載されたセンサから取得し、前記リンク線Ｚに対する前記特徴点の位置情報から前記車線境界線を検出する、車線境界線検出方法が提供される。これにより、車線境界線を正確に検出できる。
　本実施形態の車線境界線検出方法では、前記車線境界線検出装置２０は、前記車線境界線を用いて運転支援を実行する場合に、前記車両の目的地までの走行経路Ｘ上に前記リンク線Ｚが分岐する分岐点Ｄが存在するか否かを判定し、前記分岐点Ｄが存在すると判定した場合は、前記分岐点Ｄにおいて分岐した前記リンク線Ｚのうち前記目的地に向かう前記リンク線Ｚに対する前記位置情報を取得してもよい。これにより、車線境界線の検出を阻害する不要な特徴点を除外できる。
　本実施形態の車線境界線検出方法では、前記車線境界線検出装置２０は、交差点以外の前記特徴点について、前記リンク線に対する前記位置情報を取得してもよい。これにより、交差点内での車線境界線の誤検出を抑制できる。
　本実施形態の車線境界線検出方法では、前記車線境界線検出装置２０は、前記道路が一方通行である場合は、前記リンク線Ｚの両側の前記特徴点について、前記リンク線に対する前記位置情報を取得し、前記道路が対面通行である場合は、前記リンク線Ｚに対して対向車線から遠い側の前記特徴点について、前記リンク線に対する前記位置情報を取得してもよい。これにより、対向車線の車線境界線の誤検出を抑制できる。
　本実施形態の車線境界線検出方法では、前記車線境界線検出装置２０は、検出した前記車線境界線毎に前記特徴点を関連付け、前記特徴点の前記位置情報を、前記地図情報の地図上の位置情報に変換し、前記地図上の位置情報から、関連付けた前記特徴点毎に前記車線境界線の形状を推定してもよい。これにより、車線境界線の形状をより正確に推定できる。
　本実施形態の車線境界線検出方法では、前記車線境界線検出装置２０は、前記リンク線上のノードより進行方向前方の前記リンク線と、前記ノードより進行方向後方の前記リンク線とが成す角度が所定角度以上であるか否かを判定し、前記ノードより進行方向前方の前記リンク線と、前記ノードより進行方向後方の前記リンク線とが成す前記角度が前記所定角度以上であると判定した場合は、前記ノード及びその前後で前記リンク線の形状を補正してもよい。これにより、車線境界線の誤検出を抑制できる。
　また、本実施形態によれば、道路を表したリンク線Ｚを含む地図情報を用いて前記道路の車線境界線を検出する車線境界線検出装置２０であって、車両Ｖが走行している前記道路の前記車線境界線を示す対象物の特徴点の情報を、前記車両Ｖに搭載されたセンサから取得する特徴取得部２１と、前記リンク線Ｚに対する前記特徴点の位置情報から前記車線境界線を検出する境界検出部２３と、を備える、車線境界線検出装置２０が提供される。これにより、車線境界線を正確に検出できる。
１０…運転支援装置、１１…地図データベース、１２…ナビゲーション装置、１３…撮像装置、１４…測距装置、１５…制御装置、１６…走行制御部、２０…車線境界線検出装置、２１…特徴取得部、２２…位置取得部、２３…境界検出部、Ａ１～Ａ１５，Ｂ１～Ｂ１３…特徴点、Ｃ１…Ｙ軸方向、Ｃ２…接線方向、Ｃ３…リンク線の方向、Ｄ…分岐点、Ｌ１，Ｌ２…白線、Ｎ１～Ｎ１４…ノード、Ｖ…車両、Ｗ…車線、Ｘ…走行経路、Ｙ１，Ｙ２…位置、Ｚ，Ｚ１，Ｚ２，Ｚ３，Ｚｘ…リンク線

Claims (7)

  1. 　道路を表したリンク線を含む地図情報を用いて前記道路の車線境界線を検出する車線境界線検出装置により実行される車線境界線検出方法において、
    　前記車線境界線検出装置は、
    　車両が走行している前記道路の前記車線境界線を示す対象物の特徴点の情報を、前記車両に搭載されたセンサから取得し、
    　前記リンク線に対する前記特徴点の位置情報から前記車線境界線を検出する、車線境界線検出方法。
  2. 　前記車線境界線検出装置は、
    　前記車線境界線を用いて運転支援を実行する場合に、前記車両の目的地までの走行経路上に前記リンク線が分岐する分岐点が存在するか否かを判定し、
    　前記分岐点が存在すると判定した場合は、前記分岐点において分岐した前記リンク線のうち前記目的地に向かう前記リンク線に対する前記位置情報を取得する、請求項１に記載の車線境界線検出方法。
  3. 　前記車線境界線検出装置は、交差点以外の前記特徴点について、前記リンク線に対する前記位置情報を取得する、請求項１又は２に記載の車線境界線検出方法。
  4. 　前記車線境界線検出装置は、
    　前記道路が一方通行である場合は、前記リンク線の両側の前記特徴点について、前記リンク線に対する前記位置情報を取得し、
    　前記道路が対面通行である場合は、前記リンク線に対して対向車線から遠い側の前記特徴点について、前記リンク線に対する前記位置情報を取得する、請求項１～３のいずれか一項に記載の車線境界線検出方法。
  5. 　前記車線境界線検出装置は、
    　検出した前記車線境界線毎に前記特徴点を関連付け、
    　前記特徴点の前記位置情報を、前記地図情報の地図上の位置情報に変換し、
    　前記地図上の位置情報から、関連付けた前記特徴点毎に前記車線境界線の形状を推定する、請求項１～４のいずれか一項に記載の車線境界線検出方法。
  6. 　前記車線境界線検出装置は、
    　前記リンク線上のノードより進行方向前方の前記リンク線と、前記ノードより進行方向後方の前記リンク線とが成す角度が所定角度以上であるか否かを判定し、
    　前記ノードより進行方向前方の前記リンク線と、前記ノードより進行方向後方の前記リンク線とが成す前記角度が前記所定角度以上であると判定した場合は、前記ノード及びその前後で前記リンク線の形状を補正する、請求項１～５のいずれか一項に記載の車線境界線検出方法。
  7. 　道路を表したリンク線を含む地図情報を用いて前記道路の車線境界線を検出する車線境界線検出装置であって、
    　車両が走行している前記道路の前記車線境界線を示す対象物の特徴点の情報を、前記車両に搭載されたセンサから取得する特徴取得部と、
    　前記リンク線に対する前記特徴点の位置情報から前記車線境界線を検出する境界検出部と、を備える、車線境界線検出装置。
PCT/JP2023/022750 2023-06-20 2023-06-20 車線境界線検出方法及び車線境界線検出装置 Pending WO2024261853A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/022750 WO2024261853A1 (ja) 2023-06-20 2023-06-20 車線境界線検出方法及び車線境界線検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/022750 WO2024261853A1 (ja) 2023-06-20 2023-06-20 車線境界線検出方法及び車線境界線検出装置

Publications (1)

Publication Number Publication Date
WO2024261853A1 true WO2024261853A1 (ja) 2024-12-26

Family

ID=93935064

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022750 Pending WO2024261853A1 (ja) 2023-06-20 2023-06-20 車線境界線検出方法及び車線境界線検出装置

Country Status (1)

Country Link
WO (1) WO2024261853A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018040692A (ja) * 2016-09-07 2018-03-15 株式会社Ｓｏｋｅｎ 自車位置推定装置、自車位置推定方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018040692A (ja) * 2016-09-07 2018-03-15 株式会社Ｓｏｋｅｎ 自車位置推定装置、自車位置推定方法

Similar Documents

Publication Publication Date Title
JP7422661B2 (ja) 走行軌跡補正方法、走行制御方法、及び走行軌跡補正装置
US12091004B2 (en) Travel lane estimation device, travel lane estimation method, and computer-readable non-transitory storage medium
CN112132896B (zh) 一种轨旁设备状态检测方法及系统
US12043283B2 (en) Detection of near-range and far-range small objects for autonomous vehicles
JP5157067B2 (ja) 自動走行用マップ作成装置、及び自動走行装置。
JP3619628B2 (ja) 走行環境認識装置
RU2703440C1 (ru) Способ и устройство управления движением
US20210403037A1 (en) Arithmetic operation system for vehicles
CN112189225A (zh) 车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
JP3727400B2 (ja) 横断者の検出装置
JP5429986B2 (ja) 移動ロボットの遠方環境認識装置及び方法
CN112567264A (zh) 用于获取坐标变换信息的装置和方法
Labayrade et al. A reliable and robust lane detection system based on the parallel use of three algorithms for driving safety assistance
JP2018048949A (ja) 物体識別装置
Moras et al. Drivable space characterization using automotive lidar and georeferenced map information
US10970870B2 (en) Object detection apparatus
CN116242375A (zh) 一种基于多传感器的高精度电子地图生成方法和系统
JP3440956B2 (ja) 車両用走行路検出装置
CN119413185A (zh) 一种自动驾驶车辆自主导航定位系统及方法
CN113479204A (zh) 车辆控制装置、车辆控制方法及存储介质
JP2010176592A (ja) 車両用運転支援装置
WO2024261853A1 (ja) 車線境界線検出方法及び車線境界線検出装置
WO2024261816A1 (ja) 路面標示検出方法及び路面標示検出装置
US12292305B1 (en) Lane recognition method and lane recognition device
US20250258294A1 (en) Object detection apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23941838

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载