DE102013003944A1

DE102013003944A1 - Verfahren und Vorrichtung zum Bereitstellen von Fahrerassistenzfunktionalität

Info

Publication number: DE102013003944A1
Application number: DE102013003944.4A
Authority: DE
Inventors: Jens Spehr; Daniel Töpfer; Jan Effertz
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2013-03-08
Filing date: 2013-03-08
Publication date: 2014-09-11

Abstract

Ein vordefinierter Katalog (300) von Straßenszenarien (200) wird geladen und es werden Sensordaten erhalten. Der Katalog (300) umfasst mehrere Straßenszenarien, die jeweils eine Straßensituation durch mindestens ein parametrisiertes Umgebungsmerkmal beschreiben. Die Sensordaten beschreiben jeweils mindestens ein gemessenes Umgebungsmerkmal. Aus einem Vergleich des jeweiligen mindestens einem gemessenen Umgebungsmerkmals mit dem mindestens einen parametrisierten Umgebungsmerkmal wird jeweils ein Wahrscheinlichkeitswert für die Straßenszenarien erhalten. Basierend auf den Wahrscheinlichkeitswerten wird ein Straßenszenarium ausgewählt, anhand dessen Fahrerassistenzfunktionalität bereitgestellt wird.

Description

Verschiedene Ausführungsformen betreffen ein Verfahren zum Bereitstellen von Fahrerassistenzfunktionalität und ein Fahrerassistenzsystem. Insbesondere betreffen verschiedene Ausführungsformen Techniken, welche aus einem vordefinierten Katalog geladene Straßenszenarien, basierend auf Sensordaten mit einem Wahrscheinlichkeitswert bewerten und für die Fahrerassistenzfunktionalität verwenden.
Es sind Techniken bekannt, welche Fahrerassistenzfunktionalität für ein Fahrzeug in Abhängigkeit von gemessenen Sensordaten, die Umgebungsmerkmale in einer Umgebung beschreiben, bereitstellen. Beispielsweise erfordert autonome Quer- und Längsführung eines Fahrzeugs eine sensorbasierte Wahrnehmung der Fahrzeugumgebung, die ein sprungfreies und exaktes Modell der Fahrbahngeometrie innerhalb einer Reichweite, typischerweise bis zu 200 m, zur Verfügung stellt.
Häufig steht eine Vielzahl von Sensoren zur Verfügung, sodass es erstrebenswert sein kann, die entsprechenden Sensordaten in geeigneter Weise zusammenzuführen. Da die Sensoren teilweise sehr unterschiedliche Sensorinformationen aus der Fahrzeugumgebung extrahieren, muss ein Modul zum Zusammenführen der verschiedenen Sensoreingänge (Fusion) in der Lage sein, die Sensorinformationen in einen geeigneten geometrischen als auch semantischen Kontext zu setzen. Es sind verschiedene Techniken zur Fusion von Sensordaten bekannt, siehe etwa DE 102 54 806 A1 .
Jedoch weisen solche Techniken bestimmte Einschränkungen auf. Häufig kann das Fusionieren von Sensordaten vergleichsweise hohe Rechenkapazität benötigen. Dadurch können entsprechende Systeme und Techniken teuer und/oder zeitintensiv sein. Außerdem können solche Techniken konventionell nur in einem sehr eng definierten Rahmen die Sensordaten der mehreren Sensoren fusionieren. Zum Beispiel kann es nicht oder nur eingeschränkt möglich sein, flexibel auf die jeweilige Situation, in der sich das Fahrzeug befindet, zu reagieren.
Deshalb besteht ein Bedarf für verbesserte Techniken zum Bereitstellen von Fahrerassistenzfunktionalität basierend auf Sensordaten. Insbesondere besteht ein Bedarf für solche Techniken, welche die Sensordaten einfach, präzise und situations-spezifisch fusionieren.
Diese Aufgabe wird von den Merkmalen der unabhängigen Ansprüche gelöst. Die abhängigen Ansprüche definieren Ausführungsformen.
Gemäß einem ersten Aspekt betrifft die Erfindung Verfahren zum Bereitstellen von Fahrerassistenzfunktionalität in einem Fahrzeug. Das Verfahren umfasst das Laden eines vordefinierten Katalogs von Straßenszenarien aus einer Datenbank, wobei der Katalog mehrere Straßenszenarien umfasst, die jeweils eine Straßensituation durch mindestens ein parametrisiertes Umgebungsmerkmal beschreiben. Das Verfahren umfasst weiterhin das Erhalten von Sensordaten von mindestens einem Sensor des Fahrzeugs, die jeweils mindestens ein gemessenes Umgebungsmerkmal in einer Umgebung des Fahrzeugs beschreiben. Das Verfahren umfasst weiterhin, für zumindest einige der Straßenszenarien des vordefinierten Katalogs: Bewerten des jeweiligen Straßenszenariums durch Zuordnen eines Wahrscheinlichkeitswerts zu dem jeweiligen Straßenszenarium, der zumindest aus einem Vergleich des mindestens einen gemessenen Umgebungsmerkmals mit dem mindestens einen parametrisierten Umgebungsmerkmal des jeweiligen Straßenszenariums erhalten wird. Das Verfahren umfasst weiterhin das Auswählen eines Straßenszenariums in Abhängigkeit der zugeordneten Wahrscheinlichkeitswerte der zumindest einigen Straßenszenarien und das Bereitstellen der Fahrerassistenzfunktionalität in Abhängigkeit des ausgewählten Straßenszenariums und/oder in Abhängigkeit der gemessenen Umgebungsmerkmale.
Die Fahrerassistenzfunktionalität kann den Fahrer des Fahrzeugs beim Fahren unterstützen. Dies kann durch Bereitstellen von Information mittels einer Benutzerschnittstelle erfolgen und/oder durch einen Eingriff in das Betreiben des Fahrzeugs. Typische Fahrerassistenzfunktionalitäten betreffen z. B. eine genaue Lokalisierung des Fahrzeugs, z. B. fahrspurgenau oder mit noch größerer Genauigkeit, oder Kontext-bezogenes Infotainment. Es ist möglich, dass das Verfahren weiterhin das vorausschauende Bestimmen einer Fahrspur für das Fahrzeug in Abhängigkeit des ausgewählten Straßenszenariums und in Abhängigkeit der gemessenen Umgebungsmerkmale umfasst. Das Bereitstellen der Fahrerassistenzfunktionalität kann dann auf der vorausschauend bestimmten Fahrspur basieren. Sind z. B. die Fahrspuren vorausschauend bekannt, können diverse Techniken des autonomen Fahrzeugbetriebs implementiert werden. Die Fahrspuren können z. B. als Klothoiden bereitgestellt werden. Es wäre auch möglich, ein komplettes Modell der Fahrzeugumgebung bereitzustellen, etwa in einer Graphen-Struktur (engl. sensor road graph).
Die Straßenszenarien können typische Straßensituationen betreffen, die im Rahmen des Katalogs zu einem größeren oder geringeren Grad klassifiziert sein können. Eine bestimmte Straßensituation kann dann durch das mindestens eine parametrisierte Umgebungsmerkmal umfassend charakterisiert sein. Zum Beispiel können die Umgebungsmerkmale betreffen: Anzahl von Fahrspuren; Breite einer Fahrspur; Hierarchieklasse der Straße, z. B. umfassend Autobahn, Landstraße, Stadtstraßen; Grünstreifen rechts und/oder Grünstreifen links; Leitplanke rechts und/oder Leitplanke links; Standstreifen rechts und/oder Standstreifen links; Beschleunigungsspur links und/oder Beschleunigungsspur rechts; Fahrbahnmarkierungen; Leitpfosten; Straßenschilder; weitere Verkehrsteilnehmer; Kolonnenspur; Randbebauung; Gridkarte; Karte eines Navigationssystems.
Der Katalog kann typisierte Straßenszenarien beinhalten, welche innerhalb eines geltenden Regelwerks zu erwarten sind bzw. möglich sind. Typischerweise kann eine solche Festlegung und Typisierung auf gesetzlicher Grundlage erfolgen. Z. B. können die Straßenszenarien durch Richtlinien zum Anlegen von Straßen vorgegeben sein, die z. B. in Deutschland von der Bundesbehörde für Verkehr, Bauwesen, Städtebau und Raumordnung (BMVBS) festgelegt werden. Sie können für verschiedene Orte variieren. So können z. B. bestimmte Kriterien für Straßen definiert und verbindlich festgelegt sein, etwa Fahrspurbreite, Standstreifen, Schilderanordnung, usf. Entsprechende Parameter können sich z. B. für unterschiedliche Hierarchieklassen der jeweiligen Straße unterschieden.
Das Vergleichen muss nicht notwendigerweise alle gemessenen Umgebungsmerkmale berücksichtigen. Es können auch nur einzelne gemessene Umgebungsmerkmale berücksichtigt werden. Zum Beispiel kann ein großer (geringer) Wahrscheinlichkeitswert erhalten werden, wenn der Vergleich eine große (geringe) Übereinstimmung zwischen den gemessenen Umgebungsmerkmalen der Sensordaten und den parametrisierten Umgebungsmerkmalen ergibt. Übereinstimmung kann hierbei z. B. eines oder mehrere der folgenden bedeuten: Gleiche Umgebungsmerkmale vorhanden; mehrere gleiche Umgebungsmerkmale in gleicher geometrischer Beziehung vorhanden; vergleichbare Umgebungsmerkmale vorhanden.
Der Wahrscheinlichkeitswert kann z. B. zwischen 0 und 1 variieren, wobei 0 eine verschwindende Wahrscheinlichkeit und 1 eine volle Sicherheit darstellt.
Die Sensordaten selbst können mit einem Konfidenzniveau assoziiert sein. Der Sensor kann z. B. mittels des Konfidenzniveaus indizieren, wie zuverlässig die entsprechenden Sensordaten sind, also wie wahrscheinlich ein gemessenes Umgebungsmerkmal so auch tatsächlich vorliegt. Es ist auch möglich, dass der Wahrscheinlichkeitswert weiterhin aus dem Konfidenzniveau der Sensordaten erhalten wird. Dies kann ein besonders genaues Bestimmen des Wahrscheinlichkeitswerts erlauben.
Das ausgewählte Straßenszenarium kann in einem einfachen Ansatz z. B. das Straßenszenarium mit dem höchsten Wahrscheinlichkeitswert sein. Dieses Straßenszenarium kann z. B. die tatsächliche Umgebung des Fahrzeugs besonders gut beschreiben.
Dann kann es möglich sein, die Fahrerassistenzfunktionalität sowohl basierend auf dem ausgewählten Straßenszenarium, als auch basierend auf den gemessenen Sensordaten bereitzustellen. Dies kann die Fahrerassistenzfunktionalität mit hoher Genauigkeit, geringer Fehleranfälligkeit und besonders weit vorausschauend bereit stellen.
Anhand des ausgewählten Straßenszenariums kann es möglich sein, die gemessenen Umgebungsmerkmale der Sensordaten in einen Kontext zu stellen. Der Kontext kann besonders plausibel sein, weil die Straßenszenarin vordefiniert sind. Das Straßenszenarium kann es in anderen Worten erlauben, die verschiedenen Sensordaten mit einer vergleichsweise hohen Genauigkeit zu fusionieren. Zum Beispiel können insbesondere auch Sensordaten von unterschiedlichen Sensoren mittels der hierin beschriebenen Techniken fusioniert werden.
Die Sensordaten können von einem oder mehreren Sensoren des Fahrzeugs erhalten werden. Z. B. können die Sensoren ausgewählt sein aus der Gruppe, welche die folgenden Elemente umfasst: optische Kamera, infrarot Kamera, Radarsystem, Navigationssystem, Abstandssensoren. Die Sensordaten können aber auch nur von einem Sensor stammen und z. B. jeweils ein einzelnes oder wenige Umgebungsmerkmal beschreiben. Deshalb kann im Allgemeinen das Erhalten von Sensordaten beschrieben werden als: verschiedene Eingänge in das die Techniken gemäß des vorliegenden Aspekts ausführende System.
Es wäre möglich, dass das Verfahren weiterhin umfasst: Bestimmten der Sensordaten basierend auf Sensorinformationen durch Verwenden von Techniken, die ausgewählt sind aus folgender Gruppe: Bilderkennung, Bildsegmentierung, Filterung. Solche Techniken, welche das Extrahieren der Umgebungsmerkmale aus den Sensorinformationen bzw. Rohdaten ermöglichen, sind dem Fachmann grundsätzlich bekannt.
Es wäre möglich, dass das Vergleichen zum Zuordnen des Wahrscheinlichkeitswerts weiterhin einen Typ des jeweiligen Umgebungsmerkmals berücksichtigt. So kann es z. B. vorkommen, dass bestimmte Typen von Umgebungsmerkmalen, z. B. Grasnarben oder Leitplanken (Fahrbahnmarkierungen und Schilder), in bestimmten Sensordaten besonders gut oder schlecht wiedergegeben sind, z. B. in Sensordaten die von einem Radarsensor (einem optischen Sensor) stammen. Es kann also insbesondere entbehrlich sein, jeweils alle Sensordaten mit allen parametrisierten Umgebungsmerkmalen zu vergleichen. Dadurch kann ein besonders genaues und schnelles Verfahren ermöglicht werden.
In verschiedenen Referenzimplementierungen kann ein einzelnes fest vorgegebenes, stark vereinfachtes Straßenszenarium verwendet werden. Zu diesen Vereinfachungen gehören typischerweise Annahmen bzgl. des Straßenverlaufes, etwa in einer Autobahn-Situation die Annahme, dass die Fahrspuren parallel verlaufen. Sobald solche Annahmen nicht mehr erfüllt sind, schlagen diese Ansätze in der Regel fehl. In einer Autobahn-Situation ist das regelmäßig bereits der Fall, wenn eine Beschleunigungsspur, z. B. ein Abfahrtsstreifen, mitmodelliert werden soll, da dieser nicht parallel zur Hauptverkehrsrichtung verläuft.
Aus obenstehendem ist ersichtlich, dass hinsichtlich des Katalogs von Straßenszenarien zumindest zweierlei Effekte erzielt werden können: nämlich einerseits eine besonders effiziente, flexible und zielgerichtete Fusion von Sensordaten, als auch andererseits ein besonders genaues und weiter vorausschauendes Bereitstellen der Fahrerassistenzfunktionalität durch Berücksichtigen des ausgewählten Straßenszenariums.
Es ist möglich, dass der Katalog eine Suchbaumstruktur für die mehreren Straßenszenarien umfasst, die Verknüpfungen zwischen den mehreren Straßenszenarien beinhaltet. Der Wahrscheinlichkeitswert des jeweiligen Straßenszenariums kann weiterhin aus dem Durchlaufen der Suchbaumstruktur bis zu dem jeweiligen Straßenszenarium erhalten werden.
Durch das Darstellen des Katalogs in Form einer Suchbaumstruktur, kann ein besonders effizientes und schnelles Durchsuchen der verschiedenen Straßenszenarien ermöglicht werden. Das ausgewählte Straßenszenarium, das die tatsächliche Fahrzeugumgebung besonders gut beschreibt, kann schnell gefunden werden.
Es existieren verschiedene Ansätze die Suchbaumstruktur zu ordnen, sodass die vorbeschriebenen Effekte möglich werden. In verschiedenen Szenarien können unterschiedlichen Ordnungsschemata verwendet werden.
Zum Beispiel können die verschiedenen Straßenszenarien des Katalogs klassifiziert sein hinsichtlich eines Detailgrads und/oder einer Anzahl des zugehörigen mindestens einen Umgebungsmerkmals. Der Katalog von Straßenszenarien kann Verknüpfungen zwischen den verschiedenen Straßenszenarien beinhalten, wobei die Verknüpfungen solche zwei Straßenszenarien miteinander verknüpfen, die kongruente Straßensituationen mit einem unterschiedlichen Detailgrad und/oder einer unterschiedlichen Anzahl an zugehörigen Umgebungsmerkmalen beschreiben.
Der Detailgrad kann z. B. durch ein Abstraktionsniveau definiert sein, welches die Beschreibung der parametrisierten Umgebungsmerkmale betrifft. Sind z. B. die Straßenszenarien nur grob umrissen und sehr allgemein spezifiziert (genau beschrieben und umfassend spezifiziert), so kann der Detailgrad gering sein (groß sein).
Es sollte verstanden werden, dass ein und dasselbe Umgebungsmerkmal z. B. mit einem großen oder geringen Detailgrad wiedergegeben sein kann. Z. B. kann eine Straßenmarkieren optional als durchgängig oder gestrichelt, dick oder dünn, in einem bestimmen Abstand zu benachbarten Markierungen, mit bestimmter Farbe usf. parametrisiert sein. Alle solche Eigenschaften können den Detailgrad erhöhen. Die voranstehende Aufzählung ist rein illustrativ und nicht beschränkend.
Das Bereitstellen der Verknüpfungen kann z. B. besonders effizient durch Verwenden von Graphen-Strukturen erfolgen: z. B. können die verschiedenen Straßenszenarien die Knoten des Graphens sein und die Verknüpfungen können die Kanten des Graphen sein.
Durch das Verknüpfen der Straßenszenarien kann ein besonders effizientes Bewerten durch das Zuordnen der Wahrscheinlichkeitswerte erreicht werden. So kann es z. B. möglich sein, anhand der Verknüpfungen Wahrscheinlichkeitswerte auch für direkt und/oder indirekt verknüpfte Straßenszenarien zu berechnen. Das Bewerten kann schnell und genau durchgeführt werden.
Z. B. kann der Wahrscheinlichkeitswert, mit dem das jeweilige Straßenszenarium bewertet wird, weiterhin aus Wahrscheinlichkeitswerten von Straßenszenarien, die mit dem jeweiligen Straßenszenarium verknüpft sind erhalten werden; z. B. vorzugsweise aus Wahrscheinlichkeitswerten von solchen Straßenszenarien, die einen geringeren Detailgrad und/oder eine geringe Anzahl an zugehörigen Umgebungsmerkmalen aufweisen.
Wird z. B. ein bestimmtes Straßenszenario mit einem besonders großen (geringen) Wahrscheinlichkeitswert bewertet, so können Straßenszenarien, die mit dem bestimmten Straßenszenarium verknüpft sind, und deshalb kongruente Straßensituationen beschreiben, entsprechend einen großen (geringen) Wahrscheinlichkeitswert aufweisen. In einem einfachen Beispiel kann es möglich sein, anzunehmen, dass bei einem mit einem hohen Wahrscheinlichkeitswert bewerteten Straßenszenarium, das vergleichsweise detailliert und mit einer großen Anzahl an Umgebungsmerkmalen aus einem bestimmten Satz versehen ist, die verknüpften Straßenszenarien mit geringerem Detailgrad und weniger Merkmalen aus dem bestimmten Satz auch einen hohen Wahrscheinlichkeitswert aufweisen.
Mittels solcher Techniken kann es möglich sein, einige oder alle der Straßenszenarien durch Zuordnen jeweils eines Wahrscheinlichkeitswerts zu bewerten. Auf Grundlage der Wahrscheinlichkeitswerte kann dann ein bestimmtes Straßenszenarium ausgewählt werden, um darauf basierend anschließend die Fahrerassistenzfunktionalität bereitzustellen. Es können auch weitere Kriterien beim Auswählen des Straßenszenariums berücksichtigt werden.
Das Auswählen des Straßenszenariums kann weiterhin den Detailgrad und/oder die Anzahl des zugehörigen mindestens einen Umgebungsmerkmals für die verschiedenen Straßenszenarien berücksichtigen.
In der Regel können solche Straßenszenarien, welche eine größere Anzahl an Umgebungsmerkmalen z. B. mit größerem Detailgrad beschreiben tendenziell eine geringere Wahrscheinlichkeit aufweisen. Dies kann der Fall sein, weil inhärent für solche Straßenszenarien das Vergleichen mit den gemessenen Umgebungsmerkmalen mehr Quellen für eine mögliche fehlende Übereinstimmung eröffnet – z. B. im Vergleich zu einem Straßenszenarium das lediglich ein einzelnes Umgebungsmerkmal, z. B. mit geringem Detailgrad spezifizieret. Deshalb kann es erstrebenswert sein, auch den Detailgrad und/oder die Anzahl des zugehörigen mindestens einen Umgebungsmerkmals beim dem Auswählen zu berücksichtigen.
Z. B. kann das Verfahren weiterhin umfassen: Wichten der zugeordneten Wahrscheinlichkeitswerte für die Straßenszenarien mit einem Wichtungsfaktor, der den Detailgrad und/oder die Anzahl des zugehörigen mindestens einen Umgebungsmerkmals berücksichtigt. Dann kann z. B. dasjenige Straßenszenarium ausgewählt werden, welches – einerseits – einen möglichst hohen Detailgrad und/oder eine möglichst große Anzahl des zugehörigen mindestens einen Umgebungsmerkmals aufweist, und – andererseits – einen möglichst großen zugeordneten Wahrscheinlichkeitswert.
Diesbezüglich kann z. B. das Verfahren das Durchführen eines Schwellenwertvergleichs zwischen dem zugeordneten Wahrscheinlichkeitswert und einem vorgegebenen Wahrscheinlichkeits-Schwellenwert umfassen. Der Wahrscheinlichkeits-Schwellenwert kann z. B. abhängig sein von dem Detailgrad und/oder von der Anzahl des zugehörigen mindestens einen Umgebungsmerkmals.
Dadurch kann der Effekt einer besonders genauen Auswahl des Straßenszenariums erzielt werden, z. B. als dasjenige Straßenszenarium, welches die tatsächliche Fahrzeugumgebung besonders genau und mit besonders vielen Umgebungsmerkmalen, aber dennoch mit einem ausreichenden hohen Wahrscheinlichkeitswert beschreibt.
Es ist möglich, dass die verschiedenen Straßenszenarien des Katalogs hinsichtlich einer Anzahl des zugehörigen mindestens einen Umgebungsmerkmals klassifiziert sind, wobei die Verknüpfungen zwischen den verschiedenen Straßenszenarien solche zwei Straßenszenarien miteinander verknüpfen, von denen ein höherhierarchisches der zwei Straßenszenarien alle Umgebungsmerkmale eines niederhierarchischen der zwei Straßenszenarien beinhaltet.
In anderen Worten kann der Katalog hierarchisch strukturiert sein. Höherhierarchische Straßenszenarien können mehr Umgebungsmerkmale beinhalten als niederhierarchische. Eine solche Klassifizierung wäre auch hinsichtlich der Suchbaumstruktur wie obenstehend beschrieben möglich.
Es kann entbehrlich sein, das die Straßenszenarien auch hinsichtlich des Detailgrads klassifiziert sind. Es wäre aber auch möglich, dass die Straßenszenarien nur hinsichtlich des Detailgrads klassifiziert sind. Es wäre möglich, dass höherhierarchische Straßenszenarien einen geringeren oder größeren Detailgrad aufweisen als niederhierarchische.
In einem solchen Fall der hierarchischen Strukturierung, kann ein besonders einfaches Bereitstellen der Fahrerassistenzfunktionalität erfolgen, weil das Auswählen des Straßenszenariums schnell durchgeführt werden kann, z. B. mittels einer Hypothesengenerierung (Durchlaufen des Katalogs von niederhierarchischen zu höherhierarchischen Straßenszenarien) und Hypothesenverifizierung (Durchlaufen von höherhierarchischen zu niederhierarchischen Straßenszenarien). Kongruente Straßensituationen können durch das hierarchische Verknüpfen inhärent gruppiert werden.
Es ist möglich, dass das Bewerten des jeweiligen Straßenszenariums stufenweise für die erhaltenen Sensordaten durchgeführt wird. Vorzugsweise können die Sensordaten von mindestens zwei Sensoren erhalten werden.
Zum Beispiel kann es möglich sein, das Bewerten mit ersten Sensordaten, z. B. von einem ersten Sensor, zu beginnen. Ein Wahrscheinlichkeitswert kann dann durch Vergleich der ersten Sensordaten mit einem geeigneten Straßenszenarium erhalten werden. Anschließend kann es in einer zweiten Prozess-Stufe möglich sein, ein zweites Straßenszenarium zu bewerten und zwar basierend auf zweiten Sensordaten, die z. B. von einem zweiten Sensor stammen. Z. B. kann das zweite Straßenszenarium mit dem ersten Straßenszenarium verknüpft sein. Z. B. kann das zweite Straßenszenarium höherhierarchisch oder niederhierarchisch sein, als das erste Straßenszenarium. Entsprechende Techniken können auch angewendet werden, wenn die verschiedenen Sensordaten von ein und demselben Sensor stammen, aber z. B. unterschiedliche Umgebungsmerkmale beschreiben.
Durch solche Techniken, die stufenweise den Katalog von Straßenszenarien bzw. die Suchbaumstruktur durchlaufen, um die verschiedenen Sensordaten zu berücksichtigen, kann eine besonders effiziente Fusion der Sensordaten erzielt werden. Der Katalog von Straßenszenarien gibt das Gerüst vor, anhand dessen die Fusion durchgeführt wird. Dadurch kann die Fusion zielgerichtet, flexibel und effizient durchgeführt werden.
Es ist möglich, dass die in dem Katalog umfassten mehreren Straßenszenarien die charakteristische Straßensituation weiterhin jeweils durch mindestens eine geometrische Beziehung zwischen zumindest einigen der parametrisierten Umgebungsmerkmale beschreiben. Es ist auch möglich, dass der Wahrscheinlichkeitswert, mit dem das jeweilige Straßenszenarium bewertet wird, weiterhin aus einem Vergleich von mindestens einer geometrischen Beziehung zwischen den mehreren gemessenen Umgebungsmerkmalen mit der mindestens einen geometrischen Beziehung zwischen den jeweiligen parametrisierten Umgebungsmerkmalen erhalten wird.
In anderen Worten kann der Vergleich die geometrischen Beziehungen zwischen den mehreren gemessenen Umgebungsmerkmalen mit den geometrischen Beziehungen zwischen mehreren parametrisierten Umgebungsmerkmalen des jeweiligen Straßenszenariums betreffen.
Umfasst das Straßenszenarium etwa zwei Fahrbahnmarkierungen, so kann der Vergleich z. B. einen Abstand als geometrische Beziehung zwischen den beiden Fahrbahnmarkierungen betreffen und/oder eine Dicke der beiden Fahrbahnmarkierungen.
In anderen Worten kann es möglich sein, nicht lediglich die verschiedenen Umgebungsmerkmale isoliert und einzeln zu vergleich, sondern auch eine geometrische Beziehung bzw. Anordnung der verschiedenen Umgebungsmerkmale zueinander zu berücksichtigen.
Dadurch kann es möglich sein, den Wahrscheinlichkeitswert besonders genau zu bestimmen. Es kann genauer überprüft werden, inwiefern ein bestimmtes Straßenszenarium mit den gemessenen Umgebungsparametern übereinstimmt.
Es ist möglich, dass die mindestens eine geometrischen Beziehung zwischen den parametrisierten Umgebungsmerkmalen der mehreren Straßenszenarien weiterhin durch eine vordefinierte statistische Verteilung charakterisiert ist, die eine zu erwartende tatsächliche Schwankung der mindestens einen geometrischen Beziehung beschreibt. Es ist auch möglich, dass diese statistische Verteilung bei dem Erhalten des Wahrscheinlichkeitswerts aus dem Vergleich zwischen der mindestens einen geometrischen Beziehung berücksichtigt wird.
Z. B. kann die statistische Verteilung durch eine Normalverteilung beschrieben sein. Derart kann eine tatsächliche Schwankung in den geometrischen Beziehungen reeller Straßensituationen abgebildet werden. Es kann außerdem ein Toleranzbereich bei dem Vergleichen der geometrischen Beziehungen berücksichtigt werden. Derart können z. B. Ungenauigkeiten, Schwankungen, Rauschen und Fehler in den Sensordaten berücksichtigt werden.
Gemäß einem weiteren Aspekt betrifft die Erfindung Fahrerassistenzsystem in einem Fahrzeug, das eine Sensorschnittstelle umfasst, die eingerichtet ist, um Sensordaten von mindestens einem Sensor des Fahrzeugs, die jeweils mindestens ein gemessenes Umgebungsmerkmal in einer Umgebung des Fahrzeugs beschreiben, zu erhalten. Das Fahrerassistenzsystem umfasst weiterhin eine Rechnereinheit, die eingerichtet ist, um folgende Schritte durchzuführen: Laden eines vordefinierten Katalogs von Straßenszenarien aus einer Datenbank, wobei der Katalog mehrere Straßenszenarien umfasst, die jeweils eine Straßensituation durch mindestens ein parametrisiertes Umgebungsmerkmal beschreiben; für zumindest einige der Straßenszenarien des vordefinierten Katalogs: Bewerten des jeweiligen Straßenszenariums durch Zuordnen eines Wahrscheinlichkeitswerts zu dem jeweiligen Straßenszenarium, der zumindest aus einem Vergleich des mindestens einen gemessenen Umgebungsmerkmals mit dem mindestens einen parametrisierten Umgebungsmerkmal des jeweiligen Straßenszenariums erhalten wird; Auswählen eines Straßenszenariums in Abhängigkeit der zugeordneten Wahrscheinlichkeitswerte der zumindest einigen Straßenszenarien; und Bereitstellen der Fahrerassistenzfunktionalität in Abhängigkeit des ausgewählten Straßenszenariums und/oder in Abhängigkeit der gemessenen Umgebungsmerkmale.
Das Fahrerassistenzsystem kann eingerichtet sein, um das Verfahren zum Bereitstellen von Fahrerassistenzfunktionalität gemäß einem weiteren Aspekt der Erfindung durchzuführen.
Für ein solches Fahrerassistenzsystem können Effekte erzielt werden, die vergleichbar sind mit den Effekten, die für das Verfahren zum Bereitstellen von Fahrerassistenzfunktionalität gemäß einem weiteren Aspekt der Erfindung erzielt werden können.
Gemäß einem weiteren Aspekt betrifft die Erfindung ein Fahrzeug, welches das Fahrerassistenzsystem gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst.
Für ein solches Fahrzeug können Effekte erzielt werden, die vergleichbar sind mit den Effekten, die für das Verfahren zum Bereitstellen von Fahrerassistenzfunktionalität gemäß einem weiteren Aspekt der Erfindung erzielt werden können.
Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombination verwendet werden, sondern auch in weiteren Kombination oder isoliert ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
1 ist eine Aufsicht auf eine typische Straßensituation in der Umgebung eines Fahrzeugs, wobei weiterhin Fahrspuren des Fahrzeugs illustriert sind.
2 ist eine schematische Ansicht eines Fahrerassistenzsystems gemäß verschiedener Ausführungsformen.
3 illustriert ein beispielhaftes Straßenszenarium, das durch diverse parametrisierte Umgebungsmerkmale beschrieben ist.
4 stellt eine Suchbaumstruktur für das Straßenszenarium der 3 dar.
5 ist ein Flussdiagramm eines Verfahrens zum Bereitstellen von Fahrerassistenzfunktionalität gemäß verschiedener Ausführungsformen.
6 ist ein Flussdiagramm, das weitere Details des Flussdiagramms der 5 illustriert.
Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Repräsentationen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich wird. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein. Funktionale Einheiten können als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.
Nachfolgend werden Techniken zum Bereitstellen von Fahrerassistenzfunktionalität in einem Fahrzeug unter Bezugnahme auf die Figuren näher erläutert. Die Techniken beinhalten insbesondere das Auswählen eines bestimmten Straßenszenariums aus einem vordefinierten Katalog von Straßenszenarien, basierend auf erhaltenen Sensordaten. Die Sensordaten können z. B. von einem Sensor stammen und mehrere Umgebungsmerkmale des Fahrzeugs beschreiben und/oder sie können von mehreren Sensoren stammen. Es ist dann möglich, basierend auf dem ausgewählten Straßenszenarium und basierend auf den Sensordaten die Fahrerassistenzfunktionalität bereitzustellen.
Typischerweise werden solche Techniken, welche mehrere Sensordaten berücksichtigen, auch als Fusion bezeichnet. Die Fusion erlaubt es typischerweise, aus mehreren in einem Fahrzeug verfügbaren Sensordaten eine einheitliche und umfassende Datengrundlage zu schaffen, anhand derer mit großer Genauigkeit die Fahrerassistenzfunktionalität bereitgestellt werden kann.
Die Fahrerassistenzfunktionalität kann aus der Gruppe ausgewählt sein, welche die Elemente umfasst: vorausschauendes Bestimmen einer Fahrspur, Fahrspurassistenz, Kurvenassistenz, Abstandsassistenz, Infotainment, autonomes Fahren. Grundsätzlich ist dem Fachmann das Durchführen der Fahrerassistenz bekannt, weshalb hier keine weiteren Details genannt werden müssen. Gemäß verschiedenen Ausführungsformen ist es möglich, die Datengrundlage, auf die die Fahrerassistenzfunktionalität zurückgreift, besonders umfassend und genau bereitzustellen.
Solche Fahrerassistenzfunktionalitäten beruhen typischerweise auf einer möglichst genauen Kenntnis einer Umgebung des Fahrzeugs. In 1 ist eine Umgebung eines Fahrzeugs 100 dargestellt. In 1 befindet sich ein Personenkraftfahrzeug (PKW) 100 auf einer dreispurigen Autobahn. Dieses Straßenszenarium ist charakterisiert durch verschiedene Umgebungsmerkmale. Die Umgebungsmerkmale beinhalten nicht durchgängige bzw. gestrichelte Fahrbahnmarkierungen 210-1a, 210-1b, 210-1c, sowie durchgängige Fahrbahnmarkierungen 210-2a, 210-2b. Außerdem beinhalten die Umgebungsmerkmale eine linksseitig von dem PKW 100 befindliche Leitplanke 213 und rechtsseitig von dem PKW 100 befindlichen Standstreifen mit Grasnarbe 211 und ein Beschleunigungsspur 214.
In 2 ist ein Fahrerassistenzsystem 110 dargestellt, welches eingerichtet ist, um die Umgebung des PKWs 100, wie voranstehend beschrieben, besonders genau zu erkennen und die Fahrerassistenzfunktionalität bereitzustellen. Das Fahrerassistenzsystem 110 umfasst dazu eine Rechnereinheit 111, die zum Durchführen diverser Aufgaben eingerichtet ist, welche z. B. umfassen: Verarbeiten von Sensordaten, Bereitstellen von Fahrerassistenzfunktionalität, z. B. durch Widergabe von Information mittels einer Benutzerschnittstelle 112, Laden eines Katalogs von Straßenszenarien von einer Datenbank 113.
Das Fahrerassistenzsystem 110 umfasst drei Sensorschnittstellen 120-1, 120-2, 120-3, die Sensordaten jeweils von einem optischen Sensor, z. B. einer nach vorne gerichteten Kamera, von einem Radargerät, und von einem Navigationssystem bereitstellen.
Z. B. können mittels verschiedener hierin beschriebener Techniken Sensordaten von den drei Sensorschnittstellen 120-1, 120-2, 210-3 fusioniert werden und, zusammen mit dem Katalog der Straßenszenarien, dazu verwendet werden, die Umgebung des PKWs 100 besonders genau zu analysieren. Dann kann es möglich sein, vorausschauend Fahrspuren 250-1, 250-2, 250-3, 250-4 zu bestimmen (cf. 1). Fahrerassistenzfunktionalität, etwa autonomes Fahren oder Fahrunterstützung, kann basierend auf den Fahrspuren 250-1, 250-2, 250-3, 250-4 bereitgestellt werden.
Das Fusionieren erfolgt unter Berücksichtigung des Katalogs von Straßenszenarien. Der Katalog beinhaltet Straßenszenarien, die tatsächlich in einer Umgebung des PKWs 100 auftreten können. Die verschiedenen Straßenszenarien werden durch parametrisierte Umgebungsparameter beschrieben.
In 3 ist ein Straßenszenarium 200 schematisch dargestellt. Dieses Straßenszenarium 200 ist durch mehrere parametrisierte Umgebungsmerkmale bestimmt: Hierarchieklasse gleich Autobahn 220', rechtsseitiger Grünstreifen 211, linksseitig durchgezogene Fahrbahnmarkierung 210-2a', rechtsseitig durchgezogene Fahrbahnmarkierung 210-2b, mittige gestrichelte Fahrbahnmarkierung 210-1.
Es wäre möglich, dass das Straßenszenarium 200 nur durch eine geringere Anzahl an Umgebungsmerkmale 210-2a, 210-2b, 210-1', 220', 211 charakterisiert ist.
Der Detailgrad mit dem die parametrisierten Umgebungsmerkmale 210-2a, 210-2b, 210-1', 220, 211' wiedergegeben sind, ist variabel. Z. B. könnte zusätzlich eine bestimmte Dicke der Fahrbahnmarkierungen 210-2a, 210-1', 210-2b' in dem Katalog in der Datenbank 113 hinterlegt sein usf.
In 4 ist der Katalog 300 von Straßenszenarien 200 für die Hierarchieklasse Autobahn dargestellt. Der Katalog 300, in der Ausführungsform der 4, ist in der hierarchischen Struktur eines Suchbaums 310 dargestellt. Verschiedene Knoten 311-1–311-7 entsprechen hierbei verschiedenen Straßenszenarien 200. Die Knoten 311-1–311-7 bzw. die Straßenszenarien 200 sind miteinander über Verknüpfungen 321-2-1, 312-3-2, 312-2-4, 312-3-6, 312-6-5, 312-6-7 assoziiert.
Mit zunehmender Hierarchiestufe (in 4 weiter oben dargestellt), nimmt die Anzahl der Umgebungsmerkmale, die in jedem Straßenszenarium vorgesehen ist, zu. Dabei beinhaltet ein höherhierarchischer Knoten 311-1–311-7 alle Umgebungsmerkmale der niederhierarchischen Knoten, mit denen er verknüpft ist. Dies ist in 4 durch die jeweils dargestellten Straßenszenarien 200 in Zusammenschau mit der 3 ersichtlich.
Zusätzlich zu dieser Hierarchie, welche die Anzahl an Umgebungsmerkmalen berücksichtigt, könnte mit zunehmender Hierarchie auch ein Detailgrad der verschiedenen Umgebungsmerkmale zu- oder abnehmen (in 4 nicht gezeigt).
Grundsätzlich ist es möglich, die Suchbaumstruktur 310 beginnend von jedem beliebigen Knoten 311-1–311-7 zu durchlaufen. Nachfolgend wird ein Beispiel rein illustrativ und nicht beschränkend näher diskutiert, bei dem die Suchbaumstruktur 310 ausgehend von dem Knoten 311-1 (in 4 links unten) durchlaufen wird.
Z. B. kann die Sensorschnittstelle 120-1 Sensordaten von einer optischen Kamera bereitstellen, die das Umgebungsmerkmal „durchgezogene Fahrbahnmarkierung” beschreiben. Dies entspricht dem Straßenszenarium 200 des Knotens 311-1. Durch Vergleich dieser Sensordaten mit dem parametrisierten Umgebungsmerkmal kann ein Wahrscheinlichkeitswert diesem 311-1 zugeordnet werden – in dem vorliegenden Fall wäre dieser Wahrscheinlichkeitswert vergleichsweise hoch, da eine gute Übereinstimmung zwischen dem entsprechenden Straßenszenarium 200, das das entsprechende Umgebungsmerkmal 210-2a (cf. 3) umfasst, und dem gemessenen Umgebungsmerkmal vorliegt.
Dann kann über die Verknüpfung 312-2-1 die Hypothese aufgestellt werden, dass das Straßenszenarium 200 des Knotens 311-2 vorliegt; also zusätzlich zu der durchgezogenen Fahrbahnmarkierung auch noch – rechts davon befindlich – eine gestrichelte Fahrbahnmarkierung vorliegt. Die Straßenszenarien 200 der Knoten 311-1, 311-2 beschreiben also kongruente Straßensituationen, weil die Straßensituation des Straßenszenariums 200 des Knotens 311-1 unter die Straßensituation des Straßenszenariums 200 des Knotens 311-2 subsummiert werden kann.
Diese Hypothese kann verifiziert werden, durch Bewerten des Knotens 311-4, der ein Straßenszenarium 200 betrifft, das lediglich die gestrichelte Linie umfasst. Dieses Bewerten kann durch Vergleichen des entsprechenden parametrisierten Umgebungsmerkmals 210-1', hier gestrichelte Fahrbahnmarkierung, mit gemessenen Umgebungsmerkmalen geschehen. Die gemessenen Umgebungsmerkmale für den Knoten 311-4 können wiederum als Sensordaten über die Sensorschnittstelle 120-1 von der optischen Kamera erhalten werden.
Weisen sowohl die Knoten 311-1, 311-4 vergleichsweise große Wahrscheinlichkeitswerte auf, so kann angenommen werden, dass auch der verknüpfte höherhierarchische Knoten 311-2 eine vergleichsweise große Wahrscheinlichkeit aufweist. Dies entspricht der Verifizierung der zuvor aufgestellten Hypothese (Hypothesenverifizierung).
Diese Wahrscheinlichkeit für das Straßenszenarium 200 des Knotens 311-2 kann noch genauer erhalten werden, in dem auch eine geometrische Beziehung zwischen den gemessenen und vordefinierten, parametrisierten Umgebungsmerkmalen 210-2a, 210-1', hier durchgezogene und gestrichelte Fahrbahnmarkierung, durchgeführt wird. Z. B. kann per Vergleich überprüft werden, ob sich die gestrichelte Fahrbahnmarkierung in einem bestimmten Abstand rechts von der durchgezogenen Fahrbahnmarkierung befindet. Solche geometrischen Beziehungen müssen nicht notwendigerweise als feste Werte vorliegen, sondern können über einen Toleranzbereich, z. B. durch eine statistische Normalverteilung, definiert sein. Weichen die gemessenen Umgebungsmerkmale von einem Mittelwert der Normalverteilung ab, so kann das Erhalten des Wahrscheinlichkeitswerts diese Abweichung durch die Eigenschaften der Normalverteilung, z. B. Halbwertsbreite, genau berücksichtigen.
Das Verfahren kann z. B. solange durch Hypothesengenerierung und Hypothesenverifizierung fortgesetzt werden, bis alle Knoten 311-1–311-7 einen Wahrscheinlichkeitswert zugeordnet haben. Es wäre auch möglich, das Verfahren abzubrechen, wenn ein Wahrscheinlichkeitswert unter einen vordefinierten Schwellenwert fällt.
Das Straßenszenarium des Knotens 311-3 beinhaltet weiterhin eine rechtsseitige Grasnarbe (cf. 3). Z. B. kann es möglich sein, das Vorhandensein der Grasnarbe, etwa in Bezug auf das Straßenszenarium 200 des Knotens 311-7, durch Sensordaten zu verifizieren, die von einem Radarsensor über die Sensorschnittstelle 120-2 erhalten werden.
Aus obenstehendem wird ersichtlich, dass gemäß solchen Techniken eine Fusion von mehreren Sensordaten möglich wird. Die verschiedenen Sensordaten werden stufenweise berücksichtigt, nämlich beim Durchlaufen der Suchbaumstruktur 310.
4 ist ein nicht limitierendes, rein illustratives Beispiel. Im Allgemeinen kann es erstrebenswert sein, den Katalog 300 mit einer größeren oder kleineren Anzahl an Knoten 311-1–311-7 bereitzustellen. Z. B. kann der Katalog 300 auch solche Straßenszenarien 200 umfassen, die keine Autobahn betreffen, z. B. Landstraßen oder Stadtstraßen.
Diesbezüglich kann zuallererst, nämlich bei Auswählen des ersten Knotens 311-1 zum Bewerten, bereits ein Vergleich mit Sensordaten, die von einem Navigationssystem über die Sensorschnittstelle 120-3 erhalten werden, durchgeführt werden. Diese Sensordaten können spezifizieren, dass sich der PKW 100 in einem Straßenszenarium 200 befindet, das eine Straßensituation der Hierarchieklasse Autobahn beschreibt. Alle anderen Knoten (in 4 nicht dargestellt), die eine Straßensituation anderer Hierarchieklasse betreffen, können dann einen vergleichsweise geringen Wahrscheinlichkeitswert zugeordnet bekommen.
In 5 ist ein Flussdiagramm eines Verfahrens zum Bereitstellen von Fahrerassistenzfunktionalität gemäß verschiedener Ausführungsformen dargestellt. Das Verfahren beginnt in Schritt s1.
Zunächst erfolgt das Laden des Katalogs 300 aus der Datenbank 113 (Schritt S2). Über die Sensorschnittstellen 112-1, 112-2, 112-3 werden dann Sensordaten erhalten (Schritt S3). Die Sensordaten beschreiben die Umgebung des PKWs 100 mittels Umgebungsmerkmalen, z. B. Fahrbahnmarkierungen, Leitplanken, Straßenschildern, usf. Die Senordaten können weiterhin eine Hierarchieklasse der Straße, auf der sich der PKW 100 momentan befindet, bezeichnen.
Dann wird in Schritt S4 ein Straßenszenarium 200 aus dem Katalog 300 selektiert. Z. B. kann, für die gegebene Hierarchieklasse der Straße, ein niederhierarchisches Straßenszenarium 200 selektiert werden, das nur ein oder wenige Umgebungsmerkmale in parametrisierter Form beinhaltet. Dieses Umgebungsmerkmal kann mit gemessenen Umgebungsmerkmalen verglichen werden und daraus ein Wahrscheinlichkeitswert erhalten werden (Schritt S5). Gibt es zumindest ein gemessenes Umgebungsmerkmal, das gut mit dem parametrisierten Umgebungsmerkmal übereinstimmt, kann der Wahrscheinlichkeitswert eine gute Übereinstimmung indizieren.
In Schritt S6 wird anschließend überprüft, ob noch ein weiteres relevantes Straßenszenarium 200 in dem Katalog vorhanden ist. Z. B. können nur solche Straßenszenarien in Betracht gezogen werden, welche die passende Hierarchieklasse aufweisen.
Sind noch weitere Straßenszenarien vorhanden, werden die Schritte S4 und S5 erneut durchgeführt.
In Schritt S7 wird ein Straßenszenarium 200 basierend auf den erhaltenen Wahrscheinlichkeitswerten ausgewählt, z. B. dasjenige Straßenszenarium 200 mit dem höchsten Wahrscheinlichkeitswert oder ein Straßenszenarium 200 unter gleichzeitiger Berücksichtigung von Detailgrad und/oder Anzahl von parametrisierten Umgebungsmerkmalen, sowie Wahrscheinlichkeitswert.
In Schritt S8 wird die Fahrerassistenzfunktionalität basierend auf dem gewählten Straßenszenarium und basierend auf den gemessenen Umgebungsmerkmalen bereitgestellt. Z. B. kann eine vorausschauende Fahrspur für den PKW 100 berechnet werden und es kann teil- oder voll-autonomes Fahren implementiert werden.
Das Verfahren endet in Schritt S9.
Wie aus obenstehender Beschreibung ersichtlich wird, erlaubt es das Verwenden des Katalogs 300 von Straßenszenarien mehrere Sensordaten kontrolliert und zielgerichtet und flexibel zu fusionieren. Es kann außerdem ein Straßenszenarium 200 ausgewählt werden, welches die tatsächliche Umgebung des PKWs 100 besonders gut beschreibt. Wenn in Schritt S8 die Fahrerassistenzfunktionalität sowohl basierend auf den gemessenen Sensordaten, als auch basierend auf dem, die Umgebung parametrisiert beschreibenden, ausgewählten Straßenszenarium 200 bereitgestellt wird, kann diese mit einer hohe Genauigkeit, geringer Fehleranfälligkeit und besonders weit vorausschauend bereit gestellt werden.
Verschiedenen Ausführungsformen der Erfindung liegt darüber hinaus die Erkenntnis zugrunde, dass durch das Bereitstellen des Katalogs 300 in Form einer Suchbaumstruktur 310 ein besonders effizientes ermitteln des ausgewählten Straßenszenariums 200 möglich ist. Solche Techniken, die im Rahmen des Schritts S5 der 5 durchgeführt werden können, sind in dem Flussdiagramm der 6 dargestellt.
In Schritt T1 erfolgt das Bestimmen eines signifikanten Umgebungsmerkmals aus gemessenen Sensordaten. Z. B. kann das ein Umgebungsmerkmal mit einem hohen Konfidenzniveau sein. Typischerweise kann dies eine Hierarchieklasse der momentanen Straße sein oder eine prägnante, sicher erkannte Fahrbahnmarkierung.
Dann wird ein entsprechender Knoten 311-1–311-7 aus der Suchbaumstruktur 310 ausgewählt (schritt T2). Grundsätzlich kann sich dieser Knoten 311-1–311-7 auf jeder Hierarchieebene der Suchbaumstruktur 310 befinden. Es kann jedoch erstrebenswert sein, einen niederhierarchischen Knoten 311-1–311-7 auszuwählen. Welcher Knoten 311-1–311-7 ausgewählt wird, hängt insbesondere von den Sensordaten ab.
In Schritt T3 wird der Wahrscheinlichkeitswert für diesen Knoten berechnet, durch Vergleich der gemessenen Umgebungsmerkmale mit den parametrisierenden Umgebungsmerkmalen des selektierten Straßenszenariums 200.
Falls kein höherhierarchischer Knoten 311-1–311-7 vorhanden ist (Schritt T4), z. B. weil der in Schritt T2 selektierte Knoten bereits auf höchster Hierarchieebene angesiedelt war, endet das Verfahren der 6 und es kann mit Schritt S6 der 5 fortgefahren werden.
In Schritt T5 erfolgt andernfalls das Selektieren eines höherhierarchischen Knotens 311-1–311-7. Dieser Knoten beinhaltet typischerweise alle Umgebungsmerkmale, die der Knoten 311-1–311-7 aus Schritt T2 auch beinhaltet, und zusätzlich eines oder mehrere weitere Umgebungsmerkmale. Außerdem kann der höhere Knoten einzelne oder alle Umgebungsmerkmale mit einem anderen Detailgrad parametrisieren.
In Schritt T6 erfolgt wiederum das Berechnen des Wahrscheinlichkeitswerts für den höherhierachischen Knoten aus Schritt T5, basierend auf gemessenen Umgebungsmerkmalen aus den Sensordaten.
Schritte T5 und T6 können auch als Hypothesengenerierung bezeichnet werden, weil, ausgehend von dem niederhierarchischen Knoten 311-1–311-7, die Annahme getroffen wird, dass ein höherhierarchischer Knoten 311-1–311-7 vorliegt.
Entsprechend können die Schritte T7–T10 als Hypothesenverifizierung bezeichnet werden: In Schritt T7 wird überprüft, ob ein niederhierarchischer Knoten 311-1–311-7 vorhanden ist. Falls ja, wird dieser Knoten 311-1–311-7 selektiert (Schritt T8), dessen Wahrscheinlichkeitswert berechnet (Schritt T9) und ggf. in Schritt T10 der Wahrscheinlichkeitswert des höherhierarchischen Knotens 311-1–311-7 aus Schritt T5 angepasst, basierend auf dem Wahrscheinlichkeitswert des niederhierarchischen Knotens 311-1–311-7.
Obenstehende Beschreibung illustriert vereinfacht das z. B. teilweise rekursive Durchlaufen der Suchbaumstruktur 310. Im Allgemeinen kann es erstrebenswert sein, zusätzlich Abbruchkriterien zu berücksichtigen, z. B. Unterschreiten von vordefinierten Schwellenwerten der berechneten Wahrscheinlichkeitswerte. Es kann auch erstrebenswert sein, Wahrscheinlichkeitswerte für alle Knoten zu berechnen. Außerdem kann es möglich sein, dass keine passenden Sensordaten zum direkten Berechnen eines Wahrscheinlichkeitswert für einen Knoten 311-1–311-7 z. B. höherer Hierarchiestufe zur Verfügung stehen; dann kann es notwendig sein, mittels Hypothesenverifizierung die Wahrscheinlichkeitswerte niederhierarchischer Knoten zum Berechnen der Wahrscheinlichkeitswerte höherhierarchischer Knoten zu verwenden.
Z. B. wäre es allgemein möglich, dass niederhierarchische Knoten 311-1–311-7 ihre Wahrscheinlichkeitswerte allen höherhierarchischen Knoten 311-1–311-7, mit denen sie verknüpft sind, bereitstellen (vgl. Schritt T10 der 6). Dieser Indizierungsschritt macht Durchlaufen der Suchbaumstruktur 310 sehr effizient, da bereits berechnete Wahrscheinlichkeitswerte für niederhierarchische Knoten 311-1–311-7 zwischen mehreren höherhierarchischen Knoten 311-1–311-7 geteilt werden und daher redundante Berechnungen vermieden werden.
Voranstehend wurden also Techniken beschrieben, welche eine effiziente Fusion mehrerer Sensordaten ermöglichen. Während Umgebungsmerkmale wie Fahrbahnmarkierungen oder Kolonnenspuren häufig eine Schätzung des gesamten Fahrbahnverlaufes ermöglichen (high-level Informationen), stellen z. B. bildbasierte Objektdetektoren lediglich in einem nahen und lokalen Umfeldbereich des Fahrzeugs Informationen über Verkehrszeichen, Leitpfosten oder anderer Verkehrsteilnehmer bereit (low-level Informationen). Verschiedene Referenzimplementierungen schätzen daher den Verlauf hauptsächlich auf Basis der aussagekräftigen high-level Umgebungsmerkmalen, insbesondere der Fahrbahnmarkierungen. Sobald diese jedoch fehlen (dies ist häufig in innerstädtischen Straßenszenarien der Fall) kann kein robuster Verlauf geschätzt werden. Hier spielen low-level Umgebungsmerkmale eine entscheidende Rolle. Obenstehend wurden Techniken zur Fusion beschrieben, die es ermöglichen, low-level sowie high-level Umgebungsmerkmale auf Basis eines Katalogs von verschiedenen Straßenszenarien zusammenzuführen.
Die Datenverarbeitung der Fusion ist hierarchisch aufgebaut, z. B. in der Suchbaumstruktur. Die Hierarchie beschreibt beispielsweise die Zerlegung eines Straßenszenariums (repräsentiert durch den Wurzelknoten der Hierarchie) in einzelne Fahrstreifen, die Zerlegung der Fahrstreifen in Merkmale wie Fahrbahnmarkierungen, erhabene Hindernisse, Leitpfosten, oder Pfeile, und diese wiederum in low-level Umgebungsmerkmale wie Linien im Kamerabild (repräsentiert durch die Blätter in der Hierarchie). Die Fusion enthält Vorwissen über die verschiedenen Straßentypen in Form des Katalogs. Dieser beschreibt die verschiedenen Straßentypen, z. B. Autobahn, Landstraßen, Stadtstraße, Einmündungs- und Kreuzungstypen. Jeder Straßentyp ist durch einen eigenen Knoten in der Hierarchie definiert. Die Knoten beschreiben daher semantisch verschiedene Szenentypen, wobei die Kanten räumliche Relationen bzw. geometrischen Beziehungen zwischen den einzelnen Knoten beschreiben. Die geometrischen Beziehungen zwischen einer Fahrbahn und ihren Fahrbahnmarkierungen ist z. B. durch die Straßenbreite gegeben. Aber auch andere Orientierungshilfen wie z. B. Leitpfosten haben einen festen geometrischen Zusammenhang zur Fahrbahn und können daher in die Hierarchie integriert werden.
Die Datenverarbeitung bzw. das Durchlaufen der Suchbaumstruktur unterscheidet zwei Prozessrichtungen: bottom-up (von den Blättern in Richtung der Wurzel) und top-down (von der Wurzel in Richtung Blätter). Da die Sensoren typischerweise Sensorinformation auf unteren Hierarchieebenen bereitstellen (low-level Information), startet die Datenverarbeitung mit dem bottom-up Prozess, in dem Hypothesen für die Knoten auf höheren Ebenen generiert werden (Hypothesengenerierung). Eine erkannte Markierung generiert, so z. B. eine Hypothese, dass eine Fahrspur rechts, und eine Hypothese, dass eine Fahrspur links liegt. Jede Hypothese wird dann in einem top-down Schritt verifiziert (Hypothesenverifizierung). Dabei wird z. B. bei einer erkannten linken Markierung überprüft, ob auch eine rechte Markierung vorhanden ist, die die Fahrspurhypothese stützt.
Abstrakt und allgemein formuliert kann durch das Propagieren von Wahrscheinlichkeitswerten von niederhierarchischen Knoten zu höherhierarchischen Knoten (vgl. Schritt T10 der 6) möglich sein, ein komplexes Straßenszenarium des höherhierarchischen Knotens in mehrere einfachere Straßenszenarien niederhierarchischer Knoten zu zerlegen. Solche Techniken können in dem Kontext der „Teile-und-Herrsche” (engl. „divide and conquer”) als reduktionistischer Lösungsansatz betrachtet werden.
Der Hypothesengenerierungsprozess lässt sich grundsätzlich auf den unterschiedlichen Hierarchiestufen der Suchbaumstruktur starten. So kann eine low-level Abstandsinformation aus dem Radarsensor zum Generieren von high-level Hypothesen verwendet werden. Diese Hypothesen können dann z. B. anhand von high-level Informationen wie Kolonnenspuren verifiziert werden. Es ist aber auch die umgekehrte Richtung möglich, d. h. die Kolonnenspuren werden auf höheren Hierarchieebenen eingespeist und zur direkten Generierung von Fahrspurhypothesen verwendet. Im top-down Verifizierungsprozess können sie dann u. a. anhand der low-level Abstandsinformation aus dem Radarsensor verifiziert werden.
Selbstverständlich können die Merkmale der vorab beschriebenen Ausführungsformen und Aspekte der Erfindung miteinander kombiniert werden. Insbesondere können die Merkmale nicht nur in den beschriebenen Kombinationen, sondern auch in anderen Kombinationen oder für sich genommen verwendet werden, ohne das Gebiet der Erfindung zu verlassen.
Bezugszeichenliste

100: Fahrzeug
110: Fahrerassistenzsystem
111: Recheneinheit
112: Benutzerschnittstelle
113: Datenbank
120-1: Sensorschnittstelle
120-2
120-3
200: Straßenszenarium
210-1a: Gestrichelte Fahrbahnmarkierung
210-1b
210-1c
210-2a: Durchgezogene Fahrbahnmarkierung
210-2b
211: Grasnarbe
212: Standstreifen
213: Leitplanke
214: Beschleunigungsspur
220: Autobahn
250-1: Fahrspur
250-2
250-3
250-4
300: Katalog
310: Suchbaumstruktur
311-1–311-7: Knoten
312-2-1: Kanten
312-3-2
312-2-4
312-3-6
312-6-5
312-6-7

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10254806 A1 [0003]

Claims

Verfahren zum Bereitstellen von Fahrerassistenzfunktionalität in einem Fahrzeug (100), umfassend: – Laden eines vordefinierten Katalogs (300) von Straßenszenarien (200) aus einer Datenbank (113), wobei der Katalog (300) mehrere Straßenszenarien (200) umfasst, die jeweils eine Straßensituation durch mindestens ein parametrisiertes Umgebungsmerkmal (210-1', 210-2a', 210-2b', 211', 220') beschreiben, – Erhalten von Sensordaten von mindestens einem Sensor des Fahrzeugs (100), die jeweils mindestens ein gemessenes Umgebungsmerkmal (210-1a, 210-1b, 210-1c, 211-2a, 211-2b, 211, 212, 213, 214) in einer Umgebung des Fahrzeugs (100) beschreiben, – für zumindest einige der Straßenszenarien (200) des vordefinierten Katalogs (300): Bewerten des jeweiligen Straßenszenariums (200) durch Zuordnen eines Wahrscheinlichkeitswerts zu dem jeweiligen Straßenszenarium (200), der zumindest erhalten wird aus: einem Vergleich des mindestens einen gemessenen Umgebungsmerkmals (210-1a, 210-1b, 210-1c, 211-2a, 211-2b, 211, 212, 213, 214) mit dem mindestens einen parametrisierten Umgebungsmerkmal (210-1', 210-2a', 210-2b', 211', 220') des jeweiligen Straßenszenariums (200), – Auswählen eines Straßenszenariums (200) in Abhängigkeit der zugeordneten Wahrscheinlichkeitswerte der zumindest einigen Straßenszenarien (200), – Bereitstellen der Fahrerassistenzfunktionalität in Abhängigkeit des ausgewählten Straßenszenariums (200) und/oder in Abhängigkeit der gemessenen Umgebungsmerkmale (210-1a, 210-1b, 210-1c, 211-2a, 211-2b, 211, 212, 213, 214).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Katalog (300) eine Suchbaumstruktur (310) für die mehreren Straßenszenarien (200) umfasst, die Verknüpfungen zwischen den mehreren Straßenszenarien (200) beinhaltet, und dass der Wahrscheinlichkeitswert des jeweiligen Straßenszenariums (200) weiterhin erhalten wird aus: Durchlaufen der Suchbaumstruktur (310) bis zu dem jeweiligen Straßenszenarium (200).
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die verschiedenen Straßenszenarien (200) des Katalogs (300) klassifiziert sind hinsichtlich eines Detailgrads und/oder einer Anzahl des zugehörigen mindestens einen Umgebungsmerkmals (210-1', 210-2a', 210-2b', 211', 220'), wobei der Katalog (300) von Straßenszenarien (200) Verknüpfungen zwischen den verschiedenen Straßenszenarien (200) beinhaltet, welche solche zwei Straßenszenarien (200) miteinander verknüpfen, die kongruente Straßensituationen mit einem unterschiedlichen Detailgrad und/oder einer unterschiedlichen Anzahl an zugehörigen Umgebungsmerkmalen (210-1', 210-2a', 210-2b', 211', 220') beschreiben.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Wahrscheinlichkeitswert, mit dem das jeweilige Straßenszenarium (200) bewertet wird, weiterhin erhalten wird aus: Wahrscheinlichkeitswerten von Straßenszenarien (200), die mit dem jeweiligen Straßenszenarium (200) verknüpft sind und die vorzugsweise einen geringeren Detailgrad und/oder eine geringe Anzahl an zugehörigen Umgebungsmerkmalen (210-1', 210-2a', 210-2b', 211', 220') aufweisen.
Verfahren nach einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, dass das Auswählen des Straßenszenariums (200) weiterhin den Detailgrad und/oder die Anzahl des zugehörigen mindestens einen Umgebungsmerkmals (210-1', 210-2a', 210-2b', 211', 220') für die verschiedenen Straßenszenarien (200) berücksichtigt.
Verfahren nach einem der Ansprüche 3–5, dadurch gekennzeichnet, dass die verschiedenen Straßenszenarien (200) des Katalogs (300) hinsichtlich einer Anzahl des zugehörigen mindestens einen Umgebungsmerkmals klassifiziert sind, wobei die Verknüpfungen zwischen den verschiedenen Straßenszenarien (200) solche zwei Straßenszenarien (200) miteinander verknüpfen, von denen ein höherhierarchisches der zwei Straßenszenarien (200) alle Umgebungsmerkmale eines niederhierarchischen der zwei Straßenszenarien (200) beinhaltet.
Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass das Bewerten des jeweiligen Straßenszenariums (200) stufenweise für die erhaltenen Sensordaten durchgeführt wird, wobei vorzugsweise die Sensordaten von mindestens zwei Sensoren erhalten werden.
Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass wobei die parametrisierten Umgebungsmerkmale (210-1', 210-2a', 210-2b', 211', 220') aus einer Gruppe ausgewählt sind, welche die folgenden Elemente umfasst: – Anzahl von Fahrspuren; – Breite einer Fahrspur; – Hierarchieklasse der Straße, z. B. umfassend Autobahn, Landstraße, Stadtstraßen; – Grünstreifen (211) rechts und/oder Grünstreifen links; – Leitplanke (213) rechts und/oder Leitplanke links; – Standstreifen (212) rechts und/oder Standstreifen links; – Beschleunigungsspur (214) rechts und/oder Beschleunigungsspur links; – Fahrbahnmarkierungen (210-1a, 210-1b, 210-1c, 210-2a, 210-2b); – Leitpfosten, – Straßenschilder; – weitere Verkehrsteilnehmer; – Kolonnenspur; – Randbebauung; – Gridkarte; – Karte eines Navigationssystems.
Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die in dem Katalog (300) umfassten mehreren Straßenszenarien (200) die charakteristische Straßensituation weiterhin jeweils durch mindestens eine geometrische Beziehung zwischen zumindest einigen der parametrisierten Umgebungsmerkmale (210-1', 210-2a', 210-2b', 211', 220') beschreiben, und dass der Wahrscheinlichkeitswert, mit dem das jeweilige Straßenszenarium (200) bewertet wird, weiterhin erhalten wird aus: einem Vergleich von mindestens einer geometrischen Beziehung zwischen den mehreren gemessenen Umgebungsmerkmalen (210-1a, 210-1b, 210-1c, 211-2a, 211-2b, 211, 212, 213, 214) mit der mindestens einen geometrischen Beziehung zwischen den jeweiligen parametrisierten Umgebungsmerkmalen (210-1', 210-2a', 210-2b', 211', 220').
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die mindestens eine geometrischen Beziehung zwischen den parametrisierten Umgebungsmerkmalen (210-1', 210-2a', 210-2b', 211', 220') der mehreren Straßenszenarien (200) weiterhin durch eine vordefinierte statistische Verteilung charakterisiert ist, die eine zu erwartende tatsächliche Schwankung der mindestens einen geometrischen Beziehung beschreibt, und dass diese statistische Verteilung bei dem Erhalten des Wahrscheinlichkeitswerts aus dem Vergleich zwischen der mindestens eine geometrische Beziehung berücksichtigt wird.
Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren weiterhin umfasst: – vorausschauendes Bestimmen einer Fahrspur (250-1, 250-2, 250-3, 250-4) für das Fahrzeug (100) in Abhängigkeit des ausgewählten Straßenszenariums (200) und in Abhängigkeit der gemessenen Umgebungsmerkmale (210-1a, 210-1b, 210-1c, 211-2a, 211-2b, 211, 212, 213, 214), wobei das Bereitstellen der Fahrerassistenzfunktionalität auf der vorausschauend bestimmten Fahrspur (250-1, 250-2, 250-3, 250-4) basiert.
Fahrerassistenzsystem (110) in einem Fahrzeug (100), umfassend: – eine Sensorschnittstelle (120-1, 120-2, 120-3), die eingerichtet ist, um Sensordaten von mindestens einem Sensor des Fahrzeugs (100), die jeweils mindestens ein gemessenes Umgebungsmerkmal (210-1a, 210-1b, 210-1c, 211-2a, 211-2b, 211, 212, 213, 214) in einer Umgebung des Fahrzeugs (100) beschreiben, zu erhalten, – eine Rechnereinheit (111), die eingerichtet ist, um folgende Schritte durchzuführen: – Laden eines vordefinierten Katalogs (300) von Straßenszenarien (200) aus einer Datenbank (113), wobei der Katalog (300) mehrere Straßenszenarien (200) umfasst, die jeweils eine Straßensituation durch mindestens ein parametrisiertes Umgebungsmerkmal (210-1', 210-2a', 210-2b', 211', 220') beschreiben, – für zumindest einige der Straßenszenarien (200) des vordefinierten Katalogs (300): Bewerten des jeweiligen Straßenszenariums (200) durch Zuordnen eines Wahrscheinlichkeitswerts zu dem jeweiligen Straßenszenarium (200), der zumindest aus einem Vergleich des mindestens einen gemessenen Umgebungsmerkmals (210-1a, 210-1b, 210-1c, 211-2a, 211-2b, 211, 212, 213, 214) mit dem mindestens einen parametrisierten Umgebungsmerkmal (210-1', 210-2a', 210-2b', 211', 220') des jeweiligen Straßenszenariums (200) erhalten wird, – Auswählen eines Straßenszenariums (200) in Abhängigkeit der zugeordneten Wahrscheinlichkeitswerte der zumindest einigen Straßenszenarien (200), – Bereitstellen der Fahrerassistenzfunktionalität in Abhängigkeit des ausgewählten Straßenszenariums (200) und/oder in Abhängigkeit der gemessenen Umgebungsmerkmale (210-1a, 210-1b, 210-1c, 211-2a, 211-2b, 211, 212, 213, 214).
Fahrerassistenzsystem (110) nach Anspruch 12, dadurch gekennzeichnet, dass es weiterhin eingerichtet ist, um ein Verfahren nach einem der Ansprüche 1–11 durchzuführen.