+

WO2018133996A1 - Verfahren zum kombinieren einer vielzahl von kamerabildern - Google Patents

Verfahren zum kombinieren einer vielzahl von kamerabildern Download PDF

Info

Publication number
WO2018133996A1
WO2018133996A1 PCT/EP2017/082248 EP2017082248W WO2018133996A1 WO 2018133996 A1 WO2018133996 A1 WO 2018133996A1 EP 2017082248 W EP2017082248 W EP 2017082248W WO 2018133996 A1 WO2018133996 A1 WO 2018133996A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
areas
environment
overall
Prior art date
Application number
PCT/EP2017/082248
Other languages
English (en)
French (fr)
Inventor
Raphael Cano
Jose Domingo Esparza Garcia
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2018133996A1 publication Critical patent/WO2018133996A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a method of combining a plurality of camera images. Moreover, the invention relates to a control device for a vehicle and a vehicle comprising such a control device.
  • Camera images allow the number of shadow areas where there is no footage to minimize in the combined overall picture.
  • a check is made as to whether shaded areas in the Camera image of a single camera also by other cameras
  • the shaded area in the camera image may be filled with imagery from another camera. In this way, the overall content of the combined overall image is increased.
  • Camera images to an overall image includes the following steps: First, an environment with a plurality of cameras is detected. In this way, a large number of camera images is generated. It is particularly advantageous for the camera images to overlap at least partially in their detection areas. After capturing, an overall perspective is defined, from which the overall picture is to be viewed. The overall perspective is thus a virtual perspective from which the overall picture is to be viewed. This means that a distortion of the camera images is necessary, the camera images also to the
  • Shadows do not show a reproduction of the environment. This means that the detection of the shadow areas after the transformation of the camera images, wherein the transformation of the camera images, a conversion of the
  • Viewing perspective of the camera images includes.
  • the shadow areas can thus not contribute to the information content of the overall picture and should be avoided if possible.
  • Information in the overall picture is maximized.
  • a maximum utilization of information from the individual camera images takes place. If the entire image is presented to a user for viewing, this user receives a full picture of the environment, in particular disturbing
  • a step of displaying predefined graphics or colored areas on the shadow areas occurs if it is determined in the checking step that no other camera image represents a shadow area.
  • no other camera image represents a shadow area.
  • the shaded area of the environment is thus not represented by the overall picture.
  • the presentation of distortions of the obstacle is avoided.
  • the individual camera images in the overall image adjoin each other at respective seam lines.
  • the above-described replacement step is advantageously carried out such that the seam lines are displaced. In this way, it is thus provided that such areas of the individual camera images are not used for the generation of the overall image if they comprise shadow areas and at the same time the same
  • Seam lines are advantageously carried out dynamically, so that the seams are arranged differently according to existing obstacles in an environment can. In any case, the seam lines are laid out so that there is a minimum number of shadow areas in the overall image.
  • viewing the overall image is simplified for a user because he sees an almost complete picture of the environment. Only a minimized number of areas of the environment can not be displayed.
  • the determination of the overall perspective is advantageously carried out by a user input. Specifically, the overall perspective is determined by the user requesting a corresponding image. This may include selecting from a variety of predefined overall perspectives. Alternatively, the selection of the overall perspective can also be done automatically, especially if an animation or the like is to be displayed, in which the overall perspective is analogous to a
  • the recognition of shadow areas is preferably carried out such that an object in the environment is detected by distance sensors.
  • the object shadows at least a portion of the detection range of one of the cameras.
  • Obstacle is distorted, however, an information content of the environment behind the obstacle can not be displayed. Thus, one is
  • Shadow area available which, as described above, advantageously replaced by areas of other camera images.
  • the distance sensors which advantageously comprise ultrasonic sensors, in particular a size of the object can be estimated. Based on the size of the object can be determined which part of the detection range of the camera is shaded. Thus, the extent of the shadow area can be determined. The position of the shadow area in the transformed image of the camera can thus be determined.
  • a transformed image is understood to mean that the image has already been converted to the overall perspective.
  • the invention also relates to a control device.
  • the control unit is used to carry out the method described above.
  • the controller is advantageously connected to a plurality of cameras.
  • the control unit is part of a vehicle.
  • the invention also relates to a vehicle comprising a plurality of cameras and a control device as described above.
  • the plurality of cameras is configured to detect an environment of the vehicle.
  • an environment of the vehicle can be represented from the camera images of the plurality of cameras, with the camera images advantageously becoming one
  • the cameras overlap
  • the cameras provide a 360 degree surveillance. This means that a comprehensive representation of the environment of the vehicle can be made. In particular, it is possible to generate a bird's eye view that is completely one
  • This bird's-eye view can be optimized in particular by minimizing the shadow areas as described above.
  • image areas of low quality for the generation of the overall image, as long as these image areas allow the replacement of shadow areas.
  • Figure 1 is a schematic view of a sequence of the method
  • Figure 2 is a schematic view of a vehicle according to a
  • Figure 3 is a schematic view of an overall picture during the
  • FIG. 1 schematically shows a flow of a method for combining a plurality of camera images according to an embodiment of the invention.
  • the method is in particular executable by a control unit 22.
  • the controller 22 is shown in FIG. FIG. 2 shows a vehicle 1 comprising the control unit 22, wherein the vehicle 1 also comprises a first camera 3, a second camera 4, a third camera 5 and a fourth camera 6.
  • the first camera 3, the second camera 4, the third camera 5 and the fourth camera 6 are connected to the control unit 22 for signal transmission. It is provided that each of the cameras 3, 4, 5, 6 detects a direction of the vehicle 1.
  • the first camera 3 is forward, that means aligned in the direction of travel of the vehicle 1, while the fourth camera 6 to the rear, that is opposite to a direction of travel, is aligned.
  • the second camera 4 points to a right side of the vehicle 1, while the third camera 5 points to a left side of the vehicle 1.
  • the detection areas of the first camera 3 and the second camera 4 and the third camera 5 partially overlap.
  • the detection range of the second camera 4 additionally overlaps with the detection range of the fourth camera 6
  • Detection range of the fourth camera 6 additionally overlaps with the detection range of the third camera 5.
  • an environment 2 of the vehicle 1 is completely detectable.
  • individual subregions of the environment 2 are scanned by two cameras 3, 4, 5, 6.
  • the control unit is set up here, to combine the individual camera pictures of the cameras 3, 4, 5, 6 to a total picture. This is done according to the method, the sequence of which is shown schematically in FIG. First, a detection 100 of the environment 2 with the cameras 3, 4, 5, 6 takes place.
  • each camera 3, 4, 5, 6 generates a single image, so that there is a multiplicity of individual camera images.
  • This is followed by setting 200 of an overall perspective, from which the overall image, which is to be generated from the individual camera images, is to be viewed.
  • the overall perspective is a bird's-eye view so that the images of the cameras 3, 4, 5, 6 are to be viewed from a virtual bird's eye view.
  • the detection 100 and the setting 200 in particular means that the captured camera images are converted into a perspective that the
  • FIG. 3 already shows the overall image 1 1, wherein the overall image 1 1 has not yet gone through all the steps of the method, as shown schematically in FIG.
  • a first image 7 of the first camera 3, a second image 8 of the second camera 4, a third image 9 of the third camera 5 and a fourth image 10 of the fourth camera 6 were detected.
  • These camera images 7, 8, 9, 10 partially overlap, with the overlapping areas not shown. If the transformation of the camera images from the real perspective into the overall perspective results in the risk that not all areas of the surroundings 2 are blocked by the cameras 3, 4, 5,
  • the shadow areas 12, 13, 14, 15, 16, 17 are those areas of the camera images 7, 8, 9, 10, which in the overall perspective due to
  • a first object 23 in front of the vehicle 1 available.
  • the first camera 3 can thus not detect the entire environment 2 in front of the vehicle 1, since a partial area of the detection area of the first camera 3 is shielded by the first object 23.
  • a first shadow area 12 on the left side of the first object 23 and a second shadow area 12 can thus be arranged
  • Shadow area 13 on the right side of the first object 23 does not fill with information about the environment 2, but rather it is the first camera 3 not possible to detect said areas of the environment. Will the generated by the first camera 3 first camera image 7 from the real
  • Detection area is partially shadowed by a second obstacle 24. In this way, a second shadow area 14 and a third one
  • Shadow area 15 available.
  • a third object 25 partially shadows the detection area of the third camera 5, so that the fifth shadow area 16 and the sixth shadow area 17 are present. All of these shadow areas 12, 13, 14, 15, 16, 17 are determined in the step of recognizing 300.
  • a check 400 is carried out to determine whether the shadow areas 12, 13, 14, 15, 16, 17 are in one
  • Camera image 7, 8, 9, 10 correspond to areas of the environment 2, which are represented by another camera image 7, 8, 9, 10.
  • the checking step 400 it is thus determined, in particular, that the first shadow area 12 in the first camera image 7 is aligned with a region of the camera
  • a partial region (not shown in FIG. 3) of the third camera image 9 shows that region of the surroundings 2 which is not shown in the first camera image 7 due to the first shadow region 12.
  • Shadow area 13 includes a region of the environment 2, which is detected by the second camera 4.
  • a region (not shown in FIG. 3) of the second camera image 8 is present, which shows the region of the environment 2 not shown in the first camera image 7 due to the second shadow region 13.
  • the region of the environment 2 which corresponds to the third shadow region 14 is detected by the first camera 3.
  • Shadow area 16 corresponds, in turn, is detected by the first camera 3. Finally, the region of the environment 2 that corresponds to the sixth shadow region 17 is detected by the fourth camera 6. Thus, areas in other camera images 7, 8, 9, 10 can always be found that reproduce the surroundings 2 in the areas of the shadow area 12, 13,
  • the replacement 500 of the shadow areas 12, 13, 14, 15, 16, 17 is made such that they pass through corresponding areas of the associated other
  • Camera image 9 is replaced.
  • the second shadow area 13 is replaced by a corresponding area from the second camera image 8.
  • the third shadow area 14 is replaced by a corresponding area of the first
  • the fourth shadow area 15 is replaced by a
  • This overall picture 1 1 has a maximum of information about the environment
  • Shadow area 13 to avoid. This could in particular be carried out such that the first seam line 18 between the first camera image 7 and the third camera image 9 and the second seam line 19 between the first
  • Camera image 7 and the second camera image 8 are shifted so that those areas of the first camera image 7, which include the shadow areas 12, 13, are no longer used for the generation of the overall image 1 1. This assumes that such a displacement of the seam line 18, 19 due to the dimensions of the second camera image 8 and the third
  • Camera image 9 is possible. In other words, the second camera image 8 and the third camera image 9 must be large enough that these ones
  • Camera images 7, 8, 9, 10 can be replaced, a corresponding graphic and / or a colored area displayed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Kombinieren einer Vielzahl von Kamerabildern zu einem Gesamtbild, umfassend die Schritte: Erfassen (100) einer Umgebung mit einer Vielzahl von Kameras, sodass die Vielzahl von Kamerabildern generiert wird, Festlegen (200) einer Gesamtperspektive, aus der das Gesamtbild betrachtet werden soll, Erkennen (300) von Schattenbereichen in den Kamerabildern, die bei Betrachtung der Kamerabilder aus der Gesamtperspektive aufgrund von Abschattungen keine Wiedergabe der Umgebung zeigen, Überprüfen (400), ob Schattenbereiche in einem Kamerabild mit Bereichen der Umgebung korrespondieren, die von einem anderen Kamerabild dargestellt werden, Ersetzen (500) der Schattenbereiche durch entsprechende Bereiche aus dem anderen Kamerabild, falls im Schritt des Überprüfens (400) festgestellt wurde, dass ein solches anderes Kamerabild vorhanden ist, und Kombinieren (600) der Kamerabilder zu dem Gesamtbild.

Description

Beschreibung Titel
Verfahren zum Kombinieren einer Vielzahl von Kamerabildern Stand der Technik
Die vorliegende Erfindung betrifft ein Verfahren zum Kombinieren einer Vielzahl von Kamerabildern. Außerdem betrifft die Erfindung ein Steuergerät für ein Fahrzeug sowie ein Fahrzeug umfassend ein derartiges Steuergerät.
Aus dem Stand der Technik sind Fahrzeuge bekannt, die eine Vielzahl von Kameras aufweisen. Die Bilder dieser Kameras sollen oftmals kombiniert werden, um daraus virtuelle Perspektiven erstellen zu können. Beispielsweise können Kameras eines Fahrzeugs die Umgebung des Fahrzeugs in einem Winkel von 360 Grad abtasten. Aus diesen Kamerabildern soll anschließend ein gemeinsames Bild aus einer virtuellen Vogelperspektive erstellt werden. Dabei kann es passieren, dass aus der virtuellen Perspektive Bereiche der Umgebung erkennbar sind, die aus der tatsächlichen Sicht der Kamera nicht erkennbar sind. Solche Bereiche können beispielsweise Bereiche hinter Hindernissen, wie Mauern oder Fahrzeugen, sein. Die tatsächliche Kamera kann nicht durch das Hindernis hindurchblicken, aus der virtuellen Vogelperspektive könnten die Bereiche hinter dem Hindernis jedoch eindeutig erkannt werden. Im Stand der Technik muss somit für solche Bereiche, für die keinerlei Bildmaterial vorliegt, eine Grafik angezeigt werden, die auf das Fehlen von Bildmaterial hinweist. Somit verliert das Gesamtbild an Informationen.
Offenbarung der Erfindung
Das erfindungsgemäße Verfahren zum Kombinieren einer Vielzahl von
Kamerabildern ermöglicht die Anzahl von Schattenbereichen, an denen keinerlei Bildmaterial vorliegt, in dem kombinierten Gesamtbild zu minimieren. Dazu wird insbesondere eine Überprüfung durchgeführt, ob abgeschattete Bereiche in dem Kamerabild einer einzelnen Kamera ebenfalls durch andere Kameras
aufgenommen wurden. Ist dies der Fall, so kann der abgeschattete Bereich in dem Kamerabild mit Bildmaterial von einer anderen Kamera gefüllt werden. Auf diese Weise wird der Gesamtinhalt des kombinierten Gesamtbilds erhöht.
Das erfindungsgemäße Verfahren zum Kombinieren einer Vielzahl von
Kamerabildern zu einem Gesamtbild umfasst die folgenden Schritte: Zunächst erfolgt ein Erfassen einer Umgebung mit einer Vielzahl von Kameras. Auf diese Weise wird eine Vielzahl von Kamerabildern generiert. Besonders vorteilhaft ist dabei vorgesehen, dass sich die Kamerabilder in ihren Erfassungsbereichen zumindest teilweise überschneiden. Nach dem Erfassen erfolgt ein Festlegen einer Gesamtperspektive, aus der das Gesamtbild betrachtet werden soll. Bei der Gesamtperspektive handelt es sich somit um eine virtuelle Perspektive, aus der das Gesamtbild betrachtet werden soll. Dies bedeutet, dass eine Verzerrung der Kamerabilder notwendig ist, wobei die Kamerabilder außerdem zu dem
Gesamtbild kombiniert werden müssen. Danach erfolgt ein Erkennen von Schattenbereichen in den Kamerabildern. Die Schattenbereiche sind in den Kamerabildern insbesondere dann erkennbar, wenn die Kamerabilder bei der Betrachtung der Kamerabilder aus der Gesamtperspektive aufgrund von
Abschattungen keine Wiedergabe der Umgebung zeigen. Dies bedeutet, dass das Erkennen der Schattenbereiche nach dem Transformieren der Kamerabilder erfolgt, wobei das Transformieren der Kamerabilder ein Umwandeln der
Betrachtungsperspektive der Kamerabilder umfasst. Die Schattenbereiche können somit nicht zum Informationsgehalt des Gesamtbildes beitragen und sind wenn möglich zu vermeiden. Somit erfolgt ein Schritt eines Überprüfens, ob
Schattenbereiche in einem Kamerabild mit Bereichen der Umgebung
korrespondieren, die in einem anderen Kamerabild dargestellt werden. Ist dies der Fall, so besteht die Möglichkeit, Schattenbereiche zu vermeiden. Somit erfolgt ein weiterer Schritt des Ersetzens der Schattenbereiche durch
entsprechende Bereiche aus dem anderen Kamerabild, falls in dem zuvor beschriebenen Schritt des Überprüfens festgestellt wurde, dass ein solches anderes Kamerabild vorhanden ist. Insbesondere bedeutet dies, dass in dem Schritt des Überprüfens festgestellt wurde, dass ein anderes Kamerabild
Bereiche der Umgebung erfasst, die in dem aktuellen Kamerabild lediglich als Schattenbereiche dargestellt sind. Durch das Ersetzen der Schattenbereiche ist somit ein Informationsgehalt der Kamerabilder erhöht. Anschließend erfolgt das Kombinieren der Kamerabilder zu einem Gesamtbild. Das Gesamtbild weist somit eine minimierte Anzahl von Schattenbereichen auf. Somit sind
Informationen in dem Gesamtbild maximiert. Insbesondere erfolgt ein maximales Verwerten von Informationen aus den einzelnen Kamerabildern. Wird das Gesamtbild einem Benutzer zur Betrachtung dargestellt, so erhält dieser Benutzer ein vollumfängliches Bild der Umgebung, wobei insbesondere störende
Grafiken, die aufgrund der Schattenbereiche eingeblendet werden müssten, in ihrer Anzahl minimiert sind. Dies führt zu einem komfortablen Betrachten des Gesamtbildes. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum
Inhalt.
Bevorzugt erfolgt ein Schritt des Anzeigens von vordefinierten Grafiken oder farbigen Flächen an den Schattenbereichen, falls im Schritt des Überprüfens festgestellt wurde, dass kein anderes Kamerabild einen Schattenbereich darstellt. In diesem Fall besteht keinerlei Möglichkeit, den Schattenbereich durch andere Bildbereiche zu ersetzen. Der abgeschattete Bereich der Umgebung ist damit durch das Gesamtbild nicht darstellbar. In diesem Fall erfolgt somit das Anzeigen einer Grafik und/oder einer farbigen Fläche. Somit wird insbesondere das Darstellen von Verzerrungen des Hindernisses vermieden. Ein solches
Darstellen des verzerrten Hindernisses würde ansonsten aufgrund der Änderung der Perspektive von der Kameraperspektive auf die Gesamtperspektive erfolgen. Dies wiederum würde zu einem unübersichtlichen Gesamtbild führen. Vorteilhafterweise grenzen die einzelnen Kamerabilder in dem Gesamtbild an jeweiligen Nahtlinien aneinander. Der zuvor beschriebene Schritt des Ersetzens wird vorteilhafterweise derart durchgeführt, dass die Nahtlinien verschoben werden. Auf diese Weise ist somit vorgesehen, dass solche Bereiche der einzelnen Kamerabilder für die Generierung des Gesamtbildes nicht verwendet werden, wenn diese Schattenbereiche umfassen und gleichzeitig dieselben
Bereiche durch ein anderes Kamerabild abgedeckt sind. Ein derartiges
Verschieben der Nahtstellen kann somit dazu führen, dass das Kamerabild von einer Kamera nur zu einem minimalen Anteil für die Generierung des
Gesamtbildes verwendet wird, während das Kamerabild einer anderen Kamera für einen Großteil des Gesamtbildes verwendet wird. Das Verschieben der
Nahtlinien erfolgt vorteilhafterweise dynamisch, sodass die nach vorhandenen Hindernissen in einer Umgebung die Nahtlinien unterschiedlich angeordnet sein können. In jedem Fall werden die Nahtlinien derart gelegt, dass eine minimale Anzahl von Schattenbereichen in dem Gesamtbild vorhanden ist.
Besonders vorteilhaft werden somit nur solche Teile eines Kamerabilds für das Gesamtbild verwendet, die keine Schattenbereiche aufweisen. Dies bedeutet, dass die gesamte Anzahl an Schattenbereichen in dem Kamerabild minimiert ist. Das Kamerabild weist somit einen maximalen Informationsgehalt auf.
Insbesondere ist außerdem ein Betrachten des Gesamtbildes für einen Benutzer vereinfacht, da dieser eine nahezu vollständige Abbildung der Umgebung sieht. Nur eine minimierte Anzahl von Bereichen der Umgebung kann nicht dargestellt werden.
Das Festlegen der Gesamtperspektive erfolgt vorteilhafterweise durch eine Benutzereingabe. Insbesondere erfolgt das Festlegen der Gesamtperspektive dadurch, dass der Benutzer eine entsprechende Abbildung anfordert. Dies kann auch das Auswählen aus einer Vielzahl von vordefinierten Gesamtperspektiven umfassen. Alternativ kann die Auswahl der Gesamtperspektive auch automatisch erfolgen, insbesondere dann, wenn eine Animation oder ähnliches dargestellt werden soll, bei der sich die Gesamtperspektive analog zu einem
Kameraschwenk verändert.
Das Erkennen von Schattenbereichen wird bevorzugt derart durchgeführt, dass mittels Abstandssensoren ein Objekt in der Umgebung erkannt wird. Das Objekt schattet zumindest einen Teilbereich des Erfassungsbereichs einer der Kameras ab. Somit ist davon auszugehen, dass bei einer Änderung der Perspektive das
Hindernis verzerrt dargestellt wird, ein Informationsgehalt der Umgebung hinter dem Hindernis jedoch nicht dargestellt werden kann. Somit ist ein
Schattenbereich vorhanden, der, wie zuvor beschrieben, vorteilhafterweise durch Bereiche anderer Kamerabilder ersetzt wird. Anhand der Abstandsensoren, die vorteilhafterweise Ultraschallsensoren umfassen, ist insbesondere eine Größe des Objekts abschätzbar. Anhand der Größe des Objekts kann ermittelt werden, welcher Teilbereich des Erfassungsbereichs der Kamera abgeschattet ist. Somit lässt sich das Ausmaß des Schattenbereichs bestimmen. Auch die Lage des Schattenbereichs in dem transformierten Bild der Kamera ist somit ermittelbar. Wie zuvor bereits beschrieben, ist unter einem transformierten Bild zu verstehen, dass das Bild bereits in die Gesamtperspektive umgewandelt wurde. Die Erfindung betrifft außerdem ein Steuergerät. Das Steuergerät dient zum Durchführen des zuvor beschriebenen Verfahrens. Dazu ist das Steuergerät vorteilhafterweise mit einer Vielzahl von Kameras verbunden. Insbesondere ist das Steuergerät Teil eines Fahrzeugs.
Die Erfindung betrifft außerdem ein Fahrzeug, umfasst eine Vielzahl von Kameras sowie ein Steuergerät, wie zuvor beschrieben. Die Vielzahl von Kameras ist zum Erfassen einer Umgebung des Fahrzeugs ausgebildet. Somit lässt sich aus den Kamerabildern der Vielzahl von Kameras eine Umgebung des Fahrzeugs darstellen, wobei die Kamerabilder vorteilhafterweise zu einem
Gesamtbild kombiniert werden. Das Gesamtbild kann dann insbesondere aus unterschiedlichen Gesamtperspektiven betrachtet werden, was zu dem oben beschriebenen Auftreten von Schattenbereichen führen kann. Insbesondere ist bei Fahrzeugen vorteilhaft, wenn aus den einzelnen Kamerabildern der Vielzahl von Kameras eine virtuelle Vogelperspektive auf das Fahrzeug sowie auf die
Umgebung des Fahrzeugs generiert wird.
Vorteilhafterweise ist vorgesehen, dass die Kameras sich überlappende
Erfassungsbereiche aufweisen. Dies ist bei Kameras, die an Fahrzeugen verwendet werden, üblicherweise der Fall, da zumeist Weitwinkelkameras verwendet werden. Durch das Überlappen der Erfassungsbereiche ist die Möglichkeit gegeben, dass eine der Kameras Bereiche der Umgebung erfasst, die eine andere Kamera nicht erfassen kann, da ein Objekt dies abschirmt. Die Vielzahl von Kameras ist vorteilhafterweise zum Erfassen einer gesamten
Umgebung rund um das Fahrzeug ausgebildet. Somit stellen die Kameras eine 360-Grad-Überwachung dar. Dies bedeutet, dass eine umfassende Darstellung der Umgebung des Fahrzeugs erfolgen kann. Insbesondere lässt sich eine Vogelperspektive generieren, die vollständig eine
Umgebung des Fahrzeugs umfasst. Diese Vogelperspektive kann insbesondere durch die Minimierung der Schattenbereiche, wie zuvor beschrieben, optimiert werden. Dabei ist insbesondere ermöglicht, auch Bildbereiche mit geringer Qualität für die Generierung des Gesamtbildes zu verwenden, solange diese Bildbereiche das Ersetzen von Schattenbereichen erlauben.
Kurze Beschreibung der Zeichnungen Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitenden Zeichnungen im Detail beschrieben. In den Zeichnungen ist:
Figur 1 eine schematische Ansicht eines Ablaufs des Verfahrens
gemäß einem Ausführungsbeispiel der Erfindung,
Figur 2 eine schematische Ansicht eines Fahrzeuges gemäß einem
Ausführungsbeispiel der Erfindung und
Figur 3 schematische Ansicht eines Gesamtbildes während der
Optimierung durch das Verfahren gemäß dem Ausführungsbeispiel der Erfindung.
Figur 1 zeigt schematisch einen Ablauf eines Verfahrens zum Kombinieren einer Vielzahl von Kamerabildern gemäß einem Ausführungsbeispiel der Erfindung. Das Verfahren ist insbesondere von einem Steuergerät 22 ausführbar. Das Steuergerät 22 ist in Figur 2 gezeigt. Figur 2 zeigt ein Fahrzeug 1 umfassend das Steuergerät 22, wobei das Fahrzeug 1 außerdem eine erste Kamera 3, eine zweite Kamera 4, eine dritte Kamera 5 und eine vierte Kamera 6 umfasst. Die erste Kamera 3, die zweite Kamera 4, die dritte Kamera 5 und die vierte Kamera 6 sind mit dem Steuergerät 22 zur Signalübertragung verbunden. Dabei ist vorgesehen, dass jede der Kameras 3, 4, 5, 6 eine Richtung des Fahrzeugs 1 erfasst. So ist die erste Kamera 3 nach vorne, das bedeutet in Fahrtrichtung des Fahrzeuges 1 , ausgerichtet, während die vierte Kamera 6 nach hinten, das bedeutet entgegen einer Fahrtrichtung, ausgerichtet ist. Die zweite Kamera 4 weist auf eine rechte Seite des Fahrzeugs 1 , während die dritte Kamera 5 auf eine linke Seite des Fahrzeugs 1 weist. Die Erfassungsbereiche der ersten Kamera 3 und der zweiten Kamera 4 sowie der dritten Kamera 5 überlappen sich teilweise. Ebenso überlappt der Erfassungsbereich der zweiten Kamera 4 zusätzlich mit dem Erfassungsbereich der vierten Kamera 6. Der
Erfassungsbereich der vierten Kamera 6 überlappt außerdem zusätzlich mit dem Erfassungsbereich der dritten Kamera 5.
Durch die Kameras 3, 4, 5, 6 ist somit eine Umgebung 2 des Fahrzeugs 1 vollständig erfassbar. Dabei werden einzelne Teilbereiche der Umgebung 2 durch zwei Kameras 3, 4, 5, 6 abgetastet. Das Steuergerät ist dabei eingerichtet, die einzelnen Kamerabilder der Kameras 3, 4, 5, 6 zu einem Gesamtbild zu kombinieren. Dies erfolgt gemäß dem Verfahren, dessen Ablauf schematisch in Figur 1 gezeigt ist. Zunächst erfolgt ein Erfassen 100 der Umgebung 2 mit den Kameras 3, 4, 5, 6.
Dabei generiert jede Kamera 3, 4, 5, 6 ein einzelnes Bild, sodass eine Vielzahl von einzelnen Kamerabildern vorliegt. Anschließend erfolgt ein Festlegen 200 einer Gesamtperspektive, aus der das Gesamtbild, das aus den einzelnen Kamerabildern generiert werden soll, betrachtet werden soll. Vorteilhaft handelt es sich bei der Gesamtperspektive um eine Vogelperspektive, sodass die Bilder der Kameras 3, 4, 5, 6 aus einer virtuellen Vogelperspektive betrachtet werden sollen.
Das Erfassen 100 und das Festlegen 200 führt insbesondere dazu, dass die erfassten Kamerabilder in eine Perspektive gewandelt werden, die der
Gesamtperspektive entspricht. Dies ist insbesondere aus Figur 3 erkennbar. Figur 3 zeigt bereits das Gesamtbild 1 1 , wobei das Gesamtbild 1 1 noch nicht sämtliche Schritte des Verfahrens, wie in Figur 1 schematisch dargestellt, durchlaufen hat. Allerdings ist ersichtlich, dass ausgehend von dem Fahrzeug 1 ein erstes Bild 7 der ersten Kamera 3, ein zweites Bild 8 der zweiten Kamera 4, ein drittes Bild 9 der dritten Kamera 5 und ein viertes Bild 10 der vierten Kamera 6 erfasst wurde. Diese Kamerabilder 7, 8, 9, 10 überlappen sich teilweise, wobei die überlappenden Bereiche nicht dargestellt sind. Erfolgt das Transformieren der Kamerabilder von der realen Perspektive in die Gesamtperspektive, so besteht die Gefahr, dass nicht alle Bereiche der Umgebung 2 durch die Kameras 3, 4, 5,
6 erfasst werden können. Dies wird in einem Schritt des Erkennens 300 von Schattenbereichen 12, 13, 14, 15, 16, 17 in den Kamerabildern ermittelt. Bei den Schattenbereichen 12, 13, 14, 15, 16, 17 handelt es sich um solche Bereiche der Kamerabilder 7, 8, 9, 10, die in der Gesamtperspektive aufgrund von
Abschattungen keine Wiedergabe der Umgebung 2 erlauben. So ist
beispielsweise ein erstes Objekt 23 vor dem Fahrzeug 1 vorhanden. Die erste Kamera 3 kann somit nicht die gesamte Umgebung 2 vor dem Fahrzeug 1 erfassen, da ein Teilbereich des Erfassungsbereichs der ersten Kamera 3 durch das erste Objekt 23 abgeschirmt ist. Insbesondere lässt sich somit ein erster Schattenbereich 12 auf der linken Seite des ersten Objekts 23 und ein zweiter
Schattenbereich 13 auf der rechten Seite des ersten Objekts 23 nicht mit Informationen über die Umgebung 2 füllen, vielmehr ist es der ersten Kamera 3 nicht möglich, besagte Bereiche der Umgebung zu erfassen. Wird das von der ersten Kamera 3 generierte erste Kamerabild 7 aus der realen
Kamera Perspektive der ersten Kamera 3 betrachtet, so fällt dieser
Informationsverlust nicht auf. Vielmehr wird der Informationsverlust erst dann sichtbar, wenn das erste Kamerabild 7 in die Gesamtperspektive transformiert wurde. In der Gesamtperspektive sind Bereiche vorhanden, die aufgrund der Abschattung durch das erste Objekt 3 nicht durch die erste Kamera 3 mit Informationen gefüllt werden können. Der gleiche Effekt tritt auch bei der zweiten Kamera 4 auf, da deren
Erfassungsbereich teilweise durch ein zweites Hindernis 24 abgeschattet wird. Auf diese Weise ist ein zweiter Schattenbereich 14 und ein dritter
Schattenbereich 15 vorhanden. Schließlich tritt derselbe Effekt bei der dritten Kamera 5 auf. Hier schattet ein drittes Objekt 25 den Erfassungsbereich der dritten Kamera 5 teilweise ab, sodass der fünfte Schattenbereich 16 und der sechste Schattenbereich 17 vorhanden sind. All diese Schattenbereiche 12, 13, 14, 15, 16, 17 werden im Schritt des Erkennens 300 ermittelt.
Nach dem Erkennen 300 der Schattenbereiche 12, 13, 14, 15, 16, 17 erfolgt ein Überprüfen 400, ob die Schattenbereiche 12, 13, 14, 15, 16, 17 in einem
Kamerabild 7, 8, 9, 10 mit Bereichen der Umgebung 2 korrespondieren, die von einem anderen Kamerabild 7, 8, 9, 10 dargestellt werden.
Während des Schritts des Überprüfens 400 wird somit insbesondere festgestellt, dass der erste Schattenbereich 12 im ersten Kamerabild 7 mit einem Bereich der
Umgebung 2 korrespondiert, der innerhalb des Erfassungsbereichs der dritten Kamera 5 liegt. Somit zeigt ein (in Figur 3 nicht dargestellter) Teilbereich des dritten Kamerabilds 9 denjenigen Bereich der Umgebung 2, der im ersten Kamerabild 7 aufgrund des ersten Schattenbereichs 12 nicht dargestellt ist.
Dasselbe gilt für den zweiten Schattenbereich 13, da der zweite
Schattenbereich 13 einen Bereich der Umgebung 2 umfasst, der von der zweiten Kamera 4 erfasst wird. Somit ist ein (in Figur 3 nicht dargestellter) Bereich des zweiten Kamerabilds 8 vorhanden, der den im ersten Kamerabild 7 aufgrund des zweiten Schattenbereichs 13 nicht dargestellten Bereich der Umgebung 2 zeigt. Dasselbe gilt auch für das zweite Kamerabild 8 und das dritte Kamerabild 9. So wird der Bereich der Umgebung 2, der zu dem dritten Schattenbereich 14 korrespondiert, von der ersten Kamera 3 erfasst. Derjenige Bereich der
Umgebung, der zu dem vierten Schattenbereich 15 korrespondiert, wird von der vierten Kamera 6 erfasst. Derjenige Bereich der Umgebung, der zu dem fünften
Schattenbereich 16 korrespondiert, wird wiederum von der ersten Kamera 3 erfasst. Schließlich wird derjenige Bereich der Umgebung 2, der zu dem sechsten Schattenbereich 17 korrespondiert, von der vierten Kamera 6 erfasst. Somit lassen sich stets Bereiche in anderen Kamerabildern 7, 8, 9, 10 finden, die eine Wiedergabe der Umgebung 2 in den Bereichen der Schattenbereich 12, 13,
14, 15, 16, 17 der Kamerabilder 7, 8,9, 10 darstellen. Daher erfolgt in einem weiteren Schritt ein Ersetzen 500 der Schattenbereiche 12, 13, 14, 15, 16, 17.
Das Ersetzen 500 der Schattenbereiche 12, 13, 14, 15, 16, 17 erfolgt derart, dass diese durch entsprechende Bereiche aus dem zugehörigen anderen
Kamerabild 7, 8, 9, 10 ersetzt werden. Dies bedeutet, dass der erste
Schattenbereich 12 durch einen entsprechenden Bereich aus dem dritten
Kamerabild 9 ersetzt wird. Der zweite Schattenbereich 13 wird durch einen entsprechenden Bereich aus dem zweiten Kamerabild 8 ersetzt. Der dritte Schattenbereich 14 wird durch einen entsprechenden Bereich aus dem ersten
Kamerabild 7 ersetzt. Der vierte Schattenbereich 15 wird durch einen
entsprechenden Bereich aus dem vierten Kamerabild 10 ersetzt. Der fünfte Schattenbereich 16 wird durch einen entsprechenden Bereich aus dem ersten Kamerabild 7 ersetzt. Schließlich wird der sechste Schattenbereich 17 durch einen entsprechenden Bereich aus dem vierten Kamerabild 10 ersetzt. Dadurch sind alle Schattenbereiche 12, 13, 14, 15, 16, 17 ersetzt worden, sodass keinerlei Schattenbereiche 12, 13, 14, 15, 16, 17 mehr vorhanden sind. Vielmehr kann nach dem letzten Schritt des Kombinierens 600 der Kamerabilder 7, 8, 9, 10 ein vollumfängliches Gesamtbild 1 1 angezeigt werden.
Dieses Gesamtbild 1 1 weist ein Maximum an Informationen über die Umgebung
2 auf, da insbesondere keine Schattenbereiche 12, 13, 14, 15, 16, 17 mehr vorhanden sind. Somit wird dem Benutzer ein vollumfängliches Bild der
Umgebung bereitgestellt, auch wenn dieses eine Vielzahl von Hindernissen in Form von dem ersten Objekt 23, dem zweiten Objekt 24 und dem dritten Objekt 25 aufweist. Das zuvor beschriebene Verfahren wird vorteilhafterweise laufend wiederholt, sodass eine Veränderung der Position der entsprechenden Objekte 23, 24, 25 bei dem Generieren des Gesamtbildes 1 1 berücksichtigt wird. Somit führt ein Verändern der Position der Objekte 23, 24, 25 nicht zu einem erneuten Auftreten von Schattenbereiche 12, 13, 14, 15, 16, 17. Vielmehr ist jederzeit ein hochwertiges Gesamtbild 1 1 vorhanden.
Zuvor wurde beschrieben, dass die einzelnen Schattenbereiche 12, 13, 14, 15, 16, 17 durch korrespondierende Bereiche aus anderen Kamerabildern 7, 8, 9, 10 ersetzt werden. Es ist allerdings ebenso möglich, die Nahtlinien 18, 19, 20, 21 zwischen den Kamerabildern 7, 8, 9,10 zu verschieben. Für den Fall, dass beispielsweise das zweite Objekt 24 und das dritte Objekt 25 nicht vorhanden wären, wäre somit lediglich der erste Schattenbereich 12 und der zweite
Schattenbereich 13 zu vermeiden. Dies könnte insbesondere derart durchgeführt werden, dass die erste Nahtlinie 18 zwischen dem ersten Kamerabild 7 und dem dritten Kamerabild 9 sowie die zweite Nahtlinie 19 zwischen dem ersten
Kamerabild 7 und dem zweiten Kamerabild 8 derart verschoben werden, dass diejenigen Bereiche des ersten Kamerabildes 7, die die Schattenbereiche 12, 13 umfassen, nicht mehr für die Generierung des Gesamtbildes 1 1 verwendet werden. Dies setzt voraus, dass ein solches Verschieben der Nahtlinie 18, 19 aufgrund der Abmessungen des zweiten Kamerabildes 8 und des dritten
Kamerabildes 9 möglich ist. Mit anderen Worten müssen das zweite Kamerabild 8 und das dritte Kamerabild 9 groß genug sein, dass diese diejenigen
Informationen für das Gesamtbild 1 1 liefern können, die aufgrund des
Verschiebens der Nahtlinien 18, 19 nicht mehr durch das erste Kamerabild 7 geliefert werden. Sollte dies der Fall sein, so ist das zuvor beschriebene
Ersetzen 500 einfach und aufwandarm durchführbar.
Sollte der Fall auftreten, dass ein Ersetzen 500 nicht möglich ist, so wird an den Schattenbereichen 12, 13, 14, 15, 16, 17 die nicht durch Bereiche anderer
Kamerabilder 7, 8, 9, 10 ersetzt werden können, eine entsprechende Grafik und/oder eine farbige Fläche angezeigt.

Claims

Ansprüche 1 . Verfahren zum Kombinieren einer Vielzahl von Kamerabildern (7, 8, 9, 10) zu einem Gesamtbild (1 1 ), umfassend die Schritte:
• Erfassen (100) einer Umgebung (2) mit einer Vielzahl von Kameras (3, 4, 5, 6), sodass die Vielzahl von Kamerabildern (7, 8, 9, 10) generiert wird,
• Festlegen (200) einer Gesamtperspektive, aus der das Gesamtbild (1 1 ) betrachtet werden soll,
• Erkennen (300) von Schattenbereichen (12, 13, 14, 15, 16, 17) in den Kamerabildern (7, 8, 9, 10), die bei Betrachtung der Kamerabilder (7, 8, 9, 10) aus der Gesamtperspektive aufgrund von Abschattungen keine Wiedergabe der Umgebung (2) zeigen,
· Überprüfen (400), ob Schattenbereiche (12, 13, 14, 15, 16, 17) in einem
Kamerabild (7, 8, 9, 10) mit Bereichen der Umgebung (2)
korrespondieren, die von einem anderen Kamerabild (7, 8, 9, 10) dargestellt werden,
• Ersetzen (500) der Schattenbereiche (12, 13, 14, 15, 16, 17) durch
entsprechende Bereiche aus dem anderen Kamerabild (7, 8, 9, 10), falls im Schritt des Überprüfens (400) festgestellt wurde, dass ein solches anderes Kamerabild (7, 8, 9, 10) vorhanden ist, und
• Kombinieren (600) der Kamerabilder (7, 8, 9, 10) zu dem Gesamtbild (1 1 ).
2. Verfahren nach Anspruch 1 , gekennzeichnet durch den Schritt:
• Anzeigen (700) von vordefinierten Grafiken oder farbigen Flächen an den Schattenbereichen (12, 13, 14, 15, 16, 17), falls im Schritt des
Überprüfens (400) festgestellt wurde, dass kein solches anderes
Kamerabild (7, 8, 9, 10) vorhanden ist.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass das die Kamerabilder (7, 8, 9, 10) in dem Gesamtbild (1 1 ) an jeweiligen Nahtlinien (18, 19, 20, 21 ) aneinandergrenzen, wobei das Ersetzen (500) durch Verschieben der Nahtlinien (18, 19, 20, 21 )
durchgeführt wird. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Nahtlinien (18, 19, 20, 21 ) derart verschoben werden, dass nur solche Teile eines Kamerabilds (7, 8, 9, 10) für das Gesamtbild (1 1 ) verwendet werden, die keine Schattenbereiche (12, 13, 14, 15, 16, 17) aufweisen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass das Festlegen (200) der Gesamtperspektive durch eine Benutzereingabe erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass das Erkennen (300) von Schattenbereichen (12, 13, 14, 15, 16, 17) derart durchgeführt wird, dass mittels Abstandsensoren ein Objekt (23, 24, 25) in der Umgebung (2) erkannt wird, das zumindest einen Teilbereich eines Erfassungsbereichs zumindest einer Kamera (3,
4,
5,
6) abschattet.
7. Steuergerät (22), welches zum Durchführen eines Verfahrens gemäß einem der vorhergehenden Ansprüche eingerichtet ist.
8. Fahrzeug (1 ) umfassend eine Vielzahl von Kameras (3, 4, 5, 6) zum
Erfassen einer Umgebung (2) des Fahrzeugs (1 ) sowie ein Steuergerät (22) nach Anspruch 7.
9. Fahrzeug (1 ) nach Anspruch 8, dadurch gekennzeichnet, dass die Kameras (3, 4, 5, 6) sich überlappende Erfassungsbereiche aufweisen.
10. Fahrzeug (1 ) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Vielzahl von Kameras (3, 4, 5, 6) ein Erfassen einer gesamten Umgebung (2) rund um das Fahrzeug (1 ) erlauben.
PCT/EP2017/082248 2017-01-23 2017-12-11 Verfahren zum kombinieren einer vielzahl von kamerabildern WO2018133996A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017201000.2 2017-01-23
DE102017201000.2A DE102017201000B4 (de) 2017-01-23 2017-01-23 Verfahren zum Kombinieren einer Vielzahl von Kamerabildern, Steuergerät und Fahrzeug

Publications (1)

Publication Number Publication Date
WO2018133996A1 true WO2018133996A1 (de) 2018-07-26

Family

ID=60788573

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/082248 WO2018133996A1 (de) 2017-01-23 2017-12-11 Verfahren zum kombinieren einer vielzahl von kamerabildern

Country Status (2)

Country Link
DE (1) DE102017201000B4 (de)
WO (1) WO2018133996A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2574697A (en) * 2018-04-12 2019-12-18 Motherson Innovations Co Ltd Method, system and device of obtaining 3D-information of objects
CN112640413A (zh) * 2018-08-29 2021-04-09 罗伯特·博世有限公司 用于显示周围环境的模型的方法、控制设备和车辆

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023207634A1 (de) * 2023-08-09 2025-02-13 Continental Autonomous Mobility Germany GmbH Verfahren zum Erzeugen einer eine Fahrzeugumgebung darstellenden Umgebungsdarstellung, Steuereinrichtung, Fahrerassistenzsystem und Fahrzeug
DE102023207633A1 (de) * 2023-08-09 2025-02-13 Continental Autonomous Mobility Germany GmbH Verfahren zum Erzeugen einer eine Fahrzeugumgebung darstellenden Umgebungsdarstellung, Steuereinrichtung, Fahrerassistenzsystem und Fahrzeug

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1775952A2 (de) * 2005-10-17 2007-04-18 Sanyo Electric Co., Ltd. Unterstützungssystem zur Fahrzeugführung
DE102009036200A1 (de) * 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
US20100259372A1 (en) * 2009-04-14 2010-10-14 Hyundai Motor Japan R&D Center, Inc. System for displaying views of vehicle and its surroundings
DE102010042026A1 (de) * 2010-10-06 2012-04-12 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
DE102014012250A1 (de) * 2014-08-19 2015-03-26 Daimler Ag Verfahren zur Bilderverarbeitung und -darstellung
DE102014207897A1 (de) * 2014-04-28 2015-10-29 Robert Bosch Gmbh Verfahren zum Erzeugen eines Anzeigebildes

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1775952A2 (de) * 2005-10-17 2007-04-18 Sanyo Electric Co., Ltd. Unterstützungssystem zur Fahrzeugführung
US20100259372A1 (en) * 2009-04-14 2010-10-14 Hyundai Motor Japan R&D Center, Inc. System for displaying views of vehicle and its surroundings
DE102009036200A1 (de) * 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
DE102010042026A1 (de) * 2010-10-06 2012-04-12 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
DE102014207897A1 (de) * 2014-04-28 2015-10-29 Robert Bosch Gmbh Verfahren zum Erzeugen eines Anzeigebildes
DE102014012250A1 (de) * 2014-08-19 2015-03-26 Daimler Ag Verfahren zur Bilderverarbeitung und -darstellung

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2574697A (en) * 2018-04-12 2019-12-18 Motherson Innovations Co Ltd Method, system and device of obtaining 3D-information of objects
US10733464B2 (en) 2018-04-12 2020-08-04 Motherson Innovations Company Limited Method, system and device of obtaining 3D-information of objects
GB2574697B (en) * 2018-04-12 2021-10-20 Motherson Innovations Co Ltd Method, system and device of obtaining 3D-information of objects
CN112640413A (zh) * 2018-08-29 2021-04-09 罗伯特·博世有限公司 用于显示周围环境的模型的方法、控制设备和车辆
CN112640413B (zh) * 2018-08-29 2023-10-13 罗伯特·博世有限公司 用于显示周围环境的模型的方法、控制设备和车辆

Also Published As

Publication number Publication date
DE102017201000B4 (de) 2025-02-27
DE102017201000A1 (de) 2018-07-26

Similar Documents

Publication Publication Date Title
DE60219730T2 (de) Anzeigevorrichtung zur Fahrunterstützung
DE102012001835B4 (de) Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE69425481T2 (de) Bildverarbeitungsverfahren und -gerät zur Erzeugung eines Zielbildes von einem Quellenbild mit Veränderung der Perspektive
DE102009046114B4 (de) Verfahren und Vorrichtung zum Erzeugen einer kalibrierten Projektion
DE102014108684B4 (de) Fahrzeug mit Umfeldüberwachungseinrichtung sowie Verfahren zum Betreiben einer solchen Überwachungseinrichtung
DE102006003538B3 (de) Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
EP2464098B1 (de) Umfeld-Darstellungsvorrichtung sowie ein Fahrzeug mit einer derartigen Umfeld-Darstellungsvorrichtung und Verfahren zur Darstellung eines Panoramabildes
DE102006055641A1 (de) Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
WO2018133996A1 (de) Verfahren zum kombinieren einer vielzahl von kamerabildern
EP3281178A1 (de) Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges
WO2011015283A1 (de) Verfahren zur überwachung einer umgebung eines fahrzeugs
DE102015210453B3 (de) Verfahren und vorrichtung zum erzeugen von daten für eine zwei- oder dreidimensionale darstellung zumindest eines teils eines objekts und zum erzeugen der zwei- oder dreidimensionalen darstellung zumindest des teils des objekts
DE102011088332A1 (de) Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
EP2996327B1 (de) Surround-view-system für fahrzeuge mit anbaugeräten
DE102014012250B4 (de) Verfahren zur Bilderverarbeitung und -darstellung
DE102014201409A1 (de) Parkplatz - trackinggerät und verfahren desselben
DE102010041870A1 (de) Verfahren und System zur horizontrichtigen stereoskopischen Bildverarbeitung
EP3073446A1 (de) Verfahren zum darstellen einer fahrzeugumgebung eines fahrzeuges
EP1912431A2 (de) Verfahren und Vorrichtung zur Steuerung einer schwenkbaren Kamera
EP3833576B1 (de) Kameraüberwachungssystem
EP3011729B1 (de) System und verfahren zum zusammenfügen mittels mehrerer optischer sensoren aufgenommener bilder
EP3106349A1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
WO2013178358A1 (de) Verfahren zur räumlichen visualisierung von virtuellen objekten
DE102015212370A1 (de) Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges
DE102013207323B4 (de) Kamerasystem für ein Fahrzeug und Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17818495

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17818495

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载