+

WO2018185083A2 - Lichtlaufzeitkamera - Google Patents

Lichtlaufzeitkamera Download PDF

Info

Publication number
WO2018185083A2
WO2018185083A2 PCT/EP2018/058456 EP2018058456W WO2018185083A2 WO 2018185083 A2 WO2018185083 A2 WO 2018185083A2 EP 2018058456 W EP2018058456 W EP 2018058456W WO 2018185083 A2 WO2018185083 A2 WO 2018185083A2
Authority
WO
WIPO (PCT)
Prior art keywords
light
time
psf
point
spread function
Prior art date
Application number
PCT/EP2018/058456
Other languages
English (en)
French (fr)
Other versions
WO2018185083A3 (de
Inventor
Stephan Ulrich
Lutz Heyne
Original Assignee
pmdtechnologies ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by pmdtechnologies ag filed Critical pmdtechnologies ag
Priority to US16/500,704 priority Critical patent/US11525918B2/en
Priority to CN201880037067.9A priority patent/CN110709722B/zh
Publication of WO2018185083A2 publication Critical patent/WO2018185083A2/de
Publication of WO2018185083A3 publication Critical patent/WO2018185083A3/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Definitions

  • the invention relates to a time-of-flight camera and to a method for detecting a point spreading function for correcting the detected signals of a light transit time sensor.
  • the time of flight camera or the time of day camera systems in particular concern all
  • Time of flight or 3D TOF cameras are in particular PMD cameras with
  • PMD Photomischdetektoren
  • the PMD camera in particular allows a fiexible arrangement of the light source and the detector, which can be arranged both in a housing and separately.
  • the object of the invention is to further improve the compensation of phase errors.
  • a light transit time camera for a light transit time camera system, provided with a light transit time sensor with a plurality of Lichtlichtlaufzeitpixeln for determining a phase shift of a transmitted and received light,
  • distance values are determined on the basis of the detected phase shifts
  • the light runtime camera has a memory in which at least parameters of a point spread function are stored
  • the point spreading function is a stray light behavior and a signal crosstalk of the
  • Point spreading function unfolds a captured image (I (x)) and obtains a corrected image (Io (x)),
  • This procedure has the advantage that distance values can be corrected during operation on the basis of an already stored point spreading function.
  • the point spreading function is complex.
  • the detected image is reduced in the resolution and a correction is determined with this reduced resolution, after which the correction is scaled up to the original resolution of the acquired image and the acquired image is corrected with the scaled-up correction.
  • the point spread function is preferably stored in the memory as a matrix or lookup table and / or as a Fourier transform.
  • the point spread function stored in the memory is determined according to one of the following methods.
  • a method for determining a ceremonitsp Austsp Struc in which a point light source and a light runtime camera are arranged such that a light transit time sensor of the light runtime camera detects the point light source, wherein a distance between the point light source and the light runtime camera and / or a beam profile of the point light source are selected in that less than 5 light-propagation time pixels in a pixel row or column or a maximum of 16x16 are present on the light transit time sensor
  • the point spread function is determined at least on the basis of a subset of the light transit time pixels of the light transit time sensor.
  • This approach has the advantage that the light source can be easily established within certain limits for the determination of a point spread function.
  • it is provided to operate the point light source unmodulated.
  • the modulation gates of the light-propagation time pixels of the light transit time sensor will be controlled in such a way that charge carriers in the light transit time pixel primarily only at one Integration nodes are accumulated. This procedure ensures that the generated photoelectrons are preferably collected at an integration node.
  • At least two acquisition frames with different integration times of the light transit time sensor and / or different light intensities of the point light source are performed to determine the point spread function.
  • a method for determining a point spread function for a light runtime camera of a light transit time camera system
  • the second 3D image I 2 (x) or at least a portion of the second 3D image I 2 (x) is corrected by means of a point spread function
  • Sub-areas is minimal and / or falls below a threshold
  • the resulting point spread function can be further used as a correction point spread function.
  • a light transit time camera of a light transit time camera system in which by means of the light runtime camera, a single image I (x) of a reference scene with an object in the
  • Point spread function are changed until a difference between the corrected image F (x) and an expected image I 0 (x) is minimal and / or falls below a threshold.
  • a method for determining a point spread function for a light runtime camera of a light transit time camera system, in which a 3D image IT (X) of a step of a reference object is detected with the aid of the light runtime camera,
  • the reference object has a step of defined height and the surfaces of the step are planar and plane-parallel to each other,
  • the reference object is arranged in relation to the time of flight camera such that at the edge of the stage there is a distance jump to the more distant step level
  • the captured 3D image IT (X) is first modeled using a first
  • parameters of the model point spread function are changed until the distance values d of the corrected 3D image ⁇ ( ⁇ ) are minimal and / or below a tolerated distance error lie,
  • the resulting point spread function can be further used as a correction point spread function.
  • FIG. 1 is a schematic view of a time-of-flight camera system
  • FIG. 2 shows a modulated integration of generated charge carriers
  • FIG. 3 shows a structure for determining a point spread function
  • FIG. 4 shows a cross section of images for determining a point spread function
  • FIG. 5 shows a detection of a reference scene
  • FIG. 6 shows a detection of an object in front of the reference scene
  • FIG. 6 measured distance values according to FIG. 6 in relation to the actual distances
  • FIG. 8 a detection of two reference areas with different distances
  • FIG. 9 shows measured distance values according to FIG. 8 in relation to the actual distances
  • FIG. 10 shows a possible schematic sequence of the scattered light correction in the sense of the invention.
  • FIG. 1 shows a measurement situation for an optical distance measurement with a
  • the light transit time camera system 1 comprises a transmission unit or an illumination module 10 with an illumination 12 and an associated beam-shaping optical unit 15 as well as a reception unit or time-of-flight camera 20 with a reception optics 25 and a
  • the light transit time sensor 22 has at least one transit time pixel, preferably also a pixel array, and is designed in particular as a PMD sensor.
  • the receiving optic 25 typically consists of improving the imaging characteristics of a plurality of optical elements.
  • the beam-shaping optical system 15 of the transmitting unit 10 can be used, for example, as
  • Reflector or lens optics may be formed.
  • optical elements can also be dispensed with both on the receiving side and on the transmitting side.
  • the measurement principle of this arrangement is essentially based on the fact that, based on the phase shift of the emitted and received light, the transit time and thus the distance covered by the received light can be determined.
  • the light source 12 and the light transit time sensor 22 via a modulator 30 together with a certain modulation signal Mo with a base phase position ⁇ acted upon.
  • a phase shifter 35 is further provided between the modulator 30 and the light source 12, with which the base phase ⁇ of
  • Modulation signal Mo of the light source 12 can be shifted by defined phase positions (p va r.)
  • the light source 12 transmits
  • this signal S pl or the electromagnetic radiation is reflected by an object 40 and strikes due to the traveled distance 2 d or
  • the illumination source or light source 12 are preferably infrared light emitting diodes or surface emitter (VCSEL).
  • VCSEL surface emitter
  • other radiation sources in other frequency ranges are conceivable, in particular, light sources in the visible frequency range are also considered.
  • the basic principle of the phase measurement is shown schematically by way of example in FIG.
  • the upper curve shows the time course of the modulation signal Mo with the lighting 12 and the light-time sensor 22 are driven.
  • the reflected light from the object 40 hits as received signal S p2 according to its light transit time tL out of phase ⁇ ( ⁇ ) on the light runtime sensor 22.
  • the light transit time sensor 22 collects the photonically generated charges q over several modulation periods in the phase position of the modulation signal Mo in a first integration node Ga and in a shifted by 180 ° phase position in a second integration node Gb. For this steering of the charges on the
  • Integration nodes have the pixels 23 of the light transit time sensor 22 at least two
  • Modulation gates yarn, Gbm on which steer the charges to the first or second integration node Ga, Gb depending on the applied modulation signals.
  • FIG. 3 schematically shows a structure for determining a point spreading function PSF.
  • the light source 112 and the light-transit time sensor 22 can be operated unmodulated or with at least one predetermined modulation frequency.
  • the light transit time sensor 22 or the pixels 23 are operated unmodulated.
  • a constant voltage is applied to the modulation gates Yarn, Gbm of the pixels 23 in such a way that the photogenerated charges are primarily collected only in an integration node Ga, Gb.
  • the light source 112 illuminates substantially only a single pixel 23, preferably less than 3 ⁇ 3 and in particular less than 5 ⁇ 5 pixels 23 of the light-time sensor 22.
  • a diaphragm 150 with a sufficiently small diaphragm opening 152 is provided in front of the light source 112.
  • the originating from the aperture 150 original light signal I 0 is influenced by a variety of influences on the way to the sensor up to the detected image signal I (x), for example by properties of the optical system or optics 25 or reflections between sensor 22 and Optics 25. Also intrinsic properties of the sensor 22 itself play a role, such as a signal crosstalk or a
  • the image signal I (x) detected at the sensor can be detected as a convolution between the incoming light I 0 and a light source
  • Point spread PSF which is essentially all the properties of the overall system includes, be considered. Due to the singular illumination of one or a few fewer pixels, the detected image signal I (x) essentially corresponds to the point spreading function PSF. For the determination of the point spreading function, preferably all pixels are evaluated. In principle, however, it is also conceivable to evaluate only a partial area around the singularly illuminated pixel.
  • the quality of the point spreading function PSF can be improved if necessary, if several point spreading functions are determined on the basis of a plurality of singularly illuminated pixels 23. For example, it makes sense to also illuminate pixels 23 outside the optical axis in order to determine further point spread functions at these positions. On the basis of the determined point spread functions, a point spread function can then be determined which is to be used for the later corrections.
  • the mentioned electron diffusion typically occurs at a diffusion rate that is significantly lower than the propagation of light, the electrons reach adjacent pixels with a time delay, so that the influence of electron diffusion also manifests itself as a phase shift.
  • the point spread PSF thus also receives complex valued shares. For more accurate determination of these variables, it is therefore advantageous to operate the light source 1 12 in different phase angles.
  • Point light source 1 12 with different intensities and / or to operate the sensor 22 with different integration times.
  • a model of a point spread function can be generated, which is applicable to all pixels 23.
  • Such a model may be generated according to the following considerations: Since the measured PSF is noisy and may contain, for example, artifacts that are very specific to the pixel position on the sensor, a "clean" PSF is obtained, for example, by fitting the measured PSF to a suitable one Model are suitable as a model, for example
  • a (x) A 0 exp (-s (
  • x denotes the distance vector from the central pixel 0 of the PSF in pixels
  • a locally narrow function B (r) that reflects that fraction.
  • This can e.g. a Dirac delta, or a Gaussian function describing, for example, the lens blurring.
  • the PSF in the form of a spline curve, for example.
  • the spline may, for example, have a complex-valued component in addition to the real part. This also makes the PSF complex. Suitable fitting parameters are then, for example, the values at the nodes of the splines, the norm parameters p and p B , as well as parameters that specify the shape of ⁇ (r). Instead of storing the entire PSF, it is advantageous to save only the necessary parameters to generate the PSF from these parameters when the software is initialized.
  • a first image I k () with a short exposure time t k is preferably recorded.
  • the exposure time should be chosen so that none of the pixels is in saturation. In the case where modulated light is used, no pixel of the obtained raw images may be saturated.
  • a second image / j () with long exposure time t is recorded.
  • the exposure time should be selected so that the proportion of PSF caused by scattered light and / or cross talk / signal crosstalk is as completely visible as possible, that is not is affected by noise.
  • the exposure time here is typically 1000-10000 times greater than in the first image.
  • the light source and sensor can be modulated in the usual way.
  • the images I k (x) and Ii (x) are complex as usual, thus containing phase information reflecting the time from the emission of the light to the collection of the generated electrons at the gates of the sensor.
  • the exact position of the illuminated central pixel x 0 is still unknown.
  • the first image I k (x) is binarized, for example, by means of a threshold method, which should result in the bright LED spot in a contiguous area.
  • the center of the contiguous surface is a good estimate of the central pixel x 0 on the sensor to which the light source is directed.
  • This central point x 0 does not necessarily have to fall to the center of a pixel, ie the position found for the central point x 0 does not have to be an integer.
  • Equation (4) fits the image to the model of the scattered light signature, A (x) in equation (1):
  • a (r) A 0 exp (-s (
  • the function ⁇ ( ⁇ ) describes a Phase retardation of the incident light spot, such as may be caused by phase crosstalk / signal cross-talk between the pixels, since this is not necessarily isotropic, it may be necessary to use ⁇ ( ⁇ ) as a two-dimensional function (eg a 2D spline or a 2D spline). Look-up-table), rather than for s (r) one
  • the fit parameters P A in this case are A 0 , p A , as well as the function values of the splines at the nodes. If necessary, the location of the nodes can also be part of the fit parameter P A.
  • P A and P B as well as the PSF model, for example according to equation (1), it is now possible to generate an artifact-free and non-noisy PSF. Instead of storing the complete PSF, it is advantageous to store only these or other suitable parameters from which the PSF can be generated when the software is initialized.
  • the sub-models A 1 (x), A 2 (x), ... may be different, for example
  • the calibration has been described with reference to a point light source with aperture as the light source or light source system.
  • the calibration is not limited to such a light source, but all light sources or light systems are considered, which can generate a suitable light spot.
  • Figures 4 to 9 show further methods for determining a suitable
  • Point spreading function PSF Point spreading function PSF.
  • a first 3D image Ii (x) of a reference scene and a second 3D image I 2 (x) with an object 40 in the foreground of the reference scene are acquired.
  • a change in the distance values known from the first 3D image Ii (x) is to be expected due to systemic influences.
  • parameters of a first model PSF are then varied until differences between the first and second image, in particular distance errors, are minimal or smaller than a tolerated limit value.
  • a tolerated limit value preferably only the image areas or a subregion thereof are taken into account, in which the reference scene is visible in both images.
  • a first 3D image Ii (x) of a reference scene is acquired (FIG. 5).
  • a reference scene for example, a wall or a floor can be detected in a simple manner, but in principle any scenes with an arbitrary height profile can also be detected.
  • an object is created arranged above the reference scene, for example a hand or another object, and a second distance image I 2 (x) detected. Again, the properties of the object are essentially uncritical.
  • a correction PSF can then be generated on the basis of the difference between the two images.
  • FIG. 7 shows a variant in which the reference scene and the object are arranged flat and plane-parallel to each other.
  • a target instead of two images, it is possible to capture only one image of a target at a sufficient distance from a flat reference scene (e.g., wall, table, floor).
  • a flat reference scene e.g., wall, table, floor.
  • the parameters are now varied until the reference surface behind the target is as flat as possible, or the deviations of the corrected reference surface from one plane are smaller than a tolerated limit.
  • Figures 8 and 9 show a further variant of the above procedure.
  • the object 40 shown in FIG. 8 has a step defined in height.
  • the height Ad dT2 - you are preferably already known.
  • the parameters of a PSF model are varied until the distance error is minimal or below a tolerated limit.
  • the unfolding is performed in Fourier space.
  • Equation 4 Equation 4 becomes:
  • This correction can e.g. be scaled down for performance reasons before the Fourier transformation or reduced in the resolution and after
  • Stray light correction can be scaled up again to the original resolution.
  • the correction thus obtained can then be added to the acquired image 7 (x) to obtain the corrected image 7 0 (x).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Lichtlaufzeitkamera (20) für ein Lichtlaufzeitkamerasystem (1), mit einem Lichtlaufzeitsensor (22) mit mehreren Lichtlichtlaufzeitpixeln (23) zur Ermittlung einer Phasenverschiebung eines ausgesendeten und empfangenen Lichts (Sp2), wobei ausgehend von den erfassten Phasenverschiebungen (Δφ) Entfernungswerte (d) ermittelt werden, dadurch gekennzeichnet, dass die Lichtlaufzeitkamera (20) einen Speicher aufweist, in dem Parameter einer die Lichtlaufzeitkamera (20) und Lichtlaufzeitsensor (22) charakterisierende Punktspreizfunktion (PSF) abgelegt ist, mit einer Auswerteeinheit, die derart ausgestaltet ist, dass anhand der abgelegten Punktspreizfunktion (PSF) ein erfasstes komplexwertiges Bild (I(x)) im Fourierraum entfaltet und ein Streulicht korrigiertes komplexwertiges Bild (I0(x)) ermittelt wird, und dass die Ermittlung der Phasenverschiebungen (Δφ) bzw. Entfernungswerte (d) anhand des korrigiertes komplexwertiges Bilds (I0(x)) erfolgt.

Description

Lichtlaufzeitkamera
Die Erfindung befasst mit einer Lichtlaufzeitkamera und einem Verfahren zur Erfassung einer Punktspreizfunktion zur Korrektur der ermittelten Signale eines Lichtlaufzeitsensors.
Lichtlaufzeitkamera bzw. Lichtlaufzeitkamerasysteme betreffen insbesondere alle
Lichtlaufzeit- bzw. 3D-TOF-Kamerasysteme, die eine Laufzeitinformation aus der
Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als
Lichtlaufzeit- bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit
Photomischdetektoren (PMD) geeignet, wie sie beispielsweise in der DE 197 04 496 C2 beschrieben und von der Firma 'ifm electronic GmbH' oder 'pmdtechnologies ag' als Frame- Grabber 03D bzw. als CamCube zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine fiexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
Aufgabe der Erfindung ist es, die Kompensation von Phasenfehlern weiter zu verbessern.
Die Aufgabe wird in vorteilhafter Weise durch das erfindungsgemäße
Lichtlaufzeitkamerasystem nach Gattung der unabhängigen Ansprüche gelöst.
Besonders vorteilhaft ist eine Lichtlaufzeitkamera für ein Lichtlaufzeitkamerasystem, mit einem Lichtlaufzeitsensor mit mehreren Lichtlichtlaufzeitpixeln zur Ermittlung einer Phasenverschiebung eines ausgesendeten und empfangenen Lichts vorgesehen,
wobei ausgehend von den erfassten Phasenverschiebungen Entfernungswerte ermittelt werden,
wobei die Lichtlaufzeitkamera einen Speicher aufweist, in dem zumindest Parameter einer Punktspreizfunktion abgelegt sind,
wobei die Punktspreizfunktion ein Streulichtverhalten und ein Signalübersprechen der
Lichtlaufzeitkamera und des Lichtlaufzeitsensors berücksichtigt,
mit einer Auswerteeinheit, die derart ausgestaltet ist, dass anhand der abgelegten
Punktspreizfunktion ein erfasstes Bild (I(x)) entfaltet und ein korrigiertes Bild (Io(x)) ermittelt wird,
und wobei die Ermittlung der Phasenverschiebungen bzw. Entfernungswerte anhand des korrigiertes Bilds (Io(x)) erfolgt.
Dieses Vorgehen hat den Vorteil, dass im laufenden Betrieb Entfernungswerte anhand einer bereits hinterlegten Punktspreizfunktion korrigiert werden können. Vorzugsweise ist die Punktspreizfunktion komplexwertig.
Nützlich ist es ferner, wenn die Entfaltung des erfassten Bilds und der abgelegten
Punktspreizfunktion im Fourierraum erfolgt.
In einer weiteren Ausgestaltung ist es vorgesehen, dass das erfasste Bild in der Auflösung reduziert und eine Korrektur mit dieser reduzierten Auflösung ermittelt wird, hiernach wird die Korrektur auf die ursprüngliche Auflösung des erfassten Bilds hochskaliert und das erfasste Bild mit der hochskalierten Korrektur korrigiert.
Hierdurch kann der Rechenaufwand für die Korrekturen deutlich verringert werden.
Ferner ist es vorgesehen, die Reduzierung der Auflösung durch Mittelwertbildung von Amplituden benachbarter Pixel und die Hochskalierung durch Duplizierung der Amplituden durchzuführen.
Vorzugsweise ist die Punktspreizfunktion als Matrix oder Lookup-Table und/oder als Fouriertransformierte im Speicher abgelegt ist.
Besonders nützlich ist es, wenn die im Speicher abgelegte Punktspreizfunktion nach einem der nachfolgenden Verfahren ermittelt wird.
Bevorzugt ist ein Verfahren zu Ermittlung einer Punktspreizfunktion vorgesehen, bei dem eine Punktlichtquelle und eine Lichtlaufzeitkamera derart angeordnet werden, dass ein Lichtlaufzeitsensor der Lichtlaufzeitkamera die Punktlichtquelle erfasst, wobei ein Abstand zwischen der Punktlichtquelle und der der Lichtlaufzeitkamera und/oder ein Strahlprofil der Punktlichtquelle derart gewählt sind, dass auf dem Lichtlaufzeitsensor jeweils weniger als 5 Lichtlaufzeitpixel in einer Pixelzeile bzw. - spalte bzw. maximal 16x16
Pixel beleuchtet werden,
wobei die Punktspreizfunktion zumindest anhand einer Teilmenge der Lichtlaufzeitpixel des Lichtlaufzeitsensors ermittelt wird.
Dieses Vorgehen hat den Vorteil, dass für die Ermittlung eine Punktspreizfunktion die Lichtquelle in bestimmten Grenzen einfach aufgebaut werden kann.
In einer Ausgestaltung ist es vorgesehen, die Punktlichtquelle unmoduliert zu betreiben.
Hierbei werden die Modulationsgates der Lichtlaufzeitpixel des Lichtlaufzeitsensors derart angesteuert werden, dass Ladungsträger im Lichtlaufzeitpixel vornehmlich nur an einem Integrationsknoten akkumuliert werden. Durch dieses Vorgehen wird sichergestellt, dass die generierten Photoelektronen vorzugsweise an einen Integrationsknoten gesammelt werden.
In einer weiteren Ausgestaltung ist es vorgesehen, die Punktlichtquelle und den
Lichtlaufzeitsensor phasensynchron mit einem Modulationssignal anzusteuern,
und Sensor differenzsignale zu wenigstens drei verschiedenen Phasenlagen zu ermitteln.
Besonders nützlich ist es, dass für die Ermittlung der Punktspreizfunktion wenigstens zwei Aufnahmeframes mit unterschiedlichen Integrationszeiten des Lichtlaufzeitsensors und/oder unterschiedlichen Lichtintensitäten der Punktlichtquelle durchgeführt werden.
In einer weiteren Ausgestaltung ist ein Verfahren zur Ermittlung einer Punktspreizfunktion für eine Lichtlaufzeitkamera eines Lichtlaufzeitkamerasystems vorgesehen,
bei dem mit Hilfe der Lichtlaufzeitkamera ein erstes 3D-Bild Ii(x) einer Referenzszene und ein zweites 3D-Bild I2(x) mit einem Objekt im Vordergrund der Referenzszene erfasst wird, wobei das zweite 3D-Bild I2(x) oder zumindest einen Teilbereich des zweiten 3D-Bilds I2(x) mit Hilfe einer Punktspreizfunktion korrigiert wird,
und ausgehend von einem Unterschied zwischen dem ersten und dem korrigierten zweiten 3D-Bild I'2(x) Parameter der Punktspreizfunktion solange verändert werden, bis der
Unterschied zwischen beiden Bildern (Ii(x), I'2(x)) zumindest in den ausgewählten
Teilbereichen minimal ist und/oder einen Grenzwert unterschreitet,
die sich so ergebende Punktspreizfunktion kann als Korrektur-Punktspreizfunktion weiter verwendet werden.
Ebenso kann ein Verfahren zur Ermittlung einer Punktspreizfunktion für eine
Lichtlaufzeitkamera eines Lichtlaufzeitkamerasystems vorgesehen sein, bei dem mit Hilfe der Lichtlaufzeitkamera ein einzelnes Bild I(x) einer Referenzszene mit einem Objekt im
Vordergrund erfasst wird,
mit der Voraussetzung, dass die Referenzszene als ebene Fläche ausgebildet ist,
wobei das einzelne Bild I(x) mit Hilfe einer ersten Punktspreizfunktion korrigiert wird, wobei zur Ermittlung einer Korrektur-Punktspreizfunktion Parameter der ersten
Punktspreizfunktion solange verändert werden, bis ein Unterschied zwischen dem korrigierten Bild F(x) und einem zu erwarteten Bild I0(x) minimal ist und/oder einen Grenzwert unterschreitet.
In einer weiteren Ausgestaltung ist ein Verfahren zur Ermittlung einer Punktspreizfunktion für eine Lichtlaufzeitkamera eines Lichtlaufzeitkamerasystems vorgesehen, bei dem mit Hilfe der Lichtlaufzeitkamera ein 3D-Bild IT(X) einer Stufe eines Referenzobjekts erfasst wird,
wobei das Referenzobjekt eine Stufe definierter Höhe aufweist und die Flächen der Stufe eben ausgebildet und planparallel zueinander angeordnet sind,
und das Referenzobjekt in Relation zur Lichtlaufzeitkamera so angeordnet ist, dass an der Kante der Stufe ein Entfernungssprung zur entfernteren Stufenebene erfolgt,
das erfasste 3D-Bild IT(X) wird zunächst mit Hilfe einer ersten modellhaften
Punktspreizfunktion korrigiert,
liegen die Distanzwerte d des so korrigierten 3D-Bildes Γτ(χ) außerhalb eines maximal tolerierten Distanzfehlers, werden Parameter der modellhaften Punktspreizfunktion solange verändert, bis die Distanzwerte d des korrigierten 3D-Bildes Γτ(χ) minimal sind oder/und unterhalb eines tolerierten Distanzfehlers liegen,
die sich so ergebende Punktspreizfunktion kann als Korrektur-Punktspreizfunktion weiter verwendet werden.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
Es zeigen:
Figur 1 schematisch ein Lichtlaufzeitkamerasystem,
Figur 2 eine modulierte Integration erzeugter Ladungsträger,
Figur 3 ein Aufbau zur Ermittlung einer Punktspreizfunktion,
Figur 4 einen Querschnitt von Bildern zu Ermittlung einer Punktspreizfunktion
Figur 5 eine Erfassung einer Referenzszene,
Figur 6 eine Erfassung eines Objekts vor der Referenzszene,
Figur 7 gemessene Distanzwerte nach Fig. 6 in Relation zu den tatsächlichen Distanzen, Figur 8 eine Erfassung von zwei Referenzflächen mit unterschiedlichem Abstand,
Figur 9 gemessene Distanzwerte nach Fig. 8 in Relation zu den tatsächlichen Distanzen, Figur 10 einen möglichen schematischen Ablauf der Streulichtkorrektur im Sinne der Erfindung.
Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
Figur 1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer
Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 AI bekannt ist. Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem
Lichtlaufzeitsensor 22.
Der Lichtlaufzeitsensor 22 weist mindestens ein Laufzeitpixel, vorzugsweise auch ein Pixel- Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als
Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann ggf. auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Licht laufzeitsensor 22 über einen Modulator 30 gemeinsam mit einem bestimmten Modulationssignal Mo mit einer Basisphasenlage φο beaufschlagt. Im dargestellten Beispiel ist ferner zwischen dem Modulator 30 und der Lichtquelle 12 ein Phasenschieber 35 vorgesehen, mit dem die Basisphase φο des
Modulationssignals Mo der Lichtquelle 12 um definierte Phasenlagen (pvar verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von (pvar = 0°, 90°, 180°, 270° verwendet.
Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein
intensitätsmoduliertes Signal Spl mit der ersten Phasenlage pl bzw. pl = φο + ( var aus.
Dieses Signal Spl bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke 2d, bzw. der
Lichtlaufzeit t phasenverschoben Δφ(^) mit einer zweiten Phasenlage p2 = φο + ( Var + A( (tL > als Empfangssignal Sp2 auf den Lichtlaufzeitsensor 22. Im Licht laufzeitsensor 22 wird das Modulationssignal Mo mit dem empfangenen Signal Sp2 gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.
Als Beleuchtungsquelle bzw. Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden oder Oberflächenemitter (VCSEL). Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbereichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht. Das Grundprinzip der Phasenmessung ist beispielhaft schematisch in Figur 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals Mo mit der die Beleuchtung 12 und der Licht laufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht trifft als Empfangssignal Sp2 entsprechend seiner Lichtlaufzeit tL phasenverschoben Δφ(^) auf den Licht laufzeitsensor 22. Der Licht laufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q über mehrere Modulationsperioden in der Phasenlage des Modulationssignals Mo in einem ersten Integrationsknoten Ga und in einer um 180° verschobenen Phasenlage in einem zweiten Integrationsknoten Gb. Für diese Lenkung der Ladungen auf die
Integrationsknoten weisen die Pixel 23 des Lichtlaufzeitsensors 22 wenigstens zwei
Modulationsgates Garn, Gbm auf, die in Abhängigkeit der anliegenden Modulationssignale die Ladungen zum ersten oder zweiten Integrationsknoten Ga, Gb lenken. Aus dem
Unterschied der im ersten und zweiten Integrationsknoten Ga, Gb gesammelten Ladungen qa, qb unter Berücksichtigung aller Phasenlagen (pvar lässt sich die Phasenverschiebung Δφ(^) und somit eine Entfernung d des Objekts bestimmen.
Figur 3 zeigt schematisch einen Aufbau zur Ermittlung einer Punktspreizfunktion PSF. Hier kann die Lichtquelle 112 und der Licht laufzeitsensor 22 unmoduliert oder mit wenigstens einer vorgegebenen Modulationsfrequenz betrieben werden. Bei der Verwendung eines unmodulierten Lichts ist es von Vorteil, wenn auch der Lichtlaufzeitsensor 22 bzw. die Pixel 23 unmoduliert betrieben werden. Hierbei ist es hilfreich, wenn an den Modulationsgates Garn, Gbm der Pixel 23 eine konstante Spannung derart anliegt, dass die photogenerierten Ladungen vornehmlich nur in einem Integrationsknoten Ga, Gb gesammelt werden.
Zur Bestimmung der PSF ist es günstig, wenn die Lichtquelle 112 im Wesentlichen nur ein einziges Pixel 23 vorzugsweise weniger als 3x3 und insbesondere weniger als 5x5 Pixel 23 des Licht laufzeitsensors 22 beleuchtet. Zur Bereitstellung eines solchen Lichtpunkts ist vor der Lichtquelle 112 eine Blende 150 mit einer hinreichend kleinen Blendenöffnung 152 vorgesehen. Das aus der Blende 150 austretende originäre Lichtsignal I0 wird durch eine Vielzahl von Einflüssen auf dem Weg zum Sensor bis hin zum erfassten Bildsignal I(x) beeinflusst, beispielsweise durch Eigenschaften des optischen System bzw. der Optik 25 oder Reflektionen zwischen Sensor 22 und der Optik 25. Auch spielen intrinsische Eigenschaften des Sensors 22 selbst eine Rolle, wie zum Beispiel ein Signalübersprechen oder eine
Elektronendiffusion zwischen den Pixeln 23. Im Ergebnis kann das am Sensor erfasste Bildsignal I(x) als Faltung zwischen dem einkommenden Licht I0 und einer
Punktspreizfunktion PSF, die im Wesentlichen alle Eigenschaften des Gesamtsystems umfasst, betrachtet werden. Aufgrund der singulären Beleuchtung eines oder ein paar weniger Pixel entspricht das erfasste Bildsignal I(x) im Wesentlichen der Punktspreizfunktion PSF. Für die Ermittlung der Punktspreizfunktion werden vorzugsweise alle Pixel ausgewertet. Grundsätzlich ist es jedoch auch denkbar, nur einen Teilbereich um das singulär beleuchtete Pixel auszuwerten.
Die Qualität der Punktspreizfunktion PSF lässt sich bei Bedarf verbessern, wenn mehrere Punktspreizfunktionen anhand mehrerer singulär beleuchteter Pixel 23 ermittelt werden. Beispielsweise ist es sinnvoll, auch Pixel 23 außerhalb der optischen Achse zu beleuchten um an diesen Positionen weitere Punktspreizfunktionen zu ermitteln. Ausgehend von den ermittelten Punktspreizfunktionen kann dann eine Punktspreizfunktion ermittelt werden, die für die späteren Korrekturen herangezogen werden soll.
Da die erwähnte Elektronendiffusion typischerweise mit einer Diffusionsgeschwindigkeit erfolgt, die signifikant geringer ist als die Lichtausbreitung, erreichen die Elektronen benachbarte Pixel zeitverzögert, so dass sich der Einfluss der Elektronendiffusion auch als Phasenverschiebung bemerkbar macht. Die Punktspreizfunktion PSF erhält somit auch komplexwertige Anteile. Zur genaueren Bestimmung dieser Größen ist es daher von Vorteil, die Lichtquelle 1 12 in verschiedenen Phasenlagen zu betreiben.
Da eine Punktspreizfunktion typischerweise eine hohe Dynamik über mehrere
Zehnerpotenzen aufweist, ist es zur Erfassung der PSF ferner von Vorteil, die
Punktlichtquelle 1 12 mit unterschiedlichen Intensitäten und/oder den Sensor 22 mit unterschiedlichen Integrationszeiten zu betreiben.
Zur Kompensation von Dunkelströmen ist es hilfreich, Bildsignale I(x) sowohl bei ein- und ausgeschalteter Lichtquelle 1 12 zu erfassen.
Aus der Summe aller Messungen kann dann ein Modell einer Punktspreizfunktion generiert werden, das für alle Pixel 23 anwendbar ist.
Ein solches Modell kann entsprechend folgender Überlegungen generiert werden: Da die gemessene PSF rauschbehaftet ist und beispielsweise Artefakte enthalten kann, die sehr spezifisch für die Pixelposition auf dem Sensor sind, erhält man eine„saubere" PSF beispielsweise durch einen Fit der gemessenen PSF an ein geeignetes Modell. Als Modell eignen sich z.B.
PSF( ) = A(x + B (\\x \\PB ) (1) wobei beispielsweise
A(x) = A0 exp(-s(|| ||p)) (2) gewählt werden kann.
Hierbei bezeichnet x den Entfernungsvektor vom Zentralpixel 0der PSF in Pixeln und
Figure imgf000010_0001
die p-Norm von x. p = 2 ergäbe z.B. eine exakt radialsymmetrische PSF. Da die PSF nicht unbedingt radialsymmetrisch ist, sondern z.B. rautenförmig sein kann, kann p 2 bessere Ergebnisse liefern. Durch geeignete Wahl der p-Norm können somit Anisotropien der PSF berücksichtigt werden.
Da das meiste Licht auf den Zentralpixel der PSF fällt, ist es hilfreich, dem Modell eine örtlich schmale Funktion B (r) hinzuzufügen, die diesen Anteil wiederspiegelt. Dies kann z.B. ein Dirac-Delta, oder eine Gauß-Funktion sein, die beispielsweise die Linsenunschärfe beschreibt.
Aus Effizienzgründen ist es von Vorteil, die PSF beispielsweise in Form einer Spline-Kurve zu beschreiben. Um Phasenverschiebungen mit dieser PSF zu beschreiben, kann der Spline beispielsweise neben dem Realteil auch einen komplexwertigen Anteil haben. Dadurch wird auch die PSF komplexwertig. Geeignete Fitting-Parameter sind dann beispielsweise die Werte an den Knoten der Splines, die Norm-Parameter p und pB , sowie Parameter, die die Form von ß(r) angeben. Anstatt die komplette PSF abzuspeichern, ist es von Vorteil, lediglich die nötigen Parameter abzuspeichern, um bei der Initialisierung der Software die PSF aus diesen Parametern zu generieren.
Im laufenden Betrieb der Lichtlaufzeitkamera besteht dann die Möglichkeit anhand der hinterlegten Parameter und der daraus genierten PSF die Distanzwerte hinsichtlich
Streulichteinflüsse zu bereinigen.
Mit Hilfe des beschriebenen Aufbaus wird vorzugsweise ein erstes Bild Ik ( ) mit kurzer Belichtungszeit tk aufgenommen. Konkret ist die Belichtungszeit so zu wählen, dass keiner der Pixel in Sättigung ist. Für den Fall, dass moduliertes Licht verwendet wird, darf kein Pixel der erhaltenen Rohbilder gesättigt sein.
Außerdem wird ein zweites Bild /j ( ) mit langer Belichtungszeit t aufgenommen. Hier ist die Belichtungszeit so zu wählen, dass der von Streulicht und/oder cross- talk/Signalübersprechen verursachte Anteil der PSF möglichst vollständig sichtbar, also nicht von Rauschen beeinträchtigt ist. Die Belichtungszeit ist hier typischerweise 1000-10000 mal größer als im ersten Bild.
Bei den Aufnahmen kann entweder unmoduliertes Licht verwendet werden oder Lichtquelle und Sensor können auf übliche Weise moduliert werden. In letzterem Fall sind die Bilder Ik (x) und Ii (x) wie üblich komplexwertig, enthalten also Phaseninformationen, die die Zeit vom Aussenden des Lichts bis zum Aufnehmen der erzeugten Elektronen an den Gates des Sensors wiederspiegelt.
Für beide Bilder kann es hilfreich sein, anstatt eines Bildes eine Serie von Bildern
aufzunehmen und diese zu mittein, um das Rauschen weiter zu reduzieren.
Um konsistente Werte zwischen dem ersten und zweiten Bild zu erlangen, werden
beispielsweise die Helligkeiten (oder Amplituden) mit den unterschiedlichen
Integrationszeiten normiert:
/i (x) = /i (x)/tj
Figure imgf000011_0001
Auf den erhaltenen Bildern ist i.A. die genaue Position des beleuchteten Zentralpixels x0 noch unbekannt. Um die Position des Zentralpixels x0 zu bestimmen, wird das erste Bild Ik (x) beispielsweise mit Hilfe eines Schwellwertverfahrens binarisiert, wodurch der helle LED- Spot in einer zusammenhängenden Fläche resultieren sollte.
Das Zentrum der zusammenhängenden Fläche, ist eine gute Schätzung für das Zentralpixel bzw. den Zentralpunkt x0 auf dem Sensor, auf den die Lichtquelle gerichtet ist. Dieser Zentralpunkt x0 muss nicht notwendigerweise auf die Mitte eines Pixels fallen, d.h. die gefundene Position für den Zentralpunkt x0 muss nicht ganzzahlig sein.
Nun wird das Bild lk (x) der kurzen Belichtung an das Modell eines scharfen Spots gefittet. Ein solches Modell ist beispielsweise in Gleichung (1) mit ß (||x ||p) bezeichnet. Konkret wird hierbei
Figure imgf000011_0002
bestimmt, wobei PB die Parameter der Funktion B (r) und pB der Parameter der Norm sind. Beispielsweise könnte ß (r) = B0 exp (— br2) gewählt werden, wobei dann PB = (B0, b) würde.
Für die numerische Minimierung gemäß Gleichung (4) gibt es zahlreiche Algorithmen, wie z.B. das Nelder-Mead- Verfahren.
Zusätzlich zu PB und pB kann es auch bessere Ergebnisse liefern, in Gleichung (4) das Zentrum x0 der Lichtquelle mit in die Optimierung aufzunehmen. Dann würde der zuvor gefundene Wert aus dem binarisierten Bild sich als Startwert eignen.
Nun wird das zweite Bild Ii ( ) mit der langen Belichtungszeit betrachtet. Analog zu
Gleichung (4) wird das Bild an das Modell der Streulichtsignatur, A(x) in Gleichung (1), gefittet:
Figure imgf000012_0001
Bei Bedarf kann der zentrale Anteil der PSF, der durch ß (r) beschrieben wird
unberücksichtigt bleiben.
Analog zum ersten Fit sind hier PA die Parameter der Modellfunktion A(r) . Als
zweckdienlich erweist sich z.B. eine Funktion der Form:
A(r) = A0 exp (-s(||r||p + iO(r)) (6) wobei s(r) und eine (reelle) Spline-Kurve darstellt. Die Funktion Φ(Γ) beschreibt eine Phasenverzögerung des einfallenden Lichtspots, wie sie beispielsweise durch Phase- Crosstalk/Signalübersprechen zwischen den Pixel verursacht werden kann. Da dieser nicht zwingend isotrop ist, kann es nötig sein, Φ(Γ) als zweidimensionale Funktion (z.B. einen 2D- Spline oder eine 2D-Look-up-Table) zu modellieren, anstatt wie für s(r) eine
radialsymmetrische Funktion anzunehmen.
Die Fit-Parameter PA sind in diesem Fall A0, pA, sowie die Funktionswerte der Splines an den Knotenpunkten. Nach Bedarf kann die Lage der Knotenpunkte ebenfalls Teil der Fit- Parameter PA sein. Mit den erhaltenen Parametern PA und PB , sowie dem PSF-Modell beispielsweise nach Gleichung (1) ist es nun möglich, eine artefaktfreie und nicht rauschbehaftete PSF zu generieren. Anstatt die komplette PSF abzuspeichern, ist es von Vorteil, lediglich diese oder andere geeignete Parameter abzuspeichern, aus denen bei der Initialisierung der Software die PSF generiert werden kann.
Bevorzugt ist es vorgesehen, die mit unterschiedlichen Belichtungszeiten erfassten
Aufnahmen getrennt voneinander zu bearbeiten:
PSF( ) = A (x + A2 {x) + ·· · (7)
Die Teil-Modelle A1 (x), A2 (x), ... können beispielsweise unterschiedlichen
Dynamikbereichen der PSF entsprechen und jeweils getrennt voneinander an Aufnahmen
/2 ( ),■■■ gefittet werden. Ausgehend von diesen Fit-Parameter kann dann die PSF gemäß Gleichung (7) zusammengefasst werden.
Im Vorgenannten wurde die Kalibrierung anhand einer Punktlichtquelle mit Blende als Lichtquelle bzw. Lichtquellensystem beschrieben. Selbstverständlich ist die Kalibrierung nicht auf eine solche Lichtquelle eingeschränkt, sondern es kommen alle Lichtquellen oder Lichtsysteme in Betracht, die einen geeigneten Lichtpunkt erzeugen können.
Figuren 4 bis 9 zeigen weitere Methoden zur Bestimmung einer geeigneten
Punktspreizfunktion PSF. In der Methode gemäß Figur 4 werden ein erstes 3D-Bild Ii(x) einer Referenzszene und ein zweites 3D-Bild I2(x) mit einem Objekt 40 im Vordergrund der Referenzszene erfasst. Wie bereits besprochen ist aufgrund systemischer Einflüsse eine Veränderung der aus dem ersten 3D-Bild Ii(x) bekannten Distanzwerte zu erwarten. Zur Ermittlung einer für die Korrektur geeigneten Punktspreizfunktion werden dann Parameter einer ersten modellhaften PSF solange variiert, bis Unterschiede zwischen dem ersten und zweiten Bild, insbesondere Distanzfehler minimal sind bzw. kleiner sind als ein tolerierter Grenzwert. Hierbei werden vorzugsweise nur die Bildbereiche oder ein Teilbereich davon berücksichtigt, bei denen die Referenzszene in beiden Bildern sichtbar ist.
Die Bilder können beispielsweise wie in Figur 5 und 6 gezeigt aufgenommen werden. In einem ersten Schritt wird ein erstes 3D-Bild Ii(x) einer Referenzszene erfasst (Figur 5). Als Referenzszene kann beispielsweise in einfacher Art und Weise eine Wand oder ein Boden erfasst werden, grundsätzlich können kann jedoch auch beliebige Szenen mit einem beliebigen Höhenprofil erfasst werden. Im zweiten Schritt gemäß Figur 6 wird ein Objekt oberhalb der Referenzszene angeordnet, beispielsweise eine Hand oder ein anderes Objekt, und ein zweites Entfernungsbild I2(x) erfasst. Auch hier sind die Eigenschaften des Objekts im Wesentlichen unkritisch. Wie zur Figur 4 beschrieben kann dann anhand der Differenz beider Bilder eine Korrektur-PSF generiert werden.
In Figur 7 ist eine Variante gezeigt, bei der die Referenzszene und das Objekt eben und planparallel zueinander angeordnet sind. Anhand eines solchen Vorwissens, lässt sich die Optimierung der PSF ggf. vereinfachen.
Alternativ ist es beispielsweise möglich, statt zwei Bilder nur ein Bild von einem Target in hinreichender Distanz von einer flachen Referenzszene bzw. -ebene (z.B. Wand, Tisch, Boden) zu erfassen. Zur Bestimmung der PSF werden nun die Parameter solange variiert, bis die Referenzfläche hinter dem Target möglichst eben ist, bzw. die Abweichungen der korrigierten Referenzfläche von einer Ebene kleiner sind, als ein tolerierter Grenzwert.
Besonders vorteilhaft ist es, wenn die Dimensionen und Abstände der Referenzszene und/oder des eingebrachten Targets im Vorfeld bekannt sind.
Figuren 8 und 9 zeigen eine weitere Variante zu dem vorgenannten Vorgehen. Das in Figur 8 dargestellte Objekt 40 weist eine in der Höhe definierte Stufe auf. Die Höhe Ad = dT2 - du ist vorzugsweise vorbekannt. Ebenso wie im vorgenannten Beispiel werden die Parameter eines PSF-Modells solange variiert bis der Distanzfehler minimal wird oder unterhalb eines tolerierten Grenzwertes liegt.
Die vom Sensor gemessenen Rohbilder Dj (z. . j = 0,1,2,3 entsprechend der Phasenlagen 0°, 90°, 180°, 270°) sind, mathematisch gesehen, eine Faltung der unbekannten, nicht Streulichtverfälschten Rohbildern D mit der PSF:
D}(x) = V D°(x - Δχ) · PSF(Ax) (8)
'Δχ
Interessant für die Weiterverarbeitung sind die komplexwertigen Bilder
/(x) == (D0(x) - D2 (x)) + i(D!(x) - D3(x))
Da die Faltung eine lineare Operation ist, gilt analog für /(x) und das nicht- streulichtverfälschte komplexwertige Bild /0(x):
I(x) = V /„(χ - Δχ) · PSF(Ax) (10)
'Δχ bzw. /(x) = /0 (x) * PSF(x) O l)
Die Entfaltung wird im Fourier-Raum durchgeführt. Dazu werden / (x) und die PSF Fouriertransformiert (F [ · ]): / (k) = F[/(x)] und PSF(k) = F[PSF(x)] .
Gleichung 4 wird damit zu:
/(k) = 70(k) · PSF(k) (12) und daher
/(k) (13)
/o(k) =
PSF(k)
Damit erhält man das nicht-streulichtverfälschte Bild
/0 (x) = F-1 [/0(k)] (14)
Ist man an der Korrektur Δ/(χ) := /0 (x)— / (x) interessiert, also dem Unterschied zwischen erfasstem und korrigiertem Bild, lässt sich Gl. (13) wie folgt umstellen:
Figure imgf000015_0001
wobei A/ (k) = F [AI(x)] analog zur obigen Behandlung die Fourier-Transformierte der Korrektur Δ/(χ) ist.
Diese Korrektur kann z.B. aus Performance-Gründen vor der Fourier-Transformation herunterskaliert bzw. in der Auflösung reduziert werden und nach erfolgter
Streulichtkorrektur wieder auf die ursprüngliche Auflösung hochskaliert werden. Die so erhaltene Korrektur kann anschließend zum erfassten Bild 7(x) hinzuaddiert werden, um das korrigierte Bild 70 (x) zu erhalten.
Aufgrund der Datenreduzierung reduziert sich naturgemäß auch der Rechenaufwand. Bezugszeichen
1 Lichtlaufzeitkamerasystem
10 Beleuchtungsmodul
12 Beleuchtung
15 Strahlformungsoptik
20 Empfänger, Lichtlaufzeitkamera
22 Lichtlaufzeitsensor
30 Modulator
35 Phasenschieber, Beleuchtungsphasenschieber
40 Objekt
φ, A( (tL> laufzeitbedingte Phasenverschiebung
( Var Phasenlage
φο Basisphase
Mo Modulationssignal
pl erste Phase
p2 zweite Phase
Spi Sendesignal mit erster Phase
SP2 Empfangssignal mit zweiter Phase tL Lichtlaufzeit
Ga, Gb Integrationsknoten
d Objektdistanz
q Ladung

Claims

Patentansprüche
1. Lichtlaufzeitkamera (20) für ein Lichtlaufzeitkamerasystem (1),
mit einem Lichtlaufzeitsensor (22) mit mehreren Lichtlichtlaufzeitpixeln (23) zur Ermittlung einer Phasenverschiebung eines ausgesendeten und empfangenen Lichts (Sp2),
wobei ausgehend von den erfassten Phasenverschiebungen (Δφ) Entfernungswerte (d) ermittelt werden,
dadurch gekennzeichnet,
dass die Lichtlaufzeitkamera (20) einen Speicher aufweist, in dem zumindest
Parameter einer Punktspreizfunktion (PSF) abgelegt sind,
wobei die Punktspreizfunktion (PSF) ein Streulichtverhalten und ein
Signalübersprechen der Lichtlaufzeitkamera (20) und des Lichtlaufzeitsensors (22) berücksichtigt,
mit einer Auswerteeinheit, die derart ausgestaltet ist, dass anhand der abgelegten Punktspreizfunktion (PSF) ein erfasstes Bild (I(x)) entfaltet und ein korrigiertes Bild (Io(x)) ermittelt wird,
und dass die Ermittlung der Phasenverschiebungen (Δφ) bzw. Entfernungswerte (d) anhand des korrigiertes Bilds (Io(x)) erfolgt.
2. Lichtlaufzeitkamera (20) nach Anspruch 1, bei dem die Punktspreizfunktion (PSF) komplexwertig ist.
3. Lichtlaufzeitkamera (20) nach einem der vorhergehenden Ansprüche, bei dem die Entfaltung des erfassten Bilds (I(x)) und der abgelegten Punktspreizfunktion (PSF) im Fourierraum erfolgt.
4. Lichtlaufzeitkamera (20) nach einem der vorhergehenden Ansprüche, bei dem das erfasste Bild (I(x)) in der Auflösung reduziert und eine Korrektur (ΔΙ(χ)) mit dieser reduzierten Auflösung ermittelt wird, hiernach die Korrektur (ΔΙ(χ)) auf die ursprüngliche Auflösung des erfassten Bilds (I(x)) hochskaliert wird und das erfasste Bild (I(x)) mit der hochskalierten Korrektur (ΔΙ(χ)) korrigiert wird.
5. Lichtlaufzeitkamera (20) nach Anspruch 4, bei dem die Reduzierung der Auflösung durch Mittelwertbildung von Amplituden benachbarter Pixel und die Hochskalierung durch Duplizierung der Amplituden erfolgt.
6. Lichtlaufzeitkamera (20) nach einem der vorhergehenden Ansprüche, bei dem die Punktspreizfunktion (PSF) als Matrix oder Lookup-Table im Speicher abgelegt ist.
7. Lichtlaufzeitkamera (20) nach einem der vorhergehenden Ansprüche, bei dem die Punktspreizfunktion (PSF) als Fouriertransformierte im Speicher abgelegt ist.
8. Lichtlaufzeitkamera (20) nach einem der vorhergehenden Ansprüche, bei dem die Punktspreizfunktion (PSF) auf einem externen Gerät gespeichert ist und die Korrektur der Phasenverschiebungen (Δφ) oder Entfernungswerte (d) auf dem externen Gerät erfolgt.
9. Lichtlaufzeitkamera (20) nach einem der vorhergehenden Ansprüche, bei dem die im Speicher abgelegte Punktspreizfunktion (PSF) nach einem der Verfahren gemäß der Ansprüche 7 bis 12 ermittelt wurde.
10. Verfahren zu Ermittlung einer Punktspreizfunktion,
bei dem eine Punktlichtquelle (112) und eine Lichtlaufzeitkamera (20) derart angeordnet werden,
dass ein Lichtlaufzeitsensor (22) der Lichtlaufzeitkamera (20) die Punktlichtquelle (112) erfasst,
wobei ein Abstand zwischen der Punktlichtquelle (112) und der der
Lichtlaufzeitkamera (20) und/oder ein Strahlprofil der Punktlichtquelle (112) derart gewählt sind, dass auf dem Licht laufzeitsensor (22) jeweils weniger als 5
Lichtlaufzeitpixel (23) in einer Pixelzeile bzw. - spalte bzw. maximal 16x16 Pixel beleuchtet werden,
wobei die Punktspreizfunktion (PSF) zumindest anhand einer Teilmenge der
Lichtlaufzeitpixel (23) des Lichtlaufzeitsensors (22) ermittelt wird.
11. Verfahren nach Anspruch 8, bei dem die Punktlichtquelle unmoduliert betrieben wird.
12. Verfahren nach Anspruch 9, bei dem Modulationsgates (Garn, Gbm) der
Lichtlaufzeitpixel (23) des Lichtlaufzeitsensors (22) derart angesteuert werden, dass Ladungsträger im Lichtlaufzeitpixel (23) vornehmlich nur an einem
Integrationsknoten (Ga, Gb) akkumuliert werden.
13. Verfahren nach Anspruch 8, bei dem die Punktlichtquelle (112) und der
Lichtlaufzeitsensor (22) phasensynchron mit einem Modulationssignal angesteuert werden, und Sensordifferenzsignale zu wenigstens drei verschiedenen Phasenlagen ermittelt werden.
14. Verfahren nach einem der vorhergehenden Verfahrensansprüche, bei dem für die Ermittlung der Punktspreizfunktion wenigstens zwei Aufnahmeframes mit unterschiedlichen Integrationszeiten des Lichtlaufzeitsensors (22) und/oder unterschiedlichen Lichtintensitäten der Punktlichtquelle (112) durchgeführt werden.
PCT/EP2018/058456 2017-04-04 2018-04-03 Lichtlaufzeitkamera WO2018185083A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/500,704 US11525918B2 (en) 2017-04-04 2018-04-03 Time-of-flight camera
CN201880037067.9A CN110709722B (zh) 2017-04-04 2018-04-03 飞行时间摄像机

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017205742 2017-04-04
DE102017205742.4 2017-04-04

Publications (2)

Publication Number Publication Date
WO2018185083A2 true WO2018185083A2 (de) 2018-10-11
WO2018185083A3 WO2018185083A3 (de) 2018-12-27

Family

ID=61899273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/058456 WO2018185083A2 (de) 2017-04-04 2018-04-03 Lichtlaufzeitkamera

Country Status (4)

Country Link
US (1) US11525918B2 (de)
CN (1) CN110709722B (de)
DE (1) DE102018107801A1 (de)
WO (1) WO2018185083A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI690719B (zh) * 2018-11-02 2020-04-11 大陸商光寶電子（廣州）有限公司 誤差校正系統及其方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6912449B2 (ja) * 2018-12-19 2021-08-04 ファナック株式会社 測距装置を有する物体監視システム
CN109781030B (zh) * 2019-01-23 2020-03-03 四川大学 基于点扩散函数估计的相位校正方法及装置
DE102019122891A1 (de) * 2019-08-27 2021-03-04 Basler Ag Multipfad- und Rauschreduktion für Time-of-Flight-Kameras
DE102020123537B4 (de) 2019-09-09 2024-02-22 Ifm Electronic Gmbh Lichtlaufzeitkamerasystem
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
EP3835819A1 (de) 2019-12-10 2021-06-16 Melexis Technologies NV Vorrichtung zur berechnung eines optischen bereichs und verfahren zur berechnung eines optischen bereichs
CN111352120B (zh) * 2020-03-25 2022-09-09 炬佑智能科技(苏州)有限公司 飞行时间测距系统及其测距方法
US12230649B2 (en) 2020-05-19 2025-02-18 Vergence Automation, Inc. AI system on chip (SOC) for robotics vision applications
DE102020123671B4 (de) 2020-09-10 2022-12-22 Ifm Electronic Gmbh Verfahren und Vorrichtung zur Dynamikerweiterung eines Lichtlaufzeitkamerasystems
CN112255643B (zh) * 2020-11-03 2022-09-27 上海炬佑智能科技有限公司 ToF传感装置及其距离检测方法
DE102020215401A1 (de) * 2020-12-07 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Optischer Sensor
RU2770153C1 (ru) * 2021-06-15 2022-04-14 Самсунг Электроникс Ко., Лтд. Способ корректировки ошибки измерения глубины tof-камеры
KR20230009624A (ko) 2021-07-09 2023-01-17 삼성전자주식회사 Tof 영상 처리 방법 및 장치
DE102023123815A1 (de) 2023-09-05 2025-03-06 Valeo Detection Systems GmbH Korrektur eines Messdatensatzes eines Lidarsensorsystems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (de) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2073035A1 (de) * 2007-12-18 2009-06-24 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Aufzeichnung von 3D-Bildern einer Szene
GB2492848A (en) * 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
JP5968318B2 (ja) 2011-07-30 2016-08-10 株式会社日立製作所 バードケージ型高周波コイル及び磁気共鳴イメージング装置
WO2013174613A1 (de) * 2012-05-21 2013-11-28 Ifm Electronic Gmbh Lichtlaufzeitkamerasystem
US9664790B2 (en) * 2012-05-21 2017-05-30 pmdtechnologies ag Time of flight camera system
WO2014095539A1 (de) * 2012-12-17 2014-06-26 Pmdtechnologies Gmbh Lichtlaufzeitkamera mit einer bewegungserkennung
US9426451B2 (en) 2013-03-15 2016-08-23 Digimarc Corporation Cooperative photography
DE102014205585B4 (de) * 2013-03-28 2016-02-25 Pmdtechnologies Gmbh Verfahren zum Betreiben einer Lichtlaufzeitkamera und Lichtlaufzeitkamerasystem
CN109521397B (zh) * 2013-06-13 2023-03-28 巴斯夫欧洲公司 用于光学地检测至少一个对象的检测器
DE102013109020B4 (de) * 2013-08-21 2016-06-09 Pmdtechnologies Gmbh Streulichtreferenzpixel
US10132626B2 (en) * 2013-09-18 2018-11-20 Infineon Technologies Ag Adaptive distance estimation
DE102014214733B3 (de) * 2014-07-28 2015-07-23 Pmd Technologies Gmbh Lichtlaufzeitsensor mit einer Vorrichtung zur Ladungskompensation
US9773155B2 (en) * 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
US10677923B2 (en) * 2014-11-12 2020-06-09 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
US9841496B2 (en) * 2014-11-21 2017-12-12 Microsoft Technology Licensing, Llc Multiple pattern illumination optics for time of flight system
WO2016107635A1 (en) * 2014-12-29 2016-07-07 Metaio Gmbh Method and system for generating at least one image of a real environment
CN105991990A (zh) * 2015-01-23 2016-10-05 江苏南大五维电子科技有限公司 3d信息获取设备、3d信息获取方法、成像设备及电子设备
US9900581B2 (en) * 2015-04-21 2018-02-20 Infineon Technologies Ag Parametric online calibration and compensation in ToF imaging
US9792673B2 (en) 2015-09-25 2017-10-17 Intel Corporation Facilitating projection pre-shaping of digital images at computing devices
US10401496B2 (en) * 2015-09-30 2019-09-03 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules operable to collect distance data via time-of-flight and triangulation
US10151838B2 (en) * 2015-11-24 2018-12-11 Microsoft Technology Licensing, Llc Imaging sensor with shared pixel readout circuitry
US10605920B2 (en) * 2016-01-13 2020-03-31 Ams Sensors Singapore Pte. Ltd. Power savings through refresh control for distance sensing devices
DE102016204140B3 (de) * 2016-03-14 2017-04-06 pmdtechnologies ag Vorrichtung und Verfahren zur Kalibrierung einer Lichtlaufzeitkamera
US10466355B2 (en) * 2016-08-29 2019-11-05 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules for distance measurements and supplemental measurements
DE102017202754B4 (de) * 2016-10-14 2022-08-04 Infineon Technologies Ag Optische Sensoreinrichtung und Verfahren zur Ansteuerung der optischen Sensoreinrichtung
DE102016223568B3 (de) * 2016-10-14 2018-04-26 Infineon Technologies Ag Optische Sensoreinrichtung mit tiefen und flachen Steuerelektroden
JP7215996B2 (ja) * 2016-11-17 2023-01-31 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１つの物体を光学的に検出するための検出器
US20180143321A1 (en) * 2016-11-22 2018-05-24 4Sense, Inc. Modulated-Light-Based Passive Tracking System
US10917626B2 (en) * 2016-11-23 2021-02-09 Microsoft Technology Licensing, Llc Active illumination 3D imaging system
US10616519B2 (en) * 2016-12-20 2020-04-07 Microsoft Technology Licensing, Llc Global shutter pixel structures with shared transfer gates
US20180217235A1 (en) * 2017-01-27 2018-08-02 4Sense, Inc. Projection System for a Time-of-Flight Sensor and Method of Operation of Same
US20180217234A1 (en) * 2017-01-27 2018-08-02 4Sense, Inc. Diffractive Optical Element for a Time-of-Flight Sensor and Method of Operation of Same
DE102017105142B4 (de) * 2017-03-10 2021-09-16 Infineon Technologies Ag Laufzeit-Bilderzeugungsvorrichtungen und ein Verfahren zum Anpassen einer Referenzfrequenz
GB201704443D0 (en) * 2017-03-21 2017-05-03 Photonic Vision Ltd Time of flight sensor
US10928489B2 (en) * 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10901087B2 (en) * 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (de) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI690719B (zh) * 2018-11-02 2020-04-11 大陸商光寶電子（廣州）有限公司 誤差校正系統及其方法

Also Published As

Publication number Publication date
CN110709722A (zh) 2020-01-17
WO2018185083A3 (de) 2018-12-27
DE102018107801A1 (de) 2018-10-04
CN110709722B (zh) 2023-11-24
US11525918B2 (en) 2022-12-13
US20200096637A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
WO2018185083A2 (de) Lichtlaufzeitkamera
EP3729137B1 (de) Multipuls-lidarsystem zur mehrdimensionalen erfassung von objekten
DE112018000284B4 (de) Bereitstellen eines dynamischen Sichtfelds für von einer dynamischen Position empfangenes Licht
DE102014013099B4 (de) Verfahren und Vorrichtung zur vereinfachten Erfassung eines Tiefenbildes
DE112008003342T5 (de) Aufzeichnung von 3D-Bildern einer Szene
DE102014108310B4 (de) Optisches Laufzeitsystem
DE102017221797A1 (de) Lidar-System zur Umfelderfassung und Verfahren zum Betreiben eines Lidar-Systems
DE102019123449A1 (de) Lichtlaufzeitkamerasystem mit hohem Dynamikumfang
DE102016213217A1 (de) Lichtlaufzeitkamerasystem
WO2022053313A1 (de) Verfahren und vorrichtung zur dynamikerweiterung eines lichtlaufzeitkamerasystems
EP3688660A1 (de) Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandes
DE102021209408A1 (de) Spiegelbewegung und Laserschussmusterkompensation für Frequenzmodulierten Dauerstrich(FMCW)-LIDAR
DE102019124141A1 (de) Lichtlaufzeitkamerasystem
DE1287111B (de) Elektro-optische Abbildungseinrichtung
DE102016219518A1 (de) Lichtlaufzeitkamerasystem
DE102017205743A1 (de) Lichtlaufzeitkamera
DE10051505C2 (de) Verfahren und Vorrichtung zum Erzeugen von 3D-Entfernungsbildern
EP1299760A1 (de) Verfahren zur autofokussierung für fernrohre von vermessungsgeräten
DE102017205745A1 (de) Lichtlaufzeitkamera
DE102019110329A1 (de) Lichtlaufzeitkamera
DE102017200879B4 (de) Lichtlaufzeitkamera und Verfahren zum Betreiben einer solchen
DE102016219519B4 (de) Lichtlaufzeitkamerasystem
DE102021111602A1 (de) Computerimplementiertes Verfahren zur Korrektur von Artefakten in Messdaten, die von einem Time-of-Flight 3D-Sensor erzeugt werden, ein entsprechendes Computerprogramm, ein entsprechendes computerlesbares Medium und ein PMD-Detektor
DE102017115385A1 (de) Vorrichtung und Verfahren zur Erfassung eines dreidimensionalen Tiefenbilds
DE102021123254B4 (de) Vorrichtung und Verfahren zum Erfassen einer Szene

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18715658

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18715658

Country of ref document: EP

Kind code of ref document: A2

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载