+

WO1998005992A2 - Vorrichtung zur aufnahme des netzhautreflexbildes und überlagerung von zusatzbildern im auge - Google Patents

Vorrichtung zur aufnahme des netzhautreflexbildes und überlagerung von zusatzbildern im auge Download PDF

Info

Publication number
WO1998005992A2
WO1998005992A2 PCT/EP1997/004188 EP9704188W WO9805992A2 WO 1998005992 A2 WO1998005992 A2 WO 1998005992A2 EP 9704188 W EP9704188 W EP 9704188W WO 9805992 A2 WO9805992 A2 WO 9805992A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
eye
anspmch
retina
scanning
Prior art date
Application number
PCT/EP1997/004188
Other languages
English (en)
French (fr)
Other versions
WO1998005992A3 (de
WO1998005992A8 (de
Inventor
Heinrich Eberl
Thorsteinn Halldorsson
Horst Schmidt-Bischoffshausen
Original Assignee
Daimlerchrysler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimlerchrysler Ag filed Critical Daimlerchrysler Ag
Priority to US09/230,996 priority Critical patent/US6227667B1/en
Priority to AU44533/97A priority patent/AU4453397A/en
Priority to EP97942840A priority patent/EP0917661A2/de
Priority to JP10507591A priority patent/JP2000515645A/ja
Publication of WO1998005992A2 publication Critical patent/WO1998005992A2/de
Publication of WO1998005992A3 publication Critical patent/WO1998005992A3/de
Publication of WO1998005992A8 publication Critical patent/WO1998005992A8/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the invention relates to a device which makes it possible to backscatter the image of the outside world projected onto the retina of the human eye, to modify it with electronic image processing or to supplement it with additional information, and with the aid of laser beam modulation and deflection back into Overlay the eye with the original image.
  • the main area of application for electronic image processing today is the further processing of images from cameras, scanning systems and sensors, both in the visible light range and in other areas of the electromagnetic spectrum, e.g. in the infrared, radio and X-ray range.
  • the images are reproduced as individual images or as moving images on an image display area (display) for the purpose of recording information from the eye.
  • a practically instantaneous image display is of great advantage to the eye, such as when driving an aircraft, a ship, a vehicle or when controlling and monitoring processes and production lines.
  • image processing a targeted increase or reduction in the information content of the current direct image.
  • the applications range from increasing the image contrast to displaying additional information and labeling details and dangers.
  • the electronic camera represents a "second eye system" separate from the human eye because, on the one hand, the images are viewed from another location and, on the other, are viewed on the screen at a different viewing location than shown that of the eye.
  • the human eye must therefore constantly switch between direct and indirect observation, with different viewing angles, image sections and size ratios, which leads to physical impairments and delays in decision-making processes.
  • HUD Head-Up-Display
  • the image is generated on a screen and faded into the eye after reflection on the surface of the glasses.
  • the eye sees, so to speak, over the glasses as a full mirror on the display "around the corner” and at the same time the outside world with the open glasses with a partially transparent mirror. Since the display is connected to the head, the image follows the head movements.
  • Some HUDs are equipped with an "eye tracker” that tracks eye movements using a motion sensor on the eyeball or a camera follows the movements of the eye pupils or the vascular structure of the retina. The image projected in the HUD can then be electronically shifted according to the movements within the field of view.
  • the image of the HUD can be set to "infinity" via the projection optics.
  • a stereoscopic i.e. allows spatial vision.
  • a complete spatial and temporal overlap of superimposed images on the real image perceived by the eye requires the exact spatial and temporal correspondence of the two images on the retina. This can only be produced by a direct recording of the retinal image and by a subsequent, almost instantaneous, congruent projection of the new image onto the real image, which is the objective of the invention.
  • a recording system for this reflex must therefore be designed for a luminance density of the retina that is 50-100 times lower than that of the object space.
  • a further impairment of the available amount of light is given by the size of the eye pupil of 1-7 mm, which is relatively small in comparison to the usual technical recording systems such as photo and video cameras. For these two reasons, the absorption of the light reflected by the retina requires a particularly sensitive light sensor.
  • a structured reflex image is created in the area of the retinal pit or fovea centralis when imaging in the eye. This will e.g. by Campell, F.W. and Green, D.G. in the article: "Optical and Retinal Factors Affecting Visual Resolution", J. Physiol. Jjü, 576-593 (1965).
  • a brightly lit, extended lattice structure was imaged on the retina and the image reflected by the eye was deflected out of the beam path with a splitter mirror and sharply imaged in an image plane outside the eye.
  • the photometric evaluation showed that the quality of the reflex image comes very close to the image quality perceived by the eye itself.
  • the Campell et al. Closed static recording device used with extremely bright image lighting (flashing light) on the still eye is not suitable for capturing the faint, dynamic images of the outside world on the retina during the rapid, natural movements of the eye.
  • CCD cameras which record all pixels in parallel after a fixed integration time
  • serial scanning image recording systems with individual detectors photodiodes or photomultipliers
  • Both techniques are adapted to the usual video standards.
  • a fundamental advantage of using the CCD hammering technique is the long integration time in every pixel of e.g. 20 ms, compared to the short dwell time in each pixel of only 40 ns when scanning.
  • the serial recording technology has a number of other advantages for the recording of the very weak, rapidly changing light signals in the background with a lot of noise compared to the parallel recording technology, which make up for the disadvantage of the short integration time.
  • the decisive advantage of serial image scanning is the further possibility of combining it with a time-shifted synchronous serial laser image projection.
  • a serial scanning can be implemented in three ways, firstly by area-wise lighting of the object and a point-wise scanning with a photo receiver, secondly by scanning the object with a point-wise light source and area-wise recording with the photo-receiver and thirdly by the point-wise lighting and the simultaneous point-wise scanning with the photo receiver using the same scanning device.
  • the first two methods are referred to as "flying spot” and the third as “confocal scanning” recording technique.
  • the source or the receiver is rigid and the receiver or source on the object is in motion.
  • the source and receiver are mapped together in the scanning sampling point (confocal), but are immobile against one another.
  • recording the planar retinal reflex of the outside world with a scanning photo receiver as proposed by the invention is the first type of "flying spot" image recording technique.
  • a time-shifted synchronous laser image projection with the help of the same scanning device can be understood as a confocal scanning technique in the sense of the common point-shaped scanning image of the illumination source and photo receiver on the retina, but not a confocal scanning recording technique because the roles of the photo receiver and the laser compared to the conventional application are reversed.
  • the received signals are used for time-shifted modulation of the laser source; in the usual method, the laser source is used for lighting while simultaneously receiving the light signals.
  • the retina is scanned in a grid pattern by a laser beam.
  • the laser beam illuminates the original point by point and line by line.
  • the photo receiver photomultiplier
  • a television monitor displays the video signal as an image.
  • the laser beam first passes through a modulator, via which the lighting intensity can be controlled.
  • the horizontal line deflection is usually carried out with a rapidly rotating polygon mirror, the vertical deflection with an oscillating mirror.
  • the fulcrum of the scanning movement lies in the pupil plane of the eye.
  • the light reflected or backscattered from the back of the eye is collected over the entire pupil opening and fed to the photo receiver via an imaging optics.
  • the beam deflection is thereby reversed and a stationary light beam is obtained, which is imaged on a small detector area.
  • the direct projection of modulated light stimuli and patterns is used in modern laser scan ophthalmoscopes (such as from the company Rodenstock in Kunststoff) mainly for visual analysis, video visual acuity determination and contrast sensitivity measurements with only one laser wavelength each.
  • a second European application from Motorola Inc. No. 0 562 742 AI with the designation "Direct retinal scan display” from August 1993 describes a direct view image display device which, like the one described above, 3 schre plane patent from Sony also relates to the direct image transmission to the retina, but with the difference that the projection on the deflection is carried out through a pair of glasses.
  • the invention proposes a serial recording and projection device which makes it possible to record the images of the outside world generated on the retina of the human eye during natural vision and to modify or supplement them with electronic image processing. Then project this image back into the eye with the aid of laser beam image projection and overlay it synchronously with the original image.
  • the invention further provides that the radiation of all primary colors red, green and blue is detected or projected simultaneously both during the recording and during the projection.
  • This task is fundamentally different from that of a confocal laser scanning opthalmoscope in which the retina is simultaneously illuminated and imaged in the same scanning process, because in the arrangement according to the invention, in a first scanning cycle, the areal reflex image of the outside world after the "flying spot""The process is scanned and the reworked laser image is only projected onto the retina in a second, temporally separate scanning cycle. The reflex image is obtained again in a third scanning process, the laser image is projected again in the fourth, and so on. Since these processes change so quickly in time, for the eye, as with - ⁇ O viewing from television or film, a continuous process in which the laser image follows the original image synchronously and congruently, regardless of eye movements.
  • the invention also differs from all the proposals for direct laser projection known to the applicant, both the projection of external images in closed glasses (cyberspace), and the additional images in open glasses (HUD), by the direct proposed here for the first time Coupling the projection with the current image content of the outside world and the new technical designs for its implementation.
  • the rapid progress in the acquisition and processing technology of weak optical signals has made it possible to record and further process the retinal reflex.
  • the irradiance that the retina is exposed to in the natural environment is from the brightest external lighting from 10 ⁇ 4 W cm -2 to about 10 ⁇ 7 W cm-- 2 .
  • weak interior lighting under reading conditions it is 10 _ * 5 W cnr 2 to 10 _ 6 W CIT ⁇ 2 (see for example "Safety with Lasers and Other Optical Sources", D. Sliney and M. Wolbarsht, 1980).
  • An increase in sensitivity up to 10 _ 7 W cm -2 can be achieved, for example, by improved noise suppression, a reduced spatial resolution, or by using a spiral scan instead of the TV raster scan, which has a reduced scan speed in the middle of the field of view and thus offers an extended integration time there.
  • FIG. 1 shows a schematic image of an embodiment of the recording and projection device in the eye according to claims 1 to 5 in an embodiment where the imaging between the scanner and the eye is carried out via two concave reflecting surfaces, an auxiliary mirror HS and the inside of the glasses BG.
  • Fig.2 is a schematic image of an embodiment of the recording and projection device in the eye according to claims 1 to 4 and 6 in an embodiment where the image between the scanner and the eye on the concave auxiliary mirror surface BG ' , a convex auxiliary mirror HS' and the concave inside of the Glasses BG is performed.
  • FIG. 3 shows a schematic of an exemplary embodiment of the rigid beam path between the recording and projection device with photodetectors and laser modulators according to claim 14
  • FIG. 4 shows a schematic image of an exemplary embodiment of the flexible coupling of the recording and projection device to the beam switch and scanning unit with the aid of flexible glass fibers
  • FIG. 5 shows a schematic image of an exemplary embodiment of the attachment of the recording and projection device for both eyes in a spectacle frame.
  • FIG. 6 shows a schematic image of an exemplary embodiment of the beam path in the scanner when the retinal reflex is recorded and the image is subsequently projected onto the objects of the outside world by switching the horizontal scanning mirror through an angle of 90 ° according to claim 23.
  • Fig. 7 is a schematic image of the opto-electronic and electronic subunits and their connections.
  • Fig. 9 is a schematic of the micro-integrated scanner in the glasses frame with glass fiber coupling to a portable receiving and projection unit and wireless transmission to the image processing computer.
  • the invention proposes a scanning recording device in order to serially record the faint reflection of objects from the outside world AW on the retina NH of the eye AA, as shown in FIGS. 1 to 3.
  • the same imaging and scanning device is also used in order to use lasers and image modulators to project the processed image with a time delay onto the retina over the opposite light path, as is also shown in FIGS. 1 to 3.
  • the central subject of the invention is special glasses that are placed on an observer, as shown in FIGS. 5, 6 and 9.
  • the BG glasses serve as beam splitters. In transmission, for the light from the outside world and in reflection, as an imaging surface of the light backscattered by the retina through the eye, which is fed to a photoreceiver with the aid of further imaging elements and a biaxial scanner for horizontal HSS and vertical deflection VSS (Fig. 1 to Fig. 4)
  • the beam path is designed in such a way that the extension of the line of sight from the detector through the glasses always ends in the absorbing layer of a radiation sink SS.
  • the extension of the line of sight of the eye through the glasses runs to the outside world AW (FIGS. 1 to 6).
  • the simplest method of beam splitting on BG glasses is the use of 50% transmitting and 50% reflecting mirror glasses. Active, electronically controllable mirrors that switch from complete transmission to complete reflection in the two scanning cycles can also be used.
  • the eye AA forms parallel or almost parallel bundles of rays on the retina from the outside world AW.
  • the point of rotation of the beam at different viewing angles to the outside world lies in the pupil of the eye AP.
  • A3 The invention is based on a simultaneous recording and projection in both eyes as shown in FIGS. 5 and 6 and thus a largely identical beam path for the left and right eyes.
  • the invention provides that either the lenses of their lenses are individually adjusted by correspondingly different designs of the curvature of the outside and the inside, or that contact lenses are worn.
  • the curvature of the inside and outside of the lenses is identical to the BG lenses.
  • the light scattered back from the eye from each individual pixel of the retina is in the same way an almost parallel bundle of rays, which strikes the same path as the incident light in the opposite direction on the inside of the partially reflective spectacle lens BG.
  • the curvature of this surface is designed so that a second image of the image point on the retina in the intermediate plane ZE is formed together with the eye lens (FIG. 1).
  • An auxiliary mirror HS collimates the beams again and images them so that they run over the common pivot point (they on the other side through the eye pupil) on the axis of the horizontal scanner mirror HSS.
  • a vertical deflection is carried out by a second scanner mirror VSS.
  • the image from and into the eye with the help of the two mirrors, auxiliary mirror and spectacle lens mirror with a clear view through the spectacle lens BG to the outside world AW requires relatively strong beam deflection.
  • the opposite redirection over two concave mirror surfaces partially cancels the resulting image errors.
  • the opposite, otherwise identical beam path of image acquisition and image projection also largely avoids the creation of image distortions in the eye.
  • the invention is based on the assumption that any type of biaxial image scanner can be used, such as rotating mirrors or polygon mirrors for line deflection and oscillating mirrors for vertical deflection or acousto-optical deflection units for both axes
  • the structure of the image can be designed in accordance with the usual video standards such as VHS and NTSC and HDTV (Claim 9).
  • a spiral scan of the image scan in which the duration of the scanning beam in the direction of the visual axis increases continuously, would be much better adapted to the structure of the retina than a raster scan.
  • a correspondingly higher signal / noise ratio is achieved in the middle area.
  • the invention provides, in addition to the use of a raster scan in claim 9 and also in claim 10, that a spiral scan can also be used by appropriate design and control of the two beam deflection units.
  • the beam path between the projection and reception channel is separated using a SUS switching mirror. Since the diameter of the projection beam can be made smaller than the reception beam because of the good focusing and the small diameter of the laser beams, it is possible to use a perforated mirror to separate the two beam paths, as shown in FIGS. 3 and 4.
  • a more efficient method that results from the alternating use of the two beam paths is the use of a tilting mirror which switches the beam paths in synchronism with the scanning. This solution has the advantages of lower optical losses -AS in the receiving channel and the better optical shielding of direct crosstalk from projection to the receiving channel.
  • the invention message in claim 17 sees a focusing device FE, which sets the size of the laser image spot in claim 17 and the scanned spot upon reception GFB in FIG. 3 on the retina .
  • a common visual field diaphragm GFB in the beam path of two lenses is used to set the instantaneous visual field seen by the photomultipliers.
  • the adjustment of the field of view is necessary to adapt to the lighting conditions on the retina and to set the desired spatial resolution. It is envisaged that both settings can be carried out automatically by actuators after a computer command, as shown in FIG. 7.
  • Anspmch 12 It is provided in Anspmch 12 that the retinal reflex with the use of dichroic filters (DFR, DFG and DFB) and three separate detectors (PMR, PMG and PMB) is divided into up to three color channels and thus a largely unadulterated color image can be recorded .
  • the beams of up to three lasers in the red, green and blue spectral range (LR, LG, LB) are combined with dichroic beam splitters after the separate image modulation of each color (MR, MG, MB) on a common axis.
  • the optical signal with dichroic filters DFR DFG and DKB in the receiving channel is broken down into the three color components in front of the three photo receivers, preferably photomultipliers PMR, PMG and PMB into the three basic colors and measured separately. Because of the weak light signals, mainly photon counting methods will be used
  • the invention further provides that the electronic image picked up by the detector is converted back into a serial optical image after image processing with the aid of laser beam sources and modulators, and in a second image cycle with the same optical device, now in the function as Beam deflection unit (laser scanner) - after reflection on the inner surface of the glasses in the eye synchronously, but projected back with the scanning of the original image.
  • Beam deflection unit laser scanner
  • the invention proposes to separate the periods of image recording and image projection in time, i.e. to be carried out alternately as shown in FIG. 8 in order to avoid a disturbance in the recording of the weak retinal image of the outside world by the more powerful projection.
  • a first image cycle e.g. the retinal reflex image is recorded and in the second the processed electronic image is projected into the eye.
  • the retinal reflex image is recorded in the third image cycle, the back projection is carried out in the fourth, etc.
  • the refresh rate should be sufficiently high.
  • the recording is largely adapted to the fastest movements of the eye. This applies to both a raster and a spiral scan.
  • the recording device Further technical requirements for the recording device relate to the size of the detected field of view and the image resolution of the device proposed here. For most applications, the area of sharpest vision with a diameter of 1 ° and a number of 7 million cones (image pixels) in the retina gmbe (fovea), but also the adjacent area with much lower resolution up to about 10 ° diameter is of interest.
  • the spiral scan of the scanning track is particularly suitable for these different resolution requirements.
  • Semiconductor lasers or miniaturized solid-state lasers with a low continuous wave power ( ⁇ 300 ⁇ W) are provided as light sources for the back-projection of the images, which cannot cause any danger to the eye.
  • AI nen.
  • the image modulation could be carried out directly via its power supply. So that all colors are generated, the use of three lasers with the basic colors red, green, blue is recommended. As the well-known color triangle of the human face shows, all other colors as well as the non-colors gray and white can be formed by color summation of monochromatic laser lines of these colors.
  • the invention also includes the possibility of using individual colors as a monochromatic solution.
  • the invention provides a signal processor SP which electronically processes the direct image of the retina and synchronously coordinates all functions of the device as well as those of scanners VSS / HSS and laser spot adjustment and size of the field of view diaphragm LAA / GFB.
  • the image processing computer BVC then takes over the image perceived by the eye or images from other technical sensors which are fed to the computer via an external connection EA and processes them according to a predetermined software SW before they are modulated onto the laser beams as an image signal with the aid of the signal processor
  • laser projection In addition to processing the current image processed by the computer and projecting into the eye and fusing it with the original image, laser projection also allows external images that are supplied to the computer from outside to be synchronously superimposed on the external image in the eye. If the time span between image acquisition and projection is correspondingly short compared to the rapid eye movements, the eye will no longer perceive an image interruption, as when viewing a television screen.
  • the separate but simultaneous image scanning on both eyes also captures the perspective differences between the two images. Since these are retained in both eyes during laser back projection, a restoration of spatial vision is guaranteed.
  • the device proposed here according to claim 25 also enables these laser images to be projected directly onto objects in the environment and seen by the eye.
  • This embodiment of the invention is shown schematically in FIG. 6 by folding the scanning mirror through an angle of 90 °.
  • the components used in the invention are today largely miniaturized and available at low cost.
  • the beam deflection unit and scanner can be accommodated in a simple spectacle frame B as shown in FIG. 9.
  • the laser projection unit and receiver unit can be placed in a small TOE housing, for example the size of a paperback with battery supply.
  • Data can be exchanged with an external, permanently installed image processing computer either via radio waves or infrared radiators. According to the current state of the art, all elements of the device of the invention could thus be carried effortlessly by a human being and the wireless image data exchange with the external computer would enable its unlimited freedom of movement.
  • the second category includes overlaying images from the same scene e.g. from the invisible infrared range or from radar devices. This technique would e.g. driving or flying at night and in fog or haze is much easier.
  • acoustic images and images from the nuclear spin tomograph are superimposed on the direct image of the body of the patent or its organs to assist the doctor in diagnosis and in chimrgy.
  • the third category includes applications in which the image is supplemented by virtual additional overlays, e.g. in today's HUD applications in driving vehicles.
  • the invention offers the additional advantage of exact synchronization of the overlay with the external image. As a result, external images could appear on precisely defined free spaces within the direct image, e.g. with little image content or as a stereo image at a different distance from the other objects.
  • This third category includes interactive applications from computer technology, i.e. the fade-in of a virtual computer mouse (crosshairs), which are guided with real eye movements (instead of with the hand) over real objects of the outside world (also display). Clicking or a command could be done by additional eye movements e.g. B. eyelid, or voice or key press.
  • This third category also includes cyberspace applications, i.e. the insertion of virtual computer full images in the closed glasses.
  • cyberspace applications i.e. the insertion of virtual computer full images in the closed glasses.
  • recordings of the retinal image of the superimposed virtual images could be used to stabilize them against the eye movements.
  • the fourth category describes a type of "active vision", ie a scene seen by the eye and recorded by the scanning device is illuminated serially in the next scanning cycle with a laser image spotlight. This scene illuminated in this way is again perceived by the eye and leads in the subsequent cycle to a modified second laser illumination process, which is followed by a third process, etc.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Eye Examination Apparatus (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Abstract

Es wird eine Vorrichtung zur Aufnahme des auf der menschlichen Netzhaut des Auges abgebildeten Bildes der Außenwelt mit Hilfe einer scannenden Aufnahmevorrichtung vorgeschlagen, bei der die Strahlen der Außenwelt durch die Gläser einer Brille transmittiert werden, die auf ihren Innenseiten als gewölbte abbildende Strahlteilerspiegel gestaltet sind und bei der zur Aufnahme des von jedem Punkt der Netzhaut zurückgestreuten und aus dem Auge austretenden parallelen Strahlenbündels und zu ihrer Abbildung und Umlenkung eine zweiachsige Scanvorrichtung vorgesehen ist, die das Lichtbündel zu einem opto-elektronischen Detektor zur seriellen Aufnahme des Netzhautreflexes weiterleitet.

Description

Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildem im Auge
Die Erfindung betrifft eine Vorrichtung, die es ermöglicht, das auf der Netzhaut des menschlichen Auges projizierte Bild der Außenwelt in Rückstreuung aufzunehmen, dieses mit elektronischer Bildverarbeitung zu modifizieren, bzw. mit zusätzlichen Informationen zu ergänzen, und mit Hilfe einer Laserstrahlmodulation und -ablenkung zurück ins Auge mit dem Originalbild zu überlagern.
Mit dem zunehmenden Bedarf an Informationen und ihrer übersichtlichen bildhaften Visualisierung wachsen die technischen Anforderungen an die Aufnahme, Verarbeitung und Wiedergabe von Bildern. Der rasche Fortschritt auf diesen Gebieten geht Hand in Hand mit der immer schneller werdenden Bildverarbeitung durch Computer.
Das Hauptanwendungsgebiet der elektronischen Bildverarbeitung ist heute die Weiterverarbeitung von Bildern, die von Kameras, Abtastsystemen und Sensoren, sowohl im sichtbaren Lichtbereich, als auch in anderen Bereichen des elektromagnetischen Spektrums, wie z.B. im Infrarot-, Radio- und Röntgenbereich, aufgenommen werden. Nach der elektronischen Bearbeitung werden die Bilder als Einzelbilder, bzw. als bewegte Bilder auf einer Bilddarstellungsfläche (Display) zur Informationsaufhahme des Auges wiedergegeben.
Mit Hilfe der elektronischen Bildverarbeitung ist es einerseits möglich, besondere Bildinhalte leichter erkennbar zu machen. Hierfür eingef hrte Techniken, sind z.B. Ortsfrequenzfilterung, Kantenverschärfung, Bilddatenkompression, Bildkorrelation, Dynamikreduzierung und Falschfarbenkodierung. Andererseits befassen sich weitere Techniken mit der Überlagerung oder Subtraktion von Zusatzbildem aus verschiedenen Spektralbereichen, oder der Überlagerung von gespeicherten Plänen, Landkarten, und Zeichnungen in das Originalbild.
Für viele Anwendungen, ist eine praktisch verzögerungsfreie Bilddarstellung für das Auge von großem Vorteil, wie z.B. beim Führen eines Flugzeuges, eines Schiffes, eines Fahrzeuges oder bei der Steuerung und Überwachung von Prozessen und Fertigungsstraßen. Mit der Bildverarbeitung kann eine gezielte Erhöhung bzw. Reduktion des Informationsgehaltes des aktuellen direkten Bildes durchgeführt werden. Die Anwendungen reichen von Erhöhung des Bildkontrastes bis zur Einblendung von Zusatzinformationen und Kennzeichung von Details und Gefahren.
In den meisten dieser Anwendungen ist es nachteilig, daß die elektronische Kamera ein von dem Auge des Menschen getrenntes "zweites Augensystem" darstellt, denn zum einen werden die Bilder von einem anderen Aufhahmeort aus gesehen und zum anderen werden auf dem Bildschirm an einem anderen Betrachtungsort als den des Auges dargestellt. Das menschliche Auge muß somit zwischen der direkten und der indirekten Beobachtung, mit unterschiedlichen Betrachtungswinkeln, Bildausschnitten und Größen Verhältnissen ständig wechseln, was zu körperlichen Beeinträchtigungen und Verzögerungen bei Entscheidungsvorgängen führt.
Diese Einschränkung konnte zum Teil mit Hilfe der Technik des "Head-Up- Displays (HUD)", bei der Führung von Kampflugzeugen dadurch gelöst werden, daß wichtige Informationen wie Instumentenanzeigen und Zieldaten in die offene Brille des Pilotenhelmes und damit in das Gesichtsfeld des Piloten eingeblendet werden. Diese Technik wird auch versuchsweise in der Automobilindustrie zur Einblendung von Instrumentenanzeigen in die Windschutzscheibe eingesetzt, damit der Fahrer von der Beobachtung der vor ihm liegenden Straße nicht abgelenkt wird.
Eine bekannte Weiterentwicklung dieser Technik ist die sogenannte 'Virtual reality", oder "Cyberspace". Hier werden in einer geschlossenen Brille, d.h. einer Brille in der die Sicht nach außen versperrt ist, mit dem HUD bewegte räumliche Vollbilder realitätsnah in das Auge projiziert und interaktiv mit den Körperbewegungen wie etwa der Fortbewegung, Armbewegung, Fingerbewegung, Kopf- und Augenbewegung verändert.
In dem HUD wird das Bild auf einem Bildschirm generiert und nach Reflek- tion an der Brillenoberfläche in das Auge eingeblendet. Das Auge sieht sozusagen über die Brille als Vollspiegel auf das Display "um die Ecke herum" und bei der offenen Brille mit einem teildurchlässigen Spiegel gleichzeitig die Außenwelt. Da das Display mit dem Kopf verbunden ist, folgt das Bild den Kopfbewegungen.
Einige HUDs sind mit einem "eye tracker" ausgerüstet, der die Augenbewegungen mit Hilfe eines Bewegungssensor am Augapfel oder einer Kamera die Bewegungen der Augenpupillen oder der Gefäßstruktur der Netzhaut verfolgt. Das im HUD projizierte Bild kann dann entsprechend den Bewegungen innerhalb des Gesichtsfeldes elektronisch verschoben werden.
Zur aldkommodationsfreien Entspannung des Auges kann das Bild des HUDs über die Projektionsoptik ins "Unendliche" versetzt werden. Mit der Einstellung unterschiedlicher Blickwinkel der beiden Augen zum gleichen Gegenstand, wird ein stereoskopisches, d.h. räumliches Sehen ermöglicht.
Diese Anwendungen und Techniken verdeutlichen zum einen den hohen Stand der elektronischen Bildverarbeitung, die mit vertretbarem technischen Aufwand bereits in der Lage ist, bewegte Bilder mit akzeptabler Qualität fast verzögerungsfrei zu verarbeiten, zum anderen den zunehmenden Bedarf an direkter Bildübertragung ins Auge.
Der heutigen Technik der HUDs sind jedoch Grenzen gesetzt. Die Genauigkeit der automatischen Verfolgung der Augenbewegungen mit dem "eye tracker" ist wesentlich schlechter als die Ausrichtegenauigkeit und die Bildauflösung des Auges. Als Folge schwebt oder tanzt das eingeblendete Bild in dem Gesichtsfeld herum, was zu einer ungenauen Zielfindung und Ermüdung des Auges fuhrt.
Aus diesem Grunde beschränkten sich die bisherigen Anwendungen der Vollbilddarstellung auf die geschlossene Brille, d.h. die ausschließliche Einblendung von Fremdbildern. Die Anwendungen der offenen Brille mit der zusätzlichen Sicht nach außen sind dagegen noch auf die Einblendung einfacher Zusatzinformationen in Form von Texten, Symbolen oder Bildumrissen beschränkt.
Eine vollständige räumliche und zeitliche Überlappung von eingeblendeten Bildern auf das von dem Auge wahrgenommene reale Bild setzt die exakte räumliche und zeitliche Übereinstimmung der beiden Bilder auf der Netzhaut voraus. Diese kann erst durch eine direkte Aufnahme des Netzhautbildes und durch eine anschließende fast verzögerungsfreie deckungsgleiche Projektion des neuen Bildes auf das reale Bild hergestellt werden, was die Zielsetzung der Erfindung ist.
Es soll hier zunächst der Stand der Techniken der Aufnahme von Netzhau- treflexbildern, der Bildabtastung aus dem Augeninneren und der Projektion k von Laserbildern direkt ins Auge, von der die Erfindung ausgeht, dargestellt und diskutiert werden.
Die technische Realisierung einer kontinuierlichen Abbildung des Netzhautreflexes der Außenwelt setzt eine verwertbare optische Reflexion der Netzhaut voraus. Ihr Reflexionsvermögen ist z.B. von F.C. Delori und K.P. Pflib- sen in der Arbeit "Spectral reflectance of the human ocular fundus", Applied Optics, Vol. 28, No. 6, (1989) ausfuhrlich gemessen worden. Ab dem blauen sichtbaren Bereich (450 nm) mit dem niedrigen Wert von 0,2% nimmt das Reflexionsvermögen der Netzhautgrube bis 10% im langwelligen roten Bereich (750 nm) monoton zu. Im Bereich der größten Augenempfindlichkeit und des schärfsten Sehens im grün-gelben Bereich zwischen 500 nm und 600 nm liegt das Reflexionsvermögen dann zwischen 1% und 2 %.
Ein Aufhahmesystem, für diesen Reflex, muß deshalb für eine um den Faktor 50 -100 geringere Leuchdichte der Netzhaut als des Gegenstandsraumes ausgelegt sein. Eine weitere Beeinträchtigung der verfugbaren Lichtmenge ist durch die Größe der Augenpupille von 1 -7 mm gegeben, die im Vergleich zu den üblichen technischen Aufhahmesystemen wie Photo- und Videokameras, relativ klein ist. Die Aufnahme des von der Netzhaut reflektierten Lichtes setzt aus diesen beiden Gründe einen besonders empfindlichen Lichtsensor voraus.
Es ist bekannt, daß ein strukturiertes Reflexbild im Bereich der Netzhautgrube oder Fovea centralis bei der Abbildung im Auge entsteht. Dies wird z.B. von Campell, F.W. and Green, D.G.in dem Artikel : "Optical and Retinal Factors Affecting Visual Resolution", J. Physiol. Jjü, 576-593 (1965) beschrieben. Hier wurde eine hell erleuchtete ausgedehnte Gitterstruktur auf die Netzhaut abgebildet und das durch das Auge reflektierte Bild mit einem Teilerspiegel aus dem Strahlengang abgelenkt und außerhalb des Auges in einer Bildebene scharf abgebildet. Die flächenhafte Abbildung des Gitters nach der Reflexion an der Netzhaut, d.h. nach zweimaligem Durchgang durch das Auge, diente der Bestimmung der Modulationsübertragungsfunktion des Auges. Die photometrische Auswertung zeigte daß die Qualität des Reflexbildes, der von dem Auge selbst wahrgenommene Bildqualität sehr nahe kommt.
Die von Campell u.al. verwendete geschlossene statische Aufhahmevorrich- tung mit extrem heller Bildbeleuchtung (Blitzlicht) am ruhig gestellten Auge ist nicht geeignet um die lichtschwachen dynamischen Bilder der Außenwelt auf der Netzhaut bei den raschen, natürlichen Eigenbewegungen des Auges aufzunehmen. Dies erfordet lichtempfindliche, schnelle Detektoren und eine Aufhahmetechnik, die in dem offenen Strahlengang Fremdlicht sehr effizient unterdrückt und Bilder mindestens mit der Wiederhol frequenz der üblichen Videonormen aufnehmen kann.
Heute kommen dafür in Frage die CCD-Kameras, die alle Bildpunkte parallel nach einer festen Integrationszeit aufnehmen, und seriell scannende Bildaufnahmesysteme mit Einzeldetektoren (Photodioden oder Photomultipliern), in denen die Bildpunkte zeitlich hintereinander abgetastet werden. Beide Techniken sind den üblichen Videonormen angepaßt.
Ein grundsätzlicher Vorteil der Verwendung der CCD-Aufhametechnik ist die lange Integrationszeit in jedem Bildpunkt von z.B. 20 ms, gegenüber der kurzen Verweildauer in jedem Bildpunkt von nur 40 ns beim Scannen. Die serielle Aufhahmetechnik hat jedoch für die Aufnahme der sehr schwachen, schnell veränderlichen Lichtsignalen bei dem stark verrauschtem Hintergrund gegenüber der parallelen Aufhahmetechnik eine Reihe anderer Vorteile, die den Nachteil der kurzen Integrationszeit wettmachen. Diese sind:
• serielle Signalverarbeitung, die eine direkte analoge Weiterverarbeitung des Bildes in Echtzeit ermöglicht
• effiziente Streulichtunterdrückung durch das kleine momentane Gesichtsfeld der Abtastung
• rauscharme hohe Vorverstärkung der verwendeten Avalanche- Photodioden und Photomultipliern
• hohe Signaldynamik, die den starken Variationen der Bildhelligkeit auf der Netzhaut entgegenkommt
• effiziente analoge Rauschunterdrückung, z.B. durch phase-lock-in- Detektion bzw. Signal-Korrelation
• einfache Behebung von Abbildungsfehlern έ
Für die Zielsetzung der Erfindung ist jedoch der entscheidende Vorteil der seriellen Bildabtastung die weitere Möglichkeit sie mit einer zeitversetzten synchronen seriellen Laser-Bildprojektion ins Auge zu kombinieren eröffnet.
Wegen dieser Vorteile der seriellen Aufnahme gegenüber Film und Video- aufhahmen werden sie seit Anfang der fünfziger Jahre vor allem für die Bild- aumahme im Mikroskop eingesetzt. Eine serielle Abtastung kann dreierlei realisiert werden, erstens durch eine flächenhafte Beleuchtung des Gegenstandes und einer punktförmigen Abtastung mit einem Photoempfänger, zweitens der Abtastung des Gegenstandes mit einer punktförmigen Lichtquelle und flächenhafter Aufnahme mit dem Photoempfänger und drittens durch die punktförmige Beleuchtung und die gleichzeitige punktförmige Abtastung mit dem Photoempfänger mit Verwendung der gleichen Scaneinrichtung. Die zwei ersten Methoden werden als "flying spot" und die dritte als "confocal scanning" Aufhahmetechnik bezeichnet.
In den beiden ersteren ist entweder die Quelle oder der Empfänger starr und dafür jeweils der Empfänger oder die Quelle auf dem Gegenstand in Bewegung. In dem dritten werden Quelle und Empfänger gemeinsam in dem scannenden Abtastpunkt (konfokal) abgebildet, aber sind gegeneinder unbeweglich.
Eine Aufnahme des flächenhaften Netzhautreflexes der Außenwelt mit einem scannendem Photoempfänger wie die Erfindung vorschlägt, ist in diesem Sinne die erste Art der "flying Spot" Bildaufhahmetechnik. Eine zeitversetzte synchrone Laserbildprojekton mit Hilfe der gleichen Scaneinrichtung kann im Sinne der gemeinsamen punktförmigen scannenden Abbildung von Beleuchtungsquelle und Photoempfänger auf der Netzhaut als eine konfokale scannende Technik aufgefaßt werden, aber keine konfokal scannende Aufnahmetechnik, weil die Rollen des Photoempfängers und des Lasers gegenüber der konventionellen Anwendung vertauscht sind. In der Erfindung dienen die Empfangssignale zur zeitversetzten Modulation der Laserquelle, bei dem üblichen Verfahren dient die Laserquelle zur Beleuchtung beim gleichzeitigen Empfang der Lichtsignale.
Um den Neuheitsgrad der Erfindung und ihrer technischen Ausführungen besser sichtbar zu machen soll der Stand der Anwendungen der Bildaufhah- me und Laserprojektion ins Auge nachfolgend genauer dargelegt werden. O.Pomerntzeff und R.H. Webb haben als erste die zweite Art der "flying spot" Aufhahmetechnik mit Hilfe eines gescannten Laserstrahles als Beleuchtungsquelle und einem starren großflächigen Photomultiplier als Empfänger zur Aufnahme der Innenstruktur des Auges in dem US Patent 4,213,678 von Sept. 1980 "Scanning Ophthalmoscope for Examining the Fundus of the Eye" beschrieben.
Eine Erweiterung dieser Technik zu einer konfokalen Anordnung mit dem gleichzeitigen scannen der Laserstrahl und der Empfangsachse des Pho- tomultipliers, wurde von R. H. Webb, G. W. Hughes und F.C. Delori in dem Artikel "Confocal scanning laser ophthalmoscope" in Applied Optics, Vol. 26, No. 8, pp 1492-1499 (1987) vorgestellt.
In diesem Gerät wird die Netzhaut durch einen Laserstrahl rasterförmig abgetastet. Der Laserstrahl beleuchtet Punkt für Punkt und Zeile für Zeile die Vorlage. Der Photoempfänger (Photomultiplier) mißt das jeweils reflektierte Licht und setzt die Meßwertfolge in ein Videosignal um. Ein Fernsehmonitor stellt das Videosignal schließlich als Bild dar. Diese drei Vorgänge erfolgen exakt synchron. Während der Laserstrahl Zeile für Zeile den Augenhintergrund abtastet, wird gleichzeitig das Fernsehsignal aufgebaut.
Der Laserstrahl durchläuft zunächst einen Modulator, über den die Beleuchtungsintensität gesteuert werden kann. Die horizontale Zeilen- Ablenkung wird meist mit einem schnell drehenden Polygonspiegel, die Vertikalablenkung durch einen Schwingspiegel durchgeführt. Der Drehpunkt der Abtastbewegung liegt in der Puppillenebene des Auges. Das vom Augenhintergrund reflektierte bzw. zurückgestreute Licht wird über die gesamte Pupillenöffnung gesammelt und dem Photoempfänger über eine Abbildungsoptik zugeleitet. Die Strahlablenkung wird dadurch rückgängig gemacht, und man erhält ein stationäres Lichtbündel, das auf einer kleinen Detektorfläche abgebildet wird.
Die Möglichkeit der Verwendung der konfokalen Abbildung im Ophthalmo- skop zur Projektion von künstlichen Bildern mit Hilfe einer Laserprojektion in das Auge, wurde von Webb u. al. in dem obengenannten Artikel erkannt und wie folgt beschrieben: ..."The laser beam is deflected by a fast (15-kHz) horizontal Scanner and a slow (60-Hz) vertical Scanner to project a Standard format TV raster on the retina. Modulation of the beam permits projection of graphics or even gray scale pictures in the raster. While the patient is seeing the TV picture projected on his/her retina, an image of the retina is displayed on a TV monitor "
Die Direktprojektion von modulierten Lichtreizen und Mustern wird in den modernen Laser-Scan Ophthalmoskopen (wie z.B. von der Firma Rodenstock in München) hauptsächlich für Visusanalysen, Video- Visusbestimmungen und Kontrastempfindlichkeitsmessungen bei jeweils nur einer Laserwellenlänge verwendet.
Weitere Vorschläge zur direkten Bilderübertragung mit Lasern ins Auge sind aus den folgenden zwei Schriften bekannt:
In der europäischen Patentschrift 0 473 343 Bl von Nov. 1995 der Firma Sony Corporation mit dem Titel "Direct viewing picture image display appa- ratus" ist ein Direktsicht-Bildwiedergabegerät bekannt, das im wesentlichen nur die technischen Lösungswege aus den früher bekannten und hier bereits zitierten Veröffentlichungen der konfokalen Abbildung beinhaltet, und in den auf dem markteingef hrten Laser Scanning-Ophthalmoscopen, wie der Firma Rodenstock Instrumente in München realisiert worden sind.
Die technische Lösung zur Erweiterung der Bildübertragung von nur einer auf drei Farben, die in den Ansprüchen 10 und 1 1 dieses Patentes beschrieben wird, ist auch in anderen Laser-Display-Anlagen seit vielen Jahren realisiert und stellt deshalb ebenso keine Neuheit dar. Die Verschiebung der Tiefenlage der Bilder auf der Netzhaut, die in den Ansprüchen 12 bis 16 beschrieben ist, wird durch gleichartige Maßnahmen in den bereits existierenden Geräten durchgeführt.
Die Trennung von zwei Strahlen durch Polarisationsunterscheidung wie sie in Anspruch 16 bis 19 und in Fig.6 des Patentes beschrieben wird, um ein gleiches Bild in beide Augen zu projizieren, ist grundsätzlich eine ungeeignete Methode um "echte" dreidimensionale Bilder darzustellen, da diese Bilder hier keinen perspektivistischen Unterschied aufweisen. Darüber hinaus erlaubt diese Methode keine dynamische und individuelle Anpassung an die Augenausrichtung und ist deshalb technisch schwer umsetzbar.
In einer zweiten europäischen Anmeldung der Firma Motorola Inc. Nr. 0 562 742 AI mit der Bezeichnung "Direct retinal scan display" von August 1993 wird ein Direktsicht-Bildwiedergabegerät beschrieben, das wie das oben be- 3 schri ebene Patent von Sony auch die direkte Bildübertragung auf die Netzhaut betrifft, jedoch mit dem Unterschied, daß die Projektion über die Umlenkung über eine dem Menschen aufgesetzte Brille durchgeführt wird.
Diese Patentanmeldung bringt gegenüber der lange bestehenden Technik keine neue Lösungsansätze. Die direkte Montage des gesamten Displays am Kopf des Betrachters im Anspruch 4 bzw. die Verwendung einer Umlenkung des Strahlenganges des Projektors über eine Brille im Anspruch 5 ist bei "virtual-reality" Brillen bzw. bei Head-Up-Display im Pilotenhelmen bereits eingeführt.
Damit eine Abbildung auf der Netzhaut gelingt, müssen verschiedene optische Anforderungen an die Laserstrahlumlenkung erfüllt werden, die außer der besonderen Auslegung der Strahlführung nach der Strahlablenkung, auch eine spezielle Brillenglaswölbung erfordert. Die Wege zur Lösung dieser grundlegenden optischen Problematik werden in dieser letztgenannten Patentanmeldung jedoch nicht betrachtet oder erwähnt.
Beschreibung der Erfindung
Die Erfindung schlägt eine seriell arbeitende Aufnahme- und Projektions- vorrichtung vor, die es ermöglicht, die auf der Netzhaut des menschlichen Auges beim natürlichen Sehvorgang erzeugten Bilder der Außenwelt aufzunehmen und mit elektronischer Bildverarbeitung zu modifizieren, bzw. zu ergänzen. Dieses Bild dann nachfolgend mit Hilfe von Laserstrahlbildprojektion zurück ins Auge zu projizieren und mit dem Originalbild synchron zu überlagern. Die Erfindung sieht ferner vor, daß sowohl bei der Aufnahme, als auch bei der Projektion gleichzeitig die Strahlung aller Grundfarben Rot, Grün und Blau detektiert bzw. projiziert wird.
Diese Aufgabe ist grundsätzlich eine andere als die eines konfokalen Laser- Scanning-Opthalmoskops bei dem die Netzhaut im gleichen Abtastvorgang gleichzeitig beleuchtet und abgebildet wird, denn in der Anordnung gemäß der Erfindung wird in einem ersten Abtastzyklus das flächenhafte Reflexbild der Außenwelt nach dem "flying spot" Verfahren abgetastet und erst in einem zweiten zeitlich getrennten Abtastzyklus das nachgearbeitete Laserbild auf die Netzhaut projiziert. In einem dritten Abtastvorgang wird wieder das Re- flexbild gewonnen, in dem vierten wieder das Laserbild projiziert usw. Da diese Vorgänge zeitlich so schnell wechseln, entsteht für das Auge, wie bei -ΛO der Betrachtung vom Femsehen oder Film, ein kontinuierlicher Ablauf in dem das Laserbild synchron und deckungsgleich, unabhängig von den Augenbewegungen, dem Originalbild folgt.
Die Erfindung unterscheidet sich auch von allen dem Anmelder bekannten Vorschlägen zur direkten Laserprojektion ins Auge, sowohl der Projektion von Fremdbildem in der geschlossenen Brille (Cyberspace), als auch der Zusatzbildem in einer offenen Brille (HUD), durch die hier zum ersten Male vorgeschlagene direkte Koppelung der Projektion mit dem momentanen Bildinhalt der Außenwelt und die neuartigen technischen Ausführungen zu ihrer Realisierung.
Die Aufnahme und bildhafte Weiterverarbeitung des Netzhautreflexes ist durch den raschen Forschritte in der Aufnahme- und Verarbeitungstechnik von schwachen optischen Signalen möglich geworden. Die Bestrahlungsstärke die die Netzhaut in der natürlichen Umgebung ausgesetzt ist beträgt von der hellsten Außenbeleuchtung von 10~4 W cm-2 bis etwa 10~7 W cm--2 . Bei schwacher Innenbeleuchtung, unter Lesebedingungen beträgt sie 10_*5 W cnr2 bis 10_6 W CITΓ2 (siehe z.B. "Safety with Lasers and Other Optical Sources", D. Sliney and M. Wolbarsht, 1980). Mit einem Photon-Counting Photomultiplier und punktueller Abtastung mit Lasern in einer TV-Norm wurde eine Empfindlichkeit bis zu 2 xl0~5 W cm-2 bei einem Signal- Rauschverhältnis von 5 erreicht (s. R.H.Webb et al., "Flying spot TV ophthalmoscope", Applied Optics, Vol. 19, No. 17 , pp.299 (1980).
Eine Erhöhung der Empfindlichkeit bis 10_7 W cm-2 kann z.B. erreicht werden durch verbesserte Rauschunterdrückung, eine verringerte Ortsauflösung, bzw. durch die Verwendung eines Spiral-Scans anstatt des TV- Rasterscans, der eine reduzierte Scan-Geschwindigkeit in der Mitte des Gesichtsfeldes und damit eine verlängerte Integrationszeit dort bietet.
Die Aufgabe der Erfindung wird durch die in Anspruch 1 und 2 angegebenen Merkmale gelöst. In den Unteransprüchen sind vorteilhafte Ausgestaltungen und Weiterbildungen angegeben.
In der nachfolgenden Beschreibung wird die Erfindung anhand von Ausführungsbeispielen erläutert. Die Figuren ergänzen diese Erläuterungen. Es zeigt: - Λ
Fig.1 ein Schemabild eines Ausführungsbeispieles der Aufnahme- und Projektionsvorrichtung ins Auge nach Ansprüchen 1 bis 5 in einer Ausführung wo die Abbildung zwischen dem Scanner und Auge über zwei konkave reflektierende Flächen einen Hilfspiegels HS und die Innenseite der Brille BG durchgeführt wird.
Fig.2 ein Schemabild eines Ausführungsbeispieles der Aufnahme- und Projektionsvorrichtung ins Auge nach Ansprüchen 1 bis 4 und 6 in einer Ausführung wo die Abbildung zwischen dem Scanner und dem Auge an der konkaven Hilfsspiegelfläche BG', einer konvexen Hilfsspiegel HS' und der konkaven Innenseite des Brillenglases BG durchgeführt wird.
Fig. 3 ein Schemabild eines Ausfuhrungsbeispieles des starren Strahlenganges zwischen Aufnahme- und Projektionsvorrichtung mit Pho- toempfangern und Lasermodulatoren nach Anspruch 14
Fig. 4 ein Schemabild eines Ausführungsbeispieles der flexiblen Kopplung der Aufnahme und Projektionsvorrichtung an den Strahlum- schalter und Scaneinheit mit Hilfe von flexiblen Glasfasern nach Anspruch 15
Fig.5 ein Schemabild eines Ausfühmngsbeispieles der Anbringung der Aufnahme- und Projektionsvorrichtung für beide Augen in einem Brillengestell.
Fig. 6 ein Schemabild eines Ausführungsbeispiel des Strahlenganges im Scanner bei Aufnahme des Netzhautreflexes und anschließender Projektion des Bildes auf die Gegenstände der Außenwelt, durch eine Umschaltung des horizontalen Scanspiegels um einen Winkel von 90° nach Anspruch 23.
Fig. 7 ein Schemabild der opto-elektronischen und elektronischen Untereinheiten und ihren Verbindungen.
Fig. 8 ein Schemabild des zeitlichen Ablaufs der Abtast- und Laserpro- j ektionsvorgänge Fig. 9 ein Schemabild des in Mikrobauweise im Brillengestell integrierten Scanner mit Glasfaserkopplung zu einer tragbaren Empfangs- und Projektionseinheit und drahtloser Übertragung zum Bildverarbeitungscomputer.
Die Erfindung schlägt gemäß dem Anspruch 1 eine scannende Aufhahme- vorrichtung vor um den lichtschwachen Reflex von Gegenstände der Außenwelt AW auf der Netzhaut NH des Auges AA seriell aufzunehmen wie, in den Fig. 1 bis Fig. 3 dargestellt ist.
Die gleiche Abbildungs- und Scanvorrichtung wird auch verwendet um das verarbeitete Bild mit Hilfe von Lasern und Bildmodulatoren über den entgegengesetzten Lichtweg auf die Netzhaut zeitversetzt gemäß Anspruch 2 zu projizieren, wie auch in Fig. 1 bis Fig. 3 dargestellt ist.
Der zentrale Gegenstand der Erfindung ist eine spezielle Brille, die einem Betrachter aufgesetzt wird, wie in Fig. 5, Fig. 6 und Fig. 9 gezeigt ist. Die Brillengläser BG dienen als Strahlteiler. In Transmission, für das Licht aus der Außenwelt und in Reflexion, als eine Abbildungsfläche des von der Netzhaut durch das Auge rückgestreuten Lichtes, das mit Hilfe weiterer Abbildungselemente und eines zweiachsigen Scanner für die Horizontal- HSS und Vertikalablenkung VSS einem Photempfänger zugeführt wird (Fig. 1 bis Fig. 4)
Der Strahlengang wird gleichzeitig derart gestaltet daß die Verlängemng der Sichtlinie vom Detektor durch die Brille immer in der absorbierenden Schicht einer Strahlungssenke SS mündet. Die Verlängemng der Sichtlinie des Auges durch die Brille läuft dagegen zur Außenwelt AW (Fig. 1 bis Fig. 6).
Die einfachste Methode der Strahlteilung an den Brillengläsern BG ist die Verwendung von 50% transmittierenden und 50% reflektierenden Spiegelgläsern. Es können auch aktive elekronisch steuerbare Spiegel, die von vollständiger Transmission bis vollständiger Reflexion in den beiden Abtastzyklen umschalten, eingesetzt werden.
Das Auge AA bildet von der Außenwelt AW parallele oder nahezu parallele Strahlbündel auf der Netzhaut ab. Der Drehpunkt der Strahlbündel bei unterschiedlichen Betrachtungswinkel zur Außenwelt liegt in der Pupille des Auges AP. A3, Die Erfindung geht von einer gleichzeitigen Aufnahme und Projektion in beide Augen wie in Fig. 5 und Fig. 6 gezeigt wird und damit einem weitgehend identischen Strahlengang für das linke und rechte Auge. Bei Fehlsichtigen, auch mit unterschiedlicher Brechkraft des linken und rechten Auges, sieht die Erfindung vor, daß entweder die Brillengläser in ihrer Brechung durch entsprechende unterschiedliche Auslegung der Wölbung der Außenseite und der Innenseite individuell angepaßt sind, bzw. daß Kontaktlinsen getragen werden. Für Normalsichtige ist die Wölbung der Innen- und Außenseite der Brillengläser die Brillengläser BG identisch.
Das von jedem einzelnen Bildpunkt der Netzhaut aus dem Auge zurrückge- streute Licht ist in gleicher Weise eine nahezu paralleles Strahlenbündel, der den identischen Weg wie das einfallende Licht in entgegengesetzter Richtung auf die Innenseite des teilweise reflektierenden Brillenglases BG fällt. Die Krümmung dieser Fläche wird so gestaltet, daß gemeinsam mit der Augenlinse ein zweites Bild des Bildpunktes auf der Netzhaut in der Zwischenebene ZE entsteht (Fig. 1). Ein Hilfsspiegel HS, kollimiert die Strahlen erneut und bildet sie so ab, daß sie über den gemeinsamen Drehpunkt (sie auf der anderen Seite durch die Augenpupille) auf der Achse des horizontalen Scannerspiegels HSS verläuft. Eine vertikale Ablenkung wird durch einen zweiten Scannerspiegel VSS durchgeführt.
Die Abbildung aus und ins Auge mit Hilfe der beiden Spiegel, Hilfsspiegel und Brillenglasspiegel bei gleichzeitiger freier Sicht durch das Brillenglas BG zur Außenwelt AW erfordet relativ starke Strahlablenkung. Die gegenläufige Umlenkung über zwei konkave Spiegelfläche hebt zum Teil die dabei auftretenden Abbildungsfehler auf. Der gegenläufige sonst identische Strahlengang von Bildaumahme und Bildprojektion vermeidet auch zum großen Teil die Entstehung von Bildverzerrungen im Auge auf.
Bei sphärischen Spiegeln treten jedoch wegen ihren starken Abbildungsfehlem trotzt der relativ kleinen erforderlichen Ablenkwinkel von < +/-100 restliche Bildstömngen auf. Für die Abbildung und Umlenkung ins Auge sind deshalb hochwertigere Spiegelsysteme, wie konkave Parabolspiegel und elliptische Spiegel in Anspruch 5 vorgesehen. Eine effiziente Reduktion der Abbildungsfehler ist nach Anspruch 6 auch mit Hilfe der Spiegelung an zwei konkaven BG und BG'und einer konvexen Fläche HS möglich. Hier kann als Vollspiegelfläche BG' die zweite Hälfte des Brillenglases, gleicher konkaven Krümmung wie BG verwendete werden. Die Erfindung geht davon aus daß jede Art von zweiachsigen Bildscannern verwendet können wie z.B. Drehspiegel oder Polygonspiegel für Zeilenablenkung und Schwingspiegel für Vertikalablenkung bzw. akusto-optische Ablenkeinheiten für beide Achsen
Mit einer rasterförmigen Abtastspur mit getrennter horizontaler und vertikaler Ablenkung kann der Aufbau des Bildes konform mit den gebräuchlichen Video-Normen wie VHS und NTSC und HDTV gestaltet werden (Ansp ch 9).
Es können aber andere Abtastspuren, die dem Bildaufbau des Auges besser angepaßt sind als der Rasterscan, verwendet werden, wie z.B. ein Spiralscan. Die größte Sehschärfe in der Netzhaut (Retina) ist im Bereich der sogenannten Fovea centrales, die im Gesichtsfeld nur einen kleinen Winkelbereich von etwa +/- 2° um die Sehachse aufnimmt. Wenn sich die Aufmerksamkeit auf ein Objekt richtet, werden die Augen normalerweise so bewegt, daß die vom fixierten Objekt ausgehenden Strahlen auf die Fovea centralis fallen.
Ein Spiralscan der Bildabtastung, in dem die Aufenthaltsdauer des Abtaststrahles in Richtung zur Sehachse kontinuierlich zunimmt, wäre dadurch wesentlich besser dem Aufbau der Netzhaut angepaßt als ein Rasterscan. Durch die verlängerte Aufenthaltsdauer wird dadurch auch ein entsprechend höheres Signal/Rauschen- Verhältnis in dem mittleren Bereich erreicht.
Die Erfindung sieht aus diesen Gründen außer der Verwendung eines Rasterscans in Anspmch 9 auch in dem Anspmch 10 auch vor, daß durch eine entsprechende Auslegung und Ansteuemng der beiden Strahlablenkeinheiten ein Spiralscan auch verwendet werden kann.
Wie in einem Laser-scanning-ophthalmoskop wird der Strahlengang zwischen dem Projektions- und Empfangskanal mit Hilfe eines Schaltspiegels SUS getrennt. Da der Durchmesser des Projektionsstrahls wegen der guten Bündelung und dem kleinen Durchmesser der Laserstrahlen kleiner ausgelegt werden kann als der Empfangsstrahl bietet sich die Möglichkeit an einen Lochspiegel zur Trennung der beiden Strahlengänge wie in Fig. 3 und Fig. 4 dargestellt ist, zu verwenden. Eine effizientere Methode, die sich wegen der zeitlich alternierenden Verwendung der beiden Strahlengänge ergibt, ist der Einsatz eines Kippspiegels der die Strahlengänge synchron mit der Abtastung umschaltet. Diese Lösung hat die Vorteile der geringeren optischen Verluste -A S im Empfangskanal und der besseren optischen Abschirmung des direkten Übersprechens von Projektions- in den Empfangskanal.
Im Strahlgang der Projektionseinheit hinter dem Strahlschalter SUS ist wie in Fig.3 gezeigt sieht die Erfindungsmeldung im Anspmch 17 eine Fokus- siereinrichtung FE, die die Größe des Laserbildflecks in Anspmch 17 und des abgetasteten Flecks beim Empfang GFB in Fig. 3 auf der Netzhaut einstellt. Zur Einstellung des von den Photomultipliern gesehenen momentanen Gesichtsfeldes dient nach Anspmch 18 eine gemeinsame Gesichtsfeldblende GFB im Strahlengang zweier Linsen. Die Einstellung der Gesichtsfeldblenen ist zur Anpassung an die Beleuchtungsverhältnisse an der Netzhaut und zur Einstellung der erwünschten Ortsauflösung notwendig. Es ist vorgesehen, daß beide Einstellung über Aktoren automatisch nach Rechnerbefehl durchgeführt werden können wie in Fig. 7 dargestellt wird.
Es ist in Anspmch 12 vorgesehen, daß der Netzhautreflex mit der Verwendung von dichroitischen Filtern (DFR, DFG und DFB) und drei getrennten Detektoren (PMR, PMG und PMB) in bis zu drei Farbkanälen aufgeteilt ist und damit ein weitgehend unverfälschtes Farbbild aufgenommen werden kann. Auf der Laserseite wird ebenso mit dichroitischen Strahlteilern die Strahlen von bis zu drei Lasern im roten, grünen und blauen Spektralbereich (LR, LG, LB) nach der getrennten Bildmodulation jeder Farbe (MR, MG, MB) auf einer gemeinsamen Achse vereinigt.
Zur farbtreuen Bildaufhahme wird das optische Signal mit dichroitischen Filtern DFR DFG und DKB im Empfangskanal in die drei Farbkomponenten vor den drei Photoempfängern, verzugsweise Photomultipliern PMR, PMG und PMB in die drei Gmndfarben zerlegt und getrennt vermessen. Wegen der schwachen Lichtsignale werden vor allem Photon-counting Verfahren zum Einsatz kommen
Die Erfindung sieht femer vor, daß das von dem Detektor aufgenommene elektronische Bild nach einer Bildverarbeitung mit Hilfe von Laserstrahlquellen und -modulatoren wieder in ein serielles optisches Bild umgewandelt wird, und in einem zweiten Bildzyklus mit der gleichen optischen Einrichtung, -jetzt in der Funktion als Strahlablenkeinheit (Laser-Scanner) - nach Reflexion an der Brillenglasinnenfläche in das Auge synchron, aber zeitversetzt mit der Abtastung des Originalbildes zurückprojiziert wird. 6
Die Erfindung schlägt vor in Anspmch 20 die Perioden der Bildaufhahme und Bildprojektion zeitlich zu trennen, d.h. alternierend durchzuführen wie in Fig. 8 dargestellt ist um eine Stö ng der Aufnahme des schwachen Netzhautbildes der Außenwelt durch die lichtstärkere Projektion zu vermeiden. In einem ersten Bildzyklus wird z.B. das Netzhautreflexbild aufgenommen und in dem zweiten wird das verarbeitete elektronische Bild in das Auge projiziert. In dem dritten Bildzyklus wird eine Aufnahme des Netzhautreflexbildes durchgeführt, in dem vierten wird wieder die Zurückprojektion durchgeführt, usw.
Wenn dieser Bildwechsel schnell genug ist, sorgt die Trägheit der Gesichtsinnes dafür, daß beide Bilder dem Betrachter überlagert erscheinen, vorausgesetzt, daß die Zeitverzögemng für das in das Auge eingeblendete Bild unterhalb der Bewegungsdauer und Wahrnehmungszeit des Auges liegt, und daß die Stabilität und Auflösung des eingeblendeten Bildes mit der Auflösung des Auges vergleichbar ist.
Damit, sowohl die unbewußten schnellen Sakkadenbewegungen des Auges mit einer mittleren Amplitude von 5 Bogenminuten und einer Dauer zwischen 10 und 20 msec, als auch die schnellen Augenbewegungen von 20°- 30 sec beim Verfolgen eines bewegten Objektes über einen größeren Winkel erfaßt werden können, muß die Bildwiederholfrequenz ausreichend hoch sein. Mit einer Wiederholfrequenz zwischen 50 Hz bis 100 Hz, sowie in der Femsehen- und Computertechnik, ist die Aufnahme den schnellsten Bewegungsvorgängen des Auges weitgehend angepaßt. Dies gilt, sowohl für einen Raster- als auch einen Spiralscan.
Weitere technische Anfordemngen an die Aufhahmevorrichtung betreffen die Größe des erfaßten Gesichtsfeldes und die Bildauflösung der hier vorgeschlagenen Vorrichtung. Für die meisten Anwendungen ist der Bereich des schärfsten Sehens mit einem Durchmesser von 1 ° und einer Anzahl von 7 Millionen Zapfen (Bildpixel) in der Netzhautgmbe (Fovea) aber auch der angrenzende Bereich mit wesentlich geringerer Auflösung bis etwa 10° Durchmesser von Interesse. Für diese Unterschiedlichen Auflösungsanforderungen ist gerade der Spiralscan der Abtastspur besonders geeignet.
Als Lichtquellen zur Rückprojektion der Bilder ins Auge sind Halbleiterlaser bzw. miniaturisierte Festkörperlaser vorgesehen mit einer niedriger Dauerstrichleistung (<300 μW), die keine Gefährdung des Auges vemrsachen kön- AI nen. Mit der Verwendung von Halbleiteriasem könnte die Bildmodulation direkt über ihre Stromversorgung durchgeführt werden. Damit alle Farben erzeugt werden empfiehlt sich die Verwendung von drei Lasern mit den Gmndfarben rot, grün, blau. Wie das bekannte Farbdreieck des menschlichen Gesichtsinnes zeigt können alle anderen Farben sowie die Unfarben grau und weiß durch Farbsummation von monochromatischen Laserlinien dieser Farben gebildet werden. Die Erfindung beinhaltet auch die Möglichkeit der Verwendung von einzelnen Farben als monochromatische Lösung vor.
Die Erfindung sieht wie in Fig. 7 dargestellt einen Signal-Prozessor SP vor, der das direkte Bild von der Netzhaut elektronisch bearbeitet und alle Funktionen der Vorrichtung sowie die von Scannern VSS/HSS und Laserfleckeinstellung und Größe der Gesichtsfeldblende LAA/GFB synchron koordiniert. Der Bildverarbeitungscomputer BVC übernimmt dann die vom Auge wahrgenommenen Bild oder Bilder anderer technischer Sensoren die über einen externen Anschluß EA dem Computer zugeführt werden und bearbeitet sie nach einer vorgegebenen Software SW, bevor sie mit Hilfe des Signalprozessors auf die Laserstrahlen als Bildsignal aufmoduliert werden
Die Laser-Projektion ermöglicht außer der Verarbeitung des aktuellen vom Computer verarbeitetes Bild in das Auge zu projizieren und mit dem Orignalbild zu verschmelzen, auch Fremdbilder, die dem Computer von extern zugeleitet werden, dem Außenbild im Auge synchron zu überlagern. Wenn die Zeitspanne zwischen Bildaufhahme und -Projektion im Vergleich zu den schnellen Augenbewegungen entsprechend kurz ist, wird das Auge, wie bei Betrachtung eines Fernsehschirmes, keine Bildunterbrechung mehr wahrnehmen.
Die getrennte aber gleichzeitige Bildabtastung an beiden Augen erfaßt auch die perspektivischen Unterschiede beider Bilder. Da diese bei der Laser- Zurückprojektion in beiden Augen erhalten bleiben, ist eine Wiederherstellung des räumlichen Sehens gewährleistet.
Außer der Projektion von den Netzhautbildern nach Bildverarbeitung zurück ins Auge ermöglicht die hier vorgeschlagene Einrichtung nach Anspmch 25 auch die Projektion dieser Laserbilder direkt auf die in der Umwelt befindlichen und vom Auge gesehenen Gegenstände. Dies Ausfuhmng der Erfindung wird schematisch in Fig. 6 durch das Umklappen des Scanspiegels um einen Winkel von 90° schematisch dargestellt. A9 Die in der Erfindung verwendeten Bauelemente sind heute weitgehend miniaturisiert und kostengünstig erhältlich. Die Strahlumlenkeinheit und Scanner können in einem einfachen Brillengestell B wie in Fig. 9 dargestellt ist untergebracht werden. Mit Hilfe von Glasfaserleitung GFL können Laserprojektionseinheit und Empfangseinheit abgesetzt in einem kleinen Gehäuse TOE , z.B. der Größe eines Taschenbuches mit Batterieversorgung untergebracht werden. Der Datenaustausch mit einem externen fest installierten Bildverar- beitungsrechner kann entweder über Radiowellen oder Infrarotstrahler erfolgen. Alle Elemente der Vorrichtung der Erfindung könnten nach dem heutigen Stand der Technik somit von einem Menschen mühelos getragen werden und der drahtlose Bilddatenaustausch mit dem externen Rechner würde seine unbeschränkte Bewegungsfreiheit ermöglichen.
Die verschiedensten Einsatzbereiche der Erfindung können in den nachfolgenden vier Kategorien zusammengefaßt werden:
• Aufnahme von Bildern der Außenwelt, ihre Verarbeitung, Zurückpro- jektion und Verschmelzung mit dem Originalbild im Auge.
• Überlagerung von Bildern anderer Aufnahmesysteme, z.B. in von der gleichen Szene in anderen Spektralbereichen auf das direkte Bild.
• Überlagerung von virtuellen Bildern, die alleine vom Computer hergestellt werden und
• Aufnahme von Bildern der Außenwelt und ihre Laser-Projektion nicht ins Auge, sondern auf die gleichen, vom Auge gesehenen Gegenstände der Außenwelt.
In der ersten Kategorie sind Anwendungen mit dem Ziel, das von dem Auge aufgenommene Bild durch gezielte Bildsummation zu verbessern, z.B. ein verschwommenes oder lichtschwaches Bild zu verschärfen und verstärken, was für Sehbehinderte, aber auch für Normalsichtige von großer Hilfe wäre.
Andere mögliche Bildändemngen wären z.B. die Änderung der Farbe von Objekten durch neue Farbsummation. Diese Technik könnte zur gezielten Weißfärbung von bestimmten Bereichen des Sehfeldes, und damit zur Auslöschung oder Vermindemng der optischen Informationen verwendet werden. AΪS
Die zweite Kategorie beinhaltet Überlagerung von Bildern der gleichen Szene z.B. aus dem unsichtbaren infraroten Bereich oder von Radargeräten. Diese Technik würde z.B. das Fahren oder Fliegen in der Nacht und bei Nebel oder Dunst wesentlich erleichtem.
In medizinischen Anwendungen könnten z.B. Röntgenbilder, akustische Bilder und Bilder vom Kemspintomographen dem direkten Bild des Körpers des Patentien oder seiner Organe zur Hilfestellung des Arztes bei der Diagnose und in der Chimrgie überlagert werden.
Die dritte Kategorie umfaßt Anwendungen, in denen das Bild durch virtuelle Zusatzeinblendungen ergänzt werden, wie z.B. in den Anwendungen der heutigen HUDs bei dem Führen von Fahrzeugen. Die Erfindung bietet den zusätzlichen Vorteil der exakten Synchronisation der Einblendung mit dem Außenbild. Dadurch könnten Fremdbilder auf genau definierten freien Stellen innerhalb des Direktbildes, z.B. mit geringem Bildinhalt, oder als Stereobild in einer anderen Entfernung als die übrigen Gegenstände, eingeblendet werden.
Zu dieser dritten Kategorie gehören interaktive Anwendungen aus der Computertechnik, d.h. die Einblendung einer virtuellen Computermaus (Zielkreuzes), die alleine mit den Augenbewegungen (anstatt mit der Hand) über reale Gegenstände der Außenwelt (auch Display) geführt werden. Das Anklicken, oder ein Befehl könnte hier durch zusätzliche Augenbewegungen z. B. Augenlidschlag, oder Stimme oder mit Tastendruck ausgeführt werden.
Diese dritte Kategorie beinhaltet auch Cyberspace-Anwendungen, d.h. die Einblendung von virtuellen Computervollbildern in die geschlossenen Brillen. Mit Hilfe der Erfindung könnten Aufnahmen des Netzhautbildes der eingeblendeten virtuellen Bilder genutzt werden, um diese gegenüber den Augenbewegungen zu stabilisieren.
Die vierte Kategorie beschreibt eine Art "aktives Sehen", d.h. eine vom Auge gesehene und von der Abtastvorrichtung aufgenommene Szene wird in dem nächsten Abtastzyklus mit einem Laser-Bildscheinwerfer seriell beleuchtet. Diese so beleuchtete Szene wird wieder vom Auge wahrgenommen und führt in dem darauffolgenden Zyklus zu einem verändertem zweiten Laser-Beleuchtungsvorgang, der von einem dritten Vorgang, usw. gefolgt wird. In dieser Weise entsteht eine optische Rückkoppelungsschleife, die durch eine entsprechenden Auslegung der Beleuchtung als positive oder negative Rückkoppelung für die verschiedensten Anwendungen genutzt werden kann, z.B. um schwach erkennbare Objekte zu erhellen, deren Kontrast zu erhöhen oder ihre Farbe zu ändern.

Claims

HPatentansprüche
1. Vorrichtung zur Aufnahme des auf der menschlichen Netzhaut des Auges abgebildeten Bildes der Außenwelt mit Hilfe einer scannenden Aufhahmevorrichtung, dadurch gekennzeichnet, daß die Strahlen der Außenwelt durch die Gläser einer Brille transmittiert werden, die auf ihren Innenseiten als gewölbte abbildende Strahlteilerspiegel gestaltet sind und daß zur Aufnahme des von jedem Punkt der Netzhaut zurückgestreuten und aus dem Auge austretenden parallelen Strahlenbündel und zu ihrer Abbildung und Umlenkung eine zweiachsige Scanvorrichtung vorgesehen ist, die das Lichtbündel zu einem opto-elektronischen Detektor zur seriellen Aufnahme des Netzhautreflexes weiterleitet.
2. Vorrichtung nach Anspmch 1, dadurch gekennzeichnet, daß mit Hilfe eines Strahlteilers Laserstrahlen über den gleichen Lichtweg, die gleiche Scanvorrichtung sowie Abbildung und Umlenkung an der Innenseite der gewölbten Brillengläser in umgekehrter Richtung wie das Reflexbild auf die Netzhaut abgebildet werden.
3. Vorrichtung nach Anspmch 1 und 2, dadurch gekennzeichnet, daß mit Hilfe eines Strahlumschalters Laserstrahlen über den gleichen Lichtweg, die gleiche Scanvorrichtung sowie Abbildung und Umlenkung an der Innenseite der gewölbten Brillengläser in umgekehrter Richtung wie das Reflexbild auf die Netzhaut abgebildet werden.
4. Vorrichtung nach Anspmch 1 bis 3, dadurch gekennzeichnet, daß die momentane optische Scanachse von Scanner aus gesehen in ihrer Verlängemng durch das Brillenglas immer in eine lichtabsorbierende Strahlungssenke verläuft.
5. Vorrichtung nach Anspmch 1 bis 4, dadurch gekennzeichnet, daß die Abbildung und Umlenkung der von Scanner ausgehenden Strahlenbündel vor der Umlenkung der Brille ins Auge mit Hilfe eines konkaven Hilfsspiegels abgebildet und umgelenkt werden.
6. Vorrichtung nach Anspmch 1 bis 4, dadurch gekennzeichnet, daß die Abbildung der von Scanner ausgehenden Strahlbündel vor der Umlenkung der Brille ins Auge sowohl mit Hilfe eines konkaven als auch konvexen Hilfsspiegels abgebildet und umgelenkt werden.
7. Vorrichtung nach Anspmch 1 und 2, dadurch gekennzeichnet, daß die Bildabtastung und Laserprojektion im Auge gegeneinder zeitlich getrennt und alternierend mit einer festen Bildfrequenz durchgeführt werden.
8. Vorrichtung nach Anspmch 1 bis 3, dadurch gekennzeichnet, daß während der Periode der Bildabtastung zeitweise auch eine Laserbildprojektion ins Auge durchgeführt wird.
9. Vorrichtung nach Anspmch 1 bis 4, dadurch gekennzeichnet, daß die Abtastspur über die Netzhaut entsprechend den bekannten Video-Normen mit der Ablenkeinheit geführt wird.
10. Eine Vorrichtung nach den Ansprüchen 1 bis 9,dadurch gekennzeichnet, daß die Abtastpur rasterformig über die Netzhaut mit einer entsprechenden Auslegung und Ansteuemng der Scanvorrichtung durchgeführt wird.
1 1. Vorrichtung nach Anspmch 1 bis 9, dadurch gekennzeichnet, daß die Abtastspur spiralförmig über die Netzhaut mit einer entsprechende Auslegung und Ansteuemng der Scan Vorrichtung geführt wird.
12. Vorrichtung nach Anspmch 1 bis 1 1 , dadurch gekennzeichnet, daß im optischen Empfangskanal mit Hilfe von mehreren Strahlteilern und Photodetektoren mehrere spektrale Bereiche des Empfangssignals unabhängig voneinander detektiert werden können.
13. Vorrichtung nach Anspmch 1 bis 12, dadurch gekennzeichnet, daß im Beleuchtungskanal mit Hilfe von Strahlteilern mehrere Laserstrahlen auf die gleiche Strahlachse gebracht werden können und dadurch gemeinsam auf die Netzhaut abgebildet werden können
14. Vorrichtung nach Anspmch 1 bis 13, dadurch gekennzeichnet, daß der Strahlengang der Laserprojektionseinheit und Empfangseinheit mit einer starren Strahlf hrung ausgelegt ist.
15. Vorrichtung nach Anspmch 1 bis 13, dadurch gekennzeichnet, daß der Strahlengang der Laserprojektionseinheit mit Lasern, Bildmodulatoren und Strahlteilern über eine Glasfaser an den Strahlumschalter geführt wird
16. Vorrichtung nach Anspmch 1 bis 14, dadurch gekennzeichnet, daß der Strahlengang der Empfangseinheit mit Photoempfangern und Strahlteilern über eine Glasfaser an die Strahlumschalteinheit geführt wird
17. Vorrichtung nach Anspmch 1 bis 16, dadurch gekennzeichnet, daß im Strahlengang der Laserprojektionseinheit eine Strahl fokussiereinrichtung integriert ist womit die Größe des Bildflecks der Laser auf der Netzhaut variiert werden kann
18. Vorrichtung nach Anspmch 1 bis 17,dadurch gekennzeichnet, daß im Strahlengang der Empfangseinheit eine variable Gesichtsfeldblende integriert ist womit die Größe des Abtastflecks auf der Netzhaut variiert werden kann
19. Vorrichtung nach Anspmch 1 bis 18,dadurch gekennzeichnet, daß das von den Photoempfangern aufgenommene Bild einem Bildverarbeitungscomputer zugeleitet wird der synchron mit der Bildabtastung die aufgenommenen Bilder bearbeitet.
20. Vorrichtung nach Anspmch 1 bis 19,dadurch gekennzeichnet, daß das von einem Bildverarbeitungscomputer verarbeitete Bild der Netzhaut, mit Hilfe von elektro-optischen Modulatoren im Strahlengang der einzelnen Laserstrahlen ein Bild synchron aber zeitversetzt mit der Abtastung auf der Netzhaut entstehen läßt.
21. Vorrichtung nach Anspmch 1 bis 20, dadurch gekennzeichnet, daß Fremdbilder von anderen Sensoren als dem Auge in dem Bildverarbeitungscomputer mit dem dort abgespeicherten momentanen Netzhautbild örtlich und zeitlich synchronisiert wird und mit den Laserstrahlen zeitversetzt ins Auge projiziert werden.
22. Vorrichtung nach Anspmch 1 bis 21, dadurch gekennzeichnet, daß Informationen im Computer generiert in dem Bildverarbeitungscomputer mit dem dort abgespeicherten momentanen Netzhautbild örtlich und zeitlich synchronisiert wird und mit den Laserstrahlen ins Auge projiziert werden
23. Vorrichtung nach Anspmch 1 bis 22, dadurch gekennzeichnet, daß mit Hilfe eines optischen Schalters das Außenlicht vor der Brille teilweise oder ganz zusperrt.
24. Vorrichtung nach Anspmch 1 bis 22, dadurch gekennzeichnet, daß bei verminderter oder gesperrter Sicht nach außen und bei Projektion von Laserbildern von fremden Sensoren oder Computern auf der Netzhaut auch während der Laseφrojektion diese Bilder von den Detektoren aufgenommen und dem Bildverarbeitungscomputer zugeführt werden.
25. Vorrichtung nach Anspmch 1 bis 24, dadurch gekennzeichnet, daß die von der Netzhaut aufgenommenen Bilder der Außenwelt durch Umklappen des Strahlenganges um 180° gegenüber dem Achsenverlauf ins Auge den Strahl in die Außenwelt zur Beleuchtung der von dem Auge gesehenen Objekte mit dem vom Rechner abgeleiteten Laserbild verwenden.
PCT/EP1997/004188 1996-08-05 1997-08-01 Vorrichtung zur aufnahme des netzhautreflexbildes und überlagerung von zusatzbildern im auge WO1998005992A2 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US09/230,996 US6227667B1 (en) 1996-08-05 1997-08-01 Apparatus for recording the retina reflex image and for superimposing of additional images in the eye
AU44533/97A AU4453397A (en) 1996-08-05 1997-08-01 Device for the capturing of the retinal reflex image and the superimposition of additional images in the eye
EP97942840A EP0917661A2 (de) 1996-08-05 1997-08-01 Vorrichtung zur aufnahme des netzhautreflexbildes und überlagerung von zusatzbildern im auge
JP10507591A JP2000515645A (ja) 1996-08-05 1997-08-01 網膜反射画像を撮影し、目の中で追加画像を重ね合わせるための装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19631414.3 1996-08-05
DE19631414A DE19631414A1 (de) 1996-08-05 1996-08-05 Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge

Publications (3)

Publication Number Publication Date
WO1998005992A2 true WO1998005992A2 (de) 1998-02-12
WO1998005992A3 WO1998005992A3 (de) 1998-04-30
WO1998005992A8 WO1998005992A8 (de) 2001-06-21

Family

ID=7801716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP1997/004188 WO1998005992A2 (de) 1996-08-05 1997-08-01 Vorrichtung zur aufnahme des netzhautreflexbildes und überlagerung von zusatzbildern im auge

Country Status (6)

Country Link
US (1) US6227667B1 (de)
EP (1) EP0917661A2 (de)
JP (1) JP2000515645A (de)
AU (1) AU4453397A (de)
DE (1) DE19631414A1 (de)
WO (1) WO1998005992A2 (de)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951001A1 (de) * 1999-10-22 2001-05-31 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
DE10050174C1 (de) * 2000-10-11 2002-05-29 Bosch Gmbh Robert Vorrichtung zur Anzeige von Informationen in einem Fahrzeug
DE10121392A1 (de) * 2001-05-02 2002-11-21 Bosch Gmbh Robert Vorrichtung zur Steuerung von Geräten mittels Blickrichtung
DE10127367A1 (de) * 2001-06-06 2002-12-12 Klaus Dietrich Vorrichtung und Verfahren zur Laserprojektion hochauflösender Bilder auf die Netzhaut des Auges, überlagert mit dem Bildinhalt des Gesichtsfeldes
DE10127366A1 (de) * 2001-06-06 2002-12-12 Klaus Dietrich Vorrichtung und Verfahren zur Laserprojektion eines Bildes auf die Netzhaut des Auges, überlagert mit einem Weitwinkelgesichtsfeld
EP1132870A3 (de) * 2000-03-07 2003-10-29 Agilent Technologies, Inc. (a Delaware corporation) Persönliches Betrachtungsgerät mit einem System zur Identifizierung zu einem angeschlossenen System
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
US20130135181A1 (en) * 2000-10-07 2013-05-30 Metaio Gmbh System and Method for Determining the Orientation of an Eye

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19728890A1 (de) * 1997-07-07 1999-02-04 Daimler Benz Ag Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes
US6523955B1 (en) 1997-07-07 2003-02-25 Heinrich A. Eberl Method for improving optic perceptive faculty by modifying the retinal image
US7856750B2 (en) * 1997-12-08 2010-12-28 Horus Vision Llc Apparatus and method for calculating aiming point information
WO1999042315A1 (de) * 1998-02-20 1999-08-26 Daimlerchrysler Ag Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen
DE19807065C2 (de) * 1998-02-20 2000-11-30 Daimler Chrysler Ag Verfahren zur Steuerung von Funktionen mobiler Systeme
DE19807271A1 (de) * 1998-02-20 1999-09-23 Daimler Chrysler Ag Verfahren zur Erfassung und Umsetzung von ortsfesten Bildinformationen
DE19807081C2 (de) * 1998-02-20 2000-08-31 Daimler Chrysler Ag Verfahren zum Bedienen von Systemen durch optische Erfassung eines Bedienelements oder Gegenstands
JP2000258723A (ja) * 1999-03-11 2000-09-22 Minolta Co Ltd 映像表示装置
JP3695217B2 (ja) * 1999-04-30 2005-09-14 オムロン株式会社 画像処理装置及び画像入力装置
DE19952854C1 (de) 1999-11-03 2001-08-09 Bosch Gmbh Robert Assistenzvorrichtung in einem Fahrzeug
JP4574774B2 (ja) * 2000-01-06 2010-11-04 オリンパス株式会社 映像表示装置
US6494578B1 (en) * 2000-07-13 2002-12-17 The Regents Of The University Of California Virtual reality peripheral vision scotoma screening
DE10047237A1 (de) 2000-09-23 2002-04-11 Physoptics Opto Electronic Gmb System zur Aufnahme des Netzhautreflexbildes
EP1405121A1 (de) * 2000-10-07 2004-04-07 Dickerson, David Informationssystem mit erfassung des bildes der aussenwelt auf der netzhaut
EP1430349B1 (de) 2000-10-07 2009-12-09 Metaio Gmbh Informationssystem
WO2002031579A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Verfahren und vorrichtung zur überspielung von optischen informationen auf die menschliche netzhaut
WO2002031578A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Informationssystem
US6607527B1 (en) * 2000-10-17 2003-08-19 Luis Antonio Ruiz Method and apparatus for precision laser surgery
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
WO2002095480A1 (de) * 2001-05-22 2002-11-28 Physoptics Opto-Electronic Gmbh Verfahren und system zum zurverfuegungstellen von informationen über das auge.
WO2004051344A1 (ja) * 2002-11-29 2004-06-17 Brother Kogyo Kabushiki Kaisha 画像表示装置
WO2005022237A1 (ja) * 2003-08-27 2005-03-10 Brother Kogyo Kabushiki Kaisha 網膜走査型ディスプレイ装置
US7317955B2 (en) * 2003-12-12 2008-01-08 Conmed Corporation Virtual operating room integration
JP4586393B2 (ja) * 2004-03-31 2010-11-24 ブラザー工業株式会社 網膜走査画像表示装置
US9155483B2 (en) 2004-12-03 2015-10-13 The Invention Science Fund I, Llc Vision modification with reflected image
US7486988B2 (en) * 2004-12-03 2009-02-03 Searete Llc Method and system for adaptive vision modification
US8104892B2 (en) * 2004-12-03 2012-01-31 The Invention Science Fund I, Llc Vision modification with reflected image
US7334892B2 (en) * 2004-12-03 2008-02-26 Searete Llc Method and system for vision enhancement
US7344244B2 (en) * 2004-12-03 2008-03-18 Searete, Llc Adjustable lens system with neural-based control
US7594727B2 (en) * 2004-12-03 2009-09-29 Searete Llc Vision modification with reflected image
US7390088B2 (en) * 2004-12-03 2008-06-24 Searete Llc Adjustable lens system with neural-based control
US8244342B2 (en) * 2004-12-03 2012-08-14 The Invention Science Fund I, Llc Method and system for adaptive vision modification
US7334894B2 (en) * 2004-12-03 2008-02-26 Searete, Llc Temporal vision modification
US7350919B2 (en) * 2004-12-03 2008-04-01 Searete Llc Vision modification with reflected image
US7470027B2 (en) * 2004-12-03 2008-12-30 Searete Llc Temporal vision modification
US7931373B2 (en) * 2004-12-03 2011-04-26 The Invention Science Fund I, Llc Vision modification with reflected image
US7656569B2 (en) * 2004-12-03 2010-02-02 Searete Llc Vision modification with reflected image
WO2007003196A2 (en) * 2005-07-05 2007-01-11 O-Pen Aps A touch pad system
JP2007094279A (ja) * 2005-09-30 2007-04-12 Brother Ind Ltd 光結合器及び画像表示装置
US8013845B2 (en) * 2005-12-30 2011-09-06 Flatfrog Laboratories Ab Optical touch pad with multilayer waveguide
US8262646B2 (en) * 2006-01-20 2012-09-11 Lensar, Inc. System and method for providing the shaped structural weakening of the human lens with a laser
US8031186B2 (en) * 2006-07-06 2011-10-04 Flatfrog Laboratories Ab Optical touchpad system and waveguide for use therein
US8094136B2 (en) * 2006-07-06 2012-01-10 Flatfrog Laboratories Ab Optical touchpad with three-dimensional position determination
US9063617B2 (en) * 2006-10-16 2015-06-23 Flatfrog Laboratories Ab Interactive display system, tool for use with the system, and tool management apparatus
US20080189046A1 (en) * 2007-02-02 2008-08-07 O-Pen A/S Optical tool with dynamic electromagnetic radiation and a system and method for determining the position and/or motion of an optical tool
US7916922B2 (en) * 2007-08-23 2011-03-29 Siemens Aktiengesellschaft X-ray image orientation in radiography and fluoroscopy
RU2435221C2 (ru) * 2007-12-10 2011-11-27 Государственное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный университет Аэрокосмического приборостроения" Способ совмещения изображений, полученных с помощью различных фотодатчиков, и устройство для его реализации
EP2219512B1 (de) * 2007-12-10 2013-09-25 Optos PLC Verfahren zur durchführung mikroperimetrischer untersuchungen auf der basis eines netzhautvolumenbildes und eines gut aufgenommenen augenhintergrundbildes
DE102008041336A1 (de) * 2008-08-19 2010-02-25 Robert Bosch Gmbh Laserprojektionssystem zur Modulierung und/oder Abbildung von Laserstrahlen
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
JP5548026B2 (ja) * 2010-05-13 2014-07-16 ダイコク電機株式会社 遊技場用管理システム
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
FR2999302B1 (fr) * 2012-12-10 2017-12-22 Yahiatene Daniel Ait Dispositif permettant d'ameliorer la vision d'un etre humain
WO2014168567A1 (en) 2013-04-11 2014-10-16 Flatfrog Laboratories Ab Tomographic processing for touch detection
JP6209456B2 (ja) 2013-05-31 2017-10-04 株式会社Ｑｄレーザ 画像投影装置及び投射装置
US9874978B2 (en) 2013-07-12 2018-01-23 Flatfrog Laboratories Ab Partial detect mode
US9585557B1 (en) 2013-10-03 2017-03-07 Alvin Spivey Spectral flying spot eye-tracker and heads-up display
WO2015108480A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Improvements in tir-based optical touch systems of projection-type
US10146376B2 (en) 2014-01-16 2018-12-04 Flatfrog Laboratories Ab Light coupling in TIR-based optical touch systems
US10268041B2 (en) 2014-05-24 2019-04-23 Amalgamated Vision Llc Wearable display for stereoscopic viewing
WO2015199602A1 (en) 2014-06-27 2015-12-30 Flatfrog Laboratories Ab Detection of surface contamination
DE102014012452A1 (de) * 2014-08-21 2016-02-25 Rodenstock Gmbh Ermittlung von Benutzerdaten unter Berücksichtigung von Bilddaten einer ausgewählten Brillenfassung
JP6402991B2 (ja) * 2014-10-02 2018-10-10 セイコーエプソン株式会社 画像表示装置
DE102015100765A1 (de) * 2015-01-20 2016-07-21 Carl Zeiss Meditec Ag Operationsmikroskop und Verfahren zum Hervorheben von Augenlinsenstücken
EP3250993B1 (de) 2015-01-28 2019-09-04 FlatFrog Laboratories AB Dynamische berührungsquarantänerahmen
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
US10496227B2 (en) 2015-02-09 2019-12-03 Flatfrog Laboratories Ab Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
EP3265855A4 (de) 2015-03-02 2018-10-31 FlatFrog Laboratories AB Optische komponente zur lichtkopplung
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
CN108369470B (zh) 2015-12-09 2022-02-08 平蛙实验室股份公司 改进的触控笔识别
JP6231585B2 (ja) * 2016-01-05 2017-11-15 株式会社Ｑｄレーザ 画像投影装置
US10761657B2 (en) 2016-11-24 2020-09-01 Flatfrog Laboratories Ab Automatic optimisation of touch signal
KR102495467B1 (ko) 2016-12-07 2023-02-06 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
WO2018141948A1 (en) 2017-02-06 2018-08-09 Flatfrog Laboratories Ab Optical coupling in touch-sensing systems
JP2018132685A (ja) * 2017-02-16 2018-08-23 富士フイルム株式会社 ヘッドアップディスプレイ装置
WO2018174786A1 (en) 2017-03-22 2018-09-27 Flatfrog Laboratories Pen differentiation for touch displays
CN110663015A (zh) 2017-03-28 2020-01-07 平蛙实验室股份公司 触摸感应装置和用于组装的方法
IL252582A0 (en) * 2017-05-29 2017-08-31 Eyeway Vision Ltd A method and system for registration between the outside world and a virtual image
WO2019045629A1 (en) 2017-09-01 2019-03-07 Flatfrog Laboratories Ab IMPROVED OPTICAL COMPONENT
KR102022584B1 (ko) 2017-09-12 2019-09-18 주식회사 오토스윙 용접용 보호구
WO2019065245A1 (ja) 2017-09-29 2019-04-04 株式会社Ｑｄレーザ 画像投影装置
WO2019172826A1 (en) 2018-03-05 2019-09-12 Flatfrog Laboratories Ab Improved touch-sensing apparatus
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
WO2020112197A2 (en) 2018-09-04 2020-06-04 Hvrt Corp. Reticles, methods of use and manufacture
US10979681B2 (en) * 2018-09-13 2021-04-13 Varjo Technologies Oy Display apparatus and method of displaying using light source and beam scanning arrangement
US12055969B2 (en) 2018-10-20 2024-08-06 Flatfrog Laboratories Ab Frame for a touch-sensitive device and tool therefor
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
WO2020153890A1 (en) 2019-01-25 2020-07-30 Flatfrog Laboratories Ab A videoconferencing terminal and method of operating the same
US12178666B2 (en) 2019-07-29 2024-12-31 Augmedics Ltd. Fiducial marker
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
EP4066089B1 (de) 2019-11-25 2024-09-25 FlatFrog Laboratories AB Ein berührungsempfindliches gerät
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US12282653B2 (en) 2020-02-08 2025-04-22 Flatfrog Laboratories Ab Touch apparatus with low latency interactions
EP4104042A1 (de) 2020-02-10 2022-12-21 FlatFrog Laboratories AB Verbesserte berührungsempfindliche vorrichtung
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US12239385B2 (en) 2020-09-09 2025-03-04 Augmedics Ltd. Universal tool adapter
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US12150821B2 (en) 2021-07-29 2024-11-26 Augmedics Ltd. Rotating marker and adapter for image-guided surgery
IL319523A (en) 2022-09-13 2025-05-01 Augmedics Ltd Augmented reality glasses for image-guided medical intervention

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4213678A (en) 1977-09-29 1980-07-22 Retina Foundation Scanning ophthalmoscope for examining the fundus of the eye
EP0562742A1 (de) 1992-03-25 1993-09-29 Motorola, Inc. Direkte Abtastbildwiedergabe auf der Netzhaut
EP0473343B1 (de) 1990-08-20 1995-11-22 Sony Corporation Direktsicht-Bildwiedergabeapparat

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2555039B1 (fr) * 1983-11-21 1986-04-04 Centre Nat Rech Scient Ophtalmoscope catadioptrique a balayage
DD238915A1 (de) * 1985-07-01 1986-09-10 Zeiss Jena Veb Carl Anordnung zur pruefung des refraktionszustandes des menschlichen auges
DE3638226A1 (de) * 1986-11-08 1988-05-11 Rodenstock Instr Vorrichtung zur beobachtung der hinteren augenabschnitte
DE3607721A1 (de) * 1986-03-08 1987-09-10 Rodenstock Instr Vorrichtung zur laserbehandlung des auges
US5177511A (en) 1986-11-08 1993-01-05 G. Rodenstock Instruments Gmbh Apparatus for producing images of an object and in particular for observing the rear portions of the eye
US4758080A (en) * 1986-12-18 1988-07-19 Cornell Research Foundation, Inc. Pointspread retinoscope
US4991953A (en) * 1989-02-09 1991-02-12 Eye Research Institute Of Retina Foundation Scanning laser vitreous camera
JP3000621B2 (ja) * 1990-05-17 2000-01-17 ソニー株式会社 視覚補助装置
CA2060406C (en) 1991-04-22 1998-12-01 Bruce Edward Hamilton Helicopter virtual image display system incorporating structural outlines
US5467104A (en) * 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
US5748264A (en) * 1995-01-10 1998-05-05 Hughes Electronics Distortion Corrected display
US5644642A (en) * 1995-04-03 1997-07-01 Carl Zeiss, Inc. Gaze tracking using optical coherence tomography

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4213678A (en) 1977-09-29 1980-07-22 Retina Foundation Scanning ophthalmoscope for examining the fundus of the eye
EP0473343B1 (de) 1990-08-20 1995-11-22 Sony Corporation Direktsicht-Bildwiedergabeapparat
EP0562742A1 (de) 1992-03-25 1993-09-29 Motorola, Inc. Direkte Abtastbildwiedergabe auf der Netzhaut

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951001C2 (de) * 1999-10-22 2003-06-18 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
DE19951001A1 (de) * 1999-10-22 2001-05-31 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
US6675075B1 (en) 1999-10-22 2004-01-06 Robert Bosch Gmbh Device for representing information in a motor vehicle
US6735328B1 (en) 2000-03-07 2004-05-11 Agilent Technologies, Inc. Personal viewing device with system for providing identification information to a connected system
EP1132870A3 (de) * 2000-03-07 2003-10-29 Agilent Technologies, Inc. (a Delaware corporation) Persönliches Betrachtungsgerät mit einem System zur Identifizierung zu einem angeschlossenen System
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
US8016421B2 (en) 2000-10-07 2011-09-13 Metaio Gmbh Information system and method for providing information using a holographic element
US20130135181A1 (en) * 2000-10-07 2013-05-30 Metaio Gmbh System and Method for Determining the Orientation of an Eye
US8944602B2 (en) 2000-10-07 2015-02-03 Metaio Gmbh Information system and method for providing information using a holographic element
US9427154B2 (en) 2000-10-07 2016-08-30 Metaio Gmbh Information system and method for providing information using a holographic element
US10188288B2 (en) 2000-10-07 2019-01-29 Apple Inc. Information system and method for providing information using a holographic element
DE10050174C1 (de) * 2000-10-11 2002-05-29 Bosch Gmbh Robert Vorrichtung zur Anzeige von Informationen in einem Fahrzeug
DE10121392A1 (de) * 2001-05-02 2002-11-21 Bosch Gmbh Robert Vorrichtung zur Steuerung von Geräten mittels Blickrichtung
DE10127366A1 (de) * 2001-06-06 2002-12-12 Klaus Dietrich Vorrichtung und Verfahren zur Laserprojektion eines Bildes auf die Netzhaut des Auges, überlagert mit einem Weitwinkelgesichtsfeld
DE10127367A1 (de) * 2001-06-06 2002-12-12 Klaus Dietrich Vorrichtung und Verfahren zur Laserprojektion hochauflösender Bilder auf die Netzhaut des Auges, überlagert mit dem Bildinhalt des Gesichtsfeldes

Also Published As

Publication number Publication date
WO1998005992A3 (de) 1998-04-30
US6227667B1 (en) 2001-05-08
WO1998005992A8 (de) 2001-06-21
JP2000515645A (ja) 2000-11-21
DE19631414A1 (de) 1998-02-19
AU4453397A (en) 1998-02-25
EP0917661A2 (de) 1999-05-26

Similar Documents

Publication Publication Date Title
EP0917661A2 (de) Vorrichtung zur aufnahme des netzhautreflexbildes und überlagerung von zusatzbildern im auge
DE10047237A1 (de) System zur Aufnahme des Netzhautreflexbildes
DE102020105652B4 (de) Verfolgungssystem mit infrarot-kamera
DE69420427T2 (de) Abtast-opthalmoskop
DE69433556T2 (de) Bildanzeigevorrichtung
DE69113287T2 (de) Wiedergabeeinrichtung in Brillenform zur direkten Wiedergabe auf der Netzhaut.
US6089716A (en) Electro-optic binocular indirect ophthalmoscope for stereoscopic observation of retina
DE69534116T2 (de) Binokulares laserrasterophthalmoskop
DE69523592T2 (de) Bildanzeigevorrichtung
DE69523683T2 (de) Stereoskopische Anzeigevorrichtung
US5635947A (en) Eye movement tracking display
DE69512386T2 (de) Bildwiedergabevorrichtung
EP1430349B1 (de) Informationssystem
EP1333306A2 (de) Stereo-Mikroskopieverfahren und Stereo-Mikroskopiesystem
WO2017133992A1 (de) Projektionsvorrichtung für eine datenbrille, verfahren zum darstellen von bildinformationen mittels einer projektionsvorrichtung und steuergerät
DE102021200893A1 (de) Optisches System für eine virtuelle Netzhautanzeige und Verfahren zum Projizieren von Bildinhalten auf eine Netzhaut
EP1840627B1 (de) Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
EP1000376A1 (de) Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes
WO2002031577A1 (de) Informationssystem mit erfassung des bildes der aussenwelt auf der netzaut
EP1430350B1 (de) Informationssystem
WO1997044696A1 (de) Anzeigeeinrichtung, die am kopf tragbar ist
DE69211822T2 (de) Anordnung zur Bestimmung desjenigen Teils eines Bildfeldes, das vom Auge eines Beobachters betrachtet wird
DE102019201766A1 (de) Projektionsvorrichtung für eine Datenbrille, Verfahren zum Darstellen von Bildinformationen mittels einer Projektionsvorrichtung und Steuergerät
DE19734902C2 (de) Vorrichtung zur Verbesserung oder Wiederherstellung der Sehfähigkeit eines Auges mit geschädigtem Vorderabschnitt
DE102022101727A1 (de) Optische baugruppe zur detektion einer vom auge reflektierten strahlung eines retinaprojektors

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AL AM AT AU AZ BA BB BG BR BY CA CH CN CU CZ DE DK EE ES FI GB GE HU IL IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MD MG MK MN MW MX NO NZ PL PT RO RU SD SE SG SI SK TJ TM TR TT UA UG US UZ VN AM AZ BY KG KZ MD RU TJ TM

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): GH KE LS MW SD SZ UG ZW AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE BF BJ

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1997942840

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1997942840

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09230996

Country of ref document: US

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

NENP Non-entry into the national phase

Ref country code: CA

AK Designated states

Kind code of ref document: C1

Designated state(s): AL AM AT AU AZ BA BB BG BR BY CA CH CN CU CZ DE DK EE ES FI GB GE HU IL IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MD MG MK MN MW MX NO NZ PL PT RO RU SD SE SG SI SK TJ TM TR TT UA UG US UZ VN

AL Designated countries for regional patents

Kind code of ref document: C1

Designated state(s): GH KE LS MW SD SZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE BF BJ CF CG CI CM GA GN ML MR NE SN TD TG

CFP Corrected version of a pamphlet front page
CR1 Correction of entry in section i
WWW Wipo information: withdrawn in national office

Ref document number: 1997942840

Country of ref document: EP

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载