+

WO2006095110A2 - Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs - Google Patents

Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs Download PDF

Info

Publication number
WO2006095110A2
WO2006095110A2 PCT/FR2006/050197 FR2006050197W WO2006095110A2 WO 2006095110 A2 WO2006095110 A2 WO 2006095110A2 FR 2006050197 W FR2006050197 W FR 2006050197W WO 2006095110 A2 WO2006095110 A2 WO 2006095110A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
sharpness
color
digital image
capture apparatus
Prior art date
Application number
PCT/FR2006/050197
Other languages
English (en)
Other versions
WO2006095110A3 (fr
Inventor
Laurent Chanas
Imène TARCHOUNA
Frédéric Guichard
Bruno Liege
Jérôme MENIERE
Original Assignee
Dxo Labs
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR0550601A external-priority patent/FR2880958B1/fr
Application filed by Dxo Labs filed Critical Dxo Labs
Priority to CA2600185A priority Critical patent/CA2600185C/fr
Priority to US11/817,977 priority patent/US7920172B2/en
Priority to EP06726221A priority patent/EP1856907A2/fr
Priority to JP2008500243A priority patent/JP5535476B2/ja
Publication of WO2006095110A2 publication Critical patent/WO2006095110A2/fr
Publication of WO2006095110A3 publication Critical patent/WO2006095110A3/fr
Priority to US12/820,965 priority patent/US20110109749A1/en
Priority to US12/820,951 priority patent/US8212889B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the focusing point of the lens for a wavelength is variable depending on the distance to which the object 4 is represented in the image.
  • FIG. 1b shows the new locations 4.1 and 4.2 of the focusing points associated, respectively, with the wavelengths ⁇ 1 and ⁇ 2 when the object represented has moved from a very great distance (FIG. 1a) to a closer distance. ( Figure Ib).
  • the senor is located on the focal point of the color ( ⁇ l) which previously did not form a clear image.
  • the focusing point of the lens for a wavelength and an object distance is variable depending on the position in the image of the object represented.
  • FIG. 2 which is an example of the spectral distribution of an image along axis 6.1
  • the images are generally composed of several colors whose intensities (axis of ordinates 6.2) can be close.
  • blue 5.1 components (wavelength around 450 nm), green 5.2 (wavelength around 550 nm) and red (near 600 nm wavelength) are represented, but it is clear that the invention applies to an image regardless of its distribution of colors and wavelengths considered (eg infrared or ultraviolet).
  • the invention generally relates to a method for improving the sharpness of at least one color of a digital image comprising the steps of - choosing from the colors of the image at least one color called net color,
  • the invention also relates to a method of producing a capture apparatus which comprises a capture optical system, and a sensor, and / or a servo system, the image being processed, for its improvement, by digital image processing means; a method in which the parameters of the optical system and / or the sensor and / or the servo system are determined or selected from the capabilities of the digital means image processing, so as to minimize the costs of implementation and / or optimize the performance of the capture apparatus.
  • the method further comprises the step of decomposing the digital image into regions; said choice of the net color being made for each region.
  • said choice of the net color consists of choosing the sharpest color according to a predetermined rule. In one embodiment, said choice of "clean color" is predetermined.
  • said digital image is derived from a capture apparatus and said choice of the net color is a function of the distance between the capture apparatus and at least one object of the captured scene to obtain said digital image.
  • the method further comprises the step of determining an enslaving instruction of said capturing apparatus from the sharpness of at least two colors; so that the focus is done in fewer steps and is accelerated.
  • said method further comprises the step of selecting an optic a set of predetermined optics; said optics having features such that images of an object at at least two predetermined distances have distinct distinct colors; so that the depth of field is improved and / or the cost of optics is decreased.
  • said method further comprises the step of designing an optic taking into account the method according to the invention; said optics having characteristics such that the images of an object at at least two predetermined distances have distinct distinct colors, so that the depth of field and / or the aperture and / or any other optical characteristic is improved and / or the cost of optics is decreased,
  • the invention also relates to a method for producing a device (20) for capturing and / or restoring images which comprises an optical system (22, 22 ') for capturing and / or restoring images, a sensor (24) and / or generator (24 ') of images, and / or a servo system (26), the image being processed, for its improvement, by digital means (28, 28') of image processing,
  • the method being such that the parameters of the optical system and / or the sensor and / or the image generator and / or the servo system are determined or selected, based on the capabilities of the digital image processing means , and in particular the improvement of the sharpness of a color according to the sharpness of another color according to a process according to one of the preceding claims,
  • the invention also relates to a digital image obtained by a method according to one of the preceding embodiments or from an apparatus according to the preceding embodiment.
  • - Digital image means an image in digital form.
  • the image may be from an image capture apparatus.
  • the digital image may be represented by a set of numerical values, hereinafter called gray level, each numerical value being associated with a color sensitivity and a relative geometric position on a surface or a volume.
  • gray level a set of numerical values
  • color refers to the set of numerical values associated with the same color sensitivity.
  • the digital image is preferably the raw image of the sensor ("raw” format) before the demosaicing operation ("demosaicing" in English).
  • the digital image can also have undergone a treatment, for example a demosaicing, a white balance.
  • the digital image has not undergone subsampling.
  • the image capture apparatus includes a sensor with sensitive elements.
  • sensitive element is meant a sensor element for converting a flow of energy into an electrical signal.
  • the energy flow can take the form of a luminous flux, X-rays, a magnetic field, an electromagnetic field or sound waves.
  • the sensitive elements may be, depending on the case, juxtaposed on a surface and / or superimposed in a volume.
  • the sensitive elements may be arranged in a rectangular matrix, a hexagonal matrix or other geometry.
  • the invention applies to sensors comprising sensitive elements of at least two different types, each type having a color sensitivity, each color sensitivity corresponding to the portion of the energy flow converted into an electrical signal by the sensor. sensing element of the sensor.
  • the sensors In the case of a visible image sensor, the sensors generally have a sensitivity in 3 colors and the digital image has 3 colors: red 5.1, green 5.2 and blue 5.3 represented in FIG. 2 which shows on the vertical axis 6.2 the amount of energy converted and on the horizontal axis 6.1 the wavelength. Some sensors have a sensitivity in 4 colors red, green, emerald, blue.
  • color is also meant a combination, including linear signals delivered by the sensor.
  • the sharpness of a color may correspond to the measurement of a value called BXU which is a measure of the area of blur spot, as described in the article published in the Proceedings of IEEE, International Conference of Image Processing, Singapore 2004 ", and entitled” Uniqueness of Blur Measure “by Jérians BUZZI and Frédéric GUICHARD.
  • BXU is the variance of the impulse response (that is, its average surface). Processing capabilities can be limited to a maximum value of BXU.
  • the sharpness of a color is obtained by calculating a gradient.
  • the sharpness of a color can be obtained by a gradient calculation of 9 gray levels taken in neighboring geometric positions in the color considered.
  • the invention refers to the sharpness of at least two colors. According to one embodiment, the sharpness of at least two colors is only considered relatively relative to each other. For this embodiment, a gradient makes it possible to simply calculate a relative sharpness between two colors independently of the content of the image.
  • the invention mentions to choose from the colors at least one color called "clean color”. In one embodiment, this choice can be made by determining which of at least two colors is the sharpest. For this embodiment, a gradient makes it possible to simply determine the sharpest color among at least two colors.
  • An image capture device is, for example, a disposable camera, a digital camera, a DSLR (digital or not), a scanner, a fax, an endoscope, a camera, a camcorder, a video camera surveillance, a toy, a camera or a camera integrated or connected to a telephone, personal assistant or computer, thermal imaging camera, ultrasound machine, MRI (magnetic resonance) imaging equipment, X-ray machine.
  • servo system means means of the mechanical, chemical, electronic or computer, allowing elements or parameters of the device to meet a set. These include the autofocus system, automatic white balance control, automatic exposure control, optical element control, for example to maintain consistent quality images, an image stabilization system, an optical and / or digital zoom factor control system, or a saturation control system, or a contrast control system.
  • the digital image processing means can take various forms depending on the application.
  • the digital image processing means may be integrated wholly or partly into the apparatus, as in the following examples:
  • An image capture apparatus which produces modified images, for example a digital camera which incorporates image processing means.
  • An image rendering apparatus which displays or prints modified images, for example a video projector or a printer including image processing means.
  • a mixed device that corrects the defects of its elements for example a scanner / printer / fax including image processing means.
  • a professional image capture apparatus that produces modified images, for example an endoscope including image processing means.
  • the determined or selected parameters of the optical system are chosen from the group comprising: the number of optical elements of the system, the nature of the materials composing the optical elements of the optical system, the cost of the optical system materials, the treatment optical surfaces, assembly tolerances, parallax value as a function of focal length, aperture characteristics, aperture mechanisms, range of possible focal lengths, focusing characteristics, focusing mechanisms to the point, anti-alias filters, clutter, depth of field, focal length and focus characteristics, geometric distortions, chromatic aberrations, decentering, vignetting, sharpness characteristics, - and / or the determined or selected parameters of the sensor and / or image generator are selected from the group consisting of: pixel quality, area pixels, the number of pixels, the microlens matrix, the anti-alias filters, the geometry of the pixels, the arrangement of the pixels, and / or the determined or selected parameters of the servo system are selected from the group consisting of: focus measurement, exposure metering, white balance measurement, focus set point, set point the set time, the
  • the focusing can be carried out in various ways, in particular by controlling the position of moving elements of the optical system or by controlling the geometry of elements. deformable optics.
  • the depth of field can be defined as the range of distances in which the object generates a sharp image, that is to say whose sharpness is greater than a given threshold for a color , usually green, or again, or as the distance between the nearest object plane and the farthest object plane for which the blur spot does not exceed predetermined dimensions.
  • the invention relates to a method for controlling an action from a measurement made on at least one digital image, having at least two colors, from an image capture apparatus, in which: - the relative sharpness is measured between at least two colors on at least one region R of the image, and
  • region it means part or all of the image.
  • a region has one or more pixels, contiguous or not.
  • the relative sharpness and / or relative sharpness in a region can be expressed as a single numerical value, for example reflecting the average relative sharpness in the region, or by several numerical values that account for the relative sharpness in different parts of the region.
  • At least one action is controlled according to the measured relative sharpness.
  • This action is notably (without the list being limiting):
  • the treatment may consist (without the list being limiting) in one of the following actions:
  • the known methods do not make it possible to control this type of action from a measurement of relative sharpness of at least one region of the image, but require the use of a particular device in addition to the image sensor to estimate a distance.
  • the known methods allow a measurement of distance in only one point or a limited number of points while the invention makes it possible to measure the distance in a large number of points simultaneously.
  • the controlled action is included in the group comprising:
  • the controlled action comprises processing on at least one zone Z 'of the digital image and / or another digital image.
  • the sharpness measurement in a digital camera is performed on the image displayed before shooting, and the image taken later is processed at full resolution (while the measurement performed on the displayed image before shooting, is usually at lower resolution) from the last measurement or a combination of the last measurements.
  • the zone Z ' constitutes all or part of the region (on which the relative sharpness measurement has been made) of the digital image, and / or the entire digital image, and / or a zone distinct from the region of the digital image, and / or an area of another digital image, and / or another entire digital image.
  • the zone Z ' is a pixel and one defines a region of N pixels on which one measures the relative sharpness and, depending on this relative sharpness, we apply a filter that conveys the sharpness of the sharpest color to the other color so that the sharpness of the pixel is increased.
  • the depth of field is increased.
  • the zone Z 'on which the treatment is carried out can constitute an entire digital image, especially when the sharpness of the entire image is increased.
  • the correspondence between the pixels of the two images can be done by associating the pixels of the two images located in the same place.
  • This case has the advantage of avoiding storing the digital image between the measurement and the processing without annoying artifact if the images are captured with a small time interval, for example 1 / 15s.
  • the treatment may consist of lighting nearby objects and sinking the background, for example for a videoconference.
  • the treatment of the brightness will consist of lighting the background and darken the nearest objects to compensate for the effect of the flash.
  • an MPEG4 codec is provided with a close object / remote object segmentation, in order to allow to strongly compress the remote object to keep a maximum quality of the main subject that is close.
  • Example of changing the compression ratio As above in the case of a video conference, the compression ratio may be higher for the background than for the main subject.
  • the treatment consists of replacing a background with a landscape or a setting.
  • the processing comprises a sharpness modification for each pixel of the zone Z 'by means of a filter mixing the values attached to the pixel over a predetermined neighborhood at each pixel, the parameters of the filter being a function of the measured relative sharpness.
  • zone Z ' is determined from the measured relative sharpness.
  • the distance-dependent information may be a distance, for example with an indication of accuracy, or a range of distance values such as, for example, a distance less than one centimeter, a distance of between 1 and 10 centimeters, and a distance of 10 centimeters. centimeters and 1 meter, and beyond one meter.
  • Distance-based information can also be represented by a criterion of "too close", “near”, “near”, “far”, or “macro”. Information based on distance can also be translated into nature information of objects or subjects such as “portrait” or "landscape”.
  • a focusing servo made from measurements made directly on a single digital image is particularly advantageous compared to known focus tuning, or "autofocus", for which it is necessary to perform measurements on successive images. .
  • the illumination control can be carried out according to this main subject whereas with the state of the art the flash power is adjusted according to the focus without determining the main subject, that is to say, in particular, the closest subject.
  • less enlightened subjects can be numerically treated by lightening.
  • Example of control of another device When a mobile robot has to move, the regions closest to the mobile robot are determined and a trajectory free of any obstacle is determined from the objects closest to the mobile robot.
  • the controlled action includes a signal supply such as an indication signal of the object of main interest of the digital image, and / or a focus area, and / or an alarm signal indicating a change in the digitally monitored and imaged scene, and / or a distance from at least a portion of the imaged scene to the capture apparatus.
  • a signal supply such as an indication signal of the object of main interest of the digital image, and / or a focus area, and / or an alarm signal indicating a change in the digitally monitored and imaged scene, and / or a distance from at least a portion of the imaged scene to the capture apparatus.
  • a digital camera can be arranged a frame, including a predetermined shape, around the main subject to tell the photographer what is the main subject detected by the camera when shooting.
  • This indication signal of the main subject is used especially before the shooting itself to tell the photographer what the subject or the clearest object.
  • This signal can also be an indication that the nearest object or subject is too close to the camera to be able to be in focus.
  • the signal is constituted, for example, by the plaintext message "Foreground too close", or by an exaggeration of the blur of the first plane, or by a visible change in the color of the first plane.
  • the signal indicating that the foreground scene or object is too far away may take into account the final use of the image to be taken, including the resolution chosen for that purpose.
  • a subject that is blurred on a television or computer receiver screen may be sharp on a small screen of the type of that of a camera.
  • a blurry subject for a print on paper of 24cm x 30cm is not inevitably for an impression of 10cm X 15cm.
  • the blur indication signal can also accommodate the subject.
  • the detection of a bar code is more tolerant to blur than a natural image.
  • the camera In a video surveillance system of an object, the camera is set to monitor two regions. The first of these regions is the one where the object is located and the second region is the entire field of the camera. If an object in the shooting field approaches the object to be monitored, an alarm is triggered.
  • the controlled action is made to depend on at least one characteristic of the capture apparatus during the shooting, in particular the focal length, the aperture, the focusing distance, the exposure parameters, white balance settings, resolution, compression, or a user-made setting.
  • the controlled action is a function of the relative sharpness measured and the relative sharpness between at least two colors depends on the setting of the camera including the focal length, the aperture and the distance to the camera. point.
  • the digital image constitutes a raw image derived from the sensor of the capture apparatus.
  • This arrangement facilitates the measurement of relative sharpness because if we use a raw image or "raw”, the measurement is not affected by the treatments such as demosaicing, sharpening filtering, color space change or the tone curve.
  • the raw image from the sensor may, however, have undergone processing such as denoising, digital gain, black level compensation.
  • processing such as denoising, digital gain, black level compensation.
  • the relative sharpness measurement and / or the controlled action can be performed in the capture apparatus.
  • the command comprises a command for detecting and / or recognizing a portion of the image, such as a detection and / or face recognition.
  • the controlled action includes measuring the position and / or movement of the capture apparatus.
  • one or more objects intended to remain stationary in a scene of a captured image are stored in memory and motion or position detection is performed by determining the variation of the relative sharpness over time. This arrangement can, for example, be used to make a visual computer interface of the "mouse" type in three dimensions.
  • a scene is lit by one or more natural or artificial sources as well as possibly by one (or more) flash (es) controlled by the camera.
  • an image capture apparatus performs an exposure control (exposure time, sensor gain and, if appropriate, aperture), a white balance control (gain of each color in the image). the entire image) and possibly the flash (duration and power of the flash) according to measurements in a digital image of the scene (eg saturated area analysis, histogram analysis, average color analysis) and / or measurements made with a complementary device: infrared range finder, flash pre-flash ..., focus servo to find the focus producing the sharpest image by comparing the sharpness of several images taken with different focus.
  • These controls change the contrast and / or brightness and / or color of the image but do not use a measure of the relative sharpness between at least two colors on at least one region R of the image.
  • the enslavement of the white balance can be performed for example on a subject of significant size in the center of the image, possibly at the expense of a background illuminated differently.
  • the method includes determining a close portion in the image and a remote portion and the white balance control performs separate measurements on these two regions to determine the presence or absence of multiple lights, and make separate offsets. for each of these regions. If the position of the area of interest is provided to the focus servo, the focus action will be faster and the main subject (area of interest) can be tracked, even if it is in focus. movement.
  • the controlled action includes providing a signal to the user indicating that the image is too close to be sharp.
  • the indexing may consist of the provision of a signal indicating that it is a portrait or group of people.
  • the distinction between these two situations is made according to whether the pictorial scene includes one or more objects or related subjects. If the distance of the objects or subjects is greater than a predetermined limit, then the image can be considered to represent a landscape.
  • the controlled action includes providing to a capture device sound (s), distance information and / or direction relative to the capture apparatus, a subject or object in the digital image.
  • a camcorder or a cameraphone one can determine the main subject (s), determine the distances and / or directions of these main subjects and focus the sound capture on the main subject or main topics and thus eliminate the background noise.
  • the directivity control of the sound capture can be performed using two microphones and a phase shift between the signals of these microphones.
  • a particular application of this latter provision is, in a video conference, the use of a wide-angle image capture apparatus and an automatic tracking of the subject that is expressed orally.
  • the controlled action includes the setting of a high compression for the background and a compression for the main subject (s), this (these) main subject (s) ) being determined as constituting an area of the image satisfying criteria based on the measured relative sharpness.
  • the invention also relates to a sensor thus defined, independently of a capture apparatus and method, according to the invention, defined above.
  • the invention also relates to a capture apparatus comprising such a sensor, this capture apparatus may also be used independently of the method defined above.
  • the invention also relates, according to a provision that can be used in combination with the (or independently) provisions defined above, a digital image capture apparatus which comprises a sensor having, on the one hand, pixels whose spectral response is mainly in the domain visible to the human eye and, on the other hand, additional pixels having a spectral response, mainly outside the spectrum visible to the human eye, this sensor was such that the d image from the additional pixels has sharpness, in at least a range of distances between the capture apparatus and the image scene, greater than the sharpness of the portion of the image from the spectral response pixels mainly in the visible range .
  • the additional pixels may be sensitive to infrared and / or ultraviolet radiation.
  • Pixels sensitive to ultraviolet radiation can be used to improve sharpness for short distances, while pixels sensitive to infrared radiation can be used to improve sharpness at great distances.
  • infrared and / or ultraviolet one can hear any part of the spectrum beyond or below the visible spectrum, including the near infra-red such as 700 to 800 or 700 to 900nm, or near ultraviolet near 400nm.
  • the capture apparatus is provided with a zoom lens without moving or deformable focusing element, the relative sharpness between at least two colors on at least one region R of the image being variable according to the focal length and / or the position of the object imaged with respect to the apparatus.
  • variable-focus optics comprises, for example, a single mobile or deformable optical group.
  • a zoom is made with at least two mobile groups, for example one or two for the focal length and the other for focusing.
  • the focus and focus are independent, ie when the focal length changes, it is not necessary to change the focus. This eliminates the time needed for focusing.
  • varifocal lenses less expensive, in which the focus must be changed when the focal length varies.
  • zooms in which two complexly linked mobile optical groups are used to vary the focal length, the focus being achieved by a third group.
  • the digital image is derived from at least two sensors.
  • each sensor is dedicated to a specific color.
  • the controlled action includes adding an object to an image and / or replacing a portion of an image based on the relative sharpness measured on the digital image.
  • the method adds a character next to the main subject. It is also possible, by way of example, to add an object in a given position in the image; the object will be the correct size in the image if the distance of the scene imaged at this position is taken into account.
  • the method includes capturing a sequence of images, the digital image being part of the sequence and the controlled action being performed on at least one other image of the sequence.
  • the estimate of the relative sharpness can be performed on preview images before shooting, at lower resolution, while the correction can be performed on an image permanently stored, for example by means of a choice of filters resulting from a measurement made on the preview images.
  • the controlled action includes modifying a setting of the capture apparatus, including focal length, aperture, focus distance.
  • the digital image is preferably the raw image of the sensor (format "raw” in English) before demosaicing operation ("demosaicing" in English).
  • the digital image may also have been processed, for example, white balance.
  • the digital image has not undergone subsampling.
  • an optical system, sensor and image processing means that produces a raw image having a better quality or particular characteristics, for example an extension of the depth of field, while maintaining image-like characteristics.
  • raw directly from the sensor and in particular an accounting with the functional blocks or known components performing the function of conversion raw image to visible image ("image pipe” or "image signal processor” in English).
  • the raw image has undergone demosaicing.
  • the optics of the capture apparatus exhibit strong longitudinal chromatic aberrations, for example such that, for a focus, an aperture and a focal length determined, there is at least one color for which the distance object of best sharpness is less than f 2 OJ 3 k being a coefficient less than 0.7, preferably less than 0.5, f being the focal length, 0 the aperture and P the most small (among all the colors of the image) diameters of the blur spot of an object point lying at infinity.
  • the comparison of the sharpnesses is carried out by using a measurement M on pixels of the digital image.
  • the measurement M in a given pixel P for a given color channel C corresponds to the gradient of the variation of C in a neighborhood P. It is obtained by the following calculation:
  • V (P) a neighborhood of the pixel P.
  • the measure M at the pixel P having a color C can be defined by the ratio between SM and GM. This gives a value M (P, C).
  • This measurement does not allow, in itself, to characterize precisely and completely the sharpness of the color C. In fact, it depends on the content of the image (type of scene imaged: textures, gradients, etc ..) in the neighborhood V (P) of the pixel P.
  • a frank transition in the scene imaged for the same sharpness of color will generate a measurement M higher than a smooth transition in the pictorial scene.
  • a transition will be present in the same way in each color, thus affecting the measurement M in the same way between the colors. In other words, when a clear transition appears on a color C, the same type of transition appears on the other colors.
  • the controlled action when the controlled action is to determine the position of the main subject in the image, the controlled action further comprises automatic framing, including centering the image on the main subject.
  • the method may be implemented in an image capture or image processing apparatus or device.
  • These devices or devices are part of the group comprising: an electronic component, integrating or not a sensor, an electronic subassembly integrating an optical, a sensor and possibly an image processing module ("camera module”) or any other form as defined above.
  • FIG. 2 already described, is the color spectral diagram of an image
  • FIGS. 3a and 3b are diagrams representing the improvement of the sharpness of a color by means of the same clear color according to FIG. invention
  • FIG. 4 is a diagram showing the improvement of the sharpness of a color by means of different distinct colors associated with distinct regions of an image according to the invention
  • FIGS. 5, 6 and 7 are diagrams representing improvement of the sharpness of a color by means of different distinct colors associated with the whole of an image according to the invention
  • FIG. 8 is a diagram showing the servo-control of an apparatus according to a sharpness difference between the net color and the color to be improved according to the invention
  • FIG. 9 is a diagram representing the choice of a color net from a distance measured between an object and a device capturing the image of this object
  • FIGS. 15, 15a, and 15b illustrate a property of an image capture apparatus according to the invention and of a conventional apparatus
  • FIGS. 18.1 and 18.2 represent means for implementing the method according to the invention
  • Figures 19.1, 19.2 and 19.3 represent steps of the method according to the invention according to several embodiments
  • Figures 20.1 and 20.2 show other embodiments of the invention.
  • the sharpness of these two colors varies differently depending on this distance but overall, in this example, the first color 13.2 has a better sharpness than that of a second color 13.1 of the same image.
  • CA CN + F (CO - CN)
  • the filter F will have the particularity of removing the details of the image to which it is applied.
  • a linear low-pass filter or averager
  • one of the numerous known nonlinear filters having the particularity of removing details such as, for example, a median filter.
  • the improvement of a color in the region 11.2 is done by considering the color 8.3 as the net color while the improvement of a color in the region
  • the regions of an image may be predetermined or not.
  • a region may be a spatial area delimited by one or more pixels.
  • FIG. 5 represents the sharpness (axis of ordinates 7.2) of two colors 8.2 and 8.3 as a function of the distance (7.1) between at least one object of the scene captured to obtain said image and the apparatus of capture.
  • a method according to the invention can consider the color 8.3 as a clean color, used to correct the sharpness of a color, over the range of distances 9.1, while the color 8.2 is considered the net color to improve a color from an object of the captured scene to obtain the image at a distance from the capture apparatus in the range 9.2.
  • the sharpness of the colors on the image can be improved towards a profile as shown in the diagram 6, namely the juxtaposition of the sharpest colors on the image.
  • the region of image may vary depending on the geometric position of the region of image and / or other image capture parameters such as focal length, aperture, focus, etc. To determine the sharpest color in the sense of the invention, it is not necessary to know the parameters indicated above.
  • the choice of the net color can also be determined by the software activation of at least one image capture mode such as a macro mode as described later. In such a context, we can consider the image as a single region.
  • a consequence of the invention is therefore to allow an extension of the depth of field of an optical system as detailed below with the help of Figure 9.
  • the depth of field of a capture device initially limited by the sharpness of the color 8.2 and the sharpness threshold 8.1, is increased by using a second color 8.3 having a satisfactory sharpness (below the threshold 8.1) over a new range of distances between at least one object of the scene captured to obtain said image and the capture apparatus.
  • such an application is implemented in fixed focus cameras, such as cameraphones.
  • the optical design of these devices provides a range of sharpness for great distances up to a few tens of centimeters at best on the basis of a green color, similar to the color 8.2 of Figure 5.
  • the blue color does not focus in the same way, it can present a sharpness at distances smaller than the green color, similar to the color 8.3.
  • the invention makes it possible to increase the sharpness of an image at a short distance from a cameraphone by attributing to the green color, and to the other colors, the sharpness of the blue color, increasing corollary the depth of field of the device.
  • a macro function is provided to allow imaging of objects near the capture apparatus within a predetermined range of distances, referred to as the macro range of distances 9.1, to the apparatus.
  • a capture apparatus makes it possible to move all or part of the optics to perform the macro function.
  • the method or system that is the subject of the invention makes it possible to dispense with such a displacement.
  • the sharpest color is predetermined for the macro range 9.1, for example by measuring the sharpness 8.2 and 8.3 of the colors of the digital images obtained by the capture apparatus for each color by producing digital images. from objects located at different distances from the capture apparatus.
  • the clearest color ( Figure 5) is the one corresponding to 8.3. This predetermination can be carried out definitively, for example at the time of the design of the apparatus
  • the depth of field is increased without increasing the cost, complexity or bulk of the optics and / or without the need to change the exposure, so without reducing the opening, or increase the noise level or increase the motion blur.
  • the increase in depth of field produced according to the invention also benefits an apparatus having variable parameters at the time of capturing the digital image and having an influence on the sharpness of the colors, in particular a zoom capture apparatus, and / or an optics with variable focus and / or variable aperture.
  • the sharpness curves 8.2 and 8.3 corresponding to the value of the variable parameters according to the digital image are then used.
  • a method and a device are also provided for reducing longitudinal chromatic aberrations of a digital image.
  • the distance measurement performed according to the invention benefits especially fixed optics, including telephones.
  • the invention consists, according to one of its aspects, which can be used independently of the previously described aspects, from the capabilities of the digital image processing means 128, 128 'for determining or selecting the parameters of the optical system 122, 122' and / or the sensor or image generator 124, 124 'and / or the servo system 126.
  • an optical system can distort the images in such a way that a rectangle can be deformed into a cushion, with a convex shape of each of the sides or in a barrel with a concave shape of each of the sides.
  • Moiré is corrected by setting the anti-alias filters.
  • FIG. 15b is a diagram similar to that of FIG. 15a showing the properties of a servo-control of an apparatus produced according to the invention, on the assumption that the digital image processing means make it possible to correct the blurring until to a value of BXU equal to 14.
  • this value is the limit for the blur to be correctable by the digital processing means.
  • the optical system provides a small image spot 1100.
  • This system has a modulation transfer function (MTF) represented by a diagram where the spatial frequencies are on the abscissa.
  • the value of the cutoff frequency is fc.
  • the FTM function comprises a bearing 1110 in the vicinity of the zero frequencies and a part decreasing rapidly towards the value fc.
  • the optic represented by the diagram of FIG. 17b has an image spot 1114 of dimensions substantially greater than the image spot 1100 and its FTM has the same cutoff frequency fc as in the case of FIG. 17a.
  • the variation of this MTF as a function of the spatial frequency is different: this frequency decreases relatively regularly from the origin towards the cutoff frequency.
  • the optics shown in FIG. 17b will provide more detail than the optics shown in FIG. 17a, and this despite the fact that the image spot is larger than in the case of Figure 17a. We will therefore choose the optics corresponding to Figure 17b.
  • a strong overlap between the three bands also reduces the differences in sharpness between the colors, thus reducing in particular the range of distances for which at least one of the three colors is clear.
  • the accuracy of distance measurements according to the method depends in particular on the variation of the relative sharpness depending on the distance. This variation depends on the amount of chromatic aberration that can be achieved with the capture system (sensor and optics). However, the spectral frequency range of the visible light, and therefore the useful light for a photograph, is relatively small: of the order of 400nm to 700nm. Also, the variation of relative sharpness as a function of the distance is then limited with a conventional Bayer sensor.
  • a photographic apparatus is thus obtained which makes it possible to provide more precise indications of the distance of the imaged objects from all the NxM pixels of the image.
  • FIG. 20.2 one starts from a conventional Bayer in which three R, G, B pixels and a U pixel corresponding to a portion of a UV or infrared spectral band are provided.
  • infrared and / or ultraviolet we can hear any part of the spectrum beyond or below the visible spectrum, including the near infra-red such as 700 to 800 or 700 to 900nm, or near ultraviolet near 400nm.
  • This U-pixel is used to enhance the sharpness of visible colors as shown in the diagram of Figure 20.1.
  • the optics can be designed so that over a wide range of distances: the smallest of the spot diagram diameters (between the three colors) is below a first predetermined threshold and that the largest of the spot pattern diameters between the three colors is below a second predetermined threshold.
  • the two thresholds are determined as a function, for example, of the capabilities and constraints of digital image processing, on the one hand (as for example the size of filter "F" described below), and characteristics of the image. sensor, on the other hand.
  • the processing comprises a modification of sharpness for each pixel of the zone Z 'by means of a filter mixing the pixel values on a predetermined neighborhood of each pixel, the parameters of the filter being function the relative sharpness measured.
  • An alternative embodiment of the invention consists in choosing or adapting the sharpness filters to the measured relative sharpnesses.
  • the filter M can modify the value of the pixel P as a function of the values of the pixels on a neighborhood of the pixel P on the set of three colors.
  • the filter can be chosen M as an operator performing the following operations:
  • RA RN + c_RG * M_RG (GN) + c_RR * M_RR (RN) + c_RB * M_RB (BN)
  • M_ ⁇ R, G, B ⁇ ⁇ R, G, B ⁇ represent filters, which can be chosen as linear zero-sum filters, such as high-pass frequency filters.
  • the c_ ⁇ R, G, B ⁇ ⁇ R, G, B ⁇ represent weights weighting the impact of each filter M_ ⁇ R, G, B ⁇ ⁇ R, G, B ⁇ .
  • This filtering example can also reflect the sharpness of the sharpest color on others.
  • the high-pass filters M_ ⁇ R, G, B ⁇ ⁇ R, G, B ⁇ will give values close to 0, when they are applied to the green and red colors. are blurred in the example.
  • GA will therefore be equal to GN plus c_GB * M_GB (BN), that is to say GN plus the high frequencies of blue.
  • the green color thus inherits the sharpness of the clean color (blue). It is the same for the red color.
  • the filters M_ ⁇ R, G, B ⁇ ⁇ R, G, B ⁇ and the coefficients c_ ⁇ R, G, B ⁇ ⁇ R, G, B ⁇ can be adapted to different possible values of the colors.
  • An embodiment of such an adaptation, in the context of RGB images from a given capture device, is as follows:
  • the association table between the relative purities considered and the set of filters may include other inputs, such as, for example, the position of the zone Z 'in the field of the image or of the shooting parameters such as the value of the focal length, aperture, focus distance, etc., of the optical system at the time of shooting. Indeed, it is usual that the sharpness characteristics of a digital image also depend on these factors.
  • the sharpness correction of a digital image it will first cut the image field into several zones Z 'and the method will be applied to each of the zones.
  • the clipping will preferably be performed according to the characteristics of the sharpness of the colors so that in each zone the sharpness of the colors is relatively homogeneous.
  • an automatic adaptation of the sharpness filter applied to the digital image, to the distance between the image scene and the capture device is thus obtained. It should be noted that, thanks to the use of the relative sharpness this automatic adaptation to the distance, can be done without the explicit knowledge of this distance.
  • this embodiment of the method also allows the automatic adaptation of treatments aimed for example at the correction of optical defects and / or sensors whose effects on the image depend on the distance between pictorial scene and capture apparatus.
  • the blur or loss of sharpness
  • optical defects and / or sensor such as geometric distortion or vignetting, are other examples.
  • Principle of the invention is an example, but other optical defects and / or sensor (s) such as geometric distortion or vignetting, are other examples.
  • FIG. 19.1 there is shown an image 10 having a region R and having two colors 195 and 196, a relative sharpness measurement 190 between the two colors 195 and 196 on the region R of the image 10, an action 191 controlled according to the measured relative sharpness.
  • the controlled action also depends on a mode 193 corresponding for example to a choice of the user of the device, and / or a characteristic of the capture device when shooting.
  • Fig. 19.2 there is shown an image 10 having a region R and having two colors 195 and 196, a relative sharpness measurement 190 between the two colors 195 and 196 on the region R of the image 10, a commanded action 191 as a function of the measured relative sharpness comprising a processing of the image 10 and producing a processed image 192.
  • the controlled action also depends on a mode 193 corresponding, for example, to a choice of the user of the apparatus, and / or a characteristic of the capture apparatus during shooting.
  • Fig. 19.3 there is shown an image 10 having a region R and having two colors 195 and 196, a relative sharpness measurement 190 between the two colors 195 and 196 on the region R of the image 10, a commanded action 191 according to the measured relative sharpness having a processing of another image 194 and producing a processed image 198.
  • the controlled action also depends on a mode 193 corresponding for example to a choice of the user of the device , and / or a characteristic of the capture apparatus during shooting.
  • the action command consists of modifying the contrast and / or the brightness and / or the color of the image as a function of the relative sharpness between at least two colors on at least two colors. a region R of the image.
  • the use of the relative sharpness between at least two colors on at least one region R of the image allows by example of simulating the addition of localized lighting for example a flash positioned anywhere in the scene, and / or, conversely, to reduce the effect of a flash or lighting of various colors in the scene.
  • the digital image is divided into regions according to the relative sharpness between at least two colors, so that each image region a part of the scene within a given range of distances and is oriented in one direction. given.
  • An indication of the direction can be obtained from the local variation of the relative sharpness in the image.
  • An indication of the distance can be obtained from the relative sharpness as previously described.
  • the three-dimensional geometry of the scene is reconstructed by measuring the distance at a large number of points of the image. We then use a known technique in image synthesis to add lighting to the scene (ray tracing or other).
  • lighting is added to the subject (s) main (s) adapted to each subject to cause a "fill-in" effect simulating one or more flash (s) positioned (s) opposite or on the side of each subject.
  • This operation can be performed automatically and independently for each subject. With the known technique the addition of lighting for each subject is possible only with studio lighting.
  • the flash power can be determined according to the nearest subject to properly illuminate it, and complement the lighting of other subjects by adding simulated lighting.
  • the color of the illumination can also be determined for each region by a known method of estimating the white balance and then making the color of the scene lighting uniform.
  • the white balance is estimated globally for lack of information on the 3 - dimensional geometry of the scene.
  • Figure 18.1 there is shown a sensor 2, producing a raw image 180 pretreated 181, for example a white balance, and / or black level compensation, and / or a noise reduction to produce a pretreated image 182.
  • a relative sharpness measurement 190 controlling an action 191 corresponding to a processing implementing the pretreated image 182 and the relative sharpness measurement 190, to produce a processed image 192.
  • a downstream processing of the processed image 192 has been represented, corresponding, for example, to a demosaicing or other processing necessary to convert a raw image into a visible image.
  • FIG. 18.2 shows a sensor 2 producing a raw image 180.
  • a relative sharpness measurement 190 controlling an action 191 corresponding to a processing implementing the raw image 180 and the relative sharpness measurement 190 has also been shown. to produce a processed image 192.
  • a downstream processing of the processed image 192 corresponding, for example, to a demosaicing or other processing necessary to convert a raw image into a visible image.
  • the action implements a processing on a visible image.
  • the invention applies to an apparatus having variable parameters at the time of capturing the digital image and having an influence on the sharpness of the colors including a zoom capture apparatus, and / or an optics with variable focus and / or a variable aperture.
  • the sharpness curves 8.2 and 8.3 corresponding to the value of the variable parameters according to the digital image are then used.
  • the invention makes it possible to restore the focus digitally without a moving group and instantaneously, which thus makes it possible to reduce the complexity of a zoom by removing at least one moving part.
  • the relative sharpness between two colors may be variable, whereas this is not acceptable in known optics.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Paper (AREA)

Abstract

L ' invention concerne un procédé pour commander une action à partir d'une mesure effectuée sur au moins une image numérique (10) , ayant au moins deux couleurs (195, 196) , provenant d'un appareil de capture d'images. Selon ce procédé : - on mesure (190) la netteté relative entre au moins deux couleurs sur au moins une région (R) de l'image, et - on commande (191) au moins une action en fonction de la netteté relative mesurée.

Description

PROCEDE POUR COMMANDER UNE ACTION, NOTAMMENT UNE MODIFICATION DE NETTETE, A PARTIR D'UNE IMAGE NUMERIQUE EN COULEURS.
Domaine de l'invention :
L' invention est relative à un procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs. Elle concerne plus particulièrement, mais non exclusivement, une amélioration de la netteté d' au moins une couleur d' une image numérique . L'invention concerne également un système mettant en œuvre un tel procédé ainsi qu'une image générée par un tel procédé.
L'invention concerne aussi un procédé de réalisation d'un appareil de capture et/ou de restitution d'images qui comprend un système optique de capture et/ou de restitution d'images, un capteur et/ou générateur d'images, et/ou un système d'asservissement, l'image étant traitée, en vue de son amélioration, par des moyens numériques de traitement d' images . L'invention concerne aussi un appareil obtenu par un tel procédé de réalisation.
Problème traité
La visualisation satisfaisante d'une image requiert une netteté d'autant plus importante que cette image présente des détails de dimensions réduites. De ce fait, il est connu de chercher à améliorer la netteté d' au moins une couleur dans une image numérique selon des procédés tels que ceux décrits ci-dessous : i) Dans le cas spécifique des appareils photographiques :
- on peut faire appel à un dispositif de mise au point optique (focus) qui déplace des éléments optiques permettant de faire varier la plage de distances pour laquelle l'image est nette. Un tel dispositif, manuel ou motorisé, comprend souvent un système d'asservissement permettant de choisir le déplacement en fonction des distances des objets dans la scène.
Les applications d'un tel procédé sont les appareils photo, les caméras. Il présente l'inconvénient d'avoir une profondeur de champ limitée, surtout à grande ouverture, et un coût et un encombrement difficilement adaptés aux dispositifs de faible encombrement, tels que les téléphones.
On peut faire appel à une solution du type codage du front d'onde, qui ajoute un élément optique spécifique dans le système optique pour permettre la reconstruction par calcul de la netteté avec une grande profondeur de champ.
Les applications d'un tel procédé sont limitées (la microscopie) et présente les inconvénients de nécessiter un élément optique spécifique ainsi qu'une modification du matériel, dont le système optique. - On peut mettre en œuvre une solution qui ajoute un élément optique spécifique constitué d'une lentille liquide déformable fixe par rapport à l'optique. Un tel procédé présente un système d'asservissement permettant de choisir la forme de ladite lentille en fonction des distances des objets dans la scène.
Les applications de cette solution (pour les caméraphones ou appareils photo) présentent l'inconvénient d'être un procédé industriel spécifique, d'avoir un coût et un encombrement de l'élément optique, de nécessiter une modification hardware. ii) Dans un cadre plus général, les solutions sont : - les algorithmes de déflouage sur la luminance ou une couleur, en augmentant la netteté par « sharpen » ou par une autre méthode de calcul. Les applications d'un tel procédé (tous les appareils de prise de vue) présentent les inconvénients d'une augmentation limitée de la netteté et donc d'une augmentation très faible de la profondeur de champ.
Par ailleurs, les techniques connues de conception ou de réalisation de tels appareils de capture et/ou de restitution d'images, tels que des appareils de photos numériques ou argentiques, consistent à sélectionner en premier lieu les propriétés des éléments matériels de l'appareil, notamment le système optique, le capteur et le système d'asservissement. Ensuite, le cas échéant, on prévoit des moyens numériques de traitement d'images pour corriger les défauts d'au moins l'un des éléments matériels de l'appareil.
En particulier, pour concevoir un système optique d'appareil, on établit tout d'abord un cahier des charges, c'est-à-dire qu'on spécifie l'encombrement, les plages de focales, les plages d'ouverture, le champ couvert, les performances exprimées, soit en taille de tache image, soit en valeur de FTM (fonction de transfert de modulation), et le coût. A partir de ce cahier des charges, on sélectionne un type de système optique et, à l'aide d'un outil logiciel de calcul optique, tel que l'outil « Zemax », on sélectionne les paramètres de ce système permettant de respecter au mieux les spécifications du cahier des charges . Cette mise au point du système optique s'effectue de façon interactive. De façon générale, un système optique est conçu pour qu'il présente la meilleure qualité au centre de l'image et, habituellement, la qualité aux bords de l'image est de niveau inférieur.
En outre, les techniques habituelles sont telles que le système optique est conçu de façon à obtenir un niveau déterminé de distorsion, de vignetage, de flou et de profondeur de champ, afin que le système optique puisse être comparé à d' autres systèmes optiques .
Par ailleurs, pour les appareils photographiques numériques, on spécifie aussi les caractéristiques du capteur, à savoir : la qualité des pixels, la superficie des pixels, le nombre de pixels, la matrice de microlentilles, les filtres anti-alias, la géométrie des pixels, et la disposition des pixels .
La technique habituelle consiste à sélectionner le capteur d'un appareil de capture d'images indépendamment des autres éléments de l'appareil et, notamment, du système de traitement d' image .
Les appareils de capture et/ou générateurs d' images comportent aussi habituellement un ou plusieurs systèmes d'asservissement tels qu'un système d'exposition et/ou un système de mise de point (focus automatique ou « autofocus ») et/ou un système de contrôle du flash.
Ainsi, pour spécifier un système d'exposition qui commande l'ouverture et le temps de pose, éventuellement le gain du capteur, on détermine les modes de mesure, en particulier on détermine les zones de l'image sur lesquelles l'exposition sera mesurée ainsi que le poids affecté à chaque zone.
Pour un système de mise au point, on détermine le nombre et la position des zones de l'image qui seront utilisées pour effectuer la mise au point. On spécifie aussi, par exemple, une consigne de déplacement du moteur.
Dans tous les cas, ces spécifications s'effectuent indépendamment de la présence ou non de moyens numériques de traitement d' image .
L' invention :
Constatations propres à l'invention :
L'invention est issue de la combinaison des constatations suivantes, qui lui sont propres : i) Les appareils de capture et/ou traitant des images génèrent sur ces images une netteté variable qui est fonction de la couleur considérée comme décrit ci-dessous à l'aide des figures la et Ib. Sur la figure la est représentée la lentille convergente 1 d'un dispositif optique (non représenté) muni d'un capteur 2 situé sur un point 3.2 de focalisation associé à une longueur d'onde X2. Ainsi, la couleur définie par cette longueur λ2 est nette sur une image formée par cette lentille lorsque l'image représente un objet à très grande distance.
Toutefois, un tel réglage présente trois problèmes :
- Premièrement, le point 3.2 de focalisation de la lentille est propre à la couleur définie par cette longueur d'onde λ2, de telle sorte qu'un point de focalisation 3.1 propre à une autre couleur définie par une longueur d'onde λl se situe en amont du capteur.
Par conséquent, l'image formée par cette seconde couleur (λl) au niveau du capteur est moins nette que l'image formée par la première couleur (λ2 ) , ce qui réduit la netteté de l'image globale formée par le capteur.
Deuxièmement, le point de focalisation de la lentille pour une longueur d' onde est variable en fonction de la distance à laquelle se situe l'objet 4 représenté sur l'image.
Ainsi, la figure Ib montre les nouvelles localisations 4.1 et 4.2 des points de focalisation associés, respectivement, aux longueurs d'ondes λl et λ2 lorsque l'objet représenté est passé d'une très grande distance (figure la) à une distance plus proche (figure Ib) .
Dans ce dernier cas, il apparaît que le capteur se situe sur le point de focalisation de la couleur (λl) qui, précédemment, ne formait pas une image nette.
- Troisièmement, le point de focalisation de la lentille pour une longueur d'onde et une distance objet est variable en fonction de la position dans l'image de l'objet représenté. ii) Comme montré sur la figure 2 qui est un exemple de la répartition spectrale d'une image selon l'axe 6.1, les images sont généralement composées de plusieurs couleurs dont les intensités (axe des ordonnées 6.2) peuvent être proches. Sur cet exemple sont représentées des composantes 5.1 bleues (longueur d'onde autour de 450 nm) , 5.2 vertes (longueur d'onde autour de 550 nm) et rouge (longueur d'onde autour de 600 nm) proches, mais il est clair que l'invention s'applique à une image indépendamment de sa répartition des couleurs et des longueurs d'ondes considérées (par exemple infrarouge ou ultraviolet) . iii) Les techniques classiques de l'amélioration de la netteté ne tirent pas partie du fait que l'une des couleurs peut être plus nette que les autres en fonction de la distance de 1' objet représenté sur l' image . iv) Par ailleurs, l'invention part de la constatation que les techniques classiques de conception ou de réalisation d' appareils ne permettent pas de profiter pleinement des possibilités offertes par les moyens numériques de traitement d' images .
L' invention :
C'est pourquoi, l'invention concerne, de façon générale, un procédé d'amélioration de la netteté d'au moins une couleur d'une image numérique comprenant les étapes de - choisir parmi les couleurs de l'image au moins une couleur dénommée couleur nette,
- répercuter la netteté de la couleur nette sur au moins une autre couleur améliorée, pour que la couleur améliorée présente une netteté accrue. Grâce à l'invention on peut ainsi :
- augmenter la netteté perçue de l'image,
- augmenter la profondeur de champ d'un appareil de capture,
- créer un dispositif macro, - contrôler la profondeur de champ indépendamment de l'exposition,
- mesurer la distance des objets d'une scène imagée à partir d'une image, - améliorer les dispositifs d'asservissement de l'exposition et/ou de mise au point et/ou de flash,
- réduire les coûts de l'appareil de capture
- réduire, à performances égales, la taille de l'appareil de capture, - lire des codes barres et/ou cartes de visites et/ou du texte et/ou faire des portraits et/ou faire des paysages à l'aide d'une même optique, ayant un focus fixe, telle par exemple celle d'un caméraphone,
- concevoir et/ou choisir une optique donnant à l'appareil des caractéristiques accrues en terme notamment d' ouverture et de profondeur de champ,
- faire des effets sur l'image fonction de la netteté relative entre au moins deux couleurs et/ou de la distance des objets de la scène imagée, - permettre à l'utilisateur de changer numériquement la mise au point de l'image de la netteté relative entre au moins deux couleurs et/ou de la distance des objets de la scène imagée,
- réduire le temps entre la demande de capture et la capture effective de l'image, par suppression ou simplification du système optique de mise au point.
L' invention concerne également un procédé de réalisation d'un appareil de capture qui comprend un système optique de capture, et un capteur, et/ou un système d'asservissement, l'image étant traitée, en vue de son amélioration, par des moyens numériques de traitement d' images ; procédé dans lequel on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du système d'asservissement, à partir des capacités des moyens numériques de traitement d'images, de sorte à minimiser les coûts de réalisation et/ou à optimiser les performances de l'appareil de capture .
Dans une réalisation, le procédé comprend en outre l'étape de décomposer l'image numérique en régions ; ledit choix de la couleur nette étant effectué pour chaque région.
Dans une réalisation, ledit choix de la couleur nette consiste à choisir la couleur la plus nette selon une règle prédéterminée. Dans une réalisation, ledit choix de la « couleur nette » est prédéterminé.
Dans une réalisation, ladite image numérique est issue d'un appareil de capture et ledit choix de la couleur nette est fonction de la distance entre l'appareil de capture et au moins un objet de la scène capturée pour obtenir ladite image numérique.
Dans une réalisation, ledit appareil de capture d' image comportant un mode macro, ledit choix de la couleur nette est fonction de l'activation du mode macro. Dans une réalisation, ladite image numérique étant issue d'un appareil de capture, ledit procédé comprend en outre l'étape de déterminer la distance entre l'appareil de capture et au moins un objet de la scène capturée à partir de la netteté d' au moins deux couleurs dans une région image dudit objet . Dans une réalisation, le procédé comprend en outre l'étape de réduire la netteté d'au moins une couleur dans au moins une région image.
Dans une réalisation, le procédé comprend en outre l'étape de déterminer une consigne d'asservissement dudit appareil de capture à partir de la netteté d'au moins deux couleurs ; de sorte que la mise au point se fait en moins d'étapes et est accélérée.
Dans une réalisation, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprend en outre l'étape de choisir une optique parmi un ensemble d'optiques prédéterminées ; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes ; de sorte que la profondeur de champ est améliorée et/ou le coût de l'optique est diminué.
Dans une réalisation, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprend en outre l'étape de concevoir une optique en tenant compte du procédé selon l'invention ; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes, de sorte que la profondeur de champ et/ou l'ouverture et/ou tout autre caractéristique optique est améliorée et/ou le coût de l'optique est diminué,
- de sorte que la mise au point mécanique peut se faire avec moins de positions .
Dans une réalisation, la répercussion de la netteté de la couleur nette sur au moins une autre couleur améliorée est réalisée à l'aide d'un calcul du type CA = CN + F(CO - CN) où CA est représentatif de la couleur améliorée, CO est représentatif de la couleur améliorée avant traitement, CN est représentatif de la couleur nette et F un filtre, notamment un filtre passe bas. L'invention concerne également un procédé de réalisation d'un appareil (20) de capture et/ou de restitution d'images qui comprend un système optique (22, 22') de capture et/ou de restitution d'images, un capteur (24) et/ou générateur (24') d'images, et/ou un système d'asservissement (26), l'image étant traitée, en vue de son amélioration, par des moyens numériques (28, 28') de traitement d'images,
- le procédé étant tel qu' on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du générateur d'images et/ou du système d'asservissement, à partir des capacités des moyens numériques de traitement d'images, et notamment de l'amélioration de la netteté d'une couleur en fonction de la netteté d'une autre couleur selon un procédé conforme à l'une des revendications précédentes,
- de sorte à minimiser les coûts de réalisation et/ou à optimiser les performances de l'appareil de capture et/ou de restitution d' images .
L' invention concerne également un appareil de capture et/ou de restitution d' images utilisant un procédé d'amélioration de couleur selon une des réalisations précédentes et/ou obtenu par un procédé de réalisation selon la réalisation précédente.
L' invention concerne également une image numérique obtenue selon un procédé conforme à l'une des réalisations précédentes ou à partir d'un appareil conforme à la réalisation précédente.
Finalement, l'invention concerne aussi un dispositif de traitement d' image numérique mettant en œuvre un procédé selon l'une des réalisations précédentes.
Définitions :
On précise ici la signification des divers termes utilisés :
- Par image numérique, on entend une image sous forme numérique. L'image peut être issue d'un appareil de capture d' image.
L' image numérique peut être représentée par un ensemble de valeurs numériques, ci-après appelées niveau de gris, chaque valeur numérique étant associée à une sensibilité en couleur et une position géométrique relative sur une surface ou un volume. On appelle couleur au sens de l'invention, l'ensemble des valeurs numériques associées à la même sensibilité en couleur.
L'image numérique est de préférence l'image brute du capteur (format « raw » en anglais) avant opération de dématriçage (« demosaicing » en anglais) . L'image numérique peut également avoir subi un traitement, par exemple un dématriçage, une balance des blancs. De préférence selon l'invention, l'image numérique n'a pas subi de sous-échantillonnage.
- Lorsque l'image numérique est issue d'un appareil de capture d'image, l'appareil de capture d'image comprend un capteur doté d'éléments sensibles. Par élément sensible, on entend un élément du capteur permettant de convertir un flux d'énergie en signal électrique. Le flux d'énergie peut prendre la forme notamment d'un flux lumineux, de rayons X, d'un champ magnétique, d'un champ électromagnétique ou d'ondes sonores. Les éléments sensibles peuvent être selon les cas juxtaposés sur un surface et/ou superposés dans un volume. Les éléments sensibles peuvent être disposés selon une matrice rectangulaire, une matrice hexagonale ou autre géométrie. - L'invention s'applique à des capteurs comportant des éléments sensibles d'au moins deux types différents, chaque type ayant une sensibilité en couleur, chaque sensibilité en couleur correspondant à la partie du flux d' énergie converti en signal électrique par l'élément sensible du capteur. Dans le cas d'un capteur d'image visible, les capteurs ont généralement une sensibilité en 3 couleurs et l'image numérique a 3 couleurs : rouge 5.1, vert 5.2 et bleu 5.3 représentées sur la figure 2 qui montre sur l'axe vertical 6.2 la quantité d'énergie convertie et sur l'axe horizontal 6.1 la longueur d'onde. Certains capteurs ont une sensibilité en 4 couleurs rouge, vert, émeraude, bleu.
- Par couleur on entend également une combinaison, notamment linéaire des signaux délivrés par le capteur.
- L'invention s'applique avec les diverses définitions connues de la netteté connues. Par exemple, la netteté d'une couleur peut correspondre à la mesure d'une valeur dénommée BXU qui est une mesure de la surface de tache de flou, telle que décrite dans l'article publié dans les « Proceedings of IEEE, International Conférence of Image Processing, Singapore 2004 », et intitulé « Uniqueness of Blur Measure » de Jérôme BUZZI et Frédéric GUICHARD. De façon simplifiée, le flou d'un système optique se mesure à partir de l'image, appelée « réponse impulsionelle », d'un point infiniment petit situé dans le plan de netteté. Le paramètre BXU est la variance de la réponse impulsionelle (c'est-à-dire sa surface moyenne) . Les capacités du traitement peuvent être limitées à une valeur maximale de BXU.
Diverses méthodes de mesures d'une telle netteté sont décrites dans des manuels et publications tels que, par exemple, le « Handbook of Image&Video processing » édité par Al Bovik et publié par Académie press, pages 415 à 430.
On entend un paramètre relatif à la qualité d'une image telle que généralement acceptée. Dans une réalisation, la netteté d'une couleur est obtenue par calcul d'un gradient. Par exemple la netteté d'une couleur peut être obtenue par un calcul de gradient de 9 niveaux de gris pris en des positions géométriques voisines dans la couleur considérée.
L' invention fait mention de la netteté d' au moins deux couleurs . Selon une réalisation, la netteté d' au moins deux couleurs n'est considérée que de façon relative l'une par rapport à l'autre. Pour cette réalisation, un gradient permet de calculer simplement une netteté relative entre deux couleurs de façon indépendante du contenu de l'image.
L' invention fait mention de choisir parmi les couleurs au moins une couleur dénommée « couleur nette ». Selon une réalisation, ce choix peut être effectué en déterminant laquelle parmi au moins deux couleurs est la plus nette. Pour cette réalisation, un gradient permet de déterminer simplement la couleur la plus nette parmi au moins deux couleurs .
Dans une implémentation,
- Un appareil de capture d'images est, par exemple, un appareil photo jetable, un appareil photo numérique, un appareil reflex (numérique ou pas) , un scanner, un fax, un endoscope, une caméra, un caméscope, une caméra de surveillance, un jouet, une caméra ou un appareil photo intégré ou relié à un téléphone, à un assistant personnel ou à un ordinateur, une caméra thermique, un appareil d' échographie , un appareil d' imagerie IRM (résonance magnétique) , un appareil de radiographie à rayons X.
Il convient de noter que l'invention concerne de tels appareils lorsqu'ils traitent des images comportant au moins deux couleurs .
- Par système optique de capture d'images, on entend les moyens optiques permettant de restituer des images sur un capteur. - Par capteur d'images, on entend des moyens mécaniques, chimiques, ou électroniques permettant la capture et/ou l'enregistrement d'une image.
- Par système d'asservissement on entend des moyens de type mécanique, chimique, électronique, ou informatique permettant que des éléments ou paramètres de l'appareil respectent une consigne. Il s'agit notamment du système de mise au point automatique (autofocus) , du contrôle automatique de la balance des blancs, du contrôle automatique de l'exposition, du contrôle d'éléments optiques, afin, par exemple, de conserver une qualité uniforme d'images, d'un système de stabilisation d'image, d'un système de contrôle de facteur de zoom optique et/ou numérique, ou d'un système de contrôle de saturation, ou d'un système de contrôle de contraste.
- Les moyens numériques de traitement d' images peuvent prendre diverses formes selon l'application.
Les moyens numériques de traitement d' images peuvent être intégrés, en tout ou partie, à l'appareil, comme dans les exemples suivants :
- Un appareil de capture d' images qui produit des images modifiées, par exemple un appareil photo numérique qui intègre des moyens de traitement d' images .
- Un appareil de restitution d' images qui affiche ou imprime des images modifiées, par exemple un projecteur vidéo ou une imprimante incluant des moyens de traitement d' images . - Un appareil mixte qui corrige les défauts de ses éléments, par exemple un scanner/imprimante/télécopieur incluant des moyens de traitement d' images .
- Un appareil de capture d'image professionnel qui produit des images modifiées, par exemple un endoscope incluant des moyens de traitement d' images .
Selon une réalisation :
- les moyens numériques de traitement d' images comportent un moyen pour améliorer la qualité d' image en agissant sur au moins l'un des paramètres du groupe comprenant : les distorsions géométriques du système optique, les aberrations chromatiques du système optique, la compensation de parallaxe, la profondeur de champ, le vignetage du système optique et/ou du capteur et/ou du générateur d'images, le manque de netteté du système optique et/ou du capteur et/ou du générateur d'images, le bruit, les phénomènes de moiré, et/ou le contraste,
- et/ou les paramètres déterminés ou sélectionnés du système optique sont choisis dans le groupe comportant : le nombre d'éléments optiques du système, la nature des matériaux composant les éléments optiques du système optique, le coût des matériaux du système optique, le traitement des surfaces optiques, les tolérances d'assemblage, la valeur de la parallaxe en fonction de la focale, les caractéristiques d'ouverture, les mécanismes d'ouverture, la plage de focales possibles, les caractéristiques de mise au point, les mécanismes de mise au point, les filtres anti-alias, l'encombrement, la profondeur de champ, les caractéristiques liant la focale et la mise au point, les distorsions géométriques, les aberrations chromatiques, le décentrement, le vignetage, les caractéristiques de netteté, - et/ou les paramètres déterminés ou sélectionnés du capteur et/ou générateur d' images sont choisis dans le groupe comportant : la qualité des pixels, la superficie des pixels, le nombre de pixels, la matrice de microlentilles, les filtres anti-alias, la géométrie des pixels, la disposition des pixels, - et/ou les paramètres déterminés ou sélectionnés du système d'asservissement sont choisis dans le groupe comportant : la mesure de mise au point, la mesure d'exposition, la mesure de balance des blancs, la consigne de mise au point, la consigne d'ouverture, la consigne de temps de pose, la consigne de gain du capteur, la consigne du flash.
Pour le système d'asservissement permettant la mise au point automatique, on rappelle que la mise au point peut être effectuée de diverses manières notamment par le contrôle de la position d'éléments mobiles du système optique ou par le contrôle de la géométrie d' éléments optiques déformables .
Les performances d'un appareil de capture sont notamment, son coût, son encombrement, la quantité de lumière minimale qu'il peut recevoir ou émettre, la qualité de l'image, notamment sa netteté, les caractéristiques techniques de l'optique, du capteur et de l'asservissement ainsi que sa profondeur de champ.
A cet effet, il convient de noter que la profondeur de champ peut être définie comme la plage de distances dans laquelle l'objet génère une image nette, c'est-à-dire dont la netteté est supérieure à un seuil donné pour une couleur, généralement le vert, ou encore, ou comme la distance entre le plan objet le plus proche et le plan objet le plus éloigné pour lesquels la tache de flou ne dépasse pas des dimensions prédéterminées.
Etant donné que la couleur verte prédomine pour définir la netteté d'une image, comme expliqué ultérieurement, il est commun d'utiliser la couleur verte pour définir la profondeur de champ.
L'invention concerne aussi un appareil obtenu par le procédé de réalisation tel que défini ci-dessus .
Selon d'autres caractéristiques de l'invention qui peuvent s'utiliser indépendamment de, ou en combinaison avec, celles décrites ci-dessus : L' invention concerne un procédé pour commander une action à partir d'une mesure effectuée sur au moins une image numérique, ayant au moins deux couleurs, provenant d'un appareil de capture d'images, dans lequel : - on mesure la netteté relative entre au moins deux couleurs sur au moins une région R de l'image, et
- on commande au moins une action en fonction de la netteté relative mesurée.
Par région en entend une partie ou l ' intégralité de l'image. Une région comporte un ou plusieurs pixels, contigus ou non.
Ainsi l'action est notamment adaptée à la distance entre l'objet imagé et l'appareil de capture ou est adaptée à la profondeur relative entre deux objets imagés. On peut mesurer la netteté relative de différentes façons, par exemple (sans que la liste soit limitative) :
- on peut déterminer la couleur la plus nette, et/ou
- on peut choisir parmi les couleurs au moins une couleur dénommée "couleur nette", et/ou - on peut comparer la netteté entre les couleurs, et/ou
- on peut calculer un écart de netteté, et/ou
- on peut calculer directement la netteté relative. Divers exemples de mesures de netteté relative seront présentés ci-après, illustrés notamment par les figures 3a, 3b, 4, 5, 6, 7, 8, 9 et 10.
La netteté relative et/ou la mesure de netteté relative dans une région peut s'exprimer par une seule valeur numérique, par exemple rendant compte de la netteté relative moyenne dans la région, ou par plusieurs valeurs numériques rendant compte de la netteté relative en différentes parties de la région.
Selon l ' invention, on commande au moins une action fonction de la netteté relative mesurée. Cette action est notamment (sans que la liste soit limitative) :
- un traitement direct ou indirect (via notamment la fourniture de paramètres de traitement ou d'information de distance et/ou position et/ou direction) de l'image numérique et/ou d'une autre image numérique, et/ou
- une mesure de distance et/ou de direction et/ou de position et/ou de taille et/ou orientation et/ou forme géométrique d'au moins une partie d'au moins un objet ou sujet de la scène, et/ou
- une information liée directement ou indirectement à la géométrie de la scène imagée en trois dimensions, et/ou
- une détection d'objet notamment un visage et/ou le (ou les) sujet (s) principal (aux) et/ou
- une reconnaissance et/ou authentification d'objet, par exemple un visage, et/ou
- une mesure de position et/ou mouvement de l'appareil, et/ou - une commande d'asservissement de l'appareil ou d'un autre dispositif tel un robot, et/ou
- un cadrage automatique du sujet principal, et/ou
- une modification de réglage de l'appareil, et/ou
- la production ou le déclenchement d'un signal, et/ou - un ajout, une suppression ou modification d'objet dans l'image numérique ou une autre image numérique, et/ou
- toute autre action utilisant directement ou indirectement la mesure de netteté relative.
Selon une réalisation l'action met en œuvre : - l'image numérique, et/ou
- une autre image numérique, et/ou
- un choix de l'utilisateur de l'appareil, et/ou
- au moins une caractéristique de l'appareil de capture lors de la prise de vue et/ou - une autre donnée.
Dans le cas où l'action est relative à un traitement direct ou indirect, le traitement peut consister (sans que la liste soit limitative) en l'une des actions suivantes :
- changer numériquement la mise au point, et/ou - faire des effets sur l ' image fonction de la netteté relative entre au moins deux couleurs et/ou de la distance des objets de la scène imagée, et/ou
- réduire la netteté d'au moins une couleur dans au moins une région d'une image, et/ou
- augmenter la netteté d'au moins une couleur dans au moins une région d'une image, et/ou
- effectuer une compression, et/ou
- réaliser tout autre traitement décrit dans la présente description.
L'utilisation de la netteté relative mesurée pour commander l'action permet ainsi, notamment, d'adapter l'action à la distance entre au moins une partie d'un objet imagé et l'appareil de mesure, et/ou à la géométrie d'au moins une partie d'un objet et/ou à la position et/ou la taille d'au moins une partie de l'objet, et/ou à la direction d'au moins une partie de l'objet.
Les procédés connus ne permettent pas de commander ce type d'action à partir d'une mesure de netteté relative d'au moins une région de l'image, mais nécessitent l'emploi d'un dispositif particulier en plus du capteur d'image pour estimer une distance. De plus, les procédés connus ne permettent une mesure de distance qu'en un point ou un nombre limité de points alors que l'invention permet de mesurer la distance en un grand nombre de points simultanément.
Selon une réalisation, l'action commandée est comprise dans le groupe comprenant :
- une détermination de distance entre l'appareil de capture et au moins un objet imagé par l'image numérique, et/ou la détermination de la distance relative entre deux objets imagés, - une action dépendant de ladite distance et/ou de ladite distance relative,
- un traitement sur au moins une zone Z ' de l ' image numérique et/ou d'une autre image numérique, - un asservissement de l'appareil de capture et/ou un asservissement d'un autre appareil, la fourniture d'un signal d'indication et/ou d'alarme et/ou d'alerte à un utilisateur,
- la détection d'une partie de l'image, - une modification de la netteté d'une couleur,
- une détermination de la position et/ou du mouvement de l'appareil de capture,
- la détermination de la position dans l'image d'un sujet, - une modification d'au moins une caractéristique de l'image,
- une modification de tout ou partie de l'image,
- la détermination d'une zone d'intérêt dans l'image, notamment afin de fournir un signal de commande d'asservissement,
- la modification de de la résolution tout ou partie de l'image,
- la fourniture d'informations relatives à l'image,
- la fourniture d'informations à un dispositif de capture de son (s),
- le paramétrage d'une compression,
- une modification de tout ou partie de l'image,
- au moins un réglage de l'appareil de capture. Selon une réalisation l'action commandée comprend un traitement sur au moins une zone Z ' de l' image numérique et/ou d'une autre image numérique.
La zone Z ' fait ou non partie de l ' image numérique sur laquelle a été effectuée la mesure de netteté relative.
A titre d'exemple de traitement effectué sur une image numérique distincte de celle sur laquelle on mesure la netteté relative entre au moins deux couleurs, on cite en premier lieu la prise d'une séquence vidéo pour laquelle on peut traiter l'image suivante, ou une autre image, ce traitement consistant à augmenter (également à titre d'exemple) la netteté.
En effet, on peut augmenter la netteté d'une image suivante étant entendu qu'elle est basée sur la mesure d'une image précédente qui se distingue peu de cette image suivante. Ainsi il n'est pas nécessaire de conserver en mémoire l'image numérique en cours .
Dans un autre exemple : la mesure de netteté est, dans un appareil photo numérique, effectuée sur l'image affichée avant la prise de vue et on traite l'image prise ultérieurement à pleine résolution (alors que la mesure effectuée sur l'image affichée avant prise de vue, est en général à plus basse résolution) à partir de la dernière mesure ou d'une combinaison des dernières mesures .
Dans une réalisation la zone Z ' constitue tout ou partie de la région (sur laquelle on a effectué la mesure de netteté relative) de l'image numérique, et/ou l'image numérique entière, et/ou une zone distincte de la région de l'image numérique, et/ou une zone d'une autre image numérique, et/ou une autre image numérique entière. Quand la zone Z' constitue tout ou partie de la région de l'image numérique, par exemple quand on veut augmenter la profondeur de champ, la zone Z' est un pixel et l'on définit une région de N pixels sur laquelle on mesure la netteté relative et, en fonction de cette netteté relative, on applique un filtre qui transporte la netteté de la couleur la plus nette à l'autre couleur de sorte que la netteté du pixel soit augmentée. Ainsi en répétant cette opération pour chaque pixel, on augmente la profondeur de champ.
La zone Z ' sur laquelle est effectuée le traitement peut constituer une image numérique entière, notamment quand on augmente la netteté sur l ' image entière.
A titre d'exemple de traitement sur une zone distincte de la région de l ' image numérique on citera le cas où l 'on effectue la mesure de netteté relative sur une région et on applique le traitement sur une partie d'image centrée correspondant à un zoom numérique.
A titre d'exemple de traitement appliqué à une zone d'une autre image numérique et/ou à une autre image numérique entière, on rappelle l'exemple ci-dessus d'une séquence vidéo, l'autre image numérique étant, par exemple, une image suivant une image vidéo ; l'autre image est aussi, par exemple, l'image numérique prise à pleine résolution pour un appareil photo, alors que l'image sur laquelle est effectuée la mesure est à basse résolution. Dans une réalisation, la zone Z' pour laquelle un traitement est commandé comprend au moins un pixel d'une image et la région comprend un voisinage prédéterminé du pixel correspondant dans l'image numérique. L'image traitée peut être l'image numérique. L'image traitée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique. Dans ce cas, la correspondance entre les pixels des deux images peut se faire en associant les pixels des deux images situés au même endroit. Ce cas présente l'avantage d'éviter le stockage de l'image numérique entre la mesure et le traitement sans artefact gênant si les images sont capturées avec un intervalle de temps faible, par exemple l/15s.
Dans une réalisation on applique ce traitement à l'ensemble des pixels d'une image. L'image traitée peut être l'image numérique. L'image traitée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique.
Dans une réalisation le traitement sur au moins la zone Z' comprend la modification d'au moins une caractéristique de l'image faisant partie du groupe comportant : la netteté, le contraste, la luminosité, les détails, la couleur, le type de compression, le taux de compression, le contenu de l'image, la résolution.
Exemple de modification de contraste : On augmente le contraste des objets proches et on réduit le contraste des objets du fond, par exemple dans le cas d'une vidéo-conférence. Inversement, on peut réduire le contraste des objets proches et augmenter le contraste des objets de fond pour atténuer l'effet d'un brouillard. Exemple de modification de luminosité :
Le traitement peut consister à éclairer les objets proches et à sombrir le fond, par exemple pour une vidéoconférence. Inversement pour une image prise au flash, le traitement de la luminosité va consister à éclairer le fond et assombrir les objets les plus proches pour compenser l'effet du flash.
Exemple de modification des détails :
Pour une vidéo-conférence on peut réduire les détails des objets du fond, afin de permettre une compression plus élevée pour ces objets de fond, tout en gardant une qualité maximum pour le sujet principal .
Exemple de modification de couleurs :
On réduit la saturation en couleurs des régions où la netteté relative est supérieure à un seuil pour éliminer les aberrations chromatiques longitudinales excessives, quelques fois appelées "purple fringing" .
Exemple de modification du type de compression :
Par exemple pour une vidéo-conférence, on fournit à un codée MPEG4 une segmentation objet proche/objet distant, afin de permettre de compresser fortement l'objet distant pour garder une qualité maximum du sujet principal qui est proche.
Exemple de modification du taux de compression : Comme ci-dessus dans le cas d'une vidéo-conférence, le taux de compression peut être plus élevé pour le fond que pour le sujet principal.
Exemple de modification de contenu :
Le traitement consiste à remplacer un fond par un paysage ou un décor. Dans une réalisation le traitement comprend une modification de netteté pour chaque pixel de la zone Z ' au moyen d'un filtre mélangeant les valeurs attachées au pixel sur un voisinage prédéterminé à chaque pixel, les paramètres du filtre étant fonction de la netteté relative mesurée. Dans une réalisation la zone Z' est déterminée à partir de la netteté relative mesurée.
Par exemple, la zone Z' correspond à des parties d'images où la netteté relative est comprise dans une plage donnée correspondant à des parties de l ' image contenant des objets se trouvant dans une plage donnée de distances, ce qui permet, par exemple, de traiter différemment un premier plan et 1 ' arrière-plan.
Au sens de l'invention arrière-plan et fond correspondent à la même notion. Dans une réalisation, la zone Z' constitue un arrière- plan d'une image, notamment destinée à être transmise à distance, en particulier par un système de visio ou vidéoconférence. L'image traitée peut être l'image numérique. L'image traitée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique. Selon une réalisation le traitement comprend la fourniture d'une information fonction de la distance entre l'objet imagé et l'appareil de capture pour tout ou partie des pixels de la zone Z' et on commande un stockage et/ou une transmission et/ou une utilisation de cette information fonction de la distance, le stockage étant effectué notamment dans un fichier informatique, en particulier dans un fichier image.
On rappelle que la zone Z ' peut constituer un point et/ou une région et/ou plusieurs régions et/ou une image complète et/ou un sujet principal et/ou un arrière-plan.
L'information fonction de la distance peut être une distance, par exemple avec une indication de précision, ou une gamme de valeurs de distances telle que, par exemple, une distance inférieure au centimètre, une distance comprise entre 1 et 10 centimètres puis entre 10 centimètres et 1 mètre, et au- delà d'un mètre. L'information fonction de la distance peut aussi être représentée par un critère de type "trop près", "près", "proche", "loin", ou "macro". L'information fonction de la distance peut aussi être traduite en information de nature d'objets ou sujets tels que "portrait" ou "paysage".
On peut ainsi fournir une carte des distances des diverses parties de l'image. On peut aussi fournir la position de la zone par rapport à l ' appareil de capture .
L'information fonction de la distance peut comprendre aussi les valeurs des distances des divers éléments de l'image tels que la distance minimum, la distance maximum, la moyenne et 1 ' écart-type .
Il est important de noter que l ' invention permet de mesurer plusieurs distances dans une scène à partir d'une seule image alors que l'art antérieur nécessite des moyens complexes tels que l'utilisation de plusieurs caméras disposées à plusieurs endroits pour effectuer de la stéréoscopie, ou une caméra qui se déplace, ou un télémètre laser ou encore un sonar d'échographie qui ne permet pas d'obtenir une image visible. Dans une réalisation, l'action commandée comprend une commande d'asservissement de l'appareil de capture comprise dans le groupe constitué par : un asservissement de la mise au point, un asservissement d'exposition, un asservissement de flash, un asservissement de cadrage de l'image, un asservissement de balance des blancs, un asservissement de stabilisation d'image, un asservissement d'un autre appareil ou dispositif lié à l'appareil de capture tel que le guidage d'un robot.
Exemple de commande d'asservissement de mise au point:
Le sujet principal ou les zones d'intérêt peuvent être détectées par les mesures de distances, à partir de la netteté, le sujet principal ou la zone d'intérêt étant alors la zone la plus proche.
Un asservissement de mise au point réalisé à partir de mesures effectuées directement sur une seule image numérique est particulièrement avantageux par rapport aux asservissements connus de mise au point, ou "autofocus", pour lesquels il est nécessaire d'effectuer des mesures sur des images successives.
De plus un asservissement connu de mise au point consiste à appuyer sur un organe de déclenchement jusqu'à la mi- course puis à déplacer le cadrage avant d'appuyer à fond, alors qu'avec l'invention la mise au point peut s'effectuer de façon entièrement automatique ; l ' invention permet donc un gain de temps et une meilleure image.
Exemple de commande d'asservissement d'exposition : Comme pour l'asservissement de mise au point, le réglage d'exposition est effectué sur le sujet principal qui est détecté automatiquement ; ainsi l'exposition peut être correcte quelle que soit la position du sujet principal dans le cadre de l'image. Autrement dit, comme pour la mise au point, l'utilisateur n'a pas besoin de viser le sujet puis d'appuyer à mi-course puis déplacer le cadrage.
Exemple d'asservissement d'un flash :
Etant donné que l ' invention permet de déterminer le sujet principal, la commande d'éclairement peut être effectuée en fonction de ce sujet principal alors qu'avec l'état de la technique la puissance du flash est réglée en fonction de la mise au point sans détermination du sujet principal, c'est-à- dire, notamment, du sujet le plus proche. Comme indiqué ci- dessus, les sujets moins éclairés peuvent être traités numériquement par éclaircissement. Exemple de commande d'un autre dispositif : Quand un robot mobile doit se déplacer, on détermine les régions les plus proches du robot mobile et on détermine à partir des objets les plus proches du robot mobile une trajectoire libre de tout obstacle.
Dans une réalisation, l'action commandée comprend une fourniture de signal tel qu'un signal d'indication de l'objet d'intérêt principal de l'image numérique, et/ou d'une zone de mise au point, et/ou un signal d'alarme indiquant une modification de la scène surveillée et imagée numériquement, et/ou de distance d'au moins une partie de la scène imagée à l'appareil de capture.
Par exemple dans un appareil photo numérique on peut disposer un cadre, notamment d'une forme prédéterminée, autour du sujet principal afin d'indiquer au photographe quel est le sujet principal détecté par l'appareil lors de la prise de vue. Ce signal d'indication du sujet principal est utilisable notamment avant la prise de vue proprement dite pour indiquer au photographe quel sera le sujet ou l'objet le plus net. Ce signal peut également être une indication que l'objet ou le sujet le plus proche est à une trop faible distance de l'appareil de prise de vue pour pouvoir être net. Dans ce cas, le signal est constitué, par exemple, par le message en clair "Premier plan trop rapproché", ou par une exagération du flou du premier plan, ou encore par une modification visible de la couleur du premier plan.
Le signal indiquant que la scène ou l'objet de premier plan est à distance trop faible peut tenir compte de l'usage final de l'image qui sera prise, notamment de la résolution choisie pour cet usage. Par exemple un sujet qui serait flou sur un écran de récepteur de télévision ou d'ordinateur peut être net sur un écran de petite taille du type de celui d'un appareil de prise de vue. De même un sujet flou pour une impression sur papier de 24cm x 30cm ne l'est pas forcément pour une impression de 10cm X 15cm. Le signal d'indication de flou peut aussi tenir compte du sujet. Par exemple la détection d'un code barre est plus tolérante au flou qu'une image naturelle.
Exemple de signal d'alarme fourni par un appareil de prise de vue :
Dans un système de vidéo-surveillance d'un objet, l'appareil de prise de vue est réglé pour surveiller deux régions . La première de ces régions est celle où se trouve l'objet et la seconde région est l'ensemble du champ de l'appareil de prise de vue. Si un objet dans le champ de prise de vue se rapproche de l'objet à surveiller, alors une alarme est déclenchée.
Dans une réalisation on fait dépendre l'action commandée d'au moins une caractéristique de l'appareil de capture lors de la prise de vue, notamment la focale, l'ouverture, la distance de mise au point, les paramètres d'exposition, les paramètres de balance des blancs, la résolution, la compression, ou un réglage effectué par l'utilisateur. En effet, l'action commandée est fonction de la netteté relative mesurée et cette netteté relative entre au moins deux couleurs dépend du réglage de l'appareil de prise de vue notamment de la focale, de l'ouverture et de la distance de mise au point. Dans une réalisation, l'image numérique constitue une image brute issue du capteur de l'appareil de capture.
Cette disposition facilite la mesure de netteté relative car si on utilise une image brute ou "raw", la mesure n'est pas affectée par les traitements tels que le dématriçage, le filtrage d'amélioration de netteté, le changement d'espace couleur ou la courbe des tons .
L'image brute issue du capteur peut cependant avoir subi un traitement tel qu'un débruitage, un gain numérique, une compensation de niveau de noir. La mesure de netteté relative et/ou l'action commandée peut (peuvent) être effectuée (s) dans l'appareil de capture.
La mesure de netteté relative peut être effectuée hors de l'appareil de capture, par exemple sur un ordinateur après transfert de l'image numérique et/ou on commande une action qui est effectuée en dehors de l'appareil de capture.
On peut en effet effectuer une mesure de netteté relative en dehors de l ' appareil de capture ; de même l ' action peut être effectuée en dehors de l'appareil de capture, comme déjà mentionné. Par exemple un programme de traitement effectué sur un ordinateur détermine, à partir des mesures de netteté, la distance de mise au point et/ou la profondeur de champ afin d'effectuer des traitements dépendant de cette distance et/ou de la profondeur de champ. Dans une réalisation, la commande comprend une commande de détection et/ou reconnaissance d'une partie de l'image, telle qu'une détection et/ou reconnaissance de visage.
Par exemple on sait qu'un visage présente une taille déterminée . Le procédé selon l ' invention permet de déterminer la distance entre des objets ou sujets et à l'appareil de capture ; par ailleurs, à partir de cette information de distance, de la focale et de la taille de l'objet dans l'image, on peut en déduire la présence du visage (qui présente une taille comprise dans une gamme déterminée) . Le critère de taille de l'objet peut être complété par d'autres critères tels que, par exemple, les couleurs. La détection d'objet, telle que la détection de visages, peut être utilisée notamment pour, lors d'une téléconférence, effectuer de façon automatique une compression forte du fond. Ce procédé peut aussi être utilisé pour la détection du défaut, afin de le corriger, des yeux rouges, ou pour les reconnaissances de visages (applications biométriques) . Dans une réalisation, l ' action commandée comprend une mesure de la position et/ou du mouvement de l'appareil de capture . Dans une réalisation, on garde en mémoire un ou plusieurs objets destinés à rester fixe (s) dans une scène d'une image capturée et la détection de mouvement ou de position est effectuée en déterminant la variation de la netteté relative au cours du temps. Cette disposition peut, par exemple, être utilisée pour réaliser une interface d'ordinateur de type "souris" visuelle en trois dimensions.
Dans une réalisation, l'action commandée comprend la détermination de la position dans l'image du (des) sujet (s) principal (aux) .
Le critère de détermination du sujet principal dans une image numérique sera la plus faible distance par rapport à l'appareil de capture. Toutefois on peut combiner ce critère avec d'autres facteurs. Par exemple, on peut éliminer, par un traitement automatique, des objets en bord de l'image qui seraient proches de l'appareil de capture. Comme précédemment décrit, on peut également tenir compte d'un critère de taille de l'objet, cette taille étant fonction de la focale et de la distance entre l'appareil de capture et l'objet. Dans une réalisation l'action commandée comprend en outre le cadrage automatique, notamment le centrage, ou le recadrage de l'image numérique et/ou d'une autre image sur le sujet principal de l'image numérique. L'image recadrée peut être l'image numérique. L'image recadrée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique.
Par exemple, on peut prévoir une mode "gros plan" qui assure automatiquement un cadrage sur un objet de premier plan. On peut aussi prévoir un mode "buste" qui assure automatiquement le cadrage d'un visage selon la règle dite des trois tiers, par exemple positionné à un tiers de la hauteur et de la largeur de 1 ' image .
Dans une réalisation, l'action commandée comprend l'application d'un traitement qui est fonction, d'une part, de la netteté relative et, d'autre part, d'un critère sélectionné par l'utilisateur.
Par exemple, le critère sélectionné est le suivant : privilégier les parties de l ' image qui sont les plus proches de l'appareil de capture. Ainsi la commande peut consister à augmenter la netteté de ces parties de l ' image et réduire la netteté du reste de l ' image afin de créer une profondeur de champ inférieure à celle obtenue en réalité. Dans ces conditions on peut simuler le comportement d'un objectif à mise au point et ouverture variables dans une image obtenue avec un objectif sans commande ni de mise au point, ni d'ouverture, comme dans un "caméraphone" .
Dans une réalisation, l'action commandée comprend la modification du contraste et/ou de la luminosité et/ou de la couleur et/ou de la netteté d'une image en fonction de la variation de netteté relative dans l ' image.
Ainsi on peut simuler un éclairage localisé tel que celui d'un flash ; on peut aussi réduire l'effet d'un flash, par exemple pour réduire les effets de contre-jour ou d' à-plats. Une scène est éclairée par une ou plusieurs sources naturelles ou artificielles ainsi qu'éventuellement par un (ou plusieurs) flash (s) contrôlé (s) par l'appareil.
Il est connu qu'un appareil de capture d'images effectue un contrôle de l'exposition (temps de pose, gain du capteur et, le cas échéant, ouverture) , un contrôle de balance des blancs (gain de chaque couleur dans l'ensemble de l'image) et éventuellement du flash (durée et puissance de l'éclair) en fonction de mesures dans une image numérique de la scène (par exemple analyse des zones saturées, analyse d'histogramme, analyse de la couleur moyenne) et/ou de mesures faites avec un dispositif complémentaire : télémètre infrarouge, pré-éclair du flash..., asservissement de mise au point permettant de trouver la mise au point produisant l'image la plus nette en comparant la netteté de plusieurs images prises avec des mises au point différentes. Ces contrôles modifient le contraste et/ou la luminosité et/ou la couleur de l'image mais n'utilisent pas une mesure de la netteté relative entre au moins deux couleurs sur au moins une région R de l ' image .
D'autre part des traitements connus tels que la courbe des tons et le rendu couleur modifient le contraste et/ou la luminosité et/ou la couleur de l'image mais n'utilisent pas une mesure de la netteté relative entre au moins deux couleurs sur au moins une région R de l ' image .
Ces méthodes connues sont limitées par l'absence d'information sur la géométrie de la scène. Par exemple, il est difficile de distinguer un objet naturellement sombre d'un objet peu éclairé. Par exemple encore, un flash ne peut pas éclairer correctement plusieurs sujets, si ceux-ci sont à des distances différentes . Dans une réalisation, l'action commandée comprend la fourniture, à un système d'asservissement d'exposition et/ou de balance des blancs et/ou de mise au point, de la position d'au moins une zone d'intérêt à prendre en compte, cette zone d'intérêt étant déterminée en comparant au moins deux mesures de nettetés relatives .
Par exemple, la commande d'exposition peut être effectuée sur la partie la plus proche de l'appareil de capture, éventuellement en combinant à un autre critère tel que l'élimination d'objet(s) proche(s), en limite d'image (bord de champ) .
L'asservissement de la balance des blancs pourra s'effectuer par exemple sur un sujet de dimension importante au centre de l'image, éventuellement au détriment d'un arrière-plan éclairé différemment. En variante, le procédé consiste à déterminer une partie proche dans l'image et une partie éloignée et la commande de balance des blancs effectue des mesures séparées sur ces deux régions afin de déterminer la présence ou non de plusieurs éclairages, et effectuer des compensations distinctes pour chacune de ces régions . Si on fournit à l'asservissement de mise au point la position de la zone d'intérêt, l'action de mise au point sera plus rapide et le sujet principal (zone d'intérêt) pourra être suivi, même s'il est en mouvement. Dans une réalisation, l'action commandée comprend la fourniture d'un signal, destiné à l'utilisateur, indiquant que 1 ' image est trop proche pour être nette .
Dans une réalisation, l'action commandée comprend la modification de résolution d'une image en fonction de la netteté relative mesurée. L'image peut être l'image numérique. L'image peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique.
Par exemple la résolution est réduite lorsque l ' image est prise à une distance de l'appareil de capture qui est trop faible pour obtenir une image nette à pleine résolution, la résolution finale étant choisie pour obtenir une image nette.
Dans une réalisation, l'action commandée comprend la fourniture d'une information, ou signal, utilisée pour une indexation automatique de l ' image numérique .
Par exemple, si l'image comporte des sujets ou objets à une distance inférieure à une limite et d'une taille supérieure à un seuil, alors l'indexation pourra consister en la fourniture d'un signal indiquant qu'il s'agit d'un portrait ou d'un groupe de personnes. La distinction entre ces deux situations s'effectue selon que la scène imagée comporte un ou plusieurs objets ou sujets proches. Si la distance des objets ou sujets est supérieure à une limite prédéterminée, alors on peut considérer que l'image représente un paysage. Selon une réalisation, l'action commandée comprend la fourniture à un dispositif de capture de son (s), d'une information de distance et/ou de direction par rapport à l'appareil de capture, d'un sujet ou objet dans l'image numérique . Ainsi, dans un caméscope ou un caméraphone, on peut déterminer le (ou les) sujet (s) principal (aux) , déterminer les distances et/ou les directions de ces sujets principaux et focaliser la capture du son sur le sujet principal ou les sujets principaux et ainsi éliminer le bruit de fond. La commande de directivité de la capture du son peut être effectuée à l'aide de deux microphones et d'un déphasage entre les signaux de ces microphones .
Une application particulière de cette dernière disposition est, dans une vidéo-conférence, l'utilisation d'un appareil de capture d'image à grand angle et un suivi automatique du sujet qui s ' exprime oralement .
Dans une réalisation, l'action commandée comprend le paramétrage d'une compression élevée pour l'arrière-plan et une compression pour le (s) sujet (s) principal (aux) , ce (s) sujet (s) principal (aux) étant déterminé (s) comme constituant une zone de l'image satisfaisant à des critères basés sur la netteté relative mesurée.
Ainsi, par exemple lors d'une visio-conférence, on peut minimiser le débit tout en gardant une visibilité satisfaisante du sujet principal. Ce dernier est déterminé comme constituant la partie de l ' image la plus proche de l ' appareil de prise de vue et déterminé différemment comme décrit dans la présente demande. Dans une réalisation, l'appareil de capture comporte un capteur ayant des pixels munis de filtres colorés d'au moins deux sortes, ces filtres étant choisis de manière que leurs réponses spectrales présentent peu de recouvrement.
Dans ces conditions, on peut maximiser la différence de netteté entre deux couleurs et donc optimiser la précision de la mesure de netteté relative.
Dans une réalisation, l'appareil de capture comporte un capteur présentant des pixels servant principalement à produire l'image et d'autres pixels servant principalement à la mesure de la netteté relative. Dans une réalisation, les pixels servant principalement à mesurer la netteté relative ont une réponse spectrale dans une bande spectrale qui présente peu de recouvrement avec la bande spectrale, des pixels servant principalement à produire l ' image .
Dans une réalisation, les pixels servant principalement à produire l ' image ont une réponse spectrale principalement dans le domaine visible à l'œil humain et les autres pixels ont une réponse spectrale principalement en dehors du domaine visible à l'œil humain.
L'invention concerne aussi un capteur ainsi défini, indépendamment d'un appareil de capture et du procédé, selon l'invention, défini ci-dessus.
L'invention concerne aussi un appareil de capture comportant un tel capteur, cet appareil de capture pouvant aussi s'utiliser indépendamment du procédé défini ci-dessus.
L'invention concerne également, selon une disposition qui peut s'utiliser en combinaison avec les (ou indépendamment des) dispositions définies ci-dessus, un appareil de capture d'images numériques qui comporte un capteur présentant, d'une part, des pixels dont la réponse spectrale est principalement dans le domaine visible à l'œil humain et, d'autre part, des pixels supplémentaires ayant une réponse spectrale, principalement en dehors du spectre visible à l'œil humain, ce capteur était tel que la partie d'image issue des pixels supplémentaires présente une netteté, dans au moins une plage de distances entre l'appareil de capture et la scène imagée, supérieure à la netteté de la partie de l'image issue des pixels de réponse spectrale principalement dans le domaine visible. Les pixels supplémentaires peuvent êtres sensibles au rayonnement infrarouge et/ou ultraviolet. Les pixels sensibles au rayonnement ultraviolet peuvent servir à améliorer la netteté pour les courtes distances, tandis que les pixels sensibles au rayonnement infrarouge peuvent servir à améliorer à la netteté aux grandes distances. Par infrarouge et/ou ultraviolet, on peut entendre toute partie du spectre au delà ou en deçà du spectre visible, notamment le proche infra-rouge tel que 700 à 800 ou 700 à 900nm , ou le proche ultra violet proche de 400nm.
Dans une réalisation, l'appareil de capture est muni d'une optique fixe, c'est-à-dire dépourvu d'éléments mécaniques pour la mise au point.
Dans ces conditions, on peut effectuer une mise au point par traitement numérique .
Dans une réalisation, l'appareil de capture est muni d'une optique à focale variable sans élément mobile ou déformable de mise au point, la netteté relative entre au moins deux couleurs sur au moins une région R de l ' image étant variable selon la focale et/ou la position de l'objet imagé par rapport à l'appareil. On obtient ainsi un dispositif muni d'un zoom plus simple, ce qui permet de réduire la taille et le coût, et d'augmenter la fiabilité.
L' optique à focale variable comporte par exemple un seul groupe optique mobile ou déformable. On sait qu'un zoom est réalisé avec au moins deux groupes mobiles, par exemple un ou deux pour la focale et l'autre pour la mise au point. En général, la mise au point et la focale sont indépendantes, c'est-à-dire que lorsque la focale varie, il n'est pas nécessaire de modifier la mise au point. Ceci élimine le temps nécessaire à la mise au point. Il existe également des optiques à focale variable, dites varifocales, moins onéreuses, dans lesquelles la mise au point doit être modifiée lorsque la focale varie. Enfin, il existe des zooms afocaux dans lesquels, deux groupes optiques mobiles liés de manière complexe sont utilisés pour faire varier la focale, la mise au point étant réalisée par un troisième groupe.
Dans une réalisation, l'image numérique est issue d'au moins deux capteurs . Par exemple, chaque capteur est dédié à une couleur déterminée. On peut par exemple faire appel à un capteur du type tri-CCD avec une optique commune d'imagerie sur ces capteurs.
Dans une réalisation, l'action commandée comprend l'ajout d'un objet dans une image et/ou le remplacement d'une partie d'une image en fonction de la netteté relative mesurée sur l ' image numérique .
Par exemple, le procédé permet d'ajouter un personnage à côté du sujet principal. On peut aussi, à titre d'exemple, ajouter un objet dans une position donnée dans l'image ; l'objet aura la taille correcte dans l ' image si l ' on tient compte de la distance de la scène imagée à cette position.
On peut également modifier l'arrière-plan ou éventuellement le masquer. On peut aussi extraire une partie de l'image, tel que le sujet principal, et l'insérer dans une autre image, de type naturel ou de synthèse, par exemple dans le cadre d'un jeu.
Il est également possible d'ajouter une information publicitaire en un endroit déterminé et une distance fixée de la scène, par exemple derrière le sujet principal.
Dans une réalisation, le procédé comprend la capture d'une séquence d'images, l'image numérique faisant partie de la séquence et l'action commandée étant effectuée sur au moins une autre image de la séquence. Ainsi, comme déjà décrit, l'estimation de la netteté relative peut être effectuée sur des images de prévisualisation avant prise de vue, a plus faible résolution, alors que la correction peut être effectuée sur une image définitivement mémorisée, par exemple au moyen d'un choix de filtres résultant d'une mesure effectuée sur les images de prévisualisation.
Dans une réalisation l'action commandée comprend la modification d'un réglage de l'appareil de capture, notamment la focale, l'ouverture, la distance de mise au point.
Ainsi, l'appareil de prise de vue peut comporter un programme de réglage automatique tel que l'ouverture est augmentée si le sujet principal se trouve devant un fond, 1 ' arrière-plan pouvant alors être flou . Le programme de réglage peut aussi adapter automatiquement l'ouverture à la distance des sujets d'un groupe afin que la profondeur de champ soit suffisante pour que tous les sujets du groupe soient nets. On notera que, dans ce dernier cas, on obtient une fonction réalisée automatiquement alors qu'elle est effectuée de façon manuelle dans l ' état de la technique .
Dans une réalisation l'action commandée comprend la production d'une image brute modifiée.
L'image numérique est de préférence l'image brute du capteur (format "raw" en anglais) avant opération de dématriçage ("demosaicing" en anglais). L'image numérique peut également avoir subi un traitement, par exemple, une balance des blancs. De préférence, l'image numérique n'a pas subi de sous- échantillonnage .
On obtient ainsi un ensemble à système optique, capteur et moyen de traitement d'image qui produit une image brute présentant une meilleure qualité ou des caractéristiques particulières, par exemple une extension de la profondeur de champ, tout en conservant des caractéristiques similaires à une image brute directement issue du capteur et en particulier une comptabilité avec les blocs fonctionnels ou composants connus effectuant la fonction de conversion image brute vers image visible ("image pipe" ou "image signal processor" en anglais) .
En variante, l'image brute a subi un dématriçage. Dans une réalisation, l'optique de l'appareil de capture présente de fortes aberrations chromatiques longitudinales, par exemple telles que, pour une mise au point, une ouverture et une focale déterminées, il existe au moins une couleur pour laquelle la distance objet de meilleure netteté est inférieure à f2 OJ3 k étant un coefficient inférieur à 0,7, de préférence inférieur à 0,5, f étant la focale, 0 l'ouverture et P le plus petit (parmi toutes les couleurs de l'image) des diamètres de la tache de flou d'un point objet se trouvant à l'infini.
Dans une réalisation la mesure de netteté relative entre deux couleurs est obtenue par la comparaison entre les résultats d'une première mesure M appliquée à la première couleur et le résultat de la seconde mesure appliquée à la seconde couleur, chaque mesure M fournissant une valeur fonction, d'une part, de la netteté de la couleur et, d'autre part, du contenu de l'image numérique, afin que la comparaison puisse s'affranchir du contenu de l'image numérique.
Exemple de définition et de réalisation de mesure de netteté relative :
La comparaison des nettetés est effectuée en utilisant une mesure M sur des pixels de l'image numérique.
La mesure M en un pixel P donné, pour un canal de couleur C donnée correspond au gradient de la variation de C dans un voisinage P. Elle est obtenue par le calcul suivant :
Pour une couleur C donnée, on considère V(P) un voisinage du pixel P.
On note GM la moyenne de l'amplitude des gradients sur le voisinage V(P), et SM la moyenne de l'amplitude des différences entre GM et les gradients sur le voisinage V(P) .
Un gradient se calcule par l'amplitude de la différence de valeurs de deux pixels d'une même couleur. Les gradients dans le voisinage V(P) correspondent aux gradients mettant en jeu un nombre prédéterminé de couples de pixels dans le voisinage V(P) .
La mesure M au pixel P ayant une couleur C peut être définie par le rapport entre SM et GM. On obtient ainsi une valeur M (P, C) .
Cette mesure ne permet pas, en elle-même, de caractériser précisément et complètement la netteté de la couleur C. En effet, elle dépend du contenu de l'image (type de scène imagée : textures, dégradés, etc..) dans le voisinage V(P) du pixel P. Une transition franche dans la scène imagée pour une même netteté de couleur, générera une mesure M plus élevée qu'une transition douce dans la scène imagée. Sur des images naturelles, une transition sera présente de la même façon dans chaque couleur, affectant ainsi la mesure M de la même façon entre les couleurs . Autrement dit quand une transition franche apparaît sur une couleur C, le même type de transition apparaît sur les autres couleurs .
Ainsi, la comparaison des mesures M permet d'établir la netteté relative entre une couleur Cl et une couleur C2.
La netteté relative, entre deux couleurs Cl et C2, mesurée en un pixel P peut se définir par exemple comme une comparaison entre les deux mesures M (P, Cl) et M(P,C2) . Ainsi M(P,C1)>M(P,C2) implique que Cl est plus net que C2. Par exemple aussi, on pourra utiliser une des formules suivantes :
M(P, Cl)-M(P, C2) , M(P, Cl) /M(P, C2),
Ou tout autre fonction F(M(P, Cl), M(P, C2) adaptée à la comparaison entre les deux mesures.
La netteté relative dans une région R de l ' image peut être définie en utilisant la mesure M sur tous les pixels P de la région R.
La netteté relative dans une région R de l ' image peut être l'ensemble ou un sous-ensemble des nettetés relatives mesurées pour les pixels P de la région R. Elle peut aussi être définie comme une valeur unique telle que la somme S des mesures sur tous les pixels P de la région R pour chacune des couleurs .
Ainsi, pour deux couleurs Cl et C2, on peut par exemple considérer que S(C1)>S(C2) implique que Cl est plus net que C2 en moyenne sur la région R.
On peut aussi utiliser toute autre fonction G(S (Cl) , S (C2) ) permettant la comparaison de ces deux mesures. Dans une réalisation, lorsque l'action commandée consiste à déterminer la position du sujet principal dans l'image, l'action commandée comprend en outre le cadrage automatique, notamment le centrage de l'image sur le sujet principal .
Le procédé peut être mis en œuvre dans un appareil ou dispositif de capture d'image ou de traitement d'image. Ces appareils ou dispositifs font partie du groupe comprenant : un composant électronique, intégrant ou non un capteur, un sous- ensemble électronique intégrant une optique, un capteur et éventuellement un module de traitement d'image ("caméra module") ou toute autre forme comme définie ci-dessus.
D'autres caractéristiques et avantages de l'invention apparaîtront avec la description de certains de ses modes de réalisation, celle-ci étant effectuée en se référant aux dessins ci-annexés sur lesquels : - les figures la et Ib, déjà décrites, sont des schémas représentatifs de l'aberration chromatique longitudinale d'une lentille convergente,
- la figure 2, déjà décrite, est le diagramme spectral en couleur d'une image, - les figures 3a et 3b sont des diagrammes représentant l'amélioration de la netteté d'une couleur au moyen d'une même couleur nette selon l'invention,
- la figure 4 est un diagramme représentant l'amélioration de la netteté d'une couleur au moyen de différentes couleurs nettes associées à des régions distinctes d'une image selon l'invention, les figures 5, 6 et 7 sont des diagrammes représentant l'amélioration de la netteté d'une couleur au moyen de différentes couleurs nettes associées à l'ensemble d'une image selon l'invention, la figure 8 est un diagramme représentant l'asservissement d'un appareil en fonction d'un écart de netteté entre la couleur nette et la couleur à améliorer selon 1' invention, - la figure 9 est un diagramme représentant le choix d'une couleur nette à partir d'une distance mesurée entre un objet et un appareil capturant l'image de cet objet,
- la figure 10 est un diagramme représentant la réduction de la netteté d'au moins une couleur dans au moins une région de l'image,
- la figure 11 est un schéma d'un appareil obtenu par le procédé selon l'invention,
- la figure 12 un diagramme montrant des étapes du procédé selon l'invention, - la figure 13 montre un mode de réglage conforme à
1' invention, la figure 14a et 14b forment un ensemble de diagrammes montrant des réglages utilisés dans le cadre de
1' invention, - les figures 15, 15a, et 15b illustrent une propriété d'un appareil de capture d'images selon l'invention et d'un appareil conventionnel,
- les figures 16a à 16d sont des diagrammes montrant les propriétés d'un système optique d'un appareil selon l'invention et d'un appareil classique,
- les figures 17a et 17b sont des schémas montrant un exemple de sélection de système optique pour un appareil selon 1' invention,
- la figure 18 est un diagramme illustrant des caractéristiques d'un appareil de prise de vue selon
1 ' invention,
- les figures 18.1 et 18.2 représentent des moyens de mise en œuvre du procédé selon l'invention, - les figures 19.1, 19.2 et 19.3 représentent des étapes du procédé selon l ' invention selon plusieurs variantes de réalisation, et les figures 20.1 et 20.2 représentent d'autres réalisations de l'invention.
Conformément à l'invention, le procédé décrit ci- dessous améliore la netteté d'au moins une couleur d'une image numérique en choisissant parmi les couleurs de l'image au moins une couleur dénommée « couleur nette » et en répercutant la netteté de la couleur nette sur au moins une autre couleur améliorée, comme montré ci-dessous à l'aide des figures 3a et 3b.
Plus précisément, sur la figure 3a est représentée la netteté (axe 7.2 des ordonnées) de deux couleurs 13.1 et 13.2 en fonction de la distance des objets qu'elles représentent sur l'image considérée vis-à-vis de l'appareil ayant capturé l'image
(axe 7.1 des abscisses).
Comme précédemment expliqué, la netteté de ces deux couleurs varie différemment en fonction de cette distance mais globalement, dans cet exemple, la première couleur 13.2 présente une meilleure netteté que celle d'une deuxième couleur 13.1 de cette même image.
C'est pourquoi, selon le procédé conforme à l'invention, on répercute la netteté de la première couleur 13.2 pour effectuer l'amélioration 14 de la netteté de la deuxième couleur 13.1 qui présente, après cette amélioration, une netteté
13.3 accrue.
Dans cet exemple, CA, CO et CN sont respectivement des valeurs représentatives de la couleur améliorée, de la couleur d'origine (ou à améliorer) et de la couleur nette. Dans cet exemple, la couleur nette est la première couleur. La couleur d' origine et la couleur améliorée correspondent à la deuxième couleur avant et après traitement. On effectue la répercussion de la netteté sur la deuxième couleur en utilisant un filtre F, selon une formule du type :
CA = CN + F (CO - CN) Typiquement, le filtre F présentera la particularité d'enlever les détails de l'image sur laquelle on l'applique. Pour cela on pourra utiliser un filtre linéaire passe-bas (ou moyenneur) . On peut également utiliser un des nombreux filtres non linéaires connus présentant la particularité d' enlever des détails comme par exemple un filtre médian.
A ce stade, il convient de rappeler que la rétine humaine présente une sensibilité particulièrement élevée, vis-à- vis des détails d'une image, pour la couleur verte de telle sorte que le réglage des systèmes optiques vise généralement à obtenir une netteté élevée pour cette couleur pour une certaine plage de mise au point (cf, par exemple, les pages 30 à 33 de l'ouvrage « Color appearance models », de Mark D. Fairchild édité par Addison Wesley) .
Ainsi, selon une constatation propre à l'invention, un dispositif optique délivrant des images dont la netteté n'est pas satisfaisante pour l'œil humain peut présenter une netteté satisfaisante pour une de ses couleurs, telles que le bleu ou le rouge, pour lesquelles l'œil présente une sensibilité moindre lorsqu'il considère des détails. Typiquement, pour une optique de mise au point à grandes distances (hyperfocal) , en considérant une image présentant un objet proche et un objet lointain, il apparaît que la netteté de l'objet lointain est généralement favorisée avec une couleur verte tandis que la netteté de l'objet proche est améliorée en considérant la couleur bleue.
Il apparaît alors important de pouvoir améliorer des régions d'une image selon différentes couleurs nettes en fonction de la netteté relative entre deux couleurs .
De fait, dans une réalisation de l'invention, on choisit la couleur nette servant à améliorer la netteté d'une couleur en fonction de régions de l'image, un tel procédé étant décrit ci-dessous à l'aide de la figure 4 qui montre une image 10 comprenant deux régions 11.1 et 11.2.
Dans ces deux régions sont présentes deux couleurs 8.2 et 8.3. Toutefois, la netteté (axe des ordonnées 7.2) de ces couleurs est telle que, dans la région 11.1, la couleur 8.2 est la plus nette tandis que, dans la région 11.2, la couleur 8.3 est la plus nette.
Dès lors, l'amélioration d'une couleur dans la région 11.2 s'effectue en considérant la couleur 8.3 comme couleur nette tandis que l'amélioration d'une couleur dans la région
11.1 s'effectue en considérant la couleur 8.2 comme couleur nette .
A ce niveau, il convient de noter que les régions d'une image peuvent être prédéterminées ou non. Par exemple, dans le cas d'une image numérique faite de pixels, une région peut être une zone spatiale délimitée par un ou plusieurs pixels .
En outre, il est possible de choisir une couleur nette pour améliorer une autre couleur en effectuant une simple comparaison de la netteté d'une couleur par rapport aux autres, au moins une autre, indépendamment de toute notion de distance telle que celle représentée par l'axe 7.1.
Dans ce cas, une telle analyse se présente sous la forme, par exemple, d'un tableau :
Zone 11.1 11.2
Netteté 8.2>8.3 8.3>8.2
Dans ce cas, on sélectionne la couleur 8.2 comme couleur nette dans la région 11.1 tandis que la couleur 8.3 est la couleur nette dans la zone 11.2.
Indépendamment de l'utilisation de régions dans une image, il peut être avantageux de considérer différentes couleurs nettes pour améliorer une couleur sur une image, comme décrit ci-dessous à l'aide des figures 5, 6 et 7.
Plus précisément, le diagramme de la figure 5 représente la netteté (axe des ordonnées 7.2) de deux couleurs 8.2 et 8.3 en fonction de la distance (7.1) entre au moins un objet de la scène capturée pour obtenir ladite image et l'appareil de capture.
Il apparaît que sur la plage 9.1, la couleur 8.3 présente une netteté supérieure à la netteté de la couleur 8.2 tandis que la situation est inverse pour de plus grandes distances (plage 9.2).
Dans ce cas, un procédé conforme à l'invention peut considérer la couleur 8.3 comme couleur nette, servant à corriger la netteté d'une couleur, sur la plage de distances 9.1, tandis que la couleur 8.2 est considérée comme la couleur nette pour améliorer une couleur issue d'un objet de la scène capturée pour obtenir l'image située à une distance de l'appareil de capture comprise dans la plage 9.2.
Suite à de telles corrections, la netteté des couleurs sur l'image peut être améliorée vers un profil tel que montré sur le diagramme 6, à savoir la juxtaposition des couleurs les plus nettes sur l'image.
Il est clair que, de façon analogue à la description de la figure 4, il est possible de choisir une couleur nette pour améliorer une autre couleur en effectuant une simple comparaison de la netteté d'une couleur par rapport aux autres, au moins une autre, indépendamment de toute notion de distance telle que celle représentée par l'axe 7.1.
Les courbes de netteté représentées dans les figures déjà décrites 3a, 3b, 4, 5 et 6 et décrites ultérieurement 7 à
10, peuvent varier selon la position géométrique de la région considérée de l'image et/ou d'autres paramètres de capture d'image tels que la focale, l'ouverture, mise au point, etc.. Pour déterminer la couleur la plus nette au sens de l'invention, il n'est pas besoin de connaître les paramètres indiqués ci-dessus .
Dans d'autres cas, et notamment pour déterminer la distance selon l'invention et/ou pour contrôler la profondeur de champ, il est nécessaire de connaître certains de ces paramètres ainsi que les courbes de netteté, au moins de façon (s) partielle (s) ou approximatives pour certaines valeurs de ces paramètres .
Par ailleurs, le choix de la couleur nette peut aussi être déterminé par l'activation logicielle d'au moins un mode de capture d'image tel qu'un mode macro comme décrit ultérieurement. Dans un tel cadre, on pourra considérer l'image comme une seule région.
Il convient de préciser que sur ces figures 5 et 6 est représenté un seuil 8.1 qui indique le niveau requis de netteté, au delà duquel l'image est considérée comme floue.
Dans un traitement classique, représenté en figure 7, un tel seuil 8.1 définit la profondeur de champ, c'est-à-dire la plage 9.2 de distances entre au moins un objet de la scène capturée pour obtenir ladite image, et l'appareil de capture, telle que l'image de l'objet soit nette.
Une conséquence de l'invention est donc de permettre une extension de la profondeur de champ d'un système optique comme détaillé ci-dessous à l'aide de la figure 9. Sur cette figure, la profondeur de champ d'un appareil de capture, initialement limitée par la netteté de la couleur 8.2 et le seuil de netteté 8.1, est accrue en utilisant une deuxième couleur 8.3 présentant une netteté satisfaisante (en dessous du seuil 8.1) sur une nouvelle plage de distances entre au moins un objet de la scène capturée pour obtenir ladite image et l'appareil de capture.
Concrètement, une telle application est mise en œuvre dans les appareils photographiques à focus fixe, tels que les caméraphones . En effet, la conception optique de ces appareils prévoit une plage de netteté pour de grandes distances jusqu'à quelques dizaines de centimètres au mieux sur la base d'une couleur verte, analogue à la couleur 8.2 de la figure 5. Par ailleurs, la couleur bleue ne focalisant pas de la même façon, elle peut présenter une netteté à des distances plus faibles que la couleur verte, de façon analogue à la couleur 8.3.
Dès lors, l'invention permet d'augmenter la netteté d'une image à faible distance d'un caméraphone en attribuant à la couleur verte, et aux autres couleurs, la netteté de la couleur bleue, augmentant de façon corollaire la profondeur de champ de l'appareil.
Dans un mode de réalisation de l'invention, montré à l'aide de la figure 8, plus particulièrement adapté à un appareil de capture muni d'un autofocus, le procédé détermine une consigne d'asservissement de l'appareil de capture considéré à partir de la netteté d'au moins deux couleurs de l'image saisie de sorte que la mise au point se fait en moins d'étapes et donc plus rapidement.
Par exemple, une distance 17.1 entre au moins un objet de la scène imagée et le système optique 1 capturant l'image peut être déterminée à l'aide des différents niveaux de netteté (axe 7.2 des ordonnées) des couleurs 8.2 et 8.3 utilisées dans la région 11.3 relative à l'image de l'objet.
Connaissant une telle distance entre l'objet 4 et le système 1, il est alors possible de déterminer une consigne 5 d'asservissement de l'appareil 6 de capture. Cette figure 8 sera décrite ci-après de façon plus détaillée. Selon une autre réalisation de l'invention, montrée à l'aide de la figure 10, on réduit la netteté d'au moins une couleur dans au moins une région de l'image.
Application Macro On va maintenant décrire, en s'appuyant sur les figures 5, 6 et 7, une réalisation du procédé et système selon l'invention, plus particulièrement adaptée à la réalisation d'une fonction Macro sans nécessité d'un dispositif mécanique particulier pour un appareil de capture d'image connu. Une fonction macro est destinée à permettre la réalisation d' image d'objets proches de l'appareil de capture dans une plage prédéterminée de distances, dite plage de distances macro 9.1, à l'appareil. Habituellement, un appareil de capture permet de déplacer tout ou partie de l'optique pour réaliser la fonction macro. Le procédé ou système objet de l'invention permet de s'affranchir d'un tel déplacement.
Selon l'invention, on prédétermine la couleur la plus nette pour la plage de distances macro 9.1, par exemple par mesure de la netteté 8.2 et 8.3 des couleurs des images numériques obtenues par l'appareil de capture pour chaque couleur en réalisant des images numériques à partir d'objets situés à différentes distances de l'appareil de capture. La couleur la plus nette (figure 5) est celle correspondant à la mesure 8.3. Cette prédétermination peut être réalisée de façon définitive, par exemple au moment de la conception de l'appareil
(ou de la série d'appareils) .
Par la suite, lors de l'utilisation de l'appareil, lorsque la fonction Macro est activée, on répercute alors la netteté de la couleur nette ainsi prédéterminée sur les autres couleurs, comme décrit précédemment. Lorsque la fonction Macro est désactivée, on peut calculer la netteté de l'image numérique par une méthode classique ou en utilisant le procédé selon l'invention appliqué à la plage de distances 9.2.
On obtient ainsi une fonction macro compatible d'une optique à mise au point fixe sans aucun mécanisme mobile, donc sans changer l'encombrement de l'appareil de capture d'image ni ajouter de surcoût matériel. Le mode macro peut ainsi être activé de façon logicielle au niveau de l'appareil ou de tout autre dispositif traitant l'image. Cette activation logicielle peut se faire ainsi de façon classique avant la capture de l'image mais également après cette capture et sur un dispositif local ou distant de l'appareil de capture. Selon une variante, l' activation du mode macro peut être faite automatiquement par exemple en déterminant l'image la plus nette entre l'image générée en mode normal et l'image générée en mode macro.
La fonction macro réalisée selon l'invention, bénéficie également à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs, notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté 8.2 et 8.3 correspondant à la valeur des paramètres variables selon l'image numérique.
L'ajout de fonction macro permet la prise de vue de code barre, de carte de visite, ou de manuscrit contenant texte et/ou schéma par un appareil de capture d' image, notamment un téléphone ou un appareil photo.
Application extension de profondeur de champ
On va maintenant décrire en s'appuyant sur les figures 4, 5, 6 et 7 une réalisation du procédé et système selon l'invention, plus particulièrement adaptée à la l'extension de la profondeur de champ sans nécessité d'un dispositif mécanique particulier pour un appareil de capture d'image connu. La profondeur de champ correspond à la plage de distances, entre les objets de la scène et l'appareil de capture d'image, permettant l'obtention d'une image numérique nette. Habituellement, un appareil de capture a une profondeur de champ limitée et d'autant plus faible que l'ouverture de l'optique est grande .
Selon l'invention et comme représenté sur la figure 4, on décompose l'image numérique en régions 11.1 et 11.2 par exemple en régions carrées correspondant à 9 éléments sensibles voisins du capteur, ou, de manière plus générale, en régions correspondant à X par Y éléments sensibles ou en régions de forme prédéterminée ou calculée selon l'image numérique. On choisit alors pour chaque région la couleur la plus nette, par exemple comme la couleur correspondant à la valeur la plus faible parmi les valeurs obtenues par calcul d'un gradient pour chaque couleur à partir des niveaux de gris correspondant à la couleur et la région considérées. Sur la figure 4, la couleur correspondant à la courbe 8.3 est plus nette pour la région 11.2 alors que la couleur correspondant à la courbe 8.2 est plus nette pour la région 11.1.
On répercute alors pour chaque région la netteté de la couleur nette ainsi choisie sur les autres couleurs.
En s'appuyant sur la figure 5, on peut voir que l'image numérique d'objets proches -de distance 5 à l'appareil de capture comprises dans la plage de distances 9.1- est nette pour la couleur correspondant à la courbe 8.3 (par exemple le bleu) alors qu'elle l'est moins pour la couleur correspondant à la courbe 8.2 (par exemple le vert). On peut voir également que l'image numérique d'objets lointains -de distances à l'appareil de capture comprises dans la plage de distances 9.2- est nette pour la couleur correspondant à la courbe 8.2 alors qu'elle l'est moins pour la couleur correspondant à la courbe 8.3. L'œil étant beaucoup plus sensible à la netteté dans le vert que le bleu, il va percevoir une netteté correspondant à la courbe 8.5 de la figure 7. Si 8.1 correspond au seuil de netteté pour l'œil, l'image ne sera nette que pour les objets situés à une distance de l'appareil de capture dans la plage 9.2. La figure 6 représente, par la courbe 8.4, la netteté obtenue dans chaque couleur après utilisation du procédé selon l'invention : le bleu a permis d' obtenir une netteté meilleure que le seuil 8.1 pour les objets proches, situés dans la plage de distances 9.1, alors que le vert a permis d'obtenir une netteté meilleure que le seuil 8.1 pour les objets distants, situés dans la plage de distances 9.2. On obtient ainsi une image numérique nette pour toutes les couleurs dans une grande plage de profondeur de champ. Ceci constitue un exemple où le choix de la couleur nette est effectué selon une règle prédéterminée à savoir le choix de la couleur la plus nette dans chaque région.
Ainsi la profondeur de champ est augmentée sans augmenter le coût, la complexité ou l'encombrement de l'optique et/ou sans avoir besoin de changer l'exposition, donc sans réduire l'ouverture, ni augmenter le niveau de bruit ou augmenter le flou de bougé.
L'augmentation de profondeur de champ réalisée selon l'invention bénéficie notamment aux optiques fixes, notamment aux téléphones . L' augmentation de profondeur de champ permet à la fois la prise de vue de code barre, de carte de visite, ou de manuscrit contenant texte et/ou schéma ainsi que de portraits ou de paysages par un appareil de capture d'image, notamment un téléphone ou un appareil photo. Ceci est possible sans utiliser de dispositif coûteux d'autofocus ou macro. De plus ce dispositif, comparé à un dispositif macro mécanique manuel est réalisé de manière entièrement automatique sans aucune intervention de l'utilisateur.
L'augmentation de profondeur de champ réalisée selon l'invention, bénéficie également à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs, notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté 8.2 et 8.3 correspondant à la valeur des paramètres variables selon l'image numérique.
Le procédé et dispositif selon l'invention permet alors de choisir ou concevoir, comme décrit ultérieurement à l'aide des figures 11 à 17b, lors de la conception de l'appareil de capture, une optique avec un nombre plus limité de positions de mise au point, ce qui a pour avantage de réduire les contraintes de conception de l'optique et donc d'en diminuer les coûts. Ceci a également pour avantage de permettre une mise au point plus rapide et moins coûteuse en diminuant la précision nécessaire du mécanisme d'asservissement. Par exemple, pour obtenir une optique de grande profondeur de champ on peut choisir ou concevoir une optique ayant la caractéristique d'avoir l'union des plages de distances nettes pour chacune des couleurs la plus grande possible.
Par exemple, pour obtenir une optique de grande ouverture on peut choisir ou concevoir une optique ayant la caractéristique d'avoir une seule couleur nette dans chacune des plages de distances et telle que l'union des plages de distances nettes pour chacune des couleurs corresponde à la profondeur de champ souhaitée. Par exemple encore, on peut aussi optimiser à la fois l'ouverture de l'appareil et la profondeur de champ de l'image.
On obtient aussi un procédé et un dispositif qui permettent de réduire les aberrations chromatiques longitudinales d'une image numérique.
On obtient également un procédé et dispositif qui permet d'augmenter la netteté d'une image sans connaître l'appareil de capture utilisé pour la produire. Application à la mesure de la distance des objets d'une scène à partir d'une seule image
On va maintenant décrire en s' appuyant sur la figure 8 une réalisation du procédé et système selon l'invention, plus particulièrement adaptée à la mesure de la distance des objets d'une scène à partir d'une seule image sans nécessité d'un dispositif matériel de mesure de télémétrie. Le procédé permet alors d'obtenir une estimation de distance des objets présents dans chaque région de l'image numérique.
Habituellement, un appareil de capture utilise un dispositif matériel pour mesurer la distance des objets d'une scène basée sur un laser, un dispositif infrarouge, un pré- éclair de flash...
Selon l'invention, et comme représenté sur la figure 8, on décompose l'image numérique en régions 11.3 par exemple en régions carrées correspondant à 9 éléments sensibles voisins du capteur, ou, de manière plus générale, en régions correspondant à X par Y éléments sensibles ou en régions de forme prédéterminée ou calculée selon l'image numérique. On mesure alors pour chaque région 11.3 la netteté d'au moins deux couleurs, on reporte alors les valeurs mesurées, ou les valeurs relatives mesurées 16.1 et 16.2, sur les courbes 8.2 et 8.3 correspondantes de netteté de l'appareil de capture. On obtient alors une distance 17.2 correspondant à une estimation de la distance 17.1 entre la partie de l'objet 4 représentée sur la région 11.3 et l'appareil de capture.
La mesure de distance réalisée selon l'invention bénéficie notamment aux optiques fixes, notamment aux téléphones.
La mesure de distance réalisée selon l'invention, bénéficie également à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté 8.2 et 8.3 correspondant à la valeur des paramètres variables selon l'image numérique.
Le procédé permet alors d'obtenir une estimation de distance des objets présents dans chaque région de l'image numérique. Ceci permet :
- de construire un dispositif télémètre temps réel et bas coût à l'aide d'un capteur et d'une optique standard qui délivre une image et des informations de distance corrélées à l'image ; habituellement, plusieurs prises de vues sont nécessaires ou un dispositif matériel spécifique est nécessaire et l'association image/information de distance est complexe ;
- par exemple on affiche la distance en temps réel sur l'image,
- par exemple l ' information de distance permet de guider un robot,
- d'accélérer la mise au point d'appareils de capture à mise au point ou focale variable : on peut en effet déterminer, à partir d'une seule image, la consigne d'asservissement à appliquer pour obtenir la mise au point désirée, par exemple sur le sujet central ou dans une zone de mise au point sélectionnée par l'utilisateur,
- de tenir compte de la distance des divers objets d'une scène pour régler la puissance d'un flash et notamment du sujet principal ou du sujet dans la zone de mise au point, - de tenir compte de la distance des divers objets d'une scène pour le dispositif d'auto-exposition de l'appareil de capture, afin par exemple de privilégier le sujet principal ou le sujet dans la zone de mise au point sélectionnée par l'utilisateur pour un portrait,
de définir automatiquement le sujet principal sans avoir besoin de demander à l'utilisateur de le définir.
Application au contrôle de profondeur de champ, indépendamment de l'exposition
On va maintenant décrire en s'appuyant sur les figures 4, 5, 6 et 7 une réalisation du procédé et système selon l'invention, plus particulièrement adaptée au contrôle de la profondeur de champ, sans nécessité d'un dispositif mécanique particulier pour un appareil de capture d'image connu. Le procédé permet alors d'obtenir une image nette pour des objets situés à une distance de l'appareil de capture correspondant à une plage de netteté et une image floue pour les autres objets. Habituellement, un appareil de capture a une profondeur de champ limitée et d'autant plus faible que l'ouverture de l'optique est grande et donc la profondeur de champ et l'exposition sont liés de sorte qu'un choix doit être fait en basse lumière entre profondeur de champ, bruit et flou de bougé. Selon la réalisation, il est possible de contrôler séparément exposition et profondeur de champ.
Selon l'invention et comme représenté sur la figure 4, on décompose l'image numérique en régions 11.1 et 11.2 par exemple en régions carrées correspondant à 9 éléments sensibles voisins du capteur, ou, de manière plus générale en régions correspondant à X par Y éléments sensibles ou en régions de forme prédéterminée ou calculée selon l'image numérique. On choisit alors pour chaque région la couleur la plus nette, par exemple comme la couleur correspondant à la valeur la plus faible parmi les valeurs obtenues par calcul d'un gradient pour chaque couleur à partir des niveaux de gris correspondant à la couleur et la région considérées. Sur la figure 4, la couleur correspondant à la courbe 8.2 est plus nette pour la région 11.2 alors que la couleur correspondant à la courbe 8.3 est plus nette pour la région 11.1.
On répercute alors pour chaque région la netteté de la couleur nette ainsi choisie sur les autres couleurs comme décrit précédemment. Comme on l'a vu précédemment, on obtient ainsi une image numérique nette pour toutes les couleurs dans une grande plage de profondeur de champ.
On utilise, pour déterminer la distance entre l'appareil de capture et les objets de la scène capturée dans la région de 1' image numérique :
- soit, comme décrit précédemment, la netteté d'au moins deux couleurs pour chaque région,
- soit un autre procédé ou dispositif de mesure de distance plus précis .
On peut alors diminuer la netteté, par exemple par un filtre gaussien, ou par un filtre simulant un bokeh, dans les régions et/ou dans des parties du champ contenant des objets situés à des distances hors de la plage de netteté souhaitée. Par exemple pour un portrait, on peut obtenir un arrière plan flou qui met en valeur le visage sans avoir besoin d' une optique de grande ouverture. Par exemple pour un paysage, on peut obtenir une grande profondeur de champ sauf éventuellement pour des objets isolés dans les coins qui peuvent nuire à la lisibilité de l'image. Par exemple, pour une scène comportant des objets proches dans le coin suite à un mauvais cadrage, on peut rendre flous ces objets proches. Par exemple on peut laisser le choix à l'utilisateur de la profondeur de champ, soit dans l'appareil, soit lors d'un post-traitement sur un ordinateur.
Ainsi la profondeur de champ est contrôlée sans avoir besoin de changer l'exposition donc sans modifier l'ouverture, ni augmenter le niveau de bruit ou augmenter le flou de bougé.
Le contrôle de profondeur de champ réalisé selon l'invention bénéficie notamment aux optiques fixes, notamment aux téléphones. Le contrôle de profondeur de champ permet à la fois la prise de vue de code barre, de carte de visite, ou de manuscrit contenant texte et/ou schéma ainsi que de portraits ou de paysages par un appareil de capture d'image, notamment un téléphone ou un appareil photo. Ceci est possible sans utiliser de dispositif coûteux d'optique de grande ouverture. De plus ce dispositif peut être réalisé de manière entièrement automatique sans aucune intervention de l'utilisateur.
Le contrôle de profondeur de champ réalisé selon l'invention, bénéficie également à un appareil comportant une optique mobile, notamment un zoom. Un amateur averti peut ainsi contrôler directement ou indirectement indépendamment la profondeur de champ et l'exposition.
La figure 11 est un schéma illustrant l'architecture d'un appareil de capture ou de restitution d'images.
Un tel appareil, par exemple de capture d'images, comporte, d'une part, un système optique 122, notamment à un ou plusieurs éléments optiques telles que des lentilles, destiné à former une image sur un capteur 124.
Bien que les exemples concernent principalement un capteur 124 du type électronique, ce capteur peut être d'un autre type, par exemple une pellicule photographique dans le cas d'un appareil dit « argentique ». Un tel appareil comporte aussi un système d'asservissement 126 agissant sur le système optique 122 et/ou sur le capteur 124 pour effectuer une mise au point afin que le plan image se trouve sur le capteur 124, et/ou pour que la quantité de lumière reçue sur le capteur soit optimale par réglage du temps de pose et/ou d'ouverture, et/ou pour que les couleurs obtenues soient correctes, en effectuant un asservissement de la balance des blancs .
Enfin, l'appareil comprend des moyens numériques de traitement d'images 128.
En variante, ces moyens numériques de traitement d'images sont séparés de l'appareil 120. Il est également possible de prévoir une partie des moyens de traitement d'images dans l'appareil 120 et une partie en dehors de l'appareil 120. Le traitement numérique de l'image est effectué après l'enregistrement d'images par le capteur 124.
Un appareil de restitution d' images présente une structure analogue à un appareil de capture d' images . A la place d'un capteur 124, on prévoit un générateur 124' d'images recevant des images de moyens 128' numériques de traitement d'images et fournissant les images à un système optique 122', tel qu'un système optique de projection.
Dans ce qui suit, pour la clarté de l'exposé, on se référera uniquement aux appareils de capture d' images . L'invention consiste, selon un de ses aspects, qui peut être utilisé indépendamment des aspects précédemment décrits, à partir des capacités des moyens 128, 128' de traitement numérique d' images pour déterminer ou sélectionner les paramètres du système optique 122, 122', et/ou du capteur ou générateur d'images 124, 124' et/ou du système d'asservissement 126.
On a présenté sur le diagramme de la figure 12 le niveau des performances que l'on peut atteindre avec chacun des composants de l'appareil lorsqu'ils sont associés à des moyens numériques de traitement d'images. Ces niveaux sont représentés par le trait interrompu 130 pour le système optique, le trait interrompu 132 pour le capteur, le trait interrompu 134 pour l'asservissement, et le trait interrompu 136 pour l'appareil.
Partant de ces niveaux de performances que l'on peut obtenir avec les moyens numériques de traitement d'images, on peut choisir des niveaux de performance de chacun des composants de l'appareil qui soient, avant traitement, sensiblement inférieurs aux niveaux des performances obtenues après application des moyens de traitement. On voit ainsi que le niveau des performances du système optique peut être établi au niveau 130' , les niveaux des performances du capteur et du système d'asservissement peuvent être établis aux niveaux, respectivement 132' et 134' .
Dans ces conditions, en l'absence de traitement numérique, le niveau des performances de l'appareil serait au niveau le plus bas, par exemple le niveau 136' correspondant au niveau le plus bas 130' pour le système optique.
Les moyens numériques de traitement d' images sont de préférence ceux décrits dans les documents suivants : - Demande de brevet EP 02751241.7 ayant pour titre :
« Procédé et système pour produire des informations formatées liées aux défauts des appareils d'une chaîne d'appareils et informations formatées destinées à des moyens de traitement d' images ». - Demande de brevet EP 02743349.9 pour : « Procédé et système pour modifier les qualités d' au moins une image provenant ou destinée à une chaîne d'appareils ».
- Demande de brevet EP 02747504.5 pour : « Procédé et système pour réduire la fréquence des mises à jour de moyens de traitement d'images ».
- Demande de brevet EP 02748934.3 pour : « Procédé et système pour corriger les aberrations chromatiques d'une image couleur réalisée au moyen d'un système optique ». - Demande de brevet EP 02743348.1 pour : "Procédé et système pour produire des informations formatées liées aux distorsions géométriques ».
- Demande de brevet EP 02748933.5 pour : "Procédé et système pour fournir, selon un format standard, des informations formatées à des moyens de traitement d'images".
- Demande de brevet EP 02747503.7 pour : « Procédé et système pour calculer une image transformée à partir d'une image numérique et d' informations formatées relatives à une transformation géométrique ».
- Demande de brevet EP 02747506.0 pour : « Procédé et système pour produire des informations formatées liées aux défauts d'au moins un appareil d'une chaîne, notamment au flou ». - Demande de brevet EP 02745485.9 pour : « Procédé et système pour modifier une image numérique en prenant en compte son bruit ».
Demande de brevet PCT/FR 2004/050455 pour : « Procédé et système pour modifier une image numérique de manière différenciée et quasi régulière par pixel ».
Ces moyens numériques de traitement d' images permettent d'améliorer la qualité des images en agissant sur au moins l'un des paramètres suivants :
- Les distorsions géométriques du système optique. On rappelle qu'un système optique peut distordre les images de façon telle qu'un rectangle peut être déformé en coussin, avec une forme convexe de chacun des côtés ou en barillet avec une forme concave de chacun des côtés .
- Les aberrations chromatiques du système optique : si un point objet est représenté par trois taches colorées ayant des positions précises les unes par rapport aux autres, l'aberration chromatique se traduit par une variation de position de ces taches les unes par rapport aux autres, les aberrations étant, en général, d'autant plus importantes qu'on s'éloigne du centre de l'image. - La parallaxe : quand on effectue un réglage par déformation ou déplacement d'un élément optique du système optique, l'image obtenue sur le plan image peut se déplacer. Le réglage est, par exemple, un réglage de la focale, ou un réglage de mise au point.
Ce défaut est illustré par la figure 13 sur laquelle on a représenté un système optique 140 à trois lentilles dans lequel le centre de l'image a la position 142 quand la lentille 144 a la position représentée en trait plein. Lorsque la lentille 144 se déplace pour prendre la position 144', représentée en traits interrompus, le centre de l'image prend la position 142' .
- Profondeur de champ : quand le système optique est mis au point sur un plan objet déterminé, les images de ce plan restent nettes ainsi que les images des objets proches de ce plan. On appelle « profondeur de champ » la distance entre le plan objet le plus proche et le plan objet le plus éloigné pour lesquels les images restent nettes.
- Le vignetage : en général, la luminosité de l'image est maximale au centre et diminue au fur et à mesure qu'on s'éloigne du centre. Le vignetage se mesure par l'écart, en pour cent, entre la luminosité en un point et la luminosité maximale.
- Le manque de netteté du système optique et/ou du capteur et/ou du générateur d' images se mesure par exemple par le paramètre BXU tel que défini ci-dessus.
- Le bruit de l'image est en général défini par son écart type, sa forme, et la dimension de la tache de bruit et sa coloration.
- Le phénomène de moiré est une déformation de l'image qui se produit lorsqu'il existe des hautes fréquences spatiales.
Le moiré se corrige par le paramétrage des filtres anti-alias .
- Le contraste est le rapport entre les plus hautes et les plus basses valeurs de luminosité de l'image pour lesquelles des détails de l'image sont encore visibles. Comme représenté sur les figures 14a et 14b, on peut améliorer le contraste (figure 14a) d'une image, c'est-à-dire étendre (figure 14b) la plage de luminosités sur laquelle on peut distinguer les détails. Cette extension s'effectue à l'aide notamment d'un algorithme de correction de contraste et de bruit.
On va maintenant décrire en relation avec la figure 15 une réalisation permettant d'uniformiser la netteté dans le champ de l'image. On rappelle tout d'abord que la surface image d'un plan objet ne constitue pas un plan parfait mais présente une courbure, dite courbure de champ. Cette courbure varie en fonction de divers paramètres dont la focale et la mise au point. Ainsi, la position du plan image 150 dépend de la zone sur laquelle est effectuée la mise au point. Dans l'exemple représenté sur la figure 15, le plan 150 correspond à une mise au point au centre 152 de l'image. Pour une mise au point sur une zone 154 proche du bord de l'image, le plan image 156 se trouve plus proche du système optique 122 que le plan image 150. Pour simplifier le système d'asservissement pour la mise au point, on dispose le plan image en une position 158, intermédiaire entre les positions 154 (correspondant à une mise au point sur une zone proche du bord de l'image), et 150
(correspondant à une mise au point sur une zone au centre de l'image). La conjugaison des moyens numériques de traitement d'images 128 avec l'asservissement 126 de mise au point, permet de limiter le déplacement du plan 158 pour la mise au point, ce qui diminue la consommation en énergie du système d'asservissement et permet de réduire le volume de ses composants.
On a représenté sur le diagramme de la figure 15a les propriétés de flou avec un système classique d'asservissement de mise au point dans lequel la netteté maximum est obtenue au centre de l'image. Ainsi, sur ce diagramme de la figure 15a, on a porté en abscisses le champ de l'image et en ordonnées la valeur de flou exprimée en BXU. Avec ce système d'asservissement classique, le flou est, au centre, de 1,3 et, au bord de l'image, de 6,6.
La figure 15b est un diagramme analogue à celui de la figure 15a montrant les propriétés d'un asservissement d'un appareil réalisé selon l'invention, partant de l'hypothèse que les moyens numériques de traitement d' images permettent de corriger le flou jusqu'à une valeur de BXU égale à 14. La courbe représentée sur ce diagramme de la figure 15b présente ainsi, au centre de l'image, une valeur BXU = 2,6 et la valeur de BXU diminue quand on s'éloigne du centre pour remonter ensuite jusqu'à une valeur de 4 vers le bord de l'image. On rappelle que cette valeur est la limite pour que le flou soit corrigeable par les moyens numériques de traitement. Ainsi on peut obtenir une image nette sur la totalité du champ de l'image alors qu'il n'en est pas ainsi avec un appareil doté d'un système classique.
Dans une réalisation, les moyens numériques de traitement d' images comportent des moyens d' amélioration de la netteté tels qu'ils permettent de se passer d'un asservissement de mise au point.
A titre d'exemple comparatif, les diagrammes des figures 16a, 16b, 16c, et 16d montrent les caractéristiques d'un appareil obtenu selon la technique classique et celles d'un appareil obtenu avec le procédé selon l'invention. L'appareil classique est un appareil de photographie numérique intégré à un téléphone mobile ayant un capteur VGA, c'est-à-dire une résolution 640 x 480 sans système de mise au point .
L'appareil classique a une ouverture de 2,8 alors que l'appareil obtenu avec le procédé selon l'invention a une ouverture de 1,4.
La figure 16a, qui correspond à l'appareil classique, est un diagramme sur lequel on a représenté en abscisses le pourcentage de champ de l'image, l'origine correspondant au centre de l'image. L'ordonnée représente le vignetage V. La figure 16b est un diagramme analogue pour un appareil obtenu selon l' invention.
Dans le schéma de la figure 16a (appareil classique) le vignetage atteint la valeur 0,7 au bord de l'image tandis que dans le diagramme de la figure 16b on voit que le système optique de l'appareil selon l'invention, présente un vignetage sensiblement plus important, de l'ordre de 0,3. La limite de correction de l'algorithme utilisé est de 0,25. En d'autres termes, grâce à l'algorithme de correction on peut faire appel à une optique de vignetage sensiblement plus important.
La figure 16c est un diagramme représentant en ordonnées le flou, exprimé en BXU, en fonction du champ de l'image (en abscisses) pour un appareil classique. Dans cet appareil classique, la caractéristique de flou est de 1,5 au centre et de 4 au bord de l'image.
Le diagramme de la figure 16d représente aussi le flou pour l'optique de l'appareil obtenu avec le procédé selon l'invention. En abscisses de ce diagramme de la figure 16d, on a aussi représenté le champ de l'image et en ordonnées le flou exprimé en BXU. On voit que sur ce diagramme de la figure 16d, le flou au centre de l'image est de l'ordre de 2,2. Il est donc supérieur au flou du diagramme de la figure 16c. Par contre, sur les bords, on a choisi un flou de l'ordre de 3, compte tenu de la limite de l'algorithme de correction. Autrement dit, de façon surprenante, on a choisi une optique dégradée en ce qui concerne la netteté au centre, alors qu'on obtient les mêmes résultats qu'avec l'appareil classique, avec, en plus, une ouverture supérieure. Il est aussi à noter que sur les bords, l'optique de l'appareil selon l'invention représente une qualité analogue à celle de l'optique classique, ce résultat pouvant être obtenu en raison de la dégradation du vignetage par rapport à l'optique classique.
Sur les diagrammes des figures 17a et 17b, on a représenté des caractéristiques de systèmes optiques différents entre lesquels le choix doit être effectué afin de réaliser un appareil de capture en utilisant le procédé selon l'invention.
Dans l'exemple représenté sur la figure 17a, le système optique fournit une tache image 1100 de faibles dimensions. Ce système présente une fonction de transfert de modulation (FTM) représentée par un diagramme où les fréquences spatiales sont en abscisses . La valeur de la fréquence de coupure est fc. La fonction FTM comporte un palier 1110 au voisinage des fréquences nulles et une partie décroissant rapidement vers la valeur fc.
L'optique représentée par le schéma de la figure 17b, présente une tache image 1114 de dimensions sensiblement supérieures à la tache image 1100 et sa FTM présente la même fréquence de coupure fc que dans le cas de la figure 17a. Par contre, la variation de cette FTM en fonction de la fréquence spatiale est différente : cette fréquence diminue de façon relativement régulière à partir de l'origine vers la fréquence de coupure.
Pour le choix du système optique, on se base sur le fait que l'algorithme de correction de la fonction de transfert de modulation, est efficace à partir d'une valeur de 0,3. Dans ces conditions, on voit qu'avec l'optique de la figure 17b, on obtient une correction permettant de rehausser la FTM jusqu'à une valeur f2, par exemple, de l'ordre de 0,8 fc alors qu'avec l'optique de la figure 17a, la correction n'est possible que jusqu'à une fréquence fi de l'ordre de 0,5 fc.
Autrement dit, avec un algorithme de correction, l'optique représentée sur la figure 17b fournira plus de détails que l'optique représentée sur la figure 17a, et cela malgré le fait que la tache image soit de plus grandes dimensions que dans le cas de la figure 17a. On choisira donc l'optique correspondant à la figure 17b.
Application à l'augmentation de profondeur de champ On va maintenant décrire une variante de réalisation du procédé pour lequel le capteur et/ou le système optique sont plus particulièrement adaptés à l'augmentation de la profondeur de champ. Les capteurs classiques CMOS ou CCD sont souvent des capteurs formés à partir d'une mosaïque de pixels dite de Bayer.
La mosaïque de Bayer consiste en une succession de 2x2 pixels, formés de 2 pixels vert (c'est-à-dire un photosite sensible à la lumière dans une gamme spectrale autour de 550nm) , d'un pixel rouge (gamme spectrale autour de 600nm) et d'un pixel bleu
(gamme spectrale autour de 450nm) . Les gammes spectrales sont représentées sur la figure 2.
Selon les capteurs, les bandes spectrales du vert, du rouge et du bleu diffèrent et présentent un recouvrement plus ou moins grand. Un fort recouvrement entre ces trois bandes a pour conséquence de réduire la sensibilité du capteur aux couleurs
(il devient "daltonien"), mais augmente sa sensibilité générale à la lumière et inversement .
Un fort recouvrement entre les trois bandes réduit aussi les différences de nettetés entre les couleurs, réduisant ainsi notamment la plage de distances pour lesquelles au moins une des trois couleurs est nette.
Aussi avantageusement, selon l'invention, on pourra adapter les bandes spectrales, par exemple en réduisant leur recouvrement, de telle sorte à augmenter la plage de distances pour lesquelles au moins une des trois couleurs est nette.
Cette adaptation pourra être conjointement menée avec la conception de l'optique et, en fonction des contraintes portant sur les traitements numériques de l'image. Description d'un capteur optimisant le procédé selon
1 ' invention
Dans une variante de réalisation du procédé, le capteur et/ou le système optique sont plus particulièrement adaptés à des applications permettant de fournir des indications précises de distances des objets imagés. Dans cette variante de réalisation on fait appel à une mosaïque de pixels de Bayer.
Il est courant que les capteurs présentent un nombre important de pixels fournissent des valeurs numériques aberrantes . Ces pixels sont appelés communément des "pixels morts" (ou "burned pixels" en anglais) . Aussi les traitements numériques de génération d'image contiennent une étape de filtrage de ces valeurs aberrantes afin que, sur l'image générée, les valeurs aberrantes de ces pixels soient gommées et donc non visibles.
La précision des mesures de distances selon le procédé, dépend notamment de la variation de la netteté relative fonction de la distance. Cette variation dépend de la quantité d'aberration chromatique qu'il est possible d'obtenir avec le système de capture (capteur et optique) . Or, la gamme de fréquences spectrales de la lumière visible, et donc la lumière utile pour une photographie, est relativement restreinte : de l'ordre de 400nm à 700nm. Aussi, la variation de netteté relative en fonction de la distance se trouve alors limitée avec un capteur Bayer classique.
Plusieurs façons de modifier un capteur pour aller au- delà de cette limitation sont possibles . Une façon simple consiste à utiliser en plus des trois couleurs classiques : rouge, vert et bleu, une bande spectrale différente, par exemple 800nm-900nm ou toute autre bande au-delà et/ou en deçà du spectre du visible. Les pixels sensibles à cette quatrième bande spectrale ne seront pas forcément utiles à la reconstruction de l'image visible mais serviront principalement à l'estimation de la distance des objets par comparaison de la netteté relative sur cette quatrième bande spectrale avec l'une, ou plusieurs, des trois couleurs classiques.
On pourra alors avantageusement disposer les pixels de la façon suivante : en partant d'une disposition d'un Bayer classique rouge, vert, bleu, on substitue, tous les NxM pixels, quelques pixels par des pixels sensibles dans cette quatrième bande spectrale. En choisissant N et M assez grands (par exemple 64 chacun) , et en substituant par exemple 9 pixels on assure ainsi que seulement environ 1 pixel pour 1000 du Bayer classique est affecté. Ainsi, lors de la construction de l'image, ces pixels pourront être considérés comme des "pixels morts" et leurs valeurs filtrées .
On obtient ainsi, un appareil photographique permettant de fournir des indications plus précises de distance des objets imagés tous les NxM pixels de l'image. Description d'un second capteur optimisant le procédé selon l'invention
Dans une autre réalisation, montrée sur la figure 20.2, on part d'un Bayer classique dans lequel on prévoit trois pixels R, G, B et un pixel U correspondant à une une partie de bande spectrale UV ou infrarouge. Par infrarouge et/ou ultraviolet, on peut entendre toute partie du spectre au delà ou en deçà du spectre visible, notamment le proche infra-rouge tel que 700 à 800 ou 700 à 900nm , ou le proche ultra violet proche de 400nm. Ce pixel U est utilisé pour améliorer la netteté des couleurs visibles comme montré avec le diagramme de la figure 20.1.
Sur ce diagramme, on a porté : en abscisses les distances "d" des objets imagés à l'appareil de capture, et en ordonnées le diamètre "D" de la tache de flou. Les courbes, 20.3, 20.4, 20.5, et 20.6 représentent la variation du diamètre "D" en fonction de la distance "d" pour, respectivement, le rouge "R", le vert "G", le bleu "B" et l'ultraviolet "U". La droite 20.7 représente le seuil de netteté définissant la profondeur de champ.
Ainsi la distance "dl" représente la limite de profondeur de champ pour un appareil de capture comportant des pixels "RGB" et non les pixels U tout en utilisant le procédé d'amélioration de netteté selon l'invention. La distance "d2" représente la limite de profondeur de champ obtenue avec un appareil de capture comportant le capteur représenté sur la figure 20.2 et faisant appel au procédé d'amélioration de netteté selon l'invention. Les pixels "U" servent uniquement à répercuter la netteté de la couleur "U" vers les couleurs "RGB" pour les objets situés entre les distances "dl" et "d2". Ainsi l'image finale ne comportera que les trois couleurs "RGB" (ou toute autre répartition de couleurs visibles connues) .
En variante, on ajoute des pixels sensibles au proche infrarouge pour améliorer la netteté aux plus grandes distances.
Augmentation des aberrations chromatiques longitudinales Selon l'invention, on tire parti de l'existence des variations de la netteté relative entre deux couleurs en fonction de la distance des objets. Aussi, on pourra concevoir des optiques présentant des nettetés relatives entre les trois plans couleurs très différentes selon la distance. De telles optiques sont dites présenter de fortes aberrations chromatiques longitudinales .
De façon pratique, on pourra par exemple concevoir l'optique de telle sorte que sur une grande plage de distances : le plus petit des diamètres de spot diagram (diamètre de la tache de flou) entre les trois couleurs est en dessous d'un premier seuil prédéterminé et que le plus grand des diamètres de spot diagram entre les trois couleurs est en dessous d'un deuxième seuil prédéterminé. Alternativement, on pourra utiliser la valeur du BxU au lieu du diamètre du spot diagram. Les deux seuils sont déterminés en fonction, par exemple, des capacités et contraintes des traitements numériques de génération de l'image, d'une part (comme par exemple la taille du filtre "F" décrit ci-dessous) , et des caractéristiques du capteur, d'autre part. La figure 18 présente un exemple des mesures BxU (axe des ordonnées) pour les trois plans couleurs RVB en fonction de la distance (axe des abscisses) pour une optique conçue en ce sens. Les valeurs montrées sont celles au centre du champ image. En chaque point du champ image, on pourra mesurer des courbes différentes mais similaires. Sl et S2 désignent les deux seuils décrits ci-dessus . La plage des distances satisfaisant les deux critères décrits ci-dessus est alors, pour cette optique, environ 12cm-infini (dl->infini sur la figure 18) ce qui signifie que l'on pourra reconstruire une image nette pour des scènes imagées dans cette plage de distances.
Avec une optique classique on aurait abouti à trois courbes proches de la courbe de la couleur rouge R dans la figure 18 et donc à un système optique ne permettant des reconstructions d'images nettes que pour des objets à de plus grandes distances 25cm - infini (d2 -^ infini sur la figure 18) .
On peut aussi utiliser une optique ayant des aberrations chromatiques longitudinales telles que, pour une mise au point, une ouverture et une focale déterminées, il existe au moins une couleur pour laquelle la distance objet de meilleure netteté est inférieure
à kU, k étant „„ coefficient inférieur à 0,7, de préférence
0.P inférieur à 0,5, f étant la focale, 0 l'ouverture et P le plus petit (parmi toutes les couleurs de l'image) des diamètres de la tache de flou d'un point objet se trouvant à l'infini.
Application à l'adaptation automatique de résolution
On va maintenant décrire une variante de réalisation de l'invention permettant d'adapter automatiquement la résolution de l'image au flou éventuel lié à une prise de vue en dehors de la profondeur de champ du dispositif de capture.
Lorsque la scène imagée est trop près (en deçà de la profondeur de champ), l'image est floue, c'est-à-dire que le spot diagram (la tache de flou) occupe une tache de plus de X pixels de diamètre, X étant un paramètre prédéterminé définissant la limite de profondeur de champ. Un sous- échantillonnage numérique de l'image (zoom out) , réduira la taille de la tache de flou d'un facteur dépendant du type de sous-échantillonnage utilisé, mais, typiquement, de l'ordre de grandeur du facteur de sous-échantillonnage considéré. On pourra alors générer à partir de l'image numérique une image nette, mais de plus faible résolution en choisissant le facteur de sous-échantillonnage de telle sorte que la tache de flou soit inférieure, une fois l'image sous-échantillonnée, à un seuil donné . En variante, afin de minimiser les calculs, on commence par effectuer le sous-échantillonage décrit ci-dessus avant d'effectuer l'augmentation de netteté selon l'invention.
Application à la modification de la netteté - Filtrage Comme pour la mesure de distance (figure 8) , on peut extraire la netteté attendue de chaque couleur de l'image numérique à partir de la mesure de netteté relative entre deux plans couleurs .
Selon une variante de réalisation de l'invention, le traitement comprend une modification de netteté pour chaque pixel de la zone Z' au moyen d'un filtre mélangeant les valeurs de pixels sur un voisinage prédéterminé de chaque pixel, les paramètres du filtre étant fonction de la netteté relative mesurée .
En effet, un dispositif de capture d'images muni d'une optique pourra présenter des nettetés différentes selon les plans couleurs et selon la distance des objets imagés. La dépendance de la netteté (ou du flou) à la distance des objets imagés rend impossible l'augmentation de la netteté au moyen d'un traitement prédéterminé comme un filtrage de netteté prédéterminé .
Une variante de réalisation de l'invention consiste à choisir ou à adapter les filtres de netteté aux nettetés relatives mesurées .
Un cas particulier, déjà décrit, de l'adaptation du filtrage ou modification de netteté consiste en la répercussion de la netteté de la couleur nette sur au moins une autre couleur améliorée, cette répercussion étant réalisée à l'aide d'une calcul du type CA = CN + F (CO - CN) , où CA est représentatif de cette couleur améliorée, CO est représentatif de la couleur améliorée avant traitement, CN est représentatif de la couleur nette et F un filtre, notamment un filtre passe bas.
Mais, de façon plus générale, on pourra utiliser un filtre de netteté faisant intervenir toutes (ou un sous-ensemble de toutes) les couleurs. Ainsi, dans le cas d'une image numérique RGB (ou RVB) pour traiter la valeur d'un pixel P, le filtre M pourra modifier la valeur du pixel P en fonction des valeurs des pixels sur un voisinage du pixel P sur l'ensemble des trois couleurs .
Par exemple, en notant RN, GN, BN les données numériques relatives aux couleurs rouge, verte et bleue de l'image numérique, et RA, GA, BA les données numériques relatives aux couleurs de l'image améliorée, on pourra choisir le filtre M comme un opérateur effectuant les opérations suivantes :
GA = GN + c_GG * M_GG(GN) + c_GR * M_GR(RN) + c_GB * M_GB (BN)
RA = RN + c_RG * M_RG(GN) + c_RR * M_RR(RN) + c_RB * M_RB (BN)
BA = BN + c_BG * M_BG(GN) + c_BR * M_BR(RN) + c_BB * M_BB (BN) , Où :
Les M_{R, G,B} {R, G, B} représentent des filtres, qui peuvent être choisis comme des filtres linéaires à somme nulle, comme par exemple des filtres fréquentiels passe-haut. Les c_{R,G,B} {R,G,B} représentent des coefficients pondérant l'impact de chaque filtre M_{R,G,B} {R,G,B} .
Cet exemple de filtrage peut aussi répercuter la netteté de la couleur la plus nette sur les autres . Par exemple en supposant que seule la couleur bleue est nette, les filtres passe-haut M_{R,G,B} {R,G,B} donneront des valeurs proches de 0, lorsqu'ils seront appliqués aux couleurs verte et rouge qui sont floues dans l'exemple. Dans ce cas particulier, GA sera donc égal à GN plus c_GB * M_GB (BN) , c'est-à-dire GN plus les hautes fréquences du bleu. La couleur verte hérite ainsi de la netteté de la couleur nette (le bleu) . Il en est de même pour la couleur rouge .
En pratique la netteté des couleurs n' est pas un facteur binaire, aussi les filtres M_{R, G, B} {R, G, B} et les coefficients c_{R,G,B} {R,G,B} pourront être adaptés aux différentes valeurs possibles des nettetés des couleurs. Un exemple de réalisation d'une telle adaptation, dans le cadre d'images RGB issues d'un appareil de capture donné, est le suivant :
On considère les valeurs de netteté relative du rouge par rapport au vert, et du bleu par rapport au vert : V_GR, V_GB. On quantifie ces valeurs de telle sorte que les valeurs ainsi quantifiées constituent une entrée dans un tableau 2D de taille raisonnable. A chaque entrée (couple de valeurs V_BR, V_BG quantifiées), on associe un jeu de filtres M_{R, G, B} {R, G, B} et un jeu de coefficients c_{R, G, B} {R, G, B} adaptés. Dans le cas particulier, où l'on cherche à améliorer la netteté de l'image numérique, on pourra, pour chaque entrée, prédéterminer les filtres M_{R,G,B} {R, G,B} et un jeu de coefficients c_{R, G,B} {R, G, B} de telle sorte qu'une image numérique, prise par l'appareil de capture et ayant les nettetés relatives correspondant à l'entrée soient parfaitement corrigées de la netteté par l'application du filtre M.
On pourra aussi affiner le filtre M de sorte à prendre en compte le fait que les trois couleurs ne varient pas à grande échelle de la même façon, notamment dans des zones colorées (par opposition aux zones noires, grises ou blanches) de l'image numérique. Pour cela, on pourra par exemple pondérer, en chaque pixel P de la zone Z', les actions des filtres M_{R,G,B} {R,G,B} par l'amplitude des variations relatives des couleurs sur un voisinage du pixel P. Dans certains cas, le tableau d'association entre nettetés relatives considérées et jeu de filtres pourra comporter d'autres entrées comme, par exemple, la position de la zone Z' dans le champ de l'image ou des paramètres de prises de vue comme la valeur de la focale, de l'ouverture, de la distance de mise au point, etc., du système optique au moment de la prise de vue. En effet, il est habituel que les caractéristiques de netteté d'une image numérique dépendent aussi de ces facteurs.
Aussi pour la correction de netteté d'une image numérique, on découpera préalablement le champ image en plusieurs zones Z' et on appliquera le procédé à chacune des zones . Le découpage sera de préférence effectué en fonction des caractéristiques de netteté des couleurs de telle sorte qu'en chaque zone la netteté des couleurs soit relativement homogène. Avec cette réalisation on obtient ainsi une adaptation automatique du filtrage de netteté appliqué à l'image numérique, à la distance entre scène la imagée et l'appareil de capture. Il est à noter que, grâce à l'utilisation de la netteté relative cette adaptation automatique à la distance, peut se faire sans la connaissance explicite de cette distance.
Au delà de la modification de la netteté de l'image numérique, cette réalisation du procédé permet aussi l'adaptation automatique de traitements visant par exemple à la correction de défauts optiques et/ou des capteurs dont les effets sur l'image dépendent de la distance entre scène imagée et appareil de capture. Le flou (ou perte de netteté) en est un exemple, mais d'autres défauts optiques et/ou du (des) capteur (s) comme les distorsions géométriques ou le vignetage, constituent d'autres exemples. Principe de l'invention
Description des figures 19.1, 19.2, 19.3
Les figures 19.1, 19.2 et 19.3 représentent des étapes du procédé selon l'invention selon plusieurs modes de réalisation. Sur la figure 19.1, on a représenté une image 10 comportant une région R et ayant deux couleurs 195 et 196, une mesure de netteté relative 190 entre les deux couleurs 195 et 196 sur la région R de l'image 10, une action 191 commandée en fonction de la netteté relative mesurée. En option l'action commandée dépend également d'un mode 193 correspondant par exemple à un choix de l'utilisateur de l'appareil, et/ou une caractéristique de l'appareil de capture lors de la prise de vue.
Sur la figure 19.2, on a représenté une image 10 comportant une région R et ayant deux couleurs 195 et 196, une mesure de netteté relative 190 entre les deux couleurs 195 et 196 sur la région R de l'image 10, une action 191 commandée en fonction de la netteté relative mesurée comportant un traitement de l'image 10 et produisant une image traitée 192. En option l'action commandée dépend également d'un mode 193 correspondant par exemple à un choix de l'utilisateur de l'appareil, et/ou une caractéristique de l'appareil de capture lors de la prise de vue.
Sur la figure 19.3, on a représenté une image 10 comportant une région R et ayant deux couleurs 195 et 196, une mesure de netteté relative 190 entre les deux couleurs 195 et 196 sur la région R de l'image 10, une action 191 commandée en fonction de la netteté relative mesurée comportant un traitement d'une autre image 194 et produisant une image traitée 198. En option l'action commandée dépend également d'un mode 193 correspondant par exemple à un choix de l'utilisateur de l'appareil, et/ou une caractéristique de l'appareil de capture lors de la prise de vue.
Application à la modification du contraste et/ou de la luminosité et/ou de la couleur et/ou de la netteté
On va maintenant décrire une réalisation de l'invention dans laquelle la commande d'action consiste à modifier le contraste et/ou la luminosité et/ou la couleur de l'image en fonction de la netteté relative entre au moins deux couleurs sur au moins une région R de l'image. L'utilisation de la netteté relative entre au moins deux couleurs sur au moins une région R de l'image, directement ou indirectement (par exemple avec une étape d'estimation de la géométrie, en 3 dimensions, de la scène) , permet par exemple de simuler l'ajout d'un éclairage localisé par exemple un flash positionné en un endroit quelconque dans la scène, et/ou, inversement, de réduire l'effet d'un flash ou d'éclairages de diverses couleurs dans la scène. Ainsi on peut réduire les effets de contre-jours, et d' à-plats de lumière liés au flash. Dans une réalisation, on découpe l'image numérique en régions en fonction de la netteté relative entre au moins deux couleurs, de sorte que chaque région image une partie de la scène se trouvant dans une plage de distances donnée et qui est orientée dans une direction donnée . Une indication de la direction peut être obtenue à partir de la variation locale de la netteté relative dans l'image. Une indication de la distance peut être obtenue à partir de la netteté relative comme décrit précédemment. On peut également utiliser directement la netteté relative et sa variation sans passer par une distance et une orientation.
Pour ajouter ou modifier un éclairage, on peut alors déterminer, pour chaque région, la quantité et la couleur de lumière à ajouter ou soustraire en chaque point puisque l'on connaît la distance à la source simulée par rapport au point imagé et l'orientation de l'objet imagé par rapport à la source.
Dans une réalisation, on reconstitue la géométrie en trois dimensions de la scène en mesurant la distance en un grand nombre de points de l'image. On utilise alors une technique connue en synthèse d'images pour ajouter un éclairage à la scène (lancer de rayons ou autre) .
Dans une réalisation, on ajoute un éclairage sur le (ou les) sujet (s) principal (aux) adapté à chaque sujet pour provoquer un effet de "fill-in" simulant un ou plusieurs flash(s) positionné (s) en face ou sur le côté de chaque sujet. On peut réaliser cette opération de manière automatique et de façon indépendante pour chaque sujet. Avec la technique connue l'ajout d'éclairages pour chaque sujet n'est possible qu'avec un éclairage de studio.
De manière similaire, on peut déterminer la puissance du flash en fonction du sujet le plus proche pour l'éclairer correctement, et compléter l'éclairage des autres sujets par l'ajout d'un éclairage simulé.
On peut également déterminer pour chaque région la couleur de l'éclairage par un procédé connu d'estimation de balance des blancs et ensuite rendre uniforme la couleur de l'éclairage de la scène. Dans l'état de la technique la balance des blancs est estimée globalement par manque d' information sur la géométrie en 3 dimensions de la scène. Description des figures 18.1 et 18.2 Sur la figure 18.1 on a représenté un capteur 2, produisant une image brute 180 faisant l'objet d'un prétraitement 181, par exemple une balance des blancs, et/ou une compensation du niveau de noir, et/ou une réduction de bruit pour produire une image prétraitée 182. On a également représenté une mesure de netteté relative 190 commandant une action 191 correspondant à un traitement mettant en œuvre l'image prétraitée 182 et la mesure de netteté relative 190, pour produire une image traitée 192. On a enfin représenté un traitement aval de l'image traitée 192, correspondant par exemple à un dématriçage ou à d'autres traitements nécessaires pour convertir une image brute en image visible.
Sur la figure 18.2 on a représenté un capteur 2, produisant une image brute 180. On a également représenté une mesure de netteté relative 190 commandant une action 191 correspondant à un traitement mettant en œuvre l'image brute 180 et la mesure de netteté relative 190, pour produire une image traitée 192. On a enfin représenté un traitement aval de l'image traitée 192, correspondant, par exemple, à un dématriçage ou d'autres traitements nécessaires pour convertir une image brute en image visible. Dans une variante, l'action met en œuvre un traitement sur une image visible.
Simplification des optiques
L'invention s'applique à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté 8.2 et 8.3 correspondant à la valeur des paramètres variables selon l'image numérique.
Comme décrit, l'invention permet de rétablir la mise au point numériquement sans groupe mobile et de manière instantanée, ce qui permet donc de réduire la complexité d'un zoom en supprimant au moins une partie mobile. Par exemple, en fonction de la distance du sujet et de la focale, la netteté relative entre deux couleurs peut être variable, alors que ceci n'est pas acceptable dans les optiques connues.

Claims

REVENDIC-VTIONS
1. Procédé pour commander une action à partir d'une mesure effectuée sur au moins une image numérique, ayant au moins deux couleurs, provenant d'un appareil de capture d'images, dans lequel : - on mesure la netteté relative entre au moins deux couleurs sur au moins une région R de l'image, et
- on commande au moins une action en fonction de la netteté relative mesurée.
2. Procédé selon la revendication 1 dans lequel l'action commandée est comprise dans le groupe comprenant :
- une détermination de distance entre l'appareil de capture et au moins un objet imagé par l'image numérique, et/ou la détermination de la distance relative entre deux objets imagés, - une action dépendant de ladite distance et/ou de ladite distance relative,
- un traitement sur au moins une zone Z ' de l ' image numérique et/ou d'une autre image numérique,
- un asservissement de l'appareil de capture et/ou un asservissement d'un autre appareil,
- la fourniture d'un signal d'indication et/ou d'alarme, et/ou d'alerte à un utilisateur,
- la détection d'une partie de l'image,
- une modification de la netteté d'une couleur, - une détermination de la position et/ou du mouvement de l'appareil de capture,
- la détermination de la position dans l'image d'un sujet,
- une modification d'au moins une caractéristique de l'image,
- une modification de tout ou partie de l'image,
- la détermination d'une zone d'intérêt dans l'image, notamment afin de fournir un signal de commande d'asservissement, - la modification de la résolution de tout ou partie de l'image,
- la fourniture d'informations relatives à l'image,
- la fourniture d'informations à un dispositif de capture de sons,
- le paramétrage d'une compression,
- au moins un réglage de l'appareil de capture.
3. Procédé selon la revendication 1 ou 2 dans lequel l 'action commandée comprend un traitement sur au moins une zone Z' de l'image numérique et/ou d'une autre image numérique, et dans lequel la zone Z' constitue tout ou partie de la région de l'image numérique, et/ou l'image numérique entière, et/ou une zone distincte de la région de l'image numérique, et/ou une zone d'une autre image numérique, et/ou une autre image numérique entière.
4. Procédé selon la revendication 3 dans lequel la zone Z' pour laquelle un traitement est commandé, comprend au moins un pixel d'une image et la région R comprend un voisinage prédéterminé du pixel correspondant dans l'image numérique.
5. Procédé selon la revendication 4 dans lequel on applique le traitement à l'ensemble des pixels d'une image.
6. Procédé selon l'une des revendications 3 à 5, dans lequel le traitement sur au moins la zone Z ' comprend la modification d'au moins une caractéristique faisant partie du groupe comprenant : la netteté, le contraste, la luminosité, les détails, la couleur, le type de compression, le taux de compression, le contenu de l'image, la résolution.
7. Procédé selon l'une des revendications 3 à 6 dans lequel le traitement comprend une modification de netteté pour chaque pixel de la zone Z' au moyen d'un filtre mélangeant les valeurs attachées au(x) pixel (s) sur un voisinage prédéterminé de chaque pixel, les paramètres du filtre étant fonction de la netteté relative mesurée.
8. Procédé selon l 'une des revendications 3 à 7 dans lequel la zone Z ' est déterminée à partir de la netteté relative mesurée.
9. Procédé selon l'une des revendications 3 à 8 dans lequel la zone Z' constitue un arrière-plan d'une image, notamment destinée à être transmise à distance, en particulier par un système de visio ou vidéo-conférence.
10. Procédé selon l'une des revendications 3 à 9 dans lequel le traitement comprend la fourniture d'une information fonction de la distance entre l'objet imagé et l'appareil de capture pour tout ou partie des pixels de la zone Z ' , et on commande un stockage et/ou une transmission et/ou une utilisation de cette information fonction de la distance, le stockage étant effectué notamment dans un fichier informatique, en particulier dans un fichier image.
11. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend une commande d'asservissement de l'appareil de capture tel qu'un asservissement de mise au point et/ou d'exposition, et/ou de flash, et/ou le cadrage de l'image, et/ou de balance des blancs, et/ou de stabilisation d'image, et/ou une commande d'asservissement d'un autre appareil ou dispositif lié à l'appareil de capture, telle que le guidage d'un robot.
12. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend une fourniture de signal tel qu'un signal d'indication de l'objet d'intérêt principal de l'image numérique, et/ou d'une zone de mise au point, et/ou de distance d'au moins une partie de la scène imagée à l'appareil de capture.
13. Procédé selon l'une des revendications précédentes dans lequel on fait dépendre l'action commandée d'au moins une caractéristique de l'appareil de capture lors de la prise de vue, notamment la focale, l'ouverture, la distance de mise au point, les paramètres d'exposition, les paramètres de balance des blancs, la résolution, la compression, ou un réglage effectué par l'utilisateur.
14. Procédé selon l'une des revendications précédentes dans lequel l ' image numérique constitue une image brute issue du capteur de l'appareil de capture.
15. Procédé selon l'une des revendications précédentes dans lequel la mesure est effectuée dans l'appareil de capture et/ou l'action commandée est effectuée dans l'appareil de capture.
16. Procédé selon l'une des revendications précédentes dans lequel la mesure est effectuée hors de l'appareil de capture, par exemple sur un ordinateur après transfert de l'image, et/ou on commande une action effectuée en dehors de l'appareil de capture.
17. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comporte une commande de détection et/ou reconnaissance d'une partie de l'image, telle qu'une détection et/ou une reconnaissance de visage.
18. Procédé selon l'une des revendications précédentes dans lequel la mesure comprend une mesure de la netteté relative entre une première couleur et au moins une seconde couleur appelée autre couleur et la commande comprend la modification de la netteté de l'autre couleur en fonction de la netteté de la première couleur.
19. Procédé selon la revendication 18 dans lequel la modification de la netteté de l'autre couleur est réalisée à l'aide d'un calcul de type CA = CN + F(CO - CN), où CA est représentatif de l'autre couleur améliorée, CO est représentatif de l'autre couleur avant le traitement, CN est représentatif de la première couleur et F un filtre, notamment un filtre passe pas .
20. Procédé selon l'une des revendications 18 à 22 dans lequel la modification de la netteté de l'autre couleur est une amélioration de la netteté, la première couleur étant dénommée "couleur nette".
21. Procédé selon la revendication 20 comprenant en outre l'étape de décomposer l'image numérique en régions (11.1, 11.2), le choix de la couleur nette étant effectué pour chaque région .
22. Procédé selon la revendication 20 ou 21, ledit appareil de capture comportant un mode macro, procédé dans lequel le choix de la couleur nette est fonction de l'activation du mode macro.
23. Procédé selon la revendication 18 ou 19 dans lequel on réduit la netteté d'au moins une couleur dans au moins une zone image.
24. Procédé selon l'une des revendications précédentes, pour lequel ladite image numérique est issue d'un appareil de capture comprenant une optique, ledit procédé comprenant en outre l'étape de choisir une optique parmi un ensemble d'optiques prédéterminées, ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées distinctes présentent des couleurs de nettetés distinctes ; de sorte que la profondeur de champ est améliorée et/ou le coût de l'optique est diminué.
25. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend une mesure de la position et/ou du mouvement de l'appareil de capture.
26. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la détermination de la position du (des) sujet (s) principal (aux) dans l ' image .
27. Procédé selon la revendication 26 dans lequel l'action commandée comprend en outre le cadrage automatique, notamment le centrage, le zoom ou le recadrage de l'image numérique et/ou d'une autre image sur le sujet principal de 1 ' image numérique .
28. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend l'application d'un traitement fonction de la netteté relative et d'un choix utilisateur.
29. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend la modification du contraste et/ou de la luminosité et/ou de la couleur et/ou de la netteté d'une image en fonction de la variation de netteté relative dans l ' image .
30. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la fourniture, à un asservissement d'exposition et/ou de balance des blancs et/ou de mise au point, de la position d'au moins une zone d'intérêt à prendre en compte, la zone d'intérêt étant déterminée en comparant au moins deux mesures de nettetés relatives .
31. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend la fourniture, à l'utilisateur, d'un signal indiquant que l'image est prise de trop près pour être nette.
32. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la modification de la résolution d'une image en fonction de la netteté relative.
33. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend la fourniture d'un signal utilisé pour une indexation automatique de l ' image numérique .
34. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend la fourniture à un dispositif de capture de son (s) d'une information de distance et/ou direction, par rapport à l'appareil de capture, d'un sujet ou objet de l'image numérique.
35. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend le paramétrage d'une compression élevée pour l'arrière-plan, une compression inférieure pour le (les) sujet (s) principal (aux) , le (les) sujet (s) principal (aux) étant déterminé (s) comme une zone de l'image satisfaisant à des critères basés sur la netteté relative mesurée.
36. Procédé selon l'une des revendications précédentes dans lequel l'appareil comporte un capteur ayant des pixels munis de filtres colorés d'au moins deux sortes, lesdits filtres étant choisis de telle sorte que leurs réponses spectrales présentent peu de recouvrement.
37. Procédé selon l'une des revendications précédentes dans lequel l ' appareil comporte un capteur ayant des pixels servant principalement à générer l'image et d'autres pixels servant principalement à mesurer la netteté relative.
38. Procédé selon la revendication 37 dans lequel les pixels du capteur servant principalement à mesurer la netteté relative ont une réponse spectrale dans une bande spectrale qui présente peu de recouvrement avec la bande spectrale des pixels du capteur servant principalement à générer 1 ' image .
39. Procédé selon la revendication 37 ou 38 dans lequel les pixels du capteur servant principalement à générer une image ont une réponse spectrale qui est principalement dans le domaine visible à l'œil humain et les autres pixels ont une réponse spectrale principalement en dehors du domaine visible à l'œil humain.
40. Procédé selon l'une des revendications précédentes dans lequel l'appareil de capture comporte un capteur comprenant des pixels de réponse spectrale principalement dans le domaine visible à l'œil humain et des pixels supplémentaires ayant une réponse spectrale principalement en dehors du spectre visible à l'œil humain, et dont la netteté de la partie d'image issue de ces pixels supplémentaires est, dans au moins une plage de distances entre l'appareil de capture et la scène imagée, supérieure à la netteté de la partie d'image fournie par les pixels de réponse principalement dans le domaine visible à l'œil humain.
41. Procédé selon l'une des revendications précédentes dans lequel l'appareil est muni d'une optique dépourvue d'élément mobile ou déformable pour la mise au point.
42. Procédé selon l'une des revendications précédentes dans lequel l'appareil est muni d'une optique à focale variable sans élément mobile ou déformable de mise au point.
43. Procédé selon l'une des revendications précédentes dans lequel l'appareil est muni d'une optique à focale variable avec un seul groupe optique mobile ou déformable .
44. Procédé selon l'une des revendications précédentes dans lequel l'image numérique est issue d'au moins deux capteurs .
45. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend l'ajout d'un objet dans une image et/ou le remplacement d'une partie d'une image en fonction de la netteté relative mesurée sur l ' image numérique.
46. Procédé selon l'une des revendications précédentes dans lequel l 'appareil de capture capturant une séquence d'images, l'image numérique faisant partie de la séquence, l'action est effectuée sur au moins une autre image de la séquence.
47. Procédé selon l'une des revendications précédentes dans lequel l'action commandée modifie au moins un réglage de l'appareil de capture, notamment la focale, l'ouverture, la distance de mise au point.
48. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la production d'une image brute modifiée.
49. Procédé selon l'une des revendications précédentes dans lequel l'appareil comporte une optique ayant des aberrations chromatiques longitudinales telles que, pour une mise au point, une ouverture et une focale déterminées, il existe au moins une couleur pour laquelle la distance objet de meilleure netteté est inférieure à
°-P k étant un coefficient inférieur à 0,7, de préférence inférieur à 0,5, f étant la focale, 0 l'ouverture et P le plus petit, parmi toutes les couleurs de l'image, des diamètres de la tache de flou d'un point objet se trouvant à l'infini.
50. Procédé selon l'une des revendications précédentes dans lequel la mesure de netteté relative entre deux couleurs est effectuée par la comparaison entre les résultats d'une première mesure appliquée sur la première couleur et les résultats d'une seconde mesure appliquée sur la seconde couleur, chaque mesure étant telle qu'elle dépend, d'une part, de la couleur et, d'autre part, du contenu de l'image numérique, la comparaison étant telle qu'elle s'affranchisse du contenu de 1 ' image numérique .
51. Procédé selon l'une des revendications précédentes, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprend en outre l'étape de concevoir une optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs de nettetés distinctes ; - de sorte que la profondeur de champ et/ou l'ouverture et/ou toute autre caractéristique optique est améliorée et/ou le coût de l'optique est diminué.
52. Procédé de réalisation d'un appareil (20) de capture et/ou de restitution d'images qui comprend un système optique (22, 22') de capture et/ou de restitution d'images, un capteur (24) et/ou générateur (24') d'images et/ou un système d'asservissement (26), l'image étant traitée, en vue de son amélioration, par des moyens numériques (28, 28') de traitement d'images, - le procédé étant tel qu'on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du générateur d'images et/ou du système d'asservissement, à partir des capacités des moyens numériques de traitement d'images, et de l'amélioration de la netteté d'une couleur en fonction de la netteté d'une autre couleur selon un procédé conforme à l'une des revendications précédentes,
- de sorte à minimiser les coûts de réalisation et/ou à optimiser les performances de l'appareil des capture et/ou de restitution d'images.
53. Utilisation du procédé selon l'une des revendications 1 à 52 dans un appareil de capture d'images.
54. Utilisation du procédé selon l'une des revendications 1 à 51 dans un dispositif de traitement d'images numériques.
55. Procédé d'amélioration de la netteté d'au moins une couleur d'une image numérique, notamment issue d'un appareil de capture d'images, comprenant les étapes de
- choisir parmi les couleurs au moins une couleur dénommée "couleur nette",
- répercuter la netteté de la couleur nette sur au moins une autre couleur améliorée, afin que la couleur améliorée présente une netteté accrue .
56. Procédé selon la revendication 55, le procédé comprenant en outre l'étape de décomposer l'image numérique en régions ; ledit choix de la couleur nette étant effectué pour chaque région.
57. Procédé selon la revendication 56 ; ladite image numérique étant issue d'un appareil de capture, ledit procédé comprenant, en outre, l'étape de déterminer la distance entre l'appareil de capture et au moins un objet de la scène capturée à partir de la netteté d'au moins deux couleurs dans une région image dudit objet.
58. Procédé selon la revendication 57 ; ledit procédé comprenant, en outre, l'étape de réduire la netteté d'au moins une couleur dans au moins une région image.
59. Procédé selon la revendication 57 ou 58 ; ledit procédé comprenant en outre l'étape de déterminer une consigne d'asservissement dudit appareil de capture à partir de la netteté d'au moins deux couleurs ; de sorte que la mise au point se fait en moins d'étapes et est accélérée.
60. Procédé selon l'une des revendications 55 à 59 ; ledit choix de la couleur nette étant celui de choisir la couleur la plus nette selon une règle prédéterminée.
61. Procédé selon l'une des revendications 55 à 59 ; ledit choix de la "couleur nette" étant prédéterminé.
62. Procédé selon l'une des revendications 55 à 61 ; ladite image numérique étant issue d'un appareil de capture, ledit choix de la couleur nette étant fonction de la distance entre l'appareil de capture et au moins un objet de la scène capturée pour obtenir ladite image numérique.
63. Procédé selon l'une des revendications 55 à 62 ; ledit appareil d'image comportant un mode macro, ledit choix de la couleur nette étant fonction de l ' activation du mode macro .
64. Procédé selon l'une des revendications 55 à 63 ; ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprenant en outre l'étape de choisir une optique parmi un ensemble d'optiques prédéterminées ; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes ; de sorte que la profondeur de champ est améliorée et/ou le coût de l'optique est diminué.
65. Procédé selon l'une des revendications 55 à 64, la répercussion de la netteté de la couleur nette sur au moins une autre couleur améliorée étant réalisée à l'aide d'un calcul du type CA = CN + F(CO - CN), où CA est représentatif de la couleur améliorée, CO est représentatif de la couleur améliorée avant traitement, CN est représentatif de la couleur nette et F un filtre, notamment un filtre passe-bas.
66. Procédé selon l'une des revendications 55 à 65, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprenant, en outre, l'étape de concevoir une optique en tenant compte du procédé selon l ' invention; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes, de sorte que la profondeur de champ et/ou l'ouverture et/ou tout autre caractéristique optique est améliorée et/ou le coût de l'optique est diminué
- de sorte que la mise au point mécanique peut se faire avec moins de positions.
67. Procédé de réalisation d'un appareil (20) de capture et/ou de restitution d'images qui comprend un système optique (22, 22') de capture et/ou de restitution d'images, un capteur (24) et/ou générateur (24') d'images, et/ou un système d'asservissement (26), l'image étant traitée, en vue de son amélioration, par des moyens numériques (28, 28') de traitement d'images, le procédé étant tel qu'on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du générateur d'images et/ou du système d'asservissement, à partir des capacités des moyens numériques de traitement d'images, et notamment de l'amélioration de la netteté d'une couleur en fonction de la netteté d'une autre couleur selon un procédé conforme à l'une des revendications 55 à 66, - de sorte à minimiser les coûts de réalisation et/ou à optimiser les performances de l'appareil de capture et/ou de restitution d'images.
68. Appareil de capture et/ou de restitution d'images utilisant un procédé d'amélioration de couleur selon l'une des revendications 55 à 66 et/ou obtenu par un procédé de réalisation selon la revendication 67.
69. Dispositif de traitement d'image numérique mettant en œuvre un procédé selon l'une des revendications 55 à 66.
70. Image numérique obtenue selon un procédé conforme à l'une des revendications 55 à 66 ou à partir d'un appareil conforme à la revendication 68.
71. Capteur pour appareil de capture d'images numériques comprenant des pixels servant principalement à générer l'image numérique et d'autres pixels servant principalement à mesurer la netteté relative entre au moins deux couleurs sur au moins une région R de l ' image .
72. Capteur selon la revendication 71 dans lequel les pixels servant principalement à mesurer la netteté relative ont une réponse spectrale dans une bande spectrale qui présente peu de recouvrement avec la bande spectrale des pixels servant principalement à générer l ' image .
73. Capteur selon la revendication 71 ou 72 dans lequel les pixels servant principalement à générer l'image ont une réponse spectrale principalement dans le domaine visible à l'œil humain et les autres pixels ont une réponse spectrale principalement en dehors du domaine visible à l'œil humain.
74. Appareil de capture comprenant un capteur selon l'une des revendications 71 à 73.
75. Appareil de capture d'images numériques comportant un capteur présentant, d'une part, des pixels de réponse spectrale principalement dans le domaine visible à l'œil humain et, d'autre part, des pixels supplémentaires présentant une réponse spectrale principalement en dehors du spectre visible à l'œil humain, la netteté de la partie d'image issue de ces pixels supplémentaires étant, dans au moins une plage de distances entre l'appareil de capture et la scène imagée, supérieure à la netteté de la partie d'image fournie par les pixels dont la réponse spectrale est principalement dans le domaine visible à l'œil humain.
76. Appareil selon la revendication 75 dans lequel les pixels supplémentaires ont une réponse spectrale principalement dans le domaine ultraviolet et/ou infrarouge.
PCT/FR2006/050197 2005-03-07 2006-03-06 Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs WO2006095110A2 (fr)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CA2600185A CA2600185C (fr) 2005-03-07 2006-03-06 Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
US11/817,977 US7920172B2 (en) 2005-03-07 2006-03-06 Method of controlling an action, such as a sharpness modification, using a colour digital image
EP06726221A EP1856907A2 (fr) 2005-03-07 2006-03-06 Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs
JP2008500243A JP5535476B2 (ja) 2005-03-07 2006-03-06 カラーデジタル画像を使用する、機能すなわち鮮鋭度の変更を活動化する方法
US12/820,965 US20110109749A1 (en) 2005-03-07 2010-06-22 Method for activating a function, namely an alteration of sharpness, using a colour digital image
US12/820,951 US8212889B2 (en) 2005-03-07 2010-06-22 Method for activating a function, namely an alteration of sharpness, using a colour digital image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0550601 2005-03-07
FR0550601A FR2880958B1 (fr) 2005-01-19 2005-03-07 Procede d'amelioration de la nettete d'au moins une couleur d'une image numerique

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US11/817,977 A-371-Of-International US7920172B2 (en) 2005-03-07 2006-03-06 Method of controlling an action, such as a sharpness modification, using a colour digital image
US12/820,951 Division US8212889B2 (en) 2005-03-07 2010-06-22 Method for activating a function, namely an alteration of sharpness, using a colour digital image
US12/820,965 Division US20110109749A1 (en) 2005-03-07 2010-06-22 Method for activating a function, namely an alteration of sharpness, using a colour digital image

Publications (2)

Publication Number Publication Date
WO2006095110A2 true WO2006095110A2 (fr) 2006-09-14
WO2006095110A3 WO2006095110A3 (fr) 2006-11-02

Family

ID=36632499

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2006/050197 WO2006095110A2 (fr) 2005-03-07 2006-03-06 Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs

Country Status (7)

Country Link
US (3) US7920172B2 (fr)
EP (1) EP1856907A2 (fr)
JP (3) JP5535476B2 (fr)
KR (1) KR101265358B1 (fr)
CN (2) CN102984448B (fr)
CA (4) CA2834963C (fr)
WO (1) WO2006095110A2 (fr)

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007259159A (ja) * 2006-03-24 2007-10-04 Matsushita Electric Ind Co Ltd 撮像装置
EP2268043A1 (fr) * 2008-06-18 2010-12-29 Panasonic Corporation Dispositif de traitement d'images, dispositif, procédé et programme d'imagerie
WO2011058236A1 (fr) 2009-11-16 2011-05-19 Dxo Labs Systeme optique et procede de conception associe
CN101321295B (zh) * 2007-06-07 2011-07-13 株式会社东芝 摄像装置
CN102866495A (zh) * 2011-05-13 2013-01-09 索尼公司 图像处理装置、图像处理方法及图像处理程序
US8379115B2 (en) 2007-11-20 2013-02-19 Motorola Mobility Llc Image capture device with electronic focus
FR2982678A1 (fr) * 2011-11-14 2013-05-17 Dxo Labs Procede et systeme de capture de sequence d'images avec compensation des variations de grandissement
US8462237B2 (en) 2008-11-14 2013-06-11 Kabushiki Kaisha Toshiba Solid-state image pickup device which senses and processes light into primary color bands and an all wavelength band
US8643748B2 (en) 2007-11-20 2014-02-04 Motorola Mobility Llc Compact stationary lens optical zoom image capture system
WO2014076836A1 (fr) * 2012-11-19 2014-05-22 富士機械製造株式会社 Appareil de montage de composant et appareil d'inspection de montage
US8836825B2 (en) 2011-06-23 2014-09-16 Panasonic Corporation Imaging apparatus
US8988590B2 (en) 2011-03-28 2015-03-24 Intermec Ip Corp. Two-dimensional imager with solid-state auto-focus
US8994873B2 (en) 2009-08-10 2015-03-31 Dxo Labs Image-capture system and method with two operating modes
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9118826B2 (en) 2009-03-19 2015-08-25 Digitaloptics Corporation Dual sensor camera
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9282252B2 (en) 2009-05-04 2016-03-08 Digitaloptics Corporation Dual lens digital zoom
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US10134120B2 (en) 2014-10-10 2018-11-20 Hand Held Products, Inc. Image-stitching for dimensioning
US10140724B2 (en) 2009-01-12 2018-11-27 Intermec Ip Corporation Semi-automatic dimensioning with imager on a portable device
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10203402B2 (en) 2013-06-07 2019-02-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10247547B2 (en) 2015-06-23 2019-04-02 Hand Held Products, Inc. Optical pattern projector
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US10393506B2 (en) 2015-07-15 2019-08-27 Hand Held Products, Inc. Method for a mobile dimensioning device to use a dynamic accuracy compatible with NIST standard
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11029762B2 (en) 2015-07-16 2021-06-08 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776805B1 (ko) * 2006-09-29 2007-11-19 한국전자통신연구원 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법
KR100834577B1 (ko) * 2006-12-07 2008-06-02 한국전자통신연구원 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치
US20090102924A1 (en) * 2007-05-21 2009-04-23 Masten Jr James W Rapidly Deployable, Remotely Observable Video Monitoring System
DE102007031230B3 (de) * 2007-07-04 2008-10-30 Bundesdruckerei Gmbh Dokumentenerfassungssystem und Dokumentenerfassungsverfahren
JP5032911B2 (ja) * 2007-07-31 2012-09-26 キヤノン株式会社 画像処理装置及び画像処理方法
JP5298507B2 (ja) 2007-11-12 2013-09-25 セイコーエプソン株式会社 画像表示装置及び画像表示方法
KR101412752B1 (ko) * 2007-11-26 2014-07-01 삼성전기주식회사 디지털 자동 초점 영상 생성 장치 및 방법
JP5171361B2 (ja) * 2008-04-07 2013-03-27 株式会社日立製作所 撮像装置
JP5132401B2 (ja) * 2008-04-16 2013-01-30 キヤノン株式会社 画像処理装置及び画像処理方法
US8160355B1 (en) * 2008-05-18 2012-04-17 Pixim Israel Ltd. Method, device and computer program product for performing white balancing of a digital image
GB2463480A (en) * 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
JP5158713B2 (ja) * 2008-11-26 2013-03-06 京セラ株式会社 撮像装置および車載カメラシステム
JP5300133B2 (ja) * 2008-12-18 2013-09-25 株式会社ザクティ 画像表示装置及び撮像装置
JP5213688B2 (ja) * 2008-12-19 2013-06-19 三洋電機株式会社 撮像装置
US8379321B2 (en) * 2009-03-05 2013-02-19 Raytheon Canada Limited Method and apparatus for accurate imaging with an extended depth of field
JP2010257037A (ja) * 2009-04-22 2010-11-11 Sony Corp 情報処理装置および方法、並びにプログラム
JP2010288150A (ja) * 2009-06-12 2010-12-24 Toshiba Corp 固体撮像装置
CN101938535B (zh) * 2009-06-29 2014-01-15 鸿富锦精密工业（深圳）有限公司 电子设备
TWI451357B (zh) * 2009-09-09 2014-09-01 Himax Tech Ltd 字型反鋸齒方法
WO2011052172A1 (fr) 2009-10-27 2011-05-05 パナソニック株式会社 Dispositif d'imagerie et dispositif de mesure de distance utilisant ce dispositif
US20110149021A1 (en) * 2009-12-17 2011-06-23 Samir Hulyalkar Method and system for sharpness processing for 3d video
US20110188116A1 (en) * 2010-02-02 2011-08-04 Nikolay Ledentsov Ledentsov Device for generation of three-demensional images
JP5528173B2 (ja) * 2010-03-31 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
TWI495335B (zh) * 2010-04-21 2015-08-01 Hon Hai Prec Ind Co Ltd 取像模組及其運作方法
JP2011229603A (ja) * 2010-04-26 2011-11-17 Fujifilm Corp 内視鏡装置
JP2011229625A (ja) * 2010-04-26 2011-11-17 Fujifilm Corp 内視鏡装置
JP5630105B2 (ja) * 2010-07-05 2014-11-26 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5811635B2 (ja) * 2011-03-07 2015-11-11 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US8736722B2 (en) * 2010-07-15 2014-05-27 Apple Inc. Enhanced image capture sharpening
JP5576739B2 (ja) 2010-08-04 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、撮像装置及びプログラム
JP5582935B2 (ja) 2010-09-22 2014-09-03 富士フイルム株式会社 撮像モジュール
US9225766B2 (en) * 2010-10-29 2015-12-29 Sears Brands, L.L.C. Systems and methods for providing smart appliances
US9697588B2 (en) 2010-11-15 2017-07-04 Intuitive Surgical Operations, Inc. System and method for multi-resolution sharpness transport across color channels
US9979941B2 (en) * 2011-01-14 2018-05-22 Sony Corporation Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
CN102158648B (zh) * 2011-01-27 2014-09-10 明基电通有限公司 影像截取装置及影像处理方法
JP5806504B2 (ja) 2011-05-17 2015-11-10 オリンパス株式会社 撮像装置およびこれを備える顕微鏡システム
US8711275B2 (en) * 2011-05-31 2014-04-29 Apple Inc. Estimating optical characteristics of a camera component using sharpness sweep data
US8749892B2 (en) 2011-06-17 2014-06-10 DigitalOptics Corporation Europe Limited Auto-focus actuator for field curvature correction of zoom lenses
US8953058B2 (en) * 2011-06-29 2015-02-10 Fotonation Limited Axial chromatic aberration correction
JP5847471B2 (ja) * 2011-07-20 2016-01-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP5265826B1 (ja) 2011-09-29 2013-08-14 オリンパスメディカルシステムズ株式会社 内視鏡装置
TWI528833B (zh) * 2011-11-09 2016-04-01 鴻海精密工業股份有限公司 立體攝像裝置
JP5898481B2 (ja) * 2011-12-13 2016-04-06 キヤノン株式会社 撮像装置及び焦点検出方法
EP2677363A1 (fr) * 2012-06-20 2013-12-25 bioMérieux Dispositif optique comprenant une caméra, un diaphragme et moyens d'éclairage
JP6129309B2 (ja) * 2012-07-12 2017-05-17 デュアル・アパーチャー・インターナショナル・カンパニー・リミテッド ジェスチャに基づくユーザインターフェース
TWI451344B (zh) * 2012-08-27 2014-09-01 Pixart Imaging Inc 手勢辨識系統及手勢辨識方法
JP5738904B2 (ja) * 2013-01-28 2015-06-24 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6086829B2 (ja) * 2013-06-26 2017-03-01 オリンパス株式会社 画像処理装置及び画像処理方法
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
WO2015059346A1 (fr) * 2013-10-25 2015-04-30 Nokia Technologies Oy Appareil et procédé pour la création d'une carte de profondeur
JP6256132B2 (ja) 2014-03-14 2018-01-10 株式会社リコー 撮像システム
CA2942921C (fr) * 2014-03-18 2019-07-30 Integrated Medical Systems International, Inc. Endoscope optiquement adaptatif
KR101591172B1 (ko) 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
EP2942940A1 (fr) * 2014-05-06 2015-11-11 Nokia Technologies OY Procédé et appareil permettant de définir le contenu visible d'une image
US9232132B1 (en) * 2014-06-10 2016-01-05 Gregory S. Tseytin Light field image processing
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US20160225150A1 (en) * 2015-02-02 2016-08-04 Capso Vision, Inc. Method and Apparatus for Object Distance and Size Estimation based on Calibration Data of Lens Focus
US10475361B2 (en) 2015-02-02 2019-11-12 Apple Inc. Adjustable display illumination
US10943333B2 (en) * 2015-10-16 2021-03-09 Capsovision Inc. Method and apparatus of sharpening of gastrointestinal images based on depth information
US11354783B2 (en) 2015-10-16 2022-06-07 Capsovision Inc. Method and apparatus of sharpening of gastrointestinal images based on depth information
US10624533B2 (en) 2015-10-16 2020-04-21 Capsovision Inc Endoscope with images optimized based on depth map derived from structured light images
US9715721B2 (en) 2015-12-18 2017-07-25 Sony Corporation Focus detection
US10277829B1 (en) * 2016-08-12 2019-04-30 Apple Inc. Video capture in low-light conditions
JP6801434B2 (ja) * 2016-12-20 2020-12-16 富士通株式会社 生体画像処理装置、生体画像処理方法および生体画像処理プログラム
CN110418719B (zh) 2017-01-25 2022-01-04 康丽数码有限公司 染色合成织物上喷墨打印的油墨组、方法及图像
WO2019048492A1 (fr) * 2017-09-08 2019-03-14 Sony Corporation Dispositif d'imagerie, procédé et programme de production d'images d'une scène
CN107613284B (zh) * 2017-10-31 2019-10-08 努比亚技术有限公司 一种图像处理方法、终端和计算机可读存储介质
CN108650462B (zh) * 2018-05-14 2020-06-09 Oppo广东移动通信有限公司 拍摄预览显示方法、装置、终端及存储介质
US10679024B2 (en) * 2018-07-24 2020-06-09 Cognex Corporation System and method for auto-focusing a vision system camera on barcodes
US11336840B2 (en) 2020-09-02 2022-05-17 Cisco Technology, Inc. Matching foreground and virtual background during a video communication session
CN114339187B (zh) * 2020-09-30 2024-06-14 北京小米移动软件有限公司 图像处理方法、图像处理装置及存储介质
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
US12254644B2 (en) 2021-03-31 2025-03-18 Leica Camera Ag Imaging system and method
CN114724000B (zh) * 2022-06-09 2022-08-30 深圳精智达技术股份有限公司 一种屏拍图摩尔纹的处理方法、处理装置及处理设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USH101H (en) * 1984-10-01 1986-08-05 The United States Of America As Represented By The Secretary Of The Army Ultraviolet and infrared focal place array
JPS63247680A (ja) 1987-04-02 1988-10-14 Mitsubishi Electric Corp 画像追尾装置
JPH01212981A (ja) * 1988-02-20 1989-08-25 Sanyo Electric Co Ltd オートフォーカス装置
JPH01276884A (ja) * 1988-04-27 1989-11-07 Nec Corp ビデオカメラの焦合装置
US5161107A (en) * 1990-10-25 1992-11-03 Mestech Creation Corporation Traffic surveillance system
JPH06138362A (ja) * 1991-02-06 1994-05-20 Sony Corp オートフォーカス装置
GB9125954D0 (en) * 1991-12-06 1992-02-05 Vlsi Vision Ltd Electronic camera
US6292212B1 (en) * 1994-12-23 2001-09-18 Eastman Kodak Company Electronic color infrared camera
JP3960647B2 (ja) * 1997-01-09 2007-08-15 オリンパス株式会社 自動合焦装置
EP0878970A3 (fr) 1997-05-16 1999-08-18 Matsushita Electric Industrial Co., Ltd. Système de mesure de l'erreur d'alignement et de l'aberration chromatique d'un capteur d'image pour une caméra vidéo
US5973846A (en) * 1998-11-30 1999-10-26 Hewlett-Packard Company Offset spectra lens system for a two spectra automatic focusing system
JP2000299874A (ja) 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
JP2000338385A (ja) * 1999-05-28 2000-12-08 Ricoh Co Ltd 自動合焦装置およびその合焦方法
US6859229B1 (en) * 1999-06-30 2005-02-22 Canon Kabushiki Kaisha Image pickup apparatus
JP2001103358A (ja) * 1999-09-30 2001-04-13 Mitsubishi Electric Corp 色収差補正装置
JP4696407B2 (ja) 2001-06-20 2011-06-08 株式会社ニコン 商品推奨システムおよび商品推奨方法
JP2003018407A (ja) * 2001-07-02 2003-01-17 Konica Corp 画像処理方法及び画像処理装置
US20030063185A1 (en) * 2001-09-28 2003-04-03 Bell Cynthia S. Three-dimensional imaging with complementary color filter arrays
JP4126938B2 (ja) 2002-03-22 2008-07-30 セイコーエプソン株式会社 画像処理装置および画像出力装置
JP2004120487A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd 撮像装置
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
JP4010254B2 (ja) * 2003-02-06 2007-11-21 ソニー株式会社 画像記録再生装置、画像撮影装置及び色収差補正方法
US20040165090A1 (en) 2003-02-13 2004-08-26 Alex Ning Auto-focus (AF) lens and process
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
US20040169748A1 (en) * 2003-02-28 2004-09-02 Tinku Acharya Sub-sampled infrared sensor for use in a digital image capture device
JP4378994B2 (ja) 2003-04-30 2009-12-09 ソニー株式会社 画像処理装置、画像処理方法ならびに撮像装置
FR2860089B1 (fr) * 2003-09-23 2005-11-11 Do Labs Procede et systeme pour modifier une image numerique de maniere differenciee et quasi reguliere par pixel
JP4665422B2 (ja) * 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
JP4815807B2 (ja) 2004-05-31 2011-11-16 株式会社ニコン Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
US20060093234A1 (en) * 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images

Cited By (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007259159A (ja) * 2006-03-24 2007-10-04 Matsushita Electric Ind Co Ltd 撮像装置
CN101321295B (zh) * 2007-06-07 2011-07-13 株式会社东芝 摄像装置
US8643748B2 (en) 2007-11-20 2014-02-04 Motorola Mobility Llc Compact stationary lens optical zoom image capture system
US8379115B2 (en) 2007-11-20 2013-02-19 Motorola Mobility Llc Image capture device with electronic focus
US7986352B2 (en) 2008-06-18 2011-07-26 Panasonic Corporation Image generation system including a plurality of light receiving elements and for correcting image data using a spatial high frequency component, image generation method for correcting image data using a spatial high frequency component, and computer-readable recording medium having a program for performing the same
EP2312858A1 (fr) * 2008-06-18 2011-04-20 Panasonic Corporation Appareil de traitement d'images, appareil d'imagerie, procédé de traitement d'images et programme
EP2268043A4 (fr) * 2008-06-18 2010-12-29 Panasonic Corp Dispositif de traitement d'images, dispositif, procédé et programme d'imagerie
EP2268043A1 (fr) * 2008-06-18 2010-12-29 Panasonic Corporation Dispositif de traitement d'images, dispositif, procédé et programme d'imagerie
US8462237B2 (en) 2008-11-14 2013-06-11 Kabushiki Kaisha Toshiba Solid-state image pickup device which senses and processes light into primary color bands and an all wavelength band
US10140724B2 (en) 2009-01-12 2018-11-27 Intermec Ip Corporation Semi-automatic dimensioning with imager on a portable device
US10845184B2 (en) 2009-01-12 2020-11-24 Intermec Ip Corporation Semi-automatic dimensioning with imager on a portable device
US9118826B2 (en) 2009-03-19 2015-08-25 Digitaloptics Corporation Dual sensor camera
US9282252B2 (en) 2009-05-04 2016-03-08 Digitaloptics Corporation Dual lens digital zoom
US8994873B2 (en) 2009-08-10 2015-03-31 Dxo Labs Image-capture system and method with two operating modes
WO2011058236A1 (fr) 2009-11-16 2011-05-19 Dxo Labs Systeme optique et procede de conception associe
US8988590B2 (en) 2011-03-28 2015-03-24 Intermec Ip Corp. Two-dimensional imager with solid-state auto-focus
US9253393B2 (en) 2011-03-28 2016-02-02 Intermec Ip, Corp. Two-dimensional imager with solid-state auto-focus
CN102866495A (zh) * 2011-05-13 2013-01-09 索尼公司 图像处理装置、图像处理方法及图像处理程序
US8836825B2 (en) 2011-06-23 2014-09-16 Panasonic Corporation Imaging apparatus
US9407827B2 (en) 2011-11-14 2016-08-02 Dxo Labs Method and system for capturing sequences of images with compensation for variations in magnification
FR2982678A1 (fr) * 2011-11-14 2013-05-17 Dxo Labs Procede et systeme de capture de sequence d'images avec compensation des variations de grandissement
US10467806B2 (en) 2012-05-04 2019-11-05 Intermec Ip Corp. Volume dimensioning systems and methods
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9292969B2 (en) 2012-05-07 2016-03-22 Intermec Ip Corp. Dimensioning system calibration systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10635922B2 (en) 2012-05-15 2020-04-28 Hand Held Products, Inc. Terminals and methods for dimensioning objects
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10805603B2 (en) 2012-08-20 2020-10-13 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US10908013B2 (en) 2012-10-16 2021-02-02 Hand Held Products, Inc. Dimensioning system
WO2014076836A1 (fr) * 2012-11-19 2014-05-22 富士機械製造株式会社 Appareil de montage de composant et appareil d'inspection de montage
JPWO2014076836A1 (ja) * 2012-11-19 2017-01-05 富士機械製造株式会社 部品実装機および実装検査機
US9784566B2 (en) 2013-03-13 2017-10-10 Intermec Ip Corp. Systems and methods for enhancing dimensioning
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US10203402B2 (en) 2013-06-07 2019-02-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10240914B2 (en) 2014-08-06 2019-03-26 Hand Held Products, Inc. Dimensioning system with guided alignment
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10121039B2 (en) 2014-10-10 2018-11-06 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10134120B2 (en) 2014-10-10 2018-11-20 Hand Held Products, Inc. Image-stitching for dimensioning
US10859375B2 (en) 2014-10-10 2020-12-08 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10402956B2 (en) 2014-10-10 2019-09-03 Hand Held Products, Inc. Image-stitching for dimensioning
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10218964B2 (en) 2014-10-21 2019-02-26 Hand Held Products, Inc. Dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10393508B2 (en) 2014-10-21 2019-08-27 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US11906280B2 (en) 2015-05-19 2024-02-20 Hand Held Products, Inc. Evaluating image values
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US11403887B2 (en) 2015-05-19 2022-08-02 Hand Held Products, Inc. Evaluating image values
US10593130B2 (en) 2015-05-19 2020-03-17 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US10247547B2 (en) 2015-06-23 2019-04-02 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US10612958B2 (en) 2015-07-07 2020-04-07 Hand Held Products, Inc. Mobile dimensioner apparatus to mitigate unfair charging practices in commerce
US10393506B2 (en) 2015-07-15 2019-08-27 Hand Held Products, Inc. Method for a mobile dimensioning device to use a dynamic accuracy compatible with NIST standard
US11353319B2 (en) 2015-07-15 2022-06-07 Hand Held Products, Inc. Method for a mobile dimensioning device to use a dynamic accuracy compatible with NIST standard
US11029762B2 (en) 2015-07-16 2021-06-08 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10747227B2 (en) 2016-01-27 2020-08-18 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US10872214B2 (en) 2016-06-03 2020-12-22 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10417769B2 (en) 2016-06-15 2019-09-17 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning

Also Published As

Publication number Publication date
CA2600185C (fr) 2016-04-26
KR20070121717A (ko) 2007-12-27
CN102984448A (zh) 2013-03-20
CA2834963C (fr) 2017-04-18
CN102984448B (zh) 2016-05-25
JP6076300B2 (ja) 2017-02-08
CA2834963A1 (fr) 2006-09-14
US7920172B2 (en) 2011-04-05
WO2006095110A3 (fr) 2006-11-02
US20080158377A1 (en) 2008-07-03
JP5535476B2 (ja) 2014-07-02
CA2835047C (fr) 2017-04-18
CN101204083A (zh) 2008-06-18
JP5633891B2 (ja) 2014-12-03
JP2015019378A (ja) 2015-01-29
EP1856907A2 (fr) 2007-11-21
JP2008532449A (ja) 2008-08-14
CA2834883C (fr) 2018-01-23
US20110019065A1 (en) 2011-01-27
US8212889B2 (en) 2012-07-03
US20110109749A1 (en) 2011-05-12
KR101265358B1 (ko) 2013-05-21
JP2013214986A (ja) 2013-10-17
CA2835047A1 (fr) 2006-09-14
CA2834883A1 (fr) 2006-09-14
CA2600185A1 (fr) 2006-09-14

Similar Documents

Publication Publication Date Title
CA2834963C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
JP6935587B2 (ja) 画像処理のための方法および装置
EP1523730B1 (fr) Procede et systeme pour calculer une image transformee a partir d'une image numerique
EP2174289B1 (fr) Procede de traitement d'objet numerique et systeme associe.
JP5237978B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
EP3657784B1 (fr) Procédé d'estimation d'un défaut d'un système de capture d'images et systèmes associés
JP6838994B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
WO2003007242A2 (fr) Procede et systeme pour produire des informations formatees liees aux defauts
FR2842976A1 (fr) Dispositif et procede pour fournir un zoom numerique de resolution amelioree dans un dispositif imageur electronique portatif
KR20190068618A (ko) 단말기를 위한 촬영 방법 및 단말기
WO2005125242A2 (fr) Procede d'amelioration de services relatifs a des donnees multimedia en telephonie mobile
FR2996034A1 (fr) Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede.
KR100764414B1 (ko) Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법
FR2880958A1 (fr) Procede d'amelioration de la nettete d'au moins une couleur d'une image numerique
WO2023218072A1 (fr) Procédé de correction globale d' une image, et système associe
FR2887346A1 (fr) Procede et dispositif d'amelioration d'une image numerique

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2600185

Country of ref document: CA

Ref document number: 2006726221

Country of ref document: EP

Ref document number: 3297/KOLNP/2007

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 11817977

Country of ref document: US

Ref document number: 2008500243

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1020077022875

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: RU

WWW Wipo information: withdrawn in national office

Ref document number: RU

WWE Wipo information: entry into national phase

Ref document number: 200680012390.8

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2006726221

Country of ref document: EP

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载