+

WO2016129160A1 - 画像処理装置、画像処理方法、プログラムおよび画像処理システム - Google Patents

画像処理装置、画像処理方法、プログラムおよび画像処理システム Download PDF

Info

Publication number
WO2016129160A1
WO2016129160A1 PCT/JP2015/082271 JP2015082271W WO2016129160A1 WO 2016129160 A1 WO2016129160 A1 WO 2016129160A1 JP 2015082271 W JP2015082271 W JP 2015082271W WO 2016129160 A1 WO2016129160 A1 WO 2016129160A1
Authority
WO
WIPO (PCT)
Prior art keywords
peak
exposure control
image processing
luminance
control unit
Prior art date
Application number
PCT/JP2015/082271
Other languages
English (en)
French (fr)
Inventor
昌嗣 村北
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/541,269 priority Critical patent/US10306151B2/en
Priority to JP2016574626A priority patent/JP6620762B2/ja
Publication of WO2016129160A1 publication Critical patent/WO2016129160A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, a program, and an image processing system.
  • the peak detection unit that detects the first peak and the second peak in order from the high luminance side from the pixel number distribution for each luminance of the endoscopic image based on the imaging by the image sensor; And an exposure control unit that performs exposure control based on the first luminance difference between the first peak and the second peak.
  • the first peak and the second peak are detected in order from the high luminance side, from the pixel number distribution for each luminance of the endoscopic image based on the imaging by the image sensor;
  • An image processing method comprising: performing exposure control based on a first luminance difference between the first peak and the second peak by a processor.
  • the computer detects a first peak and a second peak in order from the high luminance side, from a pixel number distribution for each luminance of an endoscopic image based on imaging by an image sensor,
  • a program for causing an image processing apparatus to include an exposure control unit that performs exposure control based on a first luminance difference between the first peak and the second peak.
  • the light source unit that emits light
  • the image sensor that receives the reflected light of the light emitted by the light source unit and captures an endoscopic image
  • a peak detection unit that detects a first peak and a second peak in order from the high luminance side, and a first luminance difference between the first peak and the second peak
  • an image processing system having an image processing apparatus including an exposure control unit that performs exposure control.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by attaching different alphabets or numbers after the same reference numeral.
  • it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration only the same reference numerals are given.
  • FIG. 1 is a diagram illustrating a configuration example of an image processing system according to an embodiment of the present disclosure.
  • the image processing system 1A includes an image processing apparatus 100A, an insertion unit 200A, a light source unit 300A, a display unit 400A, and an operation unit 500A.
  • the light source unit 300A includes a white light source 310A and a condensing lens 320A.
  • the white light source 310A emits white light.
  • an example using white light is mainly described, but the color of light is not particularly limited. Therefore, a light source that emits visible light other than white may be used instead of the white light source 310A.
  • the condensing lens 320A condenses the light emitted by the white light source 310A on a light guide 210A described later.
  • the insertion unit 200A can correspond to a scope that is inserted into the body.
  • the insertion portion 200A may be a rigid mirror or a flexible mirror.
  • the insertion unit 200A includes a light guide 210A, an illumination lens 220A, an imaging unit 230A, and a memory 240A.
  • the imaging unit 230A includes an objective lens 231A, an image sensor (imaging device) 232A, and an A / D (analog / digital) conversion unit 233A.
  • the light guide 210A guides the light collected by the light source unit 300A to the tip of the insertion unit 200A.
  • the illumination lens 220A diffuses the light guided to the tip by the light guide 210 and irradiates the observation target (subject SuA).
  • the objective lens 231A forms an image of reflected light returning from the observation target (subject Su) on the image sensor 232A.
  • the image sensor 232A outputs an analog signal (endoscopic image) captured by receiving the reflected light to the A / D conversion unit 233A.
  • the image sensor 232A has, for example, a primary color Bayer array.
  • the endoscopic image obtained by the image sensor 232A is a primary color Bayer image.
  • the primary color Bayer image is an image in which each pixel has one of RGB signals, and is an image in which the RGB pixels are arranged in a checkered pattern.
  • the image sensor 232A is not limited to the primary color Bayer array. That is, the endoscopic image is not limited to a primary color Bayer image.
  • the endoscopic image may be an image acquired by an endoscopic imaging method other than the primary color Bayer such as complementary color or frame sequential.
  • the A / D conversion unit 233A converts an analog signal (endoscopic image) output from the image sensor 232A into a digital signal based on a control signal output from the control unit 130 (to be described later). (Scope image) is output to the image processing apparatus 100A.
  • the memory 240A stores a program for realizing the functions of the image processing apparatus 100A by being executed by an arithmetic device (not shown).
  • the insertion part 200A may be appropriately described as a scope.
  • a type of scope corresponding to the diagnosis site can be used.
  • Each scope is given an identification number for specifying a target diagnostic region and a function such as a zoom function.
  • the identification number may be referred to as a scope ID.
  • the memory 240A stores the scope ID.
  • the image processing apparatus 100A includes an automatic exposure control unit 110A, an image processing unit 120A, and a control unit 130A.
  • the endoscopic image acquired by the imaging unit 230A is output to the automatic exposure control unit 110A and the image processing unit 120A.
  • the automatic exposure control unit 110A is connected to the white light source 310A and the image sensor 232A, and controls the white light source 310A and the image sensor 232A.
  • the image processing unit 120A is connected to the display unit 400A.
  • the control unit 130A is bidirectionally connected to the imaging unit 230A, the image processing unit 120A, the display unit 400A, and the operation unit 500A, and controls these components.
  • the automatic exposure control unit 110A automatically exposes the image sensor 232A so that the luminance of the endoscopic image acquired by the imaging unit 230A becomes a value suitable for observation (hereinafter also referred to as “appropriate value”). Take control. Details of the automatic exposure control unit 110A will be described later.
  • the image processing unit 120A performs image processing on the endoscopic image captured by the imaging unit 230A. For example, the image processing unit 120A performs gradation conversion processing and noise reduction processing. Image processing unit 120A outputs the image after image processing to display unit 400A.
  • the control unit 130A is connected to the imaging unit 230A, the image processing unit 120A, the display unit 400A, and the operation unit 500A, and outputs a control signal for controlling them.
  • the display unit 400A outputs the endoscope image output by the image processing unit 120A to an image display device such as an endoscope monitor.
  • the operation unit 500A is an interface for accepting an operation from the user.
  • the operation unit 500A includes a power switch for turning on / off the power, a shutter button for starting imaging, a mode switching button for switching a shooting mode and various other modes.
  • FIGS. 2 and 3 are diagrams for describing a specific example of exposure control.
  • the analog signal captured by the image sensor 232A is converted into a digital signal (endoscopic image) by the A / D conversion unit 233A.
  • the vertical axis indicates the output value from the image sensor 232A.
  • the horizontal axis represents the image plane illuminance of the image sensor 232A corresponding to each output value.
  • the output value from the image sensor 232A may be an average value of output values corresponding to each pixel.
  • the appropriate value of the output value from the image sensor 232A is indicated as “U0A”, and the image plane illuminance of the image sensor 232A corresponding to the appropriate value U0A is indicated as “L0A”.
  • U0A the output value of the output value from the image sensor 232A
  • L0A the image plane illuminance of the image sensor 232A corresponding to the appropriate value U0A.
  • the appropriate value of the output value from the image sensor 232 is indicated as “U0A”, and the image plane illuminance of the image sensor 232A corresponding to the appropriate value U0A is “L0A”. ".
  • the output value U2A from the image sensor 232A is smaller than the appropriate value U0A.
  • exposure control can be performed by adjusting parameters for controlling exposure.
  • Various parameters are assumed as parameters for controlling the exposure.
  • the parameter for controlling the exposure may include at least one of an electronic shutter speed of the image sensor 232A and a gain multiplied by an analog signal captured by the image sensor 232A.
  • the parameter for controlling the exposure may include the brightness of the white light source 310A.
  • the exposure control for decreasing the output value from the image sensor 232A by dU1A shown in FIG. 2 may be executed by increasing the electronic shutter speed by an amount corresponding to dU1A, or by the image sensor 232A. It may be executed by reducing the gain multiplied by the imaged analog signal by an amount corresponding to dU1A.
  • the exposure control for reducing the output value from the image sensor 232A may be executed by reducing the brightness of the white light source 310A by an amount corresponding to dU1A.
  • the exposure control for increasing the output value from the image sensor 232A by dU2A shown in FIG. 3 may be executed by reducing the electronic shutter speed by an amount corresponding to dU2A, or by the image sensor 232A. It may be executed by increasing the gain multiplied by the imaged analog signal by an amount corresponding to dU2A.
  • exposure control that increases the output value from the image sensor 232A may be executed by increasing the brightness of the white light source 310A by an amount corresponding to dU2A.
  • FIG. 4 is a block diagram illustrating a detailed functional configuration example of the automatic exposure control unit 110A.
  • the automatic exposure control unit 110A includes a peak detection unit 111A and an exposure control unit 112A.
  • the peak detection unit 111A acquires an endoscopic image from the imaging unit 230A.
  • FIG. 5 is a diagram showing an example of an endoscopic image.
  • each pixel is arranged in a grid pattern.
  • the endoscopic image Im1A is generally imaged in a situation where the light source unit 300A and the image sensor 232A are close to each other and in a situation where the light source unit 300A and the subject are close to each other. Therefore, the white area Rw1A exists.
  • the color depth of each pixel represents the height of luminance of each pixel.
  • FIG. 6 is a diagram illustrating an example of the distribution of the number of pixels for each luminance of the endoscopic image.
  • the luminance of the endoscopic image is shown on the horizontal axis, and the number of pixels for each luminance is shown on the vertical axis.
  • a first peak hereinafter also referred to as “peak B1A”
  • a second peak hereinafter also referred to as “peak B2A”
  • peak B1A A first peak
  • peak B2A a second peak
  • the number of pixels in each of the peak B1A and the peak B2A is indicated as “N1A” and “N2A”.
  • the peak detection unit 111A detects the peak B1A and the peak B2A in order from the high luminance side from the distribution of the number of pixels for each luminance of the endoscope image.
  • the peak B1A belongs to the white region Rw1A and the peak B2A belongs to the observation region Rs1A
  • the exposure control unit 112 may perform exposure control based on the luminance difference Df1A between the peak B1A and the peak B2A. Then, it is possible to more appropriately adjust the luminance of the endoscopic image Im1A by reducing the possibility that the observation region Rs1A becomes excessively dark.
  • the exposure control unit 112A acquires a parameter correction value (hereinafter also referred to as “first correction value”) based on the luminance difference Df1A, corrects the parameter based on the first correction value, Exposure control may be performed based on the corrected parameters.
  • the exposure control unit 112A may correct the parameter by adding the first correction value to the parameter.
  • FIG. 6 shows an example in which the peak B2A has moved to the position of the peak B0A as a result of the exposure control performed based on the corrected parameters (example in which the position of the peak B2A has moved by “Cm1A”). It is shown).
  • the method for acquiring the first correction value is not particularly limited.
  • the exposure control unit 112A may acquire the first correction value corresponding to the luminance difference Df1A from the table, or may acquire the first correction value by calculation based on the luminance difference Df1A.
  • a method for acquiring the first correction value by calculation based on the luminance difference Df1A is not particularly limited.
  • the exposure control unit 112A may calculate the first correction value from the luminance difference Df1A, assuming that the first correction value linearly changes with respect to the luminance difference Df1A.
  • the exposure control unit 112A corrects the parameter when the luminance difference Df1A exceeds a threshold value (hereinafter also referred to as “first threshold value”), whereas when the luminance difference Df1A falls below the first threshold value.
  • the parameters need not be corrected. This is because when the luminance difference Df1A is lower than the first threshold, it is unlikely that the exposure control has been performed so that the luminance of the endoscopic image Im1A becomes excessively low.
  • the parameter may be corrected or the parameter may not be corrected.
  • the exposure control unit 112A corrects the parameter when the number of pixels of the peak B1A exceeds the predetermined number of pixels, and corrects the parameter when the number of pixels of the peak B1A does not exceed the predetermined number of pixels. It does not have to be. This is because when the number of pixels of the peak B1A does not exceed the predetermined number of pixels, it is unlikely that the exposure control has been performed so that the luminance of the endoscopic image Im1A becomes excessively low. In addition, when the number of pixels of the peak B1A is equal to the predetermined number of pixels, the parameter may be corrected or the parameter may not be corrected.
  • FIG. 7 is a flowchart showing an example of the operation when two peaks (peak B1A and peak B2A) are detected from the low luminance side. Note that the example of the operation illustrated in FIG. 7 is merely an example of the operations of the peak detection unit 111A and the exposure control unit 112A. Therefore, the operations of the peak detection unit 111A and the exposure control unit 112A are not limited to the operation example shown in FIG.
  • the peak detector 111A generates a pixel number distribution for each luminance in the endoscopic image (S11A). Then, the peak detector 111 detects the first peak (peak B1A) and the second peak (peak B2A) in order from the high luminance side from the pixel number distribution for each luminance (S12A). Subsequently, the exposure control unit 112A determines that the first luminance difference (luminance difference Df1A) between the first peak (peak B1A) and the second peak (peak B2A) is lower than the first threshold (in S13A). “No”), the operation is terminated.
  • the first correction value of the parameter for controlling the exposure is acquired (S14A)
  • the first correction value is added to the parameter (S15A)
  • the operation is terminated. If exposure control is performed based on the parameter after the first correction value is added, the possibility that the observation region Rs1A becomes too dark is reduced, and the brightness of the endoscopic image Im1A is more appropriately adjusted. It becomes possible to do.
  • the endoscopic image Im1A becomes partially dark due to light shielding by a lens hood or the like that transmits light to the image sensor 232A.
  • the region that becomes dark due to such light shielding in the endoscopic image Im1A is also simply referred to as a “black region”.
  • the phenomenon in which such a black region occurs in the endoscopic image Im1A is also referred to as “vignetting”.
  • the black area Rb1A is generated in the endoscopic image Im1A
  • exposure control is performed by the automatic exposure control unit 110A so that the luminance of the endoscopic image Im1A becomes excessively high.
  • the observation region Rs1A may become excessively bright. Therefore, in the following, a technique that can adjust the luminance of the endoscope image Im1A more appropriately by reducing the possibility that the observation region Rs1A becomes excessively bright will be described.
  • FIG. 8 is a diagram showing another example of the pixel number distribution for each luminance of the endoscopic image.
  • the luminance of the endoscopic image is shown on the horizontal axis, and the number of pixels for each luminance is shown on the vertical axis.
  • a third peak (hereinafter also referred to as “peak B3A”) is arranged in order from the high luminance side, following the first peak (peak B1A) and the second peak (peak B2A).
  • the number of pixels in each of the peak B1A, the peak B2A, and the peak B3A is indicated as “N1A”, “N2A”, and “N3A”.
  • the peak detector 111A detects the peak B3A on the lower luminance side than the peak B2A from the pixel number distribution for each luminance of the endoscopic image.
  • the peak B3A belongs to the black region Rb1A and the peak B2A belongs to the observation region Rs1A
  • the exposure control unit 112A may perform exposure control based on the luminance difference Df1A and the luminance difference (second luminance difference) Df2A between the peak B3A and the peak B2A. Then, it is possible to more appropriately adjust the luminance of the endoscope image Im1A by reducing the possibility that the observation region Rs1A becomes excessively bright.
  • the exposure control unit 112A obtains a parameter correction value (hereinafter also referred to as “second correction value”) based on the luminance difference Df2A, and based on the first correction value and the second correction value. It is preferable to correct the parameters and perform exposure control based on the corrected parameters.
  • the exposure control unit 112A may correct the parameter by adding the first correction value and the second correction value to the parameter.
  • FIG. 8 shows an example in which the peak B2A is moved to the position of the peak B0A as a result of performing the exposure control based on the corrected parameters (the positions of the peaks B2A are “Cm1A” and “Cm2A”). And a total of “Cm0A” has been moved).
  • the method for acquiring the second correction value is not particularly limited.
  • the exposure control unit 112A may acquire the second correction value corresponding to the luminance difference Df2A from the table, or may acquire the second correction value by calculation based on the luminance difference Df2A.
  • a method for acquiring the second correction value by calculation based on the luminance difference Df2A is not particularly limited.
  • the exposure control unit 112A may calculate the second correction value from the luminance difference Df2A, assuming that the second correction value linearly changes with respect to the luminance difference Df2A.
  • the exposure control unit 112A corrects the parameter when the luminance difference Df2A exceeds a threshold value (hereinafter also referred to as “second threshold value”), while the luminance difference Df2A falls below the second threshold value.
  • the parameters need not be corrected. This is because when the luminance difference Df2A is lower than the second threshold, it is unlikely that the exposure control has been performed so that the luminance of the endoscope image Im1A becomes excessively high.
  • the parameter may be corrected or the parameter may not be corrected.
  • the exposure control unit 112A corrects the parameter when the number of pixels of the peak B3A exceeds the predetermined number of pixels, and corrects the parameter when the number of pixels of the peak B3A does not exceed the predetermined number of pixels. It does not have to be. This is because when the number of pixels of the peak B3A does not exceed the predetermined number of pixels, it is unlikely that the exposure control has been performed so that the luminance of the endoscope image Im1A becomes excessively high. If the number of pixels of peak B3A is equal to the predetermined number of pixels, the parameter may be corrected or the parameter may not be corrected.
  • FIG. 9 is a flowchart illustrating an example of an operation in the case of detecting three peaks (peak B1A, peak B2A, and peak B3A) from the low luminance side.
  • the example of the operation illustrated in FIG. 9 is only an example of the operations of the peak detection unit 111A and the exposure control unit 112A. Therefore, the operations of the peak detection unit 111A and the exposure control unit 112A are not limited to the operation example shown in FIG.
  • S11A to S15A shown in FIG. 9 are executed in the same manner as S11A to S15A shown in FIG. Subsequent to S15A, the peak detection unit 111A detects the second peak (the third peak (peak B3A) on the lower luminance side than the peak B2A) from the pixel number distribution for each luminance (S21A). When the second luminance difference (luminance difference Df2A) between the third peak (peak B3A) and the second peak (peak B2A) is lower than the second threshold (“No” in S22A), the control unit 112A End the operation.
  • the first peak (peak B1A) in order from the high luminance side and the pixel number distribution for each luminance of the endoscope image Im1A based on the imaging by the image sensor 232A and
  • An image processing apparatus comprising: a peak detection unit 111A that detects a second peak (peak B2A); and an exposure control unit 112A that performs exposure control based on a luminance difference Df1A between the first peak and the second peak. 100A is provided. According to such a configuration, it is possible to more appropriately adjust the luminance of the endoscopic image Im1A by reducing the possibility that the observation region Rs1A will become excessively dark.
  • An image processing apparatus comprising: (2) The exposure control unit acquires a first correction value of a parameter for controlling exposure based on the first luminance difference, and corrects the parameter based on the first correction value, Performing the exposure control; The image processing apparatus according to (1).
  • the exposure control unit corrects the parameter by adding the first correction value to the parameter; The image processing apparatus according to (2).
  • the exposure control unit acquires the first correction value corresponding to the first luminance difference from a table; The image processing apparatus according to (2) or (3). (5) The exposure control unit obtains the first correction value by calculation based on the first luminance difference; The image processing apparatus according to (2) or (3). (6) The exposure control unit calculates the first correction value from the first luminance difference, assuming that the first correction value linearly changes with respect to the first luminance difference. The image processing apparatus according to (5). (7) The exposure control unit performs the exposure control when the first luminance difference exceeds a threshold; The image processing apparatus according to any one of (1) to (6).
  • the exposure control unit performs the exposure control when the number of pixels of the first peak exceeds a predetermined number of pixels;
  • the image processing apparatus according to any one of (1) to (7).
  • the peak detection unit detects a third peak on the lower luminance side than the second peak, The exposure control unit performs the exposure control based on the first luminance difference and the second luminance difference of the second peak and the third peak;
  • the image processing apparatus according to any one of (2) to (6).
  • the exposure control unit acquires a second correction value of the parameter based on the second luminance difference, and corrects the parameter based on the first correction value and the second correction value. To perform the exposure control, The image processing apparatus according to (9).
  • the exposure control unit corrects the parameter by adding the first correction value and the second correction value to the parameter;
  • the image processing apparatus according to (10).
  • the parameter includes at least one of an electronic shutter speed of the image sensor and a gain multiplied by an analog signal captured by the image sensor.
  • the image processing apparatus according to any one of (2) to (6).
  • the parameter includes the brightness of the light source, The image processing apparatus according to any one of (2) to (6).
  • Computer A peak detector for detecting the first peak and the second peak in order from the high luminance side from the distribution of the number of pixels for each luminance of the endoscopic image based on imaging by the image sensor; An exposure control unit that performs exposure control based on a first luminance difference between the first peak and the second peak; A program for causing an image processing apparatus to function.
  • a light source that emits light
  • An image sensor that receives the reflected light of the light emitted by the light source unit and captures an endoscopic image; From the distribution of the number of pixels for each luminance of the endoscopic image, a peak detection unit for detecting the first peak and the second peak in order from the high luminance side; An exposure control unit that performs exposure control based on a first luminance difference between the first peak and the second peak;
  • An image processing system having an image processing apparatus.
  • observation area an area other than the black area
  • the peak detection unit that detects the first peak and the second peak in order from the low luminance side from the distribution of the number of pixels for each luminance of the endoscopic image based on the imaging by the image sensor, and the first And an exposure control unit that performs exposure control based on the first luminance difference between the first peak and the second peak.
  • An image processing method comprising: performing exposure control based on a first luminance difference between the first peak and the second peak by a processor.
  • the computer detects a first peak and a second peak in order from the low luminance side, from the pixel number distribution for each luminance of the endoscopic image based on imaging by the image sensor,
  • a program for causing an image processing apparatus to include an exposure control unit that performs exposure control based on a first luminance difference between the first peak and the second peak.
  • the light source unit that emits light
  • the image sensor that receives the reflected light of the light emitted by the light source unit and captures an endoscopic image
  • a peak detection unit that detects the first peak and the second peak in order from the low luminance side, and the first luminance difference between the first peak and the second peak
  • FIG. 10 is a diagram illustrating a configuration example of an image processing system according to an embodiment of the present disclosure.
  • the image processing system 1B includes an image processing device 100B, an insertion unit 200B, a light source unit 300B, a display unit 400B, and an operation unit 500B.
  • the light source unit 300B includes a white light source 310B and a condenser lens 320B.
  • the white light source 310B emits white light.
  • an example using white light is mainly described, but the color of light is not particularly limited. Therefore, a light source that emits visible light other than white may be used instead of the white light source 310B.
  • the condensing lens 320B condenses the light emitted by the white light source 310B on a light guide 210B described later.
  • the insertion unit 200B may correspond to a scope that is inserted into the body.
  • the insertion portion 200B may be a rigid mirror or a flexible mirror.
  • the insertion unit 200B includes a light guide 210B, an illumination lens 220B, an imaging unit 230B, and a memory 240B.
  • the imaging unit 230B includes an objective lens 231B, an image sensor (imaging device) 232B, and an A / D (analog / digital) conversion unit 233B.
  • the light guide 210B guides the light collected by the light source unit 300B to the tip of the insertion unit 200B.
  • the illumination lens 220B diffuses the light guided to the tip by the light guide 210B and irradiates the observation target (subject SuB).
  • the objective lens 231B forms an image of reflected light returning from the observation target (subject SuB) on the image sensor 232B.
  • the image sensor 232B outputs an analog signal (endoscopic image) captured by receiving the reflected light to the A / D converter 233B.
  • the image sensor 232B has, for example, a primary color Bayer array.
  • the endoscopic image obtained by the image sensor 232B is a primary color Bayer image.
  • the primary color Bayer image is an image in which each pixel has one of RGB signals, and is an image in which the RGB pixels are arranged in a checkered pattern.
  • the image sensor 232B is not limited to the primary color Bayer array. That is, the endoscopic image is not limited to a primary color Bayer image.
  • the endoscopic image may be an image acquired by an endoscopic imaging method other than the primary color Bayer such as complementary color or frame sequential.
  • the A / D conversion unit 233B converts an analog signal (endoscopic image) output from the image sensor 232B into a digital signal based on a control signal output from the control unit 130B, which will be described later. (Scope image) is output to the image processing apparatus 100B.
  • the memory 240B stores a program for realizing the functions of the image processing apparatus 100B by being executed by an arithmetic device (not shown).
  • the insertion part 200B may be appropriately described as a scope.
  • a type of scope corresponding to the diagnosis site can be used.
  • Each scope is given an identification number for specifying a target diagnostic region and a function such as a zoom function.
  • the identification number may be referred to as a scope ID.
  • the memory 240B stores the scope ID.
  • the image processing apparatus 100B includes an automatic exposure control unit 110B, an image processing unit 120B, and a control unit 130B.
  • the endoscopic image acquired by the imaging unit 230B is output to the automatic exposure control unit 110B and the image processing unit 120B.
  • the automatic exposure control unit 110B is connected to the white light source 310B and the image sensor 232B, and controls the white light source 310B and the image sensor 232B.
  • the image processing unit 120B is connected to the display unit 400B.
  • the control unit 130B is bidirectionally connected to the imaging unit 230B, the image processing unit 120B, the display unit 400B, and the operation unit 500B, and controls these components.
  • the automatic exposure control unit 110B automatically exposes the image sensor 232B so that the brightness of the endoscopic image acquired by the imaging unit 230B becomes a value suitable for observation (hereinafter also referred to as “appropriate value”). Take control. Details of the automatic exposure control unit 110B will be described later.
  • the image processing unit 120B performs image processing on the endoscopic image captured by the imaging unit 230B. For example, the image processing unit 120B performs gradation conversion processing and noise reduction processing.
  • the image processing unit 120B outputs the image after image processing to the display unit 400B.
  • the control unit 130B is connected to the imaging unit 230B, the image processing unit 120B, the display unit 400B, and the operation unit 500B, and outputs a control signal for controlling them.
  • the display unit 400B outputs the endoscope image output by the image processing unit 120B to an image display device such as an endoscope monitor.
  • the operation unit 500B is an interface for receiving an operation from the user.
  • the operation unit 500B includes a power switch for turning on / off the power, a shutter button for starting imaging, a mode switching button for switching a photographing mode and various other modes.
  • FIG. 11 and 12 are diagrams for explaining a specific example of exposure control.
  • the analog signal captured by the image sensor 232B is converted into a digital signal (endoscopic image) by the A / D conversion unit 233B.
  • the output value from the image sensor 232B is shown on the vertical axis.
  • the horizontal axis represents the image plane illuminance of the image sensor 232B corresponding to each output value.
  • the output value from the image sensor 232B may be an average value of output values corresponding to each pixel.
  • the appropriate value of the output value from the image sensor 232B is indicated as “U0B”, and the image plane illuminance of the image sensor 232B corresponding to the appropriate value U0B is indicated as “L0B”. .
  • U0B the image plane illuminance of the image sensor 232B corresponding to the appropriate value U0B
  • L0B the image plane illuminance of the image sensor 232B corresponding to the appropriate value U0B.
  • the appropriate value of the output value from the image sensor 232B is indicated as “U0B”, and the image plane illuminance of the image sensor 232B corresponding to the appropriate value U0B is “L0B”. ".
  • the output value U2B from the image sensor 232B is smaller than the appropriate value U0B.
  • exposure control can be performed by adjusting parameters for controlling exposure.
  • Various parameters are assumed as parameters for controlling the exposure.
  • the parameter for controlling the exposure may include at least one of an electronic shutter speed of the image sensor 232B and a gain multiplied by an analog signal imaged by the image sensor 232B.
  • the parameter for controlling the exposure may include the brightness of the white light source 310B.
  • the exposure control for decreasing the output value from the image sensor 232B by dU1B shown in FIG. 11 may be executed by increasing the electronic shutter speed by an amount corresponding to dU1B, or by the image sensor 232B. It may be executed by reducing the gain multiplied by the imaged analog signal by an amount corresponding to dU1B.
  • exposure control that reduces the output value from the image sensor 232B may be executed by reducing the brightness of the white light source 310B by an amount corresponding to dU1B.
  • the exposure control for increasing the output value from the image sensor 232B by dU2B shown in FIG. 12 may be executed by decreasing the electronic shutter speed by an amount corresponding to dU2B, or by the image sensor 232B. It may be executed by increasing the gain multiplied by the imaged analog signal by an amount corresponding to dU2B.
  • exposure control that increases the output value from the image sensor 232B may be executed by increasing the brightness of the white light source 310B by an amount corresponding to dU2B.
  • FIG. 13 is a block diagram illustrating a detailed functional configuration example of the automatic exposure control unit 110B.
  • the automatic exposure control unit 110B includes a peak detection unit 111B and an exposure control unit 112B.
  • the peak detection unit 111B acquires an endoscopic image from the imaging unit 230B.
  • FIG. 14 is a diagram showing an example of an endoscopic image.
  • each pixel is arranged in a grid pattern.
  • the endoscopic image Im1B includes a black region Rb1B in addition to the observation region Rs1B.
  • a line HmB indicates a boundary line between the black region Rb1B and the observation region Rs1B.
  • the color depth of each pixel represents the height of luminance of each pixel.
  • FIG. 15 is a diagram illustrating an example of the pixel number distribution for each luminance of the endoscopic image.
  • the luminance of the endoscopic image is shown on the horizontal axis, and the number of pixels for each luminance is shown on the vertical axis.
  • a first peak hereinafter also referred to as “peak B1B”
  • a second peak hereinafter also referred to as “peak B2B”
  • peak B1B A first peak
  • peak B2B a second peak
  • the numbers of pixels in each of the peak B1B and the peak B2B are indicated as “N1B” and “N2B”.
  • the peak detection unit 111B detects the peak B1B and the peak B2B in order from the low luminance side from the pixel number distribution for each luminance of the endoscopic image.
  • the peak B1B belongs to the black region Rb1B and the peak B2B belongs to the observation region Rs1B
  • the exposure control unit 112B may perform exposure control based on the luminance difference Df1B between the peak B1B and the peak B2B. Then, it is possible to more appropriately adjust the luminance of the endoscope image Im1B by reducing the possibility that the observation region Rs1B becomes excessively bright.
  • the exposure control unit 112B acquires a parameter correction value (hereinafter also referred to as a “first correction value”) based on the luminance difference Df1B, corrects the parameter based on the first correction value, Exposure control may be performed based on the corrected parameters.
  • the exposure control unit 112B may correct the parameter by adding the first correction value to the parameter.
  • FIG. 15 shows an example in which the peak B2B is moved to the position of the peak B0B as a result of the exposure control performed based on the corrected parameters (example in which the position of the peak B2B is moved by “Cm1B”). It is shown).
  • the method for acquiring the first correction value is not particularly limited.
  • the exposure control unit 112B may acquire the first correction value corresponding to the luminance difference Df1B from the table, or may acquire the first correction value by calculation based on the luminance difference Df1B.
  • a method for acquiring the first correction value by calculation based on the luminance difference Df1B is not particularly limited.
  • the exposure control unit 112B may calculate the first correction value from the luminance difference Df1B, assuming that the first correction value linearly changes with respect to the luminance difference Df1B.
  • the exposure control unit 112B corrects the parameter when the luminance difference Df1B exceeds a threshold value (hereinafter also referred to as “first threshold value”), while the luminance difference Df1B falls below the first threshold value.
  • the parameters need not be corrected. This is because when the luminance difference Df1B is lower than the first threshold, it is unlikely that the exposure control has been performed so that the luminance of the endoscope image Im1B becomes excessively high.
  • the parameter may be corrected or the parameter may not be corrected.
  • the exposure control unit 112B corrects the parameter when the number of pixels of the peak B1B exceeds the predetermined number of pixels, and corrects the parameter when the number of pixels of the peak B1B does not exceed the predetermined number of pixels. It does not have to be. This is because when the number of pixels of the peak B1B does not exceed the predetermined number of pixels, it is unlikely that the exposure control has been performed so that the luminance of the endoscopic image Im1B becomes excessively high. When the number of pixels of the peak B1B is equal to the predetermined number of pixels, the parameter may be corrected or the parameter may not be corrected.
  • FIG. 16 is a flowchart illustrating an example of an operation when two peaks (peak B1B and peak B2B) are detected from the low luminance side. Note that the example of the operation illustrated in FIG. 16 is merely an example of the operations of the peak detection unit 111B and the exposure control unit 112B. Therefore, the operations of the peak detection unit 111B and the exposure control unit 112B are not limited to the operation example shown in FIG.
  • the peak detection unit 111B generates a pixel number distribution for each luminance in the endoscopic image (S11B). Then, the peak detector 111B detects the first peak (peak B1B) and the second peak (peak B2B) in order from the low luminance side from the pixel number distribution for each luminance (S12B). Subsequently, when the first luminance difference (luminance difference Df1B) between the first peak (peak B1B) and the second peak (peak B2B) is lower than the first threshold (in S13B), the exposure control unit 112B “No”), the operation is terminated.
  • the first luminance difference (luminance difference Df1B) between the first peak (peak B1B) and the second peak (peak B2B) exceeds the first threshold (in S13B “ Yes ”) the first correction value of the parameter for controlling the exposure is acquired (S14B), the first correction value is added to the parameter (S15B), and the operation is terminated. If exposure control is performed based on the parameter after the addition of the first correction value, the possibility that the observation region Rs1B becomes excessively bright is reduced, and the brightness of the endoscope image Im1B is adjusted more appropriately. It becomes possible to do.
  • the endoscopic image Im1B when an object having a higher brightness than the body (for example, forceps or gauze) is captured as a subject, a phenomenon may occur in which the endoscopic image Im1B is partially brightened.
  • the endoscope image Im1B is generally imaged in a situation where the light source unit 300B and the image sensor 232B are close to each other, and in a situation where the light source unit 300B and the subject are close to each other. Therefore, the endoscopic image Im1B also includes a region that becomes partially bright.
  • an area of the endoscopic image that is partially brightened due to the reflection of such a high-luminance object is also simply referred to as a “white area”.
  • FIG. 17 is a diagram illustrating another example of the pixel number distribution for each luminance of the endoscopic image.
  • the luminance of the endoscopic image is shown on the horizontal axis, and the number of pixels for each luminance is shown on the vertical axis.
  • a third peak (hereinafter also referred to as “peak B3B”) is arranged in order from the low luminance side, following the first peak (peak B1B) and the second peak (peak B2B).
  • the number of pixels in each of the peak B1B, peak B2B, and peak B3B is shown as “N1B”, “N2B”, and “N3B”.
  • the peak detection unit 111B detects the peak B3B on the higher luminance side than the peak B2B from the distribution of the number of pixels for each luminance of the endoscope image.
  • the peak B3B belongs to the white region Rw1B and the peak B2B belongs to the observation region Rs1B
  • the exposure control unit 112B may perform exposure control based on the luminance difference Df1B and the luminance difference (second luminance difference) Df2B between the peak B3B and the peak B2B. Then, it is possible to more appropriately adjust the luminance of the endoscope image Im1B by reducing the possibility that the observation region Rs1B becomes excessively dark.
  • the exposure control unit 112B acquires a parameter correction value (hereinafter also referred to as “second correction value”) based on the luminance difference Df2B, and based on the first correction value and the second correction value. It is preferable to correct the parameters and perform exposure control based on the corrected parameters.
  • the exposure control unit 112B may correct the parameter by adding the first correction value and the second correction value to the parameter.
  • FIG. 17 shows an example in which the peak B2B is moved to the position of the peak B0B as a result of performing the exposure control based on the corrected parameters (the positions of the peaks B2B are “Cm1B” and “Cm2B”). And a total of “Cm0B” is shown.)
  • the method for acquiring the second correction value is not particularly limited.
  • the exposure control unit 112B may acquire the second correction value corresponding to the luminance difference Df2B from the table, or may acquire the second correction value by calculation based on the luminance difference Df2B.
  • a method for acquiring the second correction value by calculation based on the luminance difference Df2B is not particularly limited.
  • the exposure control unit 112B may calculate the second correction value from the luminance difference Df2B, assuming that the second correction value linearly changes with respect to the luminance difference Df2B.
  • the exposure control unit 112B corrects the parameter when the luminance difference Df2B exceeds a threshold (hereinafter also referred to as “second threshold”), whereas when the luminance difference Df2B falls below the second threshold.
  • the parameters need not be corrected. This is because when the luminance difference Df2B is lower than the second threshold, it is unlikely that the exposure control has been performed so that the luminance of the endoscopic image Im1B becomes excessively low.
  • the parameter may be corrected or the parameter may not be corrected.
  • the exposure control unit 112B corrects the parameter when the number of pixels of the peak B3B exceeds the predetermined number of pixels, and corrects the parameter when the number of pixels of the peak B3B does not exceed the predetermined number of pixels. It does not have to be. This is because when the number of pixels of the peak B3B does not exceed the predetermined number of pixels, it is unlikely that the exposure control has been performed so that the luminance of the endoscopic image Im1B becomes excessively low. When the number of pixels of peak B3B is equal to the predetermined number of pixels, the parameter may be corrected or the parameter may not be corrected.
  • FIG. 18 is a flowchart illustrating an example of an operation in the case of detecting three peaks (peak B1B, peak B2B, and peak B3B) from the low luminance side.
  • the example of the operation shown in FIG. 18 is only an example of the operations of the peak detection unit 111B and the exposure control unit 112B. Therefore, the operations of the peak detection unit 111B and the exposure control unit 112B are not limited to the operation example shown in FIG.
  • S11B to S15B shown in FIG. 18 are executed in the same manner as S11B to S15B shown in FIG. Subsequent to S15B, the peak detector 111B detects the second peak (the third peak (peak B3B) on the higher luminance side than the peak B2B) from the distribution of the number of pixels for each luminance (S21B). When the second luminance difference (luminance difference Df2B) between the third peak (peak B3B) and the second peak (peak B2B) is lower than the second threshold (“No” in S22B), the control unit 112B End the operation.
  • the first peak (peak B1B) in order from the low luminance side and the pixel number distribution for each luminance of the endoscope image Im1B based on the imaging by the image sensor 232B and
  • An image processing apparatus comprising: a peak detection unit 111B that detects a second peak (peak B2B); and an exposure control unit 112B that performs exposure control based on a luminance difference Df1B between the first peak and the second peak. 100B is provided. According to this configuration, it is possible to more appropriately adjust the luminance of the endoscopic image Im1B by reducing the possibility that the observation region Rs1B becomes excessively bright.
  • An image processing apparatus comprising: (2) The exposure control unit acquires a first correction value of a parameter for controlling exposure based on the first luminance difference, corrects the parameter based on the first correction value, The exposure control is performed based on the parameters of The image processing apparatus according to (1). (3) The exposure control unit corrects the parameter by adding the first correction value to the parameter; The image processing apparatus according to (2).
  • the exposure control unit acquires the first correction value corresponding to the first luminance difference from a table; The image processing apparatus according to (2) or (3). (5) The exposure control unit obtains the first correction value by calculation based on the first luminance difference; The image processing apparatus according to (2) or (3). (6) The exposure control unit calculates the first correction value from the first luminance difference, assuming that the first correction value linearly changes with respect to the first luminance difference. The image processing apparatus according to (5). (7) The exposure control unit performs the exposure control when the first luminance difference exceeds a threshold; The image processing apparatus according to any one of (1) to (6).
  • the exposure control unit performs the exposure control when the number of pixels of the first peak exceeds a predetermined number of pixels;
  • the image processing apparatus according to any one of (1) to (7).
  • the peak detection unit detects a third peak on a higher luminance side than the second peak,
  • the exposure control unit performs the exposure control based on the first luminance difference and the second luminance difference of the second peak and the third peak;
  • the image processing apparatus according to any one of (2) to (6).
  • the exposure control unit acquires a second correction value of the parameter based on the second luminance difference, corrects the parameter based on the first correction value and the second correction value, Performing the exposure control based on the corrected parameters,
  • the image processing apparatus according to (9).
  • the exposure control unit corrects the parameter by adding the first correction value and the second correction value to the parameter;
  • the image processing apparatus according to (10).
  • the parameter includes at least one of an electronic shutter speed of the image sensor and a gain multiplied by an analog signal captured by the image sensor.
  • the image processing apparatus according to any one of (2) to (6).
  • the parameter includes the brightness of the light source, The image processing apparatus according to any one of (2) to (6).
  • Computer A peak detector for detecting the first peak and the second peak in order from the low luminance side, from the distribution of the number of pixels for each luminance of the endoscopic image based on imaging by the image sensor;
  • An exposure control unit that performs exposure control based on a first luminance difference between the first peak and the second peak;
  • a program for causing an image processing apparatus to function.
  • a light source that emits light
  • An image sensor that receives the reflected light of the light emitted by the light source unit and captures an endoscopic image; From the distribution of the number of pixels for each luminance of the endoscopic image, a peak detection unit for detecting the first peak and the second peak in order from the low luminance side; An exposure control unit that performs exposure control based on a first luminance difference between the first peak and the second peak;
  • An image processing system having an image processing apparatus.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】内視鏡画像の輝度をより適切に調整することが可能な技術が提供されることが望まれる。 【解決手段】イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、高輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、を備える、画像処理装置が提供される。

Description

画像処理装置、画像処理方法、プログラムおよび画像処理システム
　本開示は、情報処理装置、情報処理方法、プログラムおよび画像処理システムに関する。
　近年、イメージセンサによる撮像に基づく内視鏡画像を処理する画像処理装置が普及している（例えば、特許文献１参照）。一方、体内よりも高輝度の物体（例えば、鉗子やガーゼなど）が被写体として写ってしまった場合には、内視鏡画像が部分的に明るくなってしまう現象が起こり得る。特に、内視鏡画像は、光源部とイメージセンサとが近いといった状況、光源部と被写体とが近いといった状況において撮像されるのが一般的であるため、かかる現象が起こり易い。以下では、内視鏡画像のうちこのような高輝度の物体の写り込みによって部分的に明るくなってしまった領域を、単に「白領域」とも言う。
特開２０１３－４２９９８号公報
　ここで、内視鏡画像に白領域が生じてしまったことが原因となり、内視鏡画像の輝度が過剰に低くなるように露光制御が行われてしまう場合がある。そのため、観察領域が過剰に暗くなってしまう可能性がある。そこで、内視鏡画像の輝度をより適切に調整することが可能な技術が提供されることが望まれる。
　本開示によれば、イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、高輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、を備える、画像処理装置が提供される。
　本開示によれば、イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、高輝度側から順に第１のピークおよび第２のピークを検出することと、
　プロセッサにより、前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行うことと、を含む、画像処理方法が提供される。
　本開示によれば、コンピュータを、イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、高輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、を備える画像処理装置として機能させるためのプログラムが提供される。
　本開示によれば、光を発する光源部と、前記光源部により発せられた前記光の反射光を受光して内視鏡画像を撮像するイメージセンサと、を有し、前記内視鏡画像の輝度ごとの画素数分布から、高輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、を備える、画像処理装置を有する、画像処理システムが提供される。
　以上説明したように本開示によれば、内視鏡画像の輝度をより適切に調整することが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る画像処理システムの構成例を示す図である。 露光制御の具体例について説明するための図である。 露光制御の具体例について説明するための図である。 自動露光制御部の詳細な機能構成例を示すブロック図である。 内視鏡画像の例を示す図である。 内視鏡画像の輝度ごとの画素数分布の例を示す図である。 高輝度側から二つのピークを検出する場合における動作の例を示すフローチャートである。 内視鏡画像の輝度ごとの画素数分布の他の例を示す図である。 高輝度側から三つのピークを検出する場合における動作の例を示すフローチャートである。 本開示の実施形態に係る画像処理システムの構成例を示す図である。 露光制御の具体例について説明するための図である。 露光制御の具体例について説明するための図である。 自動露光制御部の詳細な機能構成例を示すブロック図である。 内視鏡画像の例を示す図である。 内視鏡画像の輝度ごとの画素数分布の例を示す図である。 低輝度側から二つのピークを検出する場合における動作の例を示すフローチャートである。 内視鏡画像の輝度ごとの画素数分布の他の例を示す図である。 低輝度側から三つのピークを検出する場合における動作の例を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の実施形態
　　１．１．システム構成例
　　１．２．機能構成例
　　１．３．自動露光制御部の機能詳細
　２．むすび
　＜１．本開示の実施形態＞
　［１．１．システム構成例］
　まず、図面を参照しながら本開示の実施形態に係る画像処理システムの構成例について説明する。図１は、本開示の実施形態に係る画像処理システムの構成例を示す図である。図１に示すように、画像処理システム１Ａは、画像処理装置１００Ａと、挿入部２００Ａと、光源部３００Ａと、表示部４００Ａと、操作部５００Ａとを有する。
　光源部３００Ａは、白色光源３１０Ａと、集光レンズ３２０Ａとを備える。白色光源３１０Ａは、白色光を発する。なお、本明細書においては、白色光を用いる例を主に説明するが、光の色は特に限定されない。したがって、白色光源３１０Ａの代わりに白色以外の可視光を発する光源が用いられてもよい。集光レンズ３２０Ａは、白色光源３１０Ａによって発せられた光を後述するライトガイド２１０Ａに集光する。
　挿入部２００Ａは、体内に挿入されるスコープに相当し得る。具体的には、挿入部２００Ａは、硬性鏡であってもよいし、軟性鏡であってもよい。挿入部２００Ａは、ライトガイド２１０Ａと、照明レンズ２２０Ａと、撮像部２３０Ａと、メモリ２４０Ａとを備える。撮像部２３０Ａは、対物レンズ２３１Ａと、イメージセンサ（撮像素子）２３２Ａと、Ａ／Ｄ（アナログ／デジタル）変換部２３３Ａとを備える。
　ライトガイド２１０Ａは、光源部３００Ａによって集光された光を挿入部２００Ａの先端まで導く。照明レンズ２２０Ａは、ライトガイド２１０により先端まで導かれた光を拡散させて観察対象（被写体ＳｕＡ）に照射する。対物レンズ２３１Ａは、観察対象（被写体Ｓｕ）から戻る反射光をイメージセンサ２３２Ａに結像する。イメージセンサ２３２Ａは、反射光を受光して撮像したアナログ信号（内視鏡画像）を、Ａ／Ｄ変換部２３３Ａに出力する。
　なお、イメージセンサ２３２Ａは、例えば、原色ベイヤ配列を有している。かかる場合には、イメージセンサ２３２Ａにより得られる内視鏡画像は、原色ベイヤ画像である。原色ベイヤ画像は、各画素がＲＧＢいずれかの信号を有した画像であり、そのＲＧＢの画素が市松状に配列された画像である。しかし、イメージセンサ２３２Ａは、原色ベイヤ配列に限定されない。すなわち、内視鏡画像は、原色ベイヤ画像に限定されない。例えば、内視鏡画像は、補色や面順次といった原色ベイヤ以外の内視鏡撮像方式より取得される画像であってもよい。
　Ａ／Ｄ変換部２３３Ａは、後述する制御部１３０から出力される制御信号に基づいて、イメージセンサ２３２Ａから出力されるアナログ信号（内視鏡画像）をデジタル信号に変換し、このデジタル信号（内視鏡画像）を画像処理装置１００Ａに出力する。メモリ２４０Ａは、図示しない演算装置によって実行されることによって画像処理装置１００Ａの機能を実現するためのプログラムを記憶している。
　なお、以下の説明においては、挿入部２００Ａを適宜スコープと表記する場合がある。内視鏡診断においては、診断部位に応じた種類のスコープが用いられ得る。各スコープには、対象とする診断部位や、ズーム機能などの機能を特定するための識別番号が付与されており、本明細書においては、その識別番号をスコープＩＤと表記する場合がある。メモリ２４０Ａは、スコープＩＤを記憶している。
　画像処理装置１００Ａは、自動露光制御部１１０Ａと、画像処理部１２０Ａと、制御部１３０Ａとを備える。撮像部２３０Ａにより取得される内視鏡画像は、自動露光制御部１１０Ａと、画像処理部１２０Ａとに出力される。自動露光制御部１１０Ａは、白色光源３１０Ａおよびイメージセンサ２３２Ａに接続されており、白色光源３１０Ａおよびイメージセンサ２３２Ａを制御する。画像処理部１２０Ａは、表示部４００Ａに接続されている。制御部１３０Ａは、撮像部２３０Ａと、画像処理部１２０Ａと、表示部４００Ａと、操作部５００Ａとに双方向に接続されており、これらの構成要素を制御する。
　自動露光制御部１１０Ａは、撮像部２３０Ａにより取得される内視鏡画像の輝度が観察に適した値（以下、「適正値」とも言う。）となるように、自動的にイメージセンサ２３２Ａの露光制御を行う。自動露光制御部１１０Ａの詳細については後述する。画像処理部１２０Ａは、撮像部２３０Ａにより撮像された内視鏡画像に対して画像処理を行う。画像処理部１２０Ａは、例えば、階調変換処理やノイズ低減処理を行う。画像処理部１２０Ａは、画像処理後の画像を表示部４００Ａに対して出力する。
　制御部１３０Ａは、撮像部２３０Ａと、画像処理部１２０Ａと、表示部４００Ａと、操作部５００Ａとに接続されており、これらを制御する制御信号を出力する。表示部４００Ａは、画像処理部１２０Ａにより出力される内視鏡画像を、内視鏡モニタなどの画像表示装置に出力する。操作部５００Ａは、ユーザからの操作を受け付けるためのインターフェースである。例えば、操作部５００Ａは、電源のオン／オフを行うための電源スイッチや、撮像を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含む。
　以上、本開示の実施形態に係る画像処理システム１Ａの構成例について説明した。
　［１．２．露光制御の例］
　続いて、自動露光制御部１１０Ａによる露光制御の具体例について説明する。図２および図３は、露光制御の具体例について説明するための図である。上記したように、イメージセンサ２３２Ａによって撮像されたアナログ信号は、Ａ／Ｄ変換部２３３Ａによってデジタル信号（内視鏡画像）に変換される。図２および図３には、イメージセンサ２３２Ａからの出力値が縦軸に示されている。また、各出力値に対応するイメージセンサ２３２Ａの像面照度が横軸に示されている。なお、イメージセンサ２３２Ａからの出力値は、各画素に対応する出力値の平均値であってよい。
　また、図２Ａを参照すると、イメージセンサ２３２Ａからの出力値の適正値が「Ｕ０Ａ」として示されており、適正値Ｕ０Ａに対応するイメージセンサ２３２Ａの像面照度が「Ｌ０Ａ」として示されている。図２に示すように、例えば、イメージセンサ２３２Ａからの出力値Ｕ１Ａが適正値Ｕ０Ａよりも大きい場合を想定する。かかる場合には、自動露光制御部１１０Ａは、Ｕ１Ａ－Ｕ０Ａ＝ｄＵ１Ａだけイメージセンサ２３２Ａからの出力値が小さくなるように露光制御を行う。
　一方、図３を参照すると、図２と同様に、イメージセンサ２３２からの出力値の適正値が「Ｕ０Ａ」として示されており、適正値Ｕ０Ａに対応するイメージセンサ２３２Ａの像面照度が「Ｌ０Ａ」として示されている。図３に示すように、例えば、イメージセンサ２３２Ａからの出力値Ｕ２Ａが適正値Ｕ０Ａよりも小さい場合を想定する。かかる場合には、自動露光制御部１１０Ａは、Ｕ０Ａ－Ｕ２Ａ＝ｄＵ２Ａだけイメージセンサ２３２Ａからの出力値が大きくなるように露光制御を行う。
　例えば、露光制御は、露光を制御するためのパラメータを調整することによってなされ得る。露光を制御するためのパラメータとしては、様々なパラメータが想定される。例えば、露光を制御するためのパラメータは、イメージセンサ２３２Ａの電子シャッタ速度およびイメージセンサ２３２Ａによって撮像されたアナログ信号に対して乗じられるゲインのうちの少なくともいずれか一つを含んでよい。あるいは、露光を制御するためのパラメータは、白色光源３１０Ａの明るさを含んでもよい。
　例えば、図２に示したｄＵ１Ａだけイメージセンサ２３２Ａからの出力値を小さくするような露光制御は、電子シャッタ速度をｄＵ１Ａに対応する量だけ大きくすることによって実行されてもよいし、イメージセンサ２３２Ａによって撮像されたアナログ信号に対して乗じられるゲインをｄＵ１Ａに対応する量だけ小さくすることによって実行されてもよい。あるいは、イメージセンサ２３２Ａからの出力値を小さくするような露光制御は、白色光源３１０Ａの明るさをｄＵ１Ａに対応する量だけ弱くすることによって実行されてもよい。
　一方、図３に示したｄＵ２Ａだけイメージセンサ２３２Ａからの出力値を大きくするような露光制御は、電子シャッタ速度をｄＵ２Ａに対応する量だけ小さくすることによって実行されてもよいし、イメージセンサ２３２Ａによって撮像されたアナログ信号に対して乗じられるゲインをｄＵ２Ａに対応する量だけ大きくすることによって実行されてもよい。あるいは、イメージセンサ２３２Ａからの出力値を大きくするような露光制御は、白色光源３１０Ａの明るさをｄＵ２Ａに対応する量だけ強くすることによって実行されてもよい。
　以上、自動露光制御部１１０Ａによる露光制御の具体例について説明した。
　［１．３．自動露光制御部の機能詳細］
　続いて、自動露光制御部１１０Ａの詳細な機能について説明する。図４は、自動露光制御部１１０Ａの詳細な機能構成例を示すブロック図である。図４に示すように、自動露光制御部１１０Ａは、ピーク検出部１１１Ａと、露光制御部１１２Ａとを備える。以下においては、これらのピーク検出部１１１Ａおよび露光制御部１１２Ａそれぞれの詳細な機能について説明する。まず、ピーク検出部１１１Ａは、撮像部２３０Ａから内視鏡画像を取得する。
　図５は、内視鏡画像の例を示す図である。図５に示すように、内視鏡画像Ｉｍ１Ａにおいては、格子状に各画素が配列されている。ここで、上述したように、体内よりも高輝度の物体（例えば、鉗子やガーゼなど）が被写体として写ってしまった場合には、内視鏡画像Ｉｍ１Ａが部分的に明るくなってしまう現象が起こり得る。特に、内視鏡画像Ｉｍ１Ａは、光源部３００Ａとイメージセンサ２３２Ａとが近いといった状況、光源部３００Ａと被写体とが近いといった状況において撮像されるのが一般的であるため、かかる現象が起こり易い。そのため、白領域Ｒｗ１Ａが存在する。各画素の色の濃さは、各画素の輝度の高さを表している。
　ここで、内視鏡画像Ｉｍ１Ａに白領域Ｒｗ１Ａが生じてしまったことが原因となり、自動露光制御部１１０Ａによって内視鏡画像Ｉｍ１Ａの輝度が過剰に低くなるように露光制御が行われてしまう場合がある。そのため、観察領域Ｒｓ１Ａが過剰に暗くなってしまう可能性がある。そこで、以下においては、観察領域Ｒｓ１Ａが過剰に暗くなってしまう可能性を低減することによって、内視鏡画像Ｉｍ１Ａの輝度をより適切に調整することが可能な技術について説明する。
　具体的に、本開示の実施形態においては、内視鏡画像の輝度ごとの画素数分布を利用する。図６は、内視鏡画像の輝度ごとの画素数分布の例を示す図である。図６を参照すると、内視鏡画像の輝度が横軸に示されており、輝度ごとの画素数が縦軸に示されている。また、高輝度側から第１のピーク（以下、「ピークＢ１Ａ」とも言う。）および第２のピーク（以下、「ピークＢ２Ａ」とも言う。）が順に並んでいる。ピークＢ１ＡおよびピークＢ２Ａそれぞれにおける画素数は、「Ｎ１Ａ」および「Ｎ２Ａ」として示されている。
　まず、ピーク検出部１１１Ａは、内視鏡画像の輝度ごとの画素数分布から、高輝度側から順にピークＢ１ＡおよびピークＢ２Ａを検出する。そして、ピークＢ１Ａが白領域Ｒｗ１Ａに属し、かつ、ピークＢ２Ａが観察領域Ｒｓ１Ａに属する場合には、ピークＢ１ＡおよびピークＢ２Ａの輝度差（第１の輝度差）Ｄｆ１Ａに応じて白領域Ｒｗ１Ａの暗さが変化することが想定される。そこで、露光制御部１１２は、ピークＢ１ＡおよびピークＢ２Ａの輝度差Ｄｆ１Ａに基づいて、露光制御を行うのがよい。そうすれば、観察領域Ｒｓ１Ａが過剰に暗くなってしまう可能性を低減することによって、内視鏡画像Ｉｍ１Ａの輝度をより適切に調整することが可能となる。
　例えば、露光制御部１１２Ａは、輝度差Ｄｆ１Ａに基づいて、パラメータの補正値（以下、「第１の補正値」とも言う。）を取得し、第１の補正値に基づいてパラメータを補正し、補正後のパラメータに基づいて露光制御を行うとよい。露光制御部１１２Ａは、パラメータに第１の補正値を加算することによりパラメータを補正すればよい。図６には、補正後のパラメータに基づいて露光制御が行われた結果として、ピークＢ２ＡがピークＢ０Ａの位置に移動した例が示されている（ピークＢ２Ａの位置が「Ｃｍ１Ａ」だけ移動した例が示されている）。
　第１の補正値を取得する手法は特に限定されない。例えば、露光制御部１１２Ａは、輝度差Ｄｆ１Ａに対応する第１の補正値をテーブルから取得してもよいし、輝度差Ｄｆ１Ａに基づいて計算により第１の補正値を取得してもよい。輝度差Ｄｆ１Ａに基づいて計算により第１の補正値を取得する手法も特に限定されない。例えば、露光制御部１１２Ａは、輝度差Ｄｆ１Ａに対して第１の補正値が線形的に変化するとして、輝度差Ｄｆ１Ａから第１の補正値を算出してもよい。
　また、露光制御部１１２Ａは、輝度差Ｄｆ１Ａが閾値（以下、「第１の閾値」とも言う。）を上回る場合に、パラメータを補正する一方、輝度差Ｄｆ１Ａが第１の閾値を下回る場合には、パラメータを補正しなくてもよい。輝度差Ｄｆ１Ａが第１の閾値を下回る場合には、内視鏡画像Ｉｍ１Ａの輝度が過剰に低くなるように露光制御が行われてしまっている可能性が低いからである。なお、輝度差Ｄｆ１Ａが第１の閾値と等しい場合には、パラメータを補正してもよいし、パラメータを補正しなくてもよい。
　なお、露光制御部１１２Ａは、ピークＢ１Ａの画素数が所定の画素数を超える場合に、パラメータを補正する一方、ピークＢ１Ａの画素数が所定の画素数を超えない場合には、パラメータを補正しなくてもよい。ピークＢ１Ａの画素数が所定の画素数を超えない場合には、内視鏡画像Ｉｍ１Ａの輝度が過剰に低くなるように露光制御が行われてしまっている可能性が低いからである。なお、ピークＢ１Ａの画素数が所定の画素数と等しい場合には、パラメータを補正してもよいし、パラメータを補正しなくてもよい。
　続いて、以上に説明したピーク検出部１１１Ａおよび露光制御部１１２Ａの動作の例について説明する。図７は、低輝度側から二つのピーク（ピークＢ１ＡおよびピークＢ２Ａ）を検出する場合における動作の例を示すフローチャートである。なお、図７に示した動作の例は、ピーク検出部１１１Ａおよび露光制御部１１２Ａの動作の一例に過ぎない。したがって、ピーク検出部１１１Ａおよび露光制御部１１２Ａの動作は、図７に示した動作の例に限定されない。
　図７に示すように、まず、ピーク検出部１１１Ａは、内視鏡画像における輝度ごとの画素数分布を生成する（Ｓ１１Ａ）。そして、ピーク検出部１１１は、輝度ごとの画素数分布から高輝度側から順に第１のピーク（ピークＢ１Ａ）および第２のピーク（ピークＢ２Ａ）を検出する（Ｓ１２Ａ）。続いて、露光制御部１１２Ａは、第１のピーク（ピークＢ１Ａ）および第２のピーク（ピークＢ２Ａ）の第１の輝度差（輝度差Ｄｆ１Ａ）が第１の閾値を下回る場合には（Ｓ１３Ａにおいて「Ｎｏ」）、動作を終了する。
　一方、露光制御部１１２Ａは、第１のピーク（ピークＢ１Ａ）および第２のピーク（ピークＢ２Ａ）の第１の輝度差（輝度差Ｄｆ１Ａ）が第１の閾値を上回る場合には（Ｓ１３Ａにおいて「Ｙｅｓ」）、露光を制御するためのパラメータの第１の補正値を取得し（Ｓ１４Ａ）、第１の補正値をパラメータに加算して（Ｓ１５Ａ）、動作を終了する。第１の補正値が加算された後のパラメータに基づいて露光制御がなされれば、観察領域Ｒｓ１Ａが過剰に暗くなってしまう可能性が低減され、内視鏡画像Ｉｍ１Ａの輝度をより適切に調整することが可能になる。
　以上においては、内視鏡画像Ｉｍ１Ａに白領域Ｒｗ１Ａが生じる場合について説明した。
　ここで、イメージセンサ２３２Ａへの光を透過するレンズのフードなどによる遮光によって、内視鏡画像Ｉｍ１Ａが部分的に暗くなってしまう現象が起こり得る。以下では、内視鏡画像Ｉｍ１Ａのうちこのような遮光によって暗くなってしまう領域を、単に「黒領域」とも言う。また、内視鏡画像Ｉｍ１Ａにこのような黒領域が生じる現象を「ケラレ」とも言う。
　ここで、内視鏡画像Ｉｍ１Ａに黒領域Ｒｂ１Ａが生じてしまったことが原因となり、自動露光制御部１１０Ａによって内視鏡画像Ｉｍ１Ａの輝度が過剰に高くなるように露光制御が行われてしまう場合がある。そのため、観察領域Ｒｓ１Ａが過剰に明るくなってしまう可能性がある。そこで、以下においては、観察領域Ｒｓ１Ａが過剰に明るくなってしまう可能性を低減することによって、内視鏡画像Ｉｍ１Ａの輝度をより適切に調整することが可能な技術について説明する。
　図８は、内視鏡画像の輝度ごとの画素数分布の他の例を示す図である。図８を参照すると、内視鏡画像の輝度が横軸に示されており、輝度ごとの画素数が縦軸に示されている。また、高輝度側から第１のピーク（ピークＢ１Ａ）および第２のピーク（ピークＢ２Ａ）に続いて、第３のピーク（以下、「ピークＢ３Ａ」とも言う。）が順に並んでいる。ピークＢ１Ａ、ピークＢ２ＡおよびピークＢ３Ａそれぞれにおける画素数は、「Ｎ１Ａ」、「Ｎ２Ａ」および「Ｎ３Ａ」として示されている。
　まず、ピーク検出部１１１Ａは、内視鏡画像の輝度ごとの画素数分布から、ピークＢ２Ａよりも低輝度側にピークＢ３Ａを検出する。そして、ピークＢ３Ａが黒領域Ｒｂ１Ａに属し、かつ、ピークＢ２Ａが観察領域Ｒｓ１Ａに属する場合には、ピークＢ３ＡおよびピークＢ２Ａの輝度差（第２の輝度差）Ｄｆ２Ａに応じて黒領域Ｒｂ１Ａの明るさが変化することが想定される。そこで、露光制御部１１２Ａは、輝度差Ｄｆ１ＡとピークＢ３ＡおよびピークＢ２Ａの輝度差（第２の輝度差）Ｄｆ２Ａとに基づいて、露光制御を行うのがよい。そうすれば、観察領域Ｒｓ１Ａが過剰に明るくなってしまう可能性を低減することによって、内視鏡画像Ｉｍ１Ａの輝度をより適切に調整することが可能となる。
　例えば、露光制御部１１２Ａは、輝度差Ｄｆ２Ａに基づいて、パラメータの補正値（以下、「第２の補正値」とも言う。）を取得し、第１の補正値および第２の補正値に基づいてパラメータを補正し、補正後のパラメータに基づいて露光制御を行うとよい。露光制御部１１２Ａは、パラメータに第１の補正値および第２の補正値を加算することによりパラメータを補正すればよい。図８には、補正後のパラメータに基づいて露光制御が行われた結果として、ピークＢ２ＡがピークＢ０Ａの位置に移動した例が示されている（ピークＢ２Ａの位置が「Ｃｍ１Ａ」と「Ｃｍ２Ａ」との合計「Ｃｍ０Ａ」だけ移動した例が示されている）。
　第２の補正値を取得する手法は特に限定されない。例えば、露光制御部１１２Ａは、輝度差Ｄｆ２Ａに対応する第２の補正値をテーブルから取得してもよいし、輝度差Ｄｆ２Ａに基づいて計算により第２の補正値を取得してもよい。輝度差Ｄｆ２Ａに基づいて計算により第２の補正値を取得する手法も特に限定されない。例えば、露光制御部１１２Ａは、輝度差Ｄｆ２Ａに対して第２の補正値が線形的に変化するとして、輝度差Ｄｆ２Ａから第２の補正値を算出してもよい。
　また、露光制御部１１２Ａは、輝度差Ｄｆ２Ａが閾値（以下、「第２の閾値」とも言う。）を上回る場合に、パラメータを補正する一方、輝度差Ｄｆ２Ａが第２の閾値を下回る場合には、パラメータを補正しなくてもよい。輝度差Ｄｆ２Ａが第２の閾値を下回る場合には、内視鏡画像Ｉｍ１Ａの輝度が過剰に高くなるように露光制御が行われてしまっている可能性が低いからである。なお、輝度差Ｄｆ２Ａが第２の閾値と等しい場合には、パラメータを補正してもよいし、パラメータを補正しなくてもよい。
　また、露光制御部１１２Ａは、ピークＢ３Ａの画素数が所定の画素数を超える場合に、パラメータを補正する一方、ピークＢ３Ａの画素数が所定の画素数を超えない場合には、パラメータを補正しなくてもよい。ピークＢ３Ａの画素数が所定の画素数を超えない場合には、内視鏡画像Ｉｍ１Ａの輝度が過剰に高くなるように露光制御が行われてしまっている可能性が低いからである。なお、ピークＢ３Ａの画素数が所定の画素数と等しい場合には、パラメータを補正してもよいし、パラメータを補正しなくてもよい。
　続いて、以上に説明したピーク検出部１１１Ａおよび露光制御部１１２Ａの動作の例について説明する。図９は、低輝度側から三つのピーク（ピークＢ１Ａ、ピークＢ２ＡおよびピークＢ３Ａ）を検出する場合における動作の例を示すフローチャートである。なお、図９に示した動作の例は、ピーク検出部１１１Ａおよび露光制御部１１２Ａの動作の一例に過ぎない。したがって、ピーク検出部１１１Ａおよび露光制御部１１２Ａの動作は、図９に示した動作の例に限定されない。
　図９に示したＳ１１Ａ～Ｓ１５Ａは、図７に示したＳ１１Ａ～Ｓ１５Ａと同様に実行される。Ｓ１５Ａに引き続いて、ピーク検出部１１１Ａは、輝度ごとの画素数分布から第２のピーク（ピークＢ２Ａよりも低輝度側に第３のピーク（ピークＢ３Ａ）を検出する（Ｓ２１Ａ）。続いて、露光制御部１１２Ａは、第３のピーク（ピークＢ３Ａ）および第２のピーク（ピークＢ２Ａ）の第２の輝度差（輝度差Ｄｆ２Ａ）が第２の閾値を下回る場合には（Ｓ２２Ａにおいて「Ｎｏ」）、動作を終了する。
　一方、露光制御部１１２Ａは、第３のピーク（ピークＢ３Ａ）および第２のピーク（ピークＢ２Ａ）の第２の輝度差（輝度差Ｄｆ２Ａ）が第２の閾値を上回る場合には（Ｓ２２Ａにおいて「Ｙｅｓ」）、露光を制御するためのパラメータの第２の補正値を取得し（Ｓ２３Ａ）、第２の補正値をパラメータに加算して（Ｓ２４Ａ）、動作を終了する。第２の補正値が加算された後のパラメータに基づいて露光制御がなされれば、観察領域Ｒｓ１Ａが過剰に明るくなってしまう可能性が低減され、内視鏡画像Ｉｍ１Ａの輝度をより適切に調整することが可能になる。
　以上においては、内視鏡画像Ｉｍ１Ａに黒領域Ｒｂ１Ａが生じる場合について説明した。また、自動露光制御部１１０Ａの詳細な機能について説明した。
　＜２．むすび＞
　以上説明したように、本開示の実施形態によれば、イメージセンサ２３２Ａによる撮像に基づく内視鏡画像Ｉｍ１Ａの輝度ごとの画素数分布から、高輝度側から順に第１のピーク（ピークＢ１Ａ）および第２のピーク（ピークＢ２Ａ）を検出するピーク検出部１１１Ａと、第１のピークおよび第２のピークの輝度差Ｄｆ１Ａに基づいて、露光制御を行う露光制御部１１２Ａと、を備える、画像処理装置１００Ａが提供される。かかる構成によれば、観察領域Ｒｓ１Ａが過剰に暗くなってしまう可能性を低減することによって、内視鏡画像Ｉｍ１Ａの輝度をより適切に調整することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、高輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、
　前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、
　を備える、画像処理装置。
（２）
　前記露光制御部は、前記第１の輝度差に基づいて、露光を制御するためのパラメータの第１の補正値を取得し、前記第１の補正値に基づいて前記パラメータを補正することにより、前記露光制御を行う、
　前記（１）に記載の画像処理装置。
（３）
　前記露光制御部は、前記パラメータに前記第１の補正値を加算することにより前記パラメータを補正する、
　前記（２）に記載の画像処理装置。
（４）
　前記露光制御部は、前記第１の輝度差に対応する前記第１の補正値をテーブルから取得する、
　前記（２）または（３）に記載の画像処理装置。
（５）
　前記露光制御部は、前記第１の輝度差に基づいて計算により前記第１の補正値を取得する、
　前記（２）または（３）に記載の画像処理装置。
（６）
　前記露光制御部は、前記第１の輝度差に対して前記第１の補正値が線形的に変化するとして、前記第１の輝度差から前記第１の補正値を算出する、
　前記（５）に記載の画像処理装置。
（７）
　前記露光制御部は、前記第１の輝度差が閾値を上回る場合に、前記露光制御を行う、
　前記（１）～（６）のいずれか一項に記載の画像処理装置。
（８）
　前記露光制御部は、前記第１のピークの画素数が所定の画素数を超える場合に、前記露光制御を行う、
　前記（１）～（７）のいずれか一項に記載の画像処理装置。
（９）
　前記ピーク検出部は、前記第２のピークよりも低輝度側に第３のピークを検出し、
　前記露光制御部は、前記第１の輝度差と前記第２のピークおよび前記第３のピークの第２の輝度差とに基づいて、前記露光制御を行う、
　前記（２）～（６）のいずれか一項に記載の画像処理装置。
（１０）
　前記露光制御部は、前記第２の輝度差に基づいて、前記パラメータの第２の補正値を取得し、前記第１の補正値および前記第２の補正値に基づいて前記パラメータを補正することにより、前記露光制御を行う、
　前記（９）に記載の画像処理装置。
（１１）
　前記露光制御部は、前記パラメータに前記第１の補正値および前記第２の補正値を加算することにより前記パラメータを補正する、
　前記（１０）に記載の画像処理装置。
（１２）
　前記パラメータは、前記イメージセンサの電子シャッタ速度、前記イメージセンサによって撮像されたアナログ信号に対して乗じられるゲインのうちの少なくともいずれか一つを含む、
　前記（２）～（６）のいずれか一項に記載の画像処理装置。
（１３）
　前記パラメータは、光源の明るさを含む、
　前記（２）～（６）のいずれか一項に記載の画像処理装置。
（１４）
　イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、高輝度側から順に第１のピークおよび第２のピークを検出することと、
　プロセッサにより、前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行うことと、
　を含む、画像処理方法。
（１５）
　コンピュータを、
　イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、高輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、
　前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、
　を備える画像処理装置として機能させるためのプログラム。
（１６）
　光を発する光源部と、
　前記光源部により発せられた前記光の反射光を受光して内視鏡画像を撮像するイメージセンサと、を有し、
　前記内視鏡画像の輝度ごとの画素数分布から、高輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、
　前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、
　を備える、画像処理装置を有する、画像処理システム。
　続いて、他の実施形態について説明する。説明は以下の順序で行うものとする。
　３．背景
　４．本開示の実施形態
　　４．１．システム構成例
　　４．２．機能構成例
　　４．３．自動露光制御部の機能詳細
　５．むすび
　＜３．背景＞
　近年、イメージセンサによる撮像に基づく内視鏡画像を処理する画像処理装置が普及している（例えば、特開２０１３－４２９９８号公報参照）。一方、イメージセンサへの光を透過するレンズのフードなどによる遮光によって、内視鏡画像が部分的に暗くなってしまう現象が起こり得る。以下では、内視鏡画像のうちこのような遮光によって暗くなってしまう領域を、単に「黒領域」とも言う。また、内視鏡画像にこのような黒領域が生じる現象を「ケラレ」とも言う。
　ここで、内視鏡画像に黒領域が生じてしまったことが原因となり、内視鏡画像の輝度が過剰に高くなるように露光制御が行われてしまう場合がある。そのため、黒領域以外の領域（以下、「観察領域」とも言う。）が過剰に明るくなってしまう可能性がある。そこで、内視鏡画像の輝度をより適切に調整することが可能な技術が提供されることが望まれる。
　本開示によれば、イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、低輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、を備える、画像処理装置が提供される。
　本開示によれば、イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、低輝度側から順に第１のピークおよび第２のピークを検出することと、
　プロセッサにより、前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行うことと、を含む、画像処理方法が提供される。
　本開示によれば、コンピュータを、イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、低輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、を備える画像処理装置として機能させるためのプログラムが提供される。
　本開示によれば、光を発する光源部と、前記光源部により発せられた前記光の反射光を受光して内視鏡画像を撮像するイメージセンサと、を有し、前記内視鏡画像の輝度ごとの画素数分布から、低輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、を備える、画像処理装置を有する、画像処理システムが提供される。
　以上説明したように本開示によれば、内視鏡画像の輝度をより適切に調整することが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
　＜４．本開示の実施形態＞
　［４．１．システム構成例］
　まず、図面を参照しながら本開示の実施形態に係る画像処理システムの構成例について説明する。図１０は、本開示の実施形態に係る画像処理システムの構成例を示す図である。図１０に示すように、画像処理システム１Ｂは、画像処理装置１００Ｂと、挿入部２００Ｂと、光源部３００Ｂと、表示部４００Ｂと、操作部５００Ｂとを有する。
　光源部３００Ｂは、白色光源３１０Ｂと、集光レンズ３２０Ｂとを備える。白色光源３１０Ｂは、白色光を発する。なお、本明細書においては、白色光を用いる例を主に説明するが、光の色は特に限定されない。したがって、白色光源３１０Ｂの代わりに白色以外の可視光を発する光源が用いられてもよい。集光レンズ３２０Ｂは、白色光源３１０Ｂによって発せられた光を後述するライトガイド２１０Ｂに集光する。
　挿入部２００Ｂは、体内に挿入されるスコープに相当し得る。具体的には、挿入部２００Ｂは、硬性鏡であってもよいし、軟性鏡であってもよい。挿入部２００Ｂは、ライトガイド２１０Ｂと、照明レンズ２２０Ｂと、撮像部２３０Ｂと、メモリ２４０Ｂとを備える。撮像部２３０Ｂは、対物レンズ２３１Ｂと、イメージセンサ（撮像素子）２３２Ｂと、Ａ／Ｄ（アナログ／デジタル）変換部２３３Ｂとを備える。
　ライトガイド２１０Ｂは、光源部３００Ｂによって集光された光を挿入部２００Ｂの先端まで導く。照明レンズ２２０Ｂは、ライトガイド２１０Ｂにより先端まで導かれた光を拡散させて観察対象（被写体ＳｕＢ）に照射する。対物レンズ２３１Ｂは、観察対象（被写体ＳｕＢ）から戻る反射光をイメージセンサ２３２Ｂに結像する。イメージセンサ２３２Ｂは、反射光を受光して撮像したアナログ信号（内視鏡画像）を、Ａ／Ｄ変換部２３３Ｂに出力する。
　なお、イメージセンサ２３２Ｂは、例えば、原色ベイヤ配列を有している。かかる場合には、イメージセンサ２３２Ｂにより得られる内視鏡画像は、原色ベイヤ画像である。原色ベイヤ画像は、各画素がＲＧＢいずれかの信号を有した画像であり、そのＲＧＢの画素が市松状に配列された画像である。しかし、イメージセンサ２３２Ｂは、原色ベイヤ配列に限定されない。すなわち、内視鏡画像は、原色ベイヤ画像に限定されない。例えば、内視鏡画像は、補色や面順次といった原色ベイヤ以外の内視鏡撮像方式より取得される画像であってもよい。
　Ａ／Ｄ変換部２３３Ｂは、後述する制御部１３０Ｂから出力される制御信号に基づいて、イメージセンサ２３２Ｂから出力されるアナログ信号（内視鏡画像）をデジタル信号に変換し、このデジタル信号（内視鏡画像）を画像処理装置１００Ｂに出力する。メモリ２４０Ｂは、図示しない演算装置によって実行されることによって画像処理装置１００Ｂの機能を実現するためのプログラムを記憶している。
　なお、以下の説明においては、挿入部２００Ｂを適宜スコープと表記する場合がある。内視鏡診断においては、診断部位に応じた種類のスコープが用いられ得る。各スコープには、対象とする診断部位や、ズーム機能などの機能を特定するための識別番号が付与されており、本明細書においては、その識別番号をスコープＩＤと表記する場合がある。メモリ２４０Ｂは、スコープＩＤを記憶している。
　画像処理装置１００Ｂは、自動露光制御部１１０Ｂと、画像処理部１２０Ｂと、制御部１３０Ｂとを備える。撮像部２３０Ｂにより取得される内視鏡画像は、自動露光制御部１１０Ｂと、画像処理部１２０Ｂとに出力される。自動露光制御部１１０Ｂは、白色光源３１０Ｂおよびイメージセンサ２３２Ｂに接続されており、白色光源３１０Ｂおよびイメージセンサ２３２Ｂを制御する。画像処理部１２０Ｂは、表示部４００Ｂに接続されている。制御部１３０Ｂは、撮像部２３０Ｂと、画像処理部１２０Ｂと、表示部４００Ｂと、操作部５００Ｂとに双方向に接続されており、これらの構成要素を制御する。
　自動露光制御部１１０Ｂは、撮像部２３０Ｂにより取得される内視鏡画像の輝度が観察に適した値（以下、「適正値」とも言う。）となるように、自動的にイメージセンサ２３２Ｂの露光制御を行う。自動露光制御部１１０Ｂの詳細については後述する。画像処理部１２０Ｂは、撮像部２３０Ｂにより撮像された内視鏡画像に対して画像処理を行う。画像処理部１２０Ｂは、例えば、階調変換処理やノイズ低減処理を行う。画像処理部１２０Ｂは、画像処理後の画像を表示部４００Ｂに対して出力する。
　制御部１３０Ｂは、撮像部２３０Ｂと、画像処理部１２０Ｂと、表示部４００Ｂと、操作部５００Ｂとに接続されており、これらを制御する制御信号を出力する。表示部４００Ｂは、画像処理部１２０Ｂにより出力される内視鏡画像を、内視鏡モニタなどの画像表示装置に出力する。操作部５００Ｂは、ユーザからの操作を受け付けるためのインターフェースである。例えば、操作部５００Ｂは、電源のオン／オフを行うための電源スイッチや、撮像を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含む。
　以上、本開示の実施形態に係る画像処理システム１Ｂの構成例について説明した。
　［４．２．露光制御の例］
　続いて、自動露光制御部１１０Ｂによる露光制御の具体例について説明する。図１１および図１２は、露光制御の具体例について説明するための図である。上記したように、イメージセンサ２３２Ｂによって撮像されたアナログ信号は、Ａ／Ｄ変換部２３３Ｂによってデジタル信号（内視鏡画像）に変換される。図１１および図１２には、イメージセンサ２３２Ｂからの出力値が縦軸に示されている。また、各出力値に対応するイメージセンサ２３２Ｂの像面照度が横軸に示されている。なお、イメージセンサ２３２Ｂからの出力値は、各画素に対応する出力値の平均値であってよい。
　また、図１１を参照すると、イメージセンサ２３２Ｂからの出力値の適正値が「Ｕ０Ｂ」として示されており、適正値Ｕ０Ｂに対応するイメージセンサ２３２Ｂの像面照度が「Ｌ０Ｂ」として示されている。図１１に示すように、例えば、イメージセンサ２３２Ｂからの出力値Ｕ１Ｂが適正値Ｕ０Ｂよりも大きい場合を想定する。かかる場合には、自動露光制御部１１０Ｂは、Ｕ１Ｂ－Ｕ０Ｂ＝ｄＵ１Ｂだけイメージセンサ２３２Ｂからの出力値が小さくなるように露光制御を行う。
　一方、図１２を参照すると、図１１と同様に、イメージセンサ２３２Ｂからの出力値の適正値が「Ｕ０Ｂ」として示されており、適正値Ｕ０Ｂに対応するイメージセンサ２３２Ｂの像面照度が「Ｌ０Ｂ」として示されている。図１２に示すように、例えば、イメージセンサ２３２Ｂからの出力値Ｕ２Ｂが適正値Ｕ０Ｂよりも小さい場合を想定する。かかる場合には、自動露光制御部１１０Ｂは、Ｕ０Ｂ－Ｕ２Ｂ＝ｄＵ２Ｂだけイメージセンサ２３２Ｂからの出力値が大きくなるように露光制御を行う。
　例えば、露光制御は、露光を制御するためのパラメータを調整することによってなされ得る。露光を制御するためのパラメータとしては、様々なパラメータが想定される。例えば、露光を制御するためのパラメータは、イメージセンサ２３２Ｂの電子シャッタ速度およびイメージセンサ２３２Ｂによって撮像されたアナログ信号に対して乗じられるゲインのうちの少なくともいずれか一つを含んでよい。あるいは、露光を制御するためのパラメータは、白色光源３１０Ｂの明るさを含んでもよい。
　例えば、図１１に示したｄＵ１Ｂだけイメージセンサ２３２Ｂからの出力値を小さくするような露光制御は、電子シャッタ速度をｄＵ１Ｂに対応する量だけ大きくすることによって実行されてもよいし、イメージセンサ２３２Ｂによって撮像されたアナログ信号に対して乗じられるゲインをｄＵ１Ｂに対応する量だけ小さくすることによって実行されてもよい。あるいは、イメージセンサ２３２Ｂからの出力値を小さくするような露光制御は、白色光源３１０Ｂの明るさをｄＵ１Ｂに対応する量だけ弱くすることによって実行されてもよい。
　一方、図１２に示したｄＵ２Ｂだけイメージセンサ２３２Ｂからの出力値を大きくするような露光制御は、電子シャッタ速度をｄＵ２Ｂに対応する量だけ小さくすることによって実行されてもよいし、イメージセンサ２３２Ｂによって撮像されたアナログ信号に対して乗じられるゲインをｄＵ２Ｂに対応する量だけ大きくすることによって実行されてもよい。あるいは、イメージセンサ２３２Ｂからの出力値を大きくするような露光制御は、白色光源３１０Ｂの明るさをｄＵ２Ｂに対応する量だけ強くすることによって実行されてもよい。
　以上、自動露光制御部１１０Ｂによる露光制御の具体例について説明した。
　［４．３．自動露光制御部の機能詳細］
　続いて、自動露光制御部１１０の詳細な機能について説明する。図１３は、自動露光制御部１１０Ｂの詳細な機能構成例を示すブロック図である。図１３に示すように、自動露光制御部１１０Ｂは、ピーク検出部１１１Ｂと、露光制御部１１２Ｂとを備える。以下においては、これらのピーク検出部１１１Ｂおよび露光制御部１１２Ｂそれぞれの詳細な機能について説明する。まず、ピーク検出部１１１Ｂは、撮像部２３０Ｂから内視鏡画像を取得する。
　図１４は、内視鏡画像の例を示す図である。図１４に示すように、内視鏡画像Ｉｍ１Ｂにおいては、格子状に各画素が配列されている。ここで、上述したように、イメージセンサ２３２Ｂへの光を透過するレンズのフードなどによる遮光によって、内視鏡画像Ｉｍ１Ｂが部分的に暗くなってしまう現象が起こり得る。そのため、内視鏡画像Ｉｍ１Ｂには、観察領域Ｒｓ１Ｂの他に黒領域Ｒｂ１Ｂが存在する。ラインＨｍＢは、黒領域Ｒｂ１Ｂと観察領域Ｒｓ１Ｂとの境界線を示している。各画素の色の濃さは、各画素の輝度の高さを表している。
　ここで、内視鏡画像Ｉｍ１Ｂに黒領域Ｒｂ１Ｂが生じてしまったことが原因となり、自動露光制御部１１０Ｂによって内視鏡画像Ｉｍ１Ｂの輝度が過剰に高くなるように露光制御が行われてしまう場合がある。そのため、観察領域Ｒｓ１Ｂが過剰に明るくなってしまう可能性がある。そこで、以下においては、観察領域Ｒｓ１Ｂが過剰に明るくなってしまう可能性を低減することによって、内視鏡画像Ｉｍ１Ｂの輝度をより適切に調整することが可能な技術について説明する。
　具体的に、本開示の実施形態においては、内視鏡画像の輝度ごとの画素数分布を利用する。図１５は、内視鏡画像の輝度ごとの画素数分布の例を示す図である。図１５を参照すると、内視鏡画像の輝度が横軸に示されており、輝度ごとの画素数が縦軸に示されている。また、低輝度側から第１のピーク（以下、「ピークＢ１Ｂ」とも言う。）および第２のピーク（以下、「ピークＢ２Ｂ」とも言う。）が順に並んでいる。ピークＢ１ＢおよびピークＢ２Ｂそれぞれにおける画素数は、「Ｎ１Ｂ」および「Ｎ２Ｂ」として示されている。
　まず、ピーク検出部１１１Ｂは、内視鏡画像の輝度ごとの画素数分布から、低輝度側から順にピークＢ１ＢおよびピークＢ２Ｂを検出する。そして、ピークＢ１Ｂが黒領域Ｒｂ１Ｂに属し、かつ、ピークＢ２Ｂが観察領域Ｒｓ１Ｂに属する場合には、ピークＢ１ＢおよびピークＢ２Ｂの輝度差（第１の輝度差）Ｄｆ１Ｂに応じて黒領域Ｒｂ１Ｂの暗さが変化することが想定される。そこで、露光制御部１１２Ｂは、ピークＢ１ＢおよびピークＢ２Ｂの輝度差Ｄｆ１Ｂに基づいて、露光制御を行うのがよい。そうすれば、観察領域Ｒｓ１Ｂが過剰に明るくなってしまう可能性を低減することによって、内視鏡画像Ｉｍ１Ｂの輝度をより適切に調整することが可能となる。
　例えば、露光制御部１１２Ｂは、輝度差Ｄｆ１Ｂに基づいて、パラメータの補正値（以下、「第１の補正値」とも言う。）を取得し、第１の補正値に基づいてパラメータを補正し、補正後のパラメータに基づいて露光制御を行うとよい。露光制御部１１２Ｂは、パラメータに第１の補正値を加算することによりパラメータを補正すればよい。図１５には、補正後のパラメータに基づいて露光制御が行われた結果として、ピークＢ２ＢがピークＢ０Ｂの位置に移動した例が示されている（ピークＢ２Ｂの位置が「Ｃｍ１Ｂ」だけ移動した例が示されている）。
　第１の補正値を取得する手法は特に限定されない。例えば、露光制御部１１２Ｂは、輝度差Ｄｆ１Ｂに対応する第１の補正値をテーブルから取得してもよいし、輝度差Ｄｆ１Ｂに基づいて計算により第１の補正値を取得してもよい。輝度差Ｄｆ１Ｂに基づいて計算により第１の補正値を取得する手法も特に限定されない。例えば、露光制御部１１２Ｂは、輝度差Ｄｆ１Ｂに対して第１の補正値が線形的に変化するとして、輝度差Ｄｆ１Ｂから第１の補正値を算出してもよい。
　また、露光制御部１１２Ｂは、輝度差Ｄｆ１Ｂが閾値（以下、「第１の閾値」とも言う。）を上回る場合に、パラメータを補正する一方、輝度差Ｄｆ１Ｂが第１の閾値を下回る場合には、パラメータを補正しなくてもよい。輝度差Ｄｆ１Ｂが第１の閾値を下回る場合には、内視鏡画像Ｉｍ１Ｂの輝度が過剰に高くなるように露光制御が行われてしまっている可能性が低いからである。なお、輝度差Ｄｆ１Ｂが第１の閾値と等しい場合には、パラメータを補正してもよいし、パラメータを補正しなくてもよい。
　なお、露光制御部１１２Ｂは、ピークＢ１Ｂの画素数が所定の画素数を超える場合に、パラメータを補正する一方、ピークＢ１Ｂの画素数が所定の画素数を超えない場合には、パラメータを補正しなくてもよい。ピークＢ１Ｂの画素数が所定の画素数を超えない場合には、内視鏡画像Ｉｍ１Ｂの輝度が過剰に高くなるように露光制御が行われてしまっている可能性が低いからである。なお、ピークＢ１Ｂの画素数が所定の画素数と等しい場合には、パラメータを補正してもよいし、パラメータを補正しなくてもよい。
　続いて、以上に説明したピーク検出部１１１Ｂおよび露光制御部１１２Ｂの動作の例について説明する。図１６は、低輝度側から二つのピーク（ピークＢ１ＢおよびピークＢ２Ｂ）を検出する場合における動作の例を示すフローチャートである。なお、図１６に示した動作の例は、ピーク検出部１１１Ｂおよび露光制御部１１２Ｂの動作の一例に過ぎない。したがって、ピーク検出部１１１Ｂおよび露光制御部１１２Ｂの動作は、図１６に示した動作の例に限定されない。
　図１６に示すように、まず、ピーク検出部１１１Ｂは、内視鏡画像における輝度ごとの画素数分布を生成する（Ｓ１１Ｂ）。そして、ピーク検出部１１１Ｂは、輝度ごとの画素数分布から低輝度側から順に第１のピーク（ピークＢ１Ｂ）および第２のピーク（ピークＢ２Ｂ）を検出する（Ｓ１２Ｂ）。続いて、露光制御部１１２Ｂは、第１のピーク（ピークＢ１Ｂ）および第２のピーク（ピークＢ２Ｂ）の第１の輝度差（輝度差Ｄｆ１Ｂ）が第１の閾値を下回る場合には（Ｓ１３Ｂにおいて「Ｎｏ」）、動作を終了する。
　一方、露光制御部１１２Ｂは、第１のピーク（ピークＢ１Ｂ）および第２のピーク（ピークＢ２Ｂ）の第１の輝度差（輝度差Ｄｆ１Ｂ）が第１の閾値を上回る場合には（Ｓ１３Ｂにおいて「Ｙｅｓ」）、露光を制御するためのパラメータの第１の補正値を取得し（Ｓ１４Ｂ）、第１の補正値をパラメータに加算して（Ｓ１５Ｂ）、動作を終了する。第１の補正値が加算された後のパラメータに基づいて露光制御がなされれば、観察領域Ｒｓ１Ｂが過剰に明るくなってしまう可能性が低減され、内視鏡画像Ｉｍ１Ｂの輝度をより適切に調整することが可能になる。
　以上においては、内視鏡画像Ｉｍ１Ｂに黒領域Ｒｂ１Ｂが生じる場合について説明した。
　ここで、体内よりも高輝度の物体（例えば、鉗子やガーゼなど）が被写体として写ってしまった場合には、内視鏡画像Ｉｍ１Ｂが部分的に明るくなってしまう現象も起こり得る。特に、内視鏡画像Ｉｍ１Ｂは、光源部３００Ｂとイメージセンサ２３２Ｂとが近いといった状況、光源部３００Ｂと被写体とが近いといった状況において撮像されるのが一般的であるため、かかる現象が起こり易い。そのため、内視鏡画像Ｉｍ１Ｂには、部分的に明るくなってしまう領域も存在する。以下では、内視鏡画像のうちこのような高輝度の物体の写り込みによって部分的に明るくなってしまった領域を、単に「白領域」とも言う。
　ここで、内視鏡画像Ｉｍ１Ｂに白領域Ｒｗ１Ｂが生じてしまったことが原因となり、自動露光制御部１１０Ｂによって内視鏡画像Ｉｍ１Ｂの輝度が過剰に低くなるように露光制御が行われてしまう場合がある。そのため、観察領域Ｒｓ１Ｂが過剰に暗くなってしまう可能性がある。そこで、以下においては、観察領域Ｒｓ１Ｂが過剰に暗くなってしまう可能性を低減することによって、内視鏡画像Ｉｍ１Ｂの輝度をより適切に調整することが可能な技術について説明する。
　図１７は、内視鏡画像の輝度ごとの画素数分布の他の例を示す図である。図１７を参照すると、内視鏡画像の輝度が横軸に示されており、輝度ごとの画素数が縦軸に示されている。また、低輝度側から第１のピーク（ピークＢ１Ｂ）および第２のピーク（ピークＢ２Ｂ）に続いて、第３のピーク（以下、「ピークＢ３Ｂ」とも言う。）が順に並んでいる。ピークＢ１Ｂ、ピークＢ２ＢおよびピークＢ３Ｂそれぞれにおける画素数は、「Ｎ１Ｂ」、「Ｎ２Ｂ」および「Ｎ３Ｂ」として示されている。
　まず、ピーク検出部１１１Ｂは、内視鏡画像の輝度ごとの画素数分布から、ピークＢ２Ｂよりも高輝度側にピークＢ３Ｂを検出する。そして、ピークＢ３Ｂが白領域Ｒｗ１Ｂに属し、かつ、ピークＢ２Ｂが観察領域Ｒｓ１Ｂに属する場合には、ピークＢ３ＢおよびピークＢ２Ｂの輝度差（第２の輝度差）Ｄｆ２Ｂに応じて白領域Ｒｗ１Ｂの明るさが変化することが想定される。そこで、露光制御部１１２Ｂは、輝度差Ｄｆ１ＢとピークＢ３ＢおよびピークＢ２Ｂの輝度差（第２の輝度差）Ｄｆ２Ｂとに基づいて、露光制御を行うのがよい。そうすれば、観察領域Ｒｓ１Ｂが過剰に暗くなってしまう可能性を低減することによって、内視鏡画像Ｉｍ１Ｂの輝度をより適切に調整することが可能となる。
　例えば、露光制御部１１２Ｂは、輝度差Ｄｆ２Ｂに基づいて、パラメータの補正値（以下、「第２の補正値」とも言う。）を取得し、第１の補正値および第２の補正値に基づいてパラメータを補正し、補正後のパラメータに基づいて露光制御を行うとよい。露光制御部１１２Ｂは、パラメータに第１の補正値および第２の補正値を加算することによりパラメータを補正すればよい。図１７には、補正後のパラメータに基づいて露光制御が行われた結果として、ピークＢ２ＢがピークＢ０Ｂの位置に移動した例が示されている（ピークＢ２Ｂの位置が「Ｃｍ１Ｂ」と「Ｃｍ２Ｂ」との合計「Ｃｍ０Ｂ」だけ移動した例が示されている）。
　第２の補正値を取得する手法は特に限定されない。例えば、露光制御部１１２Ｂは、輝度差Ｄｆ２Ｂに対応する第２の補正値をテーブルから取得してもよいし、輝度差Ｄｆ２Ｂに基づいて計算により第２の補正値を取得してもよい。輝度差Ｄｆ２Ｂに基づいて計算により第２の補正値を取得する手法も特に限定されない。例えば、露光制御部１１２Ｂは、輝度差Ｄｆ２Ｂに対して第２の補正値が線形的に変化するとして、輝度差Ｄｆ２Ｂから第２の補正値を算出してもよい。
　また、露光制御部１１２Ｂは、輝度差Ｄｆ２Ｂが閾値（以下、「第２の閾値」とも言う。）を上回る場合に、パラメータを補正する一方、輝度差Ｄｆ２Ｂが第２の閾値を下回る場合には、パラメータを補正しなくてもよい。輝度差Ｄｆ２Ｂが第２の閾値を下回る場合には、内視鏡画像Ｉｍ１Ｂの輝度が過剰に低くなるように露光制御が行われてしまっている可能性が低いからである。なお、輝度差Ｄｆ２Ｂが第２の閾値と等しい場合には、パラメータを補正してもよいし、パラメータを補正しなくてもよい。
　また、露光制御部１１２Ｂは、ピークＢ３Ｂの画素数が所定の画素数を超える場合に、パラメータを補正する一方、ピークＢ３Ｂの画素数が所定の画素数を超えない場合には、パラメータを補正しなくてもよい。ピークＢ３Ｂの画素数が所定の画素数を超えない場合には、内視鏡画像Ｉｍ１Ｂの輝度が過剰に低くなるように露光制御が行われてしまっている可能性が低いからである。なお、ピークＢ３Ｂの画素数が所定の画素数と等しい場合には、パラメータを補正してもよいし、パラメータを補正しなくてもよい。
　続いて、以上に説明したピーク検出部１１１Ｂおよび露光制御部１１２Ｂの動作の例について説明する。図１８は、低輝度側から三つのピーク（ピークＢ１Ｂ、ピークＢ２ＢおよびピークＢ３Ｂ）を検出する場合における動作の例を示すフローチャートである。なお、図１８に示した動作の例は、ピーク検出部１１１Ｂおよび露光制御部１１２Ｂの動作の一例に過ぎない。したがって、ピーク検出部１１１Ｂおよび露光制御部１１２Ｂの動作は、図１８に示した動作の例に限定されない。
　図１８に示したＳ１１Ｂ～Ｓ１５Ｂは、図１６に示したＳ１１Ｂ～Ｓ１５Ｂと同様に実行される。Ｓ１５Ｂに引き続いて、ピーク検出部１１１Ｂは、輝度ごとの画素数分布から第２のピーク（ピークＢ２Ｂよりも高輝度側に第３のピーク（ピークＢ３Ｂ）を検出する（Ｓ２１Ｂ）。続いて、露光制御部１１２Ｂは、第３のピーク（ピークＢ３Ｂ）および第２のピーク（ピークＢ２Ｂ）の第２の輝度差（輝度差Ｄｆ２Ｂ）が第２の閾値を下回る場合には（Ｓ２２Ｂにおいて「Ｎｏ」）、動作を終了する。
　一方、露光制御部１１２Ｂは、第３のピーク（ピークＢ３Ｂ）および第２のピーク（ピークＢ２Ｂ）の第２の輝度差（輝度差Ｄｆ２Ｂ）が第２の閾値を上回る場合には（Ｓ２２Ｂにおいて「Ｙｅｓ」）、露光を制御するためのパラメータの第２の補正値を取得し（Ｓ２３Ｂ）、第２の補正値をパラメータに加算して（Ｓ２４Ｂ）、動作を終了する。第２の補正値が加算された後のパラメータに基づいて露光制御がなされれば、観察領域Ｒｓ１Ｂが過剰に暗くなってしまう可能性が低減され、内視鏡画像Ｉｍ１Ｂの輝度をより適切に調整することが可能になる。
　以上においては、内視鏡画像Ｉｍ１Ｂに白領域Ｒｗ１Ｂが生じる場合について説明した。また、自動露光制御部１１０Ｂの詳細な機能について説明した。
　＜５．むすび＞
　以上説明したように、本開示の実施形態によれば、イメージセンサ２３２Ｂによる撮像に基づく内視鏡画像Ｉｍ１Ｂの輝度ごとの画素数分布から、低輝度側から順に第１のピーク（ピークＢ１Ｂ）および第２のピーク（ピークＢ２Ｂ）を検出するピーク検出部１１１Ｂと、第１のピークおよび第２のピークの輝度差Ｄｆ１Ｂに基づいて、露光制御を行う露光制御部１１２Ｂと、を備える、画像処理装置１００Ｂが提供される。かかる構成によれば、観察領域Ｒｓ１Ｂが過剰に明るくなってしまう可能性を低減することによって、内視鏡画像Ｉｍ１Ｂの輝度をより適切に調整することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、低輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、
　前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、
　を備える、画像処理装置。
（２）
　前記露光制御部は、前記第１の輝度差に基づいて、露光を制御するためのパラメータの第１の補正値を取得し、前記第１の補正値に基づいて前記パラメータを補正し、補正後のパラメータに基づいて前記露光制御を行う、
　前記（１）に記載の画像処理装置。
（３）
　前記露光制御部は、前記パラメータに前記第１の補正値を加算することにより前記パラメータを補正する、
　前記（２）に記載の画像処理装置。
（４）
　前記露光制御部は、前記第１の輝度差に対応する前記第１の補正値をテーブルから取得する、
　前記（２）または（３）に記載の画像処理装置。
（５）
　前記露光制御部は、前記第１の輝度差に基づいて計算により前記第１の補正値を取得する、
　前記（２）または（３）に記載の画像処理装置。
（６）
　前記露光制御部は、前記第１の輝度差に対して前記第１の補正値が線形的に変化するとして、前記第１の輝度差から前記第１の補正値を算出する、
　前記（５）に記載の画像処理装置。
（７）
　前記露光制御部は、前記第１の輝度差が閾値を上回る場合に、前記露光制御を行う、
　前記（１）～（６）のいずれか一項に記載の画像処理装置。
（８）
　前記露光制御部は、前記第１のピークの画素数が所定の画素数を超える場合に、前記露光制御を行う、
　前記（１）～（７）のいずれか一項に記載の画像処理装置。
（９）
　前記ピーク検出部は、前記第２のピークよりも高輝度側に第３のピークを検出し、
　前記露光制御部は、前記第１の輝度差と前記第２のピークおよび前記第３のピークの第２の輝度差とに基づいて、前記露光制御を行う、
　前記（２）～（６）のいずれか一項に記載の画像処理装置。
（１０）
　前記露光制御部は、前記第２の輝度差に基づいて、前記パラメータの第２の補正値を取得し、前記第１の補正値および前記第２の補正値に基づいて前記パラメータを補正し、補正後のパラメータに基づいて前記露光制御を行う、
　前記（９）に記載の画像処理装置。
（１１）
　前記露光制御部は、前記パラメータに前記第１の補正値および前記第２の補正値を加算することにより前記パラメータを補正する、
　前記（１０）に記載の画像処理装置。
（１２）
　前記パラメータは、前記イメージセンサの電子シャッタ速度および前記イメージセンサによって撮像されたアナログ信号に対して乗じられるゲインのうちの少なくともいずれか一つを含む、
　前記（２）～（６）のいずれか一項に記載の画像処理装置。
（１３）
　前記パラメータは、光源の明るさを含む、
　前記（２）～（６）のいずれか一項に記載の画像処理装置。
（１４）
　イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、低輝度側から順に第１のピークおよび第２のピークを検出することと、
　プロセッサにより、前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行うことと、
　を含む、画像処理方法。
（１５）
　コンピュータを、
　イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、低輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、
　前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、
　を備える画像処理装置として機能させるためのプログラム。
（１６）
　光を発する光源部と、
　前記光源部により発せられた前記光の反射光を受光して内視鏡画像を撮像するイメージセンサと、を有し、
　前記内視鏡画像の輝度ごとの画素数分布から、低輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、
　前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、
　を備える、画像処理装置を有する、画像処理システム。
　１Ａ　　　画像処理システム
　１００Ａ　画像処理装置
　１１０Ａ　自動露光制御部
　１１１Ａ　ピーク検出部
　１１２Ａ　露光制御部
　１２０Ａ　画像処理部
　１３０Ａ　制御部
　２００Ａ　挿入部
　２１０Ａ　ライトガイド
　２２０Ａ　照明レンズ
　２３０Ａ　撮像部
　２３１Ａ　対物レンズ
　２３２Ａ　イメージセンサ
　２３３Ａ　Ａ／Ｄ変換部
　２４０Ａ　メモリ
　３００Ａ　光源部
　３１０Ａ　白色光源
　３２０Ａ　集光レンズ
　４００Ａ　表示部
　５００Ａ　操作部
　Ｂ０Ａ　　ピーク
　Ｂ１Ａ　　ピーク（第１のピーク）
　Ｂ２Ａ　　ピーク（第２のピーク）
　Ｂ３Ａ　　ピーク（第３のピーク）
　Ｄｆ１Ａ　輝度差
　Ｄｆ２Ａ　輝度差
　Ｉｍ１Ａ　内視鏡画像
　Ｒｂ１Ａ　黒領域
　Ｒｓ１Ａ　観察領域
　Ｒｗ１Ａ　白領域
　ＳｕＡ　　被写体
　１Ｂ　　　画像処理システム
　１００Ｂ　画像処理装置
　１１０Ｂ　自動露光制御部
　１１１Ｂ　ピーク検出部
　１１２Ｂ　露光制御部
　１２０Ｂ　画像処理部
　１３０Ｂ　制御部
　２００Ｂ　挿入部
　２１０Ｂ　ライトガイド
　２２０Ｂ　照明レンズ
　２３０Ｂ　撮像部
　２３１Ｂ　対物レンズ
　２３２Ｂ　イメージセンサ
　２３３Ｂ　Ａ／Ｄ変換部
　２４０Ｂ　メモリ
　３００Ｂ　光源部
　３１０Ｂ　白色光源
　３２０Ｂ　集光レンズ
　４００Ｂ　表示部
　５００Ｂ　操作部
　Ｂ０Ｂ　　ピーク
　Ｂ１Ｂ　　ピーク（第１のピーク）
　Ｂ２Ｂ　　ピーク（第２のピーク）
　Ｂ３Ｂ　　ピーク（第３のピーク）
　Ｄｆ１Ｂ　輝度差
　Ｄｆ２Ｂ　輝度差
　Ｉｍ１Ｂ　内視鏡画像
　Ｒｂ１Ｂ　黒領域
　Ｒｓ１Ｂ　観察領域
　Ｒｗ１Ｂ　白領域
　ＳｕＢ　　被写体

Claims (16)

  1. 　イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、高輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、
    　前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、
    　を備える、画像処理装置。
  2. 　前記露光制御部は、前記第１の輝度差に基づいて、露光を制御するためのパラメータの第１の補正値を取得し、前記第１の補正値に基づいて前記パラメータを補正することにより、前記露光制御を行う、
    　請求項１に記載の画像処理装置。
  3. 　前記露光制御部は、前記パラメータに前記第１の補正値を加算することにより前記パラメータを補正する、
    　請求項２に記載の画像処理装置。
  4. 　前記露光制御部は、前記第１の輝度差に対応する前記第１の補正値をテーブルから取得する、
    　請求項２に記載の画像処理装置。
  5. 　前記露光制御部は、前記第１の輝度差に基づいて計算により前記第１の補正値を取得する、
    　請求項２に記載の画像処理装置。
  6. 　前記露光制御部は、前記第１の輝度差に対して前記第１の補正値が線形的に変化するとして、前記第１の輝度差から前記第１の補正値を算出する、
    　請求項５に記載の画像処理装置。
  7. 　前記露光制御部は、前記第１の輝度差が閾値を上回る場合に、前記露光制御を行う、
    　請求項１に記載の画像処理装置。
  8. 　前記露光制御部は、前記第１のピークの画素数が所定の画素数を超える場合に、前記露光制御を行う、
    　請求項１に記載の画像処理装置。
  9. 　前記ピーク検出部は、前記第２のピークよりも低輝度側に第３のピークを検出し、
    　前記露光制御部は、前記第１の輝度差と前記第２のピークおよび前記第３のピークの第２の輝度差とに基づいて、前記露光制御を行う、
    　請求項２に記載の画像処理装置。
  10. 　前記露光制御部は、前記第２の輝度差に基づいて、前記パラメータの第２の補正値を取得し、前記第１の補正値および前記第２の補正値に基づいて前記パラメータを補正することにより、前記露光制御を行う、
    　請求項９に記載の画像処理装置。
  11. 　前記露光制御部は、前記パラメータに前記第１の補正値および前記第２の補正値を加算することにより前記パラメータを補正する、
    　請求項１０に記載の画像処理装置。
  12. 　前記パラメータは、前記イメージセンサの電子シャッタ速度、前記イメージセンサによって撮像されたアナログ信号に対して乗じられるゲインのうちの少なくともいずれか一つを含む、
    　請求項２に記載の画像処理装置。
  13. 　前記パラメータは、光源の明るさを含む、
    　請求項２に記載の画像処理装置。
  14. 　イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、高輝度側から順に第１のピークおよび第２のピークを検出することと、
    　プロセッサにより、前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行うことと、
    　を含む、画像処理方法。
  15. 　コンピュータを、
    　イメージセンサによる撮像に基づく内視鏡画像の輝度ごとの画素数分布から、高輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、
    　前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、
    　を備える画像処理装置として機能させるためのプログラム。
  16. 　光を発する光源部と、
    　前記光源部により発せられた前記光の反射光を受光して内視鏡画像を撮像するイメージセンサと、を有し、
    　前記内視鏡画像の輝度ごとの画素数分布から、高輝度側から順に第１のピークおよび第２のピークを検出するピーク検出部と、
    　前記第１のピークおよび前記第２のピークの第１の輝度差に基づいて、露光制御を行う露光制御部と、
    　を備える、画像処理装置を有する、画像処理システム。
PCT/JP2015/082271 2015-02-12 2015-11-17 画像処理装置、画像処理方法、プログラムおよび画像処理システム WO2016129160A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/541,269 US10306151B2 (en) 2015-02-12 2015-11-17 Image processing device, image processing method, program and image processing system
JP2016574626A JP6620762B2 (ja) 2015-02-12 2015-11-17 画像処理装置、画像処理方法、プログラムおよび画像処理システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-025135 2015-02-12
JP2015025135 2015-02-12
JP2015-025134 2015-02-12
JP2015025134 2015-02-12

Publications (1)

Publication Number Publication Date
WO2016129160A1 true WO2016129160A1 (ja) 2016-08-18

Family

ID=56615176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082271 WO2016129160A1 (ja) 2015-02-12 2015-11-17 画像処理装置、画像処理方法、プログラムおよび画像処理システム

Country Status (3)

Country Link
US (1) US10306151B2 (ja)
JP (1) JP6620762B2 (ja)
WO (1) WO2016129160A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018230066A1 (ja) * 2017-06-12 2018-12-20 ソニー株式会社 医療用システム、医療用装置および制御方法
WO2022172733A1 (ja) 2021-02-12 2022-08-18 ソニーグループ株式会社 医療用観察装置、観察装置、観察方法及びアダプタ

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018157918A (ja) * 2017-03-22 2018-10-11 ソニー株式会社 手術用制御装置、制御方法、手術システム、およびプログラム
WO2020179832A1 (ja) * 2019-03-05 2020-09-10 パナソニックＩｐマネジメント株式会社 撮像装置
WO2021166221A1 (ja) * 2020-02-21 2021-08-26 日本電気株式会社 生体認証装置、生体認証方法、及び、そのプログラムが格納されたコンピュータ可読媒体
JP2021153229A (ja) * 2020-03-24 2021-09-30 キヤノン株式会社 情報処理装置、撮像装置、方法、プログラム及び記憶媒体
CN112565621B (zh) * 2020-12-01 2022-11-08 浙江华诺康科技有限公司 内窥镜光源亮度和曝光调节方法、装置和可读存储介质
US11730352B2 (en) 2021-01-13 2023-08-22 Hong Kong Applied Science and Technology Research Institute Company Limited Auto-exposure method for wireless capsule endoscope
JP7677865B2 (ja) * 2021-10-11 2025-05-15 富士フイルム株式会社 内視鏡システム及びその作動方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05164976A (ja) * 1991-12-11 1993-06-29 Toshiba Corp 電子内視鏡装置
JP2011076198A (ja) * 2009-09-29 2011-04-14 Mitsubishi Electric Corp 画像処理装置、画像処理用プログラムおよび画像処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5347272B2 (ja) * 2008-01-18 2013-11-20 日本電気株式会社 スポット定量装置、スポット定量方法及びプログラム
JP5435307B2 (ja) * 2011-06-16 2014-03-05 アイシン精機株式会社 車載カメラ装置
EP2869023B1 (en) * 2013-10-30 2018-06-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method and corresponding computer program
JP5847210B2 (ja) * 2014-01-28 2016-01-20 株式会社Pfu 画像処理装置、画像処理方法及びコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05164976A (ja) * 1991-12-11 1993-06-29 Toshiba Corp 電子内視鏡装置
JP2011076198A (ja) * 2009-09-29 2011-04-14 Mitsubishi Electric Corp 画像処理装置、画像処理用プログラムおよび画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018230066A1 (ja) * 2017-06-12 2018-12-20 ソニー株式会社 医療用システム、医療用装置および制御方法
JPWO2018230066A1 (ja) * 2017-06-12 2020-04-16 ソニー株式会社 医療用システム、医療用装置および制御方法
JP7088185B2 (ja) 2017-06-12 2022-06-21 ソニーグループ株式会社 医療用システム、医療用装置および制御方法
US11463629B2 (en) 2017-06-12 2022-10-04 Sony Corporation Medical system, medical apparatus, and control method
WO2022172733A1 (ja) 2021-02-12 2022-08-18 ソニーグループ株式会社 医療用観察装置、観察装置、観察方法及びアダプタ

Also Published As

Publication number Publication date
US20170366724A1 (en) 2017-12-21
US10306151B2 (en) 2019-05-28
JP6620762B2 (ja) 2019-12-18
JPWO2016129160A1 (ja) 2017-11-24

Similar Documents

Publication Publication Date Title
JP6620762B2 (ja) 画像処理装置、画像処理方法、プログラムおよび画像処理システム
JP7484939B2 (ja) 内視鏡システム、制御装置の作動方法及び制御装置
JP7556380B2 (ja) 情報処理装置、作動方法、プログラム、内視鏡システム
JP6143096B2 (ja) 眼底画像処理装置およびプログラム、並びに眼底画像撮影装置
US9770163B2 (en) Method and apparatus for controlling light output intensity and protection from high intensity light
WO2013027455A1 (ja) 自動露光制御装置、制御装置、内視鏡装置及び自動露光制御方法
JP5742970B2 (ja) 放射線撮影装置
JP5698476B2 (ja) 内視鏡システム、内視鏡システムの作動方法及び撮像装置
WO2009066364A1 (ja) 撮像装置、撮像方法および撮像プログラム
JP2012125293A (ja) 制御装置、内視鏡装置及びフォーカス制御方法
JP2011139368A5 (ja)
JP2010145966A (ja) オートフォーカスシステム
JP2009188463A5 (ja)
JP5038027B2 (ja) 画像処理装置およびこれを備えた内視鏡装置
JP6873740B2 (ja) 内視鏡装置及びエッジ検出方法
EP1892952A3 (en) Electronic camera
JP4694336B2 (ja) 電子内視鏡装置
JP2012085790A (ja) 内視鏡装置
JP2003265449A (ja) Ｘ線画像診断装置
CN114679524A (zh) 一种快速检测和修复内窥镜下高能量可见光的快速方法
JP7600987B2 (ja) 内視鏡手術システム、画像処理装置、および画像処理方法
JP4217501B2 (ja) 自動焦点調節装置
US20220155557A1 (en) Medical observation system
US20240380985A1 (en) Systems and methods for dynamic light control
JP2006279116A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15882034

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016574626

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15541269

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15882034

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载