+

WO2018168261A1 - 制御装置、制御方法、及びプログラム - Google Patents

制御装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2018168261A1
WO2018168261A1 PCT/JP2018/004051 JP2018004051W WO2018168261A1 WO 2018168261 A1 WO2018168261 A1 WO 2018168261A1 JP 2018004051 W JP2018004051 W JP 2018004051W WO 2018168261 A1 WO2018168261 A1 WO 2018168261A1
Authority
WO
WIPO (PCT)
Prior art keywords
correction
image
control device
unit
control
Prior art date
Application number
PCT/JP2018/004051
Other languages
English (en)
French (fr)
Inventor
憲治 池田
白木　寿一
鶴　大輔
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/491,714 priority Critical patent/US10904437B2/en
Priority to JP2019505769A priority patent/JPWO2018168261A1/ja
Publication of WO2018168261A1 publication Critical patent/WO2018168261A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Definitions

  • the present disclosure relates to a control device, a control method, and a program.
  • the medical observation apparatus is not limited to an apparatus that enables optical observation of the affected area, and an image of the affected area captured by an imaging unit (camera) or the like is displayed on a display device such as a monitor or a display. There is also an apparatus that displays an image as an electronic image.
  • Patent Document 1 discloses an example of a technique for correcting image blur caused by hand shake or the like in an endoscope apparatus.
  • the present disclosure proposes a control device, a control method, and a program that can correct image blur in a more preferable manner according to a situation related to observation of a living body.
  • the motion of the entire image is calculated based on the image signal corresponding to the optical image of the living body input from the imaging unit of the medical observation apparatus, and the blur of the entire image is estimated according to the calculation result.
  • the movement of the entire image is calculated based on the image signal corresponding to the optical image of the living body input from the imaging unit of the medical observation apparatus, and the blur of the entire image is calculated according to the calculation result.
  • a control unit comprising: an estimation unit that estimates; and a control unit that controls an operation related to blur correction of the entire image based on a ratio of a region in which the living body in the image signal is shielded by a subject different from the living body.
  • the computer calculates the movement of the entire image based on the image signal corresponding to the optical image of the living body input from the imaging unit of the medical observation apparatus, and the entire image according to the calculation result Based on the zoom magnification of the imaging unit, the coefficient for controlling the blur correction amount is controlled so that the higher the zoom magnification, the stronger the degree of blur correction.
  • a control method including controlling an operation related to blur correction of the entire image.
  • the computer calculates the movement of the entire image based on the image signal corresponding to the optical image of the living body input from the imaging unit of the medical observation apparatus, and the entire image according to the calculation result Estimating motion blur and controlling an operation related to correction of blur of the entire image based on a ratio of a region where the living body is shielded by a subject different from the living body in the image signal.
  • a control method is provided.
  • the movement of the entire image is calculated based on the image signal corresponding to the optical image of the living body input from the imaging unit of the medical observation apparatus to the computer, and the entire image is calculated according to the calculation result.
  • the coefficient for controlling the blur correction amount is controlled based on the zoom magnification of the image pickup unit and the imaging unit so that the degree of blur correction becomes stronger as the zoom magnification becomes higher.
  • a program for controlling the operation relating to the blur correction of the entire image is controlled based on the zoom magnification of the image pickup unit and the imaging unit so that the degree of blur correction becomes stronger as the zoom magnification becomes higher.
  • the movement of the entire image is calculated based on the image signal corresponding to the optical image of the living body input from the imaging unit of the medical observation apparatus to the computer, and the entire image is calculated according to the calculation result.
  • a program is provided.
  • control device As described above, according to the present disclosure, it is possible to provide a control device, a control method, and a program that can correct image blur in a more preferable manner according to a situation related to observation of a living body.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscopic imaging system according to an embodiment of the present disclosure. It is a block diagram which shows an example of a function structure of the camera head and CCU shown in FIG. It is a block diagram showing an example of functional composition of a control device in a medical observation system concerning one embodiment of this indication. It is the flowchart which showed an example of the flow of a series of processes of the control apparatus in the medical observation system which concerns on the embodiment.
  • FIG. 6 is an explanatory diagram for describing an example of control related to image blur correction by the control device according to the first embodiment.
  • FIG. 6 is an explanatory diagram for describing an example of control related to image blur correction by the control device according to the first embodiment.
  • FIG. 6 is an explanatory diagram for describing an example of control related to image blur correction by the control device according to the first embodiment.
  • FIG. 10 is an explanatory diagram for describing an example of control related to image blur correction performed by the control device according to the second embodiment.
  • FIG. 10 is an explanatory diagram for describing an example of control related to image blur correction performed by the control device according to the second embodiment.
  • FIG. 10 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a third embodiment.
  • FIG. 10 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a third embodiment.
  • FIG. 10 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a fourth embodiment.
  • FIG. 10 is an explanatory diagram for describing an example of control related to image blur correction performed by the control device according to the second embodiment.
  • FIG. 10 is an explanatory diagram for describing an example of control related to image blur correction performed by the control device according to the second embodiment.
  • FIG. 10 is an explanatory diagram for describing an
  • FIG. 10 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a fourth embodiment.
  • FIG. 10 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a fifth embodiment.
  • FIG. 10 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a fifth embodiment.
  • FIG. 10 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a fifth embodiment.
  • FIG. 10 is an explanatory diagram for explaining an example of control related to image blur correction by a control device according to a sixth embodiment; FIG.
  • FIG. 20 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a seventh embodiment
  • FIG. 20 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a seventh embodiment
  • FIG. 20 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to an eighth embodiment
  • FIG. 20 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to an eighth embodiment
  • FIG. 20 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a ninth embodiment.
  • FIG. 20 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a ninth embodiment.
  • FIG. 20 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a ninth embodiment.
  • FIG. 20 is an explanatory diagram for describing an example of control related to image blur correction by the control device according to the tenth embodiment;
  • FIG. 20 is an explanatory diagram for describing an example of control related to image blur correction by the control device according to the tenth embodiment;
  • FIG. 20 is an explanatory diagram for describing an example of control related to image blur correction by the control device according to the eleventh embodiment.
  • FIG. 20 is an explanatory diagram for explaining an example of control related to image blur correction by a control device according to a twelfth embodiment
  • FIG. 20 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a thirteenth embodiment
  • FIG. 20 is an explanatory diagram for describing an example of control related to image blur correction by a control device according to a fourteenth embodiment
  • FIG. 25 is an explanatory diagram for describing an example of control related to image blur correction by the control device according to the fifteenth embodiment
  • Na It is explanatory drawing for demonstrating the application example of the medical observation system which concerns on one Embodiment of this indication. It is a functional block diagram showing an example of 1 hardware constitution of an information processor which constitutes a medical observation system concerning one embodiment of this indication.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of a medical observation system to which the technology according to the present disclosure can be applied, and an example of a case where the medical observation system is configured as a so-called endoscopic surgery system.
  • FIG. 1 a state in which an operator (doctor) 167 is performing an operation on a patient 171 on a patient bed 169 using the endoscopic operation system 100 is illustrated.
  • an endoscopic surgery system 100 includes an endoscope 101, other surgical tools 117, a support arm device 127 that supports the endoscope 101, and various devices for endoscopic surgery. And a cart 137 on which is mounted.
  • trocars 125a to 125d are punctured into the abdominal wall. Then, the lens barrel 103 of the endoscope 101 and other surgical tools 117 are inserted into the body cavity of the patient 171 from the trocars 125a to 125d.
  • an insufflation tube 119, an energy treatment tool 121, and forceps 123 are inserted into the body cavity of the patient 171.
  • the energy treatment device 121 is a treatment device that performs incision and peeling of a tissue, sealing of a blood vessel, or the like by a high-frequency current or ultrasonic vibration.
  • the illustrated surgical tool 117 is merely an example, and as the surgical tool 117, various surgical tools generally used in endoscopic surgery, such as a lever and a retractor, may be used.
  • the image of the surgical site in the body cavity of the patient 171 captured by the endoscope 101 is displayed on the display device 141.
  • the surgeon 167 performs a treatment such as excision of the affected part using the energy treatment tool 121 and the forceps 123 while viewing the image of the surgical part displayed on the display device 141 in real time.
  • the pneumoperitoneum tube 119, the energy treatment device 121, and the forceps 123 are supported by an operator 167 or an assistant during the operation.
  • the support arm device 127 includes an arm portion 131 extending from the base portion 129.
  • the arm unit 131 includes joint units 133a, 133b, and 133c and links 135a and 135b, and is driven by control from the arm control device 145.
  • the endoscope 101 is supported by the arm part 131, and its position and posture are controlled. Thereby, the stable position fixing of the endoscope 101 can be realized.
  • the endoscope 101 includes a lens barrel 103 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 171, and a camera head 105 connected to the proximal end of the lens barrel 103.
  • a lens barrel 103 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 171, and a camera head 105 connected to the proximal end of the lens barrel 103.
  • an endoscope 101 configured as a so-called rigid mirror having a rigid barrel 103 is illustrated, but the endoscope 101 is configured as a so-called flexible mirror having a flexible barrel 103. Also good.
  • An opening into which an objective lens is fitted is provided at the tip of the lens barrel 103.
  • a light source device 143 is connected to the endoscope 101, and light generated by the light source device 143 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 103, and the objective 101 Irradiation is performed toward the observation target (in other words, the imaging target) in the body cavity of the patient 171 through the lens.
  • the endoscope 101 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 105, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU: Camera Control Unit) 139 as RAW data.
  • the camera head 105 has a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • a plurality of image sensors may be provided in the camera head 105 in order to cope with, for example, stereoscopic viewing (3D display).
  • a plurality of relay optical systems are provided inside the lens barrel 103 in order to guide the observation light to each of the plurality of imaging elements.
  • the CCU 139 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls operations of the endoscope 101 and the display device 141. Specifically, the CCU 139 performs various types of image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 105. The CCU 139 provides the display device 141 with the image signal subjected to the image processing. Further, the CCU 139 transmits a control signal to the camera head 105 to control the driving thereof.
  • the control signal can include information regarding imaging conditions such as magnification and focal length.
  • the display device 141 displays an image based on an image signal subjected to image processing by the CCU 139 under the control of the CCU 139.
  • the endoscope 101 is compatible with high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display
  • high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320)
  • a display device 141 capable of high-resolution display and / or 3D display can be used.
  • a more immersive feeling can be obtained by using a display device 141 having a size of 55 inches or more.
  • a plurality of display devices 141 having different resolutions and sizes may be provided depending on applications.
  • the light source device 143 includes a light source such as an LED (light emitting diode), and supplies irradiation light to the endoscope 101 when photographing a surgical site.
  • a light source such as an LED (light emitting diode)
  • the arm control device 145 is configured by a processor such as a CPU, for example, and operates according to a predetermined program to control driving of the arm portion 131 of the support arm device 127 according to a predetermined control method.
  • the input device 147 is an input interface for the endoscopic surgery system 100.
  • the user can input various information and instructions to the endoscopic surgery system 100 via the input device 147.
  • the user inputs various types of information related to the operation, such as the patient's physical information and information about the surgical technique, via the input device 147.
  • the user instructs to drive the arm unit 131 via the input device 147, or to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 101.
  • An instruction or the like for driving the energy treatment device 121 is input.
  • the type of the input device 147 is not limited, and the input device 147 may be various known input devices.
  • the input device 147 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 157, and / or a lever can be applied.
  • the touch panel may be provided on the display surface of the display device 141.
  • the input device 147 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), for example, and various inputs according to the user's gesture and line of sight detected by these devices. Is done.
  • the input device 147 includes a camera capable of detecting a user's movement, and various inputs are performed according to a user's gesture and line of sight detected from an image captured by the camera.
  • the input device 147 includes a microphone capable of collecting a user's voice, and various inputs are performed by voice through the microphone.
  • the input device 147 is configured to be able to input various kinds of information without contact, so that a user belonging to the clean area (for example, the operator 167) operates the device belonging to the unclean area in a non-contact manner. Is possible.
  • the user since the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
  • the treatment instrument control device 149 controls driving of the energy treatment instrument 121 for tissue cauterization, incision, blood vessel sealing, or the like.
  • the insufflation apparatus 151 supplies gas into the body cavity through the insufflation tube 119.
  • the recorder 153 is a device that can record various types of information related to surgery.
  • the printer 155 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • the support arm device 127 includes a base portion 129 that is a base, and an arm portion 131 that extends from the base portion 129.
  • the arm part 131 is composed of a plurality of joint parts 133a, 133b, 133c and a plurality of links 135a, 135b connected by the joint part 133b.
  • FIG. The structure of the arm part 131 is simplified and shown. Actually, the shape, number and arrangement of the joint portions 133a to 133c and the links 135a and 135b, the direction of the rotation axis of the joint portions 133a to 133c, and the like are appropriately set so that the arm portion 131 has a desired degree of freedom. obtain.
  • the arm part 131 can be preferably configured to have a degree of freedom of 6 degrees or more.
  • the endoscope 101 can be freely moved within the movable range of the arm portion 131, so that the barrel 103 of the endoscope 101 can be inserted into the body cavity of the patient 171 from a desired direction. It becomes possible.
  • the joints 133a to 133c are provided with actuators, and the joints 133a to 133c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
  • the drive of the actuator is controlled by the arm control device 145
  • the rotation angle of each joint part 133a to 133c is controlled, and the drive of the arm part 131 is controlled.
  • the arm control device 145 can control the driving of the arm unit 131 by various known control methods such as force control or position control.
  • the arm control device 145 appropriately controls the driving of the arm unit 131 according to the operation input.
  • the position and posture of the endoscope 101 may be controlled. With this control, the endoscope 101 at the tip of the arm portion 131 can be moved from an arbitrary position to an arbitrary position and then fixedly supported at the position after the movement.
  • the arm part 131 may be operated by what is called a master slave system. In this case, the arm unit 131 can be remotely operated by the user via the input device 147 installed at a location away from the operating room.
  • the arm control device 145 When force control is applied, the arm control device 145 receives the external force from the user, and moves the actuators of the joint portions 133a to 133c so that the arm portion 131 moves smoothly according to the external force. You may perform what is called power assist control to drive. Thereby, when the user moves the arm unit 131 while directly touching the arm unit 131, the arm unit 131 can be moved with a relatively light force. Therefore, the endoscope 101 can be moved more intuitively and with a simpler operation, and the convenience for the user can be improved.
  • the endoscope 101 is supported by a doctor called a scopist.
  • the position of the endoscope 101 can be more reliably fixed without relying on human hands, so that an image of the surgical site can be stably obtained. It becomes possible to perform the operation smoothly.
  • the arm control device 145 is not necessarily provided in the cart 137. Further, the arm control device 145 is not necessarily a single device. For example, the arm control device 145 may be provided in each joint portion 133a to 133c of the arm portion 131 of the support arm device 127, and the arm control device 145 cooperates with each other to drive the arm portion 131. Control may be realized.
  • the light source device 143 supplies irradiation light to the endoscope 101 when photographing a surgical site.
  • the light source device 143 includes a white light source configured by, for example, an LED, a laser light source, or a combination thereof.
  • a white light source configured by a combination of RGB laser light sources
  • the output intensity and output timing of each color can be controlled with high accuracy. Adjustments can be made.
  • laser light from each of the RGB laser light sources is irradiated onto the observation target in a time-sharing manner, and the drive of the image sensor of the camera head 105 is controlled in synchronization with the irradiation timing, thereby corresponding to each RGB. It is also possible to take the images that have been taken in time division. According to this method, a color image can be obtained without providing a color filter in the image sensor.
  • the driving of the light source device 143 may be controlled so as to change the intensity of light to be output every predetermined time. Synchronously with the timing of changing the intensity of the light, the drive of the image sensor of the camera head 105 is controlled to acquire images in a time-sharing manner, and the images are synthesized, so that high dynamics without so-called blackout and overexposure are obtained. A range image can be generated.
  • the light source device 143 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
  • narrow band imaging is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • a reagent such as indocyanine green (ICG)
  • ICG indocyanine green
  • the light source device 143 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 2 is a block diagram illustrating an example of functional configurations of the camera head 105 and the CCU 139 illustrated in FIG.
  • the camera head 105 includes a lens unit 107, an imaging unit 109, a driving unit 111, a communication unit 113, and a camera head control unit 115 as functions thereof.
  • the CCU 139 includes a communication unit 159, an image processing unit 161, and a control unit 163 as its functions.
  • the camera head 105 and the CCU 139 are connected to each other via a transmission cable 165 so that they can communicate with each other.
  • the lens unit 107 is an optical system provided at a connection portion with the lens barrel 103. Observation light taken from the tip of the lens barrel 103 is guided to the camera head 105 and enters the lens unit 107.
  • the lens unit 107 is configured by combining a plurality of lenses including a zoom lens and a focus lens. The optical characteristics of the lens unit 107 are adjusted so that the observation light is condensed on the light receiving surface of the image sensor of the imaging unit 109. Further, the zoom lens and the focus lens are configured such that their positions on the optical axis are movable in order to adjust the magnification and focus of the captured image.
  • the image pickup unit 109 is configured by an image pickup device, and is arranged at the rear stage of the lens unit 107.
  • the observation light that has passed through the lens unit 107 is collected on the light receiving surface of the image sensor, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the imaging unit 109 is provided to the communication unit 113.
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging element for example, an element capable of capturing a high-resolution image of 4K or more may be used.
  • the image sensor that configures the image capturing unit 109 is configured to include a pair of image sensors for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 167 can more accurately grasp the depth of the living tissue in the surgical site.
  • the imaging unit 109 is configured as a multi-plate type, a plurality of lens units 107 are also provided corresponding to each imaging element.
  • the imaging unit 109 is not necessarily provided in the camera head 105.
  • the imaging unit 109 may be provided inside the lens barrel 103 immediately after the objective lens.
  • the driving unit 111 is constituted by an actuator, and moves the zoom lens and the focus lens of the lens unit 107 by a predetermined distance along the optical axis under the control of the camera head control unit 115. Thereby, the magnification and the focus of the image captured by the imaging unit 109 can be adjusted as appropriate.
  • the communication unit 113 includes a communication device for transmitting and receiving various types of information to and from the CCU 139.
  • the communication unit 113 transmits the image signal obtained from the imaging unit 109 as RAW data to the CCU 139 via the transmission cable 165.
  • the image signal is preferably transmitted by optical communication.
  • the operator 167 performs the operation while observing the state of the affected part with the captured image, so that a moving image of the operated part is displayed in real time as much as possible for a safer and more reliable operation. Because it is required.
  • the communication unit 113 is provided with a photoelectric conversion module that converts an electrical signal into an optical signal.
  • the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 139 via the transmission cable 165.
  • the communication unit 113 receives a control signal for controlling the driving of the camera head 105 from the CCU 139.
  • the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
  • the communication unit 113 provides the received control signal to the camera head control unit 115.
  • the control signal from the CCU 139 may also be transmitted by optical communication.
  • the communication unit 113 is provided with a photoelectric conversion module that converts an optical signal into an electrical signal.
  • the control signal is converted into an electrical signal by the photoelectric conversion module, and then provided to the camera head control unit 115.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus are automatically set by the control unit 163 of the CCU 139 based on the acquired image signal. That is, a so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 101.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Automatic White Balance
  • the camera head control unit 115 controls driving of the camera head 105 based on a control signal from the CCU 139 received via the communication unit 113. For example, the camera head control unit 115 controls driving of the imaging element of the imaging unit 109 based on information indicating that the frame rate of the captured image is specified and / or information indicating that the exposure at the time of imaging is specified. For example, the camera head control unit 115 appropriately moves the zoom lens and the focus lens of the lens unit 107 via the driving unit 111 based on information indicating that the magnification and the focus of the captured image are designated.
  • the camera head control unit 115 may further have a function of storing information for identifying the lens barrel 103 and the camera head 105.
  • the camera head 105 can be resistant to autoclave sterilization by arranging the lens unit 107, the imaging unit 109, and the like in a sealed structure with high airtightness and waterproofness.
  • the communication unit 159 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 105.
  • the communication unit 159 receives an image signal transmitted from the camera head 105 via the transmission cable 165.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 159 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the communication unit 159 provides the image processing unit 161 with the image signal converted into an electrical signal.
  • the communication unit 159 transmits a control signal for controlling the driving of the camera head 105 to the camera head 105.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 161 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 105. Examples of the image processing include development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). Various known signal processing is included.
  • the image processing unit 161 performs detection processing on the image signal for performing AE, AF, and AWB.
  • the image processing unit 161 is configured by a processor such as a CPU or a GPU, and the above-described image processing and detection processing can be performed by the processor operating according to a predetermined program.
  • the image processing unit 161 is configured by a plurality of GPUs, the image processing unit 161 appropriately divides information related to the image signal, and performs image processing in parallel by the plurality of GPUs.
  • the control unit 163 performs various controls related to imaging of the surgical site by the endoscope 101 and display of the captured image. For example, the control unit 163 generates a control signal for controlling the driving of the camera head 105. At this time, when the imaging condition is input by the user, the control unit 163 generates a control signal based on the input by the user. Alternatively, when the endoscope 101 is equipped with the AE function, the AF function, and the AWB function, the control unit 163 determines the optimal exposure value, focal length, and the distance according to the detection processing result by the image processing unit 161. A white balance is appropriately calculated and a control signal is generated.
  • control unit 163 causes the display device 141 to display an image of the surgical unit based on the image signal subjected to the image processing by the image processing unit 161.
  • the control unit 163 recognizes various objects in the surgical unit image using various image recognition techniques. For example, the control unit 163 detects the shape or color of the edge of the object included in the surgical site image, thereby removing surgical tools such as forceps, specific biological parts, bleeding, mist when using the energy treatment tool 121, and the like. Can be recognized.
  • the control unit 163 displays various types of surgery support information on the image of the surgical site using the recognition result. The surgery support information is displayed in a superimposed manner and presented to the operator 167, so that the surgery can be performed more safely and reliably.
  • the transmission cable 165 connecting the camera head 105 and the CCU 139 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • communication is performed by wire using the transmission cable 165, but communication between the camera head 105 and the CCU 139 may be performed wirelessly.
  • communication between the two is performed wirelessly, there is no need to lay the transmission cable 165 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 165 can be solved.
  • the endoscopic surgery system 100 to which the technology according to the present disclosure can be applied has been described.
  • the endoscopic surgery system 100 has been described as an example, a system to which the technology according to the present disclosure can be applied is not limited to such an example.
  • the technology according to the present disclosure may be applied to a testing flexible endoscope system or a microscope operation system.
  • FIG. 3 is a block diagram illustrating an example of a functional configuration of the control device in the medical observation system according to the present embodiment.
  • control device 200 includes an image processing unit 210 and a determination unit 250.
  • the image processing unit 210 detects image blurs such as camera shakes by performing various analysis processes on image signals (hereinafter also referred to as “input image signals”) input at a predetermined frame rate from the imaging unit.
  • image blur is corrected by performing various processes on the input image signal based on the detection result.
  • the determination unit 250 applies whether or not to apply image blur correction according to predetermined input information such as detection results of various states and situations.
  • the degree of correction in other words, the intensity of correction
  • the determination unit 250 determines a coefficient for controlling the degree of image blur correction according to predetermined input information, and notifies the image processing unit 210 of the coefficient, thereby determining the correction. The presence or absence and the degree of correction may be controlled.
  • An example of controlling the degree of image blur correction according to input information will be described later in detail as an example together with a specific example of the input information.
  • the image blur correction is also simply referred to as “blur correction”.
  • the determination unit 250 corresponds to an example of a “control unit” that controls whether or not image blur correction is applied and the degree of the correction.
  • the image processing unit 210 includes, for example, a first control unit 211, a feature point extraction unit 213, an estimation unit 215, a second control unit 217, and a correction processing unit 219.
  • the first control unit 211 sets whether to apply shake correction to the input image signal based on the control from the determination unit 250. For example, the first control unit 211 determines a coefficient corresponding to the determination result for the input image signal (that is, whether to apply shake correction) according to the determination result of whether the shake correction is applied by the determination unit 250. May be associated. As a more specific example, when shake correction is applied, the first control unit 211 sets “1” as a coefficient indicating whether or not shake correction is applied, and when the shake correction is not applied (that is, In the case of suppressing blur correction), “0” may be set as the coefficient. Then, the first control unit 211 associates information indicating whether or not blur correction is applied to the input image signal (for example, a coefficient indicating whether or not blur correction is applied), and uses the input image signal as a feature point extraction unit. To 213.
  • the first control unit 211 When selective switching is not required for whether or not to apply shake correction (that is, when shake correction is always applied), the first control unit 211 may not be provided, and the first control The part 211 may be invalidated.
  • the feature point extraction unit 213 performs image analysis on the input image signal, and extracts a characteristic portion from the image as a feature point based on an edge (for example, wrinkles or a pattern) or a color distribution. . Then, the feature point extraction unit 213 notifies the estimation unit 215 of the input image signal and information regarding the feature points extracted from the input image signal.
  • the estimation unit 215 estimates blurring of the entire image (more specifically, blur direction and blur amount) based on the input image signal output from the feature point extraction unit 213 and information on the feature points.
  • the estimation unit 215 divides the screen of the input image signal into blocks of a predetermined size, and compares each block with the input image signal before a predetermined frame (for example, one frame before), thereby making a block unit Motion vectors (hereinafter also referred to as “local motion vectors”) and their reliability.
  • a predetermined frame for example, one frame before
  • the estimation unit 215 integrates a local motion vector for each block in each frame with a high reliability, so that a motion vector as an entire image in the frame (hereinafter also referred to as “global motion vector”). To decide. Further, the estimation unit 215 may remove the instantaneous error by leveling the global motion vectors for several frames before the frame. Further, the estimation unit 215 may perform leveling using global motion vectors for several frames after the frame.
  • the estimation unit 215 determines the objective of the imaging unit based on the detection results of acceleration and angular velocity detected by various sensors (not shown) provided in the imaging unit, the global motion vector, and its reliability. The amount of lens movement is calculated. Next, the estimation unit 215 estimates blurring of the entire image (for example, the direction and blurring amount of the image blur) based on the calculated movement amount of the objective lens.
  • the estimation unit 215 associates information indicating the estimation result of the blur of the entire image with the input image signal, and outputs the input image signal to the second control unit 217.
  • the second control unit 217 acquires an input image signal from the estimation unit 215. In addition, the second control unit 217 performs the shake correction applied to the input image signal based on the control from the determination unit 250 according to the information indicating the presence / absence of application of the shake correction associated with the acquired input image signal. (In other words, the correction strength) is controlled.
  • the second control unit 217 is notified from the determination unit 250 of a coefficient (for example, “1” or “0”) indicating whether or not blur correction is associated with the input image signal. Based on the coefficient (that is, the coefficient corresponding to the degree of blur correction), the correction strength for blur correction (in other words, the correction amount for blur correction) is determined. As a more specific example, the second control unit 217 multiplies the coefficient associated with the input image signal and the coefficient notified from the determination unit 250, thereby indicating a correction coefficient (gain) indicating the correction strength of blur correction. May be calculated.
  • a coefficient for example, “1” or “0”
  • the coefficient associated with the input image signal is “0”, so that the correction coefficient calculation result indicating the correction strength of the shake correction is calculated. As a result, the shake correction is not applied.
  • the coefficient associated with the input image signal is “1”, and thus the correction coefficient indicating the correction strength of the blur correction is notified from the determination unit 250. It is determined according to the coefficient to be performed.
  • the second control unit 217 outputs the input image signal and information indicating the correction strength of the shake correction determined for the input image signal to the correction processing unit 219.
  • the information indicating the correction strength of the shake correction corresponds to information indicating whether or not the shake correction is applied and the degree of application of the shake correction.
  • the information indicates the correction coefficient of the shake correction described above as an example. To do.
  • the correction processing unit 219 acquires an input image signal from the second control unit 217, and applies shake correction to the input image signal according to various information associated with the input image signal.
  • the correction processing unit 219 outputs, as an output image signal, an image signal obtained by cutting out a cutout area having a size smaller than the effective pixel area from the entire area (effective pixel area) of the input image signal. It outputs to the position structure (for example, display apparatus etc.). At this time, the correction processing unit 219 corrects the shake by moving the position of the cutout area by a shift amount corresponding to the shake of the entire image.
  • the position of the cutout area in other words, the shift amount corresponding to the blur of the entire image
  • information indicating the blur estimation result of the entire image associated with the input image signal that is, the blur direction and the blur amount. It may be determined based on the information).
  • the correction processing unit 219 may control the degree of shake correction applied to the input image signal based on information indicating the correction strength of shake correction associated with the input image signal.
  • the correction processing unit 219 may control a threshold value for determining whether to apply blur correction according to the correction strength. In this case, the correction processing unit 219 applies blur correction when the blur amount is smaller than the threshold value, and the threshold value becomes larger as the correction strength is higher (that is, larger blur is also subject to correction). Control).
  • the correction processing unit 219 may control the correction amount of the shake correction based on the information indicating the correction strength of the shake correction. As a specific example, the correction processing unit 219 may limit the correction amount of blur correction (that is, the shift amount of the position of the cutout area) to be smaller as the correction strength is lower.
  • FIG. 4 is a flowchart showing an example of a flow of a series of processes of the control device in the medical observation system according to the present embodiment.
  • the control device 200 acquires an image signal output from the imaging unit at a predetermined frame rate (S101). At this time, the control device 200 (first control unit 211) may associate the information indicating the presence / absence of application of blur correction determined according to the predetermined input information with the acquired image signal (that is, the input image signal). Good.
  • control device 200 performs image analysis on the input image signal to extract a characteristic portion from the image as a feature point (S103).
  • the control device 200 estimates the blurring of the entire image based on the feature point extraction result.
  • the control apparatus 200 divides the screen of the input image signal into blocks of a predetermined size, and compares the input image signal before the predetermined frame for each block, thereby determining the local motion vector and its reliability. Is calculated.
  • the control device 200 determines a global motion vector by integrating a highly reliable one of local motion vectors for each block of each frame.
  • the control device 200 calculates the amount of movement of the objective lens of the imaging unit based on the detection results of acceleration and angular velocity detected by various sensors provided in the imaging unit, the global motion vector, and the reliability thereof. To do. Then, the control device 200 estimates the blurring of the entire image (for example, the direction and blurring amount of the image blur) based on the calculated movement amount of the objective lens (S105).
  • control device 200 controls the correction strength (that is, the degree of blur correction) applied to the input image signal in accordance with predetermined input information.
  • the control device 200 may determine a coefficient indicating the correction strength of blur correction applied to the input image signal in accordance with the input information (S200).
  • control device 200 applies the shake correction to the input image signal based on the estimation result of the blur of the entire image and the correction intensity according to the predetermined input information, and the correction is performed.
  • the subsequent image signal is output as an output image signal to an arrangement (for example, a display device or the like) located at a later stage as an output image signal. Since the blur correction method is as described above, detailed description is omitted (S107).
  • Example 1 Control according to zoom magnification
  • Example 1 an example of control related to correction of image blur according to the zoom magnification will be described with reference to FIGS. 5 and 6 as information indicating the zoom magnification of the imaging unit.
  • 5 and 6 are explanatory diagrams for describing an example of control related to image blur correction performed by the control device according to the first embodiment.
  • the control device according to the present embodiment may be referred to as a “control device 200a” in order to distinguish it from the control devices according to other embodiments.
  • FIG. 5 illustrates an example of a functional configuration of the control device 200a according to the first embodiment.
  • the control device 200a mainly operates in the determination unit 250a and the operations of the first control unit 211a and the second control unit 217a in the image processing unit 210a described with reference to FIG. And different. Therefore, the operation of the control device 200a will be described with a focus on portions different from the control device 200 described above with reference to FIG. 3, and detailed description of portions substantially similar to the control device 200 will be omitted.
  • the determination unit 250a acquires, for example, information regarding the setting of the zoom magnification from the imaging unit as input information, determines whether or not to apply the shake correction according to the input information, and applies when the shake correction is applied.
  • a coefficient for controlling the degree i.e., correction strength
  • the first control unit 211a controls whether to apply the shake correction based on the determination result corresponding to the zoom magnification by the determination unit 250a.
  • the second control unit 217a determines a correction coefficient indicating the correction strength of the shake correction based on the determination result according to the zoom magnification by the determination unit 250a.
  • FIG. 6 is a graph showing an example of the relationship between the zoom magnification and the coefficient for controlling the correction strength of blur correction in this embodiment.
  • the horizontal axis indicates the zoom magnification
  • the vertical axis indicates the coefficient for controlling the correction intensity.
  • the coefficient for controlling the correction strength is determined in the range of 0 to 1 and is substantially the same as when no blur correction is applied.
  • the coefficient for controlling the correction strength is set to be smaller as the zoom magnification is lower, and is set to be larger as the zoom magnification is higher.
  • the blur correction may be invalidated (suppressed) when the zoom magnification is equal to or less than a predetermined threshold.
  • the zoom magnification when the zoom magnification is set lower, the range captured as an image (that is, the field of view) becomes wider.
  • the correction strength of the shake correction when the correction strength of the shake correction is increased, for example, when a motion vector indicating the motion of a surgical tool such as a forceps that is greatly shaken is adopted as a global motion vector, an overhead view corresponding to the background An image may shake greatly and it may become difficult to observe observation objects, such as a living body. Therefore, in such a case, for example, it may be easier to observe an observation target such as a living body by reducing the correction strength of the shake correction or invalidating (suppressing) the shake correction.
  • the correction strength of blur correction is increased in a situation where the zoom magnification is set to a lower value
  • the cutout area is cut out from the effective pixel area (for example, the effective pixel)
  • the area to be cut as the end side of the area becomes wider. Therefore, even when the scope imaged by the imaging unit is intentionally moved, such as when the scope of the endoscope apparatus is intentionally moved, blur correction is applied, and as a result It may be difficult to observe the observation target. Even in such a case, for example, it may be easier to observe an observation target such as a living body by reducing the correction strength of the shake correction or invalidating (suppressing) the shake correction.
  • the relationship between the zoom magnification shown in FIG. 6 and the coefficient for controlling the correction strength of blur correction is merely an example. That is, as long as the zoom magnification becomes higher, the relationship between the zoom magnification and the coefficient is not necessarily limited to the example shown in FIG.
  • Example 2 Control according to working distance with subject
  • Example 2 Control according to working distance with subject
  • FIGS. 7 and 8 are explanatory diagrams for describing an example of control related to image blur correction performed by the control device according to the second embodiment.
  • the control device according to the present embodiment may be referred to as “control device 200b” in order to distinguish it from the control devices according to other embodiments.
  • the working distance indicates a distance between the objective lens of the imaging unit and a subject (for example, a living body to be observed).
  • FIG. 7 illustrates an example of a functional configuration of the control device 200b according to the second embodiment.
  • the control device 200b mainly has the operation of the determination unit 250b and the first control unit 211b and the second control unit 217b in the image processing unit 210b described with reference to FIG. And different. Therefore, the operation of the control device 200b will be described with a focus on portions different from the control device 200 described above with reference to FIG. 3, and detailed description of portions substantially similar to the control device 200 will be omitted.
  • the determination unit 250b acquires, as input information, information indicating the detection result of the distance between the objective lens of the imaging unit and the subject (that is, working distance) by a distance measuring sensor or the like. As another example, the determination unit 250b indicates the distance between the objective lens of the imaging unit and the subject imaged in the image, which is calculated by analyzing the image captured by the imaging unit. Information may be acquired as input information. Then, the determination unit 250b determines whether or not to apply the shake correction according to the acquired input information (that is, information indicating the working distance), and when applying the shake correction, the degree of application (that is, the correction) The coefficient for controlling the intensity is determined.
  • the first control unit 211b controls whether to apply shake correction based on the determination result according to the working distance by the determination unit 250b. Further, the second control unit 217b determines a correction coefficient indicating the correction strength of the shake correction based on the determination result corresponding to the working distance by the determination unit 250b.
  • FIG. 6 is a graph showing an example of the relationship between the working distance and the coefficient for controlling the correction strength of blur correction in the present embodiment.
  • the horizontal axis indicates the zoom magnification
  • the vertical axis indicates the coefficient for controlling the correction intensity.
  • the coefficient for controlling the correction strength is determined in the range of 0 to 1 and is substantially the same as when no blur correction is applied.
  • the coefficient for controlling the correction intensity is smaller as the working distance is shorter (that is, as the distance between the objective lens of the imaging unit and the subject is shorter).
  • the working distance is set to be larger as the working distance is longer (that is, the distance between the objective lens of the imaging unit and the subject is longer). Further, when the working distance is equal to or greater than the threshold value, the blur correction may be invalidated (suppressed).
  • the shorter the working distance that is, the shorter the distance between the objective lens of the imaging unit and the subject
  • the narrower the range that is, the field of view
  • the overall blurring of the entire image with respect to the amount of movement of the objective lens is relatively larger. Therefore, for example, the shorter the working distance, the easier it is to observe an observation target such as a living body by increasing the correction strength of shake correction (that is, increasing the coefficient for controlling the correction strength).
  • the relationship between the working distance and the coefficient for controlling the correction strength of blur correction shown in FIG. 8 is merely an example. That is, as long as the working distance becomes shorter, the relationship between the working distance and the coefficient is not necessarily limited to the example shown in FIG.
  • Example 3 Control according to operation time
  • Example 3 an example of control related to correction of image blur according to the operation time will be described with reference to FIGS. 9 and 10 and information indicating the operation time as input information.
  • FIG. 9 and FIG. 10 are explanatory diagrams for explaining an example of control related to image blur correction by the control device according to the third embodiment.
  • the control device according to the present embodiment may be referred to as a “control device 200c” in order to distinguish it from the control devices according to other embodiments.
  • FIG. 9 illustrates an example of a functional configuration of the control device 200c according to the third embodiment.
  • the image processing unit 210c does not include a configuration corresponding to the first control unit 211 described above with reference to FIG.
  • the control device 200c is mainly different from the control device 200 described with reference to FIG. 3 in the operations of the determination unit 250b and the second control unit 217b in the image processing unit 210c. Therefore, the operation of the control device 200c will be described by focusing attention on parts different from the control device 200 described above with reference to FIG. 3, and detailed description of portions substantially similar to the control device 200 will be omitted.
  • the determination unit 250c acquires, as input information, information indicating the measurement result of the operation time by a time measurement unit or the like, and the degree of application of shake correction (in accordance with the acquired input information (that is, information indicating operation time)) ( That is, a coefficient for controlling the correction intensity) is determined.
  • the second control unit 217c determines a correction coefficient indicating the correction strength of the shake correction based on the determination result according to the operation time by the determination unit 250c.
  • FIG. 10 is a graph showing an example of the relationship between the operation time and the coefficient for controlling the correction strength of shake correction in the present embodiment.
  • the horizontal axis indicates the operation time
  • the vertical axis indicates the coefficient for controlling the correction intensity.
  • the coefficient for controlling the correction strength is determined in the range of 0 to 1 and is substantially the same as when no blur correction is applied.
  • the coefficient for controlling the correction intensity is set to be larger as the operation time becomes longer.
  • the control may be performed such that the correction intensity of the shake correction is further increased as the operation time becomes longer.
  • the relationship between the operation time and the coefficient for controlling the correction strength of the shake correction shown in FIG. 10 is merely an example. That is, as long as the operation time is longer, the relationship between the operation time and the coefficient is not necessarily limited to the example shown in FIG. 10 as long as the correction strength for shake correction is further increased.
  • Example 4 Control according to the vibration of the operating table
  • Example 4 with reference to FIG. 11 and FIG. 12, an example of control related to correction of image blur according to the vibration of the operating table with information indicating the detection result of the operating table vibration as input information Will be described.
  • FIG. 1 and FIG. 12 are explanatory diagrams for explaining an example of control related to image blur correction by the control device according to the fourth embodiment.
  • the control device according to this embodiment may be referred to as “control device 200d” in order to distinguish it from the control devices according to other embodiments.
  • FIG. 11 illustrates an example of a functional configuration of the control device 200d according to the fourth embodiment.
  • the control device 200d mainly operates in the determination unit 250d and the operations of the first control unit 211d and the second control unit 217d in the image processing unit 210d described with reference to FIG. And different. Therefore, the operation of the control device 200d will be described by paying attention to portions different from the control device 200 described above with reference to FIG. 3, and detailed description of portions substantially similar to the control device 200 will be omitted.
  • the determination unit 250d acquires, as input information, information indicating the detection result of the vibration of the operating table by various sensors such as a vibration sensor. Then, the determination unit 250d determines whether or not to apply the shake correction according to the acquired input information (that is, information indicating the vibration of the operating table), and applies the shake correction when the shake correction is applied. A coefficient for controlling the degree (that is, the correction strength) is determined. In other words, the first control unit 211d controls whether to apply shake correction based on the determination result according to the vibration of the operating table by the determination unit 250d. Further, the second control unit 217d determines a correction coefficient indicating the correction strength for shake correction based on the determination result according to the vibration of the operating table by the determination unit 250d.
  • FIG. 6 is a graph showing an example of the relationship between the vibration of the operating table and the coefficient for controlling the correction strength of shake correction in the present embodiment.
  • the horizontal axis indicates the magnitude of the operating table vibration
  • the vertical axis indicates the coefficient for controlling the correction intensity.
  • the coefficient for controlling the correction strength is determined in the range of 0 to 1 and is substantially the same as when no blur correction is applied.
  • the coefficient for controlling the correction intensity becomes smaller as the vibration becomes larger. Is set. Further, when the magnitude of the operating table vibration is equal to or greater than the threshold value, the shake correction may be invalidated (suppressed).
  • the greater the vibration of the operating table the weaker the correction strength of the shake correction, thereby suppressing the manifestation of the adverse effects associated with the shake correction.
  • the relationship between the magnitude of the operating table vibration shown in FIG. 12 and the coefficient for controlling the correction strength of shake correction is merely an example. That is, the relationship between the magnitude of the operating table vibration and the coefficient is not necessarily limited to the example shown in FIG. 12 as long as the control intensity of the shake correction is further reduced as the operating table vibration increases.
  • Example 4 As described above, as Example 4, with reference to FIGS. 11 and 12, an example of control related to correction of image blur according to the operation time has been described using information indicating the detection result of the vibration of the operating table as input information. .
  • Example 5 Control according to the occupation ratio of surgical tools in the screen
  • Example 5 with reference to FIGS. 13 to 15, information indicating the occupation rate of the surgical instrument in the screen is used as input information, and control related to correction of image blur according to the occupation rate of the surgical instrument is performed.
  • FIGS. 13 to 15 are explanatory diagrams for explaining an example of control related to image blur correction by the control device according to the fifth embodiment.
  • the control device according to the present embodiment may be referred to as “control device 200e” in order to distinguish it from the control devices according to other embodiments.
  • FIG. 13 illustrates an example of a functional configuration of the control device 200e according to the fifth embodiment.
  • the image processing unit 210e does not include a configuration corresponding to the first control unit 211 described above with reference to FIG.
  • the control device 200e is mainly different from the control device 200 described with reference to FIG. 3 in the operations of the determination unit 250e and the second control unit 217e in the image processing unit 210e. Therefore, the operation of the control device 200e will be described by focusing on the parts different from the control device 200 described above with reference to FIG. 3, and the detailed description of the parts substantially similar to the control device 200 will be omitted.
  • the determination unit 250e acquires, as input information, information indicating the occupation rate of the surgical instrument in the screen recognized based on the object recognition technology or the like.
  • FIG. 14 is an explanatory diagram for explaining an example of processing related to recognition of the occupation ratio of the surgical instrument in the screen.
  • reference numeral V301 indicates an example of an image of a living body (image of an affected area) captured through an endoscope or the like. That is, in the image V301, in addition to the living body to be observed, surgical tools such as forceps 311 and 313 and gauze 315 are imaged in the screen.
  • the lower diagram of FIG. 14 shows an object other than a living body (for example, a surgical instrument) captured in the image V301 based on a scene recognition process using object recognition technology or the like for the image V301 shown in the upper diagram. Etc.) is shown as an example.
  • the regions indicated by reference numerals V311 and V313 schematically show an example of recognition results of regions occupied by the forceps 311 and 313 in the screen.
  • the area indicated by reference numeral V315 schematically shows an example of the recognition result of the area occupied by the gauze 315 in the screen.
  • Reference numeral V317 schematically illustrates an example of a recognition result of an area occupied by the endoscope barrel or the like reflected on the screen V301 in the screen.
  • the determination unit 250e determines a coefficient for controlling the degree of application of blur correction (that is, correction strength) according to the acquired input information (that is, information indicating the occupation rate of the surgical instrument in the screen). To do. That is, as shown in FIG. 13, the second control unit 217e determines a correction coefficient indicating the correction strength of the shake correction based on the determination result according to the occupation rate of the surgical instrument in the screen by the determination unit 250e.
  • FIG. 15 is a graph showing an example of the relationship between the occupation rate of the surgical tool in the screen and the coefficient for controlling the correction strength of the shake correction in the present embodiment.
  • the horizontal axis indicates the occupation ratio of the surgical tool in the screen
  • the vertical axis indicates the coefficient for controlling the correction strength.
  • the coefficient for controlling the correction strength is determined in the range of 0 to 1 and is substantially the same as when no blur correction is applied.
  • the coefficient for controlling the correction strength becomes smaller as the occupation rate becomes higher. Is set as follows.
  • the higher the occupation ratio of the surgical tool in the screen the higher the ratio of the area where the living body to be observed is shielded by the surgical tool (that is, the subject other than the living body).
  • the extraction is performed as the proportion of the living body region is lower (that is, the proportion of the region shielded by the surgical instrument is higher). Fewer feature points.
  • the reliability of the motion vector calculated based on the extraction result of the feature point decreases, the reliability of the correction value (for example, shift amount) for blur correction based on the motion vector also decreases. To do. From such characteristics, for example, it is more desirable not to use the result of object recognition in setting the range for extracting feature points.
  • the relationship between the occupation rate of the surgical tool in the screen shown in FIG. 15 and the coefficient for controlling the correction strength of the shake correction is merely an example. That is, the relationship between the occupation ratio and the coefficient is not necessarily limited to the example shown in FIG. 15 as long as the correction intensity of the shake correction is further weakened as the occupation ratio of the surgical instrument in the screen becomes higher. . Further, in the above description, an example in which the correction strength of the shake correction is further weakened has been described. However, when the occupation ratio of the surgical instrument becomes higher, the shake correction may be controlled to be invalidated (suppressed). Good.
  • Example 5 referring to FIGS. 13 to 15, the information indicating the occupation rate of the surgical tool in the screen is used as the input information, and the control related to the correction of the image blur according to the occupation rate of the surgical tool is performed.
  • An example has been described.
  • Example 6 Control according to observation mode
  • Example 6 an example of control related to correction of image blur according to the observation mode will be described with reference to FIG. 16 as information indicating the observation mode.
  • FIG. 16 is an explanatory diagram for describing an example of control related to image blur correction performed by the control device according to the sixth embodiment.
  • the control device according to the present embodiment may be referred to as a “control device 200f” in order to distinguish it from the control devices according to other embodiments.
  • the observation mode indicates a mode according to an observation method such as white light observation, special light observation such as infrared light observation or fluorescence observation, or PDD (Photodynamic diagnosis).
  • FIG. 16 illustrates an example of a functional configuration of the control device 200f according to the sixth embodiment.
  • the image processing unit 210f does not include a configuration corresponding to the first control unit 211 described above with reference to FIG.
  • the control device 200f is mainly different from the control device 200 described with reference to FIG. 3 in the operations of the determination unit 250f and the second control unit 217f in the image processing unit 210f. Therefore, the operation of the control device 200f will be described with a focus on portions different from the control device 200 described above with reference to FIG. 3, and detailed description of portions substantially similar to the control device 200 will be omitted.
  • the determination unit 250f acquires information related to the setting of the observation mode as input information, and controls the degree of application of blur correction (that is, correction intensity) according to the acquired input information (that is, information indicating the observation mode). Determine the coefficients to do. That is, the second control unit 217f determines a correction coefficient indicating the correction strength of the shake correction based on the determination result according to the observation mode by the determination unit 250f.
  • the accuracy for calculating the motion vector tends to be lower than that in the white light observation. Therefore, in situations where the frame rate is lowered, such as special light observation, the correction intensity for shake correction is used for white light observation so that an observation target such as a living body can be observed as in the case of white light observation. It is better to strengthen it than.
  • Example 6 an example of control related to correction of image blur according to the observation mode has been described with reference to FIG. 16 as input information.
  • Example 7 Control according to the distance between the monitor and the operator
  • Example 7 an example of control related to correction of image blur according to the distance using information indicating the distance between the monitor and the operator as input information.
  • FIG. 17 and 18 are explanatory diagrams for explaining an example of control related to image blur correction by the control device according to the seventh embodiment.
  • the control device according to the present embodiment may be referred to as a “control device 200g” in order to distinguish from the control device according to another embodiment.
  • FIG. 17 illustrates an example of a functional configuration of the control device 200g according to the seventh embodiment.
  • the image processing unit 210g does not include a configuration corresponding to the first control unit 211 described above with reference to FIG.
  • the control device 200g is mainly different from the control device 200 described with reference to FIG. 3 in the operations of the determination unit 250g and the second control unit 217g in the image processing unit 210g. Therefore, the operation of the control device 200g will be described with a focus on portions different from the control device 200 described above with reference to FIG. 3, and detailed description of portions substantially similar to the control device 200 will be omitted.
  • the determination unit 250g acquires information indicating the measurement result of the distance between the operator and a predetermined monitor (for example, a main monitor) as input information, and acquires the acquired input information (that is, between the operator and the monitor).
  • a coefficient for controlling the degree of application of blur correction (that is, correction strength) is determined in accordance with (information indicating distance). That is, the second control unit 217g determines a correction coefficient indicating the correction strength of the shake correction based on the determination result according to the distance between the operator and the monitor by the determination unit 250g.
  • the method will not be specifically limited if the information which shows the distance between an operator and a monitor can be acquired.
  • the distance between the surgeon and the monitor may be measured (calculated) based on an image obtained by imaging the surgeon and the monitor with an operating field camera or the like.
  • information indicating the distance between the operator and the monitor may be acquired based on a detection result by a distance measuring sensor or the like.
  • FIG. 18 is a graph showing an example of the relationship between the distance between the operator and the monitor and the coefficient for controlling the correction strength of blur correction in this embodiment.
  • the horizontal axis indicates the distance between the operator and the monitor, and the vertical axis indicates the coefficient for controlling the correction intensity.
  • the coefficient for controlling the correction strength is determined in the range of 0 to 1 and is substantially the same as when no blur correction is applied.
  • the shorter the distance between the operator and the monitor that is, the closer the operator is to the monitor
  • the more the coefficient for controlling the correction strength It is set to be larger.
  • the coefficient for controlling the correction strength may be maintained at a predetermined value.
  • the control may be performed such that the correction strength of the shake correction is further increased as the distance between the operator and the monitor becomes shorter.
  • the relationship between the distance between the operator and the monitor and the coefficient for controlling the correction strength for blur correction shown in FIG. 18 is merely an example. That is, if control is performed so that the correction strength of the shake correction is further increased as the distance between the operator and the monitor becomes shorter, the relationship between the distance between the operator and the monitor and the coefficient is not necessarily shown in FIG. It is not limited to the example shown.
  • Example 7 As described above, as Example 7, with reference to FIGS. 17 and 18, an example of control related to correction of image blur according to the distance is described using information indicating the distance between the monitor and the operator as input information. did.
  • Example 8 Control according to monitor size
  • FIGS. 19 and 20 are explanatory diagrams for describing an example of control related to image blur correction performed by the control device according to the eighth embodiment.
  • the control device according to the present embodiment may be referred to as “control device 200h” in order to distinguish it from the control devices according to other embodiments.
  • FIG. 19 illustrates an example of a functional configuration of the control device 200h according to the eighth embodiment.
  • the image processing unit 210h does not include a configuration corresponding to the first control unit 211 described above with reference to FIG.
  • the control device 200h is mainly different from the control device 200 described with reference to FIG. 3 in the operations of the determination unit 250h and the second control unit 217h in the image processing unit 210h. Therefore, the operation of the control device 200h will be described with a focus on the parts different from the control device 200 described above with reference to FIG.
  • the determination unit 250h acquires information indicating the monitor size of a predetermined monitor (for example, a main monitor) as input information, and the degree of application of shake correction according to the acquired input information (that is, information indicating the monitor size) A coefficient for controlling (that is, correction intensity) is determined. That is, the second control unit 217h determines a correction coefficient indicating the correction strength of the shake correction based on the determination result corresponding to the monitor size by the determination unit 250h.
  • the method is not particularly limited as long as information indicating the monitor size of a predetermined monitor can be acquired.
  • information indicating the monitor size of the monitor may be acquired from the monitor itself that is the display destination of the image.
  • FIG. 20 is a graph showing an example of the relationship between the monitor size and the coefficient for controlling the correction strength of blur correction in this embodiment.
  • the horizontal axis represents the monitor size
  • the vertical axis represents the coefficient for controlling the correction intensity.
  • the coefficient for controlling the correction strength is determined in the range of 0 to 1 and is substantially the same as when no blur correction is applied.
  • the larger the monitor size the larger the coefficient for controlling the correction strength. Further, when the monitor size exceeds a predetermined threshold, the coefficient for controlling the correction strength may be maintained at a predetermined value.
  • the control may be performed such that the correction intensity of the shake correction is increased as the monitor size increases.
  • the relationship between the monitor size shown in FIG. 20 and the coefficient for controlling the correction strength of blur correction is merely an example. That is, the relationship between the monitor size and the coefficient is not necessarily limited to the example illustrated in FIG. 20 as long as the monitor correction is performed so that the correction strength of the shake correction is increased as the monitor size is increased.
  • Example 9 Control according to the state of the surgical instrument
  • FIGS. 21 to 23 are explanatory diagrams for explaining an example of control related to image blur correction by the control device according to the ninth embodiment.
  • the control device according to the present embodiment may be referred to as “control device 200i” in order to distinguish it from the control devices according to other embodiments.
  • FIG. 21 illustrates an example of a functional configuration of the control device 200i according to the ninth embodiment.
  • the image processing unit 210i does not include a configuration corresponding to the first control unit 211 described above with reference to FIG.
  • the control device 200i mainly differs from the control device 200 described with reference to FIG. 3 in the operations of the determination unit 250i and the second control unit 217i in the image processing unit 210i. Therefore, the operation of the control device 200i will be described by paying attention to portions different from the control device 200 described above with reference to FIG.
  • the determination unit 250i acquires, as input information, information indicating the state of a surgical instrument such as a stapler, an energy device, a suture needle, a thread, a deblitter, and the acquired input information (that is, information indicating the state of the surgical instrument). ) To determine a coefficient for controlling the degree of application of blur correction (that is, the correction strength). That is, the second control unit 217i determines a correction coefficient indicating the correction strength of the shake correction based on the determination result according to the state of the surgical instrument by the determination unit 250i.
  • the method is not particularly limited as long as information indicating the state of the surgical instrument can be acquired.
  • information indicating the state of the surgical tool may be acquired from a target surgical tool or a control unit that controls the surgical tool.
  • the state of the surgical instrument captured in the image may be recognized by performing image analysis on the image.
  • FIG. 22 is a flowchart illustrating an example of a flow of blur correction control according to the state of the surgical instrument in the present embodiment.
  • the control device 200i determines whether or not a predetermined surgical tool is detected (S201), and when the surgical tool is detected (S201, YES), It is determined whether a predetermined operation on the surgical instrument has been detected (S203). When the operation on the surgical tool is detected (S203, YES), the control device 200i (second control unit 217i) performs control so that the correction strength for blur correction is further increased (S205).
  • FIG. 23 shows an example of a surgical tool to be detected and an example of an operation on the surgical tool.
  • the surgical tool to be detected include “stapler”, “energy device”, “suture needle and thread”, “deblitter”, and the like.
  • operations on the stapler include an operation of “pinching” a living body or the like, an operation of “firing” a medicine or the like.
  • operations on the energy device include an operation of “incising” a living body or the like, an operation of “hemostatic”, and the like.
  • a “suture” operation and the like can be given.
  • An example of an operation on the debritter is an operation of “resecting” a lesion or the like.
  • these operations it is desirable that the image is stable without blurring. For this reason, it is preferable to suppress the occurrence of image blur by performing control so that the correction strength of the blur correction is increased when the operation is detected.
  • the control device 200 i determines that a predetermined surgical tool is not detected (S 201, NO) or a predetermined operation on the predetermined surgical tool is not detected. (S203, NO), control may be performed such that the correction strength of blur correction is further weakened (S205). At this time, the control device 200i (second control unit 217i) may invalidate (suppress) the shake correction.
  • Example 10 Control according to user input
  • Example 10 an example of control related to correction of image blur according to the user input will be described with the user input as input information with reference to FIGS. 24 and 25.
  • 24 and 25 are explanatory diagrams for explaining an example of control related to image blur correction by the control device according to the tenth embodiment.
  • the control device according to the present embodiment may be referred to as “control device 200j” in order to distinguish it from the control devices according to other embodiments.
  • FIG. 24 illustrates an example of a functional configuration of the control device 200j according to the tenth embodiment.
  • the image processing unit 210j does not include a configuration corresponding to the first control unit 211 described above with reference to FIG.
  • the control device 200j is mainly different from the control device 200 described with reference to FIG. 3 in the operations of the determination unit 250j and the second control unit 217j in the image processing unit 210j. Therefore, the operation of the control device 200j will be described by focusing attention on portions different from the control device 200 described above with reference to FIG. 3, and detailed description of portions substantially similar to the control device 200 will be omitted.
  • the correction strength for shake correction is controlled in accordance with an instruction from a user based on an operation via a predetermined input unit. That is, the determination unit 250j acquires user input via a predetermined input unit as input information, and determines the degree of application of blur correction (that is, correction strength) according to the acquired input information (that is, user input). Determine the coefficients to control. That is, the second control unit 217h determines a correction coefficient indicating the correction strength of the shake correction based on the determination result according to the user input by the determination unit 250h.
  • FIG. 25 shows an example of the input interface 180 provided in the camera head or the like.
  • buttons 181a to 181c for designating the correction strength for shake correction and a button 181d for designating invalidation of the shake correction are provided.
  • the correction strength of the shake correction is set to “strong”, “medium”, and “weak”. It is possible to selectively switch between the three stages.
  • Example 11 Control according to switching of CCU / light source mode
  • Example 11 an example of control related to correction of image blur in response to the switching will be described with reference to FIG. 26 as information indicating CCU / light source mode switching.
  • FIG. 26 is an explanatory diagram illustrating an example of control related to image blur correction performed by the control device according to the eleventh embodiment.
  • the control device according to the present embodiment may be referred to as “control device 200k” in order to distinguish it from the control devices according to other embodiments.
  • FIG. 26 illustrates an example of a functional configuration of the control device 200k according to the eleventh embodiment.
  • the image processing unit 210k does not include a configuration corresponding to the first control unit 211 described above with reference to FIG.
  • the control device 200k is mainly different from the control device 200 described with reference to FIG. 3 in the operations of the determination unit 250k and the second control unit 217k in the image processing unit 210k. Therefore, the operation of the control device 200k will be described by focusing attention on portions different from the control device 200 described above with reference to FIG. 3, and detailed description of portions substantially similar to the control device 200 will be omitted.
  • a vibration is temporarily generated due to an operation on the CCU (for example, a change in zoom magnification), a light source mode switching operation, or the like, resulting in a temporary image blur.
  • an operation on the CCU for example, a change in zoom magnification
  • a light source mode switching operation or the like
  • the control device 200k temporarily reduces the correction strength of the shake correction. Control to be able to be performed, or temporarily disable shake correction.
  • the determination unit 250k acquires, as input information, information indicating detection results such as an operation on the CCU and an operation for switching the light source mode, and the acquired input information (that is, an operation on the CCU, an operation for switching the light source mode, etc.).
  • a coefficient for controlling the degree of application of blur correction (that is, the correction strength) is determined in accordance with the information indicating the detection result.
  • the second control unit 217h may determine a correction coefficient indicating the correction strength of the shake correction based on the determination result according to the detection result such as the operation on the CCU or the light source mode switching operation by the determination unit 250h.
  • control device 200k performs control so that the correction strength for shake correction is temporarily reduced, or if the shake correction is temporarily invalidated, controls the correction strength for shake correction after a predetermined time has elapsed. You may return to the previous state.
  • Example 12 Control according to motion vector calculation result
  • Example 12 an example of control related to image blur correction according to the motion vector calculation result will be described with reference to FIG. 27 as input information indicating the motion vector calculation result.
  • FIG. 27 is an explanatory diagram illustrating an example of control related to image blur correction performed by the control device according to the twelfth embodiment.
  • the control device according to the present embodiment may be referred to as “control device 200m” in order to distinguish it from the control devices according to other embodiments.
  • FIG. 27 illustrates an example of a functional configuration of the control device 200m according to the twelfth embodiment.
  • the image processing unit 210m does not include a configuration corresponding to the first control unit 211 described above with reference to FIG.
  • the control device 200m is mainly different from the control device 200 described with reference to FIG. 3 in the operations of the determination unit 250m and the second control unit 217m in the image processing unit 210m. Therefore, the operation of the control device 200m will be described by paying attention to portions different from the control device 200 described above with reference to FIG.
  • the determination unit 250m acquires information indicating the estimation result of the motion vector by the estimation unit 215 as input information, and the degree of application of shake correction according to the acquired input information (that is, information indicating the estimation result of the motion vector) A coefficient for controlling (that is, correction intensity) is determined. That is, the second control unit 217m determines a correction coefficient indicating the correction strength of the shake correction based on the determination result corresponding to the motion vector estimation result by the determination unit 250m.
  • a predetermined operation such as when an endoscope is inserted or when an imaging unit is moved in parallel, such as a so-called pan operation
  • the position and orientation of the imaging unit change, and the change is detected as a motion vector.
  • shake correction is applied to the movement of an image accompanying the operation. Therefore, for example, when it is recognized that the estimation result of the motion vector is associated with a change in the position or orientation of the imaging unit due to an intentional operation, control is performed so that the correction strength is weakened or temporarily In some cases, invalidating the shake correction may make it easier to observe an observation target such as a living body.
  • the method is not particularly limited as long as it is possible to recognize that the estimation result of the motion vector is accompanied by a change in the position and orientation of the imaging unit due to an intentional operation.
  • the entire image may change constantly in a certain direction.
  • the motion vector estimation results between a plurality of frames indicate substantially the same direction, and the change in the magnitude of the motion vector tends to be moderate.
  • Example 13 Control according to AF / AE detection status
  • image blur correction according to the AF / AE detection status is performed using information indicating the AF (Autofocus) / AE (Automatic Exposure) detection status as input information.
  • FIG. 28 is an explanatory diagram illustrating an example of control related to image blur correction performed by the control device according to the thirteenth embodiment.
  • the control device according to the present embodiment may be referred to as “control device 200n” in order to distinguish it from the control devices according to other embodiments.
  • FIG. 28 illustrates an example of a functional configuration of the control device 200n according to the thirteenth embodiment.
  • the image processing unit 210n does not include a configuration corresponding to the first control unit 211 described above with reference to FIG.
  • the control device 200n is mainly different from the control device 200 described with reference to FIG. 3 in the operations of the determination unit 250n and the second control unit 217n in the image processing unit 210n. Therefore, the operation of the control device 200n will be described by focusing attention on portions different from the control device 200 described above with reference to FIG. 3, and detailed description of portions substantially similar to the control device 200 will be omitted.
  • the determination unit 250n acquires information indicating the detection status of AF or AE as input information, and determines the degree of application of blur correction (that is, information indicating the detection status of AF or AE) according to the acquired input information (that is, information indicating the detection status of AF or AE). , The correction intensity) is determined. That is, the second control unit 217n determines a correction coefficient indicating the correction strength of the shake correction based on the determination result according to the AF or AE detection status by the determination unit 250n. Note that the method is not particularly limited as long as the detection status of AF or AE can be recognized.
  • information indicating the detection status of AF or AE by an image sensor or the like provided in the imaging unit may be acquired from the imaging unit (or the image sensor itself).
  • the detection status of AF or AE may be estimated by analyzing a captured image.
  • AF or AE detection fails, feature point extraction or motion vector estimation based on the feature point extraction result is not performed correctly, and as a result, a correction value for blur correction is obtained.
  • the reliability of may decrease.
  • AF fails, the image is blurred and it is difficult to extract feature points such as edges. Further, if the brightness of the entire image becomes dark as a result of the failure of AE, it becomes difficult to extract feature points.
  • Example 13 As described above, as Example 13, referring to FIG. 28, information indicating the detection status of AF (Autofocus) / AE (Automatic Exposure) is used as input information to correct image blur according to the detection status of the AF / AE. An example of such control has been described.
  • FIG. 29 is an explanatory diagram illustrating an example of control related to image blur correction performed by the control device according to the fourteenth embodiment.
  • the control device according to the present embodiment may be referred to as “control device 200p” in order to distinguish it from the control devices according to other embodiments.
  • FIG. 29 illustrates an example of a functional configuration of the control device 200p according to the fourteenth embodiment.
  • the image processing unit 210p does not include a configuration corresponding to the first control unit 211 described above with reference to FIG.
  • the control device 200p is mainly different from the control device 200 described with reference to FIG. 3 in the operations of the determination unit 250p and the second control unit 217p in the image processing unit 210p. Therefore, the operation of the control device 200p will be described with a focus on portions different from the control device 200 described above with reference to FIG.
  • the determination unit 250p acquires information indicating the detection result of lens dirt as input information, and applies the degree of application of blur correction (that is, correction) according to the acquired input information (that is, information indicating the detection result of lens dirt).
  • the coefficient for controlling the intensity is determined.
  • the second control unit 217p determines a correction coefficient indicating the correction strength of the blur correction based on the determination result corresponding to the lens dirt detection result by the determination unit 250p.
  • the method is not particularly limited as long as lens contamination can be detected.
  • lens dirt may be detected by various sensors.
  • lens dirt may be detected by analyzing a captured image.
  • the subject to be observed such as a living body may be blocked by the dirt or the image may be blurred.
  • the extraction of feature points and the estimation of motion vectors based on the extraction results of the feature points are not performed correctly, and as a result, the reliability of correction values for blur correction may be reduced.
  • FIG. 30 is an explanatory diagram illustrating an example of control related to image blur correction performed by the control device according to the fifteenth embodiment.
  • the control device according to the present embodiment may be referred to as “control device 200q” in order to distinguish it from the control devices according to other embodiments.
  • FIG. 30 illustrates an example of a functional configuration of the control device 200q according to the fifteenth embodiment.
  • the image processing unit 210q does not include a configuration corresponding to the first control unit 211 described above with reference to FIG.
  • the control device 200q is mainly different from the control device 200 described with reference to FIG. 3 in the operations of the determination unit 250q and the second control unit 217q in the image processing unit 210q. Therefore, the operation of the control device 200q will be described with a focus on the parts different from the control device 200 described above with reference to FIG.
  • a situation is assumed in which a subject to be observed such as a living body is temporarily shielded by a mist generated by spraying a medicine or the like.
  • a situation is also assumed in which a subject to be observed such as a living body is temporarily shielded by smoke generated by using an energy device or the like.
  • the determination unit 250q acquires information indicating the detection result of a visible gaseous substance such as smoke or mist as input information, and acquires the acquired input information (that is, detection of the gaseous substance).
  • a coefficient for controlling the degree of application of blur correction (that is, the correction strength) may be determined according to (information indicating the result). That is, the second control unit 217p determines a correction coefficient indicating the correction strength of the shake correction based on the determination result according to the detection result of the visible gaseous substance such as smoke or mist by the determination unit 250p.
  • the method is not particularly limited as long as a visible gaseous substance such as smoke or mist can be detected.
  • the gaseous substance may be detected by various sensors.
  • the gaseous substance may be detected by analyzing a captured image.
  • the correction strength of the blur correction is weakened or the blur correction is temporarily invalidated. It is possible to prevent the occurrence of a situation that makes it difficult to observe an observation target such as a living body.
  • the correction strength for blur correction may be controlled.
  • Example 15 As described above, as Example 15, with reference to FIG. 30, an example of control related to correction of image blur according to the detection result of smoke or mist has been described using information indicating the detection result of smoke or mist as input information. .
  • Example 16 Example of control according to procedure
  • each procedure is executed in the order of “incision / detachment”, “biopsy”, and “blood vessel processing”.
  • the procedure of “incision / peeling” for example, at least one of input information indicating the occupation ratio of the surgical instrument in the screen, the state of the surgical instrument, and the smoke and mist detection results, etc. Accordingly, the presence or absence of blur correction and the correction strength of the blur correction may be controlled.
  • the “biopsy” procedure for example, whether or not shake correction is performed and whether or not the shake correction is performed according to at least one of the pieces of input information indicating the occupation ratio of the surgical tool in the screen and the state of the surgical tool. The intensity may be controlled.
  • the presence or absence of shake correction and the correction strength of the shake correction may be controlled according to the operation time.
  • the presence or absence of blur correction and the correction strength of the blur correction may be controlled according to the distance between the surgeon and the monitor.
  • a coefficient for controlling the correction strength of the shake correction may be calculated according to a plurality of pieces of input information.
  • a coefficient to be finally applied may be calculated by multiplying a coefficient corresponding to each input information.
  • weighting may be performed on the coefficient corresponding to each input information according to the use scene.
  • FIG. 31 is an explanatory diagram for describing an application example of the medical observation system according to the embodiment of the present disclosure, and illustrates an example of a schematic configuration of the microscope imaging system. Specifically, FIG. 31 illustrates an example in which a surgical video microscope apparatus including an arm is used as an application example in which the medical observation system according to an embodiment of the present disclosure is used. ing.
  • FIG. 31 schematically shows a state of treatment using a surgical video microscope apparatus.
  • a doctor who is a practitioner (user) 820 uses a surgical instrument 821 such as a scalpel, a scissors, or a forceps to perform a treatment target (patient) on the treatment table 830.
  • a state in which an operation is performed on the 840 is illustrated.
  • the treatment is a general term for various medical treatments performed on a patient who is a treatment target 840 by a doctor who is a user 820, such as surgery and examination.
  • the state of the operation is illustrated as an example of the operation, but the operation using the surgical video microscope apparatus 810 is not limited to the operation, and may be various other operations. .
  • a surgical video microscope apparatus 810 is provided on the side of the treatment table 830.
  • the surgical video microscope apparatus 810 includes a base portion 811 that is a base, an arm portion 812 that extends from the base portion 811, and an imaging unit 815 that is connected to the tip of the arm portion 812 as a tip unit.
  • the arm portion 812 includes a plurality of joint portions 813a, 813b, and 813c, a plurality of links 814a and 814b connected by the joint portions 813a and 813b, and an imaging unit 815 provided at the tip of the arm portion 812.
  • the arm portion 812 has three joint portions 813a to 813c and two links 814a and 814b.
  • the positions of the arm portion 812 and the imaging unit 815 and In consideration of the degree of freedom of the posture, the number and shape of the joint portions 813a to 813c and the links 814a and 814b, the direction of the drive shaft of the joint portions 813a to 813c, etc. may be appropriately set so as to realize the desired degree of freedom. Good.
  • the joint portions 813a to 813c have a function of connecting the links 814a and 814b so as to be rotatable with each other, and the rotation of the joint portions 813a to 813c is driven to control the drive of the arm portion 812.
  • the position of each constituent member of the surgical video microscope apparatus 810 means a position (coordinates) in a space defined for drive control, and the posture of each constituent member. Means the direction (angle) with respect to an arbitrary axis in the space defined for drive control.
  • driving (or drive control) of the arm portion 812 refers to driving (or drive control) of the joint portions 813a to 813c and drive (or drive control) of the joint portions 813a to 813c. This means that the position and posture of each component of the arm portion 812 are changed (change is controlled).
  • An imaging unit 815 is connected to the tip of the arm unit 812 as a tip unit.
  • the imaging unit 815 is a unit that acquires an image of an imaging target, and is, for example, a camera that can capture a moving image or a still image.
  • the posture of the arm unit 812 and the imaging unit 815 is operated by the surgical video microscope apparatus 810 so that the imaging unit 815 provided at the distal end of the arm unit 812 images the state of the surgical site of the surgical target 840. And the position is controlled.
  • the configuration of the imaging unit 815 connected as the tip unit to the tip of the arm unit 812 is not particularly limited.
  • the imaging unit 815 is configured as a microscope that acquires an enlarged image of the imaging target.
  • the imaging unit 815 may be configured to be detachable from the arm portion 812. With such a configuration, for example, the imaging unit 815 corresponding to the usage application may be appropriately connected to the tip of the arm unit 812 as a tip unit.
  • the imaging unit 815 for example, an imaging apparatus to which the branching optical system according to the above-described embodiment is applied can be applied. In this description, the case where the imaging unit 815 is applied as the tip unit has been described. However, the tip unit connected to the tip of the arm unit 812 is not necessarily limited to the imaging unit 815.
  • a display device 850 such as a monitor or a display is installed at a position facing the user 820.
  • the image of the treatment site imaged by the imaging unit 815 is displayed on the display screen of the display device 850 as an electronic image.
  • the user 820 performs various treatments while viewing the electronic image of the treatment site displayed on the display screen of the display device 850.
  • FIG. 32 is a functional block diagram illustrating a configuration example of the hardware configuration of the information processing apparatus that configures the medical observation system according to the embodiment of the present disclosure.
  • the information processing apparatus 900 constituting the medical observation system mainly includes a CPU 901, a ROM 902, and a RAM 903.
  • the information processing apparatus 900 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, and a connection port 923. And a communication device 925.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls all or a part of the operation in the information processing apparatus 900 according to various programs recorded in the ROM 902, the RAM 903, the storage apparatus 919, or the removable recording medium 927.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 primarily stores programs used by the CPU 901, parameters that change as appropriate during execution of the programs, and the like. These are connected to each other by a host bus 907 constituted by an internal bus such as a CPU bus.
  • a host bus 907 constituted by an internal bus such as a CPU bus.
  • the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925 are connected to the external bus 911 via an interface 913.
  • the input device 915 is an operation means operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, a lever, and a pedal. Further, the input device 915 may be, for example, remote control means (so-called remote control) using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA corresponding to the operation of the information processing device 900. 929 may be used. Furthermore, the input device 915 includes an input control circuit that generates an input signal based on information input by a user using the above-described operation means and outputs the input signal to the CPU 901, for example. A user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 915.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 917 outputs results obtained by various processes performed by the information processing apparatus 900. Specifically, the display device displays results obtained by various processes performed by the information processing device 900 as text or images.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the analog signal.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901 and various data.
  • the drive 921 is a reader / writer for a recording medium, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on a removable recording medium 927 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 921 can also write a record to a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory that is mounted.
  • the removable recording medium 927 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray (registered trademark) medium, or the like.
  • the removable recording medium 927 may be a compact flash (registered trademark) (CF: CompactFlash), a flash memory, an SD memory card (Secure Digital memory card), or the like. Further, the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • CF CompactFlash
  • SD memory card Secure Digital memory card
  • the connection port 923 is a port for directly connecting to the information processing apparatus 900.
  • Examples of the connection port 923 include a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, and the like.
  • As another example of the connection port 923 there are an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, and the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to a communication network (network) 931.
  • the communication device 925 is, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 925 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
  • the communication network 931 connected to the communication device 925 is configured by a wired or wireless network, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. .
  • FIG. 32 an example of a hardware configuration capable of realizing the functions of the information processing apparatus 900 that configures the medical observation system according to the embodiment of the present disclosure has been shown.
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • FIG. 32 various configurations corresponding to the information processing apparatus 900 configuring the medical observation system are naturally provided.
  • a computer program for realizing each function of the information processing apparatus 900 constituting the medical observation system according to the present embodiment as described above can be produced and mounted on a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the number of computers that execute the computer program is not particularly limited.
  • the computer program may be executed by a plurality of computers (for example, a plurality of servers) in cooperation with each other.
  • control device 200 determines whether or not to apply image blur correction based on input information corresponding to various states and situations, and applies correction. Control the intensity of the correction.
  • control device 200 may perform control such that the degree of image blur correction becomes stronger as the zoom magnification of an imaging unit such as a camera head is higher.
  • control device 200 may perform control such that the degree of image blur correction is weaker as the zoom magnification is lower.
  • shake correction is performed based on a motion vector indicating the movement of a surgical instrument such as a forceps that is greatly shaken, and the shake correction is corrected even in a situation where the overhead view image corresponding to the background is shaken. Since the strength is weakened, shaking of the overhead view image is suppressed, and it becomes easier to observe an observation target such as a living body.
  • the correction strength of blur correction is reduced.
  • the correction of the image blur with respect to the intentional movement is suppressed, and it becomes easier to observe the observation target such as a living body.
  • control device 200 determines that the subject to be observed such as a living body within the screen (in other words, the input image signal) is the observation target such as a surgical instrument or a visible gaseous substance. You may control the operation
  • the control device 200 reduces the degree of image blur correction as the ratio of the area where the subject to be observed is shielded by other subjects is higher, and thus applies image blur. It may be invalidated. With such a configuration, for example, it becomes difficult to extract feature amounts due to an increase in the occupation rate of other subjects in the screen, and even under circumstances where the reliability of the correction value for blur correction decreases. By weakening the correction strength of blur correction, it is possible to prevent the occurrence of a situation that makes it difficult to observe an observation target such as a living body.
  • the content of the control related to the correction of the image blur by the control device 200 according to the present embodiment is not limited.
  • information related to the imaging environment of an image to be observed such as a living body such as the state of a surgical instrument or the movement (vibration) of a bed can be used as input information.
  • the zoom magnification not only the zoom magnification but also information related to the imaging condition of an image to be observed such as a living body such as AF / AE can be used as input information.
  • the detection result of the factor that makes it difficult to extract the feature amount may be used as the input information from the characteristic that the image blur is estimated by extracting the feature amount from the input image signal.
  • the correction strength of the image blur correction is weakened, or the correction is temporarily invalidated, so that the living body etc. It is possible to prevent the occurrence of a situation that makes it difficult to observe the observation object.
  • An estimation unit that calculates motion of the entire image based on an image signal corresponding to an optical image of a living body input from a predetermined imaging unit, and estimates blur of the entire image according to the calculation result; Based on the zoom magnification of the imaging unit, the coefficient for controlling the amount of blur correction is controlled such that the higher the zoom magnification, the stronger the degree of blur correction.
  • a control unit for controlling operations related to correction of A control device comprising: (2) The control device according to (1), wherein the control unit controls the correction of the shake to be suppressed when the zoom magnification is equal to or less than a threshold value.
  • the estimation unit calculates a motion of the entire image based on the extraction result of the feature points;
  • the control device according to (1) or (2).
  • An estimation unit that calculates motion of the entire image based on an image signal corresponding to an optical image of a living body input from a predetermined imaging unit, and estimates blur of the entire image according to the calculation result;
  • a control unit that controls an operation related to blur correction of the entire image based on a ratio of a region where the living body in the image signal is shielded by a subject different from the living body;
  • a control device comprising: (5) The control device according to (4), wherein the control unit controls a coefficient for controlling the amount of blur correction in accordance with a ratio of the region.
  • the estimation unit calculates a motion of the entire image based on the extraction result of the feature points;
  • the control device according to any one of (4) to (10).
  • (12) Computer Calculating a motion of the entire image based on an image signal corresponding to an optical image of a living body input from a predetermined imaging unit, and estimating a blur of the entire image according to the calculation result; Based on the zoom magnification of the image pickup unit, the coefficient for controlling the amount of blur correction is controlled such that the higher the zoom magnification, the stronger the degree of blur correction. Controlling the operation related to the correction of Including a control method.
  • Controlling the operation related to the correction of A program that executes (15) On the computer, Calculating a motion of the entire image based on an image signal corresponding to an optical image of a living body input from a predetermined imaging unit, and estimating a blur of the entire image according to the calculation result; Controlling an operation related to blur correction of the entire image based on a ratio of a region where the living body in the image signal is shielded by a subject different from the living body;

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)

Abstract

【課題】生体の観察に係る状況に応じて、より好適な態様で画像ぶれを補正する。 【解決手段】医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、前記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御する制御部と、を備える、制御装置。

Description

制御装置、制御方法、及びプログラム
　本開示は、制御装置、制御方法、及びプログラムに関する。
　近年では、手術手法、手術器具の発達により、手術用顕微鏡や内視鏡等のような医療用観察装置により患部を観察しながら、各種処置を施す手術（所謂、マイクロサージャリー）が頻繁に行われるようになってきている。また、このような医療用観察装置の中には、患部を光学的に観察可能とする装置に限らず、撮像部（カメラ）等により撮像された患部の画像を、モニタやディスプレイなどの表示装置に電子画像として表示させる装置もある。
特開２０１５－１３９６４６号公報
　ところで、内視鏡装置においては、カメラヘッドを保持する手等が振れた場合に、その振れの動きが対物レンズに伝わるため、手等のぶれに起因する画像ぶれが発生する場合がある。そのため、近年では、手等のぶれに起因する画像ぶれを補正する技術を適用した内視鏡装置も提案されている。例えば、特許文献１には、内視鏡装置において手等のぶれに起因する画像ぶれを補正する技術の一例が開示されている。
　一方で、内視鏡等のような医療用観察装置を利用した生体の観察においては、当該観察に係る条件や環境等が多様に変化し、そのときどきの状況に応じて、画像ぶれの補正に伴う観察対象（生体等）の視認性への影響も異なる。そのため、ある状況と同じ条件で画像ぶれの補正が行われたとしても、他の状況下では、必ずしも観察対象の視認性が向上するとは限らない。
　そこで、本開示では、生体の観察に係る状況に応じて、より好適な態様で画像ぶれを補正することが可能な、制御装置、制御方法、及びプログラムを提案する。
　本開示によれば、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、前記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御する制御部と、を備える、制御装置が提供される。
　また、本開示によれば、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御する制御部と、を備える、制御装置が提供される。
　また、本開示によれば、コンピュータが、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、を含む、制御方法が提供される。
　また、本開示によれば、コンピュータが、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、を含む、制御方法が提供される。
　また、本開示によれば、コンピュータに、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御するこことで、前記画像全体のぶれの補正に関する動作を制御することと、を実行させる、プログラムが提供される。
　また、本開示によれば、コンピュータに、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、を実行させる、プログラムが提供される。
　以上説明したように本開示によれば、生体の観察に係る状況に応じて、より好適な態様で画像ぶれを補正することが可能な、制御装置、制御方法、及びプログラムが提供される。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る内視撮像システムの概略的な構成の一例を示す図である。 図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 本開示の一実施形態に係る医療用観察システムにおける制御装置の機能構成の一例を示したブロック図である。 同実施形態に係る医療用観察システムにおける制御装置の一連の処理の流れの一例を示したフローチャートである。 実施例１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例６に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例７に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例７に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例８に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例８に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例９に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例９に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例９に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１０に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１０に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。な 本開示の一実施形態に係る医療用観察システムの適用例について説明するための説明図である。 本開示の一実施形態に係る医療用観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．医療用観察システムの構成例
　２．技術的特徴
　　２．１．基本構成
　　２．２．処理
　　２．３．実施例
　３．適用例
　４．ハードウェア構成の一例
　５．むすび
　＜＜１．医療用観察システムの構成例＞＞
　まず、図１及び図２を参照して、本開示の一実施形態に係る医療用観察システムの概略的な構成の一例について説明する。
　例えば、図１は、本開示に係る技術が適用され得る医療用観察システムの概略的な構成の一例を示す図であり、当該医療用観察システムを所謂内視鏡手術システムとして構成した場合の一例を示している。図１では、術者（医師）１６７が、内視鏡手術システム１００を用いて、患者ベッド１６９上の患者１７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１００は、内視鏡１０１と、その他の術具１１７と、内視鏡１０１を支持する支持アーム装置１２７と、内視鏡下手術のための各種の装置が搭載されたカート１３７と、から構成される。
　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ１２５ａ～１２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ１２５ａ～１２５ｄから、内視鏡１０１の鏡筒１０３や、その他の術具１１７が患者１７１の体腔内に挿入される。図示する例では、その他の術具１１７として、気腹チューブ１１９、エネルギー処置具１２１及び鉗子１２３が、患者１７１の体腔内に挿入されている。また、エネルギー処置具１２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具１１７はあくまで一例であり、術具１１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
　内視鏡１０１によって撮影された患者１７１の体腔内の術部の画像が、表示装置１４１に表示される。術者１６７は、表示装置１４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具１２１や鉗子１２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ１１９、エネルギー処置具１２１及び鉗子１２３は、手術中に、術者１６７又は助手等によって支持される。
　（支持アーム装置）
　支持アーム装置１２７は、ベース部１２９から延伸するアーム部１３１を備える。図示する例では、アーム部１３１は、関節部１３３ａ、１３３ｂ、１３３ｃ、及びリンク１３５ａ、１３５ｂから構成されており、アーム制御装置１４５からの制御により駆動される。アーム部１３１によって内視鏡１０１が支持され、その位置及び姿勢が制御される。これにより、内視鏡１０１の安定的な位置の固定が実現され得る。
　（内視鏡）
　内視鏡１０１は、先端から所定の長さの領域が患者１７１の体腔内に挿入される鏡筒１０３と、鏡筒１０３の基端に接続されるカメラヘッド１０５と、から構成される。図示する例では、硬性の鏡筒１０３を有するいわゆる硬性鏡として構成される内視鏡１０１を図示しているが、内視鏡１０１は、軟性の鏡筒１０３を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１０３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０１には光源装置１４３が接続されており、当該光源装置１４３によって生成された光が、鏡筒１０３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１７１の体腔内の観察対象（換言すると、撮像対象物）に向かって照射される。なお、内視鏡１０１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１０５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）１３９に送信される。なお、カメラヘッド１０５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド１０５には撮像素子が複数設けられてもよい。この場合、鏡筒１０３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
　（カートに搭載される各種の装置）
　ＣＣＵ１３９は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡１０１及び表示装置１４１の動作を統括的に制御する。具体的には、ＣＣＵ１３９は、カメラヘッド１０５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ１３９は、当該画像処理を施した画像信号を表示装置１４１に提供する。また、ＣＣＵ１３９は、カメラヘッド１０５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
　表示装置１４１は、ＣＣＵ１３９からの制御により、当該ＣＣＵ１３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡１０１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置１４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置１４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置１４１が設けられてもよい。
　光源装置１４３は、例えばＬＥＤ（light　emitting　diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡１０１に供給する。
　アーム制御装置１４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置１２７のアーム部１３１の駆動を制御する。
　入力装置１４７は、内視鏡手術システム１００に対する入力インタフェースである。ユーザは、入力装置１４７を介して、内視鏡手術システム１００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置１４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置１４７を介して、アーム部１３１を駆動させる旨の指示や、内視鏡１０１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具１２１を駆動させる旨の指示等を入力する。
　入力装置１４７の種類は限定されず、入力装置１４７は各種の公知の入力装置であってよい。入力装置１４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ１５７及び／又はレバー等が適用され得る。入力装置１４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置１４１の表示面上に設けられてもよい。
　あるいは、入力装置１４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head　Mounted　Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置１４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置１４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置１４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者１６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
　処置具制御装置１４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１２１の駆動を制御する。気腹装置１５１は、内視鏡１０１による視野の確保及び術者の作業空間の確保の目的で、患者１７１の体腔を膨らめるために、気腹チューブ１１９を介して当該体腔内にガスを送り込む。レコーダ１５３は、手術に関する各種の情報を記録可能な装置である。プリンタ１５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　以下、内視鏡手術システム１００において特に特徴的な構成について、更に詳細に説明する。
　（支持アーム装置）
　支持アーム装置１２７は、基台であるベース部１２９と、ベース部１２９から延伸するアーム部１３１と、を備える。図示する例では、アーム部１３１は、複数の関節部１３３ａ、１３３ｂ、１３３ｃと、関節部１３３ｂによって連結される複数のリンク１３５ａ、１３５ｂと、から構成されているが、図１では、簡単のため、アーム部１３１の構成を簡略化して図示している。実際には、アーム部１３１が所望の自由度を有するように、関節部１３３ａ～１３３ｃ及びリンク１３５ａ、１３５ｂの形状、数及び配置、並びに関節部１３３ａ～１３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部１３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部１３１の可動範囲内において内視鏡１０１を自由に移動させることが可能になるため、所望の方向から内視鏡１０１の鏡筒１０３を患者１７１の体腔内に挿入することが可能になる。
　関節部１３３ａ～１３３ｃにはアクチュエータが設けられており、関節部１３３ａ～１３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置１４５によって制御されることにより、各関節部１３３ａ～１３３ｃの回転角度が制御され、アーム部１３１の駆動が制御される。これにより、内視鏡１０１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置１４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部１３１の駆動を制御することができる。
　例えば、術者１６７が、入力装置１４７（フットスイッチ１５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置１４５によってアーム部１３１の駆動が適宜制御され、内視鏡１０１の位置及び姿勢が制御されてよい。当該制御により、アーム部１３１の先端の内視鏡１０１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部１３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部１３１は、手術室から離れた場所に設置される入力装置１４７を介してユーザによって遠隔操作され得る。
　また、力制御が適用される場合には、アーム制御装置１４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部１３１が移動するように、各関節部１３３ａ～１３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部１３１に触れながらアーム部１３１を移動させる際に、比較的軽い力で当該アーム部１３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡１０１を移動させることが可能となり、ユーザの利便性を向上させることができる。
　ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡１０１が支持されていた。これに対して、支持アーム装置１２７を用いることにより、人手によらずに内視鏡１０１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
　なお、アーム制御装置１４５は必ずしもカート１３７に設けられなくてもよい。また、アーム制御装置１４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置１４５は、支持アーム装置１２７のアーム部１３１の各関節部１３３ａ～１３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置１４５が互いに協働することにより、アーム部１３１の駆動制御が実現されてもよい。
　（光源装置）
　光源装置１４３は、内視鏡１０１に術部を撮影する際の照射光を供給する。光源装置１４３は、例えばＬＥＤ、レーザー光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザー光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザー光源それぞれからのレーザー光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１０５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１０５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow　Band　Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置１４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　（カメラヘッド及びＣＣＵ）
　図２を参照して、内視鏡１０１のカメラヘッド１０５及びＣＣＵ１３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド１０５及びＣＣＵ１３９の機能構成の一例を示すブロック図である。
　図２を参照すると、カメラヘッド１０５は、その機能として、レンズユニット１０７と、撮像部１０９と、駆動部１１１と、通信部１１３と、カメラヘッド制御部１１５と、を有する。また、ＣＣＵ１３９は、その機能として、通信部１５９と、画像処理部１６１と、制御部１６３と、を有する。カメラヘッド１０５とＣＣＵ１３９とは、伝送ケーブル１６５によって双方向に通信可能に接続されている。
　まず、カメラヘッド１０５の機能構成について説明する。レンズユニット１０７は、鏡筒１０３との接続部に設けられる光学系である。鏡筒１０３の先端から取り込まれた観察光は、カメラヘッド１０５まで導光され、当該レンズユニット１０７に入射する。レンズユニット１０７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット１０７は、撮像部１０９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
　撮像部１０９は撮像素子によって構成され、レンズユニット１０７の後段に配置される。レンズユニット１０７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部１０９によって生成された画像信号は、通信部１１３に提供される。
　撮像部１０９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者１６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
　また、撮像部１０９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者１６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１０９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１０７も複数系統設けられる。
　また、撮像部１０９は、必ずしもカメラヘッド１０５に設けられなくてもよい。例えば、撮像部１０９は、鏡筒１０３の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１１は、アクチュエータによって構成され、カメラヘッド制御部１１５からの制御により、レンズユニット１０７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１０９による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１３は、ＣＣＵ１３９との間で各種の情報を送受信するための通信装置によって構成される。通信部１１３は、撮像部１０９から得た画像信号をＲＡＷデータとして伝送ケーブル１６５を介してＣＣＵ１３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者１６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部１１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル１６５を介してＣＣＵ１３９に送信される。
　また、通信部１１３は、ＣＣＵ１３９から、カメラヘッド１０５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部１１３は、受信した制御信号をカメラヘッド制御部１１５に提供する。なお、ＣＣＵ１３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部１１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部１１５に提供される。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ１３９の制御部１６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto　Exposure）機能、ＡＦ（Auto　Focus）機能及びＡＷＢ（Auto　White　Balance）機能が内視鏡１０１に搭載される。
　カメラヘッド制御部１１５は、通信部１１３を介して受信したＣＣＵ１３９からの制御信号に基づいて、カメラヘッド１０５の駆動を制御する。例えば、カメラヘッド制御部１１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部１０９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部１１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部１１１を介してレンズユニット１０７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部１１５は、更に、鏡筒１０３やカメラヘッド１０５を識別するための情報を記憶する機能を備えてもよい。
　なお、レンズユニット１０７や撮像部１０９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド１０５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
　次に、ＣＣＵ１３９の機能構成について説明する。通信部１５９は、カメラヘッド１０５との間で各種の情報を送受信するための通信装置によって構成される。通信部１５９は、カメラヘッド１０５から、伝送ケーブル１６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部１５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部１５９は、電気信号に変換した画像信号を画像処理部１６１に提供する。
　また、通信部１５９は、カメラヘッド１０５に対して、カメラヘッド１０５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
　画像処理部１６１は、カメラヘッド１０５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部１６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
　画像処理部１６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部１６１が複数のＧＰＵによって構成される場合には、画像処理部１６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
　制御部１６３は、内視鏡１０１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部１６３は、カメラヘッド１０５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部１６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡１０１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部１６３は、画像処理部１６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
　また、制御部１６３は、画像処理部１６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置１４１に表示させる。この際、制御部１６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部１６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１２１使用時のミスト等を認識することができる。制御部１６３は、表示装置１４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者１６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
　カメラヘッド１０５及びＣＣＵ１３９を接続する伝送ケーブル１６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１６５を用いて有線で通信が行われていたが、カメラヘッド１０５とＣＣＵ１３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル１６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル１６５によって妨げられる事態が解消され得る。
　以上、本開示に係る技術が適用され得る内視鏡手術システム１００の一例について説明した。なお、ここでは、一例として内視鏡手術システム１００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
　＜＜２．技術的特徴＞＞
　続いて、本開示の一実施形態に係る医療用観察システム（換言すると、医療用撮像システム）の技術的特徴について説明する。
　　＜２．１．基本構成＞
　まず、図１を参照して前述したＣＣＵ１３９のように、撮像部により撮像された画像に対して画像処理を施す制御装置（換言すると、画像処理装置）の基本的な機能構成の一例について、特に、手ぶれ等のような画像ぶれを補正する部分に着目して説明する。図３は、本実施形態に係る医療用観察システムにおける制御装置の機能構成の一例を示したブロック図である。
　図３に示すように、本実施形態に係る制御装置２００は、画像処理ユニット２１０と、判定部２５０とを含む。
　画像処理ユニット２１０は、撮像部から所定のフレームレートで入力される画像信号（以下、「入力画像信号」とも称する）に対して各種解析処理を施すことで、手ぶれ等のような画像ぶれを検出し、当該検出結果に基づき入力画像信号に対して各種処理を施すことで、当該画像ぶれを補正する。
　また、本実施形態に係る制御装置２００においては、判定部２５０が、各種状態や状況の検出結果等のような所定の入力情報に応じて、画像ぶれの補正の適用の有無や、補正を適用する場合における当該補正の度合い（換言すると、補正の強度）を制御する。具体的な一例として、判定部２５０は、所定の入力情報に応じて画像ぶれの補正の度合いを制御するための係数を決定し、当該係数を画像処理ユニット２１０に通知することで、当該補正の有無や当該補正の度合いを制御してもよい。なお、入力情報に応じた画像ぶれの補正の度合いの制御の一例については、当該入力情報の具体例とあわせて、実施例として詳細を別途後述する。また、以降の説明においては、画像ぶれの補正を、単に「ぶれ補正」とも称する。また、判定部２５０が、画像ぶれの補正の適用の有無や、当該補正の度合いを制御する「制御部」の一例に相当する。
　ここで、画像処理ユニット２１０の構成についてより詳しく説明する。図３に示すように、画像処理ユニット２１０は、例えば、第１制御部２１１と、特徴点抽出部２１３と、推定部２１５と、第２制御部２１７と、補正処理部２１９とを含む。
　第１制御部２１１は、判定部２５０からの制御に基づき、入力画像信号に対してぶれ補正の適用の有無を設定する。例えば、第１制御部２１１は、判定部２５０によるぶれ補正の適用の有無の判定結果に応じて、入力画像信号に対して当該判定結果に応じた係数（即ち、ぶれ補正の適用の有無に応じた係数）を関連付けてもよい。より具体的な一例として、第１制御部２１１は、ぶれ補正が適用される場合には、ぶれ補正の適用の有無を示す係数として「１」を設定し、ぶれ補正が適用されない場合（即ち、ぶれ補正を抑制する場合）には、当該係数として「０」を設定してもよい。そして、第１制御部２１１は、入力画像信号に対してぶれ補正の適用の有無を示す情報（例えば、ぶれ補正の適用の有無を示す係数）を関連付けて、当該入力画像信号を特徴点抽出部２１３に出力する。
　なお、ぶれ補正の適用の有無について選択的な切り替えが不要な場合（即ち、常にぶれ補正が適用される場合）については、第１制御部２１１が設けられていなくてもよいし、第１制御部２１１が無効化されていてもよい。
　特徴点抽出部２１３は、入力画像信号に対して画像解析を施すことで、エッジ（例えば、しわや模様等）や色の分布等に基づき、画像中から特徴的な部分を特徴点として抽出する。そして、特徴点抽出部２１３は、入力画像信号と、当該入力画像信号から抽出した特徴点に関する情報と、を推定部２１５に通知する。
　推定部２１５は、特徴点抽出部２１３から出力される入力画像信号と特徴点に関する情報とに基づき、画像全体のぶれ（より具体的には、ぶれの方向やぶれの量）を推定する。
　具体的な一例として、推定部２１５は、入力画像信号の画面を所定のサイズのブロックに区切り、ブロックごとに所定フレーム前（例えば、１フレーム前）の入力画像信号と比較することによって、ブロック単位の動きベクトル（以下、「ローカル動きベクトル」とも称する）とその信頼度とを算出する。
　また、推定部２１５は、各フレームのブロックごとのローカル動きベクトルのうち、信頼度の高いものを積分することにより、当該フレームにおける画像全体としての動きベクトル（以下、「グローバル動きベクトル」とも称する）を決定する。また、推定部２１５は、当該該フレームの前の数フレーム分のグローバル動きベクトルを平準化することにより瞬時エラーを除去してもよい。また、推定部２１５は、当該フレーム後の数フレーム分のグローバル動きベクトルを用いて平準化するようにしてもよい。
　また、推定部２１５は、撮像部に設けられた各種センサ（図示を省略する）により検出された加速度や角速度の検出結果と、グローバル動きベクトル及びその信頼度と、に基づき、当該撮像部の対物レンズの移動量を算出する。次いで、推定部２１５は、算出した対物レンズの移動量に基づき、画像全体のぶれ（例えば、画像ぶれの方向やぶれ量）を推定する。
　そして、推定部２１５は、入力画像信号に対して画像全体のぶれの推定結果を示す情報を関連付けて、当該入力画像信号を第２制御部２１７に出力する。
　第２制御部２１７は、推定部２１５から入力画像信号を取得する。また、第２制御部２１７は、取得した入力画像信号に関連付けられたぶれ補正の適用の有無を示す情報に応じて、判定部２５０からの制御に基づき、当該入力画像信号に適用されるぶれ補正の度合い（換言すると、補正強度）を制御する。
　具体的な一例として、第２制御部２１７は、入力画像信号に関連付けられているぶれ補正の適用の有無を示す係数（例えば、「１」または「０」）と、判定部２５０から通知される係数（即ち、ぶれ補正の度合いに応じた係数）とに基づき、ぶれ補正の補正強度（換言すると、ぶれ補正の補正量）を決定する。より具体的な一例として、第２制御部２１７は、入力画像信号に関連付けられた係数と、判定部２５０から通知される係数とを乗ずることで、ぶれ補正の補正強度を示す補正係数（ゲイン）を算出してもよい。これにより、例えば、入力画像信号対してぶれ補正の適用が行われない場合には、当該入力画像信号に関連付けられた係数が「０」のため、ぶれ補正の補正強度を示す補正係数の算出結果も「０」となり、結果として当該ぶれ補正が適用されないこととなる。また、入力画像信号対してぶれ補正の適用が行われる場合には、当該入力画像信号に関連付けられた係数が「１」のため、ぶれ補正の補正強度を示す補正係数は、判定部２５０から通知される係数に応じて決定されることとなる。
　そして、第２制御部２１７は、入力画像信号と、当該入力画像信号について決定したぶれ補正の補正強度を示す情報と、を補正処理部２１９に出力する。なお、ぶれ補正の補正強度を示す情報とは、ぶれ補正を適用の有無や、ぶれ補正の適用の度合いを示す情報に相当し、例えば、一例として上述したぶれ補正の補正係数を示す情報に相当する。
　補正処理部２１９は、第２制御部２１７から入力画像信号を取得し、当該入力画像信号に関連付けられた各種情報に応じて、当該入力画像信号に対してぶれ補正を適用する。
　具体的には、補正処理部２１９は、入力画像信号の全領域（有効画素エリア）から、有効画素エリアよりも小さいサイズの切り出しエリアを切り出すことにより得られる画像信号を、出力画像信号として後段に位置する構成（例えば、表示装置等）に出力する。このとき、補正処理部２１９は、切り出しエリアの位置を、画像全体のぶれに応じたシフト量だけ移動させることにより、当該ぶれを補正する。なお、切り出しエリアの位置（換言すると、画像全体のぶれに応じたシフト量）については、例えば、入力画像信号に関連付けられた画像全体のぶれ推定結果を示す情報（即ち、ぶれの方向やぶれの量を示す情報）に基づき決定すればよい。
　また、補正処理部２１９は、入力画像信号に関連付けられたぶれ補正の補正強度を示す情報に基づき、当該入力画像信号に対して適用するぶれ補正の度合いを制御してもよい。具体的な一例として、補正処理部２１９は、補正強度に応じて、ぶれ補正を適用するか否かを判定する閾値を制御してもよい。この場合には、補正処理部２１９は、ぶれ量が閾値よりも小さい場合にぶれ補正を適用し、補正強度がより高いほど当該閾値がより大きくなるように（即ち、より大きいぶれも補正の対象となるように）制御してもよい。
　また、補正処理部２１９は、ぶれ補正の補正強度を示す情報に基づき、ぶれ補正の補正量を制御してもよい。具体的な一例として、補正処理部２１９は、補正強度がより低いほど、ぶれ補正の補正量（即ち、切り出しエリアの位置のシフト量）がより小さくなるように制限してもよい。
　以上、図３を参照して、撮像部により撮像された画像に対して画像処理を施す制御装置の基本的な機能構成の一例について、特に、手ぶれ等のような画像ぶれを補正する部分に着目して説明した。
　　＜２．２．処理＞
　続いて、図４を参照して、撮像部により撮像された画像に対して画像処理を施す制御装置の一連の処理の流れの一例について、特に、手ぶれ等のような画像ぶれを補正する部分に着目して説明する。図４は、本実施形態に係る医療用観察システムにおける制御装置の一連の処理の流れの一例を示したフローチャートである。
　まず、制御装置２００は、撮像部から所定のフレームレートで出力される画像信号を取得する（Ｓ１０１）。このとき、制御装置２００（第１制御部２１１）は、所定の入力情報に応じて決定したぶれ補正の適用の有無を示す情報を、取得した画像信号（即ち、入力画像信号）に関連付けてもよい。
　次いで、制御装置２００（特徴点抽出部２１３）は、入力画像信号に対して画像解析を施すことで、画像中から特徴的な部分を特徴点として抽出する（Ｓ１０３）。
　また、制御装置２００（推定部２１５）は、特徴点の抽出結果に基づき、画像全体のぶれを推定する。具体的な一例として、制御装置２００は、入力画像信号の画面を所定のサイズのブロックに区切り、ブロックごとに所定フレーム前の入力画像信号と比較することによって、ローカル動きベクトルと、その信頼度とを算出する。また、制御装置２００は、各フレームのブロックごとのローカル動きベクトルのうち、信頼度の高いものを積分することにより、グローバル動きベクトルを決定する。また、制御装置２００は、撮像部に設けられた各種センサにより検出された加速度や角速度の検出結果と、グローバル動きベクトル及びその信頼度と、に基づき、当該撮像部の対物レンズの移動量を算出する。そして、制御装置２００は、算出した対物レンズの移動量に基づき、画像全体のぶれ（例えば、画像ぶれの方向やぶれ量）を推定する（Ｓ１０５）。
　次いで、制御装置２００（第２制御部２１７）は、所定の入力情報に応じて、入力画像信号に適用するぶれ補正の補正強度（即ち、ぶれ補正の度合い）を制御する。具体的な一例として、制御装置２００は、当該入力情報に応じて、入力画像信号に適用するぶれ補正の補正強度を示す係数を決定してもよい（Ｓ２００）。
　そして、制御装置２００（補正処理部２１９）は、画像全体のぶれの推定結果と、所定の入力情報に応じた補正強度と、に基づき、入力画像信号に対してぶれ補正を適用し、当該補正後の画像信号を出力画像信号として、出力画像信号として後段に位置する構成（例えば、表示装置等）に出力する。なお、ぶれ補正の方法については前述した通りのため、詳細な説明は省略する（Ｓ１０７）。
　以上、図４を参照して、撮像部により撮像された画像に対して画像処理を施す制御装置の一連の処理の流れの一例について、特に、手ぶれ等のような画像ぶれを補正する部分に着目して説明した。
　　＜２．３．実施例＞
　続いて、本実施形態に係る医療用観察システムの実施例として、図３を参照して説明した制御装置２００による画像ぶれの補正に係る制御の一例について、入力情報の具体例とあわせて以下に説明する。
　　（実施例１：ズーム倍率に応じた制御）
　まず、実施例１として、図５及び図６を参照して、撮像部のズーム倍率を示す情報を入力情報として、当該ズーム倍率に応じた画像ぶれの補正に係る制御の一例について説明する。図５及び図６は、実施例１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ａ」と称する場合がある。
　例えば、図５は、実施例１に係る制御装置２００ａの機能構成の一例を示している。なお、制御装置２００ａは、主に、判定部２５０ａと、画像処理ユニット２１０ａにおける第１制御部２１１ａ及び第２制御部２１７ａと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ａの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　判定部２５０ａは、例えば、撮像部からズーム倍率の設定に関する情報を入力情報として取得し、当該入力情報に応じて、ぶれ補正の適用の有無を判定し、当該ぶれ補正を適用する場合には適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第１制御部２１１ａは、判定部２５０ａによるズーム倍率に応じた判定結果に基づき、ぶれ補正の適用の有無を制御する。また、第２制御部２１７ａは、判定部２５０ａによるズーム倍率に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
　ここで、図６を参照して、ズーム倍率に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図６は、本実施例におけるズーム倍率とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図６において、横軸はズーム倍率を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
　図６に示すように、本実施例においては、補正強度を制御するための係数は、ズーム倍率が低いほどより小さくなるように設定され、ズーム倍率が高いほどより大きくなるように設定される。また、ズーム倍率が所定の閾値以下の場合に、ぶれ補正が無効化（抑制）されてもよい。
　具体的な一例として、ズーム倍率がより低く設定されている場合には、画像として撮像される範囲（即ち、視野の範囲）がより広くなる。このような状況下で、ぶれ補正の補正強度を強めると、例えば、大きく揺れている鉗子等の術具の動きを示す動きベクトルがグローバル動きベクトルとして採用された場合に、後景に相当する俯瞰像が大きく揺れ、生体等の観察対象を観察しにくくなる場合がある。そのため、このような場合には、例えば、ぶれ補正の補正強度を弱めるか、もしくはぶれ補正を無効化（抑制）することで、生体等の観察対象を観察しやすくなる場合がある。
　また、他の一例として、ズーム倍率がより低く設定されている状況下で、ぶれ補正の補正強度を強めると、有効画素エリアから切り出しエリアを切り出す際に、切り出しエリア以外の部分（例えば、有効画素エリアの端部側）として削られる領域がより広くなる傾向にある。そのため、内視鏡装置のスコープ等が意図的に動かされた場合等のように、撮像部による撮像される範囲が意図的に動かされた場合においてもぶれ補正が適用され、結果として生体等の観察対象を観察しにくくなる場合がある。このような場合においても、例えば、ぶれ補正の補正強度を弱めるか、もしくはぶれ補正を無効化（抑制）することで、生体等の観察対象を観察しやすくなる場合がある。
　なお、図６に示したズーム倍率とぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、ズーム倍率がより高くなるほどぶれ補正の補正強度がより強められるように制御されれば、ズーム倍率と当該係数との関係は必ずしも図６に示す例には限定されない。
　以上、実施例１として、図５及び図６を参照して、撮像部のズーム倍率を示す情報を入力情報として、当該ズーム倍率に応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例２：被写体とのワーキングディスタンスに応じた制御）
　続いて、実施例２として、図７及び図８を参照して、被写体とのワーキングディスタンスを示す情報を入力情報として、当該ワーキングディスタンスに応じた画像ぶれの補正に係る制御の一例について説明する。図７及び図８は、実施例２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｂ」と称する場合がある。また、ワーキングディスタンスとは、撮像部の対物レンズと被写体（例えば、観察対象となる生体）との間の距離を示すものとする。
　例えば、図７は、実施例２に係る制御装置２００ｂの機能構成の一例を示している。なお、制御装置２００ｂは、主に、判定部２５０ｂと、画像処理ユニット２１０ｂにおける第１制御部２１１ｂ及び第２制御部２１７ｂと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｂの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　判定部２５０ｂは、例えば、測距センサ等による撮像部の対物レンズと被写体との間の距離（即ち、ワーキングディスタンス）の検出結果を示す情報を入力情報として取得する。また、他の一例として、判定部２５０ｂは、撮像部により撮像された画像を解析することで算出された、当該撮像部の対物レンズと当該画像中に撮像された被写体との間の距離を示す情報を入力情報として取得してもよい。そして、判定部２５０ｂは、取得した入力情報（即ち、ワーキングディスタンスを示す情報）に応じて、ぶれ補正の適用の有無を判定し、当該ぶれ補正を適用する場合には適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第１制御部２１１ｂは、判定部２５０ｂによるワーキングディスタンスに応じた判定結果に基づき、ぶれ補正の適用の有無を制御する。また、第２制御部２１７ｂは、判定部２５０ｂによるワーキングディスタンスに応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
　ここで、図８を参照して、ワーキングディスタンスに応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図６は、本実施例におけるワーキングディスタンスとぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図６において、横軸はズーム倍率を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
　図８に示すように、本実施例においては、補正強度を制御するための係数は、ワーキングディスタンスが短いほど（即ち、撮像部の対物レンズと被写体との間の距離が近いほど）より小さくなるように設定され、ワーキングディスタンスが長いほど（即ち、撮像部の対物レンズと被写体との間の距離が遠いほど）より大きくなるように設定される。また、ワーキングディスタンスが閾値以上となった場合には、ぶれ補正が無効化（抑制）されてもよい。
　具体的な一例として、ワーキングディスタンスが短いほど（即ち、撮像部の対物レンズと被写体との間の距離が近いほど）、画像として撮像される範囲（即ち、視野の範囲）がより狭くなり、撮像部の対物レンズの移動量に対する画像全体のぶれが相対的により大きくなる。そのため、例えば、ワーキングディスタンスが短いほどぶれ補正の補正強度を強める（即ち、補正強度を制御するための係数をより大きくする）ことで、生体等の観察対象を観察しやすくなる場合がある。
　なお、図８に示したワーキングディスタンスとぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、ワーキングディスタンスがより短くなるほどぶれ補正の補正強度がより強められるように制御されれば、ワーキングディスタンスと当該係数との関係は必ずしも図８に示す例には限定されない。
　以上、実施例２として、図７及び図８を参照して、被写体とのワーキングディスタンスを示す情報を入力情報として、当該ワーキングディスタンスに応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例３：手術時間に応じた制御）
　続いて、実施例３として、図９及び図１０を参照して、手術時間を示す情報を入力情報として、当該手術時間に応じた画像ぶれの補正に係る制御の一例について説明する。図９及び図１０は、実施例３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｃ」と称する場合がある。
　例えば、図９は、実施例３に係る制御装置２００ｃの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｃについては、画像処理ユニット２１０ｃに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｃは、主に、判定部２５０ｂと、画像処理ユニット２１０ｃにおける第２制御部２１７ｂと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｃの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　判定部２５０ｃは、例えば、計時部等による手術時間の計測結果を示す情報を入力情報として取得し、取得した入力情報（即ち、手術時間を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｃは、判定部２５０ｃによる手術時間に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
　ここで、図１０を参照して、手術時間に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図１０は、本実施例における手術時間とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図１０において、横軸は手術時間を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
　図１０に示すように、本実施例においては、手術時間が所定の閾値を超えた場合に、当該手術時間がより長くなるほど補正強度を制御するための係数がより大きくなるように設定される。
　具体的な一例として、内視鏡をスコピストが保持するような状況を想定した場合には、手術時間が長くなるほど当該スコピストに疲労が蓄積されるため、当該内視鏡がよりぶれやすくなることが推測される。このような状況を鑑み、手術時間が長くなるほど、ぶれ補正の補正強度がより強められるように制御してもよい。
　なお、図１０に示した手術時間とぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、手術時間がより長くなるほどぶれ補正の補正強度がより強められるように制御されれば、手術時間と当該係数との関係は必ずしも図１０に示す例には限定されない。
　以上、実施例３として、図９及び図１０を参照して、手術時間を示す情報を入力情報として、当該手術時間に応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例４：手術台の振動に応じた制御）
　続いて、実施例４として、図１１及び図１２を参照して、手術台の振動の検出結果を示す情報を入力情報として、当該手術台の振動に応じた画像ぶれの補正に係る制御の一例について説明する。図１及び図１２は、実施例４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｄ」と称する場合がある。
　例えば、図１１は、実施例４に係る制御装置２００ｄの機能構成の一例を示している。なお、制御装置２００ｄは、主に、判定部２５０ｄと、画像処理ユニット２１０ｄにおける第１制御部２１１ｄ及び第２制御部２１７ｄと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｄの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　判定部２５０ｄは、例えば、振動センサ等のような各種センサによる手術台の振動の検知結果を示す情報を入力情報として取得する。そして、判定部２５０ｄは、取得した入力情報（即ち、手術台の振動を示す情報）に応じて、ぶれ補正の適用の有無を判定し、当該ぶれ補正を適用する場合にはぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第１制御部２１１ｄは、判定部２５０ｄによる手術台の振動に応じた判定結果に基づき、ぶれ補正の適用の有無を制御する。また、第２制御部２１７ｄは、判定部２５０ｄによる手術台の振動に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
　ここで、図１２を参照して、手術台の振動に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図６は、本実施例における手術台の振動とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図６において、横軸は手術台の振動の大きさを示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
　図１２に示すように、本実施例においては、手術台の振動の大きさが所定の閾値を超えた場合に、当該振動がより大きくなるほど補正強度を制御するための係数がより小さくなるように設定される。また、手術台の振動の大きさが閾値以上となった場合には、ぶれ補正が無効化（抑制）されてもよい。
　即ち、本実施例においては、手術台の振動がより大きくなるほど、ぶれ補正の補正強度がより弱めることで、当該ぶれ補正に伴う弊害の顕在化を抑制する。
　なお、図１２に示した手術台の振動の大きさとぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、手術台の振動がより大きくなるほどぶれ補正の補正強度がより弱められるように制御されれば、手術台の振動の大きさと当該係数との関係は必ずしも図１２に示す例には限定されない。
　以上、実施例４として、図１１及び図１２を参照して、手術台の振動の検出結果を示す情報を入力情報として、当該手術時間に応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例５：画面内における術具の占有率に応じた制御）
　続いて、実施例５として、図１３～図１５を参照して、画面内における術具の占有率を示す情報を入力情報として、当該術具の占有率に応じた画像ぶれの補正に係る制御の一例について説明する。図１３～図１５は、実施例５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｅ」と称する場合がある。
　例えば、図１３は、実施例５に係る制御装置２００ｅの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｅについては、画像処理ユニット２１０ｅに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｅは、主に、判定部２５０ｅと、画像処理ユニット２１０ｅにおける第２制御部２１７ｅと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｅの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　判定部２５０ｅは、物体認識技術等に基づき認識された画面内における術具の占有率を示す情報を入力情報として取得する。
　例えば、図１４は、画面内における術具の占有率の認識に係る処理の一例について説明するための説明図である。具体的には、図１４の上側の図において、参照符号Ｖ３０１は、内視鏡等を介して撮像された生体の画像（患部等の画像）の一例を示している。即ち、画像Ｖ３０１においては、観察対象となる生体に加えて、画面内に鉗子３１１及び３１３やガーゼ３１５等の術具が撮像されている。
　また、図１４の下側の図は、上側の図に示した画像Ｖ３０１に対する物体認識技術等を利用したシーン認識処理に基づく、当該画像Ｖ３０１中に撮像された生体以外の物体（例えば、術具等）の認識結果の一例を示している。具体的には、参照符号Ｖ３１１及びＶ３１３で示された領域は、鉗子３１１及び３１３それぞれが画面内に占める領域の認識結果の一例を模式的に示している。また、参照符号Ｖ３１５で示された領域は、ガーゼ３１５が画面内に占める領域の認識結果の一例を模式的に示している。また、参照符号Ｖ３１７は、画面Ｖ３０１に映り込んだ内視鏡の鏡筒等が画面内に占める領域の認識結果の一例を模式的に示している。
　即ち、物体認識技術等を利用することで、画像中に撮像された術具等を認識することにより、例えば、図１４の下側の図に示すように、画面内における術具等の物体（換言すると、生体以外の物体）の占有率を算出することが可能となる。
　そして、判定部２５０ｅは、取得した入力情報（即ち、画面内における術具の占有率を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、図１３に示すように、第２制御部２１７ｅは、判定部２５０ｅによる画面内における術具の占有率に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
　ここで、図１５を参照して、画面内における術具の占有率に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図１５は、本実施例における画面内における術具の占有率とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図１０において、横軸は画面内における術具の占有率を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
　図１５に示すように、本実施例においては、画面内における術具の占有率が所定の閾値を超えた場合に、当該占有率がより高くなるほど補正強度を制御するための係数がより小さくなるように設定される。
　具体的な一例として、画面内における術具の占有率がより高くなるほど、観察対象となる生体が当該術具（即ち、生体以外に被写体）により遮蔽される領域の割合がより高くなる。このような状況下で、生体領域のみから特徴点の抽出が行われると、生体領域の割合がより低くなるほど（即ち、術具等により遮蔽される領域の割合がより高くなるほど）、抽出される特徴点の数はより少なくなる。このような場合には、特徴点の抽出結果に基づき算出される動きベクトルの信頼度が低下するため、当該動きベクトルに基づくぶれ補正のための補正値（例えば、シフト量）の信頼度も低下する。なお、このような特性から、例えば、特徴点を抽出する範囲の設定には、物体認識の結果を使用しない方がより望ましい。また、生体領域以外の部分も含めて特徴点の抽出を行ったとしても、生体以外の領域が多く含まれることとなるため、特徴点の抽出結果に基づき算出される動きベクトルの信頼度が低下し、結果として当該動きベクトルに基づくぶれ補正のための補正値の信頼度も低下する場合がある。
　このように、ぶれ補正のための補正値の信頼度が低下するような状況下において、ぶれ補正の補正強度を強めると、適切な態様でぶれ補正が適用されず、生体等の観察対象を観察しにくくなる場合が想定される。そのため、例えば、画面内における生体以外の領域の占有率（例えば、術具の占有率）がより高くなるほど、ぶれ補正の補正強度をより弱めることで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
　なお、図１５に示した画面内における術具の占有率とぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、画面内における術具の占有率がより高くなるほどぶれ補正の補正強度がより弱められるように制御されれば、当該占有率と当該係数との関係は必ずしも図１５に示す例には限定されない。また、上記では、ぶれ補正の補正強度をより弱める場合の一例について説明したが、術具の占有率がより高くなった場合に、ぶれ補正が無効化（抑制）されるように制御されてもよい。
　以上、実施例５として、図１３～図１５を参照して、画面内における術具の占有率を示す情報を入力情報として、当該術具の占有率に応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例６：観察モードに応じた制御）
　続いて、実施例６として、図１６を参照して、観察モードを示す情報を入力情報として、当該観察モードに応じた画像ぶれの補正に係る制御の一例について説明する。図１６は、実施例６に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｆ」と称する場合がある。また、観察モードとは、例えば、白色光観察、赤外光観察や蛍光観察等の特殊光観察、ＰＤＤ（Photodynamic　diagnosis）等のような観察方法に応じたモードを示している。
　例えば、図１６は、実施例６に係る制御装置２００ｆの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｆについては、画像処理ユニット２１０ｆに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｆは、主に、判定部２５０ｆと、画像処理ユニット２１０ｆにおける第２制御部２１７ｆと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｆの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　判定部２５０ｆ、例えば、観察モードの設定に関する情報を入力情報として取得し、取得した入力情報（即ち、観察モードを示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｆは、判定部２５０ｆによる観察モードに応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
　具体的には、特殊光観察においては、白色光観察に比べて動きベクトルの算出に係る精度が低下する傾向にある。そのため、特殊光観察等のようにフレームレートを落とすような状況下においては、白色光観察の場合と同様に生体等の観察対象を観察できるように、ぶれ補正の補正強度を白色光観察の場合に比べてより強めるとよい。
　以上、実施例６として、図１６を参照して、観察モードを示す情報を入力情報として、当該観察モードに応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例７：モニタと術者との間の距離に応じた制御）
　続いて、実施例７として、図１７及び図１８を参照して、モニタと術者との間の距離を示す情報を入力情報として、当該距離に応じた画像ぶれの補正に係る制御の一例について説明する。図１７及び図１８は、実施例７に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｇ」と称する場合がある。
　例えば、図１７は、実施例７に係る制御装置２００ｇの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｇについては、画像処理ユニット２１０ｇに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｇは、主に、判定部２５０ｇと、画像処理ユニット２１０ｇにおける第２制御部２１７ｇと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｇの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　判定部２５０ｇは、術者と所定のモニタ（例えば、メインモニタ）との間の距離の測定結果を示す情報を入力情報として取得し、取得した入力情報（即ち、術者とモニタとの間の距離を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｇは、判定部２５０ｇによる術者とモニタとの間の距離に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、術者とモニタとの間の距離を示す情報を取得できれば、その方法は特に限定されない。具体的な一例として、術場カメラ等により術者とモニタとが撮像された画像に基づき、当該術者と当該モニタとの間の距離が測定（算出）されてもよい。また、他の一例として、測距センサ等による検出結果に基づき、術者とモニタとの間の距離を示す情報が取得されてもよい。
　ここで、図１８を参照して、術者とモニタとの間の距離に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図１８は、本実施例における術者とモニタとの間の距離とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図１８において、横軸は術者とモニタとの間の距離を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
　図１８に示すように、本実施例においては、術者とモニタとの間の距離が短いほど（即ち、術者がモニタのより近くに位置するほど）、補正強度を制御するための係数がより大きくなるように設定される。また、術者とモニタとの間の距離が所定の閾値を超えた場合には、補正強度を制御するための係数を所定値に維持されてもよい。
　具体的な一例として、術者とモニタとの間の距離がより短くなるほど、術者が知覚する画像ぶれは相対的により大きくなる。このような状況を鑑み、術者とモニタとの間の距離が短くなるほど、ぶれ補正の補正強度がより強められるように制御してもよい。
　なお、図１８に示した手術者とモニタとの間の距離とぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、術者とモニタとの間の距離がより短くなるほどぶれ補正の補正強度がより強められるように制御されれば、術者とモニタとの間の距離と当該係数との関係は必ずしも図１８に示す例には限定されない。
　以上、実施例７として、図１７及び図１８を参照して、モニタと術者との間の距離を示す情報を入力情報として、当該距離に応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例８：モニタサイズに応じた制御）
　続いて、実施例８として、図１９及び図２０を参照して、所定のモニタのモニタサイズを示す情報を入力情報として、当該モニタサイズに応じた画像ぶれの補正に係る制御の一例について説明する。図１９及び図２０は、実施例８に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｈ」と称する場合がある。
　例えば、図１９は、実施例８に係る制御装置２００ｈの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｈについては、画像処理ユニット２１０ｈに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｈは、主に、判定部２５０ｈと、画像処理ユニット２１０ｈにおける第２制御部２１７ｈと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｈの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　判定部２５０ｈは、所定のモニタ（例えば、メインモニタ）のモニタサイズを示す情報を入力情報として取得し、取得した入力情報（即ち、モニタサイズを示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｈは、判定部２５０ｈによるモニタサイズに応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、所定のモニタのモニタサイズを示す情報を取得することが可能であれば、その方法は特に限定されない。具体的な一例として、画像の表示先となるモニタ自体から、当該モニタのモニタサイズを示す情報を取得してもよい。
　ここで、図２０を参照して、モニタサイズに応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図２０は、本実施例におけるモニタサイズとぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図２０において、横軸はモニタサイズを示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
　図２０に示すように、本実施例においては、モニタサイズが大きいほど、補正強度を制御するための係数がより大きくなるように設定される。また、モニタサイズが所定の閾値を超えた場合には、補正強度を制御するための係数を所定値に維持されてもよい。
　具体的な一例として、モニタサイズがより大きくなるほど、モニタに表示される画像のサイズは大きくなり、当該画像のぶれ幅も相対的により大きくなる。このような状況を鑑み、モニタサイズが大きくなるほど、ぶれ補正の補正強度がより強められるように制御してもよい。
　なお、図２０に示したモニタサイズとぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、モニタサイズがより大きくなるほどぶれ補正の補正強度がより強められるように制御されれば、モニタサイズと当該係数との関係は必ずしも図２０に示す例には限定されない。
　以上、実施例８として、図１９及び図２０を参照して、所定のモニタのモニタサイズを示す情報を入力情報として、当該モニタサイズに応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例９：術具の状態に応じた制御）
　続いて、実施例９として、図２１～図２３を参照して、術具の状態を示す情報を入力情報として、当該術具の状態に応じた画像ぶれの補正に係る制御の一例について説明する。図２１～図２３は、実施例９に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｉ」と称する場合がある。
　例えば、図２１は、実施例９に係る制御装置２００ｉの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｉについては、画像処理ユニット２１０ｉに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｉは、主に、判定部２５０ｉと、画像処理ユニット２１０ｉにおける第２制御部２１７ｉと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｉの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　判定部２５０ｉは、例えば、ステープラー、エナジーデバイス、縫合針や糸、デブリッタ等のような術具の状態を示す情報を入力情報として取得し、取得した入力情報（即ち、術具の状態を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｉは、判定部２５０ｉによる術具の状態に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、術具の状態を示す情報を取得することが可能であれば、その方法は特に限定されない。具体的な一例として、対象となる術具、または当該術具を制御する制御部から、当該術具の状態を示す情報を取得してもよい。また、他の一例として、画像に対して画像解析を施すことで、当該画像中に撮像された術具の状態を認識してもよい。
　ここで、図２２を参照して、術具の状態に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図２２は、本実施例における術具の状態に応じたぶれ補正の制御の流れの一例を示したフローチャートである。
　図２２に示すように、制御装置２００ｉ（判定部２５０ｉ）は、所定の術具が検出されたか否かを判定し（Ｓ２０１）、当該術具が検出された場合には（Ｓ２０１、ＹＥＳ）、当該術具に対する所定の操作が検出されたか否かを判定する（Ｓ２０３）。そして、当該術具に対する当該操作が検出された場合には（Ｓ２０３、ＹＥＳ）、制御装置２００ｉ（第２制御部２１７ｉ）は、ぶれ補正の補正強度がより強められるように制御する（Ｓ２０５）。
　例えば、図２３は、検出対象となる術具の一例と、当該術具に対する操作の一例とを示している。具体的には、検出対象となる術具の一例として、「ステープラー」、「エナジーデバイス」、「縫合針や糸」、「デブリッタ」等が挙げられる。また、ステープラーに対する操作の一例としては、例えば、生体等を「挟む」操作や、薬剤等を「発射」する操作等が挙げられる。また、エナジーデバイスに対する操作の一例としては、生体等を「切開」する操作や、「止血」の操作等が挙げられる。また、縫合針や糸に対する操作の一例としては、「縫合」の操作等が挙げられる。また、デブリッタに対する操作の一例としては、病巣等を「切除」する操作が挙げられる。これらの操作が行われる場合には、画像がぶれずに安定していることが望ましい。そのため、当該操作の検出時に、ぶれ補正の補正強度がより強められるように制御することで、画像ぶれの発生を抑制するとよい。
　一方で、図２２に示すように、制御装置２００ｉ（第２制御部２１７ｉ）は、所定の術具が検出されない場合や（Ｓ２０１、ＮＯ）、所定の術具に対する所定の操作が検出されない場合には（Ｓ２０３、ＮＯ）、ぶれ補正の補正強度がより弱められるように制御してもよい（Ｓ２０５）。また、このとき制御装置２００ｉ（第２制御部２１７ｉ）は、ぶれ補正を無効化（抑制）してもよい。
　以上、実施例９として、図２１～図２３を参照して、術具の状態を示す情報を入力情報として、当該術具の状態に応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例１０：ユーザ入力に応じた制御）
　続いて、実施例１０として、図２４及び図２５を参照して、ユーザ入力を入力情報として、当該ユーザ入力に応じた画像ぶれの補正に係る制御の一例について説明する。図２４及び図２５は、実施例１０に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｊ」と称する場合がある。
　例えば、図２４は、実施例１０に係る制御装置２００ｊの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｊについては、画像処理ユニット２１０ｊに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｊは、主に、判定部２５０ｊと、画像処理ユニット２１０ｊにおける第２制御部２１７ｊと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｊの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　本実施例では、所定の入力部を介した操作に基づくユーザからの指示に応じて、ぶれ補正の補正強度が制御される場合の一例について説明する。即ち、判定部２５０ｊは、所定の入力部を介したユーザ入力を入力情報として取得し、取得した入力情報（即ち、ユーザ入力）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｈは、判定部２５０ｈによるユーザ入力に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
　例えば、図２５は、カメラヘッド等に設けられた入力インタフェース１８０の一例を示している。図２５に示す例では、ぶれ補正の補正強度を指定するためのボタン１８１ａ～１８１ｃと、ぶれ補正の無効化を指定するためのボタン１８１ｄとが設けられている。また、図２５に示す例では、ぶれ補正を有効化する場合に、ボタン１８１ａ～１８１ｃのいずれかを操作することで、ぶれ補正の補正強度を、「強」、「中」、及び「弱」の３段階の間で選択的に切り替えることが可能である。
　以上、図２４及び図２５を参照して、ユーザ入力を入力情報として、当該ユーザ入力に応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例１１：ＣＣＵ／光源モードの切り替えに応じた制御）
　続いて、実施例１１として、図２６を参照して、ＣＣＵ／光源モードの切り替えを示す情報を入力情報として、当該切り替えに応じた画像ぶれの補正に係る制御の一例について説明する。図２６は、実施例１１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｋ」と称する場合がある。
　例えば、図２６は、実施例１１に係る制御装置２００ｋの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｋについては、画像処理ユニット２１０ｋに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｋは、主に、判定部２５０ｋと、画像処理ユニット２１０ｋにおける第２制御部２１７ｋと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｋの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　例えば、ＣＣＵに対する操作（例えば、ズーム倍率の変更等）や光源モードの切り替えの操作等により一時的に振動が生じ、結果として一時的に画像ぶれが生じる場合がある。このような場合においてもぶれ補正が適用されると、却って生体等の観察対象を観察しにくくなる場合がある。このような状況を鑑み、本実施例においては、ＣＣＵに対する操作や光源モードの切り替えの操作等の所定の操作が検出された場合に、制御装置２００ｋは、一時的にぶれ補正の補正強度が弱められるように制御するか、もしくは一時的にぶれ補正を無効化する。
　即ち、判定部２５０ｋは、ＣＣＵに対する操作や光源モードの切り替えの操作等の検出結果を示す情報を入力情報として取得し、取得した入力情報（即ち、ＣＣＵに対する操作や光源モードの切り替えの操作等の検出結果を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｈは、判定部２５０ｈによるＣＣＵに対する操作や光源モードの切り替えの操作等の検出結果に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定すればよい。
　なお、制御装置２００ｋは、一時的にぶれ補正の補正強度が弱められるように制御するか、もしくは一時的にぶれ補正を無効化した場合には、一定時間の経過後にぶれ補正の補正強度を制御前の状態に戻してもよい。
　以上、実施例１１として、図２６を参照して、ＣＣＵ／光源モードの切り替えを示す情報を入力情報として、当該切り替えに応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例１２：動きベクトルの算出結果に応じた制御）
　続いて、実施例１２として、図２７を参照して、動きベクトルの算出結果を示す情報を入力情報として、当該動きベクトルの算出結果に応じた画像ぶれの補正に係る制御の一例について説明する。図２７は、実施例１２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｍ」と称する場合がある。
　例えば、図２７は、実施例１２に係る制御装置２００ｍの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｍについては、画像処理ユニット２１０ｍに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｍは、主に、判定部２５０ｍと、画像処理ユニット２１０ｍにおける第２制御部２１７ｍと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｍの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　判定部２５０ｍは、推定部２１５による動きベクトルの推定結果を示す情報を入力情報として取得し、取得した入力情報（即ち、動きベクトルの推定結果を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｍは、判定部２５０ｍによる動きベクトルの推定結果に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
　具体的な一例として、内視鏡の挿入時や、所謂パン操作等のように撮像部を平行移動させるような操作等のように、所定の操作が行われた場合には、当該操作に伴い撮像部の位置や向きが変化し、当該変化が動きベクトルとして検出されることとなる。このような意図的な操作が行われた場合に、当該操作に伴う画像の動きに対しても、ぶれ補正が適用されると、生体等の観察対象を観察しにくくなる場合がある。そのため、例えば、動きベクトルの推定結果が、意図的な操作による撮像部の位置や向きの変化に伴うものであると認識される場合には、補正強度が弱められるように制御するか、もしくは一時的にぶれ補正を無効化することで、生体等の観察対象を観察しやすくなる場合がある。
　なお、動きベクトルの推定結果が、意図的な操作による撮像部の位置や向きの変化に伴うものであることが認識可能であれば、その方法は特に限定されない。例えば、内視鏡の挿入時や、パン操作が行われた場合には、画像全体が一定方向に向けて定常的に変化する場合がある。このような場合には、例えば、複数フレーム間において動きベクトルの推定結果が略等しい方向を示し、動きベクトルの大きさの変化も緩やかになる傾向にある。このような特性を利用し、例えば、画像全体の変化が、瞬時的な変化ではなく、一定方向に向けた定常的な変化であることが認識された場合に、内視鏡の挿入時や、パン操作が行われた場合等のように、意図的な操作により撮像部の位置や向きが変化したものと認識することが可能となる。
　以上、実施例１２として、図２７を参照して、動きベクトルの算出結果を示す情報を入力情報として、当該動きベクトルの算出結果に応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例１３：ＡＦ／ＡＥの検波状況に応じた制御）
　続いて、実施例１３として、図２８を参照して、ＡＦ（Autofocus）／ＡＥ（Automatic　Exposure）の検波状況を示す情報を入力情報として、当該ＡＦ／ＡＥの検波状況に応じた画像ぶれの補正に係る制御の一例について説明する。図２８は、実施例１３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｎ」と称する場合がある。
　例えば、図２８は、実施例１３に係る制御装置２００ｎの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｎについては、画像処理ユニット２１０ｎに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｎは、主に、判定部２５０ｎと、画像処理ユニット２１０ｎにおける第２制御部２１７ｎと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｎの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　判定部２５０ｎは、ＡＦやＡＥの検波状況を示す情報を入力情報として取得し、取得した入力情報（即ち、ＡＦやＡＥの検波状況を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｎは、判定部２５０ｎによるＡＦやＡＥの検波状況に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、ＡＦやＡＥの検波状況を認識することが可能であれば、その方法は特に限定されない。具体的な一例として、撮像部に設けられたイメージセンサ等によるＡＦやＡＥの検波状況を示す情報を、当該撮像部（または、イメージセンサ自体）から取得してもよい。また、他の一例として、撮像画像を解析することで、ＡＦやＡＥの検波状況が推定されてもよい。
　具体的には、ＡＦやＡＥの検波に失敗した場合には、特徴点の抽出や、当該特徴点の抽出結果に基づく動きベクトルの推定が正しく行われず、結果として、ぶれ補正のための補正値の信頼度が低下する場合がある。より具体的な一例として、ＡＦに失敗した場合には、画像にぼけが生じ、エッジ等の特徴点の抽出が困難となる。また、ＡＥに失敗した結果として、画像全体の明度が暗くなると、特徴点の抽出が困難となる。
　このように、ぶれ補正のための補正値の信頼度が低下するような状況下において、ぶれ補正の補正強度を強めると、適切な態様でぶれ補正が適用されず、生体等の観察対象を観察しにくくなる場合が想定される。そのため、例えば、ＡＦやＡＥの検波に失敗した場合には、ぶれ補正の補正強度をより弱めるか、もしくはぶれ補正を一時的に無効化することで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
　以上、実施例１３として、図２８を参照して、ＡＦ（Autofocus）／ＡＥ（Automatic　Exposure）の検波状況を示す情報を入力情報として、当該ＡＦ／ＡＥの検波状況に応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例１４：レンズ汚れの検出結果に応じた制御）
　続いて、実施例１４として、図２９を参照して、レンズ汚れの検出結果を示す情報を入力情報として、当該レンズ汚れの検出結果に応じた画像ぶれの補正に係る制御の一例について説明する。図２９は、実施例１４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｐ」と称する場合がある。
　例えば、図２９は、実施例１４に係る制御装置２００ｐの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｐについては、画像処理ユニット２１０ｐに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｐは、主に、判定部２５０ｐと、画像処理ユニット２１０ｐにおける第２制御部２１７ｐと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｐの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　判定部２５０ｐは、レンズ汚れの検出結果を示す情報を入力情報として取得し、取得した入力情報（即ち、レンズ汚れの検出結果を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｐは、判定部２５０ｐによるレンズ汚れの検出結果に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、レンズ汚れを検出可能であれば、その方法は特に限定されない。例えば、各種センサ等によりレンズ汚れが検出されてもよい。また、他の一例として、撮像画像を解析することで、レンズ汚れが検出されてもよい。
　具体的には、レンズに汚れが付着している状況下では、当該汚れにより生体等のような観察対象となる被写体が遮蔽されたり、画像にぼけが生じたりする場合がある。このような状況下では、特徴点の抽出や、当該特徴点の抽出結果に基づく動きベクトルの推定が正しく行われず、結果として、ぶれ補正のための補正値の信頼度が低下する場合がある。
　このように、ぶれ補正のための補正値の信頼度が低下するような状況下において、ぶれ補正の補正強度を強めると、適切な態様でぶれ補正が適用されず、生体等の観察対象を観察しにくくなる場合が想定される。そのため、例えば、レンズに汚れが付着していることが検出された場合には、ぶれ補正の補正強度をより弱めるか、もしくはぶれ補正を一時的に無効化することで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
　以上、実施例１４として、図２９を参照して、レンズ汚れの検出結果を示す情報を入力情報として、当該レンズ汚れの検出結果に応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例１５：煙やミストの検出結果に応じた制御）
　続いて、実施例１５として、図３０を参照して、煙やミストの検出結果を示す情報を入力情報として、当該煙やミストの検出結果に応じた画像ぶれの補正に係る制御の一例について説明する。図３０は、実施例１５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｑ」と称する場合がある。
　例えば、図３０は、実施例１５に係る制御装置２００ｑの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｑについては、画像処理ユニット２１０ｑに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｑは、主に、判定部２５０ｑと、画像処理ユニット２１０ｑにおける第２制御部２１７ｑと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｑの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
　具体的には、薬剤の噴霧等に伴い生じるミストにより、生体等の観察対象となる被写体が一時的に遮蔽されるような状況が想定される。また、エナジーデバイス等の使用に伴い生じる煙により、生体等の観察対象となる被写体が一時的に遮蔽されるような状況も想定される。このように、煙やミスト等のような視認可能なガス状の物質により、生体等のような観察対象となる被写体が一時的に遮蔽されるような状況下においては、特徴点の抽出や、当該特徴点の抽出結果に基づく動きベクトルの推定が正しく行われず、結果として、ぶれ補正のための補正値の信頼度が低下する場合がある。このように、ぶれ補正のための補正値の信頼度が低下するような状況下において、ぶれ補正の補正強度を強めると、適切な態様でぶれ補正が適用されず、生体等の観察対象を観察しにくくなる場合が想定される。
　そのため、例えば、判定部２５０ｑは、煙やミスト等のような視認可能なガス状の物質の検出結果を示す情報を入力情報として取得し、取得した入力情報（即ち、当該ガス状の物質の検出結果を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定してもよい。即ち、第２制御部２１７ｐは、判定部２５０ｐによる煙やミスト等のような視認可能なガス状の物質の検出結果に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、煙やミスト等のような視認可能なガス状の物質を検出可能であれば、その方法は特に限定されない。例えば、各種センサ等により当該ガス状の物質が検出されてもよい。また、他の一例として、撮像画像を解析することで、当該ガス状の物質が検出されてもよい。
　以上のように、煙やミスト等のような視認可能なガス状の物質が検出された場合には、ぶれ補正の補正強度をより弱めるか、もしくはぶれ補正を一時的に無効化することで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。なお、前述した実施例５と同様の思想に基づき、画面内において煙やミスト等のような視認可能なガス状の物質により生体等の観察対象となる被写体が遮蔽されている割合に応じて、ぶれ補正の補正強度が制御されてもよい。
　以上、実施例１５として、図３０を参照して、煙やミストの検出結果を示す情報を入力情報として、当該煙やミストの検出結果に応じた画像ぶれの補正に係る制御の一例について説明した。
　　（実施例１６：手順に応じた制御の一例）
　続いて、実施例１６として、手術等における手順、補正対象、または手技等に応じて、上述した各実施例を適宜適用する場合の一例について説明する。
　具体的な一例として、消化器外科における手術を想定し、「切開・剥離」、「生検」、「血管処理」の順に各手順が実行されるものとする。このような場合において、例えば、「切開・剥離」の手順では、例えば、画面内における術具の占有率、術具の状態、及び煙やミスト検出結果等を示す各入力情報のうち少なくともいずれかに応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。また、「生検」の手順では、例えば、画面内における術具の占有率及び術具の状態等を示す各入力情報のうち少なくともいずれかに応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。また、「血管処理」の手順では、例えば、ズーム倍率、ワーキングディスタンス、及びレンズ汚れの検出結果等を示す各入力情報のうち少なくともいずれかに応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。
　また、長時間の手術においては、例えば、手術時間に応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。また、術者が移動するような状況下においては、例えば、術者とモニタとの間の距離に応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。
　なお、複数の入力情報に応じて、ぶれ補正の補正強度を制御するための係数が算出されてもよい。このような場合には、例えば、各入力情報に応じた係数を乗算することで、最終的に適用される係数が算出されてもよい。また、利用シーンに応じて、各入力情報に応じた係数に対して重み付けが行われていてもよい。
　以上、実施例１６として、手術等における手順、補正対象、または手技等に応じて、上述した各実施例を適宜適用する場合の一例について説明した。
　＜＜３．適用例＞＞
　続いて、本開示の一実施形態に係る医療用観察システムの適用例として、図３１を参照して、当該医療用観察システムを、顕微鏡ユニットを備えた顕微鏡撮像システムとして構成した場合の一例について説明する。
　図３１は、本開示の一実施形態に係る医療用観察システムの適用例について説明するための説明図であり、顕微鏡撮像システムの概略的な構成の一例について示している。具体的には、図３１には、本開示の一実施形態に係る医療用観察システムが用いられる場合の一適用例として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について示されている。
　例えば、図３１は、手術用ビデオ顕微鏡装置を用いた施術の様子を模式的に表している。具体的には、図３１を参照すると、施術者（ユーザ）８２０である医師が、例えばメス、鑷子、鉗子等の手術用の器具８２１を使用して、施術台８３０上の施術対象（患者）８４０に対して手術を行っている様子が図示されている。なお、以下の説明においては、施術とは、手術や検査等、ユーザ８２０である医師が施術対象８４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図３１に示す例では、施術の一例として手術の様子を図示しているが、手術用ビデオ顕微鏡装置８１０が用いられる施術は手術に限定されず、他の各種の施術であってもよい。
　施術台８３０の脇には手術用ビデオ顕微鏡装置８１０が設けられる。手術用ビデオ顕微鏡装置８１０は、基台であるベース部８１１と、ベース部８１１から延伸するアーム部８１２と、アーム部８１２の先端に先端ユニットとして接続される撮像ユニット８１５とを備える。アーム部８１２は、複数の関節部８１３ａ、８１３ｂ、８１３ｃと、関節部８１３ａ、８１３ｂによって連結される複数のリンク８１４ａ、８１４ｂと、アーム部８１２の先端に設けられる撮像ユニット８１５を有する。図３１に示す例では、簡単のため、アーム部８１２は３つの関節部８１３ａ～８１３ｃ及び２つのリンク８１４ａ、８１４ｂを有しているが、実際には、アーム部８１２及び撮像ユニット８１５の位置及び姿勢の自由度を考慮して、所望の自由度を実現するように関節部８１３ａ～８１３ｃ及びリンク８１４ａ、８１４ｂの数や形状、関節部８１３ａ～８１３ｃの駆動軸の方向等が適宜設定されてもよい。
　関節部８１３ａ～８１３ｃは、リンク８１４ａ、８１４ｂを互いに回動可能に連結する機能を有し、関節部８１３ａ～８１３ｃの回転が駆動されることにより、アーム部８１２の駆動が制御される。ここで、以下の説明においては、手術用ビデオ顕微鏡装置８１０の各構成部材の位置とは、駆動制御のために規定している空間における位置（座標）を意味し、各構成部材の姿勢とは、駆動制御のために規定している空間における任意の軸に対する向き（角度）を意味する。また、以下の説明では、アーム部８１２の駆動（又は駆動制御）とは、関節部８１３ａ～８１３ｃの駆動（又は駆動制御）、及び、関節部８１３ａ～８１３ｃの駆動（又は駆動制御）を行うことによりアーム部８１２の各構成部材の位置及び姿勢が変化される（変化が制御される）ことをいう。
　アーム部８１２の先端には、先端ユニットとして撮像ユニット８１５が接続されている。撮像ユニット８１５は、撮像対象物の画像を取得するユニットであり、例えば動画や静止画を撮像できるカメラ等である。図３１に示すように、アーム部８１２の先端に設けられた撮像ユニット８１５が施術対象８４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置８１０によってアーム部８１２及び撮像ユニット８１５の姿勢や位置が制御される。なお、アーム部８１２の先端に先端ユニットとして接続される撮像ユニット８１５の構成は特に限定されず、例えば、撮像ユニット８１５は、撮像対象物の拡大像を取得する顕微鏡として構成されている。また、撮像ユニット８１５は、当該アーム部８１２に対して着脱可能に構成されていてもよい。このような構成により、例えば、利用用途に応じた撮像ユニット８１５が、アーム部８１２の先端に先端ユニットとして適宜接続されてもよい。なお、当該撮像ユニット８１５として、例えば、前述した実施形態に係る分岐光学系が適用された撮像装置を適用することが可能である。また本説明では、先端ユニットとして撮像ユニット８１５が適用されている場合に着目して説明したが、アーム部８１２の先端に接続される先端ユニットは、必ずしも撮像ユニット８１５に限定されない。
　また、ユーザ８２０と対向する位置には、モニタやディスプレイ等の表示装置８５０が設置される。撮像ユニット８１５によって撮像された施術部位の画像は、表示装置８５０の表示画面に電子画像として表示される。ユーザ８２０は、表示装置８５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置を行う。
　以上のような構成により、手術用ビデオ顕微鏡装置８１０によって施術部位の撮像を行いながら手術を行うことが可能となる。
　＜＜４．ハードウェア構成の一例＞＞
　続いて、図３２を参照しながら、前述した内視鏡手術システムにおけるＣＣＵのように、各種処理を実行する所謂情報処理装置のハードウェア構成の一例について、詳細に説明する。図３２は、本開示の一実施形態に係る医療用観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
　本実施形態に係る医療用観察システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
　ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図３を参照して説明した画像処理ユニット２１０や判定部２５０は、ＣＰＵ９０１により構成され得る。
　ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。
　ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）又は電子機器等であってもよい。
　接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
　通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
　以上、本開示の実施形態に係る医療用観察システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図３２では図示しないが、医療用観察システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
　なお、上述のような本実施形態に係る医療用観察システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
　＜＜５．むすび＞＞
　以上説明したように、本実施形態に係る医療用観察システムにおいて、制御装置２００は、各種状態や状況に応じた入力情報に基づき、画像ぶれの補正の適用の有無や、補正を適用する場合における当該補正の強度を制御する。
　具体的な一例として、制御装置２００は、カメラヘッド等のような撮像部のズーム倍率がより高いほど、画像ぶれの補正の度合いがより強くなるように制御してもよい。換言すると、制御装置２００は、当該ズーム倍率がより低いほど、画像ぶれの補正の度合いがより弱くなるように制御してもよい。このような構成により、例えば、大きく揺れている鉗子等の術具の動きを示す動きベクトルに基づきぶれ補正が行われ、後景に相当する俯瞰像が揺れるような状況においても、ぶれ補正の補正強度が弱められるため、俯瞰像の揺れが抑えられ、結生体等の観察対象をより観察しやすくなる。また、内視鏡装置のスコープ等が意図的に動かされた場合等のように、撮像部による撮像される範囲が意図的に動かされた場合においても、ぶれ補正の補正強度が弱められることで、意図的な動きに対する画像ぶれの補正が抑制され、生体等の観察対象をより観察しやすくなる。
　また、制御装置２００は、画面内（換言すると、入力画像信号）において、生体等のような観察対象となる被写体が、術具や視認可能なガス状の物質等のように当該観察対象とは異なる被写体により遮蔽されている領域の割合に応じて、画像ぶれの補正に関する動作を制御してもよい。より具体的な一例として、制御装置２００は、観察対象となる被写体が、他の被写体により遮蔽されている領域の割合がより高いほど、画像ぶれの補正の度合いを弱め、ひいては画像ぶれの適用を無効化してもよい。このような構成により、例えば、画面内における他の被写体の占有率が増大することで特徴量の抽出が困難となり、ぶれ補正のための補正値の信頼度が低下するような状況下においても、ぶれ補正の補正強度をより弱めることで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
　もちろん上記はあくまで一例であり、本実施形態に係る制御装置２００による画像ぶれの補正に係る制御の内容を限定するものではない。例えば、術具の状態や寝台の動き（振動）等のように、生体等の観察対象の画像の撮像環境に関する情報を、入力情報として利用することが可能である。また、他の一例として、ズーム倍率に限らず、ＡＦ／ＡＥ等のような、生体等の観察対象の画像の撮像条件に関する情報を、入力情報として利用することも可能である。また、入力画像信号から特徴量を抽出することで画像ぶれが推定されるという特性から、当該特徴量の抽出を困難とする要因の検出結果を入力情報として利用してもよい。なお、この場合には、例えば、特徴量の抽出を困難とする要因の検出結果に応じて、画像ぶれの補正の補正強度を弱めたり、当該補正を一時的に無効化することで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、
　前記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御する制御部と、
　を備える、制御装置。
（２）
　前記制御部は、前記ズーム倍率が閾値以下の場合に前記ぶれの補正が抑制されるように制御する、前記（１）に記載の制御装置。
（３）
　前記画像信号から特徴点を抽出する抽出部を備え、
　前記推定部は、前記特徴点の抽出結果に基づき前記画像全体の動きを算出する、
　前記（１）または（２）に記載の制御装置。
（４）
　所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、
　前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御する制御部と、
　を備える、制御装置。
（５）
　前記制御部は、前記領域の割合に応じて、前記ぶれの補正量を制御するための係数を制御する、前記（４）に記載の制御装置。
（６）
　前記制御部は、前記領域の割合がより高いほど前記ぶれの補正の度合いがより弱くなるように、前記係数を制御する、前記（５）に記載の制御装置。
（７）
　前記制御部は、前記領域の割合に応じて、前記ぶれの補正が抑制されるように制御する、前記（４）に記載の制御装置。
（８）
　前記被写体は、術具である、前記（４）～（７）のいずれか一項に記載の制御装置。
（９）
　前記被写体は、視認可能なガス状の物質である、前記（４）～（７）のいずれか一項に記載の制御装置。
（１０）
　前記領域の割合は、前記被写体の認識結果に応じて算出される、前記（４）～（９）のいずれか一項に記載の制御装置。
（１１）
　前記画像信号から特徴点を抽出する抽出部を備え、
　前記推定部は、前記特徴点の抽出結果に基づき前記画像全体の動きを算出する、
　前記（４）～（１０）のいずれか一項に記載の制御装置。
（１２）
　コンピュータが、
　　所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
　記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、
　を含む、制御方法。
（１３）
　コンピュータが、
　所所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
　前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、
　を含む、制御方法。
（１４）
　コンピュータに、
　所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、
　を実行させる、プログラム。
（１５）
　コンピュータに、
　所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
　前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、
　を実行させる、プログラム。
　１００　内視鏡手術システム
　１０１　内視鏡
　１１７　術具
　１２７　支持アーム装置
　１３９　カメラコントロールユニット
　１４１　表示装置
　１４３　光源装置
　１４５　アーム制御装置
　１４７　入力装置
　１４９　処置具制御装置
　１５１　気腹装置
　１５３　レコーダ
　１５５　プリンタ
　２００　制御装置
　２１０　画像処理ユニット
　２１１　第１制御部
　２１５　推定部
　２１７　第２制御部
　２１９　補正処理部
　２５０　判定部

Claims (15)

  1. 　医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、
    　前記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御する制御部と、
    　を備える、制御装置。
  2. 　前記制御部は、前記ズーム倍率が閾値以下の場合に前記ぶれの補正が抑制されるように制御する、請求項１に記載の制御装置。
  3. 　前記画像信号から特徴点を抽出する抽出部を備え、
    　前記推定部は、前記特徴点の抽出結果に基づき前記画像全体の動きを算出する、
    　請求項１に記載の制御装置。
  4. 　医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、
    　前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御する制御部と、
    　を備える、制御装置。
  5. 　前記制御部は、前記領域の割合に応じて、前記ぶれの補正量を制御するための係数を制御する、請求項４に記載の制御装置。
  6. 　前記制御部は、前記領域の割合がより高いほど前記ぶれの補正の度合いがより弱くなるように、前記係数を制御する、請求項５に記載の制御装置。
  7. 　前記制御部は、前記領域の割合に応じて、前記ぶれの補正が抑制されるように制御する、請求項４に記載の制御装置。
  8. 　前記被写体は、術具である、請求項４に記載の制御装置。
  9. 　前記被写体は、視認可能なガス状の物質である、請求項４に記載の制御装置。
  10. 　前記領域の割合は、前記被写体の認識結果に応じて算出される、請求項４に記載の制御装置。
  11. 　前記画像信号から特徴点を抽出する抽出部を備え、
    　前記推定部は、前記特徴点の抽出結果に基づき前記画像全体の動きを算出する、
    　請求項４に記載の制御装置。
  12. 　コンピュータが、
    　医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
    　記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、
    　を含む、制御方法。
  13. 　コンピュータが、
    　医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
    　前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、
    　を含む、制御方法。
  14. 　コンピュータに、
    　医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
    記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、
    　を実行させる、プログラム。
  15. 　コンピュータに、
    　医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
    　前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、
    　を実行させる、プログラム。
PCT/JP2018/004051 2017-03-16 2018-02-06 制御装置、制御方法、及びプログラム WO2018168261A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/491,714 US10904437B2 (en) 2017-03-16 2018-02-06 Control apparatus and control method
JP2019505769A JPWO2018168261A1 (ja) 2017-03-16 2018-02-06 制御装置、制御方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-051183 2017-03-16
JP2017051183 2017-03-16

Publications (1)

Publication Number Publication Date
WO2018168261A1 true WO2018168261A1 (ja) 2018-09-20

Family

ID=63523563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/004051 WO2018168261A1 (ja) 2017-03-16 2018-02-06 制御装置、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US10904437B2 (ja)
JP (1) JPWO2018168261A1 (ja)
WO (1) WO2018168261A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009127A1 (ja) * 2018-07-06 2020-01-09 ソニー株式会社 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP2020155979A (ja) * 2019-03-20 2020-09-24 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
JP2020155980A (ja) * 2019-03-20 2020-09-24 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
WO2021020132A1 (ja) * 2019-07-29 2021-02-04 ソニー株式会社 内視鏡手術システム、画像処理装置、および画像処理方法
US20220188988A1 (en) * 2019-03-29 2022-06-16 Sony Group Corporation Medical system, information processing device, and information processing method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017208615A1 (de) * 2017-05-22 2018-11-22 Carl Zeiss Microscopy Gmbh Verfahren und Adapter zur Adaption eines Mikroskopobjektivs an ein Digitalmikroskop
WO2019087904A1 (ja) * 2017-11-01 2019-05-09 ソニー株式会社 手術アームシステム及び手術アーム制御システム
EP4024115A4 (en) * 2019-10-17 2022-11-02 Sony Group Corporation Surgical information processing device, surgical information processing method, and surgical information processing program
US20230090615A1 (en) * 2020-03-11 2023-03-23 Sony Olympus Medical Solutions Inc. Medical image processing device and medical observation system
US20220394171A1 (en) * 2021-06-02 2022-12-08 Qualcomm Incorporated Low power object detection

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065690A (ja) * 2010-09-21 2012-04-05 Olympus Corp 内視鏡装置及び内視鏡装置の制御方法
JP2012085696A (ja) * 2010-10-15 2012-05-10 Olympus Corp 画像処理装置、画像処理装置の制御方法及び内視鏡装置
JP2014064657A (ja) * 2012-09-25 2014-04-17 Canon Inc 立体内視鏡装置
JP2015096237A (ja) * 2015-01-30 2015-05-21 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
WO2015111263A1 (ja) * 2014-01-24 2015-07-30 オリンパス株式会社 立体内視鏡画像処理装置
JP2015139646A (ja) * 2014-01-30 2015-08-03 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
JP2016131276A (ja) * 2015-01-13 2016-07-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
WO2016158119A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置
WO2017169139A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 画像処理装置、画像処理方法及び医療システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3380918B2 (ja) * 1993-02-12 2003-02-24 ソニー株式会社 ビデオカメラ及びビデオ再生装置
JP5177999B2 (ja) * 2006-12-05 2013-04-10 株式会社半導体エネルギー研究所 液晶表示装置
JPWO2008099685A1 (ja) * 2007-02-01 2010-05-27 ソニー株式会社 画像再生装置と画像再生方法および撮像装置とその制御方法
US8558913B2 (en) * 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
JP5562808B2 (ja) * 2010-11-11 2014-07-30 オリンパス株式会社 内視鏡装置及びプログラム
JP5864880B2 (ja) * 2011-04-07 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2012239644A (ja) * 2011-05-19 2012-12-10 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法
KR20160117440A (ko) * 2013-12-31 2016-10-10 메모리얼 슬로안-케터링 캔서 센터 실시간 형광 소스들의 다채널 이미징을 위한 시스템들, 방법들 및 장치
US10052162B2 (en) * 2015-08-24 2018-08-21 Synaptive Medical (Barbados) Inc. Medical imaging system for illuminating tissue samples using three-dimensional structured illumination microscopy
WO2017122349A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065690A (ja) * 2010-09-21 2012-04-05 Olympus Corp 内視鏡装置及び内視鏡装置の制御方法
JP2012085696A (ja) * 2010-10-15 2012-05-10 Olympus Corp 画像処理装置、画像処理装置の制御方法及び内視鏡装置
JP2014064657A (ja) * 2012-09-25 2014-04-17 Canon Inc 立体内視鏡装置
WO2015111263A1 (ja) * 2014-01-24 2015-07-30 オリンパス株式会社 立体内視鏡画像処理装置
JP2015139646A (ja) * 2014-01-30 2015-08-03 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
JP2016131276A (ja) * 2015-01-13 2016-07-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
JP2015096237A (ja) * 2015-01-30 2015-05-21 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
WO2016158119A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置
WO2017169139A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 画像処理装置、画像処理方法及び医療システム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009127A1 (ja) * 2018-07-06 2020-01-09 ソニー株式会社 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP2020155979A (ja) * 2019-03-20 2020-09-24 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
JP2020155980A (ja) * 2019-03-20 2020-09-24 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
JP7301567B2 (ja) 2019-03-20 2023-07-03 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
JP7349808B2 (ja) 2019-03-20 2023-09-25 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
US11835737B2 (en) 2019-03-20 2023-12-05 Nintendo Co., Ltd. Image display system, non-transitory storage medium having stored therein image display program, image display apparatus, and image display method
US20220188988A1 (en) * 2019-03-29 2022-06-16 Sony Group Corporation Medical system, information processing device, and information processing method
US12136196B2 (en) * 2019-03-29 2024-11-05 Sony Group Corporation Medical system, information processing device, and information processing method
WO2021020132A1 (ja) * 2019-07-29 2021-02-04 ソニー株式会社 内視鏡手術システム、画像処理装置、および画像処理方法
JP7600987B2 (ja) 2019-07-29 2024-12-17 ソニーグループ株式会社 内視鏡手術システム、画像処理装置、および画像処理方法
US12182974B2 (en) 2019-07-29 2024-12-31 Sony Group Corporation Endoscopic surgery system, image processing apparatus, and image processing method

Also Published As

Publication number Publication date
US20200084379A1 (en) 2020-03-12
US10904437B2 (en) 2021-01-26
JPWO2018168261A1 (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
US12169175B2 (en) Imaging system
WO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
JP7074065B2 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2018123613A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP2023164610A (ja) 画像処理装置、画像処理方法および画像処理システム
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム
WO2019181242A1 (ja) 内視鏡及びアームシステム
WO2018173605A1 (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
US20230047294A1 (en) Medical image generation apparatus, medical image generation method, and medical image generation program
WO2020116067A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP7544033B2 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7480779B2 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム
JPWO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2021044900A1 (ja) 施術システム、画像処理装置、画像処理方法、及びプログラム
WO2020084917A1 (ja) 医療システム及び情報処理方法
WO2020184228A1 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、及び医療用観察システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18768257

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019505769

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18768257

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载