+

WO2018158946A1 - 細胞観察装置 - Google Patents

細胞観察装置 Download PDF

Info

Publication number
WO2018158946A1
WO2018158946A1 PCT/JP2017/008567 JP2017008567W WO2018158946A1 WO 2018158946 A1 WO2018158946 A1 WO 2018158946A1 JP 2017008567 W JP2017008567 W JP 2017008567W WO 2018158946 A1 WO2018158946 A1 WO 2018158946A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
intensity
phase
observation
unit
Prior art date
Application number
PCT/JP2017/008567
Other languages
English (en)
French (fr)
Inventor
祐輔 青位
克利 木村
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to JP2019502415A priority Critical patent/JPWO2018158946A1/ja
Priority to PCT/JP2017/008567 priority patent/WO2018158946A1/ja
Priority to CN201780087942.XA priority patent/CN110383044A/zh
Priority to US16/489,949 priority patent/US20200233379A1/en
Publication of WO2018158946A1 publication Critical patent/WO2018158946A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/1454—Optical arrangements using phase shift or interference, e.g. for improving contrast
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447—In-line recording arrangement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0452—Digital holography, i.e. recording holograms with digital recording means arranged to record an image of the object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/10—Modulation characteristics, e.g. amplitude, phase, polarisation
    • G03H2210/12—Phase modulating object, e.g. living cell
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/50—Nature of the object
    • G03H2210/55—Having particular size, e.g. irresolvable by the eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a cell observation apparatus for observing the state of a cell, and more specifically, a phase image and an intensity image of an object obtained by arithmetic processing on a hologram obtained by recording a fringe between an object wave and a reference wave obtained by a digital holography microscope.
  • the present invention relates to a cell observation apparatus that creates the above.
  • the object light reflected or transmitted from the light source by the light source and the reference light directly reaching from the same light source acquire the interference fringes (hologram) formed on the detection surface of the image sensor or the like,
  • hologram interference fringes
  • an intensity image and a phase image are created as a reconstructed image of the object.
  • a reconstructed image at an arbitrary distance can be formed at the stage of arithmetic processing for phase recovery after acquiring a hologram. For this reason, it is not necessary to focus each time when photographing, and the measurement time can be shortened.
  • a reconstructed image in which the focal position is appropriately changed can be created, and the observation object can be observed in detail.
  • a cell culture vessel such as a cell culture plate in which cells are cultured is set at a predetermined position of the holographic microscope, and the cell culture is performed.
  • Collect hologram data for the entire container or part of it.
  • unstained cells can be favorably observed on a phase image.
  • the phase information obtained by computation processing such as back light propagation calculation based on hologram data reflects only information about an object having a relatively small optical thickness such as a cell, that is, a low phase difference, and the optical thickness is reflected in the cell. Information about objects such as containers that are much larger than those is hardly reflected. This is because, with a general holographic microscope, in principle, it is difficult to measure only the optical thickness of the wavelength of the light source used.
  • the present invention has been made to solve the above-mentioned problems, and in a cell observation apparatus that creates and displays a phase image or the like based on hologram data obtained by a holographic microscope, it is desirable to observe biological cells satisfactorily.
  • the main purpose is to enable the observer to easily grasp the position in the cell culture container where the position being observed is.
  • Another object of the present invention is to provide a cell observation apparatus that allows an observer to easily grasp the contamination of a large foreign object compared to cells.
  • the present invention made to solve the above problems is a cell observation device using a holographic microscope, a) an arithmetic processing unit that calculates a two-dimensional distribution of phase information and intensity information about the sample based on hologram data obtained by measuring a sample containing cells with the holographic microscope; b) an image creation unit that creates a phase image and an intensity image for the entire observation target region of the sample or a part thereof based on the two-dimensional distribution of the phase information and the intensity information obtained by the arithmetic processing unit; , c) a display processing unit created by the image creation unit, forming a display screen in which phase images and intensity images for the same range on the sample are arranged and displayed on the display unit; It is characterized by having.
  • the holographic microscope may be any of an inline type, an off-axis type, a phase shift type, etc., regardless of the method.
  • the sample is a cell culture container
  • the maximum area where hologram data can be acquired by the holographic microscope is the entire cell culture container or a partial area thereof.
  • the cell culture container include a cell culture plate in which one or a plurality of wells are formed, a petri dish, and a culture flask for mass culture. Therefore, the cell observation apparatus according to the present invention is a suitable apparatus for observing living cells in culture in such a cell culture container.
  • the arithmetic processing unit performs a predetermined arithmetic processing based on hologram data obtained by measuring a sample with a holographic microscope, thereby obtaining a two-dimensional distribution of phase information and intensity. Each two-dimensional distribution of information is obtained.
  • the image creation unit creates the phase image and the intensity image by associating the calculated phase information and intensity information with each pixel of the two-dimensional image.
  • a phase image and an intensity image can be created using the entire cell culture plate as an observation target region.
  • it is also possible to create a phase image and an intensity image not for the entire cell culture plate but only for a part of the area.
  • the display processing unit forms a display screen created by the image creation unit, in which phase images and intensity images for the same range on the sample are arranged in a horizontal direction or a vertical direction, and the display screen is displayed on the display unit.
  • the phase image and the intensity image may be displayed in gray scale or color scale, respectively.
  • the shape of the well on the cell culture plate can hardly be identified in the phase image, but the outline and pattern of colorless and transparent cells that are hardly visible in the intensity image clearly appear.
  • the intensity image is substantially the same as the optical microscopic image, an object having a large optical thickness or a large step that cannot be seen on the phase image, such as the shape of a well, clearly appears in the intensity image. Therefore, the observer confirms the position of the focused cell on the phase image, and grasps on the intensity image whether the cell is located in the cell culture plate or in the well. be able to. Further, detailed observation of the size and shape of the cells can be performed on the phase image. In addition, foreign objects such as human hair, dust, and plastic strips that are larger in size than cultured cells may not be clearly visible on the phase image, but these foreign objects can be clearly identified on the intensity image. .
  • An operation unit for the user to perform an operation of changing the magnification or moving the observation position for either one of the phase image or the intensity image displayed on the screen of the display unit by the display processing unit;
  • the image creation unit creates a phase image or intensity image in which one magnification of a phase image or an intensity image that is an operation target is changed or an observation position is moved according to an operation by the operation unit, and the phase image Or, for the other of the intensity images, create a phase image or intensity image in which the magnification is changed by the same amount as the operation for one of the phase image or the intensity image or the observation position is moved,
  • the display processing unit may be configured to display on the display screen a phase image and an intensity image after the magnification is changed by the image creation unit or after the observation position is moved.
  • the image creation unit recognizes the designated range and creates a relatively high-resolution intensity image obtained by enlarging the range by an appropriate magnification.
  • a phase image with a relatively high resolution is created by enlarging the designated range by the same magnification as the intensity image.
  • the display processing unit updates the image displayed on the display unit immediately before that to a new, that is, enlarged phase image and intensity image. Thereby, the observer can perform detailed observation of the cells on the enlarged phase image.
  • the display processing unit is configured to display an image obtained by superimposing a phase image displayed at that time and a mark indicating an observation range of the intensity image on the same screen on a thumbnail image obtained by reducing the intensity image of the entire observation target region. It is good to do.
  • the observer can observe the living cells satisfactorily using the phase image, and the range under observation is determined by the intensity image displayed simultaneously with the phase image. It is possible to easily grasp which area in the cell culture container such as the culture plate. Thereby, the efficiency of cell observation is improved, and it is possible to prevent erroneous observation of a region not intended by the observer. In addition, when an undesirable foreign matter such as human hair, dust, or plastic strip is mixed in the cell culture container, the observer can easily grasp and remove the foreign matter from the intensity image.
  • the block diagram of the principal part of the cell observation apparatus which is one Example of this invention.
  • the conceptual diagram for demonstrating the image creation process in the cell observation apparatus of a present Example The schematic diagram which shows the image display screen in the cell observation apparatus of a present Example. Schematic of the information display column in FIG.
  • the conceptual diagram for demonstrating the image creation process at the time of changing observation magnification in the cell observation apparatus of a present Example The conceptual diagram which shows the relationship of the image from which the magnification (resolution) differs in the cell observation apparatus of a present Example.
  • FIG. 1 It is a figure which shows the example of the phase image and intensity image which are displayed in the cell observation apparatus of a present Example, (a) is a display image at the time of low magnification, (b) is a figure which shows the display image at the time of high magnification .
  • FIG. 1 is a configuration diagram of a main part of the cell observation apparatus of this embodiment.
  • the cell observation apparatus of the present embodiment includes a microscope observation unit 1, a control / processing unit 2, an input unit 3 and a display unit 4 which are user interfaces.
  • the microscopic observation unit 1 is an in-line holographic microscope (IHM), and includes a light source unit 10 including a laser diode and an image sensor unit 11, and is provided between the light source unit 10 and the image sensor unit 11.
  • a cell culture plate 12 including cells 13 to be observed is arranged.
  • the cell culture plate 12 is movable in two axial directions, ie, an X axis and a Y axis, which are orthogonal to each other, by a moving unit 14 including a drive source such as a motor.
  • the control / processing unit 2 controls the operation of the microscopic observation unit 1 and processes data acquired by the microscopic observation unit 1, and includes an imaging control unit 20, a measurement data storage unit 21, an arithmetic processing unit 22, and an image.
  • a creation unit 23, an image data storage unit 24, a display processing unit 25, a display image creation unit 26, an operation reception processing unit 27, and the like are provided as functional blocks.
  • the entity of the control / processing unit 2 is a personal computer or a higher-performance workstation, and the function of each functional block described above is operated by operating dedicated control / processing software installed on the computer. Is realized. Therefore, the input unit 3 includes a pointing device such as a keyboard and a mouse. Further, as will be described later, the function of the control / processing unit 2 may be shared by a plurality of computers connected via a communication network instead of a single computer.
  • FIGS. 2 is a conceptual diagram for explaining image creation processing in the cell observation apparatus of the present embodiment
  • FIG. 3 is a schematic diagram showing an image display screen in the cell observation apparatus of the present embodiment
  • FIG. 4 is an information display in FIG.
  • FIG. 5 is a conceptual diagram for explaining an image creation process when changing the observation magnification in the cell observation apparatus of the present embodiment
  • FIG. 6 is an image with different magnifications in the cell observation apparatus of the present embodiment. It is a conceptual diagram which shows the relationship.
  • An observer sets a cell culture plate 12 on which cells (pluripotent cells) 13 to be observed are cultured at a predetermined position of the microscopic observation unit 1, and an identification number, a measurement date and time, etc. for specifying the cell culture plate 12 Is input from the input unit 3 and the measurement execution is instructed.
  • the imaging control unit 20 controls each part of the microscopic observation unit 1 and acquires hologram data for the monitoring target region as follows.
  • CMOS image sensors are installed on the same XY plane of the image sensor unit 11. These four CMOS image sensors are respectively responsible for photographing four quadrant ranges 51 obtained by dividing the entire cell culture plate 12 shown in FIG. 2A into four equal parts.
  • the range in which one CMOS image sensor can be photographed at a time is a rectangular range 52 including only one well 50 in the four-divided range 51 as shown in FIGS.
  • This is a range corresponding to an imaging unit 53 obtained by dividing into 10 equal parts in the X axis direction and 12 equal parts in the Y axis direction.
  • the four CMOS image sensors are near the four apexes of a rectangle having a long side corresponding to 15 imaging units in the X-axis direction and a short side corresponding to 12 imaging units in the Y-axis direction.
  • the four different imaging units of the cell culture plate 12 are simultaneously photographed.
  • these numerical values are merely examples, and it goes without saying that they can be changed as appropriate.
  • the light source unit 10 irradiates a predetermined region of the cell culture plate 12 with coherent light having a minute angle spread of about 10 °.
  • the coherent light (object light 16) transmitted through the cell culture plate 12 and the cell 13 reaches the image sensor unit 11 while interfering with the light (reference light 15) transmitted through the area close to the cell 13 on the cell culture plate 12.
  • the object light 16 is light whose phase has changed when passing through the cell 13.
  • the reference light 15 is light that does not pass through the cell 13 and therefore does not undergo phase change caused by the cell 13.
  • the cell culture plate 12 is moved stepwise by the moving unit 14 by a distance corresponding to the size of the imaging unit 53 in the XY plane. Thereby, the irradiation area of the coherent light emitted from the light source unit 10 moves on the cell culture plate 12, and each CMOS image sensor in the image sensor unit 11 acquires hologram data corresponding to one imaging unit 53. Can do.
  • the cell culture plate 12 is moved stepwise by the moving unit 14 180 times corresponding to the number of imaging units 53 included in one quadrant 51, and hologram data is acquired for each movement. Further, the wavelength of the coherent light emitted from the light source unit 10 is changed in a plurality of stages (for example, four stages), and hologram data is collected for each wavelength light. In this way, the microscopic observation unit 1 can obtain the hologram data for the entire cell culture plate 12 without omission.
  • the hologram data obtained by the image sensor unit 11 of the microscopic observation unit 1 is sequentially sent to the control / processing unit 2 and stored in the measurement data storage unit 21.
  • the arithmetic processing unit 22 reads out hologram data for a plurality of wavelengths for each of the imaging units 53 from the measurement data storage unit 21, and calculates back propagation of light.
  • phase information and intensity information reflecting the optical thickness of the cell 13. That is, a two-dimensional distribution of phase information and intensity information is obtained for each imaging unit 53.
  • the image creating unit 23 performs a tiling process (see FIG. 2D) for joining phase images in a narrow range based on the two-dimensional distribution of phase information calculated for each imaging unit 53 as described above.
  • a phase image of the observation target region, that is, the entire cell culture plate 12 is created.
  • the image creating unit 23 performs a tiling process that joins intensity images in a narrow range based on the two-dimensional distribution of intensity information calculated for each imaging unit 53, so that the observation target region, that is, the entire cell culture plate 12 is processed. Create an intensity image.
  • an appropriate correction process may be performed so that the joint is smooth.
  • Image data constituting the phase image and the intensity image created in this way is stored in the image data storage unit 24.
  • the phase image and intensity image created at this time are images having the highest resolution determined by the spatial resolution of the hologram data (that is, the spatial resolution of the CMOS image sensor) and the like.
  • the display processing unit 25 displays an image as shown in FIG. 3 according to the operation received through the operation reception processing unit 27.
  • a screen 100 is created and displayed on the display unit 4.
  • the image display screen 100 includes an information display column 110, an image display column 120, and a thumbnail image display column 130.
  • the image display column 120 includes a first image display frame 121 and a first frame arranged side by side.
  • a two-image display frame 122 is provided.
  • the information display column 110 includes a display image selection check box 111 for selecting the type of image (phase image, intensity image, pseudo phase image) to be displayed in the image display column 120, and the image display column 120 at that time.
  • a navigator image 112 for indicating the observation range and position of the image displayed on the screen by marking on the observation target area is arranged.
  • a check mark is added to the phase image and the intensity image, and first and second image display frames 121 and 122 are provided to display the two types of images simultaneously.
  • first and second image display frames 121 and 122 are provided to display the two types of images simultaneously.
  • thumbnail image display field 130 images corresponding to past measurement dates and times (in this case, intensity images of the entire shooting target area) are displayed as thumbnail images.
  • the type of image displayed here and the measurement date and time can be freely specified by the observer.
  • the display image creation unit 26 reads out image data that constitutes the type of image (here, phase image and intensity image) with a check mark in the display image selection check box 111 and displays the display image to be rendered in the image display field 120. create. For example, on the initial screen, a display image of the entire observation target region may be created. Thus, the phase image of the entire observation target region is displayed in the first image display frame 121 of the image display screen 100, and the intensity image of the same entire observation target region is displayed in the second image display frame 122. However, since the aspect ratio of the image display frames 121 and 122 does not match the aspect ratio of the entire observation target region, actually, a part of the image of the entire observation target region is cut out and displayed in the image display frames 121 and 122. .
  • the image data stored in the image data storage unit 24 corresponds to the image with the highest resolution, but the image display frames 121 and 122 in which the number of display pixels (screen pixel number or screen resolution) is determined. In order to display an image, a display image with a reduced resolution according to the number of screen pixels is created.
  • FIGS. 6A, 6B, and 6C are examples of low-resolution, medium-resolution, and high-resolution images for the same observation target region, and are one rectangular region that is divided into a grid pattern in the drawing. Corresponds to one pixel on the display.
  • one pixel of the low resolution image (see FIG. 6A) is 4 pixels in the medium resolution image (see FIG. 6B), and 16 pixels in the high resolution image (see FIG. 6C). It corresponds to.
  • the image data stored in the image data storage unit 24 is image data constituting a high-resolution image as shown in FIG. 6C
  • the image display on the screen of the display unit 4 that displays this image data.
  • the number of pixels in the frame is as shown in FIG. 6A, it is necessary to form a display image after reducing the resolution by binning processing or the like. This is the same for both phase images and intensity images.
  • Image data constituting an intensity image 200 as shown in FIG. 5B and a phase image 210 as shown in FIG. 5C are obtained for the entire cell culture plate 12 as shown in FIG. 5A. It is assumed that At this time, a partial image 122A corresponding to a partial range 201 in the intensity image 200 is displayed in the second image display frame 122 in the image display screen 100 shown in FIG. On the other hand, a partial image 121A corresponding to a partial range 211 in the phase image 210 is displayed in the first image display frame 121 in the image display screen 100 shown in FIG.
  • a partial range 201 in the intensity image 200 and a partial range 211 in the phase image 210 are exactly the same range on the cell culture plate 12. That is, the display image creation unit 26 creates images in the same range when creating a plurality of types of display images. Then, the display processing unit 25 presents the created phase image and intensity image on the image display screen 100 to the observer.
  • FIG. 7A is a diagram showing a phase image and an intensity image that are actually displayed when the observation magnification is low. It can be seen that the outer shape of the well can hardly be identified in the phase image, but it can be clearly observed in the intensity image. As described above, since the observation range of both images is exactly the same, the observer can select the position and range to be observed in detail based on the intensity image.
  • the observer When the observer wants to perform detailed observation of cells existing in a predetermined observation range determined based on the intensity image, the observer designates a desired position on the intensity image and a desired range by the input unit 3. Operate the enlarged display.
  • the display image creation unit 26 that has received this instruction through the operation reception processing unit 27 enlarges the intensity image so that the intensity image corresponding to the designated small range 202 is displayed on the entire second image display frame 122. 122B is created.
  • the display image creation unit 26 also expands the phase image so that a phase image corresponding to the same small range 212 as the specified small range 202 is displayed on the entire first image display frame 121. An image 121B is created.
  • the display processing unit 25 displays the enlarged phase image and intensity image on the first and second image display frames 121 and 122 of the image display screen 100, respectively (updates the display).
  • the intensity image but also the phase image is enlarged and displayed in response to the enlargement operation on the intensity image of the observer.
  • not only the enlargement / reduction operation but also the operation of moving the observation range without changing the observation magnification, and when the operation of moving the observation range of the intensity image is performed, the intensity image is changed according to the operation.
  • the observation range with the phase image moves.
  • the intensity image and the phase image are both enlarged / reduced and the observation range of these images is moved accordingly.
  • the observation position of the phase image and the intensity image currently displayed in the image display column 120 can be grasped by the marking displayed in the navigator image 112 in the information display column 110.
  • FIG. 7B is a diagram showing an actual measurement example of the phase image and the intensity image displayed when the observation magnification is high. From this figure, it can be seen that the shape or the like of each cell is not very visible in the intensity image, but can be clearly observed in the phase image. As described above, in the cell observation apparatus according to the present embodiment, the cell can be observed in detail on the high-magnification phase image after determining the observation position and range on the low-magnification intensity image.
  • FIG. 8 is a diagram showing an actual measurement example of a phase image and an intensity image when a human hair piece is mixed in the cell observation device of this example.
  • the size of the hair piece is about 0.5 mm, but is considerably larger than the cells in culture.
  • the color of the image is almost the same as the color of the surrounding cells, so that it is difficult for the observer to grasp.
  • the hair piece can be clearly observed in the intensity image. Thereby, the observer can grasp
  • the case of observing cells in culture on the cell culture plate is taken as an example.
  • other various cell culture containers such as a culture flask and a petri dish may be used. Needless to say.
  • the constituent members of these containers can be clearly observed in the intensity image even if they are not sufficiently visible in the phase image.
  • a personal computer connected to the microscopic observation unit 1 is used as a terminal device, and a computer system in which this terminal device and a server that is a high-performance computer are connected via a communication network such as the Internet or an intranet is also used. Good.
  • processing for creating a display image based on this image data may be performed on the terminal device side.
  • the functional blocks of the control / processing unit 2 shown in FIG. 1 are separated on the terminal device side and the server side, or on the terminal device side, the server side, and the browsing terminal.
  • the functions included in one functional block of the control / processing unit 2 may be separated into the terminal device side and the server side, or the terminal device side, the server side, and the browsing terminal.
  • the functions of the control / processing unit 2 may be appropriately shared by a plurality of computers.
  • an in-line type holographic microscope is used as the microscopic observation unit 1, but other types of holographic methods such as an off-axis type and a phase shift type may be used as long as the microscope can obtain a hologram. Of course, it can be replaced by a microscope.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Computing Systems (AREA)
  • Zoology (AREA)
  • Biotechnology (AREA)
  • Dispersion Chemistry (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Microbiology (AREA)
  • Quality & Reliability (AREA)
  • Genetics & Genomics (AREA)
  • Sustainable Development (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Holo Graphy (AREA)

Abstract

本発明は、ホログラフィック顕微鏡により得られたホログラムデータに基づいて位相情報及び強度情報の２次元分布が算出される細胞観察装置であり、表示部に表示される画像表示画面（１００）には、二つの画像表示枠（１２１、１２２）が設けられた画像表示欄（１２０）が配置される。画像表示枠（１２１、１２２）には、観察対象である細胞が培養されている細胞培養プレート（１２）上の、同じ観察範囲に対応する位相画像と強度画像がそれぞれ表示される。強度画像では、位相画像で殆ど見えないプレート上のウェルが明瞭に確認できる。逆に、位相画像では、強度画像で殆ど見えない生体細胞を観察可能である。そこで観察者は、強度画像においてウェル中の観察したい範囲を決定し、その範囲を拡大して位相画像で細胞を詳細に観察する。これにより、ウェル中の観察したい範囲に存在する細胞を確実に観察することができる。

Description

細胞観察装置
　本発明は、細胞の状態を観察する細胞観察装置に関し、さらに詳しくは、デジタルホログラフィ顕微鏡により得られる、物体波と参照波との干渉縞を記録したホログラムに対する演算処理により物体の位相画像、強度画像等を作成する細胞観察装置に関する。
　再生医療分野では、近年、ｉＰＳ細胞やＥＳ細胞等の多能性幹細胞を用いた研究が盛んに行われている。一般に細胞は透明であって通常の光学顕微鏡では観察しにくいため、従来、細胞の観察には位相差顕微鏡が広く利用されている。
　しかしながら、位相差顕微鏡では顕微画像を撮影する際に焦点合わせを行う必要があるため、広い観察対象領域を細かく区画したそれぞれの小領域についての顕微画像を取得するような場合、測定に多大な時間が掛かり実用的でないという問題がある。これを解決するために、近年、デジタルホログラフィ技術を用いたホログラフィック顕微鏡が開発され実用に供されている（特許文献１、２等参照）。
　ホログラフィック顕微鏡では、光源からの光が物体表面で反射又は透過してくる物体光と同一光源から直接到達する参照光とがイメージセンサ等の検出面で形成する干渉縞（ホログラム）を取得し、そのホログラムに基づいた所定の演算処理を実施することで物体の再構成画像として強度画像や位相画像を作成する。こうしたホログラフィック顕微鏡では、ホログラムを取得したあとの位相回復等のための演算処理の段階で任意の距離における再構成画像を形成することができる。そのため、撮影時にいちいち焦点合わせを行う必要がなく、測定時間を短縮することができる。また、測定終了後の任意の時点で、焦点位置を適宜に変えた再構成画像を作成し、観察対象物を詳細に観察することができる。
　ホログラフィック顕微鏡を用いた細胞観察装置で培養中の多能性細胞を観察する場合、細胞を培養している細胞培養プレート等の細胞培養容器をホログラフィック顕微鏡の所定位置にセットし、その細胞培養容器全体又はその一部についてのホログラムデータを収集する。ホログラフィック顕微鏡を用いた細胞観察装置では、染色されていない細胞を位相画像上で良好に観察することができる。しかしながら、ホログラムデータに基づく逆光伝播計算などの演算処理によって求まる位相情報には、細胞などの光学厚みが比較的小さい、つまりは低位相差である物体についての情報しか反映されず、光学厚みが細胞に比べて格段に大きい容器などの物体についての情報は殆ど反映されない。これは、一般的なホログラフィック顕微鏡では、原理的に、使用している光源の波長程度の光学厚みまでしか測定することが難しいためである。
　そのため、例えば細胞培養プレート全体の位相画像を表示しても該細胞培養プレートに形成されている収容部（ウェル）の形状などは殆ど視認できず、観察している細胞がウェル内のどの辺りに存在しているのかを観察者が把握しにくいという問題がある。また、細胞に比べれば大きな、ヒトの毛髪、埃などの異物が細胞培養容器に混入していても、位相画像にはそれら異物が明瞭に現れず、観察者が見逃してしまうという問題もある。
国際特許公開第２０１６／０８４４２０号 特開平１０－２６８７４０号公報
　本発明は上記課題を解決するためになされたものであり、ホログラフィック顕微鏡で得られたホログラムデータに基づいて位相画像等を作成して表示する細胞観察装置において、生体細胞を良好に観察することができるとともに、観察中の位置が細胞培養容器内のどの辺りであるのかを観察者が容易に把握できるようにすることを主たる目的としている。また、本発明の他の目的は、細胞に比べて大きな異物の混入を観察者が容易に把握することができる細胞観察装置を提供することである。
　上記課題を解決するために成された本発明は、ホログラフィック顕微鏡を用いた細胞観察装置であって、
　a)細胞を含む試料を前記ホログラフィック顕微鏡で測定することにより得られたホログラムデータに基づいて、該試料についての位相情報及び強度情報の２次元分布を算出する演算処理部と、
　b)前記演算処理部で得られた位相情報及び強度情報の２次元分布に基づいて、前記試料の観察対象領域の全体又はその一部についての位相画像及び強度画像をそれぞれ作成する画像作成部と、
　c)前記画像作成部により作成された、前記試料上の同じ範囲についての位相画像及び強度画像を並べて配置した表示画面を形成して表示部に表示する表示処理部と、
　を備えることを特徴としている。
　上記ホログラフィック顕微鏡はその方式を問わず、インライン型、オフアクシス型、位相シフト型などのいずれでもよい。
　本発明に係る細胞観察装置では、典型的には、前記試料は細胞培養容器であり、前記ホログラフィック顕微鏡によるホログラムデータの取得が可能な最大の領域は前記細胞培養容器全体又はその一部の領域であるものとすることができる。上記細胞培養容器は、一又は複数のウェルが形成された細胞培養プレート、シャーレ、大量培養を目的とした培養フラスコなどである。
　したがって、本発明に係る細胞観察装置は、こうした細胞培養容器において培養中である生体細胞を観察するのに好適な装置である。
　本発明に係る細胞観察装置において、演算処理部は、試料をホログラフィック顕微鏡で測定することにより得られたホログラムデータに基づいて、所定の演算処理を行うことで位相情報の２次元分布、及び強度情報の２次元分布をそれぞれ求める。画像作成部は、算出された位相情報及び強度情報を２次元画像の各画素にそれぞれ対応付けることで位相画像及び強度画像を作成する。上述したように試料が例えば細胞培養プレートである場合、その細胞培養プレート全体を観察対象領域として位相画像及び強度画像を作成することができる。もちろん、細胞培養プレート全体ではなくそのうちの一部の領域のみについての位相画像及び強度画像を作成することもできる。
　表示処理部は、画像作成部により作成された、試料上の同じ範囲についての位相画像及び強度画像を横方向又は縦方向に並べて配置した表示画面を形成し、該表示画面を表示部に表示する。位相画像及び強度画像はそれぞれグレイスケール表示又はカラースケール表示とすればよい。こうした処理によって、例えば細胞培養プレート全体についての位相画像と強度画像とを横に並べた表示画面を表示部に表示することができる。
　この場合、位相画像では細胞培養プレート上のウェルの形状などは殆ど識別できないが、強度画像では殆ど見えない無色透明の細胞の輪郭や模様などが明瞭に現れる。一方、強度画像は光学顕微画像とほぼ同じであるので、強度画像には、ウェルの形状など、位相画像上では見えない光学厚さが大きな物体や大きい段差などが明瞭に現れる。そこで観察者は、着目している細胞の存在位置を位相画像上で確認し、その細胞の存在位置が細胞培養プレートの中の又はウェルの中のどの辺りであるかを強度画像上で把握することができる。また、細胞の大きさや形状などの詳細な観察は位相画像上で行うことができる。
　また、培養細胞に比べてサイズが大きな、ヒトの毛髪、埃、プラスチック細片などの異物は位相画像では明瞭に見えないこともあるが、強度画像上ではこうした異物を明確に識別することができる。
　本発明に係る細胞観察装置において、好ましくは、
　前記表示処理部により前記表示部の画面上に表示されている位相画像又は強度画像のいずれか一方についての倍率の変更又は観察位置の移動の操作をユーザが行うための操作部をさらに備え、
　前記画像作成部は、前記操作部による操作に応じて、操作対象である位相画像又は強度画像の一方の倍率を変更した又は観察位置を移動した位相画像又は強度画像を作成するとともに、前記位相画像又は強度画像の他方について、該位相画像又は強度画像の一方に対する操作と同じだけ倍率を変更した又は観察位置を移動した位相画像又は強度画像を作成し、
　前記表示処理部は該画像作成部で倍率を変更したあとの又は観察位置を移動したあとの位相画像及び強度画像を前記表示画面に表示する構成とするとよい。
　この構成では、観察者が例えば表示部に表示されている細胞培養プレート全体に対応する強度画像上でウェルの中の特定の範囲を操作部の操作により指定したうえで倍率の拡大を指示すると、画像作成部はこの操作に応じて、指定された範囲を認識し、その範囲を適宜の倍率だけ拡大した相対的に高い解像度の強度画像を作成する。また、これと連動して位相画像についても、指定された範囲を強度画像と同じ倍率だけ拡大した、相対的に高い解像度の位相画像を作成する。そして、表示処理部は、その直前まで表示部に表示されている画像を新たな、つまりは拡大された位相画像及び強度画像に更新する。
　これにより、観察者は拡大された位相画像上で細胞の詳細な観察を行うことができる。
　また本発明に係る細胞観察装置において、好ましくは、
　前記表示処理部は、観察対象領域全体の強度画像を縮小したサムネイル画像に、その時点で表示されている位相画像及び強度画像の観察範囲を示すマークを重畳した画像を同じ画面上に表示する構成とするとよい。
　位相画像及び強度画像の観察倍率を上げると、細胞培養プレート内での相対的位置を識別可能な物体が強度画像上で観察できなくなる（観察範囲から外れる）可能性がある。これに対し、上記構成によれば、観察対象領域全体の強度画像、つまりは細胞培養プレートやウェルが確認できる画像上にその時点における観察範囲が明瞭に示されるので、観察者は観察範囲の相対的位置を容易に把握することができる。
　本発明に係る細胞観察装置によれば、観察者は位相画像を利用して生体細胞を良好に観察することができるとともに、位相画像と同時に表示される強度画像により、観察中である範囲が細胞培養プレート等の細胞培養容器中のどの辺りであるのかを容易に把握することができる。それによって、細胞観察の効率が向上するとともに、観察者が意図しない領域を間違って観察することを防止することができる。また、ヒトの毛髪、埃、プラスチック細片などの、不所望の異物が細胞培養容器に混入している場合に、観察者は強度画像から異物混入を容易に把握して除去することができる。
本発明の一実施例である細胞観察装置の要部の構成図。 本実施例の細胞観察装置における画像作成処理を説明するための概念図。 本実施例の細胞観察装置における画像表示画面を示す模式図。 図３中の情報表示欄の概略図。 本実施例の細胞観察装置において観察倍率を変更する際の画像作成処理を説明するための概念図。 本実施例の細胞観察装置において倍率（解像度）が相違する画像の関係を示す概念図。 本実施例の細胞観察装置において表示される位相画像及び強度画像の実例を示す図であり、（ａ）は低倍率のときの表示画像、（ｂ）は高倍率のときの表示画像を示す図。 本実施例の細胞観察装置において、ヒトの毛髪片が混入している場合の位相画像及び強度画像の実例を示す図。
　以下、本発明に係る細胞観察装置の一実施例について、添付図面を参照して説明する。
　図１は本実施例の細胞観察装置の要部の構成図である。
　本実施例の細胞観察装置は、顕微観察部１と、制御・処理部２と、ユーザーインターフェイスである入力部３及び表示部４と、を備える。
　顕微観察部１はインライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）であり、レーザダイオードなどを含む光源部１０とイメージセンサ部１１とを備え、光源部１０とイメージセンサ部１１との間に、観察対象である細胞１３を含む細胞培養プレート１２が配置される。細胞培養プレート１２は例えばモータ等の駆動源を含む移動部１４により、互いに直交するＸ軸、Ｙ軸の２軸方向に移動自在である。
　制御・処理部２は顕微観察部１の動作を制御するとともに顕微観察部１で取得されたデータを処理するものであって、撮影制御部２０、測定データ記憶部２１、演算処理部２２、画像作成部２３、画像データ記憶部２４、表示処理部２５、表示画像作成部２６、操作受付処理部２７などを機能ブロックとして備える。
　なお、この制御・処理部２の実体はパーソナルコンピュータ又はより高性能なワークステーションであり、そうしたコンピュータにインストールされた専用の制御・処理ソフトウェアを該コンピュータ上で動作させることで上記各機能ブロックの機能が実現される。したがって、入力部３はキーボードやマウス等のポインティングデバイスを含む。また、後述するように制御・処理部２の機能を一つのコンピュータでなく、通信ネットワークを介して接続された複数のコンピュータで分担する構成とすることもできる。
　次に、本実施例の細胞観察装置において細胞観察を行う際の観察者の操作及び処理について図２～図６を参照して説明する。
　図２は本実施例の細胞観察装置における画像作成処理を説明するための概念図、図３は本実施例の細胞観察装置における画像表示画面を示す模式図、図４は図３中の情報表示欄の概略図、図５は本実施例の細胞観察装置において観察倍率を変更する際の画像作成処理を説明するための概念図、図６は本実施例の細胞観察装置において倍率が相違する画像の関係を示す概念図である。
　観察者は観察対象である細胞（多能性細胞）１３が培養されている細胞培養プレート１２を顕微観察部１の所定位置にセットし、該細胞培養プレート１２を特定する識別番号や測定日時などの情報を入力部３から入力したうえで測定実行を指示する。本実施例では、図２（ａ）に示すように、細胞培養プレート１２には六個の上面視円形状のウェル５０が形成されており、その各ウェル５０内で細胞が培養される。そのため、一つの細胞培養プレート１２全体、つまりは六個のウェル５０を含む矩形状の範囲全体が観察対象領域である。上記測定指示を受けて撮影制御部２０は、顕微観察部１の各部を制御して以下のように監察対象領域についてのホログラムデータを取得する。
　図１には示していないが、イメージセンサ部１１の同一のＸ－Ｙ平面上には四つのＣＭＯＳイメージセンサが設置されている。この四つのＣＭＯＳイメージセンサは、図２（ａ）に示した細胞培養プレート１２全体を４等分した四つの４分割範囲５１の撮影をそれぞれ担うものである。一つのＣＭＯＳイメージセンサが１回に撮影可能である範囲は図２（ｂ）及び（ｃ）に示すように、４分割範囲５１の中の１個のウェル５０のみを含む矩形状の範囲５２をＸ軸方向に１０等分、Ｙ軸方向に１２等分して得られる撮像単位５３に相当する範囲である。したがって、一つの４分割範囲５１は１５×１２＝１８０個の撮像単位５３から成る。四つのＣＭＯＳイメージセンサは、Ｘ軸方向に１５個の撮像単位に対応する長さの長辺、Ｙ軸方向に１２個の撮像単位に対応する長さの短辺を有する矩形の四つの頂点付近にそれぞれ配置されおり、細胞培養プレート１２の異なる四つの撮像単位の撮影を同時に行う。もちろん、これらの数値は単なる一例であり、適宜に変更可能であることは言うまでもない。
　撮影制御部２０による制御の下で光源部１０は、１０°程度の微小角度の広がりを持つコヒーレント光を細胞培養プレート１２の所定の領域に照射する。細胞培養プレート１２及び細胞１３を透過したコヒーレント光（物体光１６）は、細胞培養プレート１２上で細胞１３に近接する領域を透過した光（参照光１５）と干渉しつつイメージセンサ部１１に到達する。物体光１６は細胞１３を透過する際に位相が変化した光であり、他方、参照光１５は細胞１３を透過しないので該細胞１３に起因する位相変化を受けない光である。したがって、イメージセンサ部１１に配置されている四つのＣＭＯＳイメージセンサの検出面（像面）上には、細胞１３により位相が変化した物体光１６と位相が変化していない参照光１５との干渉像（ホログラム）がそれぞれ形成され、このホログラムに対応する２次元的な光強度分布データ（ホログラムデータ）がイメージセンサ部１１から出力される。
　細胞培養プレート１２は移動部１４により、Ｘ－Ｙ面内で上記撮像単位５３のサイズに相当する距離だけステップ状に移動される。これにより、光源部１０から発せられるコヒーレント光の照射領域は細胞培養プレート１２上で移動し、イメージセンサ部１１における各ＣＭＯＳイメージセンサでは、それぞれ一つの撮像単位５３に対応するホログラムデータを取得することができる。細胞培養プレート１２は移動部１４により、一つの４分割範囲５１内に含まれる撮像単位５３の数に相当する１８０回だけステップ状に移動され、その移動毎にホログラムデータが取得される。また、光源部１０から出射されるコヒーレント光の波長は複数段階（例えば４段階）に変更され、その各波長光に対してそれぞれホログラムデータが収集される。このようにして、顕微観察部１において、細胞培養プレート１２全体についてのホログラムデータを漏れなく得ることができる。
　上述したように顕微観察部１のイメージセンサ部１１で得られたホログラムデータは逐次、制御・処理部２に送られ、測定データ記憶部２１に格納される。細胞培養プレート１２全体の測定が終了すると、制御・処理部２では、演算処理部２２が測定データ記憶部２１から上記撮像単位５３毎の複数の波長についてのホログラムデータを読み出し、光の逆伝播計算を実行することで細胞１３の光学厚さを反映した位相情報及び強度情報を算出する。即ち、撮像単位５３毎に位相情報及び強度情報の２次元分布が得られる。
　画像作成部２３は、上述したように撮像単位５３毎に算出された位相情報の２次元分布に基づく狭い範囲の位相画像を繋ぎ合わせるタイリング処理（図２（ｄ）参照）を行うことで、観察対象領域つまりは細胞培養プレート１２全体についての位相画像を作成する。また画像作成部２３は、撮像単位５３毎に算出された強度情報の２次元分布に基づく狭い範囲の強度画像を繋ぎ合わせるタイリング処理を行うことで、観察対象領域つまりは細胞培養プレート１２全体についての強度画像も作成する。なお、こうしたタイリング処理の際には繋ぎ目が滑らかになるように適宜の補正処理を行ってもよい。
　こうして作成された位相画像や強度画像を構成する画像データは画像データ記憶部２４に格納される。このときに作成される位相画像や強度画像は、ホログラムデータの空間分解能（つまりはＣＭＯＳイメージセンサの空間分解能）等で決まる最高解像度の画像である。
　なお、上記のような位相情報や強度情報の計算、位相画像や強度画像の作成の際には、特許文献１、２等に開示されているような周知のアルゴリズムを用いればよく、その計算手法や処理手法は特定のものに限定されない。
　測定終了後に観察者が細胞観察を行うために入力部３で所定の操作を行うと、操作受付処理部２７を通して受け付けられた操作に応じて表示処理部２５は、図３に示すような画像表示画面１００を作成し表示部４に表示する。この画像表示画面１００には、情報表示欄１１０と、画像表示欄１２０と、サムネイル画像表示欄１３０とが配置されており、画像表示欄１２０には、左右に並べて第１画像表示枠１２１、第２画像表示枠１２２が設けられている。
　図４に示すように、情報表示欄１１０には、そのときに画像表示欄１２０に表示されている画像に対応する細胞培養プレート１２の名称（プレート名）や識別番号（プレートＩＤ）、測定日時などの測定に関する属性情報が表示される。また、情報表示欄１１０には、画像表示欄１２０に表示する画像の種類（位相画像、強度画像、擬似位相画像）を選択するための表示画像選択チェックボックス１１１と、その時点で画像表示欄１２０に表示している画像の観察範囲や位置を観察対象領域上のマーキングで示すためのナビゲータ画像１１２とが配置されている。
　なお、この例では、位相画像と強度画像との二つにチェックマークが付されており、その二種類の画像を同時に表示するために第１、第２画像表示枠１２１、１２２が設けられているが、例えば一つのみにチェックマークが付された場合には画像表示欄１２０中の画像表示枠は一つのみである。
　サムネイル画像表示欄１３０には、過去の測定日時にそれぞれ対応する画像（ここでは撮影対象領域全体の強度画像）がサムネイル画像で表示されている。ここに表示する画像の種類やその測定日時は、観察者が自在に指定することができる。
　表示画像作成部２６は表示画像選択チェックボックス１１１でチェックマークが付されている種類の画像（ここでは位相画像及び強度画像）を構成する画像データを読み出し、画像表示欄１２０に描出する表示画像を作成する。例えば初期画面では、観察対象領域全体の表示画像を作成するとよい。これにより、画像表示画面１００の第１画像表示枠１２１には観察対象領域全体の位相画像が、第２画像表示枠１２２には同じ観察対象領域全体の強度画像が表示される。ただし、画像表示枠１２１、１２２のアスペクト比と観察対象領域全体のアスペクト比とは一致しないため、実際には観察対象領域全体の画像の一部を切り出して画像表示枠１２１、１２２中に表示する。また、画像データ記憶部２４に格納されている画像データは最高解像度の画像に対応するものであるが、表示上の画素数（画面画素数又は画面解像度）が決まっている画像表示枠１２１、１２２内に画像を表示するため、その画面画素数に合わせて解像度を落とした表示画像を作成する。
　図６（ａ）、（ｂ）及び（ｃ）は同じ観察対象領域に対する低解像度、中解像度、及び高解像度の画像の例であり、図中で格子状に区分された一つの矩形状の領域が表示上の一つの画素に対応する。この例では、低解像度画像（図６（ａ）参照）の１画素は中解像度画像（図６（ｂ）参照）では４画素分、高解像度画像（図６（ｃ）参照）では１６画素分に相当する。例えば画像データ記憶部２４に保存されている画像データが図６（ｃ）に示すような高解像度画像を構成する画像データであったとしても、これを表示する表示部４の画面上の画像表示枠の画素数が図６（ａ）に示したものである場合には、ビニング処理等によって解像度を下げたうえで表示画像を形成する必要がある。これは位相画像、強度画像のいずれでも同じである。
　図５（ａ）に示すような細胞培養プレート１２全体に対して図５（ｂ）に示すような強度画像２００と図５（ｃ）に示すような位相画像２１０をそれぞれ構成する画像データが得られているものとする。このとき、強度画像２００の中の一部の範囲２０１に対応する部分画像１２２Ａが、図５（ｄ）に示す画像表示画面１００内の第２画像表示枠１２２に表示される。一方、位相画像２１０の中の一部の範囲２１１に対応する部分画像１２１Ａが、図５（ｄ）に示す画像表示画面１００内の第１画像表示枠１２１に表示される。ここで、強度画像２００の中の一部の範囲２０１と位相画像２１０の中の一部の範囲２１１とは細胞培養プレート１２上で全く同じ範囲である。即ち、表示画像作成部２６は複数種類の表示画像を作成する際に、全く同じ範囲の画像を作成する。そして、表示処理部２５はこうした作成された位相画像及び強度画像を画像表示画面１００内に描出することで、観察者に提示する。
　図７（ａ）は観察倍率が低いときに実際に表示される位相画像と強度画像とを示す図である。位相画像ではウェルの外形を殆ど識別できないが、強度画像ではそれが明瞭に観察可能であることが分かる。上述したように両画像の観察範囲は全く同じであるので、観察者は強度画像に基づいて詳細に観察する位置や範囲を選択することができる。
　観察者が強度画像に基づいて決めた所定の観察範囲に存在する細胞の詳細な観察を行いたい場合、観察者は入力部３により強度画像上の所望の位置や所望の範囲を指定したうえで拡大表示の操作を行う。
　いま、一例として図５（ｂ）に示している強度画像２００の一部の範囲２０１の中で小範囲２０２を指定して拡大表示の操作を行ったものとする。すると操作受付処理部２７を通してこの指示を受けた表示画像作成部２６は、指定された小範囲２０２に対応する強度画像が第２画像表示枠１２２全体に表示されるように、拡大された強度画像１２２Ｂを作成する。このときには、第２画像表示枠１２２に表示すべき強度画像のサイズ自体は小さくなるから、拡大操作の前よりも解像度を上げることになる。一方、表示画像作成部２６は、位相画像についても、指定された小範囲２０２と全く同じ小範囲２１２に対応する位相画像が第１画像表示枠１２１全体に表示されるように、拡大された位相画像１２１Ｂを作成する。即ち、強度画像の拡大操作に対応して、位相画像についても全く同じ倍率の拡大操作を実施する。そして、表示処理部２５は、拡大後の位相画像及び強度画像をそれぞれ画像表示画面１００の第１、第２画像表示枠１２１、１２２に表示する（表示を更新する）。
　こうして、観察者の強度画像についての拡大操作に対応して、強度画像のみならず位相画像も連動して拡大表示される。縮小操作についても全く同様である。また、拡大・縮小操作だけでなく、観察倍率を変更することなく観察範囲を移動させる操作でも全く同様であり、強度画像の観察範囲を移動させる操作を行うと、その操作に応じて強度画像と位相画像との観察範囲が移動する。また逆に、位相画像上で拡大・縮小操作や移動操作を行った場合でも同様に、その操作に応じて強度画像と位相画像とが共に拡大・縮小表示されたり、それら画像の観察範囲が移動したりする。
　なお、画像表示欄１２０にその時点で表示されている位相画像及び強度画像の観察位置は、情報表示欄１１０中のナビゲータ画像１１２に表示されているマーキングによって把握することができる。
　図７（ｂ）は観察倍率が高いときに表示される位相画像と強度画像の実測例を示す図である。この図から、強度画像では各細胞の形状等はあまり視認できないが、位相画像ではそれが明瞭に観察可能であることが分かる。このように、本実施例の細胞観察装置では、低倍率の強度画像上で観察位置や範囲を決めたあと、高倍率の位相画像上で細胞を詳細に観察することができる。
　また図８は、本実施例の細胞観察装置において、ヒトの毛髪片が混入している場合の位相画像及び強度画像の実測例を示す図である。毛髪片のサイズは０．５mm程度であるが、培養中の細胞に比べればかなり大きい。図８を見れば分かるように、位相画像では毛髪片の輪郭は確認できないことはないものの、その像の色は周囲の細胞の色と殆ど同じであるため、観察者が把握するのは難しい。これに対し、強度画像では毛髪片が明瞭に観察可能である。これにより、観察者はこうした異物の混入を確実に把握することができる。
　なお、上記説明では、細胞培養プレートで培養中の細胞を観察する場合を例に挙げたが、細胞培養プレートに代えて、培養フラスコやシャーレなどの他の各種細胞培養容器を用いてもよいことは言うまでもない。それら容器の構成部材は位相画像では十分に視認できなくても、強度画像では明瞭に観察可能である。
　また図１に示した実施例の構成では、制御・処理部２において全ての処理を実施しているが、一般に、ホログラムデータに基づく逆光伝播の計算やその計算結果の画像化には膨大な量の計算が必要である。そのため、通常使用されているパーソナルコンピュータでは計算に多大な時間が掛かり効率的な解析作業は難しい。そこで、顕微観察部１に接続されたパーソナルコンピュータを端末装置とし、この端末装置と高性能なコンピュータであるサーバとがインターネットやイントラネット等の通信ネットワークを介して接続されたコンピュータシステムを利用してもよい。
　この場合、ホログラムデータに基づく光伝播計算や位相画像、強度画像の作成などの複雑な処理はサーバ側で実施し、それによって作成された画像データを端末装置又は別の閲覧用端末が受け取って、この画像データに基づいて表示画像を作成する処理を端末装置側で行うようにしてもよい。こうした構成では、図１に示した制御・処理部２の機能ブロックが、端末装置側とサーバ側とに、又は、端末装置側とサーバ側と閲覧用端末とに分離されることになる。また、制御・処理部２の一つの機能ブロックに含まれる機能が、端末装置側とサーバ側とに、又は、端末装置側とサーバ側と閲覧用端末とに分離されることもあり得る。このように、制御・処理部２の機能は適宜、複数のコンピュータで分担しても構わない。
　また上記実施例の細胞観察装置では、顕微観察部１としてインライン型ホログラフィック顕微鏡を用いていたが、ホログラムが得られる顕微鏡であれば、オフアクシス型、位相シフト型などの他の方式のホログラフィック顕微鏡に置換え可能であることは当然である。
　さらにまた、上記実施例及び上記記載の変形例はいずれも本発明の一例であり、本発明の趣旨の範囲でさらに適宜の変更、修正、追加を行っても本願特許請求の範囲に包含されることは当然である。
１…顕微観察部
１０…光源部
１１…イメージセンサ部
１２…細胞培養プレート
１３…細胞
１４…移動部
１５…参照光
１６…物体光
２…制御・処理部
２０…撮影制御部
２１…測定データ記憶部
２２…演算処理部
２３…画像作成部
２４…画像データ記憶部
２５…表示処理部
２６…表示画像作成部
２７…操作受付処理部
３…入力部
４…表示部
１００…画像表示画面
１１０…情報表示欄
１１１…表示画像選択チェックボックス
１１２…ナビゲータ画像
１２０…画像表示欄
１２１…第１画像表示枠
１２２…第２画像表示枠
１３０…サムネイル画像表示欄

Claims (4)

  1. 　ホログラフィック顕微鏡を用いた細胞観察装置であって、
    　a)細胞を含む試料を前記ホログラフィック顕微鏡で測定することにより得られたホログラムデータに基づいて、該試料についての位相情報及び強度情報の２次元分布を算出する演算処理部と、
    　b)前記演算処理部で得られた位相情報及び強度情報の２次元分布に基づいて、前記試料の観察対象領域の全体又はその一部についての位相画像及び強度画像をそれぞれ作成する画像作成部と、
    　c)前記画像作成部により作成された、前記試料上の同じ範囲についての位相画像及び強度画像を並べて配置した表示画面を形成して表示部に表示する表示処理部と、
    　を備えることを特徴とする細胞観察装置。
  2. 　請求項１に記載の細胞観察装置であって、
    　前記試料は細胞培養容器であり、前記ホログラフィック顕微鏡によるホログラムデータの取得が可能な最大の領域は前記細胞培養容器全体又はその一部の領域であることを特徴とする細胞観察装置。
  3. 　請求項１に記載の細胞観察装置であって、
    　前記表示処理部により前記表示部の画面上に表示されている位相画像又は強度画像のいずれか一方についての倍率の変更又は観察位置の移動の操作をユーザが行うための操作部をさらに備え、
    　前記画像作成部は、前記操作部による操作に応じて、操作対象である位相画像又は強度画像の一方の倍率を変更した又は観察位置を移動した位相画像又は強度画像を作成するとともに、前記位相画像又は強度画像の他方について、該位相画像又は強度画像の一方に対する操作と同じだけ倍率を変更した又は観察位置を移動した位相画像又は強度画像を作成し、
    　前記表示処理部は該画像作成部で倍率を変更したあとの又は観察位置を移動したあとの位相画像及び強度画像を前記表示画面に表示することを特徴とする細胞観察装置。
  4. 　請求項１に記載の細胞観察装置であって、
    　前記表示処理部は、観察対象領域全体の強度画像を縮小したサムネイル画像に、その時点で表示されている位相画像及び強度画像の観察範囲を示すマークを重畳した画像を同じ画面上に表示することを特徴とする細胞観察装置。
PCT/JP2017/008567 2017-03-03 2017-03-03 細胞観察装置 WO2018158946A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019502415A JPWO2018158946A1 (ja) 2017-03-03 2017-03-03 細胞観察装置
PCT/JP2017/008567 WO2018158946A1 (ja) 2017-03-03 2017-03-03 細胞観察装置
CN201780087942.XA CN110383044A (zh) 2017-03-03 2017-03-03 细胞观察装置
US16/489,949 US20200233379A1 (en) 2017-03-03 2017-03-03 Cell observation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/008567 WO2018158946A1 (ja) 2017-03-03 2017-03-03 細胞観察装置

Publications (1)

Publication Number Publication Date
WO2018158946A1 true WO2018158946A1 (ja) 2018-09-07

Family

ID=63369866

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/008567 WO2018158946A1 (ja) 2017-03-03 2017-03-03 細胞観察装置

Country Status (4)

Country Link
US (1) US20200233379A1 (ja)
JP (1) JPWO2018158946A1 (ja)
CN (1) CN110383044A (ja)
WO (1) WO2018158946A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837261A (zh) * 2020-07-22 2021-05-25 杭州思柏信息技术有限公司 融合扫描数据和光学图像显示的细胞数据标注方法、系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7222764B2 (ja) * 2019-03-18 2023-02-15 株式会社キーエンス 画像測定装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011089908A1 (ja) * 2010-01-20 2011-07-28 株式会社ニコン 細胞観察装置及び細胞培養方法
JP2013508775A (ja) * 2009-10-20 2013-03-07 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア オンチップでの非干渉性のレンズフリーのホログラフィおよび顕微鏡法
WO2013070287A1 (en) * 2011-11-07 2013-05-16 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope
US9025881B2 (en) * 2012-02-06 2015-05-05 Nanyang Technological University Methods and apparatus for recovering phase and amplitude from intensity images

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993167B1 (en) * 1999-11-12 2006-01-31 Polartechnics Limited System and method for examining, recording and analyzing dermatological conditions
US9984456B2 (en) * 2004-04-14 2018-05-29 Edda Technology, Inc. Method and system for labeling hepatic vascular structure in interactive liver disease diagnosis
WO2007002898A2 (en) * 2005-06-29 2007-01-04 University Of South Florida Variable tomographic scanning with wavelength scanning digital interface holography
GB0701201D0 (en) * 2007-01-22 2007-02-28 Cancer Rec Tech Ltd Cell mapping and tracking
US7812959B1 (en) * 2007-03-22 2010-10-12 University Of South Florida Total internal reflection holographic microscope
WO2009009081A2 (en) * 2007-07-10 2009-01-15 Massachusetts Institute Of Technology Tomographic phase microscopy
JP2009294338A (ja) * 2008-06-04 2009-12-17 Renesas Technology Corp 液晶駆動装置
US9222870B2 (en) * 2010-12-10 2015-12-29 The Regents Of The University Of California Method and device for multi-parameter imaging within a single fluorescent channel
WO2012082776A2 (en) * 2010-12-14 2012-06-21 The Regents Of The University Of California Method and device for holographic opto-fluidic microscopy
US8687253B2 (en) * 2011-12-13 2014-04-01 Canon Kabushiki Kaisha Speckle noise reduction based on longitudinal shift of sample
US8693000B2 (en) * 2011-12-22 2014-04-08 General Electric Company Quantitative phase microscopy for label-free high-contrast cell imaging
US9864184B2 (en) * 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US11514325B2 (en) * 2018-03-21 2022-11-29 The Regents Of The University Of California Method and system for phase recovery and holographic image reconstruction using a neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013508775A (ja) * 2009-10-20 2013-03-07 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア オンチップでの非干渉性のレンズフリーのホログラフィおよび顕微鏡法
WO2011089908A1 (ja) * 2010-01-20 2011-07-28 株式会社ニコン 細胞観察装置及び細胞培養方法
WO2013070287A1 (en) * 2011-11-07 2013-05-16 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope
US9025881B2 (en) * 2012-02-06 2015-05-05 Nanyang Technological University Methods and apparatus for recovering phase and amplitude from intensity images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837261A (zh) * 2020-07-22 2021-05-25 杭州思柏信息技术有限公司 融合扫描数据和光学图像显示的细胞数据标注方法、系统
CN112837261B (zh) * 2020-07-22 2022-11-11 杭州思柏信息技术有限公司 融合扫描数据和光学图像显示的细胞数据标注方法、系统

Also Published As

Publication number Publication date
CN110383044A (zh) 2019-10-25
JPWO2018158946A1 (ja) 2019-11-21
US20200233379A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
JP6860064B2 (ja) 細胞観察装置
JP6895284B2 (ja) 光シート顕微鏡および光シート顕微鏡を作動するための方法
Kuś et al. Active limited-angle tomographic phase microscope
CA2687763A1 (en) Three dimensional imaging
JP6950813B2 (ja) 細胞観察装置
JP2020508496A (ja) 試料の三次元画像を撮影および表示するための顕微鏡装置
CN108513031B (zh) 细胞观察系统
EP4014198B1 (en) Sample imaging via two-pass light-field reconstruction
WO2018158946A1 (ja) 細胞観察装置
JP6760477B2 (ja) 細胞観察装置
US9726875B2 (en) Synthesizing light fields in microscopy
Romero et al. Digital holographic microscopy for detection of Trypanosoma cruzi parasites in fresh blood mounts
WO2019043953A1 (ja) 細胞観察装置
Kuś et al. Focus-tunable lens in limited-angle holographic tomography
JP7036192B2 (ja) 細胞観察装置
Zhang et al. Single-shot volumetric fluorescence imaging with neural fields
Trolinger et al. A new digital holographic microscope for the study of biological systems
Sokol et al. Features of Application of the Experimental Stand for Reception of the New Measuring Information Concerning Morphological Signs of An Erythrocyte.
Meitav et al. Multifocal microscopy for functional imaging of neural systems
Lin et al. Automatic calibration of the spatial position and orientation for the tomographic digital holographic microscopy
Ginani et al. A novel approach to correction of optical aberrations in laser scanning microscopy for surface metrology
Bowman Three dimensional touch and vision for the micro-world
Tani et al. Improving spatial resolution of the light field microscope with Fourier ptychography
Yang et al. Laser scanning stereomicroscopy for fast volumetric imaging with two-photon excitation and scanned Bessel beams
Beckers et al. Phase mask optimization for 3D parallax EDF microscopy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898667

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019502415

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17898667

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载