+

WO2007015365A1 - 情報処理装置およびプログラム - Google Patents

情報処理装置およびプログラム Download PDF

Info

Publication number
WO2007015365A1
WO2007015365A1 PCT/JP2006/314148 JP2006314148W WO2007015365A1 WO 2007015365 A1 WO2007015365 A1 WO 2007015365A1 JP 2006314148 W JP2006314148 W JP 2006314148W WO 2007015365 A1 WO2007015365 A1 WO 2007015365A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
slice
slice information
group
unit
Prior art date
Application number
PCT/JP2006/314148
Other languages
English (en)
French (fr)
Inventor
Megumi Nakao
Kotaro Minato
Original Assignee
National University Corporation NARA Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University Corporation NARA Institute of Science and Technology filed Critical National University Corporation NARA Institute of Science and Technology
Priority to US11/989,768 priority Critical patent/US8149236B2/en
Priority to JP2007529203A priority patent/JP5130529B2/ja
Publication of WO2007015365A1 publication Critical patent/WO2007015365A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • the present invention relates to an information processing apparatus that can output a three-dimensional object or operate a three-dimensional object.
  • Non-Patent Document 1 Non-Patent Document 2
  • Non-Patent Document 2 Non-Patent Document 2
  • a set of two-dimensional images acquired by CT or MRI is a volume data composed of enormous botasels, enabling an intuitive understanding of the complex three-dimensional structure inside the human body. In order to do so, it is indispensable to depict the internal structure.
  • slice display of tomographic images and three-dimensional reconstruction images by volume rendering are generally used for preoperative planning and intraoperative navigation (for example, non-patent literature) 3, see Non-Patent Document 4).
  • clipping representation by an arbitrary plane on the reconstructed image is widely used for observation inside the organ (for example, see Non-Patent Document 5).
  • PHANToM phantom
  • a phantom is an input / output device that receives position data input, feeds back to a computer, generates a force vector, and drives a motor (see, for example, Non-Patent Document 7).
  • Non-Patent Document 8 there are an algorithm for performing deformation calculation (see Non-Patent Document 8) and a drawing algorithm (see Non-Patent Document 9).
  • radiation therapy has attracted attention as one effective treatment for cancer.
  • respiration such as a lung tumor.
  • measures such as setting a wide irradiation range or embedding a marker near the tumor and irradiating in synchronization with respiration are being taken.
  • the radiotherapy device currently under development is equipped with a gimbal function in the acceleration tube that generates radiation, and can freely shake the head. A treatment that uses this characteristic to irradiate radiation while tracking the tumor is desired.
  • Non-Patent Document 1 J. Toriwaki and 1 other, "Visualization of the Human Body toward the Navigation Diagnosis with the Virtualized Human Body", Journal of Visualization ⁇ 1998, Vol.1, No.l, pp.111-124
  • Non-Patent Document 2 B. Pflesser, 3 others, "Planning and Rehearsal of Surgical Interventions in the Volume Model", Proc. Medicine Meets Virtual Reality Conference ⁇ 2000, pp. 259-264
  • Non-Patent Document 3 A. Kauftnan, 2 others, "Volume Graphics", IEEE Computer, 1993, Vol. 26, No. 7, pp. 51-64
  • Non-Patent Document 4 W. Chen, et al., ⁇ ReaH: ime Ray Casting Rendering of Volume Clipping in Medical Visualization J, Journal of Computer Science and Technology ⁇ 2003, Vol.18, Issue 6, pp.804-814
  • Non-Patent Document 5 B. Cabral and 2 others, “Accelerated Volume Rendering and Tomographic Reconstruction Using Texture Mapping HardwareJ, Proc. Symposium on Volume Visualization '94, 1994, pp.91—98
  • Non-patent literature b U. KuhnapfeU and 2 others, ⁇ Endoscopic Surgery Training Using Virtual Reality and Deformable Tissue 3 ⁇ 4imulation '', Computers & Graphics (Elsevier Science) ⁇ 2000, Vol.24, No.5, pp.671-682
  • Non-Patent Document 7 Website, Internet ⁇ URL: http://www.nissho-ele.co.jp/3d I jDmodeling / phamtom03.htm
  • Non-Patent Document 8 Yasuhiro Yamamoto, et al. "Aortic Palpation Simulation System with Pulsation in Cardiovascular Surgery” IEEJ Transactions E, 2003, Vol. 123, No. 3, pp. 85-92
  • Non-Patent Document 9 Megumi Nakao and 2 others "Masking for volume interaction and its real-time processing method" Transactions of the Virtual Reality Society of Japan, 2005, Vol.10 No.4 pp. 591 -598
  • the above-described conventional technique has a problem that information on the elasticity of a three-dimensional object cannot be expressed.
  • a doctor who is a user of an information processing apparatus performs a simulation of surgery, it is impossible to obtain a feeling that a scalpel is inserted into the body of the human body, which is a three-dimensional object.
  • the technology was not able to simulate enough techniques.
  • Non-Patent Document 1 to Non-Patent Document 5 have a problem that a three-dimensional region of interest cannot be extracted and observed interactively with a simple operation. Therefore, for example, it was not possible to observe by paying attention to a specific organ among the parts constituting the human body.
  • Non-Patent Document 6 in order to define a complex three-dimensional shape of an organ, generally a segmentation operation requiring labor is required. Therefore, it is not easy to extract and observe a 3D region of interest. Furthermore, when generating a surface from a medical image, color information inside the organ may be lost, or shapes that are important for diagnosis may not be reflected. As long as it is used for diagnosis and preoperative planning, data correction and information loss must be avoided.
  • the segmentation work is a work for dividing the medical image set into units such as organs by adding anatomical information.
  • the present invention has an object of realizing moving body tracking irradiation by estimating respiratory movement of a lung tumor by simulation for the above-described treatment of irradiating radiation while tracking the tumor.
  • This simulation result is displayed as DRR (Digitally Reconstructed Radiograph).
  • DRR for example, is a reconstruction of direct X-ray images based on patient CT data, and is mainly used for treatment planning. It is.
  • the doctor compares the DRR and time-series direct X-ray images obtained during treatment, confirms the validity of the simulation, and builds an environment where irradiation can be performed. .
  • the information processing apparatus is information configured based on two-dimensional image data obtained by cutting out 3D votacel information, which is a volume texture of a three-dimensional object, in a plurality of planes.
  • a slice information group storage unit a slice information group output unit that outputs the slice information group; an instruction reception unit that receives an instruction for a predetermined point or region of the output slice information group;
  • a position information acquisition unit that acquires one or more pieces of position information of corresponding points or points that constitute a region, and one or more elasticity that is paired with one or more pieces of position information acquired by the position information acquisition unit
  • And elasticity information acquiring unit that acquires broadcast, the an information processing apparatus having a resilient information output unit that elasticity information acquiring unit outputs Te based, on the obtained one or more elastic information.
  • the powerful configuration can handle information on the elasticity of a three-dimensional object.
  • the information processing apparatus stores the 3D vessel cell information that is a volume texture of a three-dimensional object, the object information storage unit, and the 3D vessel cell information on a plurality of planes. Based on the two-dimensional image data obtained as a result of clipping, slice information that is information configured as described above, and information on a plurality of points having position information that indicates position and color information that is information on color A slice information group having a plurality of slice information composed of! /, A slice information group storage unit, and a first mesh information which is information of a three-dimensional mesh of the three-dimensional object. !
  • a first mesh information storage unit a slice information group output unit that outputs the slice information group, an instruction reception unit that receives an instruction for a predetermined point or region of the output slice information group,
  • the first mesh information is deformed based on the instruction
  • the second mesh information acquiring unit that acquires the second mesh information constituting the deformed shape, and the color information based on the second mesh information.
  • a first slice information group acquisition unit that acquires a first slice information group that is a plurality of slice information that is not
  • a color information determination unit that determines color information of each point corresponding to each point of the 3D vessel cell that is each point of the plurality of slice information constituting the first slice information group, and the color information determination unit Based on the color information of each point determined by the first slice information group acquisition unit, new color information is set to each point of the first slice information group acquired by the first slice information group acquisition unit, and the second slice information group is acquired.
  • the information processing apparatus includes a second slice information group acquisition unit that performs the processing and a deformed object output unit that outputs the second slice information group.
  • the slice information includes information on a plurality of points having position information, color information, and elasticity information
  • the instruction A position information acquisition unit that acquires one or more pieces of position information of a point or a point that constitutes a region, and one or more pieces of elasticity information that are paired with one or more pieces of position information acquired by the position information acquisition unit.
  • An information processing apparatus further comprising: an elasticity information acquisition unit to acquire; and an elasticity information output unit that outputs based on one or more elasticity information acquired by the elasticity information acquisition unit.
  • the powerful configuration can handle information related to the elasticity of a three-dimensional object and can also grasp deformation of the shape.
  • the information processing apparatus stores the object information storage unit, which stores 3D vessel cell information that is a volume texture of a three-dimensional object, It further includes a slice information group acquisition unit that cuts out a plurality of slice information that is perpendicular to the line of sight and has a constant interval from the 3D votacell information stored in the physical information storage unit, and acquires a slice information group.
  • the slice information group in the slice information group storage unit is an information processing apparatus that is a slice information group acquired by the slice information group acquisition unit.
  • the information processing apparatus stores 3D vessel information, which is a volume texture of a three-dimensional object, and stores the object information storage section and the 3D vessel information on a plurality of planes.
  • 3D vessel information which is a volume texture of a three-dimensional object
  • the object information storage section and the 3D vessel information on a plurality of planes Based on the two-dimensional image data obtained as a result of clipping, slice information that is information configured as described above, and information on a plurality of points having position information that indicates position and color information that is information on color Slice information having multiple slice information composed of A group information storage unit, a first mesh information storage unit storing first mesh information which is information of a three-dimensional mesh of the three-dimensional object, and a first mesh information storage unit.
  • a slice information group output unit that outputs the slice information group, an instruction reception unit that receives an instruction for a predetermined region of the output slice information group, and the first mesh information is transformed based on the instruction
  • a second mesh information acquisition unit that acquires second mesh information constituting the deformed shape, and a first slice information group that is a plurality of slice information having no color information based on the second mesh information.
  • a first slice information group acquisition unit for acquiring the color information, and each point of the plurality of slice information constituting the first slice information group, and a color for determining color information of each point corresponding to the point of the 3D botacel information Information decision part Using the color information of each point determined by the color information determination unit, new color information is set at each point of the first slice information group acquired by the first slice information group acquisition unit, and second slice information is set.
  • An information processing apparatus includes a second slice information group acquisition unit that acquires a group and a deformed object output unit that outputs the second slice information group.
  • the first mesh information is an operation in which the first mesh information is displaced in accordance with an instruction received by the instruction receiving unit.
  • a second node having a node, a free node that is a point that can be displaced according to the displacement of the operation node, and a fixed node that is a point that is not displaced, and the second mesh information acquisition unit corresponds to the instruction.
  • the information processing apparatus acquires second mesh information by displacing a node, displacing the free node according to displacement of the operation node, and not displacing the fixed node.
  • the user can input a deformation instruction to a predetermined area, and can grasp the deformation of the shape of the three-dimensional object according to the instruction.
  • the second mesh information acquisition unit determines an operation node corresponding to the instruction. It is an information processing device equipped with. [0027] With the powerful configuration, when an instruction is given to a predetermined area, a point (node) corresponding to that area can be easily identified.
  • the instruction received by the instruction receiving unit is an instruction for rotation or Z and translation of the area
  • the two-mesh information acquisition unit is an information processing apparatus including a displacement determination unit that determines a displacement of the operation node in response to the instruction.
  • the information processing apparatus stores a surgical instrument metaphor, which is a metaphor of a surgical instrument, as compared with the fifth invention, and a surgical instrument metaphor storage unit and the surgical instrument
  • a surgical instrument metaphor output unit that outputs a metaphor is further provided
  • the instruction receiving unit receives an instruction about movement and operation of the tool metaphor, and the instruction is a predetermined slice information group that is output.
  • This is an information processing apparatus that can be an instruction for a region.
  • an information processing apparatus relates to a fifth aspect of the invention, a position information acquisition unit that acquires a plurality of position information of points constituting the area corresponding to the instruction;
  • An elasticity information acquisition unit that acquires a plurality of pieces of elasticity information paired with a plurality of pieces of position information acquired by the position information acquisition unit, and an elasticity information output unit that outputs the plurality of elasticity information acquired by the elasticity information acquisition unit Is an information processing apparatus.
  • the user can grasp the deformation of the shape of the three-dimensional object when the three-dimensional object is pinched or twisted while feeling the elasticity of the three-dimensional object.
  • the information processing apparatus inputs an instruction for a predetermined point or region for the outputted slice information group to the first aspect of the invention, and the elasticity
  • An input / output unit that receives the output of the information output unit and outputs a force corresponding to the output is further an information processing device.
  • the information processing apparatus is information configured based on image data on a plane as a result of cutting out 3D votacel information that is a volume texture of a three-dimensional object.
  • a slice information group storage unit that stores slice information groups having a plurality of slice information including slice information and information power of a plurality of points having position information that is position information that is position information, and a three-dimensional geometric information.
  • An input accepting unit that accepts an input about a three-dimensional region mask having a shape and elasticity information that is information about elasticity, and information on the three-dimensional mesh that constitutes the three-dimensional region mask
  • a mesh information acquisition unit for acquiring mesh information, and based on the mesh information, for each slice information of the slice information group, in an area inside the mesh information
  • An information processing apparatus including an elasticity information setting unit that sets elasticity information based on an input received by the input receiving unit for each point in an inner region.
  • Elasticity information can be easily set by a coverable configuration.
  • the information processing apparatus is the information processing apparatus according to the first aspect, wherein the information of the points included in the slice information includes color information that is information about colors. It is.
  • color information can be further handled, and when used as a simulation device, a simulation of deformation of a three-dimensional object close to the actual object can be performed.
  • the information processing apparatus is an information processing apparatus according to the twelfth aspect of the invention, wherein the shape of the three-dimensional area mask is substantially the shape of an organ.
  • An information processing apparatus stores an object information storage unit that stores 3D vessel information that is a volume texture of a three-dimensional object, and a three-dimensional geometric shape that cuts out the 3D vessel cell information.
  • the first 3D area mask which is a 3D area mask having the above, is the result of cutting out the 3D botacell information, and stores the first slice information group as a plurality of slice information.
  • One slice information group storage unit an input receiving unit that receives an input about the second 3D region mask that is the second 3D region mask, and information on the 3D mesh that constitutes the second 3D region mask Based on the second mesh information and the second mesh information acquisition unit for acquiring the second mesh information, the first slice information For each slice information of the group, an inner region that is an inner region of the second mesh information and an outer region that is an outer region of the second mesh information are determined, and the inner region and the outer region are determined.
  • the information processing apparatus includes an object output unit that acquires a second slice information group that is visually distinguished and outputs the second varnish information group.
  • a 3D region of interest obtained by MRI or CT can be extracted from a 3D voxel data that is a volume test of 3D objects. Monkey.
  • the object output unit sets a point in the outer region of each slice information of the first slice information group to a transparent color.
  • 3D vessel cell data which is the volume status of a 3D object acquired by MRI or CT.
  • the object output unit includes a color of a point in an inner region of each slice information of the first slice information group
  • the second slice information group configuring An information processing apparatus comprising output means for outputting a second slice information group constituted by the means.
  • a 3D region of interest obtained by 3D object volume test obtained by MRI or CT can be extracted from a 3D region of interest separately for observation. Monkey.
  • the second slice information group constituting unit includes an inner region of each slice information of the first slice information group.
  • the luminance of the point is made larger than the luminance of the point in the outer region of each piece of slice information of the first slice information group, and constitutes the second slice information group.
  • the object output unit sets a point in the inner region of each slice information of the first slice information group to a transparent color
  • the input receiving unit receives input of two or more second three-dimensional area masks
  • the mesh information acquisition unit acquires two or more second mesh information constituting the two or more second 3D region masks
  • the object output unit uses the two or more second mesh information to generate the first slice.
  • each slice information of the information group is divided into a plurality of areas, and the plurality of areas are visually distinguished to output the first slice information group.
  • a plurality of 3D regions of interest are extracted separately from other 3D vessel cells that are 3D object volume test results obtained by MRI or CT. Can be observed.
  • the object output unit is Based on the color corresponding to one or more second 3D area masks constituting each area, the color of the point in each area is determined, and a plurality of slice information that is a set of points having the color is obtained.
  • a second slice information group configuration unit configured to acquire a second slice information group that is the plurality of slice information, and an output unit that outputs the second slice information group configured by the second slice information group configuration unit An information processing apparatus.
  • the information processing apparatus of the twenty-second invention is a three-dimensional object corresponding to an instruction received by the input receiving unit with respect to any of the fifteenth to twenty-first inventions. Is an information processing device that is roughly the shape of an organ.
  • the input receiving unit in response to the fifteenth to twenty-second invention, is configured to store the second three-dimensional area mask.
  • An information processing apparatus that further includes a three-dimensional area mask shape changing unit that receives a shape change instruction that is an instruction to change the shape and changes the shape of the second three-dimensional area mask based on the shape change instruction. is there.
  • 3D voxel data which is a volume test of 3D objects obtained by MRI or CT, is used to interactively change the shape of the 3D region of interest and It can be extracted and observed separately.
  • Information processing further comprising a 3D area mask position changing unit that receives a position change instruction that is an instruction to change the position of the mask and changes the position of the second 3D area mask based on the position change instruction.
  • a position change instruction that is an instruction to change the position of the mask and changes the position of the second 3D area mask based on the position change instruction.
  • the position of the 3D region of interest can be changed interactively with respect to 3D votacel data, which is a volume test of 3D objects obtained by MRI, CT, etc. It can be extracted and observed separately.
  • the information processing apparatus provides a 3D bot cell stored in the object information storage unit for fifteenth to twenty-fourth!
  • a first slice information group acquisition unit that extracts a plurality of slice information that is perpendicular to the line of sight and has a constant interval from the information and acquires a first slice information group, and stores the first slice information group
  • the first slice information group of the first slice acquired by the first slice information group acquisition unit An information processing apparatus that is an information group.
  • the information processing apparatus is a first slice information group storage unit storing two or more pieces of first slice information which is slice information and has arrangement information which is information relating to arrangement.
  • the origin information which is information indicating the position of the origin of X-ray irradiation, is stored, and the origin information storage unit and each of the two or more first slice information from the position indicated by the origin information
  • a second slice information group acquisition unit configured to perform vertical and radial cutting processing on each of the plurality of slice information using the arrangement information of each of the plurality of slice information to acquire a plurality of second slice information;
  • a magnification calculation unit that calculates a magnification that is an enlargement rate or a reduction rate of each second slice information using the arrangement information of each second slice information, and the magnification Magnification calculated by the calculator
  • the third slice information group acquisition unit that acquires the plurality of third slice information by enlarging or reducing each of the plurality of
  • the information processing apparatus provides an object information storage unit that stores 3D votacell information that is a volume texture of a three-dimensional object, compared with the twenty-sixth aspect of the invention.
  • a first slice information group acquisition unit that cuts out and acquires a plurality of first slice information that is perpendicular to the line of sight and at a constant interval from the 3D vessel cell information stored in the object information storage unit.
  • the two or more pieces of first slice information in the first slice information group storage unit are information processing devices that are first slice information acquired by the first slice information acquisition unit.
  • CT data equal force can also generate a DRR.
  • the information processing apparatus provides the line of sight to the twenty-seventh aspect of the invention.
  • the first slice information group acquisition unit is further configured to receive a line of sight indicated by the line of sight vector from the 3D vessel cell information stored in the object information storage unit.
  • An information processing apparatus that cuts out and acquires a plurality of pieces of first slice information that are vertical and have a constant interval.
  • the information processing apparatus provides the first slice information, the second slice information, and the third slice information, as compared with the twenty-sixth aspect,
  • a transparency receiving unit that includes transparency information that is information about the transparency of the constituent points, and further includes a receiving unit that receives the transparency information, and the plurality of second outputs that are superimposed and output according to the transparency information received by the receiving unit.
  • An information processing device that changes the transparency of three-slice information
  • the information processing apparatus is the information processing apparatus according to the twenty-sixth aspect, wherein each of the two or more pieces of first slice information is an image including a chest.
  • a 3D region of interest is applied to 3D votacel data that is a volume texture of a 3D object obtained by MRI or CT. Can be easily extracted and output.
  • a DRR from a volume texture of a three-dimensional object acquired by, for example, MRI or CT.
  • FIG. 1 is a block diagram of the information processing apparatus according to the present embodiment.
  • the information processing apparatus includes an input / output device 101, an instruction receiving unit 102, an object information storage unit 103, a first mesh information storage unit 104, a slice information group acquisition unit 105, a slice information group storage unit 106, and a slice information group.
  • An acquisition unit 114 and an elastic information output unit 115 are provided.
  • the color information determination unit 110 includes corresponding point determination means 1101 and color information determination means 1102.
  • the input / output device 101 inputs an instruction for a predetermined point or region for the output slice information group, receives the output of the elasticity information output unit 115, and outputs a force vector corresponding to the output . “Output the corresponding force vector” is realized, for example, by motor drive.
  • the input / output device 101 is, for example, a PHANToM or a vibrating input device.
  • the input / output device 101 is, for example, a mouse and a display.
  • the input / output device 11 may be composed of two or more devices. Further, the input / output device 11 may be considered to be included in the information processing apparatus or not included.
  • the instruction for the region is, for example, an instruction for the region including a plurality of points (nodes) using a surgical instrument metaphor indicating an image of the surgical instrument that is a surgical instrument.
  • the surgical instrument metaphor may be image data having scissors or tweezers used in surgery, or may be graphic data having a shape such as a rectangular parallelepiped or a sphere or three-dimensional image data.
  • the instruction receiving unit 102 receives an instruction for a predetermined point or region of the output slice information group. In addition, the instruction receiving unit 102 receives an instruction to output a slice information group, a rotation instruction that is an instruction to rotate an output slice information group (three-dimensional object), and the like.
  • the input means such as an instruction for a predetermined point or area may be anything such as PHANToM, a mouse, a keyboard, or a menu screen.
  • the command for the point or area and the output command may be input from different input means.
  • the instruction receiving unit 102 can be realized by a device driver for input means such as PHANToM or a keyboard, control software for a menu screen, or the like.
  • PHANToM Phantom
  • PHANToM phantom
  • the object information storage unit 103 stores 3D votacel information that is a volume texture of a three-dimensional object.
  • the 3D botacell information is a set of two-dimensional images acquired by a medical device such as CT, MRI, or PET.
  • the 3D Botacel information is a set of two-dimensional images obtained by photographing the human brain and the inside of the body with, for example, CT and MRI.
  • the 3D bocellel information is, for example, information on a point constituted by (X, y, z, col, elastic modulus).
  • (X, y, z) of (X, y, z, co 1, elastic modulus) is coordinate information in a three-dimensional space.
  • “Col” is the color information of the point.
  • Elastic modulus is a value indicating the elasticity of the point, and is an example of elasticity information.
  • the point information may include transparency information that is information about transparency such as an alpha value.
  • the 3D button cell information is information on points where the interval between points is tight, but information on discrete points may also be used.
  • the 3D boat cell information is (X, y, z, col), and the elasticity information may be held as additional information to the 3D boat cell information. Even when it is applied, it may be considered that the 3D votacel information has elasticity information.
  • the object information storage unit 103 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. Examples of elasticity information include, for example, Young's modulus, Poisson's ratio, rupture value, and friction coefficient.
  • the first mesh information storage unit 104 stores first mesh information that is information of a three-dimensional mesh of a three-dimensional object.
  • the first mesh information is three-dimensional mesh information.
  • the information of the three-dimensional mesh is a set of information on points constituting the three-dimensional object.
  • the 3D mesh information is a set of information on points that are spaced apart.
  • the point information here is usually information having a data structure of (X, y, z, col, elasticity information). However, the point information may be only the coordinate information (X, y, z).
  • the first mesh information storage unit 104 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the slice information group acquisition unit 105 cuts out a plurality of slice information that is perpendicular to the line of sight and has a constant interval from the 3D botacel information stored in the object information storage unit 103, and acquires a slice information group
  • the slice information group storage unit 106 stores at least temporarily.
  • “Perpendicular to the line of sight” means that the line is perpendicular to the line-of-sight vector, which is a solid perpendicular to the screen on which the three-dimensional object is displayed.
  • the slice information is a set of information of points constituting the plane, and usually the intervals between the points are closed.
  • the slice information group acquisition unit 105 can also realize an MPU, a memory and the like.
  • the processing procedure of the slice information group acquisition unit 105 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the slice information group storage unit 106 is a slice, which is information configured based on two-dimensional image data obtained by cutting out 3D voxel information, which is a volume texture of a three-dimensional object, in a plurality of planes.
  • the information power of a plurality of points having position information which is information and information indicating the position is stored in a slice information group having a plurality of slice information.
  • the slice information group in the slice information group storage unit 106 may be prepared in advance. In such a case, the slice information group acquisition unit 105 is not necessary in the information processing apparatus.
  • the points constituting the slice information may have elasticity information that is information about elasticity and color information.
  • the slice information group storage unit 106 may be a non-volatile recording medium or a volatile recording medium.
  • the slice information group output unit 107 outputs the slice information group in the slice information group storage unit 106.
  • the output is a concept including display on a display, printing on a printer, transmission to an external device (usually a device having a display device), and the like.
  • the slice information group output unit 107 may or may not include an output device such as a display.
  • the slice information group output unit 107 can be implemented by output device driver software, or output device driver software and an output device. When the slice information group is output to the display, the user can usually recognize a three-dimensional object.
  • the second mesh information acquisition unit 108 deforms the first mesh information in the first mesh information storage unit 104 in accordance with the instruction received by the instruction receiving unit 102, and acquires the second mesh information constituting the deformed shape. To do.
  • the data structure of the second mesh information is usually the same as the first mesh information.
  • the second mesh information acquisition unit 108 deforms the first mesh information and acquires the second mesh information constituting the deformed shape.
  • Second mesh information acquisition unit 108 Deforms the first mesh information and acquires second mesh information constituting the deformed shape.
  • the processing is usually processing by a finite element method.
  • the second mesh information acquisition unit 108 can usually also realize an MPU, a memory and the like.
  • the processing procedure of the second mesh information acquisition unit 108 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the first slice information group acquisition unit 109 does not have color information and is the first slice that is a plurality of slice information. Get information group.
  • the first slice information group acquisition unit 109 obtains a plurality of pieces of slice information, which is information that can be acquired by slicing a three-dimensional object constituted by the second mesh information module, which is mesh information deformed with respect to the first mesh information. get. It is preferable that the interval between the slice information to be applied is constant.
  • the plurality of slice information is preferably perpendicular to the line-of-sight vector.
  • the fact that the slice information constituting the first slice information group has no color information includes having dummy color information that is a color that is not finally displayed.
  • the first slice information group acquisition unit 109 can usually also realize an MPU or memory power.
  • the processing procedure of the first slice information group acquisition unit 109 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the color information determination unit 110 is each point of a plurality of slice information constituting the first slice information group, and is stored in the object information storage unit 103, and each point corresponding to the point of the 3D botacel information is stored. Determine color information. Each point corresponding to a point in the 3D botacel information is a point in the 3D botacell information and is a point before transformation.
  • the color information determination unit 110 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the color information determination unit 110 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, hardware (dedicated circuit) may be used.
  • Corresponding point determination means 1101 determines each point in the 3D botacell information corresponding to each point of the plurality of slice information constituting the first slice information group. Note that each point in the 3D botacell information is a point before deformation. Corresponding point determination means 1101 can usually also be realized by an MPU, memory or the like. The processing procedure of the corresponding point determining means 1101 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, Hardue Can be realized with a (dedicated circuit).
  • the color information determination unit 1102 acquires the color information of each point in the 3D vessel cell information determined by the corresponding point determination unit 1101.
  • the color information determination unit 1102 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the color information determination unit 1102 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the second slice information group acquisition unit 111 applies each point of the first slice information group acquired by the first slice information group acquisition unit 109 based on the color information of each point determined by the color information determination unit 110. New color information is set, and a second slice information group is acquired. That is, the second slice information group acquisition unit 111 uses the color of each point determined by the color information determination unit 110 as new color information for each point of the first slice information group acquired by the first slice information group acquisition unit 109. Set the information. A plurality of pieces of slice information set with powerful color information is the second slice information group.
  • the second slice information group acquisition unit 111 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the second slice information group acquisition unit 111 is usually realized by software, and the software is recorded on a recording medium such as ROM. However, it may be realized by hardware (dedicated circuit).
  • the deformed object output unit 112 outputs the second slice information group acquired by the second slice information group acquisition unit 111.
  • Output is a concept including display on a display, printing on a printer, transmission to an external device (for example, a device having a display device), storage on a recording medium, and the like.
  • Display refers to output to a display or projector.
  • the display mode of the second slice information group is not limited.
  • the deformed object output unit 112 preferably outputs the depth of the display and the slicing force in order among the plurality of slices constituting the second slice information group.
  • the deformed object output unit 112 may or may not include an output device such as a display.
  • the deformed object output unit 112 can be realized by output device driver software, or output device driver software and an output device.
  • the position information acquisition unit 113 acquires one or more pieces of position information of the points corresponding to the instruction or the points constituting the region.
  • the position information is usually a set of coordinate information (X, y, z). Even if the position information acquisition unit 113 acquires one or more pieces of position information as slice information group power, the first slice The information group power may be acquired or the second slice information group power may be acquired.
  • the position information acquisition unit 113 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the position information acquisition unit 113 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the elasticity information acquisition unit 114 acquires one or more pieces of elasticity information paired with one or more pieces of position information acquired by the position information acquisition unit 113.
  • the point that the elasticity information acquisition unit 114 acquires the elasticity information and the point that the position information acquisition unit 113 acquires the position information need to be the same.
  • the elastic information acquisition unit 114 can usually be realized by an MPU, memory, or the like.
  • the processing procedure of the elasticity information acquisition unit 114 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the elasticity information output unit 115 outputs force information (for example, a force vector) based on one or more elasticity information acquired by the elasticity information acquisition unit 114.
  • Output is a concept that includes sending a signal to the input / output device 101 such as a phantom, displaying on a display, printing on a printer, outputting sound, and sending to an external device.
  • the sound output here is, for example, an output in which force is expressed in terms of sound intensity.
  • the elastic information output unit 115 can be realized by software, driver software for an output device such as a display or a speaker, or a driver software for an output device and an output device.
  • Step S201 The instruction receiving unit 102 determines whether or not the input / output device 101 (which may be a keyboard, a mouse, or the like) has received a force instruction. If an instruction is accepted, the process goes to step S202, and if no instruction is accepted, the process returns to step S201.
  • the input / output device 101 which may be a keyboard, a mouse, or the like
  • Step S202 The instruction receiving unit 102 determines whether or not the instruction is an instruction to output the instruction force slice information group received in step S201. If it is an output instruction, go to step S203, and if it is not an output instruction, go to step S205.
  • Step S 203 The slice information group output unit 107 reads the slice information group from the slice information group storage unit 106. Each piece of slice information that makes up a profitable slice information group is usually perpendicular to the line-of-sight vector.
  • Step S204 The slice information group output unit 107 outputs the slice information group read out in step S203. Return to step S201. A three-dimensional object is displayed by outputting the slice information group.
  • Step S205 The instruction receiving unit 102 determines whether or not the instruction force received in step S201 is a force that is an instruction to rotate the three-dimensional object. If it is a rotation instruction, go to Step S206, and if it is not a rotation instruction, go to Step S209.
  • Step S206 Slice information group acquisition section 105 acquires a line-of-sight vector based on the rotation instruction received in step S201.
  • the line-of-sight vector is a vector perpendicular to the display surface of the display.
  • the rotation instruction is input by the input / output device 101 such as a mouse. Since the process of rotating a three-dimensional object with a mouse is a process according to a known technique, a detailed description thereof is omitted.
  • Step S207 The slice information group acquisition unit 105 cuts out a plurality of pieces of slice information that are perpendicular to the line-of-sight vector and have a constant interval from the 3D vessel cell information stored in the object information storage unit 103. Get slice information group. The interval value is stored in advance.
  • Step S 208 The slice information group acquisition unit 105 at least temporarily accumulates the slice information group acquired in step S 207 in the slice information group storage unit 106. Go to step S204.
  • Step S209 The instruction receiving unit 102 determines whether or not the instruction power point or area instruction received in step S201 is a force. If it is a point or area instruction, the process goes to step S210, and if it is not a point or area instruction, the process returns to step S201.
  • the point or area indication method may be any method using a mouse.
  • Step S210 The position information acquisition unit 113 acquires one or more position information of a point corresponding to the instruction received in Step S201 or a point constituting the region.
  • the elasticity information acquisition unit 114 sets one or more pieces of elasticity information paired with one or more pieces of position information acquired by the position information acquisition unit 113 as slice information of the slice information group storage unit 106, or Acquires 3D Botacel information power of the object information storage unit 103. First, the elasticity information acquisition unit 114 sets each point having one or more pieces of position information as each slice information or 3D button cell. Search from information. Next, the elasticity information of the point obtained by the search is acquired.
  • the elasticity information output unit 115 calculates and calculates elasticity information that also outputs one or more elasticity information forces acquired by the elasticity information acquisition unit 114.
  • the elasticity information obtained by the elasticity information output unit 115 may be different from the elasticity information to be output.
  • the elasticity information to be acquired may be an elastic modulus
  • the elasticity information to be output may be a force.
  • the elastic information is, for example, an elastic modulus.
  • the modulus of elasticity may be Young's modulus, bulk modulus, stiffness, or Poisson's ratio.
  • the elasticity information output unit 115 may calculate an average value of one or more elasticity information and output the elasticity information.
  • the elasticity information output unit 115 may be elasticity information that outputs a maximum value of 1 or more elasticity information. Further, for example, the elastic information output unit 115 may be elastic information that outputs a minimum value of one or more elastic information. In addition, the elasticity information output unit 115 uses one or more elasticity information (e, e ..., e) as parameters.
  • the elastic information to be output may be calculated by 1 2 n;)).
  • Step S23 The elasticity information output unit 115 outputs the one or more elasticity information acquired in Step S212 to the input / output device 11 (usually PHANToM).
  • Step S214 The input / output device 101 vibrates by driving the motor. Elasticity is transmitted to the user through powerful processing.
  • Step S 215 The deformed object output unit 112 outputs a deformed slice information group (three-dimensional object).
  • This powerful process is called a deformation process and will be described with reference to the flowcharts of FIGS.
  • the deformation process of the three-dimensional object corresponds to the instruction in step S201. That is, for example, when the user presses a certain point or region with PHANToM, the three-dimensional object is deformed depending on the pressed strength (or time). Go to step S204.
  • step S215 may be performed before step S210.
  • step S215 the deformation process in step S215 will be described with reference to the flowcharts of FIGS.
  • the second mesh information acquisition unit 108 receives the information from the first mesh information storage unit 104. Read first mesh information.
  • Step S302 The second mesh information acquisition unit 108 deforms the first mesh information read in Step S301 based on the instruction received in Step S201, and obtains the second mesh information constituting the deformed shape. get. Since the process of deforming the mesh information based on the deformation instruction is a known technique (a finite element technique), detailed description thereof is omitted.
  • Step S303 First slice information group acquisition section 109 acquires a first slice information group that is a plurality of slice information based on the second mesh information acquired in step S302. A three-dimensional object formed by the second mesh information is sliced to obtain information on a plurality of planes. Such plane information is slice information. Slice information is a set of points indicated by coordinate information (X, y, z) and has no color information. In such a case, the first slice information group acquisition unit 109 acquires a first slice information group that is a plurality of slice information at a predetermined interval that is perpendicular to the line-of-sight vector. Here, the slice information constituting the first slice information group has no color information.
  • Step S 304 Second slice information group acquisition section 111 acquires a second slice information group. Details of the processing will be described with reference to the flowchart of FIG.
  • Step S 305 The deformed object output unit 112 outputs the second slice information group acquired in Step S 304. Return to upper function.
  • step S304 the process of acquiring the second slice information group in step S304 will be described with reference to the flowchart of FIG.
  • Step S 401 Second slice information group acquisition section 111 assigns 1 to counter i.
  • Step S402 The second slice information group acquisition unit 111 determines whether slice information (unprocessed slice information) of the cells exists in the first slice information group. If the slice information of the cell exists, go to step S403, and if the i-th slice information does not exist, return to the upper function.
  • Step S 403 Second slice information group acquisition section 111 substitutes 1 for counter j.
  • Step S 404 Second slice information group acquisition section 111 determines whether or not there is an unprocessed j th point in the i th slice information. If the jth point exists, go to step S405, and if the jth point does not exist, jump to step S409. "Unprocessed" means color information Set a newsletter and say something obscene.
  • Corresponding point determination means 1101 is a point corresponding to the j th point in the i th slice information, and determines a point in the 3D votacel information.
  • the point in the 3D botacel information is the point before deformation.
  • the jth point is a point after deformation. Details of an example algorithm for determining the points in the 3D botacell information will be described later.
  • Step S 406 Color information determining means 1102 acquires color information of a point in the 3D vessel cell information determined in Step S 405.
  • Step S407 The color information determination unit 1102 sets the color information acquired in step S406 as the color information of the j-th point in the i-th slice information.
  • Step S 408 Second slice information group acquisition section 111 increments counter j by 1. Return to step S404.
  • Step S 409 Second slice information group acquisition section 111 increments counter i by 1. Return to step S402.
  • the three-dimensional object is an organ such as a heart or a lung.
  • a three-dimensional object can be approximated by a set of tetrahedrons. Therefore, here, in order to simplify the description, a case where the tetrahedron shown in FIG. 5 (a) is deformed will be described.
  • Fig. 5 (a) it has 4 points of A, B, C, and O.
  • Point P is a point inside the tetrahedron.
  • the object information storage unit 103 stores the 3D button cell information shown in FIG.
  • the first mesh information storage unit 104 stores, for example, first mesh information shown in FIG.
  • the 3D box information is a set of point information that is information of all points constituting the tetrahedron shown in FIG. 5 (a).
  • the point information includes position information (X, y, z), color information (such as “col” in FIG. 6), and elasticity information (such as “e” in FIG. 6).
  • the first mesh information is, for example, a set of information on the points outside and inside the tetrahedron (the points are spaced apart from each other!).
  • the slice information group acquisition unit 105 is also perpendicular to the line-of-sight vector, and acquires a slice information group that is a plurality of slice information at a predetermined interval, as well as 3D botacell information power. .
  • the slice information group acquisition unit 105 obtains the position “minD” WmaxD ”of the three-dimensional object to be displayed, slices at a predetermined interval“ D ”, and acquires a plurality of slice information.
  • the slice information is a set of point information. In addition, there is no interval between points constituting slice information. That is, the plane indicated by the slice information is filled with point information.
  • the point information here has position information (X, y, z) and no color information.
  • the slice information group acquisition unit 105 acquires the slice information group shown in FIG.
  • the slice information group includes slice information S, slice information S, slice information S, and the like. Note that the line-of-sight vector
  • the reason why the slice information is obtained vertically is to make the slice information thin even when the set of user force slice information is viewed. Further, the thinned slice information is acquired at a predetermined interval because of the high speed display processing. The reason why slice information is acquired at regular intervals is to display a high-quality three-dimensional object.
  • the line-of-sight vector is a vector perpendicular to the screen, and changes according to the rotation instruction when the instruction receiving unit 102 receives the rotation instruction.
  • the slice information group acquisition unit 105 stores the acquired slice information group of FIG. 9 in the slice information group storage unit 106 at least temporarily.
  • the slice information group output unit 107 outputs the slice information group in the slice information group storage unit 106.
  • the user can recognize a three-dimensional tetrahedron from the output slice information group.
  • the trigger for the slice information group output unit 107 to output the slice information group may be a user instruction, a command received from an external device, or the like. The trigger does not matter.
  • the user inputs an instruction for a predetermined point or region for the output slice information group and tries to deform the displayed three-dimensional tetrahedron.
  • Such instructions are called deformation instructions.
  • the deformation instruction is input by, for example, a phantom included in the information processing apparatus.
  • the input with the phantom is, for example, an input of pressing a tetrahedron point O shown in FIG. 5 (a) to the left with a predetermined force.
  • the instruction receiving unit 102 receives a deformation instruction. With this input, the tetrahedron shown in FIG. 5 (a) becomes a tetrahedron as shown in FIG. 5 (b).
  • the second mesh information acquisition unit 108 deforms the first mesh information of FIG. 7 and acquires the second mesh information constituting the deformed shape.
  • Figure 10 shows the second mesh information. That is, the second mesh information is information indicating the tetrahedron in FIG.
  • transforms 1st mesh information and acquires 2nd mesh information is as follows. Since it is a well-known technique by the finite element method, detailed description is abbreviate
  • the corresponding point determination means 1101 solves the equation (2) to obtain the parameters s, t, u that define the internal point P ′ from the mesh after the deformation, and from the equation (1) before the deformation. Get position P of. Then, the color information corresponding to the position P is acquired as well as the 3D button cell information power shown in FIG. Then, the color information determination unit 1102 acquires and sets the color information of each point in the plurality of slice information constituting the first slice information group determined by the corresponding point determination unit 1101. As a result, each point constituting each piece of transformed slice information in FIG. 11 has color information.
  • the deformed object output unit 112 outputs a second slice information group.
  • the three-dimensional object after receiving the deformation instruction is output in real time.
  • the position information acquisition unit 113 acquires one or more pieces of position information of points corresponding to the received instruction (deformation instruction) or points constituting the region.
  • the position information of the point O is acquired.
  • the elasticity information acquisition unit 114 obtains one or more elasticity information (e) paired with the position information of the point O acquired by the position information acquisition unit 113 for each slice of the slice information group storage unit 106. Information or the 3D Botacel information power of the object information storage unit 103 is also acquired.
  • the elasticity information output unit 115 calculates and calculates a force vector that also outputs one or more elasticity information forces acquired by the elasticity information acquisition unit 114. When the elasticity information acquisition unit 114 obtains one piece of elasticity information, the elasticity information output unit 115 normally outputs the elasticity information as it is.
  • the elasticity information output unit 115 outputs the acquired force vector to the phantom.
  • the phantom drives the motor in response to the force vector. The user can then feel the reaction force obtained for the given push using the phantom.
  • the present embodiment it is possible to render the deformation and destruction generated in the mesh in real time with the color information on the surface and inside. It can also handle information about the elasticity of 3D objects. Specifically, when an input / output device such as a phantom is used to push or hold an output 3D object, the 3D object can be felt while feeling the hardness of the pressed or gripped part. The shape of the object can be changed. Further, according to the present embodiment, it is possible to simulate the deformation of the real-time three-dimensional object while feeling the hardness by using the slice information group acquired from the 3D bocellel information and the mesh information.
  • the deformed mesh elements are represented by overlapping texture-mapped cross sections,
  • the surface of the object The internal structure can be drawn with high definition, and each point constituting the three-dimensional object or each point constituting the Z and slice information group has elasticity information, so that the user can harden the three-dimensional object.
  • it corresponds to a dynamic calculation algorithm typified by the finite element method, and is composed of, for example, 256 X 256 X 256 voxel on a general-purpose PC without requiring a dedicated graphics card. Smooth deformation animation can be generated for volume data.
  • the number of generated base polygons increases and the number of frames decreases.
  • the number of frames is almost proportional to the slice interval D. If a volume texture of 256 X 256 X 256voxel is used, a frame count of 10 Hz or more can be achieved with a mesh of up to about 2000 elements if the slice interval D is 2. As a result, it was possible to present a smooth animation interactively in response to operations on objects.
  • the information processing apparatus is useful for visualizing the surface / internal structure when a deformation simulation is performed on a three-dimensional object shape such as a human organ obtained by CT or MRI. is there.
  • a three-dimensional object shape such as a human organ obtained by CT or MRI.
  • the results applied to the shape of a three-dimensional object such as a human organ are shown below.
  • Fig. 14 (a) shows the volume rendering result of the myocardial region from which the 2D image collective force acquired by CT is also extracted.
  • Figure 14 (b) shows the result of creating a tetrahedral mesh model of the same shape and performing a deformation simulation. Since the gray value is reflected, the microstructure of the deformed coronary arteries and the properties of the object surface can be depicted with high definition.
  • each image data in FIG. 14 also includes color information.
  • the user can feel the hardness of the cylinder when it is deformed.
  • the information processing apparatus is useful for a wide range of applications related to computer graphics, such as animation generation for entertainment that is not limited to the simulation of deformation of a three-dimensional object such as an organ.
  • the scope of application of visualization can be greatly expanded.
  • Fig. 15 (a) when a process of pressing the point X using a phantom is performed on a three-dimensional object as shown in Fig. 15 (a), Fig. 15 (b) As shown, the three-dimensional object is deformed and the force required for the deformation returns to the phantom so that the user can feel the force.
  • the three-dimensional object is a car engine part.
  • Figures 15 (a) and 15 (b) show how the mechanical structure analysis is performed. Note that if a 3D object is a human organ and its powerful work is used in a simulation of human surgery, it is not only visually. The tactile sensation makes it possible to simulate human surgery.
  • the processing in the present embodiment may be realized by software.
  • This software may be distributed by software download or the like.
  • this software may be recorded and distributed on a recording medium such as a CD-ROM.
  • the software that realizes the information processing apparatus in the present embodiment is the following program.
  • this program is a slice that is information configured based on the two-dimensional image data that is obtained by cutting out the 3D votacel information, which is the volume texture of a three-dimensional object, into a plurality of planes.
  • Elastic information acquisition for acquiring one or more elastic information paired with the acquisition step and the one or more positional information acquired in the positional information acquisition step
  • the elasticity information acquiring stearyl Tsu program for executing the elasticity information output step of outputting based on one or more elastic information acquired in-flop is.
  • slice information that is information configured based on two-dimensional image data obtained by cutting out 3D votacel information, which is a volume texture of a three-dimensional object, into a plurality of planes on a computer, Output a slice information group having a plurality of slice information composed of information of a plurality of points having position information which is information indicating position, color information which is information about color and elasticity information which is information about elasticity
  • a slice information grouping step, an instruction receiving step for receiving an instruction for a predetermined point or region of the output slice information group, and the stored first mesh information are transformed based on the instruction.
  • a second mesh information acquisition step for acquiring second mesh information constituting the deformed shape, and color information based on the second mesh information.
  • a first slice information group acquisition step for acquiring a first slice information group, which is a plurality of slice information that does not have, and each point of the plurality of slice information constituting the first slice information group, and the 3D botacel information
  • a color information determination step for determining color information of each point corresponding to the point of the report, and the first slice information group acquisition step based on the color information of each point determined in the color information determination step
  • a new color information is set for each point of the first slice information group acquired in step 2
  • a second slice information group acquisition step for acquiring the second slice information group, and a deformed object output for outputting the second slice information group
  • a position information acquisition step for acquiring one or more position information of a point corresponding to the instruction or a point constituting an area, and one or more position information paired with the one or more position information acquired in the position information acquisition step
  • An elastic information acquisition step for acquiring the elasticity information and a program for executing an elasticity information output step for outputting the elasticity information based on the
  • an information processing apparatus having an authoring function capable of easily setting the elasticity information described in the first embodiment will be described.
  • the information processing apparatus can freely set desired elasticity information for a part of the three-dimensional region of the three-dimensional object designated by the user.
  • FIG. 16 is a block diagram of the information processing apparatus according to the present embodiment.
  • the information processing apparatus includes an input receiving unit 1601, an object information storage unit 103, a first mesh information storage unit 104, a slice information group acquisition unit 105, a slice information group storage unit 106, a slice information group output unit 107, a tertiary An original region mask shape changing unit 1602, a three-dimensional region mask position changing unit 1603, a mesh information acquiring unit 1604, and an elasticity information setting unit 1605 are provided.
  • the input receiving unit 1601 receives an input about a three-dimensional region mask having a three-dimensional geometric shape, an input about elasticity information that is information about elasticity, an output instruction to output a slice information group, and the like.
  • the three-dimensional region mask is information for cutting out (splitting regions) slice information groups having 3D votacell information or one or more slice information, and is information having a three-dimensional geometric shape.
  • a three-dimensional area mask is information of a three-dimensional mesh.
  • the information of the 3D mesh is a collection of information on points constituting the 3D object.
  • the information of the three-dimensional mesh is a set of information on points that are spaced apart.
  • the point information is usually (X, y, z) coordinate information.
  • the elastic information is, for example, an elastic modulus.
  • the elasticity information received by the input receiving unit 1601 is specified by a three-dimensional region mask. Elastic information set in a set of points in a three-dimensional region.
  • a generation instruction that is an instruction to generate a 3D area mask
  • a shape change instruction that is an instruction to change the shape of the 3D area mask
  • a position of the 3D area mask are changed.
  • the generation instruction may be, for example, an instruction to place a three-dimensional area mask in 3D vessel cell information.
  • the generation instruction may be an instruction to select a shape and place the three-dimensional area mask of the shape in the 3D vessel cell information when there are a plurality of shapes of the three-dimensional area mask, for example.
  • the generation instruction may be an instruction for constructing a three-dimensional three-dimensional area mask by tracing the outline of the displayed three-dimensional image with an input means such as a mouse.
  • a slice information group is output according to the output instruction.
  • the instruction and elasticity information input means may be anything such as a numeric key board, a mouse or a menu screen.
  • the input receiving unit 1601 can be realized by a device driver for input means such as a numeric keypad or a keyboard, or control software for a menu screen.
  • a three-dimensional area mask is usually a set of tetrahedrons. Then, each vertex of the tetrahedron constituting the output 3D area mask may have not only coordinate information but also elasticity information, and may have elasticity information associated with each vertex of the tetrahedron. You may do it.
  • the 3D area mask shape changing unit 1602 changes the shape of the 3D area mask based on the shape change instruction and outputs the change. For example, every time the input receiving unit 1601 receives a click on the right button of the mouse as an input means, the 3D region mask shape changing unit 1602 sets the size of the 3D region mask to 90% without changing the center of gravity. Reduce to size.
  • the 3D area mask shape changing unit 1 602 for example, every time the input receiving unit 1601 receives a click of the left button of the mouse as an input unit, the size of the second 3D area mask is calculated based on the center of gravity. Scale up to 110% without change.
  • the three-dimensional region mask shape changing unit 1602 receives a mouse drag signal as an input means by the input receiving unit 1601, and changes the shape of the point (point) indicated by the mouse according to the signal. .
  • the processing performed by the 3D region mask shape changing unit 1602 is a 3D mesh information transformation process, and is a known technique, and thus a detailed description thereof is omitted.
  • the three-dimensional area mask shape changing unit 1602 is usually used from an MPU or memory. Can be realized.
  • the processing procedure of the three-dimensional area mask shape changing unit 1602 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it can be realized with hardware (dedicated circuit).
  • the three-dimensional area mask position changing unit 1603 changes the position of the three-dimensional area mask based on the position change instruction and outputs the change.
  • “Changing the position of the three-dimensional region mask” means changing the relative position to the slice information group.
  • the 3D area mask position changing unit 1603 performs a process of moving the 3D area mask in the depth direction with respect to the slice information group when the input means is pressed.
  • the processing performed by the three-dimensional area mask position changing unit 1603 is a processing for changing the position of the three-dimensional mesh, and since it is a known technique, detailed description thereof is omitted.
  • the three-dimensional area mask position changing unit 1603 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the three-dimensional area mask position changing unit 1603 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the mesh information acquisition unit 1604 acquires and outputs mesh information, which is information of a three-dimensional mesh constituting the three-dimensional region mask.
  • the mesh information may be the mesh information (mesh information constituting the three-dimensional area mask) acquired based on the instruction received by the input receiving unit 1601 as it is. Further, the mesh information may be mesh information of a three-dimensional region mask as a result of processing by the three-dimensional region mask shape changing unit 1602 or the Z and three-dimensional region mask position changing unit 1603. For example, when the input receiving unit 1601 receives the selection of the shape of the three-dimensional region mask, the mesh information acquisition unit 1604 holds the mesh information of the shape that can be selected in advance.
  • the mesh information acquisition unit 1604 can also realize an MPU, a memory and the like.
  • the processing procedure of the mesh information acquisition unit 1604 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the elasticity information setting unit 1605 is each point included in each piece of slice information in the slice information group. For each point in the inner region, which is an inner region of the mesh information, the elasticity information is set. Set. This elasticity information is based on the input received by the input receiving unit 1601. It is elastic information. Further, the elasticity information setting unit 1605 is each point constituting the 3D vessel cell data of the object information storage unit 103 based on the mesh information, and for each point of the inner region that is the inner region of the mesh information, Elastic information may be set. In general, the elasticity information setting unit 1605 can also realize an MPU, a memory and the like. The processing procedure of the elasticity information setting unit 1605 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • Step S1701 The input receiving unit 1601 determines whether or not the input has been received. If the input is accepted, the process goes to step S 1702. If the input is not accepted, the process returns to step S 1701.
  • Step S1702 The input receiving unit 1601 determines whether or not the input received in step S1701 is an output instruction. If it is an output instruction, go to step S 1703; otherwise, go to step S 1705.
  • the output instruction is, for example, an instruction to start the information processing apparatus application.
  • Step S 1703 The slice information group output unit 107 reads the slice information group from the slice information group storage unit 106.
  • Step S 1704 The slice information group output unit 107 outputs the slice information group acquired in step S 1703. Return to step S1701.
  • Step S1705 The input receiving unit 1601 determines whether or not the input received in step S1701 is a generation instruction. If so, go to Step S 1706; otherwise, go to Step S 1708.
  • Step S 1706 Mesh information acquisition section 1604 reads out and outputs mesh information stored in advance.
  • the mesh information acquisition unit 1604 may hold in advance two or more pieces of mesh information (for example, a spherical body, a cylindrical shape, etc.).
  • Step S 1707 Mesh information acquisition section 1604 temporarily stores the mesh information acquired in step S 1706. Return to step S1701.
  • Step S 1708 The input receiving unit 1601 determines whether or not the input received in step S 1701 is a shape change instruction. If it is a shape change instruction, go to step S 1709, If not a shape change instruction, go to step S1711.
  • Step S1709 The three-dimensional region mask shape changing unit 1602 changes the shape of the temporarily stored mesh information, and outputs the changed mesh information.
  • Step S1710 The three-dimensional region mask shape changing unit 1602 temporarily stores the mesh information whose shape has been changed in step S1709. Return to step S1701.
  • Step S 1711 The input receiving unit 1601 determines whether or not the input received in step S 1701 is a position change instruction. If it is a position change instruction, go to Step S1712. If it is not a position change instruction, go to Step S1714.
  • Three-dimensional region mask position changing section 1603 changes the position of the temporarily stored mesh information and outputs mesh information. This position is a position in a three-dimensional space.
  • Step S 1713 Three-dimensional region mask position changing section 1603 temporarily stores the mesh information whose position has been changed in step S 1712. Return to step S1701.
  • Step S 1714 The input receiving unit 1601 determines whether or not the input received in step S 1701 is elasticity information. If it is elastic information, go to Step S1715, and if it is not elastic information, return to Step S1701.
  • Step S1715 The elasticity information setting unit 1605 sets the inertia information received in Step S1701 as the elasticity information of a predetermined point.
  • the elastic information setting process will be described in detail with reference to the flowchart of FIG.
  • step S1715 the elasticity information setting process in step S1715 will be described with reference to the flowchart of FIG.
  • Step S1801 The elasticity information setting unit 1605 substitutes 1 for the counter i.
  • Step S1802 The elasticity information setting unit 1605 determines whether or not the i-th slice information (unprocessed slice information) is present in the first slice information group. If the i-th slice information exists, the process goes to step S1803. If the i-th slice information does not exist, the process returns to the upper function. (0182) (Step S1803) The elasticity information setting unit 1605 substitutes 1 for the counter j.
  • Step S1804 The elasticity information setting unit 1605 performs the j-th point in the i-th slice information.
  • step S305 It is determined whether or not (unprocessed point) exists. If the j-th point exists, go to step S305, and if the j-th point does not exist, jump to step S313. “Unprocessed” means that whether or not to set elasticity information is determined.
  • Step S 1805) The elastic information setting unit 1605 obtains position information (X, y, z) of the j th point in the i th slice information.
  • Step S1806 The elasticity information setting unit 1605 determines whether the j-th point is a point in the inner region or a point in the outer region. Such processing is performed as follows, for example. In other words, the elasticity information setting unit 1605 calculates all intersections between the i-th slice information and the first mesh information in the three-dimensional space (this process is a known process). If there is no strong intersection at all, the elasticity information setting unit 1605 determines that all points in the i-th slice information are points in the outer region. Also, if there is only one intersection point, the elasticity information setting unit 1605 determines that only one point is a point in the inner region and the other points are points in the outer region.
  • the plurality of intersection points constitute a closed plane. If the j-th point is a point in the closed plane, the elasticity information setting unit 1605 is a point in the inner area, and if the j-th point is another point, it is the outer area. It is judged that this is the point. In addition, when all points constituting the boundary of a closed plane are given, an arbitrary point j force The process for determining whether or not a point is in the plane is a known process, and therefore a detailed description Is omitted.
  • Step S1807 The elasticity information setting unit 1605 goes to Step S1808 if the determination result of Step S1806 is a point of the inner region, and determines that it is a point of the outer region If so, go to step S1809.
  • Step S1808 The elasticity information setting unit 1605 sets the received elasticity information as the elasticity information of the j-th point.
  • Step S 1809 The elasticity information setting unit 1605 increments the counter j by 1. Go to step S 1804.
  • Step S1810 The elasticity information setting unit 1605 increments the counter i by 1. Ste Go to S 1802.
  • the output three-dimensional object is, for example, a human torso
  • the object information storage unit 103 stores 3D votacell information having a structure as shown in FIG.
  • the first mesh information storage unit 104 stores, for example, first mesh information having a structure as shown in FIG.
  • the slice information group acquisition unit 105 acquires a slice information group, which is a plurality of slice information, at a predetermined interval from the 3D botacell information at a predetermined interval. .
  • the slice information group acquisition unit 105 stores the acquired slice information group in the slice information group storage unit 106 at least temporarily.
  • the slice information group output unit 107 displays the slice information group in the slice information group storage unit 106.
  • An example of such display is shown in FIG. FIG. 19 shows that the slice information group acquisition unit 105 uses the 3D area mask to cut out the 3D botacell information power of FIG. 6 and slices the slice information into each point of each slice information in the corresponding 3D botacell information. This is an example in which point color information is acquired, a plurality of slice information with color information to be output is configured, and the slice information group output unit 107 is displayed.
  • the method for cutting out multiple pieces of slice information for the 3D Botacel information power is the same as the method for cutting out pieces of slice information shown in FIG. 9 from the tetrahedron shown in FIG. 3D Botacel Information Power Since the technology for extracting multiple pieces of slice information is a known technology, detailed description thereof is omitted.
  • the input receiving unit 1601 receives a generation instruction.
  • the mesh information acquisition unit 1604 reads mesh information (stored in advance) that constitutes a spherical three-dimensional mask.
  • Spherical mesh information is information that also represents the collective power of some points on the surface of the sphere.
  • the mesh information acquisition unit 1604 temporarily stores the acquired mesh information.
  • the mesh information is then displayed (see Figure 20). The mesh information is in a spherical shape in front of the trunk.
  • the user moves the position of the displayed mesh information with an input means such as a mouse.
  • Enter an instruction to change the shape or change the shape is performed by an operation such as dragging the mouse.
  • the 3D area mask position changing unit 1603 changes the position of the temporarily stored mesh information
  • the 3D area mask shape changing unit 1602 changes the shape of the temporarily stored mesh information.
  • the mesh information in FIG. 20 is changed as shown in FIG.
  • processing for changing the shape and position of the three-dimensional mesh information in accordance with a user instruction is a known technique.
  • the information processing apparatus displays a menu for inputting elasticity information.
  • the user inputs elastic information (elastic modulus) of “53”.
  • the elasticity information setting unit 1605 sets the elasticity information of the dot in the inner area of the three-dimensional area mask configured with mesh information to “53”. That is, the dot in the inner area of the three-dimensional area mask composed of mesh information is “(x, y, z, col, 53)”. (X, y, z, col) can be different.
  • the present embodiment it is possible to easily set elasticity information in a part of a three-dimensional region constituting a three-dimensional object. That is, according to the present embodiment, for example, the elasticity information of a predetermined part of a three-dimensional object having the same hardness can be set at a time for each organ.
  • an interface for inputting elasticity information is not limited.
  • numerical values are input, but elastic information may be input by sliding a knob.
  • the software that realizes the information processing apparatus in the present embodiment is the following program.
  • this program is slice information that is information configured based on two-dimensional image data obtained by cutting out 3D votacel information, which is a volume texture of a three-dimensional object, into a plurality of planes.
  • a slice information group output step for outputting a slice information group having a plurality of slice information composed of position information which is information indicating a position and information on a plurality of points having elasticity information which is information on elasticity;
  • An input reception step for receiving an input about a three-dimensional region mask having a geometric shape and an elasticity information which is information about the elasticity.
  • an information processing apparatus for designating a region to be deformed and simulating deformation of a three-dimensional object by using a surgical instrument metaphor that is a metaphor of a surgical instrument that is a tool used in surgery.
  • the information processing apparatus can perform operation planning support.
  • FIG. 23 is a block diagram of the information processing apparatus according to the present embodiment.
  • the information processing apparatus includes an input / output device 101, an instruction receiving unit 102, an object information storage unit 103, a first mesh information storage unit 104, a slice information group acquisition unit 105, a slice information group storage unit 106, a slice information group Output unit 107, second mesh information acquisition unit 2308, first slice information group acquisition unit 109, color information determination unit 110, second slice information group acquisition unit 111, deformed object output unit 1 12, position information acquisition unit 113, An elastic information acquisition unit 114 and an elastic information output unit 115 are provided.
  • the color information determination unit 110 includes a corresponding point determination unit 1101, a color information determination unit 1102, a surgical instrument metaphor storage unit 2301, and a surgical instrument metaphor output unit 2302.
  • the second mesh information acquisition unit 2308 includes an operation node determination unit 23081, a displacement determination unit 23082, and a second mesh information acquisition unit 23081.
  • the surgical instrument metaphor storage unit 2301 stores a surgical instrument metaphor, which is a metaphor of a surgical instrument.
  • the tool metaphor is bitmap data such as scissors and tweezers, and graph data.
  • the surgical instrument metaphor preferably has the shape of a surgical instrument, but may be a figure such as a rectangular parallelepiped or a sphere.
  • the surgical instrument metaphor storage unit 2301 can also be realized by a volatile recording medium such as a force RAM, which is preferably a non-volatile recording medium such as a hard disk or ROM.
  • the surgical instrument metaphor output unit 2302 reads the surgical instrument metaphor from the surgical instrument metaphor storage unit 2301, and outputs the surgical instrument metaphor.
  • the output here means display on a display or transmission to an external device (display device).
  • the surgical instrument metaphor output unit 2302 is an output device such as a display. You may think that it includes a chair or not.
  • the surgical instrument metaphor output unit 2302 can be implemented by output device driver software, or output device driver software and an output device.
  • the instruction receiving unit 102 here receives an instruction for a predetermined area of the output slice information group.
  • this instruction is, for example, an instruction for rotation of the area or Z and parallel movement. Further, it is preferable that this instruction is an instruction for movement or operation of the surgical instrument metaphor.
  • the second mesh information acquisition unit 2308 designates the area received by the instruction receiving unit 102, and follows the first mesh information storage unit 104 in accordance with an instruction to deform (pinch or twist).
  • the mesh information is deformed, and second mesh information constituting the deformed shape is acquired. More specifically, by specifying an area received by the instruction receiving unit 102 and instructing deformation, displacement information of a plurality of points (operation nodes described later) is given to the second mesh information acquisition unit 2308.
  • the displacement of a displaceable point (free node to be described later) is calculated from the displacement information of a plurality of points, and second mesh information constituting the deformed shape is acquired.
  • the process of calculating the displacement of a displaceable point (free node to be described later) from the displacement information of the plurality of points is usually a process using a finite element method and a process using a known technique. Description is omitted.
  • the operation node determining unit 23081 determines an operation node in response to the instruction received by the instruction receiving unit 102 (instruction for a predetermined area of the slice information group being output).
  • An operation node is a node (point) to which a forced displacement is applied when expressing a surface operation (operation on an area having a plurality of points).
  • the operation node determination unit 23081 determines the operation node under the following conditions, for example.
  • the operation node determination unit 23081 superimposes the surgical instrument metaphor on a specified region of a three-dimensional object (for example, an organ object having an organ shape), and operates the point cloud on the surface of the overlapping portion of the three-dimensional object. Let it be a node.
  • the operation node is determined by examining each node of the three-dimensional object in each tetrahedron constituting the surgical instrument metaphor. More specifically, for example, the operation node determination unit 23081 determines the relationship between each vertex (o, a, b, c) of the tetrahedral mesh of the surgical instrument metaphor in FIG. It is. Further, the operation node determination unit 23081 calculates s, t, and u according to Equation 2.
  • the operation node determination means 23081 inspects all points of the tetrahedral mesh constituting the three-dimensional object, and if a point satisfies the logical expression of Equation 3 (if true), the point Is an operation node. If a point does not satisfy the logical expression of Equation 3 (if it is false), the point is not an operation node.
  • FIG. 26 The concept of the processing of the operation node determination means 23081 is shown in FIG. In Fig. 26, the round points are free nodes, the back points are operation nodes, and the triangular points are fixed nodes. Note that information on fixed nodes is normally held in advance by the information processing apparatus.
  • the displacement determining means 23082 determines the displacement of the operation node in response to the instruction. For example, the displacement determining means 23082 determines the displacement of the operation node as follows. Figure 27 shows the concept of operation node displacement. It is assumed that the user performs an operation of pinching an organ object using the surgical instrument metaphor. Next, the instruction receiving unit 102 receives an instruction of “pinch”. . Then, the displacement determining means 23082 calculates the displacement of the operation node (the back point in FIG. 27 (a)) according to the following Equation 4. Expression 4 is an expression when the point P is displaced to the point P ′. The matrix M in Equation 4 is expressed by Equation 5. M is a rotation matrix. The matrix T in Equation 4 is expressed by Equation 6. T is a matrix indicating translation. The displacement determining means 23082 calculates the moved node P ′ by multiplying the element matrix P of the operation node by the rotation matrix M and the translation matrix T.
  • ⁇ represents the rotation amount.
  • ⁇ and ⁇ are determined by the values of ⁇ , ⁇ , and ⁇ , and these values are accepted as input values.
  • the input value is usually a value that the instruction receiving unit 102 receives.
  • ⁇ ⁇ , ⁇ , and ⁇ ⁇ indicate displacements in the ⁇ direction, the y direction, and the ⁇ direction, respectively.
  • ⁇ ⁇ , ⁇ , ⁇ ⁇ are periodically input one after another, and the displacement determining means 2308 2 is continuously subjected to the displacement after the displacement according to the user input (operation such as knobs and pulling).
  • the operation node P ′ is updated one after another.
  • the displacement determining means 23082 stores the information of Equation 7 as well as the above Equation 4 force, reads the information of the Equation, substitutes the acquired information into the read Equation, and operates after the displacement. Get work node P '.
  • the acquired information is information such as ⁇ , ⁇ , ⁇ . J
  • the second mesh information acquisition unit 23081 displaces the free node according to the plurality of operation nodes after displacement acquired by the displacement determination unit 23082, and does not displace the fixed node, thereby generating the second mesh information.
  • the concept of processing by the second mesh information acquisition means 23081 is as follows (FIG. 27 (b) to (c)). Powerful arithmetic processing is performed by the finite element method. Note that information for identifying a fixed node is held in advance, for example.
  • Step S2801 The instruction receiving unit 102 determines whether the instruction is in the instruction force area received in step S201. If it is an area instruction, the process proceeds to step S2802, and if it is not an area instruction, the process returns to step S201. It is preferable that the region is designated using a surgical instrument metaphor.
  • Step S2802 The position information acquisition unit 113 acquires two or more pieces of position information of the points constituting the area corresponding to the instruction received in Step S201.
  • the elasticity information acquisition unit 114 sets the two or more pieces of elasticity information paired with the two or more pieces of position information acquired by the position information acquisition unit 113 as slice information of the slice information group storage unit 106, or Acquires 3D Botacel information power of the object information storage unit 103.
  • the elasticity information acquisition unit 114 searches for points having two or more pieces of position information from each piece of slice information or 3D botacel information.
  • the elasticity information acquisition unit 114 acquires the elasticity information of two or more points obtained by the search.
  • the elasticity information output unit 115 calculates and calculates elasticity information that also outputs two or more elasticity information forces acquired by the elasticity information acquisition unit 114.
  • the elasticity information obtained by the elasticity information output unit 115 may be different from the elasticity information to be output.
  • the elasticity information to be acquired may be an elastic modulus
  • the elasticity information to be output may be a force.
  • the elastic information is, for example, an elastic modulus.
  • the modulus of elasticity may be Young's modulus, bulk modulus, stiffness, or Poisson's ratio.
  • the elasticity information output unit 115 may calculate an average value of two or more elasticity information and output the elasticity information.
  • the elasticity information output unit 115 is 2 It is good also as elastic information which outputs the maximum value of the above elastic information.
  • the elasticity information output unit 115 has a predetermined function f (f (e (e
  • the elastic information to be output may be calculated.
  • Step S 2805 The deformed object output unit 112 outputs a deformed slice information group (three-dimensional object). This powerful process is called a deformation process and will be described with reference to the flowchart of FIG.
  • the deformation process of the three-dimensional object corresponds to the instruction in step S201. Go to step S204.
  • step S2805 is performed in step S2.
  • Step S2901 The second mesh information acquisition unit 2308 reads the first mesh information from the first mesh information storage unit 104.
  • Step S2902 The operation node determining unit 23081 determines an operation node. The process for determining the operation node will be described with reference to the flowchart of FIG.
  • Step S2903 The displacement determining means 23082 performs a step corresponding to the received instruction.
  • the displacement of two or more operation nodes determined in S 2902 is determined.
  • the process for determining the displacement of the operation node will be described with reference to the flowchart of FIG.
  • the second mesh information acquisition means 23081 reads information for identifying the fixed node held in advance, determines that the operation node and nodes other than the fixed node are free nodes, and is free. Information for identifying the node is temporarily stored in the memory.
  • Step S2905 The second mesh information acquisition unit 23081 acquires the second mesh information by displacing the free node according to the plurality of operation nodes after displacement acquired by the displacement determination unit 23082.
  • the displacement of the free node is calculated by the finite element method using the displacement information of the plurality of surrounding nodes (information of the displacement of the operation node acquired in step S2903). Since this process is a known process of the finite element method, a detailed description thereof will be omitted. Go to step S303. Next, the operation node determination process of the information processing apparatus will be described using the flowchart of FIG.
  • the operation node determining means 23081 is configured to calculate the coordinates (p, p, p) and vertices a, b, c of all the nodes (points) P of the tetrahedron constituting the surgical instrument metaphor. Read the coordinate value.
  • Step S3002 The operation node determining unit 23081 reads the stored information of Equation 2 and Equation 3.
  • Step S3003 The operation node determining unit 23081 substitutes 1 for the counter i.
  • Step S3004 The operation node determining unit 23081 determines whether or not the i-th tetrahedron exists. If the i-th tetrahedron exists, go to step S3005, and if the i-th tetrahedron does not exist, return to the upper function.
  • Step S3005 The operation node determining unit 23081 obtains the coordinate values of the node (point) P of the i-th tetrahedron and the vertices a, b, and c.
  • Step S3006 The operation node determination unit 23081
  • Step S3007 The operation node determination means 23081 adds the step S
  • Step S3008 The operation node determining unit 23081 determines whether the calculation result in step S3007 is true or false. If true, go to step S3009; if false, go to step S3010.
  • Step S3009 The operation node determining unit 23081 records the coordinate values of the node (point) P of the i-th tetrahedron and the vertices a, b, and c on the memory. This process is an example of a process for registering the i-th tetrahedron node as an operation node.
  • Step S3010 The operation node determination unit 23081 increments the counter i by 1.
  • Step S3101 The displacement determining means 23082 reads the information of Formula 7 as well as the stored Formula 4 force.
  • Step S3102 The displacement determining means 23082 is the result of the operation by the surgical instrument metaphor.
  • Step S3103 Displacement determining means 23082 substitutes 1 for counter i.
  • Step S3104 Displacement determining means 23082 determines whether or not the i-th operation node exists. If the i-th operation node exists, the process goes to step S3105. If the i-th operation node does not exist, the process returns to the upper function.
  • Step S3105 The displacement determining means 23082 obtains p ( x , y, z ) of the i-th operation node.
  • Step S3106 The displacement determining means 23082 calculates ⁇ , ⁇ , ⁇ using Equations 5, 6, 7, and ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ obtained in Step S3102, and temporarily stores them in the memory.
  • Step S3107 The displacement determining means 23082 substitutes ⁇ , ⁇ ⁇ , and a into Equation 4, calculates ⁇ '( ⁇ ' (X, y, z), and temporarily stores it in the memory.
  • Step S3108 The displacement determining means 23082 increments the counter i by one. Return to step S3104.
  • the three-dimensional object is an organ such as a liver.
  • the object information storage unit 103 holds 256 ⁇ 256 ⁇ 256 torso CT data.
  • the surgical instrument metaphor storage unit 2301 stores an operation object (surgical instrument metaphor) which is a rectangular parallelepiped tetrahedral mesh.
  • the first mesh information storage unit 104 stores information on the liver-type tetrahedral mesh as a visceral object.
  • the organ object mesh was created by using the Amira 3.1 from Mercury Computer Systems to extract the spleen region from the CT data of the torso.
  • the created organ object has 787 nodes and 2999 elements (tetrahedral number).
  • the Young's modulus was 1.0 and the Poson's ratio was 0.4.
  • the deformation calculation performed by the second mesh information acquisition unit 23081 was based on the formula used in Non-Patent Document 8.
  • the simulation image is generated by drawing each element after the deformation, and the method used in Non-Patent Document 9 is used as a powerful drawing algorithm.
  • the input means used by the user is a combination of a mouse, a keyboard, and an on-screen GUI.
  • the user moves the surgical instrument metaphor by using the above-mentioned input means, pinches the organ, and watches the rotation.
  • the coordinate system is a right-handed system with the body axis direction of the volume image as the z-axis.
  • the translation of the surgical instrument metaphor and the translation of the operation node are performed with the right drag, and the amount of rotation and the direction of the rotation axis are determined with the left drag.
  • the rotation center is the center of the surgical instrument metaphor.
  • use the keyboard to determine the operation area.
  • a slider bar (not shown) on the GUI is used for the amount of displacement when performing the knob operation.
  • the transformation process is performed as follows. First, the second mesh information acquisition unit 2308 reads the first mesh information from the first mesh information storage unit 104. Then, the operation node determination unit 23081 determines an operation node. In order to determine the operation node, the operation node determination unit 23081 uses the above-described equations 2 and 3.
  • Fig. 32 (a) shows a state in which an operation region is designated for an organ object.
  • the operation node determination unit 23081 determines a point in the region where the operation object and the organ object overlap as an operation node.
  • this operation node is represented by a relatively large gray point (eg 3201).
  • the other points are fixed nodes or free nodes. It is assumed that fixed node information is stored in advance.
  • Fig. 32 (b) is a volume image of the liver when no displacement is observed in the operation node.
  • the user performed a knob operation using the slider bar on the GUI.
  • the displacement determining means 23082 determines the displacement of the operation node by the above-described processing.
  • the second mesh information acquisition unit 23081 acquires the second mesh information by displacing the free node according to the plurality of operation nodes after displacement acquired by the displacement determination unit 23082.
  • the first slice information group acquisition unit 109 acquires a first slice information group, which is a plurality of slice information, based on the acquired second mesh information.
  • the second slice information group acquisition unit 111 acquires the second slice information group by the above-described processing.
  • the deformed object output unit 112 outputs the acquired second slice information group.
  • FIG. 33 (a) shows the case where the displacement is small, and there are 18 operation nodes.
  • FIG. 33 (b) shows a case where the displacement amount is large, and the number of operation nodes is 31. In both Figure 33 (a) and (b), the expression is pinched.
  • the displacement determining means 23082 determines the displacement of the operation node by the above-described processing.
  • the second mesh information acquisition unit 23081 acquires the second mesh information by displacing the free node according to the plurality of operation nodes after the displacement acquired by the displacement determination unit 23082.
  • the first slice information group acquisition unit 109 acquires a first slice information group that is a plurality of slice information based on the acquired second mesh information.
  • the second slice information group acquisition unit 111 acquires the second slice information group by the above-described processing.
  • the deformed object output unit 112 outputs the acquired second slice information group.
  • FIGS. 34 (a) and 34 (b) a volume image of the liver when the rotation operation is performed as shown in FIGS. 34 (a) and 34 (b) is displayed.
  • the amount of rotation is small (b) shows that the amount of rotation is large.
  • the center of rotation is (40, 80, 100) and the axis of rotation is parallel to the X axis. It can be seen from the output in Fig. 34 (b) that this operation made it possible to see a strong vascular structure that could not be seen in the initial state.
  • a surgical plan it is possible to support a surgical plan. Specifically, for example, it is possible to simulate a preoperative volume surgery that simulates the deformation of an organ caused by a surgical tool and is rendered on a volume image, which is assumed at the time of endoscopic surgery. Furthermore, according to the present embodiment, it is possible to describe an interaction between three-dimensional objects, ie, a surgical instrument and an organ, and to construct an environment that can be operated interactively.
  • the model can be the stomach, heart, and other organs, not just the liver.
  • the software that realizes the information processing apparatus is the following program.
  • this program stores multiple 3D botacel information on the computer.
  • Slice information that is information configured based on the two-dimensional image data obtained by cutting out on the plane of the image, and a plurality of pieces of color information that is information about the position information and color information.
  • a slice information group having a plurality of slice information composed of point information and a first mesh information which is information of a three-dimensional mesh of a three-dimensional object, and a slice information group for outputting the slice information group
  • a second mesh information acquisition step for acquiring information, and a first slice which is a plurality of slice information without V and color information based on the second mesh information.
  • a slice information group acquisition step for acquiring a slice information group, and a plurality of slice information constituting the first slice information group, and color information of each point corresponding to the point of the 3D botacel information is determined. Using the color information determination step and the color information of each point determined in the color information determination step, new color information is set at each point of the first slice information group acquired in the first slice information group acquisition step.
  • a program for executing a second slice information group acquisition step for acquiring a second slice information group and a deformed object output step for outputting the second slice information group.
  • the first mesh information can be displaced with respect to an operation node that is a point displaced in response to the instruction received in the instruction receiving step and the displacement of the operation node.
  • the second mesh information is acquired by displacing the free node according to and not displacing the fixed node.
  • the second mesh information acquisition step of the program includes an operation node determination step of determining an operation node in response to the instruction.
  • the instruction received in the instruction receiving step of the program is an instruction for rotation or Z and translation of the region, and corresponds to the instruction in the second mesh information acquisition step.
  • Displacement determining means for determining the displacement of the operation node It is preferable to do.
  • the computer further causes the computer to read out and output a surgical instrument metaphor, which is a metaphor of the surgical instrument, and in the instruction receiving step, the movement of the surgical instrument metaphor is performed. It is preferable that an instruction for an operation is received, and the instruction can be an instruction for a predetermined region of the output slice information group.
  • the computer acquires a plurality of pieces of position information of points constituting the area corresponding to the instruction, and a plurality of pieces of position information acquired in the position information acquisition step. It is preferable to further execute an elasticity information acquisition step for acquiring a plurality of elasticity information pairs with the position information, and an elasticity information output step for outputting using the plurality of elasticity information acquired in the elasticity information acquisition step. .
  • FIG. 35 is a block diagram of the information processing apparatus in the present embodiment.
  • the information processing apparatus includes an object information storage unit 3501, an input reception unit 3502, a 3D region mask shape change unit 3503, a 3D region mask position change unit 3504, a first slice information group acquisition unit 35 05, first A slice information group storage unit 3506, a second mesh information acquisition unit 3507, and an object output unit 3508 are provided.
  • the object output unit 3508 includes second slice information group constituting means 35081 and output means 35082.
  • the object information storage unit 3501 stores 3D votacel information that is a volume texture of a three-dimensional object.
  • the 3D botacell information is a set of two-dimensional images acquired by a medical device such as CT, MRI, or PET.
  • the 3D Botacel information is a set of two-dimensional images obtained by photographing the human brain and the inside of the body with, for example, CT and MRI.
  • the object information storage unit 3501 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the input receiving unit 3502 receives an input about the second 3D area mask that is the second 3D area mask.
  • the 3D region mask is information for cutting out 3D votacell information, and is information having a 3D geometric shape.
  • the second 3D area mask is a 3D message. Information.
  • the information of the 3D mesh that constitutes the second 3D area mask is called second mesh information.
  • the 3D mesh information (second mesh information, etc.) is a set of information on the points that make up the 3D object.
  • the 3D mesh information is a set of information on points that are spaced apart.
  • the point information is usually coordinate information (X, y, z).
  • the 3D box information is, for example, information on a point composed of, y, z, and col).
  • the input for the second 3D area mask is, for example, an instruction to place the second 3D area mask in the 3D votacell information.
  • the input for the second 3D area mask is, for example, when there are a plurality of second 3D area masks having a plurality of shapes, selecting a shape and selecting the second 3D area mask for the shape. It is an instruction to place in 3D Botacel information.
  • the input about the second 3D area mask is, for example, an instruction to construct a 3D second 3D area mask by tracing the outline of the displayed 3D image with an input means such as a mouse.
  • the input for the second 3D region mask is, for example, the following shape change instruction or position change instruction.
  • the input receiving unit 3502 may also receive a shape change instruction that is an instruction to change the shape of the second three-dimensional area mask.
  • the input receiving unit 3502 may also receive a position change instruction that is an instruction to change the position of the second 3D area mask.
  • the information processing apparatus may not be able to specify the shape and position of the second 3D area mask.
  • the input receiving unit 3502 may receive an input of a line-of-sight vector that is information indicating the line-of-sight direction. Since the line-of-sight vector is a vector perpendicular to the display, the line-of-sight vector input is, for example, an instruction to rotate the displayed stereoscopic image.
  • the input means can be anything such as a keyboard, mouse (including 3D mouse), PHANToM (phantom), or a menu screen.
  • the input receiving unit 3502 can be realized by a device driver for input means such as a mouse, control software for a menu screen, or the like.
  • the 3D area mask shape changing unit 3503 changes the shape of the second 3D area mask based on the shape change instruction.
  • the three-dimensional region mask shape changing unit 3503 is, for example, the input receiving unit 3502 is an input means Each time the right mouse button is clicked, the size of the second 3D area mask is reduced to 90% without changing the center of gravity.
  • the 3D region mask shape changing unit 3503 changes the size of the second 3D region mask and the center of gravity each time the input receiving unit 3502 receives a click on the left button of the mouse as an input unit. Without increasing the size to 110%.
  • the 3D region mask shape changing unit 3503 receives the mouse drag signal, which is the input means, and changes the shape of the point (point) that is instructed by the mouse according to the signal. To do.
  • the process performed by the 3D area mask shape changing unit 3503 is a 3D mesh information transformation process, which is a well-known technique and will not be described in detail.
  • the three-dimensional area mask shape changing unit 3503 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the 3D area mask shape changing unit 3503 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (a dedicated circuit).
  • the 3D area mask position changing unit 3504 changes the position of the second 3D area mask based on the position change instruction. “Changing the position of the second 3D area mask” means changing the relative position of the first slice information group. For example, when the input means is PHANToM, the 3D area mask position changing unit 3504 moves the second 3D area mask in the depth direction with respect to the first slice information group when PHANToM is pressed. I do.
  • the process performed by the 3D area mask position changing unit 3504 is a process for changing the position of the 3D mesh, and since it is a known technique, detailed description thereof is omitted.
  • the three-dimensional area mask position changing unit 3504 can usually also realize an MPU, a memory and the like.
  • the processing procedure of the 3D area mask position changing unit 3504 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the first slice information group acquisition unit 3505 cuts out a plurality of pieces of slice information that are perpendicular to the line of sight (line-of-sight vector) and have a constant interval from the 3D botacell information stored in the object information storage unit 3501.
  • the first slice information group is acquired.
  • the line of sight is, for example, a line perpendicular to the display from which the object output unit 3508 outputs the first slice information group (the line of sight of the person viewing the display).
  • Slice information is a set of points that make up a plane The distance between points is tight.
  • the first slice information group acquisition unit 3505 does not necessarily need to cut out a plurality of pieces of slice information that are perpendicular to the line of sight and have a constant interval.
  • the plurality of slice information is preferably perpendicular to the line-of-sight vector. Moreover, it is preferable that the interval between slice information is constant. The closer the interval between slice information, the more accurate the 3D object is presented to the user. However, the closer the interval between slice information, the longer the output processing described below takes. Since a process of extracting a plurality of slice information that is a plane from the 3D bocellel information is a known technique, a detailed description is omitted.
  • the first slice information group acquisition unit 3505 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the first slice information group acquisition unit 3505 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (a dedicated circuit).
  • the first slice information group storage unit 3506 stores the first slice information group.
  • the first slice information group is a plurality of slice information in which the 3D box information power of the object information storage unit 3501 is also extracted using the first 3D region mask.
  • the first 3D area mask is a first 3D area mask having a 3D geometric shape for cutting out a 3D object.
  • the shape and position of the first three-dimensional area mask may be changeable as well as the second three-dimensional area mask, and may be fixed. As with the second 3D area mask, the position change is received by the input receiving unit 3502 and the 3D area mask shape changing unit 3503 and the 3D area mask position changing unit 3504 respectively perform processing.
  • the first slice information group in the first slice information group storage unit 3506 is the first slice information group acquired by the first slice information group acquisition unit 3505.
  • the first slice information group storage unit 3506 may store the first slice information group in advance.
  • the first slice information group acquisition unit 3505 is not necessary.
  • the first slice information group storage unit 3506 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the second mesh information acquisition unit 3507 acquires second mesh information, which is information of the three-dimensional mesh constituting the second three-dimensional area mask.
  • the second mesh information is the second mesh information constituting the second three-dimensional area mask received by the input receiving unit 3502 and remains as it is. Also good.
  • the second mesh information corresponds to the second mesh information constituting the second 3D region mask received by the input receiving unit 3502, and the 3D region mask shape changing unit 3503 or the Z and 3D region masks.
  • the second mesh information of the second 3D area mask as a result of processing by the position changing unit 3504 may be used.
  • the input receiving unit 3502 receives the selection of the shape of the second 3D area mask, it is assumed that the mesh information of the shape that can be selected is held in advance by the second mesh information acquiring unit 3507.
  • the second mesh information acquisition unit 3 507 can usually also realize an MPU or memory power.
  • the processing procedure of the second mesh information acquisition unit 3507 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the object output unit 3508 determines, for each piece of slice information in the first slice information group, an inner region that is an inner region of the second mesh information and an outer region that is an outer region of the second mesh information.
  • Each slice information is configured by visually distinguishing the inner region and the outer region, a second slice information group for visually distinguishing the inner region and the outer region is obtained, and the second slice information group is obtained.
  • the second slice information group is a set of slice information in which the color information is corrected so as to visually distinguish the inner area and the outer area for each piece of slice information in the first slice information group.
  • the object output unit 3508 is initially each point of a plurality of slice information constituting the first slice information group, and is stored in the object information storage unit 3501 and corresponds to each point of the 3D botacel information. Get color information from 3D Botacel information. Then, the object output unit 3508 performs different processing on the color information of the points of the 3D botacel information depending on whether each point is an inner region point or an outer region point, and each point of the plurality of slice information Get and set color information for. As a result, the inner area and the outer area are visually distinguished and output. Specifically, for example, each slice information force arranged in the three-dimensional space. The force output by the 3D second mesh information.
  • the object output unit 3508 normally performs the following in order for each slice information. Process.
  • the object output unit 3508 calculates a set of boundary points from which the slice information is cut out by the three-dimensional second mesh information (the set of points constitutes a closed plane). Then, the object output unit 3508 determines an area existing in the closed plane created by the set of points as an inner area, and determines an area outside the closed plane as an outer area. Next, the object output unit 3508 The color information of all points in the inner area of the report is determined. Next, the object output unit 3508 determines the color information of all points in the outer area of the slice information. In this case, the object output unit 3508 determines the color information of the points in each region so that the inner region and the outer region can be visually distinguished.
  • the object output unit 3508 may make the points in the outer region transparent. In such a case, only the points in the inner area are displayed, and the user can view only the 3D image of the area surrounded by the second 3D area mask. In such a case, the object output unit 3508 uses the color information of the points in the inner region as the color information of the points in the corresponding 3D votacel information.
  • the object output unit 3508 may set the points in the inner region to a transparent color, for example. In such a case, only the points in the outer area are displayed, and the user can see only the 3D image in which the area surrounded by the second 3D area mask is cut out. That is, for example, the user can check the remaining body part after being cut out by surgery. In such a case, the object output unit 3508 uses the color information of the points in the outer region as the color information of the points in the corresponding 3D votacel information.
  • the object output unit 3508 may, for example, make the luminance of the points in the inner region larger than the luminance of the points in the outer region. In such a case, the inner area force S is focused and displayed. In such a case, the object output unit 3508 first sets the color information of all the points as the color information of the points of the 3D button cell information corresponding to the points (having the same position information), and determines the luminance of the color information. to correct .
  • the brightness correction is, for example, a process of increasing the brightness of the points in the inner region by 30% and decreasing the brightness of the points in the outer region by 30%. Since the brightness correction process is a well-known technique, a detailed description thereof is omitted.
  • the output is a concept including display on a display, printing on a printer, transmission to an external device (such as a device having a display device), storage on a recording medium, and the like.
  • the object output unit 3508 may or may not include an output device such as a display or a speaker.
  • the object output unit 3508 may be realized by output device driver software, or output device driver software and an output device.
  • the second slice information group constituting unit 35081 determines the color information of the points in each area so as to visually distinguish the inner area and the outer area, and constitutes the second slice information group.
  • the first varnish information group constituting unit 35081 usually searches for a point of 3D voxel information having the same position information as the point of the inner region, and acquires the color information of the point.
  • the second slice information group structure The generation means 35081 processes the color information of the points in the inner area, or the color information of the points in the Z and outer areas, and determines the color of the points in each area so that the inner area and the outer area can be visually distinguished. To do. Then, the second slice information group constituting unit 35081 uses the determined color information as the color information of each point, and obtains a second slice information group.
  • the processing includes, for example, transparency described below and processing for changing luminance.
  • the second slice information group constituting unit 35081 configures the second slice information group by setting the point in the outer region of each slice information of the first slice information group to a transparent color.
  • the second slice information group constituting unit 35081 for example, searches for a point of 3D votacel information having the same position information as a point of the inner region, and uses the color information of the searched point as the inner region. The color information of the point.
  • the second slice information group constituting unit 35081 uses the color of the point in the inner area of each slice information in the first slice information group and the point in the outer area of each slice information in the first slice information group.
  • the second slice information group is configured with a color tone different from the above color.
  • the second slice information group constituting unit 35081 uses the brightness of the point in the inner area of each slice information in the first slice information group as the point in the outer area in each slice information in the first slice information group. And the second slice information group is configured. In such a case, normally, the second slice information group constituting unit 35081 obtains the color information other than the luminance of each point from the color information of the corresponding point of the 3D button cell information.
  • the second slice information group constituting unit 35081 configures the second slice information group by setting the point in the inner area of each slice information of the first slice information group to a transparent color.
  • the second slice information group constituting unit 35081 for example, searches for a point of 3D votacel information having the same position information as the point of the outer region, and uses the color information of the searched point as the color information of the outer region. It is point color information.
  • the second slice information group constituting unit 35081 can usually also realize an MPU, a memory and the like.
  • the processing procedure of the second slice information group constituting unit 35081 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the output means 35082 is the second slice formed by the second slice information group constituting means 35081. Output information group. Output is a concept that includes display on a display, printing on a printer, transmission to an external device, and the like.
  • the output means 35082 may or may not include an output device such as a display.
  • the output means 35082 can be realized by driver software of an output device or driver software and an output device of the output device.
  • Step S3601 The input receiving unit 3502 determines whether or not the input has been accepted. If the input is accepted, the process goes to step S3602. If the input is not accepted, the process returns to step S3601.
  • Step S3602 The input receiving unit 3502 determines whether or not the input received in step S3601 is a force that is an output start instruction. If it is a start instruction, go to step S3603; otherwise, go to step S3607.
  • the output start instruction is, for example, an instruction to start the information processing apparatus.
  • Step S3603 First slice information group acquisition section 3505 acquires a line-of-sight vector.
  • the line-of-sight vector is stored in advance in the information processing apparatus.
  • the line-of-sight vector is a vector perpendicular to the front of the three-dimensional object formed by the 3D boat cell information.
  • the line-of-sight vector may change according to an instruction from the user.
  • the user's instruction is received by the input receiving unit 3502, for example.
  • the line-of-sight vector changes by rotating the output three-dimensional object.
  • the first slice information group acquisition unit 3505 reads out the 3D button cell information stored in the object information storage unit 3501, and from the 3D button cell information, with respect to the line-of-sight vector acquired in step S3 603 A plurality of pieces of slice information that are vertical and have a constant interval are cut out to obtain a first slice information group. It is assumed that the information about the interval at which slice information is cut out is stored in advance by the first slice information group acquisition unit 3505. For example, the first slice information group acquisition unit 3505 also cuts out a plurality of slice information by using the first 3D region mask stored in advance, and the 3D vessel cell information power of the object information storage unit 3501.
  • Step S 3605 First slice information group acquisition section 3505 temporarily accumulates the first slice information group acquired in step S 3604 in first slice information group storage section 3506.
  • Step S 3606 The object output unit 3508 outputs the first slice information group acquired in step S 3604. With powerful output, the user can visually recognize a three-dimensional object. Return to step S3601.
  • Step S3607 The input receiving unit 3502 determines whether or not the input force second 3D mask received in step S3601 is the first input. If the input is for the second 3D mask, go to step S3608. If not, go to step S3612.
  • Second mesh information acquisition section 3507 acquires second mesh information, which is information about the three-dimensional mesh that constitutes the second three-dimensional mask corresponding to the input.
  • Step S 3609 Second slice information group constituting unit 35081 obtains the position of the second mesh information.
  • the position of the second mesh information acquired here is a default position. Note that information about the default position is stored in advance, for example.
  • the position information may be received by the input receiving unit 3502.
  • Step S3610 The second slice information group constituting unit 35081 obtains a second slice information group using the second mesh information obtained up to step S3609. The process of acquiring the second slice information group will be described in detail using the flowchart of FIG.
  • Step S3611 The output means 35082 outputs the second slice information group configured in Step S3609. Return to step S3601.
  • Step S3612 The input receiving unit 3502 determines whether or not the input force shape change instruction received in step S3601. If it is a shape change instruction, the process goes to step S3613. If it is not a shape change instruction, the process goes to step S3614.
  • Step S3613 The three-dimensional region mask shape changing unit 3503 changes the shape of the second mesh information based on the shape change instruction received in step S3612. Since the process for changing the shape of the second mesh information is a known technique (a finite element technique), a detailed description thereof will be omitted. Go to step S3610.
  • Step S3614 The input receiving unit 3502 receives the input power level received in Step S3601. It is determined whether it is a position change instruction. If it is a position change instruction, the process goes to step S3615. If it is not a position change instruction, the process returns to step S3601.
  • Step S3615 The three-dimensional region mask position changing unit 3504 changes the position of the second mesh information based on the position change instruction received in step S3614. Since the process of changing the position of the second mesh information is a known technique, a detailed description thereof will be omitted. Go to step S3 610.
  • Step S3701 The second slice information group constituting unit 35081 substitutes 1 for the counter i.
  • Step S3702 The second slice information group constituting unit 35081 judges whether or not the i-th slice information (unprocessed slice information) exists in the first slice information group. If the i-th slice information exists, the process goes to step S3703. If the i-th slice information does not exist, the process returns to the upper function.
  • Step S3703 The second slice information group constituting unit 35081 substitutes 1 for the counter j.
  • Step S3704 The second slice information group constituting unit 35081 determines whether or not the j th point (unprocessed point) in the i th slice information exists. If the jth point exists, go to step S3705, and if the jth point does not exist, jump to step S3713. “Unprocessed” means that no color information is set.
  • Step S3705 The second slice information group constituting unit 35081 obtains position information (X, y, z) of the j-th point in the i-th slice information.
  • Step S3706 The second slice information group constituting unit 35081 obtains the color information of the point in the 3D vessel cell information having the position information that matches the position information obtained in Step S3705.
  • the second slice information group constituting unit 35081 It is determined whether the point is the area point or the outside area point. Such processing is performed as follows, for example. That is, the second slice information group constituting unit 35081 calculates all intersections between the i-th slice information and the second mesh information in the three-dimensional space (this process is a public process). If there is no such intersection, the second slice information group constituting unit 35081 determines that all points of the i-th slice information are points in the outer region. Further, if there is only one intersection point, the second slice information group constituting unit 35081 determines that only one point is a point in the inner region and the other points are points in the outer region. When there are multiple intersections, the intersections constitute a closed plane.
  • the second slice information group constituting unit 35081 is a point in the closed plane that uses the j-th point force, the point is a point in the inner region, and if the j-th point force is another point, It is determined that the point is in the outer area. Note that the processing for determining whether or not a given point j is a point in the plane when all points constituting the boundary of the closed plane are given is a known process. Detailed explanation is omitted.
  • Step S3708 The second slice information group constituting unit 35081 judges whether or not the j-th point is a point in the inner region. If it is a point in the inner region, go to step S3709, and if it is a point in the outer region, go to step S3710.
  • Step S3709 The second slice information group constituting unit 35081 processes the color information of the j-th point into color information corresponding to the inner region. Note that this processing includes processing that does not change the color information power acquired in step S3706. Further, the processing is, for example, a process for converting color information into a transparent color. Further, the processing is, for example, processing for increasing the luminance of the color information acquired in step S3706. Go to step S3711.
  • Step S3710 The second slice information group constituting unit 35081 processes the color information of the j-th point into color information corresponding to the outer region. Note that this processing includes processing that does not change the color information power acquired in step S3706. Further, the processing is, for example, a process for converting color information into a transparent color. The processing is a process for reducing the luminance of the color information acquired in step S3706, for example. Note that the processing in step S3709 and step S3710 is different processing (one includes “NOP” in which no processing is performed). Row to step S3711
  • Second slice information group constituting unit 35081 sets the processed color information as the color information of the j-th point.
  • Step S3712 The second slice information group constituting unit 35081 increments the counter j by 1. Go to step S3704.
  • Step S3713 Second slice information group constituting unit 35081 increments counter i by 1. Go to step S3702.
  • the output three-dimensional object is, for example, a human torso or a head.
  • Such a three-dimensional object can be approximated by a set of tetrahedrons. Therefore, to simplify the explanation, various data structures are first described using the tetrahedron shown in FIG. In FIG. 38, there are four points A, B, C, and O. Point P is a point inside the tetrahedron.
  • Fig. 39 shows an example of the data structure of the second mesh information.
  • Fig. 40 shows an example of the data structure of 3D botacell information.
  • the second mesh information is, for example, a set of information on the points outside and inside the tetrahedron (the points are spaced apart).
  • the 3D button cell information is a set of point information that is information of all points constituting the tetrahedron shown in FIG.
  • the point information includes at least position information (X, y, z) and color information (such as “col” in FIG. 40).
  • the disclosure instruction is, for example, turning on the information processing apparatus.
  • the disclosure instruction is, for example, double-clicking on the software icon when the processing part of the information processing apparatus is realized by software. Further, the disclosure instruction is, for example, selecting an item of a start instruction from a menu.
  • the input receiving unit 3502 receives a start instruction.
  • the first slice information group acquisition unit 3505 acquires a line-of-sight vector stored in advance.
  • the line-of-sight vector is a solid perpendicular to the display screen on which the three-dimensional object is displayed.
  • the first slice information group acquisition unit 3505 reads out the 3D button cell information stored in the object information storage unit 3501, and divides the eye vector from the 3D button cell information. A plurality of pieces of slice information that are straight and have a constant interval are cut out, and the first slice information group is acquired. The concept of such processing will be described below.
  • the first slice information group acquisition unit 3505 uses the first three-dimensional region mask (mesh information) and has no color information! /, The first slice information group which is a plurality of slice information, get. As shown in FIG. 41, the first slice information group acquisition unit 3505 acquires a first slice information group that is perpendicular to the line-of-sight vector and is a plurality of slice information at a predetermined interval.
  • the first slice information group acquisition unit 3505 obtains the position “minD” WmaxD ”of the three-dimensional object to be displayed, slices at a predetermined interval“ D ”, and acquires a plurality of slice information.
  • Slice information is a collection of point information. Further, there is no interval between points constituting the slice information. In other words, the plane indicated by the slice information is filled with point information.
  • the point information here has position information (X, y, z) and no color information.
  • the first slice information group acquisition unit 3505 acquires, for example, the first slice information group shown in FIG.
  • the first slice information group includes slice information S, slice information S, slice information S, and the like. Note that it is perpendicular to the eye vector.
  • the first slice information group acquisition unit 3505 acquires color information of points in the 3D voxel information having the same position information as each point. Then, the first slice information group acquisition unit 3505 sets the acquired color information as the color information of the corresponding point of the slide in the first slice information group. Here, each point of the slide constituting the first slice information group has color information.
  • the first slice information group acquisition unit 3505 temporarily accumulates the acquired first slice information group in the first slice information group storage unit 3506. Then, the object output unit 3508 outputs the acquired first slice information group.
  • Fig. 43 shows a CT image of the human torso and 3D votacell information.
  • Fig. 43 multiple The force that is available between two floor plans (image data).
  • 3D botacel information is considered to be a set of information on a plurality of floor plans that are closely spaced.
  • the first slice information group acquisition unit 3505 uses the first 3D region mask to cut out a plurality of pieces of slice information from the 3D votacell information in FIG. 43, and the 3D corresponding to each point of each slice information.
  • the first three-dimensional area mask is information of a cylindrical three-dimensional mesh that is approximately the shape of the body.
  • the method of cutting out a plurality of slice information in the 3D Botacel information power is the same as the method of cutting out a plurality of slice information in FIG. 42 from the tetrahedron in FIG. Since the technology for extracting a plurality of slice information in the 3D button cell information power is a well-known technology, a detailed description is omitted.
  • the information processing apparatus can also perform processing to increase the transparency as shown in FIG. 45 from the display state of FIG.
  • the input receiving unit 3502 receives an instruction to increase the transparency, and the transparency changing means (not shown) changes the color information of each point of each first slice information so as to increase the transparency. To do. Since the process of changing the color information so as to increase the transparency is a known technique, detailed description thereof is omitted. Increasing the transparency of each point makes it easier for the user to recognize organs (such as the heart) inside the trunk.
  • the input receiving unit 3502 receives a powerful input.
  • the second mesh information acquisition unit 3507 acquires the second mesh information constituting the spherical second 3D mask.
  • the spherical second mesh information is information that also includes the collective power of some points on the surface of the sphere. For example, it is assumed that the second mesh information is held in advance by the information processing apparatus.
  • the second slice information group constituting unit 35081 obtains the position of the second mesh information.
  • the position of the second mesh information is determined as follows, for example. In other words, it is assumed that the center of the sphere of the second mesh information coincides with the position of the center of gravity of the three-dimensional object formed by the displayed first slide information group in FIG. Then, the second slice information group constituting unit 35081 calculates the position of the center of gravity to be applied and determines the position of the second mesh information as the position of the center of the sphere.
  • the second slice information group constituting unit 35081 obtains a second slice information group. That is, the second slice information group constituting unit 35081 performs the following processing in order from the first slice information table.
  • the second slice information group constituting unit 35081 obtains position information of each point constituting each slice information. Then, it is a point that matches the position information, and color information of the point in the 3D vessel cell information (if the slice information constituting the first slice information group holds color information, the color information may be used.) To get. Next, the second slice information group constituting unit 35081 determines whether the point to be processed is inside the 3D shape of the second mesh information (inside area) or outside force (outside area). To do. The concept of such processing will be described with reference to FIG. In FIG. 46 (a), the hexahedral 3D botacell information force which is a set of CT images is also one slice information force 601 of the first slice information group.
  • the second slice information group constituting unit 35081 acquires the cylindrical second mesh information, and arranges the cylindrical three-dimensional object at a position according to the user's instruction (FIG. 46 (a)). Then, the second slice information group constituting unit 35081 uses the cylindrical second mesh information to make each point of the slice information as a point of the cylindrical inner region, as shown in FIG. 46 (b). To decide. In FIG. 46, the second slice information group constituting unit 35081 cuts out a cylindrical inner region.
  • the second slice information group constituting unit 35081 increases the luminance of the point by 50%.
  • the second slice information group constituting unit 35 081 reduces, for example, the luminance of the point by 30%.
  • the second slice information group constituting unit 35081 performs the above processing for all the slice information and all the points constituting the second slice information group, and sets the color information of all the points. To do. Through the above processing, the second slice information group constituting unit 35081 can acquire the second slice information group.
  • the output unit 35082 displays the first varnish information group configured by the second slice information group configuring unit 35081.
  • Fig. 47 shows a display example that works. In Fig. 47, there are many organs in the center and the 3D area (spherical shape) is focused!
  • the user uses the input means to instruct to deform the spherical second 3D mask, And an instruction to move is input.
  • the input receiving unit 3502 receives a shape change instruction and a position change instruction.
  • the powerful shape change instruction and position change instruction are, for example, a mouse, a slider bar (the slider bar is a part used in the GUI, and is a bar for setting a wide value). This is an instruction to fine-tune the shape (size) and position of the 3D mask.
  • it is preferable that the spherical shape is changed to an approximate organ shape close to an organ by a shape change instruction. It should be noted that it is not always necessary to match the shape of the organ completely by vigorous instructions.
  • the 3D area mask shape changing unit 3503 and the 3D area mask position changing unit 3504 change the shape and position of the second mesh information based on the powerful shape change instruction and the position change instruction.
  • the process of changing the shape and position of the solid mesh information according to the user's instruction is a known technique (finite element method).
  • the second slice information group constituting unit 35081 acquires the second slice information group using the deformed second mesh information.
  • the method for determining the color information of each point of each slice information constituting the second slice information group is the same as the above (processing when outputting FIG. 47).
  • the output means 35082 displays the configured second slice information group.
  • Figure 48 shows an example of such a display.
  • the positional relationship, shape, and surface properties of the aorta, myocardium, and pulmonary artery, which are regions of interest, can be depicted.
  • Fig. 49 shows the result of processing the 3D votacell information obtained by the medical device such as MRI for the human head with this information processing device.
  • the input receiving unit 3502 of the information processing apparatus receives an instruction to perform contour extraction of the head outline as well as the user power.
  • This instruction is given, for example, by the user tracing the outline of the head displayed with the mouse.
  • the input receiving unit 3502 receives an instruction for contour extraction with a mouse.
  • the information processing apparatus constructs second mesh information (number of elements: 1263) from a plurality of pieces of coordinate information passed by the mouse cursor. From the multiple coordinate information passed by the mouse cursor, Since the process for constructing the cache information is a known technique, detailed description thereof is omitted.
  • the second slice information group constituting unit 35081 acquires a second slice information group by the same process as the process described above based on the constructed second mesh information. Then, the output means 35082 outputs the second slice information group.
  • the output result is shown in Fig. 49 (a).
  • Figure 49 (a) shows the output of the head shape as it is.
  • the user inputs an instruction to reduce, for example, while maintaining the shape of the second mesh information.
  • the input is performed by pressing a “reduction” button (not shown) on the operation screen.
  • the 3D region mask shape changing unit 3503 reduces the second mesh information by a predetermined ratio and obtains new second mesh information.
  • the second slice information group constituting unit 35081 acquires the second slice information group by the process described above using the new second mesh information. At that time, for each piece of slice information constituting the second slice information group, the points in the outer region are made transparent and only the points in the inner region are output. An example of output is shown in Fig. 49 (b).
  • the user further inputs an instruction to reduce the size while maintaining the shape of the second mesh information.
  • the 3D region mask shape changing unit 3503 further reduces the second mesh information by a predetermined ratio to obtain new second mesh information.
  • the second slice information group constituting unit 35081 acquires a new second slice information group using the new second mesh information.
  • the points in the outer region are made transparent and only the points in the inner region are output.
  • An example of such output is shown in Fig. 49 (c).
  • Fig. 49 (a) Force (c) as the size of the second mesh information becomes smaller, the scalp 'skull is outside the visible region and the wrinkles of the brain, which is the internal structure, appear.
  • FIG. 49 (d) shows an output example when the upper force of the head is also viewed.
  • the user can input the instruction to rotate the head and change the line-of-sight vector to output the image of FIG. 49 (d).
  • the output algorithm in Fig. 49 (d) is the same as the output algorithm in Fig. 49 (a).
  • the above shows that if the shape of the second 3D region mask is controlled according to the application, the inside of the human body, the organ surface, etc. can be effectively visualized with a simple operation. According to the information processing apparatus, the visible region change result is drawn in real time, and interactive operation is possible.
  • a third example using medical images will be described. In the third example, only the outer region of the second three-dimensional region mask is output.
  • a 3D image with a predetermined portion cut out can be confirmed according to the way of specifying the inner area (the shape and position of the second 3D area mask). You can see how a scalpel is inserted by surgery or a hole is drilled.
  • FIG. 50 is an example in which the first slice information group is acquired from the 3D vessel cell information of the human body using the first 3D region mask, and the first slice information group is output.
  • the first three-dimensional area mask is information of a three-dimensional mesh having a generally body shape.
  • the user inputs, for example, a spherical second 3D region mask. Then, it is assumed that the user gives an instruction to change the shape and position of the second 3D area mask.
  • the input receiving unit 3502 receives a powerful user input. Then, the 3D area mask shape changing unit 3503 and the 3D area mask position changing unit 3504 change the default spherical shape and position based on the shape change instruction and the position change instruction from the user. Then, the second mesh information acquisition unit 3507 acquires the second mesh information of the new second 3D region mask.
  • the second slice information group constituting unit 35081 makes the inner region transparent based on the new second mesh information for each slice information constituting the second slice information group, and sets the outer side to the outer side. Set the color information so that the area is the color of the 3D button cell information.
  • the first varnish information group constituting unit 35081 constitutes a second nislice information group having a plurality of slice information powers in which only the outer region can be seen.
  • the output unit 35082 outputs the first varnish information group configured by the second slice information group configuration unit 35081.
  • FIG. 51 shows an example of such output. In FIG. 51, it appears that a hole has been formed in a part (around the center of the body) from the body of FIG.
  • the powerful display allows the user (such as a doctor) to perform surgical simulation and preoperative planning before the operation.
  • Fig. 52 shows an example of a user interface (input screen) of the information processing apparatus.
  • the “Total” field is a field of the total number of 3D area masks (including the first 3D area mask and the second 3D area mask).
  • the first 3 The case where there is one dimension area mask and one second 3D area mask is explained. There may be a plurality of second 3D area masks. The processing in the case where it works is described in the fifth embodiment.
  • the “select” field indicates the ID of the 3D area mask to be processed.
  • the “processing” to be processed is the process of setting the color of the 3D area mask (RGB), changing the shape and position of the 3D area mask, and changing the transparency of the output image, as described below.
  • RGB color of the 3D area mask
  • the bars “R”, “G”, and “B” are slider bars for setting the color of the 3D area mask (including the first 3D area mask and the second 3D area mask).
  • “Alpha” is a slider bar for setting the transparency of the output image.
  • “Scale” is a slider bar that sets the size of the 3D area mask (inputs a shape change instruction).
  • “Zoom” is a slider bar that sets the position of the 3D area mask (inputs position change instructions).
  • the information processing apparatus can support surgical simulation, preoperative planning, and the like.
  • the 3D botacell information is a set of images (CT, MRI, etc.) acquired by a medical device, but it goes without saying that it may be information acquired by other means. Nor. The same applies to other embodiments.
  • the information processing apparatus may not have the first slice information group acquisition unit.
  • the information processing apparatus stores the first slice information group in advance.
  • the first slice information group acquisition unit dynamically adds slice information perpendicular to the line of sight vector. It is preferable to acquire the first slice information group having.
  • the processing in the present embodiment may be realized by software.
  • This software may be distributed by software download or the like.
  • this software may be recorded and distributed on a recording medium such as a CD-ROM. Note that this is This also applies to other embodiments in the book.
  • the software that realizes the information processing apparatus in the present embodiment is the following program.
  • this program uses the first 3D region mask, which is a 3D region mask having a 3D geometric shape to cut out the 3D vessel cell information and the 3D vessel cell information, to the computer.
  • An input receiving step that stores the first slice information group that is a plurality of slice information as a result of the extraction and that receives an input about the second 3D area mask that is the second 3D area mask
  • a second mesh information acquisition step of acquiring second mesh information that is information of a three-dimensional mesh that constitutes the second three-dimensional region mask, and based on the second mesh information, the first slice information group For each slice information, an inner region that is an inner region of the second mesh information and an outer region that is an outer region of the second mesh information are determined. Because of a program to execute an object output step of outputting visually distinguishable to the first slice information group and the said inner region outer region is.
  • 3D Botacel information is usually information obtained by imaging with a medical device.
  • the object output step sets a point outside the slice information of the first slice information group to a transparent color, and constitutes a second slice information group.
  • the object output step includes the color of a point in the inner area of each slice information of the first slice information group and the outside of each slice information of the first slice information group.
  • a second slice information group constituting step that constitutes a second slice information group, and an output step that outputs the second varnish information group constituted by the second slice information group constituting step, with a color tone different from that of the region point May be included.
  • different colors include different colors and brightness.
  • a point in an inner area of each slice information of the first slice information group is set to a transparent color, and second slice information constituting the second slice information group
  • the shape of the three-dimensional object corresponding to the instruction received in the input receiving step is approximately the shape of an organ.
  • the input receiving step also accepts a shape change instruction which is an instruction to change the shape of the second 3D area mask, and the computer receives the shape change instruction. It is preferable to further execute a three-dimensional area mask shape changing step for changing the shape of the second three-dimensional area mask based on the instruction.
  • a position change instruction that is an instruction to change the position of the second 3D area mask is also received, and the position change instruction is received by the computer. It is preferable to further execute a three-dimensional region mask position changing step for changing the position of the second three-dimensional region mask based on the instruction.
  • a first slice information group for obtaining a first slice information group by cutting out a plurality of slice information perpendicular to the line of sight and having a constant interval from the 3D bocellel information in the program It is preferable to further execute the acquisition step.
  • FIG. 53 is a block diagram of the information processing apparatus in the present embodiment.
  • the information processing apparatus includes an object information storage unit 3501, an input reception unit 5302, a 3D region mask shape change unit 3503, a 3D region mask position change unit 3504, a first slice information group acquisition unit 35 05, first A slice information group storage unit 3506, a second mesh information acquisition unit 5307, and an object output unit 5308 are provided.
  • the object output unit 5308 includes second slice information group constituting means 53081 and output means 53082.
  • the input reception unit 5302 receives input regarding two or more second 3D region masks.
  • the input receiving unit 5302 also receives a shape change instruction that is an instruction to change the shape of the second three-dimensional area mask.
  • the input receiving unit 5302 also receives a position change instruction that is an instruction to change the position of the second three-dimensional area mask.
  • the input receiving unit 5302 may receive an input of a gaze vector that is information indicating the gaze direction.
  • the input means can be anything such as keyboard, mouse (including 3D mouse), PHANToM (phantom), or menu screen.
  • the input receiving unit 5302 is a device for input means such as a mouse. It can be realized by a driver, menu screen control software, or the like.
  • the second mesh information acquisition unit 5307 acquires two or more second mesh information constituting two or more second 3D region masks.
  • the second mesh information acquisition unit 5307 can usually be realized from MPU memory or the like.
  • the processing procedure of the second mesh information acquisition unit 5307 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the object output unit 5308 divides each slice information of the first slice information group into a plurality of areas based on two or more second mesh information, and visually distinguishes the plurality of areas from the first slice information.
  • output is a concept that includes display on a display, printing on a printer, transmission to an external device, and the like.
  • the object output unit 5308 may or may not include an output device such as a display.
  • the object output unit 5308 can be realized by output device driver software, or output device driver software and an output device.
  • the second slice information group constituting unit 53081 determines the color of a point in each area based on the color corresponding to one or more second three-dimensional area masks constituting each area, and determines the color.
  • a plurality of slice information, which is a set of points, is configured, and a second slice information group, which is the plurality of slice information, is acquired.
  • an MPU, a memory or the like can be usually realized.
  • the processing procedure of the second slice information group constituting unit 53081 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the operation of the information processing apparatus is different from the operation of the information processing apparatus in the flowchart of FIG. 36 in the process of acquiring the first varnish information group in step S3610. Other operations are the same.
  • the information processing apparatus accepts an input about the second 3D mask at least twice. That is, in the information processing apparatus, the process of step S3607 is performed twice or more.
  • Step S5401 The second slice information group constituting unit 53081 determines the area of the j th point. I refuse. The determination of the region is to determine to which region the j-th point corresponds to the region divided by two or more second 3D region masks. The process of determining the area of the jth point will be described in detail with reference to the flowchart of FIG.
  • Step S5402 The second slice information group constituting unit 53081 checks the color information acquired in Step S3706 to the color information corresponding to the area determined in Step S5401.
  • Step S5501 Second slice information group constituting unit 53081 substitutes 1 for counter i.
  • Step S5502 The second slice information group constituting unit 53081 determines whether or not the i-th second 3D mask exists. If the i-th second 3D mask exists, the process goes to step S5503, and if the i-th second 3D mask does not exist, the process returns to the upper function.
  • Step S5503 The second slice information group constituting unit 53081 obtains the second mesh information of the i-th second three-dimensional mask. Since the information processing apparatus holds the second mesh information of the second 3D mask after the user inputs the second 3D mask, the second mesh information is read here.
  • Step S5504 The second slice information group constituting unit 53081 determines whether the j-th point is a point in the inner area or a point in the outer area of the second mesh information acquired in Step S5503. Note that this processing is the same as the processing in step S3707.
  • Step S5505 Second slice information group constituting unit 53081 records the judgment result in step S5504. This record is added without overwriting the judgment result of whether the j-th point is a point in the second mesh information corresponding to another 2 3D mask other than the i-th point or a point in the outer region That is.
  • FIG. 56 shows an example of the data structure diagram of the area information that is the information recording the determination result. In FIG. 56, when each bit of the j-th point area information is “1”, this indicates that the j-th point is an inner area of the corresponding second 3D mask. In addition, when the bit is “0”, it indicates that the j-th point is outside the corresponding second 3D mask. Since the area information in FIG.
  • the j th point is the inner area of the first second mask area, and the second second mask. It is the outer area of the area, the inner area of the third second mask area, and the inner area of the fourth second mask area. Based on this area information, the color information of the jth point is determined. Needless to say, the color information of the j-th point is also determined using the color information acquired in step S3706.
  • Step S5506 Second slice information group constituting unit 53081 increments counter i by 1. Return to step S5502.
  • the information processing apparatus now stores the 3D vessel cell information of the trunk in the object information storage unit 3501. Then, it is assumed that the information processing apparatus has displayed the first slice information group shown in FIG. 44 by the processing described in the fourth embodiment. Next, it is assumed that the user changes the transparency (by adjusting the “Alpha” slider bar in FIG. 52), and the information processing apparatus displays the first slice information group in FIG.
  • the information processing apparatus receives a strong instruction and determines whether each point of each piece of slice information constituting the first slice information group is an inner region or an outer region of each of the three second 3D region masks. decide. Then, the R color information is increased by a predetermined amount (information on the “predetermined amount” is stored in advance) for the points in the inner region of the red second 3D region mask. Also, for the points in the inner region of the green second 3D region mask, the G color information is increased by a predetermined amount (stored in advance).
  • the color information of B is increased by a predetermined amount (previously stored) for the points in the inner region of the blue second 3D region mask. Then, for example, the points in the inner region of the two second 3D region masks of red and blue are displayed in a purplish color.
  • Fig. 57 shows an example of such output.
  • three spherical second 3D area masks of red, green, and blue are input, and each area divided by the three second 3D area masks is visually distinguished. Has been displayed. Note that the processing in the present embodiment is the same processing except for determining the color of each point of the slice information to be output.
  • a plurality of three-dimensional regions of interest on an image such as a medical image can be referred to flexibly and interactively. Therefore, for example, this information processing apparatus Simulation and preoperative planning can be supported more easily.
  • the processing in the present embodiment may be implemented by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded and distributed on a recording medium such as a CD-ROM.
  • the software that realizes the information processing apparatus in the present embodiment is the following program. In other words, this program uses a computer to acquire the first 3D area mask, which is a 3D area mask having a 3D geometric shape obtained by capturing and acquiring the 3D vessel cell information obtained by imaging with a medical device. Is used to store the first slice information group, which is a plurality of slice information, and the second 3D area mask is a second 3D area mask.
  • the second mesh information acquiring step for acquiring the second mesh information which is the information of the three-dimensional mesh constituting the second three-dimensional area mask, and the second mesh information, For each slice information in the first slice information group, an inner region that is an inner region of the second mesh information and an outer region of the second mesh information. Determine the outer region is, programs for executing said object output step of an inner region and the outer region is visually distinct outputs the first slice information group.
  • the input receiving step two or more second three-dimensional area masks are input, and in the second mesh information acquisition step V, the two or more 2 or more second mesh information constituting the second 3D region mask of the first slice information group, and in the object output step, a plurality of pieces of slice information of the first slice information group are obtained by the two or more second mesh information.
  • the first slice information group may be output by dividing the plurality of areas visually.
  • the information processing apparatus or the like that generates a DRR (Digitally Reconstructed Radiograph) from CT data or the like! I will explain in a moment.
  • FIG. 58 is a block diagram of the information processing apparatus in the present embodiment.
  • the information processing apparatus includes a reception unit 5801, an object information storage unit 5802, a first slice information group storage unit 5803, an origin information storage unit 5804, a first slice information group acquisition unit 5805, and a second slice information group acquisition unit. 5806, a magnification calculation unit 5807, a third slice information group acquisition unit 5808, an output unit 5809, and a setting unit 5810. Further, the output unit 5809 includes a synthesis unit 58091 and an output unit 5 8092.
  • Reception unit 5801 receives input from a user. What is input is a line-of-sight vector that identifies the line of sight, transparency information, an information processing apparatus activation command, a movement instruction for origin information, various instructions, data, and the like. Transparency information is information about the transparency of points that make up slice information, and is usually referred to as an alpha value.
  • the input means may be anything such as a keyboard, mouse or menu screen.
  • the accepting unit 5801 can be realized by a device driver of an input means such as a keyboard or a control software for a menu screen.
  • the object information storage unit 5802 stores 3D votacel information, which is a volume texture of a three-dimensional object.
  • the 3D botacell information is a set of two-dimensional images acquired by a medical device such as CT, MRI, or PET.
  • the 3D button cell information is, for example, information on a point constituted by (X, y, z, col, ⁇ value).
  • the object information storage unit 5802 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the first slice information group storage unit 5803 is information configured based on two-dimensional image data obtained by cutting out 3D votacel information, which is a volume texture of a three-dimensional object, in a plurality of planes.
  • the first slice information group having a plurality of pieces of first slice information that also includes information power of a plurality of points having position information that is position information that is position information that is position information is stored.
  • the first slice information group in the first slice information group storage unit 5803 is stored in advance. May be prepared. In such a case, the first slice information group acquisition unit 5805 is unnecessary in the information processing apparatus.
  • the points constituting the slice information may include elasticity information, color information, and transparency information, which is information about elasticity.
  • the first slice information group storage unit 5803 may be a non-volatile recording medium or a volatile recording medium.
  • the origin information storage unit 5804 stores origin information that is information indicating the position of the starting point where X-rays are irradiated.
  • the origin information is, for example, coordinate values (X, y, z) in a three-dimensional space.
  • the origin information storage unit 5804 may be a non-volatile recording medium or a volatile recording medium.
  • the origin information may be fixed or customizable.
  • the first slice information group acquisition unit 5805 cuts out a plurality of pieces of first slice information that are perpendicular to the line of sight and have a constant interval from the 3D votacel information stored in the object information storage unit 5802, The first slice information group is acquired and stored in the first slice information group storage unit 5803 at least temporarily.
  • Perpendicular to the line of sight means that the line is perpendicular to the line-of-sight vector, which is a vector perpendicular to the screen on which the three-dimensional object is displayed.
  • the slice information is a set of information of points constituting the plane, and usually the intervals between the points are narrowed.
  • the first slice information group acquisition unit 5805 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the first slice information group acquisition unit 5805 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (a dedicated circuit).
  • the second slice information group acquisition unit 5806 uses the arrangement information of each of the plurality of first slice information from the position indicated by the origin information for each of the two or more pieces of first slice information.
  • a plurality of first varnish rice information is obtained by performing a vertical and radial cutting process on one slice information.
  • the arrangement information of each first slice information may be information obtained from the coordinate information of the point information on the first slice information, or the storage order of the first slice information in the first slice information group storage unit 5803 may be It is good also as arrangement information. That is, it is only necessary to know the distance from the position indicated by the plurality of first slice information and the origin information.
  • the second slice information acquisition unit 5806 can also realize an MPU, a memory and the like.
  • the processing procedure of the second slice information acquisition unit 5806 is usually realized by software, and the software is recorded on a recording medium such as a ROM.
  • a recording medium such as a ROM.
  • hardware dedicated circuit
  • each of the two or more pieces of first slice information is an image including a chest. In such cases, a highly useful chest DRR can be easily obtained.
  • the magnification calculation unit 5807 calculates, for each of the plurality of pieces of second slice information, the magnification that is the enlargement rate or reduction rate of each second slice information using the arrangement information of each second slice information. Put out. Note that the magnification calculator 5807 may calculate a magnification “1” that is neither enlarged nor reduced. An example of a specific magnification calculation method of the magnification calculator 5807 will be described later.
  • the magnification calculator 5807 can usually also be implemented with an MPU or memory power.
  • the processing procedure of the magnification calculator 5807 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the third slice information group acquisition unit 5808 enlarges or reduces each of the plurality of second slice information according to the magnification calculated by the magnification calculation unit 5807, and acquires the plurality of third slice information. Processing for enlarging or reducing an image is a known technique.
  • the third slice information acquisition unit 5808 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the third slice information acquisition unit 5808 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the output unit 5809 superimposes and outputs a plurality of pieces of third slice information.
  • output is a concept that includes display on a display, printing on a printer, transmission to an external device, storage on a recording medium, and the like.
  • the output unit 5809 may or may not include an output device such as a display.
  • the output unit 5809 can be realized by output device driver software or output device driver software and an output device.
  • the synthesizing unit 58091 superimposes a plurality of pieces of third slice information on a two-dimensional plane to obtain one image.
  • the synthesizing means 58091 can usually also realize an MPU, a memory and the like.
  • the processing procedure of the combining means 58091 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it can be realized with hardware (dedicated circuit).
  • the output unit 58092 outputs an image on a two-dimensional plane superimposed by the synthesis unit 58091.
  • the output means 58092 is not included even if it is considered to include an output device such as a display. You may think.
  • the output means 58092 can be implemented by output device driver software, or output device driver software and an output device.
  • the setting unit 5810 stores the origin information received by the reception unit 5801 in the origin information storage unit 5804, and the transparency information received by the reception unit 5801 as the first slice information, the varnish rice information, and the third slice information. Or updated as the transparency information of the points constituting the.
  • the setting unit 5810 can also normally realize an MPU, memory and the like.
  • the processing procedure of the setting unit 5810 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • Step S5901 Reception unit 5801 determines whether or not an input from the user has been received. If an input is accepted, the process goes to step S5902, and if no input is accepted, the process returns to step S5901.
  • Step S5902 Reception unit 5801 determines whether or not a DRR output instruction has been received.
  • the DRR output instruction is input, for example, when the user presses a GUI button with a mouse. If a DRR output instruction is accepted, the process proceeds to step S5903. If a DRR output instruction is not accepted, the process proceeds to step S5904.
  • Step S5903 The second slice information group acquisition unit 5806, the output unit 5809, and the like perform processing to output a DRR. Details of the DRR output process will be described with reference to the flowchart of FIG. Return to step S5901.
  • Step S5904 The accepting unit 5801 judges whether or not it has received the input of origin information. If the origin information input is accepted, the process proceeds to step S5905. If the origin information input is not accepted, the process proceeds to step S5906.
  • Step S5905 The setting unit 5810 accumulates the received origin information in the origin information storage unit 5804.
  • Step S5906 The accepting unit 5801 judges whether or not the input of transparency information has been accepted. If the input of transparency information is accepted, the process goes to step S5907. If the input of transparency information is not accepted, the process goes to step S5911. [0415] (Step S5907)
  • the setting unit 5810 sets the second slice information group and the third slice information acquired by the first slice information group and the second slice information group acquisition unit 5806 of the first slice information group storage unit 5803.
  • the transparency information of each point of each slice information of the third slice information group acquired by the group acquisition unit 5808 is updated to the received transparency information. If the second slice information group acquired by the second slice information group acquisition unit 5806 and the third slice information group acquired by the third slice information group acquisition unit 5808 are not on the memory, the transparency information is updated. It is only the first slice information group.
  • Step S5908 The output unit 5809 determines whether or not DRR is being output. If DRR is being output, go to step S5909. If DRR is not being output, return to step S5901.
  • Step S5909 The combining means 58091 superimposes all the third slice information.
  • Step S5910 The output means 58092 outputs the image (DRR) obtained in step S5909. Return to step S5901.
  • Step S5911 Reception unit 5801 determines whether or not a first slice information group acquisition instruction has been received. If the first slice information group acquisition instruction is accepted, the process proceeds to step S5912. If the first slice information group acquisition instruction is not accepted, the process returns to step S5901.
  • the first slice information group acquisition unit 5805 obtains a plurality of pieces of first slice information that are perpendicular to the line of sight and have a constant interval, based on the 3D button cell information stored in the object information storage unit 5802. And the first slice information group is acquired. Since this process is a known technique, detailed description thereof is omitted.
  • Step S5913 First slice information group acquisition section 5805 stores the first slice information group acquired in step S5912 in first slice information group storage section 5803. Step S590
  • the processing is ended by powering off or interruption for aborting the processing.
  • Step S6001 Second slice information group acquisition unit 5806 stores origin information as origin information. Read from part 5804.
  • Step S6002 The second slice information group acquisition portion 5806 substitutes 1 for a counter i.
  • Step S6003 Second slice information group acquisition section 5806 determines whether or not the i-th first slice information is stored in first slice information group storage section 5803. If the i-th first slice information is stored, the process goes to step S6004. If the i-th first slice information is not stored, the process goes to step S6011.
  • Step S 6004 Second slice information group acquisition section 5806 reads i-th first slice information from first slice information group storage section 5803.
  • Step S6005 The second slice information group acquisition unit 5806 reads the i-th first slice information from the position indicated by the origin information read in Step S6001 from the i-th first slice information read in Step S6004. Using the information arrangement information, the i-th first slice information is vertically and radially cut out.
  • the “positional force radial indicated by the origin information” means that an X-ray emission point exists at the position indicated by the origin information, and that the X-ray advances radially perpendicularly to the i-th first slice information. The surface to be irradiated is cut out from the i-th first slice information.
  • the magnification calculator 5807 acquires information for calculating a magnification that is an enlargement ratio or reduction ratio of the i-th second slice information.
  • This information includes, for example, the distance from the X-ray source to the slice indicated by the second slice information of the grid (described later “P”), the distance from the X-ray source to the screen (described later “distance”), The length of one side of the volume data (first slice information) (“psize” described later) and the length of one side of the slice in the space through which the X-ray passes (“X” described later).
  • Step S6007 The magnification calculation unit 5807 uses the arrangement information of each second slice information for each of the plurality of pieces of second slice information to obtain the enlargement ratio or reduction ratio of each second slice information. Calculate the magnification.
  • Step S6008 Third slice information group acquisition section 5808 enlarges or reduces the second slice information according to the magnification calculated in step S6008, and acquires third slice information.
  • Step S6009 The third slice information group acquisition unit 5808 acquires the acquired third slice information. Is temporarily stored in memory.
  • Step S6010 The second slice information group acquiring portion 5806 increments the counter i by 1. Return to step S6003.
  • Step S6011 The synthesizing unit 58091 superimposes all the third slice information temporarily stored in the memory in Step S6009 on the two-dimensional plane to obtain one image.
  • Step S6012 Output means 58092 outputs the image on the two-dimensional plane superimposed in step S6011. Return to upper function.
  • the first slice information group acquisition unit 5805 extracts a plurality of first slice information that is perpendicular to the line of sight and has a constant interval from the 3D box information stored in the object information storage unit 5802. The first slice information group is acquired. Then, the first slice information group acquisition unit 5805 accumulates the acquired first slice information group in the first slice information group storage unit 5803.
  • accepting unit 5801 accepts a D RR output instruction.
  • the second slice information group acquisition unit 5806 reads the origin information from the origin information storage unit 5804. Then, the second slice information group acquisition unit 5806 and the like process the entire first slice information as follows in order from the first first slice information.
  • X-ray sourcej is an X-ray source, and its position is indicated by origin information.
  • Slice is first slice information.
  • “Screen” is the last surface irradiated with X-rays.
  • the second slice information group acquisition unit 5806 reads the first slice information from the first slice information group storage unit 5803, and uses the origin information to make the first slice radially perpendicular to the first slice information. Process to cut out slice information. And the second slice The information group acquisition unit 5806 obtains second slice information.
  • the extracted second slice information is 6101, 6102, and 6103 in FIG. These planes 6101, 6102, and 6103 are planes irradiated with X-ray force.
  • the second slice information 6101, 6102, and 6103 in FIG. 61 has different sizes.
  • the third slice information group acquisition unit 5808 realizes perspective projection by enlarging or reducing the second slice information (images) having different sizes. Note that the magnification rate increases as the second slice information (image) is closer to the X-ray source. In addition, the second slice information (image) far from the X-ray source may be reduced.
  • the magnification calculator 5807 calculates the magnification for enlarging and reducing the second slice information (image) using, for example, the following Equation 8 and Equation 9.
  • P is the distance to each slice
  • distance is the distance from the X-ray source to the screen
  • screensiz ej is the screen size
  • rpsizej is the volume data (first slice).
  • the length of one side, “X”, is the length of one side of the slice in the space through which the X-ray passes.
  • the magnification calculator 5807 calculates the magnification.
  • the point perpendicular to the line-of-sight vector force slice is the origin, and the magnification is ⁇ .
  • the magnification calculation unit 5807 reads the stored information of Equation 8 and Equation 9, and also reads the stored “screensize” “distance” “psize”.
  • “P” is calculated from the arrangement information of the second slice information (image) and the origin information.
  • the magnification calculation unit 5807 substitutes the obtained “screensize”, “distance”, and “P” into Equation 8 to obtain “X”.
  • the magnification calculator 5807 substitutes “psize” and “X” into Equation 9 to obtain the magnification “M”.
  • the third slice information group acquisition unit 5808 enlarges or reduces the second slice information according to the calculated magnification “M”, acquires the third slice information, and temporarily stores it in the memory.
  • the above processing is performed for all the first slice information.
  • the synthesizing unit 58091 superimposes all the third slice information temporarily stored in the memory on the two-dimensional plane to obtain one image.
  • the output unit 58092 outputs the superimposed image on the two-dimensional plane.
  • FIG. 63 is a chest radiograph (DRR).
  • DRR is created by superimposing images with different magnifications depending on the distance between the X-ray source and each slice.
  • the volume data that is the basis of the display in FIG. 63 is CT data of a patient with a botacell size of 256 x 256 x 256.
  • Figure 63 is obtained when each parameter is appropriately set and displayed using the input data.
  • FIG. 64 shows that the coordinates (P, Q, R) of each point in the first slice information are converted to the DRR coordinate system ( ⁇ ', Q', R '). Since coordinate conversion is a known technique, a detailed description thereof is omitted.
  • DRR can be generated at high speed from CT data or the like.
  • the output DRR may be deformed.
  • the information processing apparatus according to the present embodiment may be added with a configuration that enables the deformation processing as described in the above embodiment. More specifically, as described in the first embodiment, the third embodiment, and the like, the mesh information of the three-dimensional object such as the chest corresponding to the three-dimensional object in the object information storage unit 5802 is held in the storage unit. The mesh information corresponding to the first slice information group, the second slice information group, and the third slice information group is managed, and the reception unit accepts a user instruction, deforms the mesh information, and deforms the mesh information. In this configuration, multiple pieces of third slice information are transformed to output a modified DRR.
  • the deformation is as shown in (b). To do.
  • the DRR deformable for example, for the treatment of irradiating radiation while tracking a lung tumor, respiratory movement of the lung tumor can be estimated by simulation, and moving body tracking irradiation can be realized.
  • the origin information indicating the position of the X-ray source can be customized by a user instruction. It is also preferable that the line-of-sight vector when outputting DRR can be customized.
  • the receiving unit receives a gaze line that specifies the gaze
  • the first slice information group obtaining unit is configured to detect the gaze indicated by the gaze vector from the 3D vessel cell information stored in the object information storage unit.
  • a plurality of pieces of first slice information that are vertical and have a constant interval are cut out and acquired. Note that when the first slice information is cut out, the interval is usually constant, but is not necessarily constant. This also applies to other examples and other specific examples.
  • the software that implements the information processing apparatus in the present embodiment is a program as described below. That is, this program uses the arrangement information of each of the plurality of slice information from the position indicated by the origin information for each of the two or more pieces of first slice information stored in the computer. Cut out the information perpendicularly and radially! ⁇ Second slice information acquisition step for acquiring a plurality of second slice information and each second slice information using the arrangement information of each second slice information for each of the plurality of second slice information.
  • a magnification calculating step for calculating a magnification that is an enlargement rate or a reduction rate of the image, and acquiring a plurality of third slice information by enlarging or reducing each of the plurality of first varnish rice information according to the magnification calculated in the magnification calculating step.
  • the computer cuts out and acquires a plurality of first slice information that is perpendicular to the line of sight and has a constant interval from the 3D vessel cell information that is the volume texture of the three-dimensional object. It is preferable that the first slice information group acquisition step is further executed, and the two or more first slice information is the first slice information acquired in the first slice information acquisition step.
  • the program further causes the computer to execute a reception step of receiving a line-of-sight vector for specifying the line of sight, and in the first slice information group acquisition step, the line-of-sight is obtained from the 3D botacell information. Perpendicular to the line of sight indicated by the vector, and It is preferable to cut out and acquire a plurality of pieces of first slice information having a constant interval.
  • the first slice information, the second slice information, and the third slice information are transparency information that is information about the transparency of points constituting each slice information.
  • the computer further executes a reception step for receiving transparency information, and the transparency of the plurality of third slice information output in a superimposed manner changes according to the transparency information received in the reception step. That is preferred.
  • FIG. 66 shows the external appearance of a computer that executes the programs described in this specification to realize the information processing apparatuses of the various embodiments described above.
  • the above-described embodiment can be realized by computer hardware and a computer program executed on the computer hardware.
  • FIG. 66 is an overview of the computer system 340
  • FIG. 67 is a block diagram of the computer system 340.
  • the computer system 340 includes an FD (Flexible Disk) drive and a CD.
  • FD Flexible Disk
  • ROM Compact Disk Read Only Memory
  • the computer 341 in addition to the FD drive 3411 and CD—ROM drive 3412, the computer 341 includes a CPU (Central Processing Unit) 3413 and a bus 3414 connected to the CPU 3413, CD—ROM drive 3412 and FD drive 3411.
  • ROM Read-Only Memory
  • ROM Read-Only Memory
  • CPU 3413 for temporarily storing application program instructions and providing a temporary storage space
  • RAM Random Access Memory
  • the computer 341 may further include a network card that provides connection to the LAN.
  • a program that causes the computer system 340 to execute the functions of the information processing apparatus of the above-described embodiment is stored in the CD-ROM 3501 or FD 3502, and is inserted into the CD-ROM drive 3412 or FD drive 3411. Further, it may be transferred to the hard disk 3417. Alternatively, the program may be transmitted to the computer 341 via a network (not shown) and stored in the hard disk 3417. When the program is executed Loaded into RAM3416. The program may be loaded directly from CD-ROM3501, FD3502 or network.
  • the program does not necessarily include an operating system (OS) or a third-party program that causes the computer 341 to execute the functions of the information processing apparatus according to the above-described embodiment.
  • the program only needs to include the part of the instruction that calls the appropriate function (module) in a controlled manner and achieves the desired result. How the computer system 340 operates is well known and will not be described in detail.
  • the above program does not include processing performed by hardware, for example, processing performed by a display device of the output unit (no processing performed only by one piece of software! /).
  • two or more storage units existing in one apparatus may be physically realized by one medium.
  • each processing may be realized by centralized processing by a single device (system) or a plurality of devices. It may be realized by distributed processing by.
  • the computer that executes the above program may be a single computer or a plurality of computers. That is, centralized processing or distributed processing may be performed.
  • the information processing apparatus has an effect of being able to handle information on the elasticity of a three-dimensional object, and is useful as a surgical simulator apparatus or the like. easy explanation
  • FIG. 1 Block diagram of the information processing apparatus in Embodiment 1.
  • FIG. 2 is a flowchart for explaining the operation of the information processing apparatus.
  • FIG. 3 is a flowchart for explaining the deformation process.
  • ⁇ 4 Flowchart explaining the second slice information group acquisition processing
  • ⁇ 5 Diagram showing tetrahedrons constituting the three-dimensional object to be deformed
  • FIG. 11 A diagram showing a slice information group after the same deformation.
  • FIG. 16 is a block diagram of an information processing device in Embodiment 2.
  • FIG. 17 is a flowchart explaining the operation of the information processing apparatus.
  • FIG. 18 is a flowchart for explaining the operation of the elasticity information setting process
  • FIG. 19 is a diagram showing a display example of the same slice information group
  • FIG.22 A diagram showing an example of entering the elasticity information
  • FIG. 23 is a block diagram of the information processing apparatus in the third embodiment.
  • FIG. 24 A diagram for explaining the surgical instrument metaphor
  • FIG. 25 is a diagram for explaining the tetrahedral mesh of the surgical instrument metaphor.
  • FIG. 26 is a diagram showing the concept of processing of the operation node determination means
  • FIG. 28 is a flowchart explaining the operation of the information processing apparatus.
  • FIG. 29 is a flowchart for explaining the deformation process.
  • FIG. 30 Flow chart for explaining the operation node determination process
  • FIG.33 A figure showing a volume image of the liver when the same operation is performed
  • FIG. 34 is a view showing a volume image of the liver when the same rotation operation is performed.
  • FIG. 35 is a block diagram of an information processing device in Embodiment 4.
  • FIG. 36 is a flowchart for explaining the operation of the information processing apparatus.
  • FIG. 39 is a diagram showing an example of the data structure of the second mesh information
  • FIG. 40 is a diagram showing an example of the data structure of the 3D botacell information
  • FIG. 42 shows the same first slice information group.
  • FIG. 46 is a diagram for explaining the concept of processing that constitutes the second slice information group
  • FIG. 53 is a block diagram of an information processing device in Embodiment 5.
  • FIG. 54 is a flowchart for explaining the operation of the information processing apparatus.
  • FIG. 55 is a flowchart for explaining the operation of the area determination process
  • FIG. 58 is a block diagram of an information processing device in Embodiment 6.
  • FIG. 59 is a flowchart for explaining the operation of the information processing apparatus.
  • FIG. 60 is a flowchart for explaining the DRR output processing.
  • ⁇ 61] A diagram for explaining the processing concept of the information processing apparatus.
  • FIG. 62 is a diagram for explaining an algorithm for calculating the same magnification
  • FIG. 67 is a block diagram of a computer system that realizes the information processing apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】従来の情報処理装置においては、３Ｄボクセルデータに対して３次元の関心領域を簡単に抽出して観察できない、という課題があった。 【解決手段】３Ｄボクセル情報を切り出す第一３次元領域マスクを用いて、３Ｄボクセル情報が切り出された結果であり、複数のスライス情報である第一スライス情報群を格納しており、第二３次元領域マスクについての入力を受け付け、第二３次元領域マスクを構成する第二メッシュ情報を取得し、第二メッシュ情報に基づいて、第一スライス情報群の各スライス情報に対して、第二メッシュ情報の内側の領域である内側領域と、第二メッシュ情報の外側の領域である外側領域とを決定し、内側領域と外側領域を視覚的に区別して第一スライス情報群を出力する情報処理装置により、３Ｄボクセルデータに対して３次元の関心領域を簡単に抽出して観察できる。

Description

明 細 書
情報処理装置およびプログラム
技術分野
[0001] 本発明は、三次元の物体を出力したり、三次元の物体に対して操作したりできる情 報処理装置等に関するものである。
背景技術
[0002] 医療現場では、コンピュータグラフィクスや画像処理技術を応用した医用画像ソフト ウェアや可視化システム等が広く用いられている。コンピュータ支援による診断や、術 前計画では、医用画像上の関心領域を柔軟かつ対話的に参照できる環境が必要と なる (例えば、非特許文献 1、非特許文献 2参照)。
[0003] ここで、 CTや MRIによって取得される二次元画像の集合は、莫大なボタセルによ つて構成されるボリュームデータである力 人体内部の複雑な三次元構造の直感的 な理解を可能とするためには、内部構造を含めた描出が必要不可欠である。
[0004] 力かる要求に対応する従来の情報処理装置において、術前計画や術中ナビゲー シヨンでは、一般に断層画像のスライス表示や、ボリュームレンダリングによる三次元 再構築像が用いられる (例えば、非特許文献 3、非特許文献 4参照)。また、再構築 像上での任意平面によるクリッピング表現は臓器内部の観察に広く利用されている（ 例えば、非特許文献 5参照)。
[0005] また、従来の情報処理装置として、 VR手術シミュレータのような対話型システムが ある。本対話型システムは、三次元幾何形状を定義するためにポリゴンを使用してい る (例えば、非特許文献 6参照)。
[0006] なお、本情報処理装置に関連する入出力機器として、 PHANToM (ファントム）が ある。ファントムは、位置データの入力を受け付け、コンピュータへのフィードバックし 、力ベクトルの発生とモータの駆動を行う入出力機器である (例えば、非特許文献 7 参照)。
[0007] また、本発明に関連する技術として、変形計算を行うアルゴリズム (非特許文献 8参 照）、描画のアルゴリズム (非特許文献 9参照）がある。 さらに、近年、放射線治療ががんの有効な治療法の一つとして注目されている。し かし、肺腫瘍のように患部が呼吸によって動く場合は効率の良い治療が困難であると いう問題がある。現在は照射範囲を広く設定する、或いは腫瘍付近にマーカーを埋 め込み呼吸と同期をとつて照射するなどの対策がなされている。現在開発中である 放射線治療装置は、放射線を発生させる加速管にジンバル機能が備わっており、へ ッドを自由に振ることができる。その特性を利用して腫瘍を追尾しながら放射線を照 射する治療が望まれている。
非特許文献 1： J. Toriwaki、他 1名、「Visualization of the Human Body toward the Na vigation Diagnosis with the Virtualized Human Body」、 Journal of Visualization^ 1998 、 Vol.1, No.l、 pp.111- 124
非特許文献 2 : B. Pflesser、他 3名、「Planning and Rehearsal of Surgical Interventions in the Volume Model」、 Proc. Medicine Meets Virtual Reality Conference ^ 2000、 pp .259-264
非特許文献 3 : A. Kauftnan,他 2名、「Volume Graphics」、 IEEE Computer, 1993、 Vol .26、 No.7、 pp.51- 64
非特許文献 4 : W. Chen,他 2名、「ReaH:ime Ray Casting Rendering of Volume Clipp ing in Medical VisualizationJ、 Journal of Computer Science and Technology ^ 2003、 Vol.18, Issue 6、 pp.804- 814
非特許文献 5 : B. Cabral、他 2名、「Accelerated Volume Rendering and Tomographic Reconstruction Using Texture Mapping HardwareJ、 Proc. Symposium on Volume Vis ualization '94、 1994、 pp.91— 98
非特許文献 b : U. KuhnapfeU他 2名、「Endoscopic Surgery Training Using Virtual Re ality and Deformable Tissue ¾imulation」、 Computers & Graphics (Elsevier Science)^ 2000、 Vol.24, No.5、 pp.671-682
非特許文献 7：ホームページ、インターネット < URL： http://www.nissho-ele.co.jp/3d I jDmodeling/ phamtom03.htm
非特許文献 8 :山本恭弘、外「心臓血管外科における拍動を伴う大動脈触診シミュレ ーシヨンシステム」電気学会論文誌 E, 2003, Vol. 123, No. 3, pp. 85-92 非特許文献 9 :中尾恵、外 2名「ボリュームインタラクションのためのマスキングとその 実時間処理方法」日本バーチャルリアリティ学会論文誌， 2005, Vol.10 No.4 pp. 591 -598
発明の開示
発明が解決しょうとする課題
[0009] し力しながら、上記の従来技術においては、三次元の物体の弾性に関する情報が 表現できない、という課題があった。つまり、例えば、情報処理装置のユーザである医 師カ 手術のシミュレーションを行うために、三次元の物体である人体の胴体部にメス を入れた感触などを得ることができないために、上記の従来技術において、十分な手 術のシミュレーションができなかった。
[0010] また、上記の従来技術においては、例えば、術具により臓器をはさんだり、つまんだ りした場合の臓器の変形をシミュレーションすることができな力 た。
[0011] また、非特許文献 1から非特許文献 5の従来技術においては、インタラクティブに、 簡便な操作で、 3次元の関心領域を抽出して観察することができない、という課題が あった。したがって、例えば、人体を構成する部位のうち、特定の臓器に着目して、観 察する、といったことができな力つた。
[0012] また、非特許文献 6の従来技術においても、臓器の複雑な 3次元形状を定義するた めには、一般に労力を要するセグメンテーション作業が必要である。したがって、容 易に 3次元の関心領域を抽出して観察することができない。さらに、医用画像からの 表面生成の際、臓器内部の色情報が失われたり、診断上重要となる形状が反映され ない可能性もある。診断や術前計画に用いる以上、データの修正や情報落ちを避け なければならない。なお、セグメンテーション作業とは、医用画像集合に対して解剖 学的な情報を付加することで臓器などの単位に分割する作業である。
[0013] さらに、本発明は、上述した腫瘍を追尾しながら放射線を照射する治療のために、 肺腫瘍の呼吸性移動をシミュレーションにより推定し、動体追尾照射を実現すること も目的としている。なお、本シミュレーション結果は DRR (Digitally Reconstructed Radi ograph :ディジタル再構成 X線撮影像）として表示される。 DRRは、例えば、患者の CT データを基に X線直接撮影像を再構成したものであり、主に治療計画などに用いら れている。本発明において、医師は DRRと治療中に得られる時系列 X線直接撮影像 を比較し、シミュレーションの妥当性を確認した上で照射を実施することができる環境 を構築することを目的として 、る。 課題を解決するための手段
[0014] 本第一の発明の情報処理装置は、三次元の物体のボリュームテクスチャである 3D ボタセル情報を複数の平面で切り出した結果の二次元の画像データに基づ 、て構 成される情報であるスライス情報であり、位置を示す情報である位置情報と弾性につ いての情報である弾性情報を有する複数の点の情報力も構成されるスライス情報を、 複数有するスライス情報群を格納して 、るスライス情報群格納部と、前記スライス情 報群を出力するスライス情報群出力部と、前記出力されているスライス情報群の所定 の点または領域に対する指示を受け付ける指示受付部と、前記指示に対応する点ま たは領域を構成する点の、 1以上の位置情報を取得する位置情報取得部と、前記位 置情報取得部が取得した 1以上の位置情報と対になる 1以上の弾性情報を取得する 弾性情報取得部と、前記弾性情報取得部が取得した 1以上の弾性情報に基づ 、て 出力する弾性情報出力部を具備する情報処理装置である。
[0015] 力かる構成により、三次元の物体の弾性に関する情報を扱うことができる。
[0016] また、本第二の発明の情報処理装置は、三次元の物体のボリュームテクスチャであ る 3Dボタセル情報を格納して 、る物体情報格納部と、前記 3Dボタセル情報を複数 の平面で切り出した結果の二次元の画像データに基づ 、て構成される情報であるス ライス情報であり、位置を示す情報である位置情報と色についての情報である色情 報を有する複数の点の情報から構成されるスライス情報を、複数有するスライス情報 群を格納して!/、るスライス情報群格納部と、前記三次元の物体の三次元メッシュの情 報である第一メッシュ情報を格納して!/、る第一メッシュ情報格納部と、前記スライス情 報群を出力するスライス情報群出力部と、前記出力されているスライス情報群の所定 の点または領域に対する指示を受け付ける指示受付部と、前記指示に基づいて、前 記第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する 第二メッシュ情報取得部と、前記第二メッシュ情報に基づいて、色情報を有しない複 数のスライス情報である第一スライス情報群を取得する第一スライス情報群取得部と 、前記第一スライス情報群を構成する複数のスライス情報の各点であり、前記 3Dボタ セル情報の点に対応する各点の色情報を決定する色情報決定部と、前記色情報決 定部が決定した各点の色情報に基づ 、て、前記第一スライス情報群取得部が取得し た第一スライス情報群の各点に新たな色情報を設定し、第二スライス情報群を取得 する第二スライス情報群取得部と、前記第二スライス情報群を出力する変形物体出 力部を具備する情報処理装置である。
[0017] 力かる構成により、三次元の物体の形状の変形を容易に把握できる。
[0018] また、本第三の発明の情報処理装置は、第二の発明に対して、前記スライス情報 は、位置情報と色情報と弾性情報を有する複数の点の情報から構成され、前記指示 に対応する点または領域を構成する点の、 1以上の位置情報を取得する位置情報取 得部と、前記位置情報取得部が取得した 1以上の位置情報と対になる 1以上の弾性 情報を取得する弾性情報取得部と、前記弾性情報取得部が取得した 1以上の弾性 情報に基づいて出力する弾性情報出力部をさらに具備する情報処理装置である。
[0019] 力かる構成により、三次元の物体の弾性に関する情報を扱うことができ、かつ形状 の変形も把握できる。
[0020] また、本第四の発明の情報処理装置は、第一の発明に対して、三次元の物体のボ リュームテクスチャである 3Dボタセル情報を格納して 、る物体情報格納部と、前記物 体情報格納部に格納されている 3Dボタセル情報から、視線に対して垂直で、かつ間 隔が一定の複数のスライス情報を切り出し、スライス情報群を取得するスライス情報 群取得部をさらに具備し、前記スライス情報群格納部のスライス情報群は、前記スラ イス情報群取得部が取得したスライス情報群である情報処理装置である。
[0021] 力かる構成により、三次元の物体の弾性に関する情報を扱うことができ、かつ予め スライス情報群を用意する必要がな 、。
[0022] また、本第五の発明の情報処理装置は、三次元の物体のボリュームテクスチャであ る 3Dボタセル情報を格納して 、る物体情報格納部と、前記 3Dボタセル情報を複数 の平面で切り出した結果の二次元の画像データに基づ 、て構成される情報であるス ライス情報であり、位置を示す情報である位置情報と色についての情報である色情 報を有する複数の点の情報から構成されるスライス情報を、複数有するスライス情報 群を格納して!/、るスライス情報群格納部と、前記三次元の物体の三次元メッシュの情 報である第一メッシュ情報を格納して!/、る第一メッシュ情報格納部と、前記スライス情 報群を出力するスライス情報群出力部と、前記出力されているスライス情報群の所定 の領域に対する指示を受け付ける指示受付部と、前記指示に基づいて、前記第一メ ッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッ シュ情報取得部と、前記第二メッシュ情報に基づいて、色情報を有しない複数のスラ イス情報である第一スライス情報群を取得する第一スライス情報群取得部と、前記第 一スライス情報群を構成する複数のスライス情報の各点であり、前記 3Dボタセル情 報の点に対応する各点の色情報を決定する色情報決定部と、前記色情報決定部が 決定した各点の色情報を用いて、前記第一スライス情報群取得部が取得した第一ス ライス情報群の各点に新たな色情報を設定し、第二スライス情報群を取得する第二 スライス情報群取得部と、前記第二スライス情報群を出力する変形物体出力部を具 備する情報処理装置である。
[0023] 力かる構成により、臓器中の領域の指示を受け付け、かつ、領域の移動の情報を 受け付け、変形結果を出力することができる。したがって、外科手術計画の支援が可 能となる。
[0024] また、本第六の発明の情報処理装置は、第五の発明に対して、前記第一メッシュ情 報は、前記指示受付部が受け付けた指示に対応して変位する点である操作ノードと 、当該操作ノードの変位に応じて変位可能な点である自由ノードと、変位しない点で ある固定ノードを有し、前記第二メッシュ情報取得部は、前記指示に対応して前記操 作ノードを変位させ、かつ前記操作ノードの変位に応じて前記自由ノードを変位させ 、かつ前記固定ノードを変位させないことにより、第二メッシュ情報を取得する情報処 理装置である。
[0025] 力かる構成により、ユーザは、所定の領域に変形の指示を入力することができ、そ の指示に応じた三次元の物体の形状の変形を把握できる。
[0026] また、本第七の発明の情報処理装置は、第六の発明に対して、前記第二メッシュ情 報取得部は、前記指示に対応して、操作ノードを決定する操作ノード決定手段を具 備する情報処理装置である。 [0027] 力かる構成により、所定の領域に対して指示を与えた場合に、その領域に対応する 点 (ノード)を容易に特定できる。
[0028] また、本第八の発明の情報処理装置は、第六の発明に対して、前記指示受付部が 受け付けた指示は、前記領域の回転または Zおよび平行移動の指示であり、前記第 二メッシュ情報取得部は、前記指示に対応して、前記操作ノードの変位を決定する 変位決定手段を具備する情報処理装置である。
[0029] 力かる構成により、三次元の物体をつまんだり、ひねったりした場合の三次元の物 体の形状の変形を把握できる。
[0030] また、本第九の発明の情報処理装置は、第五の発明に対して、術具のメタファであ る術具メタファを格納して 、る術具メタファ格納部と、前記術具メタファを出力する術 具メタファ出力部をさらに具備し、前記指示受付部は、前記術具メタファの移動や操 作についての指示を受け付け、当該指示が前記出力されているスライス情報群の所 定の領域に対する指示となり得る情報処理装置である。
[0031] 力かる構成により、術具を用いての臓器の変形を、情報処理装置上でシミュレーシ ヨンできる。
[0032] また、本第十の発明の情報処理装置は、第五の発明に対して、前記指示に対応す る領域を構成する点の、複数の位置情報を取得する位置情報取得部と、前記位置 情報取得部が取得した複数の位置情報と対になる複数の弾性情報を取得する弾性 情報取得部と、前記弾性情報取得部が取得した複数の弾性情報を用いて出力する 弾性情報出力部をさらに具備する情報処理装置である。
[0033] 力かる構成により、ユーザは、三次元の物体の弾性を感じながら、三次元の物体を つまんだり、ひねったりした場合の三次元の物体の形状の変形を把握できる。
[0034] また、本第十一の発明の情報処理装置は、第一の発明に対して、前記出力されて いるスライス情報群に対する所定の点または領域に対する指示を入力し、かつ、前 記弾性情報出力部の出力を受け付け、当該出力に対応する力を出力する入出力部 をさらに情報処理装置である。
[0035] 力かる構成により、ユーザは、ファントムなどの優れた入力手段により、三次元の物 体の弾性を感じることができる。 [0036] また、本第十二の発明の情報処理装置は、三次元の物体のボリュームテクスチャで ある 3Dボタセル情報を切り出した結果の平面上の画像データに基づ 、て構成される 情報であるスライス情報であり、位置を示す情報である位置情報を有する複数の点の 情報力も構成されるスライス情報を、複数有するスライス情報群を格納して 、るスライ ス情報群格納部と、三次元幾何形状を有する三次元領域マスクについての入力、お よび弾性にっ 、ての情報である弾性情報にっ 、ての入力を受け付ける入力受付部 と、前記三次元領域マスクを構成する三次元メッシュの情報であるメッシュ情報を取 得するメッシュ情報取得部と、前記メッシュ情報に基づいて、前記スライス情報群の 各スライス情報に対して、前記メッシュ情報の内側の領域である内側領域の各点に 対して、前記入力受付部が受け付けた入力に基づく弾性情報を設定する弾性情報 設定部を具備する情報処理装置である。
[0037] カゝかる構成により、容易に弾性情報を設定できる。
[0038] また、本第十三の発明の情報処理装置は、第一の発明に対して、前記スライス情 報が有する点の情報は、色についての情報である色情報をも有する情報処理装置 である。
[0039] 力かる構成により、さらに色情報を扱え、シミュレーション装置として利用した場合に 、現物に近い三次元物体の変形等のシミュレーションができる。
[0040] また、本第十四の発明の情報処理装置は、第十二の発明に対して、前記三次元領 域マスクの形状は、概ね臓器の形状である情報処理装置である。
[0041] 力かる構成により、例えば、臓器毎に容易に弾性情報を設定できる。
[0042] 本第十五の発明の情報処理装置は、 3次元の物体のボリュームテクスチャである 3 Dボタセル情報を格納して 、る物体情報格納部と、前記 3Dボタセル情報を切り出す 3次元幾何形状を有する 3次元領域マスクである第一 3次元領域マスクを用いて、前 記 3Dボタセル情報が切り出された結果であり、複数のスライス情報である第一スライ ス情報群を格納して 、る第一スライス情報群格納部と、第二の 3次元領域マスクであ る第二 3次元領域マスクについての入力を受け付ける入力受付部と、前記第二 3次 元領域マスクを構成する 3次元メッシュの情報である第二メッシュ情報を取得する第 二メッシュ情報取得部と、前記第二メッシュ情報に基づいて、前記第一スライス情報 群の各スライス情報に対して、前記第二メッシュ情報の内側の領域である内側領域と 、前記第二メッシュ情報の外側の領域である外側領域とを決定し、前記内側領域と 前記外側領域を視覚的に区別される第二スライス情報群を取得し、当該第ニスライ ス情報群を出力する物体出力部を具備する情報処理装置である。
[0043] かかる構成により、例えば、 MRIや CTなどで取得した 3次元の物体のボリュームテ タスチヤである 3Dボタセルデータに対して、 3次元の関心領域を、他と区別して抽出 して観察でさる。
[0044] また、本第十六の発明の情報処理装置は、第十五の発明に対して、前記物体出力 部は、前記第一スライス情報群の各スライス情報の外側領域の点を透明色にし、第 ニスライス情報群を構成する第二スライス情報群構成手段と、前記第二スライス情報 群構成手段が構成した第二スライス情報群を出力する出力手段を具備する情報処 理装置である。
[0045] かかる構成により、例えば、 MRIや CTなどで取得した 3次元の物体のボリュームテ タスチヤである 3Dボタセルデータに対して、 3次元の関心領域のみを切り出して、観 察できる。
[0046] また、本第十七の発明の情報処理装置は、第十五の発明に対して、前記物体出力 部は、前記第一スライス情報群の各スライス情報の内側領域の点の色と、前記第一 スライス情報群の各スライス情報の外側領域の点の色とを異なる色調にし、第二スラ イス情報群を構成する第二スライス情報群構成手段と、前記第二スライス情報群構 成手段が構成した第二スライス情報群を出力する出力手段を具備する情報処理装 置である。
[0047] かかる構成により、例えば、 MRIや CTなどで取得した 3次元の物体のボリュームテ タスチヤである 3Dボタセルデータに対して、 3次元の関心領域を、他と区別して抽出 して観察でさる。
[0048] また、本第十八の発明の情報処理装置は、第十七の発明に対して、前記第二スラ イス情報群構成手段は、前記第一スライス情報群の各スライス情報の内側領域の点 の輝度を、前記第一スライス情報群の各スライス情報の外側領域の点の輝度より大き し、第二スライス情報群を構成する情報処理装置である。 [0049] かかる構成により、例えば、 MRIや CTなどで取得した 3次元の物体のボリュームテ タスチヤである 3Dボタセルデータに対して、 3次元の関心領域をフォーカスすること により、容易に関心領域を観察できる。
[0050] また、本第十九の発明の情報処理装置は、第十五の発明に対して、前記物体出力 部は、前記第一スライス情報群の各スライス情報の内側領域の点を透明色にし、第 ニスライス情報群を構成する第二スライス情報群構成手段と、前記第二スライス情報 群構成手段が構成した第二スライス情報群を出力する出力手段を具備する情報処 理装置である。
[0051] かかる構成により、例えば、 MRIや CTなどで取得した 3次元の物体のボリュームテ タスチヤである 3Dボタセルデータに対して、 3次元の図形を取り除いた形態で、他の 部分を抽出して観察できる。力かることにより、例えば、手術時にドリル等で穴をあけ た状態を事前に知ることができ、手術シミュレーションや、術前計画等に有効である。
[0052] また、本第二十の発明の情報処理装置は、第十五の発明に対して、前記入力受付 部は、 2以上の第二 3次元領域マスクについての入力を受け付け、前記第二メッシュ 情報取得部は、前記 2以上の第二 3次元領域マスクを構成する 2以上の第二メッシュ 情報を取得し、前記物体出力部は、前記 2以上の第二メッシュ情報により、前記第一 スライス情報群の各スライス情報を複数の領域に区分し、当該複数の領域を視覚的 に区別して前記第一スライス情報群を出力する情報処理装置である。
[0053] かかる構成により、例えば、 MRIや CTなどで取得した 3次元の物体のボリュームテ タスチヤである 3Dボタセルデータに対して、複数の 3次元の関心領域を、他と区別し て抽出して観察できる。
[0054] また、本第二十一の発明の情報処理装置は、第二十の発明に対して、前記 2以上 の第二 3次元領域マスクに対応する色が存在し、前記物体出力部は、前記各領域を 構成した 1以上の第二 3次元領域マスクに対応する色に基づいて、前記各領域内の 点の色を決定し、当該色を有する点の集合である複数のスライス情報を構成し、当該 複数のスライス情報である第二スライス情報群を取得する第二スライス情報群構成手 段と、前記第二スライス情報群構成手段が構成した第二スライス情報群を出力する 出力手段を具備する情報処理装置である。 [0055] かかる構成により、例えば、 MRIや CTなどで取得した 3次元の物体のボリュームテ タスチヤである 3Dボタセルデータに対して、複数の 3次元の関心領域を、他と区別し て、容易に抽出して観察できる。
[0056] また、本第二十二の発明の情報処理装置は、第十五から第二十一 、ずれかの発 明に対して、前記入力受付部が受け付ける指示に対応する 3次元の物体の形状は、 概ね臓器の形状である情報処理装置である。
[0057] 力かる構成により、着目する臓器のみを抽出して、観察できる。
[0058] また、本第二十三の発明の情報処理装置は、第十五から第二十二 、ずれかの発 明に対して、前記入力受付部は、前記第二 3次元領域マスクの形状を変化させる指 示である形状変化指示をも受け付け、前記形状変化指示に基づいて、第二 3次元領 域マスクの形状を変更する 3次元領域マスク形状変更部をさらに具備する情報処理 装置である。
[0059] かかる構成により、例えば、 MRIや CTなどで取得した 3次元の物体のボリュームテ タスチヤである 3Dボタセルデータに対して、インタラクティブに 3次元の関心領域の形 状を変化させ、他と区別して抽出して観察できる。
[0060] また、本第二十四の発明の情報処理装置は、第十五から第二十三!/、ずれかの発 明に対して、前記入力受付部は、前記第二 3次元領域マスクの位置を変化させる指 示である位置変化指示をも受け付け、前記位置変化指示に基づいて、第二 3次元領 域マスクの位置を変更する 3次元領域マスク位置変更部をさらに具備する情報処理 装置である。
[0061] かかる構成により、例えば、 MRIや CTなどで取得した 3次元の物体のボリュームテ タスチヤである 3Dボタセルデータに対して、インタラクティブに 3次元の関心領域の位 置を変化させ、他と区別して抽出して観察できる。
[0062] また、本第二十五の発明の情報処理装置は、第十五から第二十四!/、ずれかの発 明に対して、前記物体情報格納部に格納されている 3Dボタセル情報から、視線に対 して垂直で、かつ間隔が一定の複数のスライス情報を切り出し、第一スライス情報群 を取得する第一スライス情報群取得部をさらに具備し、前記第一スライス情報群格納 部の第一スライス情報群は、前記第一スライス情報群取得部が取得した第一スライス 情報群である情報処理装置である。
[0063] 力かる構成により、ユーザ力スライス情報の集合を見た場合に、間引いたスライス情 報でも、立体的に見えるようにできる。また、所定の間隔で、間引いたスライス情報を 取得するために、表示処理が高速になる。また、一定の間隔でスライス情報を取得す るため、高品質な三次元物体を表示できる。
[0064] 本第二十六の発明の情報処理装置は、スライス情報であり、配置に関する情報で ある配置情報を有する第一スライス情報を 2以上格納している第一スライス情報群格 納部と、 X線の照射の原点の位置を示す情報である原点情報を格納して 、る原点情 報格納部と、前記 2以上の各第一スライス情報に対して、前記原点情報が示す位置 から、前記複数の各スライス情報の配置情報を用いて、前記複数の各スライス情報に 対して垂直に、かつ放射状に切り出す処理を行い、複数の第二スライス情報を取得 する第二スライス情報群取得部と、前記複数の各第二スライス情報に対して、当該各 第二スライス情報の配置情報を用いて、各第二スライス情報の拡大率または縮小率 である倍率を算出する倍率算出部と、前記倍率算出部が算出した倍率に従って、前 記複数の各第二スライス情報を拡大または縮小して複数の第三スライス情報を取得 する第三スライス情報群取得部と、前記複数の第三スライス情報を重ね合わせて出 力する出力部を具備する情報処理装置である。
[0065] 力力る構成により、 DRR (Digitally Reconstructed Radiograph：ディジタル再構成 X 線撮影像)を生成することができる。
[0066] また、本第二十七の発明の情報処理装置は、第二十六の発明に対して、 3次元の 物体のボリュームテクスチャである 3Dボタセル情報を格納している物体情報格納部 と、前記物体情報格納部に格納されている 3Dボタセル情報から、視線に対して垂直 で、かつ間隔が一定の複数の第一スライス情報を切り出し、取得する第一スライス情 報群取得部をさらに具備し、前記第一スライス情報群格納部の 2以上の第一スライス 情報は、前記第一スライス情報取得部が取得した第一スライス情報である情報処理 装置である。
[0067] 力かる構成により、例えば、 CTデータ等力も DRRを生成することができる。
[0068] また、本第二十八の発明の情報処理装置は、第二十七の発明に対して、前記視線 を特定する視線べ外ルを受け付ける受付部をさらに具備し、前記第一スライス情報 群取得部は、前記物体情報格納部に格納されている 3Dボタセル情報から、前記視 線ベクトルが示す視線に対して垂直で、かつ間隔が一定の複数の第一スライス情報 を切り出し、取得する情報処理装置である。
[0069] かかる構成により、種々の角度の DRRを生成することができる。
[0070] また、本第二十九の発明の情報処理装置は、第二十六の発明に対して、前記第一 スライス情報、第二スライス情報、および第三スライス情報は、各スライス情報を構成 する点の透明度についての情報である透明度情報を有し、透明度情報を受け付ける 受付部をさらに具備し、前記受付部が受け付けた透明度情報に応じて、前記重ね合 わせて出力される複数の第三スライス情報の透明度が変化する情報処理装置である
[0071] 力かる構成により、透明度が異なる DRRを生成することができる。
[0072] また、本第三十の発明の情報処理装置は、第二十六の発明に対して、前記 2以上 の各第一スライス情報は、胸部を含む画像である情報処理装置である。
[0073] 力かる構成により、胸部の DRRを取得できる。
発明の効果
[0074] 本発明による情報処理装置によれば、三次元の物体を出力したり、三次元の物体 に対して操作したりできる。
[0075] また、本発明による他の情報処理装置によれば、例えば、 MRIや CTなどで取得し た 3次元の物体のボリュームテクスチャである 3Dボタセルデータに対して、 3次元の 関心領域を、簡単に抽出して出力できる。
[0076] さらに、本発明による他の情報処理装置によれば、例えば、 MRIや CTなどで取得 した 3次元の物体のボリュームテクスチャから、 DRRを取得できる。
発明を実施するための最良の形態
[0077] 以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施 の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を 省略する場合がある。
(実施の形態 1) [0078] 図 1は、本実施の形態における情報処理装置のブロック図である。
[0079] 情報処理装置は、入出力機器 101、指示受付部 102、物体情報格納部 103、第一 メッシュ情報格納部 104、スライス情報群取得部 105、スライス情報群格納部 106、ス ライス情報群出力部 107、第二メッシュ情報取得部 108、第一スライス情報群取得部 109、色情報決定部 110、第二スライス情報群取得部 111、変形物体出力部 112、 位置情報取得部 113、弾性情報取得部 114、弾性情報出力部 115を具備する。色 情報決定部 110は、対応点決定手段 1101、色情報決定手段 1102を具備する。
[0080] 入出力機器 101は、出力されているスライス情報群に対する所定の点または領域 に対する指示を入力し、かつ、弾性情報出力部 115の出力を受け付け、当該出力に 対応する力ベクトルを出力する。「対応する力ベクトルを出力する」とは、例えば、モ ータ駆動により実現する。入出力機器 101は、例えば、 PHANToM (ファントム)や 振動する入力機器等である。なお、例えば、出力が画面出力である場合、入出力機 器 101は、例えば、マウスとディスプレイである。入出力機器 11は、 2以上の機器から 構成されていても良い。また、入出力機器 11は、情報処理装置に含まれると考えても 、含まれないと考えても良い。なお、図 1のブロック図は、情報処理装置は入出力機 器 101を含む場合の図である。領域に対する指示は、例えば、手術の器具である術 具のイメージを示す術具メタファを用いて、複数の点（ノード）を含む領域に対する指 示である。術具メタファは、手術で利用されるはさみやピンセットの図柄を有する画像 データでも良 、し、直方体や球などの形状を有する図形データや三次元画像データ 等でも良い。
[0081] 指示受付部 102は、出力されているスライス情報群の所定の点または領域に対す る指示を受け付ける。また、指示受付部 102は、スライス情報群の出力指示や出力さ れているスライス情報群 (三次元物体)の回転などの指示である回転指示等を受け付 ける。所定の点または領域に対する指示等の入力手段は、例えば、 PHANToM (フ アントム）やマウスやキーボードやメニュー画面によるもの等、何でも良い。点または領 域に対する指示と、出力指示が、異なる入力手段力 入力されても良い。指示受付 部 102は、 PHANToMやキーボード等の入力手段のデバイスドライバーや、メ-ュ 一画面の制御ソフトウェア等で実現され得る。なお、点または領域に対する指示は、 通常、 PHANToM (ファントム）を用いた指示であり、点または領域を押下するような 指示である。力かる押下するような指示に対して、 PHANToM (ファントム）が弾性に 対応する力を出力し、ユーザは、その力を感じる結果、弾性を感じることができる。
[0082] 物体情報格納部 103は、三次元の物体のボリュームテクスチャである 3Dボタセル 情報を格納している。 3Dボタセル情報は、例えば、 CTや MRIや PETなどの医用機 器により取得される二次元画像の集合である。 3Dボタセル情報は、例えば、 CTや M RIなどで、人体の脳や、身体の中を撮影した二次元画像の集合である。 3Dボタセル 情報は、例えば、（X, y, z, col,弾性率)で構成される点の情報である。（X, y, z, co 1、弾性率)の（x, y, z)は、三次元空間内での座標情報である。「col」は、当該点の 色情報である。「弾性率」は、当該点の弾力を示す値であり、弾性情報の一例である 。点の情報は、アルファ値などの透明度についての情報である透明度情報を含んで も良い。 3Dボタセル情報は、ここでは、点の間隔がなぐ詰まっている点の情報であ ることが好適であるが、離散的な点の情報でも良い。なお、 3Dボタセル情報は、（X, y, z, col)であり、弾性情報は、 3Dボタセル情報への付加情報として保持していても 良い。力かる場合も、 3Dボタセル情報が弾性情報を有する、と考えても良い。物体情 報格納部 103は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実 現可能である。また、弾性情報の例として、例えば、ヤング率、ポヮソン比、破断値、 摩擦係数などがある。
[0083] 第一メッシュ情報格納部 104は、三次元の物体の三次元メッシュの情報である第一 メッシュ情報を格納している。第一メッシュ情報は、三次元メッシュ情報である。三次 元メッシュの情報は、三次元物体を構成する点の情報の集合である。三次元メッシュ の情報は、間隔が空いている点の情報の集合である。ここでの点の情報は、通常、（ X, y, z, col,弾性情報)のデータ構造を有する情報である。ただし、点の情報は、（X , y, z)という座標情報のみでも良い。第一メッシュ情報格納部 104は、不揮発性の 記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
[0084] スライス情報群取得部 105は、物体情報格納部 103に格納されている 3Dボタセル 情報から、視線に対して垂直で、かつ間隔が一定の複数のスライス情報を切り出し、 スライス情報群を取得し、スライス情報群格納部 106に少なくとも一時的に格納する。 「視線に対して垂直である」とは、三次元物体が表示されている画面に垂直なベタト ルである視線ベクトルに対して垂直である、ことである。なお、スライス情報は、平面を 構成する点の情報の集合であり、通常、点間の間隔がなぐ詰まっている。スライス情 報群取得部 105は、通常、 MPUやメモリ等力も実現され得る。スライス情報群取得 部 105の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアは ROM等の 記録媒体に記録されている。但し、ハードウ ア（専用回路)で実現しても良い。
[0085] スライス情報群格納部 106は、三次元の物体のボリュームテクスチャである 3Dボタ セル情報を複数の平面で切り出した結果の二次元の画像データに基づ ヽて構成さ れる情報であるスライス情報であり、位置を示す情報である位置情報を有する複数の 点の情報力 構成されるスライス情報を、複数有するスライス情報群を格納して 、る。 なお、スライス情報群格納部 106のスライス情報群は、予め用意されていても良い。 かかる場合、情報処理装置において、スライス情報群取得部 105は、不要である。ま た、スライス情報を構成する点は、弾性についての情報である弾性情報や、色情報を 有しても良い。スライス情報群格納部 106は、不揮発性の記録媒体でも、揮発性の 記録媒体でも良い。
[0086] スライス情報群出力部 107は、スライス情報群格納部 106のスライス情報群を出力 する。ここで、出力とは、ディスプレイへの表示、プリンタへの印字、外部の装置 (通常 、表示装置を有する装置)への送信等を含む概念である。スライス情報群出力部 107 は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。スライ ス情報群出力部 107は、出力デバイスのドライバーソフトまたは、出力デバイスのドラ ィバーソフトと出力デバイス等で実現され得る。なお、スライス情報群をディスプレイに 出力した場合、通常、ユーザは、三次元の物体を認識できる。
[0087] 第二メッシュ情報取得部 108は、指示受付部 102が受け付けた指示に従って、第 一メッシュ情報格納部 104の第一メッシュ情報を変形し、変形した形状を構成する第 二メッシュ情報を取得する。第二メッシュ情報のデータ構造は、通常、第一メッシュ情 報と同じである。なお、第二メッシュ情報取得部 108は、第一メッシュ情報を変形し、 変形した形状を構成する第二メッシュ情報を取得する。第二メッシュ情報取得部 108 力 第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得す る処理は、通常、有限要素法による処理である。第二メッシュ情報取得部 108は、通 常、 MPUやメモリ等力も実現され得る。第二メッシュ情報取得部 108の処理手順は、 通常、ソフトウェアで実現され、当該ソフトウェアは ROM等の記録媒体に記録されて いる。但し、ハードウェア（専用回路)で実現しても良い。
[0088] 第一スライス情報群取得部 109は、第二メッシュ情報取得部 108が取得した第二メ ッシュ情報に基づ 、て、色情報を有しな 、複数のスライス情報である第一スライス情 報群を取得する。第一スライス情報群取得部 109は、第一メッシュ情報に対して変形 したメッシュ情報である第二メッシュ情報カゝら構成される三次元物体をスライスして取 得できる情報であるスライス情報を複数取得する。力かるスライス情報間の間隔は一 定であることが好適である。また、複数のスライス情報は、視線ベクトルに対して垂直 であることが好適である。また、第一スライス情報群を構成するスライス情報が色情報 を有しない、とは、最終的に表示されない色であるダミーの色の色情報を有することも 含む。第一スライス情報群取得部 109は、通常、 MPUやメモリ等力も実現され得る。 第一スライス情報群取得部 109の処理手順は、通常、ソフトウェアで実現され、当該 ソフトウェアは ROM等の記録媒体に記録されている。但し、ハードウェア（専用回路） で実現しても良い。
[0089] 色情報決定部 110は、第一スライス情報群を構成する複数のスライス情報の各点 であり、物体情報格納部 103に格納されて 、る 3Dボタセル情報の点に対応する各 点の色情報を決定する。 3Dボタセル情報の点に対応する各点は、 3Dボタセル情報 中の点であり、変形前の点である。色情報決定部 110は、通常、 MPUやメモリ等から 実現され得る。色情報決定部 110の処理手順は、通常、ソフトウエアで実現され、当 該ソフトウェアは ROM等の記録媒体に記録されている。但し、ハードウェア（専用回 路)で実現しても良い。
[0090] 対応点決定手段 1101は、第一スライス情報群を構成する複数のスライス情報の各 点に対応する、 3Dボタセル情報の中の各点を決定する。なお、この 3Dボタセル情報 の中の各点は、変形前の各点である。対応点決定手段 1101は、通常、 MPUやメモ リ等カも実現され得る。対応点決定手段 1101の処理手順は、通常、ソフトウェアで実 現され、当該ソフトウェアは ROM等の記録媒体に記録されている。但し、ハードゥエ ァ (専用回路)で実現しても良 、。
[0091] 色情報決定手段 1102は、対応点決定手段 1101が決定した 3Dボタセル情報の中 の各点の色情報を取得する。色情報決定手段 1102は、通常、 MPUやメモリ等から 実現され得る。色情報決定手段 1102の処理手順は、通常、ソフトウェアで実現され、 当該ソフトウェアは ROM等の記録媒体に記録されている。但し、ハードウ ア（専用 回路)で実現しても良い。
[0092] 第二スライス情報群取得部 111は、色情報決定部 110が決定した各点の色情報に 基づいて、第一スライス情報群取得部 109が取得した第一スライス情報群の各点に 新たな色情報を設定し、第二スライス情報群を取得する。つまり、第二スライス情報群 取得部 111は、第一スライス情報群取得部 109が取得した第一スライス情報群の各 点に新たな色情報として、色情報決定部 110が決定した各点の色情報を設定する。 力かる色情報を設定した複数のスライス情報が第二スライス情報群である。第二スラ イス情報群取得部 111は、通常、 MPUやメモリ等から実現され得る。第二スライス情 報群取得部 111の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアは R OM等の記録媒体に記録されている。但し、ハードウェア（専用回路)で実現しても良 い。
[0093] 変形物体出力部 112は、第二スライス情報群取得部 111が取得した第二スライス 情報群を出力する。出力とは、ディスプレイへの表示、プリンタへの印字、外部の装 置 (例えば、表示装置を具備する装置)への送信、記録媒体への蓄積等を含む概念 である。表示は、ディスプレイやプロジェクターなどへの出力を言う。第二スライス情報 群の表示態様は問わない。変形物体出力部 112は、第二スライス情報群を構成する 複数のスライスの中で、ディスプレイの奥行きの深 、方のスライス力も順に出力するこ とが好適である。変形物体出力部 112は、ディスプレイ等の出力デバイスを含むと考 えても含まないと考えても良い。変形物体出力部 112は、出力デバイスのドライバー ソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
[0094] 位置情報取得部 113は、指示に対応する点または領域を構成する点の、 1以上の 位置情報を取得する。位置情報は、通常、座標情報 (X, y, z)の集合である。位置情 報取得部 113は、 1以上の位置情報を、スライス情報群力 取得しても、第一スライス 情報群力 取得しても、第二スライス情報群力 取得しても良い。位置情報取得部 1 13は、通常、 MPUやメモリ等から実現され得る。位置情報取得部 113の処理手順 は、通常、ソフトウェアで実現され、当該ソフトウェアは ROM等の記録媒体に記録さ れている。但し、ハードウェア（専用回路)で実現しても良い。
[0095] 弾性情報取得部 114は、位置情報取得部 113が取得した 1以上の位置情報と対に なる 1以上の弾性情報を取得する。弾性情報取得部 114が弾性情報を取得する点と 、位置情報取得部 113が位置情報を取得する点は、同じである必要がある。弾性情 報取得部 114は、通常、 MPUやメモリ等力 実現され得る。弾性情報取得部 114の 処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアは ROM等の記録媒体 に記録されている。但し、ハードウェア（専用回路)で実現しても良い。
[0096] 弾性情報出力部 115は、弾性情報取得部 114が取得した 1以上の弾性情報に基 づいて、力についての情報 (例えば、力ベクトル)を出力する。出力とは、ファントムな どの入出力機器 101への信号の送付、ディスプレイへの表示、プリンタへの印字、音 出力、外部の装置への送信等を含む概念である。ここでの音出力は、例えば、力を 音の強弱で表現した出力である。弾性情報出力部 115は、ソフトウェアや、ディスプレ ィゃスピーカ一等の出力デバイスのドライバーソフトまたは、出力デバイスのドライバ 一ソフトと出力デバイス等で実現され得る。
[0097] 次に、情報処理装置の動作について図 2から図 4のフローチャートを用いて説明す る。
[0098] (ステップ S201)指示受付部 102は、入出力機器 101 (キーボードやマウスなども 場合もあり得る)力ゝらの指示を受け付けたカゝ否かを判断する。指示を受け付ければス テツプ S202に行き、指示を受け付けなければステップ S201に戻る。
[0099] (ステップ S202)指示受付部 102は、ステップ S201で受け付けた指示力 スライス 情報群の出力指示である力否かを判断する。出力指示であればステップ S203に行 き、出力指示でなければステップ S205に行く。
[0100] (ステップ S203)スライス情報群出力部 107は、スライス情報群格納部 106からスラ イス情報群を読み出す。カゝかるスライス情報群を構成する各スライス情報は、通常、 視線ベクトルに対して垂直である。 [0101] (ステップ S204)スライス情報群出力部 107は、ステップ S203で読み出したスライ ス情報群を出力する。ステップ S201に戻る。なお、スライス情報群の出力により、三 次元物体が表示される。
[0102] (ステップ S205)指示受付部 102は、ステップ S201で受け付けた指示力 三次元 物体の回転指示である力否かを判断する。回転指示であればステップ S206に行き、 回転指示でなければステップ S209に行く。
[0103] (ステップ S206)スライス情報群取得部 105は、ステップ S201で受け付けた回転指 示に基づいて、視線ベクトルを取得する。視線ベクトルは、ディスプレイの表示面と垂 直のベクトルである。回転指示は、マウス等の入出力機器 101により入力される。マウ スで三次元物体を回転させる処理は公知技術による処理であるので、詳細な説明は 省略する。
[0104] (ステップ S207)スライス情報群取得部 105は、物体情報格納部 103に格納されて いる 3Dボタセル情報から、視線ベクトルに対して垂直で、かつ間隔が一定の複数の スライス情報を切り出し、スライス情報群を取得する。間隔の値は予め格納されている 、とする。
[0105] (ステップ S208)スライス情報群取得部 105は、ステップ S 207で取得したスライス 情報群を、スライス情報群格納部 106に、少なくとも一時蓄積する。ステップ S204に 行く。
[0106] (ステップ S209)指示受付部 102は、ステップ S201で受け付けた指示力 点また は領域の指示である力否かを判断する。点または領域の指示であればステップ S 21 0に行き、点または領域の指示でなければステップ S 201に戻る。なお、点または領 域の指示方法は、マウスを利用した方法など、問わない。
[0107] (ステップ S210)位置情報取得部 113は、ステップ S201で受け付けた指示に対応 する点、または領域を構成する点の、 1以上の位置情報を取得する。
[0108] (ステップ S211)弾性情報取得部 114は、位置情報取得部 113が取得した 1以上 の位置情報と対になる 1以上の弾性情報を、スライス情報群格納部 106の各スライス 情報、または物体情報格納部 103の 3Dボタセル情報力 取得する。まず、弾性情報 取得部 114は、 1以上の位置情報を有する点を、各スライス情報または 3Dボタセル 情報から検索する。次に、検索により得た点の弾性情報を取得する。
[0109] (ステップ S212)弾性情報出力部 115は、弾性情報取得部 114が取得した 1以上 の弾性情報力も出力する弾性情報を演算して、算出する。弾性情報出力部 115が取 得する弾性情報と、出力する弾性情報が異なる情報でも良い。例えば、取得する弾 性情報が弾性率であり、出力する弾性情報が力であっても良い。また、弾性情報は、 例えば、弾性率である。弾性率は、ヤング率でも、体積弾性率でも、剛性率でも、ポ ァソン比でも良い。この場合、弾性情報出力部 115は、 1以上の弾性情報の平均値 を算出し、出力する弾性情報としても良い。また、例えば、弾性情報出力部 115は、 1 以上の弾性情報の最大値を出力する弾性情報としても良い。また、例えば、弾性情 報出力部 115は、 1以上の弾性情報の最小値を出力する弾性情報としても良い。そ の他、弾性情報出力部 115は、 1以上の弾性情報 (e , e · · ·、 e )をパラメータに用
1 2 n
いた所定の関数 f (f (e , e · · ·、 e
1 2 n；) )により、出力する弾性情報を算出しても良い。
[0110] (ステップ S213)弾性情報出力部 115は、ステップ S212で取得した 1以上の弾性 情報を、入出力機器 11 (通常、 PHANToM)に出力する。
[0111] (ステップ S214)入出力機器 101は、モータ駆動により振動する。力かる処理により 、ユーザに弾性が伝わる。
[0112] (ステップ S215)変形物体出力部 112は、変形されたスライス情報群（三次元物体） を出力する。力かる処理を変形処理と言い、図 3、図 4のフローチャートを用いて説明 する。三次元物体の変形処理は、ステップ S201における指示に対応する。つまり、 例えば、ユーザが、 PHANToMにより、ある点または領域を押下した際、押下した強 さ（または、時間など）により、三次元物体は変形する。ステップ S204に行く。
[0113] なお、図 2のフローチャートにおいて、ステップ S215の変形処理は、ステップ S210 の前に行っても良い。
[0114] なお、図 2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は 終了する。
[0115] 次に、ステップ S215における変形処理について図 3、図 4のフローチャートを用い て説明する。
[0116] (ステップ S301)第二メッシュ情報取得部 108は、第一メッシュ情報格納部 104から 第一メッシュ情報を読み出す。
[0117] (ステップ S302)第二メッシュ情報取得部 108は、ステップ S201で受け付けた指示 に基づいて、ステップ S301で読み出した第一メッシュ情報を変形し、変形した形状 を構成する第二メッシュ情報を取得する。変形指示に基づ 、てメッシュ情報を変形す る処理は、公知技術 (有限要素法の技術)であるので、詳細な説明は省略する。
[0118] (ステップ S303)第一スライス情報群取得部 109は、ステップ S302で取得した第二 メッシュ情報に基づ 、て、複数のスライス情報である第一スライス情報群を取得する。 第二メッシュ情報が構成する三次元物体をスライスし、複数の平面の情報を得る。か かる平面の情報がスライス情報である。スライス情報は、座標情報 (X, y, z)で示され る点の集合であり、色情報は有さない。かかる場合、第一スライス情報群取得部 109 は、視線ベクトルに対して垂直となり、所定の間隔で、複数のスライス情報である第一 スライス情報群を取得する。ここで、第一スライス情報群を構成するスライス情報は、 色情報を有しない。
[0119] (ステップ S304)第二スライス情報群取得部 111は、第二スライス情報群を取得す る。力かる処理の詳細については、図 4のフローチャートを用いて説明する。
[0120] (ステップ S305)変形物体出力部 112は、ステップ S 304で取得した第二スライス情 報群を出力する。上位関数にリターンする。
[0121] 次に、ステップ S304における第二スライス情報群を取得する処理について図 4のフ ローチャートを用いて説明する。
[0122] (ステップ S401)第二スライス情報群取得部 111は、カウンタ iに 1を代入する。
[0123] (ステップ S402)第二スライス情報群取得部 111は、潘目のスライス情報 (未処理 のスライス情報）が、第一スライス情報群の中に存在するか否かを判断する。潘目の スライス情報が存在すればステップ S403に行き、 i番目のスライス情報が存在しなけ れば上位関数にリターンする。
[0124] (ステップ S403)第二スライス情報群取得部 111は、カウンタ jに 1を代入する。
[0125] (ステップ S404)第二スライス情報群取得部 111は、 i番目のスライス情報の中に未 処理の j番目の点があるかどうか判断する。 j番目の点が存在すればステップ S405に 行き、 j番目の点が存在しなければステップ S409に飛ぶ。なお、「未処理」とは、色情 報を設定して ヽな ヽことを言う。
[0126] (ステップ S405)対応点決定手段 1101は、 i番目のスライス情報の中の j番目の点 に対応する点であり、 3Dボタセル情報中の点を決定する。 3Dボタセル情報中の点と は、変形前の点である。なお、 j番目の点は、変形後の点である。 3Dボタセル情報中 の点を決定するアルゴリズムの例の詳細は、後述する。
[0127] (ステップ S406)色情報決定手段 1102は、ステップ S405で決定した 3Dボタセル 情報中の点の色情報を取得する。
[0128] (ステップ S407)色情報決定手段 1102は、ステップ S406で取得した色情報を、 i 番目のスライス情報の中の j番目の点の色情報に設定する。
[0129] (ステップ S408)第二スライス情報群取得部 111は、カウンタ jを 1、インクリメントす る。ステップ S404に戻る。
[0130] (ステップ S409)第二スライス情報群取得部 111は、カウンタ iを 1、インクリメントす る。ステップ S402に戻る。
[0131] 以下、本実施の形態における情報処理装置の具体的な動作について説明する。
本情報処理装置において、例えば、三次元物体は、心臓や肺などの臓器である。た だし、かかる三次元物体は、 4面体の集合で近似できる。したがって、ここでは、説明 の簡単化のために、図 5 (a)に示す 4面体を変形させた場合について説明する。図 5 (a)において、 A, B, C, Oの 4点を有する。点 Pは、 4面体の内部のある点である。
[0132] 物体情報格納部 103は、図 6に示す 3Dボタセル情報を格納している。第一メッシュ 情報格納部 104は、例えば、図 7に示す第一メッシュ情報を格納している。 3Dボクセ ル情報は、図 5 (a)に示す 4面体を構成する全ての点の情報である点情報の集合で ある。点情報は、ここでは、位置情報 (X, y, z)と色情報（図 6において、「col」など） と弾性情報（図 6において、「e」など）を有する。また、第一メッシュ情報は、例えば、 4面体の外側および内側の点の情報（点の間は間隔があ!、て 、る）の集合である。
[0133] また、スライス情報群取得部 105は、図 8に示すように、視線ベクトルに対して垂直 となり、所定の間隔で、複数のスライス情報であるスライス情報群を、 3Dボタセル情報 力も取得する。スライス情報群取得部 105は、表示対象の三次元物体の位置「minD 」WmaxD」を求め、所定の間隔「D」でスライスし、複数のスライス情報を取得する。 スライス情報は、点の情報の集合である。また、スライス情報を構成する点間の間隔 はない。つまり、スライス情報により示される平面は、点の情報により詰まっている。こ こでの点の情報は、位置情報 (X, y, z)を有し、色情報を有さない。その結果、スライ ス情報群取得部 105は、図 9に示すスライス情報群を取得する。スライス情報群は、 スライス情報 S ,スライス情報 S ,スライス情報 Sなどを有する。なお、視線ベクトルに
1 2 3
対して垂直にスライス情報を取得するのは、ユーザ力スライス情報の集合を見た場合 に、間引いたスライス情報でも、立体的に見えるようにするためである。また、所定の 間隔で、間引いたスライス情報を取得するのは、表示処理の高速ィ匕のためである。ま た、一定の間隔でスライス情報を取得するのは、高品質な三次元物体を表示するた めである。なお、視線ベクトルは、画面に対して垂直のベクトルであり、指示受付部 1 02が回転指示を受け付けた場合、当該回転指示に応じて変化する。
[0134] そして、スライス情報群取得部 105は、取得した図 9のスライス情報群を、少なくとも 一時的に、スライス情報群格納部 106に格納する。
[0135] 次に、スライス情報群出力部 107は、スライス情報群格納部 106のスライス情報群 を出力する。ここで、出力されたスライス情報群により、ユーザは、三次元の四面体を 認識できる。なお、スライス情報群出力部 107がスライス情報群を出力するトリガーは 、ユーザ指示でも良いし、外部装置からの命令の受信等でも良い。そのトリガーは問 わない。
[0136] 次に、ユーザは、出力されているスライス情報群に対する所定の点または領域に対 する指示を入力し、表示されている三次元の四面体を変形しょうとする、とする。かか る指示を変形指示という。ここでは、変形指示は、例えば、情報処理装置が具備する ファントムで入力する。ファントムでの入力は、例えば、図 5 (a)に示す 4面体の点 Oを 左横に所定の力で押下する入力である。そして、指示受付部 102は、変形指示を受 け付ける。かかる入力により、図 5 (a)に示す 4面体は、図 5 (b)に示すような 4面体に なる。そして、力かる変形指示に基づいて、第二メッシュ情報取得部 108は、図 7の第 一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する。第 二メッシュ情報を図 10に示す。つまり、第二メッシュ情報は、図 5 (b)の 4面体を示す 情報である。なお、第一メッシュ情報を変形し、第二メッシュ情報を取得する処理は、 有限要素法による公知技術であるので詳細な説明は省略する。
[0137] 次に、色情報の取得処理について説明する。図 5 (a) , (b)にあるように、メッシュ要 素内部のある点 Pが、変形指示の入力によって P'に変位したとき、 P'の色情報には 3 Dボタセル情報内の Pの位置にある色情報を割り当てる必要がある。変形前後にお V、てメッシュ内部の任意点の各頂点からの相対位置が変化しな!、とすれば、変形前 後の内部点 P, P'の位置は共通のパラメータ s, t, uを用いて、次のように各エッジの 線形結合として表すことができる。
[0138] OP = sOA + tOB + uOC 式（1)
[0139] 0'P' = sO'A' +tO'B' +uO'C 式（2)
[0140] ここで、対応点決定手段 1101は、式（2)を解いて、変形後のメッシュから内部の点 P'を定義するパラメータ s, t, uを求め、式（1)から変形前の位置 Pを得る。そして、位 置 Pに対応する色情報を、図 6に示す 3Dボタセル情報力も取得する。そして、色情報 決定手段 1102は、対応点決定手段 1101が決定した第一スライス情報群を構成す る複数のスライス情報の中の各点の色情報を取得し、設定する。その結果、図 11の 変形後の各スライス情報を構成する各点は、色情報を有することとなる。
[0141] 以上の処理において、メッシュ情報を構成するノード（点）に変位が生じたり、メッシ ュ情報の再構成が行われたりした場合でも、シミュレーション前後において、要素内 の点の各ノード力 の相対位置が求められる限り、内部の任意点における色情報が 再現可能である。
[0142] 次に、変形物体出力部 112は、第二スライス情報群を出力する。力かる処理により 、変形指示を受け付けた後の三次元物体がリアルタイムに出力される。変形指示の 受け付けと変形後の三次元物体の出力を繰り返すことで、例えば、医療分野におけ る生体機能解析やリアルタイムの手術シミュレーション等が可能となる。
[0143] 次に、位置情報取得部 113は、受け付けた指示 (変形指示）に対応する点、または 領域を構成する点の、 1以上の位置情報を取得する。ここでは、例えば、点 Oの位置 情報を取得する。そして、次に、弾性情報取得部 114は、位置情報取得部 113が取 得した点 Oの位置情報と対になる 1以上の弾性情報 (e)を、スライス情報群格納部 10 6の各スライス情報、または物体情報格納部 103の 3Dボタセル情報力も取得する。 [0144] 次に、弾性情報出力部 115は、弾性情報取得部 114が取得した 1以上の弾性情報 力も出力する力ベクトルを演算して、算出する。弾性情報取得部 114が取得した 1つ の弾性情報である場合、弾性情報出力部 115は、通常、当該弾性情報をそのまま出 力する。
[0145] 次に、弾性情報出力部 115は、取得した力ベクトルを、ファントムに出力する。そし て、ファントムは、力ベクトルに対応して、モータを駆動する。そして、ユーザは、ファ ントムを使用して、与えた押し込みに対して得られる反力を感じることができる。
[0146] 以上、本実施の形態によれば、メッシュに生じた変形や破壊を、表面及び内部の色 情報を伴って実時間で描出することができる。また、三次元の物体の弾性に関する 情報を扱うことができる。具体的には、ファントムなどの入出力機器を用いて、出力さ れている三次元物体を押したり、掴んだりした場合に、その押したり、掴んだりした箇 所の硬さを感じながら三次元物体の形状を変えることができる。また、本実施の形態 によれば、 3Dボタセル情報から取得したスライス情報群と、メッシュ情報を用いて、リ アルタイムの三次元物体の変形を、硬さを感じながらシミュレーションできる。つまり、 元画像のボタセルデータ（3Dボタセル情報）と対象領域のメッシュデータ (メッシュ情 報）の両方を使用し、変形後のメッシュ要素をテクスチャマップされた断面の重なりに よって表現することによって、物体表面 ·内部構造の高精細な描画を行え、かつ三次 元物体を構成する各点、または Zおよびスライス情報群を構成する各点が弾性情報 を有することにより、ユーザは、三次元物体の硬さを感じながら、当該三次元物体の 変形をシミュレーションできる。また、本実施の形態によれば、有限要素法を代表とす る力学計算アルゴリズムに対応し、専用のグラフィクスカードを必要とせずに、汎用 P C上で、例えば、 256 X 256 X 256 voxelからなるボリュームデータに対して、なめ らかな変形アニメーションを生成することができる。
[0147] なお、本実施の形態における情報処理装置の処理につ!、て評価を行った。描画に 要する計算時間を検証するために、 4パターンの同形状で詳細度の異なるメッシュ（ 図 12 (a)の立方体、メッシュ数 Eは 589, 1104, 4463, 8468)と対応する 256 X 25 6 X 256と 128 X 128 X 128の 2パターンのボリュームテクスチャを用意した。それぞ れに対し、スライス間隔 Dが 1. 0と 2. 0の場合を考え、計 16通りに対して 1秒間にお ける描画フレーム数を測定した。それぞれの場合でのフレーム数を図 13に示す。な お、図 12の各画像データは、色情報も含むことは言うまでもない。
[0148] また、本実施の形態によれば、要素数が多くなると生成されるベースポリゴンが増加 し、フレーム数は減少する。フレーム数はスライス間隔 Dにはほぼ比例し、 256 X 256 X 256voxelのボリュームテクスチャを用いた場合、スライス間隔 Dを 2とすれば要素 数が 2000程度までのメッシュで 10Hz以上のフレーム数を達成できており、物体に 対する操作に対して対話的になめらかなアニメーションを提示することができた。
[0149] また、本実施の形態における情報処理装置は、 CTや MRIによって取得される人体 臓器などの三次元物体形状に対し、変形シミュレーションを行った際の表面 ·内部構 造の可視化に有用である。ここで、人体臓器などの三次元物体の形状に対し適用し た結果を、以下に示す。例えば、図 14 (a)は CTによって取得された二次元画像集合 力も抽出された心筋部位のボリュームレンダリング結果である。同形状の四面体メッ シュモデルを作成し、変形シミュレーションを行った結果を図 14 (b)に示す。濃淡値 が反映されるため、変形後の冠動脈などの微細組織や物体表面の性状が高精細に 描出される。また、 α値を変化させることによって内部構造 (心内腔)の変形も観察で きる。かかることは、他の実施の形態においても同様である。なお、図 14の各画像デ ータは、色情報も含むことは言うまでもない。また、ユーザは、変形させた際に、その 筒所の硬さを感じることができる。
[0150] また、本実施の形態における情報処理装置は、臓器等の三次元物体の変形のシミ ユレーシヨンだけではなぐエンターテイメント向けのアニメーション生成など、コンビュ 一タグラフイクスに関連した幅広い用途に有用であり、ボリュームビジユアライゼーショ ンの適用範囲を大きく拡大できる。
[0151] また、本実施の形態において、例えば、図 15 (a)に示すような三次元物体に対して 、ファントムを用いて、ポイント Xを押下する処理を行うと、図 15 (b)に示すように三次 元物体が変形するとともに、変形に要する力がファントムに戻り、ユーザは、その力を 実感することができる。本三次元物体は、車のエンジン部分である。図 15 (a) (b)は、 力学構造解析を行っている様子を示す図である。なお、三次元物体が人間の臓器で あり、力かる仕^ aみを人間の手術のシミュレーションで用いれば、視覚的だけではな ぐ触覚により、人体の手術のシミュレーションが可能となる。
[0152] さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、この ソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェア を CD— ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細 書における他の実施の形態においても該当する。なお、本実施の形態における情報 処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプロ グラムは、コンピュータに、三次元の物体のボリュームテクスチャである 3Dボタセル情 報を複数の平面で切り出した結果の二次元の画像データに基づ ヽて構成される情 報であるスライス情報であり、位置を示す情報である位置情報と弾性についての情報 である弾性情報を有する複数の点の情報力 構成されるスライス情報を、複数有する スライス情報群を出力するスライス情報群出力ステップと、前記出力されているスライ ス情報群の所定の点または領域に対する指示を受け付ける指示受付ステップと、前 記指示に対応する点または領域を構成する点の、 1以上の位置情報を取得する位置 情報取得ステップと、前記位置情報取得ステップで取得した 1以上の位置情報と対に なる 1以上の弾性情報を取得する弾性情報取得ステップと、前記弾性情報取得ステ ップで取得した 1以上の弾性情報に基づいて出力する弾性情報出力ステップを実行 させるためのプログラム、である。
[0153] また、コンピュータに、三次元の物体のボリュームテクスチャである 3Dボタセル情報 を複数の平面で切り出した結果の二次元の画像データに基づ ヽて構成される情報 であるスライス情報であり、位置を示す情報である位置情報と色についての情報であ る色情報と弾性についての情報である弾性情報を有する複数の点の情報から構成さ れるスライス情報を、複数有するスライス情報群を出力するスライス情報群出カステツ プと、前記出力されているスライス情報群の所定の点または領域に対する指示を受 け付ける指示受付ステップと、前記指示に基づいて、格納している第一メッシュ情報 を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取 得ステップと、前記第二メッシュ情報に基づいて、色情報を有しない複数のスライス情 報である第一スライス情報群を取得する第一スライス情報群取得ステップと、前記第 一スライス情報群を構成する複数のスライス情報の各点であり、前記 3Dボタセル情 報の点に対応する各点の色情報を決定する色情報決定ステップと、前記色情報決 定ステップで決定した各点の色情報に基づ 、て、前記第一スライス情報群取得ステ ップで取得した第一スライス情報群の各点に新たな色情報を設定し、第二スライス情 報群を取得する第二スライス情報群取得ステップと、前記第二スライス情報群を出力 する変形物体出力ステップと、前記指示に対応する点または領域を構成する点の、 1 以上の位置情報を取得する位置情報取得ステップと、前記位置情報取得ステップで 取得した 1以上の位置情報と対になる 1以上の弾性情報を取得する弾性情報取得ス テツプと、前記弾性情報取得ステップで取得した 1以上の弾性情報に基づ 、て出力 する弾性情報出力ステップを実行させるためのプログラム、でも良 、。
(実施の形態 2)
[0154] 本実施の形態において、実施の形態 1で述べた弾性情報を、容易に設定できるォ ーサリング機能を有した情報処理装置について説明する。本実施の形態において、 情報処理装置は、ユーザが指定した三次元物体の一部の 3次元領域について、所 望の弾性情報を、自由に設定できる。
[0155] 図 16は、本実施の形態における情報処理装置のブロック図である。
[0156] 情報処理装置は、入力受付部 1601、物体情報格納部 103、第一メッシュ情報格 納部 104、スライス情報群取得部 105、スライス情報群格納部 106、スライス情報群 出力部 107、三次元領域マスク形状変更部 1602、三次元領域マスク位置変更部 16 03、メッシュ情報取得部 1604、弾性情報設定部 1605を具備する。
[0157] 入力受付部 1601は、三次元幾何形状を有する三次元領域マスクについての入力 、および弾性についての情報である弾性情報についての入力、およびスライス情報 群を出力する出力指示等を受け付ける。三次元領域マスクとは、 3Dボタセル情報、 または 1以上のスライス情報を有するスライス情報群を切り出す (領域を分ける）ため の情報であり、三次元幾何形状を有する情報である。三次元領域マスクは、三次元メ ッシュの情報である。三次元メッシュの情報は、三次元物体を構成する点の情報の集 合である。三次元メッシュの情報は、間隔が空いている点の情報の集合である。点の 情報は、通常、（X, y, z)という座標情報である。弾性情報は、例えば、弾性率である 。なお、入力受付部 1601が受け付ける弾性情報は、三次元領域マスクで指定される 三次元の領域の点の集合に、設定される弾性情報である。また、三次元領域マスク についての入力には、三次元領域マスクを生成する指示である生成指示、三次元領 域マスクの形状を変化させる指示である形状変化指示、三次元領域マスクの位置を 変更する指示である位置変化指示などがある。なお、生成指示は、例えば、三次元 領域マスクを 3Dボタセル情報中に配置する指示でも良い。また、生成指示は、例え ば、複数の形状の三次元領域マスクが存在する場合において、形状を選択し、当該 形状の三次元領域マスクを 3Dボタセル情報中に配置する指示でも良い。また、生成 指示は、例えば、表示されている立体画像の輪郭をマウス等の入力手段でなぞって 、立体的な三次元領域マスクを構築する指示でも良い。また、出力指示により、スライ ス情報群が出力される。また、かかる指示や弾性情報の入力手段は、テンキーゃキ 一ボードやマウスやメニュー画面によるもの等、何でも良い。入力受付部 1601は、テ ンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフ トウ ア等で実現され得る。なお、三次元領域マスクは、通常、四面体の集合である。 そして、出力されている三次元領域マスクを構成する四面体の各頂点は、座標情報 のみならず、弾性情報を有しても良いし、四面体の各頂点と対応付けて、弾性情報を 有しても良い。
三次元領域マスク形状変更部 1602は、入力受付部 1601が形状変化指示を受け 付けた場合、当該形状変化指示に基づいて、三次元領域マスクの形状を変更し、出 力する。三次元領域マスク形状変更部 1602は、例えば、入力受付部 1601が、入力 手段であるマウスの右ボタンのクリックを受け付ける毎に、三次元領域マスクの大きさ を、重心を変えずに 90%の大きさに縮小する。また、三次元領域マスク形状変更部 1 602は、例えば、入力受付部 1601が、入力手段であるマウスの左ボタンのクリックを 受け付ける毎に、第二三次元領域マスクの大きさを、重心を変えずに 110%の大きさ に拡大する。また、三次元領域マスク形状変更部 1602は、入力受付部 1601が、入 力手段であるマウスのドラッグの信号を受け付け、当該信号に従って、マウスで指示 されている箇所 (点)の形状を変更する。三次元領域マスク形状変更部 1602が行う 処理は、三次元メッシュの情報の変形処理であり、公知の技術であるので詳細な説 明は省略する。三次元領域マスク形状変更部 1602は、通常、 MPUやメモリ等から 実現され得る。三次元領域マスク形状変更部 1602の処理手順は、通常、ソフトゥェ ァで実現され、当該ソフトウェアは ROM等の記録媒体に記録されている。但し、ハー ドウ ア（専用回路)で実現しても良 、。
[0159] 三次元領域マスク位置変更部 1603は、入力受付部 1601が位置変化指示を受け 付けた場合、当該位置変化指示に基づいて、三次元領域マスクの位置を変更し、出 力する。「三次元領域マスクの位置を変更する」とは、スライス情報群に対する相対的 な位置を変更することである。三次元領域マスク位置変更部 1603は、例えば、入力 手段が PHANToMである場合、 PHANToMを押し込むと、スライス情報群に対し て、三次元領域マスクを奥行きの奥の方向に移動させる処理を行う。三次元領域マ スク位置変更部 1603が行う処理は、三次元メッシュの位置の変更処理であり、公知 の技術であるので詳細な説明は省略する。三次元領域マスク位置変更部 1603は、 通常、 MPUやメモリ等から実現され得る。三次元領域マスク位置変更部 1603の処 理手順は、通常、ソフトウェアで実現され、当該ソフトウェアは ROM等の記録媒体に 記録されている。但し、ハードウェア（専用回路)で実現しても良い。
[0160] メッシュ情報取得部 1604は、三次元領域マスクを構成する三次元メッシュの情報 であるメッシュ情報を取得し、出力する。メッシュ情報は、入力受付部 1601が受け付 けた指示に基づ 、て、取得されるメッシュ情報（三次元領域マスクを構成するメッシュ 情報)、そのままであっても良い。また、メッシュ情報は、三次元領域マスク形状変更 部 1602、または Zおよび三次元領域マスク位置変更部 1603が処理した結果の三 次元領域マスクのメッシュ情報であっても良い。例えば、入力受付部 1601が三次元 領域マスクの形状の選択を受け付ける場合、選択され得る形状のメッシュ情報は、メ ッシュ情報取得部 1604が予め保持している、とする。メッシュ情報取得部 1604は、 通常、 MPUやメモリ等力も実現され得る。メッシュ情報取得部 1604の処理手順は、 通常、ソフトウェアで実現され、当該ソフトウェアは ROM等の記録媒体に記録されて いる。但し、ハードウェア（専用回路)で実現しても良い。
[0161] 弾性情報設定部 1605は、メッシュ情報に基づいて、スライス情報群の各スライス情 報が有する各点であり、メッシュ情報の内側の領域である内側領域の各点に対して、 弾性情報を設定する。この弾性情報は、入力受付部 1601が受け付けた入力に基づ く弾性情報である。また、弾性情報設定部 1605は、メッシュ情報に基づいて、物体 情報格納部 103の 3Dボタセルデータを構成する各点であり、メッシュ情報の内側の 領域である内側領域の各点に対して、弾性情報を設定しても良い。弾性情報設定部 1605は、通常、 MPUやメモリ等力も実現され得る。弾性情報設定部 1605の処理手 順は、通常、ソフトウェアで実現され、当該ソフトウェアは ROM等の記録媒体に記録 されている。但し、ハードウェア（専用回路)で実現しても良い。
[0162] 次に、情報処理装置の動作について図 17のフローチャートを用いて説明する。
[0163] (ステップ S1701)入力受付部 1601は、入力を受け付けた力否かを判断する。入 力を受け付ければステップ S 1702に行き、入力を受け付けなければステップ S 1701 に戻る。
[0164] (ステップ S1702)入力受付部 1601は、ステップ S1701で受け付けた入力が出力 指示であるか否かを判断する。出力指示であればステップ S 1703に行き、出力指示 でなければステップ S 1705に行く。なお、出力指示とは、例えば、情報処理装置ゃァ プリケーシヨンの起動の指示である。
[0165] (ステップ S1703)スライス情報群出力部 107は、スライス情報群格納部 106からス ライス情報群を読み出す。
[0166] (ステップ S1704)スライス情報群出力部 107は、ステップ S 1703で取得したスライ ス情報群を出力する。ステップ S1701に戻る。
[0167] (ステップ S1705)入力受付部 1601は、ステップ S1701で受け付けた入力が生成 指示であるか否かを判断する。生成指示であればステップ S 1706に行き、生成指示 でなければステップ S 1708に行く。
[0168] (ステップ S1706)メッシュ情報取得部 1604は、予め格納されているメッシュ情報を 読み出し、出力する。メッシュ情報取得部 1604は、 2以上のメッシュ情報 (例えば、球 面体、円柱形状など)を、予め保持していても良い。
[0169] (ステップ S 1707)メッシュ情報取得部 1604は、ステップ S 1706で取得したメッシュ 情報を一時格納する。ステップ S1701に戻る。
[0170] (ステップ S 1708)入力受付部 1601は、ステップ S 1701で受け付けた入力が形状 変更指示であるか否かを判断する。形状変更指示であればステップ S 1709に行き、 形状変更指示でなければステップ S1711に行く。
[0171] (ステップ S1709)三次元領域マスク形状変更部 1602は、一時格納されているメッ シュ情報の形状を変更し、変更したメッシュ情報を出力する。
[0172] (ステップ S1710)三次元領域マスク形状変更部 1602は、ステップ S1709で形状 を変更したメッシュ情報を一時格納する。ステップ S1701に戻る。
[0173] (ステップ S 1711)入力受付部 1601は、ステップ S 1701で受け付けた入力が位置 変更指示であるか否かを判断する。位置変更指示であればステップ S1712に行き、 位置変更指示でなければステップ S1714に行く。
[0174] (ステップ S1712)三次元領域マスク位置変更部 1603は、一時格納されているメッ シュ情報の位置を変更し、メッシュ情報を出力する。この位置は、三次元空間での位 置である。
[0175] (ステップ S1713)三次元領域マスク位置変更部 1603は、ステップ S1712で位置 を変更したメッシュ情報を一時格納する。ステップ S1701に戻る。
[0176] (ステップ S 1714)入力受付部 1601は、ステップ S 1701で受け付けた入力が弾性 情報であるか否かを判断する。弾性情報であればステップ S1715に行き、弾性情報 でなければステップ S 1701に戻る。
[0177] (ステップ S1715)弾性情報設定部 1605は、ステップ S1701で受け付けた弹性情 報を、所定の点の弾性情報として設定する。かかる弾性情報の設定処理について、 図 18のフローチャートを用いて詳細に説明する。
[0178] なお、図 17のフローチャートにおいて、電源オフや処理終了の割り込みにより処理 は終了する。
[0179] 次に、ステップ S1715の弾性情報の設定処理について図 18のフローチャートを用 いて説明する。
[0180] (ステップ S1801)弾性情報設定部 1605は、カウンタ iに 1を代入する。
[0181] (ステップ S1802)弾性情報設定部 1605は、 i番目のスライス情報 (未処理のスライ ス情報）が、第一スライス情報群の中に存在するカゝ否かを判断する。 i番目のスライス 情報が存在すればステップ S1803に行き、 i番目のスライス情報が存在しなければ上 位関数にリターンする。 [0182] (ステップ S1803)弾性情報設定部 1605は、カウンタ jに 1を代入する。
[0183] (ステップ S1804)弾性情報設定部 1605は、 i番目のスライス情報の中の j番目の点
(未処理の点）が存在するか否かを判断する。 j番目の点が存在すればステップ S30 5に行き、 j番目の点が存在しなければステップ S313に飛ぶ。なお、「未処理」とは、 弾性情報の設定をするか否かの判断をして 、な 、ことを言う。
[0184] (ステップ S1805)弾性情報設定部 1605は、 i番目のスライス情報の中の j番目の点 の位置情報 (X, y, z)を取得する。
[0185] (ステップ S1806)弾性情報設定部 1605は、 j番目の点が、内側領域の点であるか 、外側領域の点であるか、を判断する。かかる処理は、例えば、以下のように行う。つ まり、弾性情報設定部 1605は、三次元空間の中で、 i番目のスライス情報と、第一メ ッシュ情報との交点を全て算出する（かかる処理は、公知の処理である)。弾性情報 設定部 1605は、力かる交点が全く存在しなければ、 i番目のスライス情報のすべての 点は、外側領域の点である、と判断する。また、弾性情報設定部 1605は、交点が 1 つだけ存在すれば、その 1点のみ内側領域の点で、他の点は外側領域の点である、 と判断する。交点が複数存在する場合、複数の交点は、閉じた平面を構成している。 弾性情報設定部 1605は、 j番目の点力 力かる閉じた平面内の点である場合は、当 該点は内側領域の点で、 j番目の点が、他の点である場合は外側領域の点である、と 判断する。なお、閉じた平面の境界を構成する全点が与えられた場合に、任意の点 j 力 当該平面内の点であるか否かを判断する処理は、公知の処理であるので、詳細 な説明は省略する。
[0186] (ステップ S1807)弾性情報設定部 1605は、ステップ S 1806の判断結果が、内側 領域の点であるとの判断結果の場合はステップ S1808に行き、外側領域の点である との判断結果の場合はステップ S 1809にいく。
[0187] (ステップ S1808)弾性情報設定部 1605は、受け付けた弾性情報を、 j番目の点の 弾性情報として設定する。
[0188] (ステップ S1809)弾性情報設定部 1605は、カウンタ jを 1、インクリメントする。ステ ップ S 1804に行く。
[0189] (ステップ S1810)弾性情報設定部 1605は、カウンタ iを 1、インクリメントする。ステ ップ S 1802に行く。
[0190] 以下、本実施の形態における情報処理装置の具体的な動作について説明する。
[0191] 本情報処理装置において、出力対象の三次元物体は、例えば、人間の胴体である
[0192] そして、物体情報格納部 103は、図 6に示すような構造を有する 3Dボタセル情報を 格納している、とする。また、第一メッシュ情報格納部 104は、例えば、図 7に示すよう な構造を有する第一メッシュ情報を格納して 、る、とする。
[0193] また、スライス情報群取得部 105は、図 8に示すように、視線ベクトルに対して垂直 となり、所定の間隔で、複数のスライス情報であるスライス情報群を、 3Dボタセル情報 から取得する。
[0194] そして、スライス情報群取得部 105は、取得したスライス情報群を、少なくとも一時 的に、スライス情報群格納部 106に格納する。
[0195] 次に、スライス情報群出力部 107は、スライス情報群格納部 106のスライス情報群 を表示する。かかる表示例が、図 19である。図 19は、スライス情報群取得部 105が 三次元領域マスクを用いて、図 6の 3Dボタセル情報力 複数のスライス情報を切り出 し、各スライス情報の各点に、対応する 3Dボタセル情報中の点の色情報を取得し、 出力する対象の色情報付きの複数のスライス情報を構成し、スライス情報群出力部 1 07力 当該複数のスライス情報を表示した例である。 3Dボタセル情報力も複数のス ライス情報を切り出す方法は、図 5の四面体から、図 9の複数のスライス情報を切り出 す方法と同様である。 3Dボタセル情報力 複数のスライス情報を切り出す技術は、公 知技術であるので、詳細な説明は省略する。
[0196] 次に、ユーザは、球形状の三次元マスクの生成指示の入力を行った、とする。次に 、入力受付部 1601は、生成指示を受け付ける。そして、メッシュ情報取得部 1604は 、球形状の三次元マスクを構成するメッシュ情報（予め格納している）を読み出す。球 形状のメッシュ情報は、球の表面の一部の点の集合力もなる情報である。そして、メッ シュ情報取得部 1604は、取得したメッシュ情報を一時格納する。そして、メッシュ情 報は、表示される（図 20参照)。メッシュ情報は、胴体の正面の球形状のものである。
[0197] そして、ユーザは、マウス等の入力手段により、表示されているメッシュ情報の位置 を変更したり、形状を変更したりする指示 (形状変化指示、位置変化指示)を入力す る。かかる指示は、マウスのドラッグ等の操作により行われる。そして、三次元領域マ スク位置変更部 1603は、一時格納されているメッシュ情報の位置を変更し、また、三 次元領域マスク形状変更部 1602は、一時格納されているメッシュ情報の形状を変更 する。その結果、図 20のメッシュ情報は、図 21に示すように変更された、とする。なお 、ユーザの指示 (マウス等力 の指示）により、立体のメッシュ情報の形状や位置を変 更する処理は、公知技術である。
[0198] 次に、ユーザは、弾性情報を入力するメニューを表示する指示を入力する、とする。
すると、情報処理装置は、弾性情報を入力するメニューを表示する。そして、ユーザ は、例えば、「53」という弾性情報 (弾性率)を入力する、とする。そして、図示しない「 決定」ボタンを押下すると、弾性情報設定部 1605は、メッシュ情報で構成される三次 元領域マスクの内側領域のドットの弾性情報を「53」に設定する。つまり、メッシュ情 報で構成される三次元領域マスクの内側領域のドットは、「(x, y, z, col, 53)」となる 。 （x, y, z, col)は、それぞれ異なり得る。
[0199] 以上、本実施の形態によれば、三次元物体を構成する一部の三次元領域に、弾性 情報を容易に設定できる。つまり、本実施の形態によれば、例えば、臓器毎や、同様 の硬さを有する三次元物体の所定箇所の弾性情報を一度に設定できる。
[0200] なお、本実施の形態によれば、弾性情報を入力するためのインターフェイスは問わ ないことは言うまでもない。図 22において、数値を入力したが、ノ ーをスライドすること により、弾性情報を入力するなどしても良い。
[0201] さらに、本実施の形態における情報処理装置を実現するソフトウェアは、以下のよう なプログラムである。つまり、このプログラムは、コンピュータに、三次元の物体のボリ ユームテクスチャである 3Dボタセル情報を複数の平面で切り出した結果の二次元の 画像データに基づいて構成される情報であるスライス情報であり、位置を示す情報で ある位置情報と弾性についての情報である弾性情報を有する複数の点の情報から 構成されるスライス情報を、複数有するスライス情報群を出力するスライス情報群出 力ステップと、三次元幾何形状を有する三次元領域マスクについての入力、および 弾性にっ 、ての情報である弾性情報にっ 、ての入力を受け付ける入力受付ステツ プと、前記三次元領域マスクを構成する三次元メッシュの情報であるメッシュ情報を 取得するメッシュ情報取得ステップと、前記メッシュ情報に基づいて、前記スライス情 報群の各スライス情報に対して、前記メッシュ情報の内側の領域である内側領域の 各点に対して、前記入力受付部が受け付けた入力に基づく弾性情報を設定する弾 性情報設定ステップを実行させるためのプログラム、である。
(実施の形態 3)
[0202] 本実施の形態において、手術で用いる道具である術具のメタファである術具メタフ ァを用いて、変形する領域を指定し、三次元の物体の変形をシミュレーションする情 報処理装置について説明する。本情報処理装置は、例えば、手術計画支援を行うこ とがでさる。
[0203] 図 23は、本実施の形態における情報処理装置のブロック図である。
[0204] 本情報処理装置は、入出力機器 101、指示受付部 102、物体情報格納部 103、第 一メッシュ情報格納部 104、スライス情報群取得部 105、スライス情報群格納部 106 、スライス情報群出力部 107、第二メッシュ情報取得部 2308、第一スライス情報群取 得部 109、色情報決定部 110、第二スライス情報群取得部 111、変形物体出力部 1 12、位置情報取得部 113、弾性情報取得部 114、弾性情報出力部 115を具備する 。色情報決定部 110は、対応点決定手段 1101、色情報決定手段 1102、術具メタフ ァ格納部 2301、術具メタファ出力部 2302を具備する。
[0205] また、第二メッシュ情報取得部 2308は、操作ノード決定手段 23081、変位決定手 段 23082、第二メッシュ情報取得手段 23081を具備する。
[0206] 術具メタファ格納部 2301は、術具のメタファである術具メタファを格納している。術 具メタファは、はさみやピンセットなどのビットマップデータや、グラフデータである。術 具メタファは、術具の形状を有することが好適であるが、直方体や球などの図形でも 良い。術具メタファ格納部 2301は、ハードディスクや ROM等の不揮発性の記録媒 体が好適である力 RAM等の揮発性の記録媒体でも実現可能である。
[0207] 術具メタファ出力部 2302は、術具メタファ格納部 2301から術具メタファを読み出し 、術具メタファを出力する。ここでの出力とは、ディスプレイへの表示や外部の装置（ 表示装置)への送信である。術具メタファ出力部 2302は、ディスプレイ等の出力デバ イスを含むと考えても含まないと考えても良い。術具メタファ出力部 2302は、出力デ バイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で 実現され得る。
[0208] また、ここでの指示受付部 102は、出力されているスライス情報群の所定の領域に 対する指示を受け付ける。また、この指示は、例えば、領域の回転または Zおよび平 行移動の指示である。さらに、この指示は、術具メタファの移動や操作についての指 示であることは好適である。
[0209] 第二メッシュ情報取得部 2308は、指示受付部 102が受け付けた領域を指定し、変 形する指示 (つまんだり、ひねったりする指示）に従って、第一メッシュ情報格納部 10 4の第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得す る。さらに具体的には、指示受付部 102が受け付けた領域を指定し、変形する指示 により、複数の点 (後述する操作ノード)の変位の情報が第二メッシュ情報取得部 23 08に与えられ、当該複数の点の変位の情報から、変位可能な点 (後述する自由ノー ド)の変位を算出し、変形した形状を構成する第二メッシュ情報を取得する。かかる複 数の点の変位の情報から、変位可能な点 (後述する自由ノード)の変位を算出する処 理は、通常、有限要素法による処理であり、公知技術による処理であるので、詳細な 説明は省略する。
[0210] 操作ノード決定手段 23081は、指示受付部 102が受け付けた指示（出力されてい るスライス情報群の所定の領域に対する指示）に対応して、操作ノードを決定する。 操作ノードとは、面操作 (複数の点を有する領域に対する操作)を表現する際に、強 制変位を加えるノード (点）である。
[0211] 以下、操作ノード決定手段 23081の具体的な操作ノードの決定アルゴリズムの例 について説明する。今、指示受付部 102が受け付けた指示が、術具メタファを用いた 領域の指示である、とする。ここで、術具メタファを、仮に、図 24に示すように直方体 である、とする。また、術具メタファは、「manipulator」とも言い、 4点の集合である四 面体メッシュで構成されている、とする。図 24は、臓器の形状を有する三次元の物体 に対して、術具メタファ（図 24における直方体の図形)を操作し、変形を行うことの概 念を示す図である。 [0212] かかる場合、操作ノード決定手段 23081は、例えば、以下の条件により、操作ノー ドを決定する。操作ノード決定手段 23081は、術具メタファを三次元の物体 (例えば 、臓器の形状を有する臓器オブジェクト）の指定した領域に重ね、三次元の物体の重 なっている部分の表面の点群を操作ノードとする。操作ノードの判定は、術具メタファ を構成している各四面体において、三次元の物体の各ノードを調べることにより行う。 さらに具体的には、例えば、操作ノード決定手段 23081は、図 25の術具メタファの四 面体メッシュの各頂点（o, a, b, c)と、重心（P)との関係は、数式 1である。また、操作 ノード決定手段 23081は、数式 2により、 s, t, uを算出する。次に、操作ノード決定 手段 23081は、三次元の物体を構成する四面体メッシュのすべての点を検査し、あ る点が、数式 3の論理式を満たせば (真であれば）、当該点は、操作ノードである。あ る点が数式 3の論理式を満たさなければ (偽であれば）、当該点は、操作ノードではな い。
[数 1] p = sa + tb + uc
[数 2]
Figure imgf000041_0002
[数 3]
Figure imgf000041_0001
(o < t < ι)Π (o < u < l)
[0213] 操作ノード決定手段 23081の処理の概念を図 26に示す。図 26において、丸の点 は自由ノード、バッの点は操作ノード、三角の点は固定ノードである。なお、固定ノー ドの情報は、通常、情報処理装置が予め保持している。
[0214] 変位決定手段 23082は、指示に対応して、操作ノードの変位を決定する。例えば、 変位決定手段 23082は、以下のように、操作ノードの変位を決定する。操作ノードの 変位の概念を、図 27に示す。ユーザは、術具メタファを用いて、臓器オブジェクトを つまむ操作をした、とする。次に、指示受付部 102は、「つまむ」の指示を受け付ける 。そして、変位決定手段 23082は、操作ノード（図 27 (a)のバッの点）の変位を、以 下の数式 4により算出する。数式 4は、点 Pが点 P'に変位する場合の式である。数式 4 における行列 Mは、数式 5で示される。なお、 Mは回転行列である。数式 4における 行列 Tは、数式 6で示される。なお、 Tは平行移動を示す行列である。変位決定手段 23082は、操作ノードの要素行列 Pに回転行列 Mと平行移動行列 Tを乗算すること により、移動後のノード P'を算出する。
画
P' = MTP
[数 5]
c。so
Figure imgf000042_0001
[数 6]
Figure imgf000042_0002
[数 7]
Figure imgf000042_0003
[0215] 上記において、 αは回転量を表す。また、 Τと Μは Δ χ, Δγ, Δ ζの値で決まり、こ れらの値を入力値として受け付ける。入力値は、通常、指示受付部 102が受け付ける 値である。また、 Δ χ, Δγ, Δ ζは、それぞれ、 χ方向、 y方向、 ζ方向の変位を示す。 さらに、 Δ χ, Δγ, Δ ζは、例えば、定期的に、次々と入力され、変位決定手段 2308 2は、ユーザの入力（つまみやひっぱりなどの操作）に応じて、連続的に変位後の操 作ノード P'を、次々と更新していく。
[0216] なお、変位決定手段 23082は、上記の数式 4力も数式 7の情報を格納しており、当 該数式の情報を読み出し、取得した情報を読み出した数式に代入して、変位後の操 作ノード P'を取得する。ここで、取得した情報とは、 Δ χ, Δγ, Δ ζなどの情報である。 J
[0217] 第二メッシュ情報取得手段 23081は、変位決定手段 23082が取得した変位後の 複数の操作ノードに応じて自由ノードを変位させ、かつ、固定ノードを変位させないこ とにより、第二メッシュ情報を取得する。力かる第二メッシュ情報取得手段 23081の 処理の概念は、図 27 (b)から (c)である。力かる演算処理は、有限要素法により行う。 なお、固定ノードを識別する情報は、例えば、予め保持している、とする。
[0218] 次に、情報処理装置の動作について図 28から図 31のフローチャートを用いて説明 する。図 28において、図 2と同じ動作を行うステップについての説明は省略する。
[0219] (ステップ S2801)指示受付部 102は、ステップ S201で受け付けた指示力 領域の 指示であるか否かを判断する。領域の指示であればステップ S2802に行き、領域の 指示でなければステップ S201に戻る。なお、領域の指示は、術具メタファを用いて 行われることが好適である。
[0220] (ステップ S2802)位置情報取得部 113は、ステップ S201で受け付けた指示に対 応する領域を構成する点の、 2以上の位置情報を取得する。
[0221] (ステップ S2803)弾性情報取得部 114は、位置情報取得部 113が取得した 2以上 の位置情報と対になる 2以上の弾性情報を、スライス情報群格納部 106の各スライス 情報、または物体情報格納部 103の 3Dボタセル情報力 取得する。まず、弾性情報 取得部 114は、 2以上の位置情報を有する点を、各スライス情報または 3Dボタセル 情報から検索する。次に、弾性情報取得部 114は、検索により得た 2以上の点の各弾 性情報を取得する。
[0222] (ステップ S2804)弾性情報出力部 115は、弾性情報取得部 114が取得した 2以上 の弾性情報力も出力する弾性情報を演算して、算出する。弾性情報出力部 115が取 得する弾性情報と、出力する弾性情報が異なる情報でも良い。例えば、取得する弾 性情報が弾性率であり、出力する弾性情報が力であっても良い。また、弾性情報は、 例えば、弾性率である。弾性率は、ヤング率でも、体積弾性率でも、剛性率でも、ポ ァソン比でも良い。この場合、弾性情報出力部 115は、 2以上の弾性情報の平均値 を算出し、出力する弾性情報としても良い。また、例えば、弾性情報出力部 115は、 2 以上の弾性情報の最大値を出力する弾性情報としても良い。その他、弾性情報出力 部 115は、 2以上の弾性情報 (e , e · · ·、 e )をパラメータに用いた所定の関数 f (f (e
1 2 n
, e · · ·、 e；) )により、出力する弾性情報を算出しても良い。
1 2 n
[0223] (ステップ S2805)変形物体出力部 112は、変形されたスライス情報群（三次元物 体)を出力する。力かる処理を変形処理と言い、図 29のフローチャートを用いて説明 する。三次元物体の変形処理は、ステップ S201における指示に対応する。ステップ S 204に行く。
[0224] なお、図 28のフローチャートにおいて、ステップ S2805の変形処理は、ステップ S2
802の処理の前に行っても良い。
[0225] 次に、情報処理装置の変形処理について図 29から図 31、および図 4のフローチヤ ートを用いて説明する。図 29のフローチャートにおいて、図 3のフローチャートと同一 の動作については説明を省略する。
[0226] (ステップ S2901)第二メッシュ情報取得部 2308は、第一メッシュ情報格納部 104 力 第一メッシュ情報を読み出す。
[0227] (ステップ S2902)操作ノード決定手段 23081は、操作ノードを決定する。操作ノー ドを決定する処理にっ 、て、図 30のフローチャートを用いて説明する。
[0228] (ステップ S2903)変位決定手段 23082は、受け付けた指示に対応して、ステップ
S 2902で決定した 2以上の操作ノードの変位を決定する。操作ノードの変位を決定 する処理につ!、て、図 31のフローチャートを用いて説明する。
[0229] (ステップ S2904)第二メッシュ情報取得手段 23081は、予め保持している固定ノ ードを識別する情報を読み出し、操作ノードおよび固定ノード以外のノードを自由ノ ードと決定し、自由ノードを識別する情報を、一時的にメモリに記憶する。
[0230] (ステップ S2905)第二メッシュ情報取得手段 23081は、変位決定手段 23082が 取得した変位後の複数の操作ノードに応じて自由ノードを変位させることにより、第二 メッシュ情報を取得する。なお、周りの複数のノードの変位の情報 (ステップ S2903で 取得した操作ノードの変位の情報)を用いて、有限要素法により、 自由ノードの変位 を算出する。かかる処理は、有限要素法の公知の処理であるので、詳細な説明を省 略する。ステップ S303に行く。 [0231] 次に、情報処理装置の操作ノード決定処理について図 30のフローチャートを用い て説明する。
[0232] (ステップ S3001)操作ノード決定手段 23081は、術具メタファを構成している四面 体のすべてのノード（点） Pの座標値 (p , p , p )、頂点 a, b, cの座標値を読み出す。
[0233] (ステップ S3002)操作ノード決定手段 23081は、格納されている数式 2、数式 3の 情報を読み出す。
[0234] (ステップ S3003)操作ノード決定手段 23081は、カウンタ iに 1を代入する。
[0235] (ステップ S3004)操作ノード決定手段 23081は、 i番目の四面体が存在するか否 かを判断する。 i番目の四面体が存在すればステップ S3005に行き、 i番目の四面体 が存在しなければ上位関数にリターンする。
[0236] (ステップ S3005)操作ノード決定手段 23081は、 i番目の四面体のノード（点） P、 頂点 a, b, cの座標値を取得する。
[0237] (ステップ S3006)操作ノード決定手段 23081は、読み出した数式 2に、ステップ S
3005で取得した P, a, b, cの座標値を代入し、 s, t, uを得る。
[0238] (ステップ S3007)操作ノード決定手段 23081は、読み出した数式 3に、ステップ S
3006で取得した s, t, uを代入する。
[0239] (ステップ S3008)操作ノード決定手段 23081は、ステップ S3007における演算結 果が真であるか偽であるかを判断する。真であればステップ S3009に行き、偽であ ればステップ S3010に行く。
[0240] (ステップ S3009)操作ノード決定手段 23081は、 i番目の四面体のノード（点） P、 頂点 a, b, cの座標値を、メモリ上に記録する。かかる処理は、 i番目の四面体のノー ドを操作ノードとして登録する処理の一例である。
[0241] (ステップ S3010)操作ノード決定手段 23081は、カウンタ iを 1、インクリメントする。
ステップ S3004に戻る。
[0242] 次に、情報処理装置の操作ノード変位処理について図 31のフローチャートを用い て説明する。
[0243] (ステップ S3101)変位決定手段 23082は、格納されている数式 4力も数式 7の情 報を読み出す。 [0244] (ステップ S3102)変位決定手段 23082は、術具メタファによる操作の結果である
Δ χ, Δ γ, Δ ζを取得する。
[0245] (ステップ S3103)変位決定手段 23082は、カウンタ iに 1を代入する。
[0246] (ステップ S3104)変位決定手段 23082は、 i番目の操作ノードが存在するか否か を判断する。 i番目の操作ノードが存在すればステップ S3105に行き、 i番目の操作ノ ードが存在しなければ上位関数にリターンする。
[0247] (ステップ S3105)変位決定手段 23082は、 i番目の操作ノードの p (x, y, z)を取 得する。
[0248] (ステップ S3106)変位決定手段 23082は、数式 5, 6, 7、ステップ S3102で取得 した Δ χ, Δ γ, Δ ζを用いて、 Μ, Τ, αを算出し、メモリ上に一時記憶する。
[0249] (ステップ S3107)変位決定手段 23082は、数式 4に、 Μ, Τ, aを代入し、 Ρ' (Ρ' ( X, y, z)を算出し、メモリ上に一時記憶する。
[0250] (ステップ S3108)変位決定手段 23082は、カウンタ iを 1、インクリメントする。ステツ プ S3104に戻る。
[0251] 以下、本実施の形態における情報処理装置の具体的な動作、実験の結果につい て説明する。本情報処理装置において、例えば、三次元物体は、肝臓などの臓器で ある。ここで、物体情報格納部 103は、 256 X 256 X 256の胴体の CTデータを保持 している。また、術具メタファ格納部 2301は、直方体の四面体メッシュである操作ォ ブジェクト (術具メタファ）を格納している。また、第一メッシュ情報格納部 104は、臓 器オブジェクトとして肝臓型の四面体メッシュの情報を格納して ヽる。臓器オブジェク トのメッシュは、胴体の CTデータから干臓領域を抽出し， Mercury Computer System s社の Amira3.1を用いてメッシュを作成されたものである。作成した臓器オブジェクト のノード数は 787、要素数（四面体数） 2999である。また、ヤング率 1. 0、ポヮソン比 は 0. 4とした。
[0252] また、第二メッシュ情報取得手段 23081が行う変形計算は、非特許文献 8で用いら れている式に基づいた。また、変形後に各要素の描画を行うことでシミュレーション画 像を生成するは、力かる描画のアルゴリズムは、非特許文献 9で用いられている方法 を用いた。 [0253] また、本具体例において、ユーザが使用する入力手段は、マウス、キーボード、画 面上の GUIの組み合わせである。
[0254] ここで、ユーザは、上記の入力手段を用いて、術具メタファを移動させ、臓器をつま み、かつ回転をカ卩える。ここで、座標系は、ボリューム像の体軸方向を z軸とし、右手 系で構成した。また、入力インターフェイスとしては、右ドラックで術具メタファの平行 移動と操作ノードの平行移動を行い、左ドラックで回転量と回転軸の方向を決める。 また、回転中心は、術具メタファの中心とする。またキーボードで操作領域の決定を 行う。さらに、つまみ操作を行う際の変位量は GUI上のスライダーバー（図示しない） を用いる、こととした。
[0255] かかる状況にお!、て、以下のように変形処理が行われる。まず、第二メッシュ情報 取得部 2308は、第一メッシュ情報格納部 104から第一メッシュ情報を読み出す。そ して、操作ノード決定手段 23081は、操作ノードを決定する。操作ノードを決定する ために、操作ノード決定手段 23081は、上述の数式 2, 3を用いる。
[0256] 図 32 (a)は、臓器オブジェクトに操作領域の指定を行って 、る様子である。操作ノ ード決定手段 23081は、操作オブジェクトと臓器オブジェクトが重なった領域にある 点を操作ノードと決定する。図 32 (a)において、この操作ノードを灰色の比較的大き な点（例えば、 3201)で表している。また、他の点は固定ノード、または自由ノードで ある。固定ノードの情報は予め格納されている、とする。なお、図 32 (b)は、操作ノー ドに変位をカ卩えてないときの肝臓のボリューム像である。
[0257] 次に、ユーザは、 GUI上のスライダーバーを用いて、つまみ操作を行った。次に、 変位決定手段 23082は、上述した処理により、操作ノードの変位を決定する。そして 、第二メッシュ情報取得手段 23081は、変位決定手段 23082が取得した変位後の 複数の操作ノードに応じて自由ノードを変位させることにより、第二メッシュ情報を取 得する。次に、第一スライス情報群取得部 109は、取得した第二メッシュ情報に基づ いて、複数のスライス情報である第一スライス情報群を取得する。そして、次に、第二 スライス情報群取得部 111は、上述した処理により、第二スライス情報群を取得する。 そして、変形物体出力部 112は、取得した第二スライス情報群を出力する。
[0258] 以上のような処理により、図 33 (a) (b)に示すような、つまむような表現を行ったとき の肝臓のボリューム像が表示される。図 33 (a)は、変位量が小さい場合であり、操作 ノードの数は 18ある。また、図 33 (b)は、変位量が大きい場合であり、操作ノードの数 は 31である。図 33 (a) (b)とも、つまんだような表現ができている。
[0259] 次に、ユーザは、マウスの左ドラックにより、回転量と回転軸の方向を入力した、とす る。次に、次に、変位決定手段 23082は、上述した処理により、操作ノードの変位を 決定する。そして、第二メッシュ情報取得手段 23081は、変位決定手段 23082が取 得した変位後の複数の操作ノードに応じて自由ノードを変位させることにより、第二メ ッシュ情報を取得する。次に、第一スライス情報群取得部 109は、取得した第二メッ シュ情報に基づいて、複数のスライス情報である第一スライス情報群を取得する。そ して、次に、第二スライス情報群取得部 111は、上述した処理により、第二スライス情 報群を取得する。そして、変形物体出力部 112は、取得した第二スライス情報群を出 力する。
[0260] 以上のような処理により、図 34 (a) (b)に示すような、回転操作を行ったときの肝臓 のボリューム像が表示される。図 34 (a)は、回転量が小さぐ（b)は回転量が大きいと きを表している。回転中心は（40, 80, 100)で、回転軸は X軸に平行である。この操 作によって初期状態ではみえていな力つた血管構造が見えるようになったことが、図 34 (b)の出力により分かる。
[0261] なお、上記実験において、操作中のリフレッシュレートは 8Hzであった。
[0262] 以上、本実施の形態によれば、外科手術計画の支援が可能となる。具体的には、 例えば、内視鏡下手術時に想定される、術具による臓器の変形をシミュレートし、ボリ ユーム像上に描出する術前ボリューム手術シミュレーションが可能となる。さらに、本 実施の形態によれば、術具と臓器という三次元のオブジェクト同士のインタラクション を記述し、対話的に操作できる環境を構築できる。
[0263] なお、本実施の形態における実験において、ボリューム像に対する面操作の記述 を行い、肝臓をモデルとしシミュレーション実験を実施した。しかし、モデルは肝臓だ けではなぐ胃や心臓や他の臓器でも良 、ことは言うまでもな 、。
[0264] また、本実施の形態における情報処理装置を実現するソフトウェアは、以下のような プログラムである。つまり、このプログラムは、コンピュータに、 3Dボタセル情報を複数 の平面で切り出した結果の二次元の画像データに基づ 、て構成される情報であるス ライス情報であり、位置を示す情報である位置情報と色についての情報である色情 報を有する複数の点の情報から構成されるスライス情報を、複数有するスライス情報 群と、三次元の物体の三次元メッシュの情報である第一メッシュ情報を格納しており、 前記スライス情報群を出力するスライス情報群出力ステップと、前記出力されている スライス情報群の所定の領域に対する指示を受け付ける指示受付ステップと、前記 指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第二メッ シュ情報を取得する第二メッシュ情報取得ステップと、前記第二メッシュ情報に基づ V、て、色情報を有しな 、複数のスライス情報である第一スライス情報群を取得する第 一スライス情報群取得ステップと、前記第一スライス情報群を構成する複数のスライス 情報の各点であり、前記 3Dボタセル情報の点に対応する各点の色情報を決定する 色情報決定ステップと、前記色情報決定ステップで決定した各点の色情報を用いて 、前記第一スライス情報群取得ステップで取得した第一スライス情報群の各点に新た な色情報を設定し、第二スライス情報群を取得する第二スライス情報群取得ステップ と、前記第二スライス情報群を出力する変形物体出力ステップを実行させるためのプ ログラム、である。
[0265] また、上記プログラムにお 、て、前記第一メッシュ情報は、前記指示受付ステップで 受け付けた指示に対応して変位する点である操作ノードと、当該操作ノードの変位に 対して変位可能な点である自由ノードと、変位しない点である固定ノードを有し、前記 第二メッシュ情報取得ステップにお 、て、前記操作ノードを前記指示に対応して変位 させ、かつ前記操作ノードの変位に応じて前記自由ノードを変位させ、かつ前記固 定ノードを変位させないことにより、第二メッシュ情報を取得する、ことは好適である。
[0266] また、上記プログラムの前記第二メッシュ情報取得ステップにお 、て、前記指示に 対応して、操作ノードを決定する操作ノード決定ステップを具備することは好適である
[0267] また、上記プログラムの前記指示受付ステップで受け付けた指示は、前記領域の回 転または Zおよび平行移動の指示であり、前記第二メッシュ情報取得ステップにお いて、前記指示に対応して、前記操作ノードの変位を決定する変位決定手段を具備 することは好適である。
[0268] また、上記プログラムにおいて、コンピュータに、術具のメタファである術具メタファ を読み出し、出力する術具メタファ出力ステップをさらに実行させ、前記指示受付ス テツプにおいて、前記術具メタファの移動や操作についての指示を受け付け、当該 指示が前記出力されているスライス情報群の所定の領域に対する指示となり得ること は好適である。
[0269] また、上記プログラムにお 、て、コンピュータに、前記指示に対応する領域を構成 する点の、複数の位置情報を取得する位置情報取得ステップと、前記位置情報取得 ステップで取得した複数の位置情報と対になる複数の弾性情報を取得する弾性情報 取得ステップと、前記弾性情報取得ステップで取得した複数の弾性情報を用いて出 力する弾性情報出力ステップをさらに実行させることは好適である。
(実施の形態 4)
[0270] 図 35は、本実施の形態における情報処理装置のブロック図である。
[0271] 情報処理装置は、物体情報格納部 3501、入力受付部 3502、 3次元領域マスク形 状変更部 3503、 3次元領域マスク位置変更部 3504、第一スライス情報群取得部 35 05、第一スライス情報群格納部 3506、第二メッシュ情報取得部 3507、物体出力部 3508を具備する。
[0272] 物体出力部 3508は、第二スライス情報群構成手段 35081、出力手段 35082を具 備する。
[0273] 物体情報格納部 3501は、 3次元の物体のボリュームテクスチャである 3Dボタセル 情報を格納している。 3Dボタセル情報は、例えば、 CTや MRIや PETなどの医用機 器により取得される二次元画像の集合である。 3Dボタセル情報は、例えば、 CTや M RIなどで、人体の脳や、身体の中を撮影した二次元画像の集合である。物体情報格 納部 3501は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可 能である。
[0274] 入力受付部 3502は、第二の 3次元領域マスクである第二 3次元領域マスクについ ての入力を受け付ける。 3次元領域マスクとは、 3Dボタセル情報を切り出すための情 報であり、 3次元幾何形状を有する情報である。第二 3次元領域マスクは、 3次元メッ シュの情報である。この第二 3次元領域マスクを構成する 3次元メッシュの情報を、第 二メッシュ情報という。 3次元メッシュの情報 (第二メッシュ情報など）は、三次元物体 を構成する点の情報の集合である。 3次元メッシュの情報は、間隔が空いている点の 情報の集合である。点の情報は、通常、（X, y, z)という座標情報である。 3Dボクセ ル情報は、例えば、 ， y, z, col)で構成される点の情報である。（X, y, z, col)の（X , y, z)は、座標情報である。「col」は、色情報である。 3Dボタセル情報は、ここでは、 点の間隔がなぐ詰まっている点の情報でることが好適であるが、離散的な点の情報 でも良い。また、第二 3次元領域マスクについての入力とは、例えば、第二 3次元領 域マスクを 3Dボタセル情報中に配置する指示である。また、第二 3次元領域マスクに ついての入力とは、例えば、複数の形状の第二 3次元領域マスクが存在する場合に おいて、形状を選択し、当該形状の第二 3次元領域マスクを 3Dボタセル情報中に配 置する指示である。また、第二 3次元領域マスクについての入力とは、例えば、表示 されている立体画像の輪郭をマウス等の入力手段でなぞって、立体的な第二 3次元 領域マスクを構築する指示である。さらに、第二 3次元領域マスクについての入力と は、例えば、下記の形状変化指示や、位置変化指示などである。ここで、入力受付部 3502は、第二 3次元領域マスクの形状を変化させる指示である形状変化指示をも受 け付けても良い。また、入力受付部 3502は、第二 3次元領域マスクの位置を変化さ せる指示である位置変化指示をも受け付けても良い。なお、本情報処理装置は、第 二 3次元領域マスクの形状や位置を指定できなくても良い。さらに、入力受付部 350 2は、視線方向を示す情報である視線ベクトルの入力を受け付けても良い。視線べク トルは表示ディスプレイに垂直のベクトルであるので、視線ベクトルの入力は、例えば 、表示されている立体画像を回転させたりする指示である。入力手段は、キーボード やマウス（3Dマウスを含む）や PHANToM (ファントム）やメニュー画面によるもの等 、何でも良い。入力受付部 3502は、マウス等の入力手段のデバイスドライバーや、メ ニュー画面の制御ソフトウェア等で実現され得る。
3次元領域マスク形状変更部 3503は、入力受付部 3502が形状変化指示を受け 付けた場合、当該形状変化指示に基づいて、第二 3次元領域マスクの形状を変更す る。 3次元領域マスク形状変更部 3503は、例えば、入力受付部 3502が、入力手段 であるマウスの右ボタンのクリックを受け付ける毎に、第二 3次元領域マスクの大きさ を、重心を変えずに 90%の大きさに縮小する。また、 3次元領域マスク形状変更部 3 503は、例えば、入力受付部 3502が、入力手段であるマウスの左ボタンのクリックを 受け付ける毎に、第二 3次元領域マスクの大きさを、重心を変えずに 110%の大きさ に拡大する。また、 3次元領域マスク形状変更部 3503は、入力受付部 3502が、入 力手段であるマウスのドラッグの信号を受け付け、当該信号に従って、マウスで指示 されて ヽる箇所 (点）の形状を変更する。 3次元領域マスク形状変更部 3503が行う処 理は、 3次元メッシュの情報の変形処理であり、公知の技術であるので詳細な説明は 省略する。 3次元領域マスク形状変更部 3503は、通常、 MPUやメモリ等から実現さ れ得る。 3次元領域マスク形状変更部 3503の処理手順は、通常、ソフトウェアで実現 され、当該ソフトウェアは ROM等の記録媒体に記録されている。但し、ハードウェア（ 専用回路)で実現しても良い。
[0276] 3次元領域マスク位置変更部 3504は、入力受付部 3502が位置変化指示を受け 付けた場合、当該位置変化指示に基づいて、第二 3次元領域マスクの位置を変更す る。「第二 3次元領域マスクの位置を変更する」とは、第一スライス情報群に対する相 対的な位置を変更することである。 3次元領域マスク位置変更部 3504は、例えば、 入力手段が PHANToMである場合、 PHANToMを押し込むと、第一スライス情報 群に対して、第二 3次元領域マスクを奥行きの奥の方向に移動させる処理を行う。 3 次元領域マスク位置変更部 3504が行う処理は、 3次元メッシュの位置の変更処理で あり、公知の技術であるので詳細な説明は省略する。 3次元領域マスク位置変更部 3 504は、通常、 MPUやメモリ等力も実現され得る。 3次元領域マスク位置変更部 350 4の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアは ROM等の記録 媒体に記録されている。但し、ハードウ ア（専用回路)で実現しても良い。
[0277] 第一スライス情報群取得部 3505は、物体情報格納部 3501に格納されている 3D ボタセル情報から、視線 (視線ベクトル）に対して垂直で、かつ間隔が一定の複数の スライス情報を切り出し、第一スライス情報群を取得する。視線とは、例えば、物体出 力部 3508が第一スライス情報群を出力するディスプレイに対して垂直な線（当該デ イスプレイを見る者の視線)である。スライス情報は、平面を構成する点の情報の集合 であり、点間の間隔がなぐ詰まっている。第一スライス情報群取得部 3505は、必ず しも、視線に対して垂直で、かつ間隔が一定の複数のスライス情報を切り出す必要は ない。ただし、複数のスライス情報は、視線ベクトルに対して垂直であることが好適で ある。また、スライス情報間の間隔は一定であることが好適である。スライス情報間の 間隔は、密なほど精度の高い 3次元物体がユーザに提示される。ただし、スライス情 報間の間隔は、密なほど、以下で述べる出力処理に時間がかかる。 3Dボタセル情報 から、平面であるスライス情報を複数切り出す処理は公知技術であるので、詳細な説 明は省略する。第一スライス情報群取得部 3505は、通常、 MPUやメモリ等から実現 され得る。第一スライス情報群取得部 3505の処理手順は、通常、ソフトウェアで実現 され、当該ソフトウェアは ROM等の記録媒体に記録されている。但し、ハードウェア（ 専用回路)で実現しても良い。
[0278] 第一スライス情報群格納部 3506は、第一スライス情報群を格納して 、る。第一スラ イス情報群は、第一 3次元領域マスクを用いて、物体情報格納部 3501の 3Dボクセ ル情報力も切り出された複数のスライス情報である。第一 3次元領域マスクは、 3次元 の物体を切り出す 3次元幾何形状を有する第一の 3次元領域マスクである。第一 3次 元領域マスクの形状や位置は、第二 3次元領域マスクと同様に変更可能であっても 良いし、固定でも良い、変更可能である場合、第一 3次元領域マスクの形状や位置 の変更は、第二 3次元領域マスクと同様、入力受付部 3502がその指示を受け付け、 3次元領域マスク形状変更部 3503、 3次元領域マスク位置変更部 3504が、それぞ れ処理を行う、とする。第一スライス情報群格納部 3506の第一スライス情報群は、第 一スライス情報群取得部 3505が取得した第一スライス情報群である。ただし、第一ス ライス情報群格納部 3506は、予め、第一スライス情報群を格納していても良い。协 る場合、第一スライス情報群取得部 3505は不要となる。第一スライス情報群格納部 3 506は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能で ある。
[0279] 第二メッシュ情報取得部 3507は、第二 3次元領域マスクを構成する 3次元メッシュ の情報である第二メッシュ情報を取得する。第二メッシュ情報は、入力受付部 3502 が受け付けた第二 3次元領域マスクを構成する第二メッシュ情報、そのままであって も良い。また、第二メッシュ情報は、入力受付部 3502が受け付けた第二 3次元領域 マスクを構成する第二メッシュ情報に対して、 3次元領域マスク形状変更部 3503、ま たは Zおよび 3次元領域マスク位置変更部 3504が処理した結果の第二 3次元領域 マスクの第二メッシュ情報であっても良い。例えば、入力受付部 3502が第二 3次元 領域マスクの形状の選択を受け付ける場合、選択され得る形状のメッシュ情報は、第 二メッシュ情報取得部 3507が予め保持している、とする。第二メッシュ情報取得部 3 507は、通常、 MPUやメモリ等力も実現され得る。第二メッシュ情報取得部 3507の 処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアは ROM等の記録媒体 に記録されている。但し、ハードウェア（専用回路)で実現しても良い。
物体出力部 3508は、第一スライス情報群の各スライス情報に対して、第二メッシュ 情報の内側の領域である内側領域と、第二メッシュ情報の外側の領域である外側領 域とを決定し、内側領域と外側領域を視覚的に区別して各スライス情報を構成し、前 記内側領域と前記外側領域を視覚的に区別される第二スライス情報群を取得し、当 該第ニスライス情報群を出力する。なお、第二スライス情報群は、第一スライス情報 群の各スライス情報に対して、内側領域と外側領域を視覚的に区別するように色情 報が補正されたスライス情報の集合である。物体出力部 3508は、通常、まず、第一 スライス情報群を構成する複数のスライス情報の各点であり、物体情報格納部 3501 に格納されて 、る 3Dボタセル情報の点に対応する各点の色情報を、 3Dボタセル情 報から取得する。そして、物体出力部 3508は、 3Dボタセル情報の点の色情報に対 して、当該各点が内側領域の点か、外側領域の点かによって、異なる処理を行い、 複数のスライス情報の各点の色情報を取得し、設定する。その結果、内側領域と外 側領域が視覚的に区別して出力されるようになる。具体的には、例えば、 3次元空間 上に配置されている各スライス情報力 3次元の第二メッシュ情報により切り出される 力 物体出力部 3508は、通常、各スライス情報に対して順番に、次の処理を行う。物 体出力部 3508は、スライス情報が 3次元の第二メッシュ情報により切り出される境界 の点の集合 (点の集合は、閉じた平面を構成する)を算出する。そして、物体出力部 3508は、当該点の集合が作り出す閉平面の中に存在する領域を内側領域と決定し 、閉平面の外の領域を外側領域と決定する。次に、物体出力部 3508は、スライス情 報の内側領域の全点の色情報を決定する。次に、物体出力部 3508は、スライス情 報の外側領域の全点の色情報を決定する。この場合、物体出力部 3508は、内側領 域と外側領域を視覚的に区別できるように、各領域の点の色情報を決定する。
[0281] 物体出力部 3508は、例えば、外側領域の点を透明色にしても良い。かかる場合、 内側領域の点のみ表示されることとなり、ユーザは、第二 3次元領域マスクで囲まれ た領域の 3次元画像のみを見ることができる。また、かかる場合、物体出力部 3508は 、内側領域の点の色情報は、対応する 3Dボタセル情報の点の色情報とする。
[0282] また、物体出力部 3508は、例えば、内側領域の点を透明色にしても良い。かかる 場合、外側領域の点のみ表示されることとなり、ユーザは、第二 3次元領域マスクで 囲まれた領域が切り出された 3次元画像のみを見ることができる。つまり、例えば、ュ 一ザは、手術によって切り出された後の残った身体の部分を確認することができる。 かかる場合、物体出力部 3508は、外側領域の点の色情報は、対応する 3Dボタセル 情報の点の色情報とする。
[0283] また、物体出力部 3508は、例えば、内側領域の点の輝度を、外側領域の点の輝 度より、大きくしても良い。かかる場合、内側領域力 Sフォーカスされて表示される。かか る場合、物体出力部 3508は、まず、全点の色情報を、当該点に対応する（同一の位 置情報を有する） 3Dボタセル情報の点の色情報とし、当該色情報の輝度を補正する 。輝度の補正は、例えば、内側領域の点の輝度を 30%アップし、外側領域の点の輝 度を 30%ダウンする処理である。力かる輝度の補正処理は、公知技術であるので詳 細な説明は省略する。ここで、出力とは、ディスプレイへの表示、プリンタへの印字、 外部の装置 (表示装置を有する装置など)への送信、記録媒体への蓄積等を含む概 念である。物体出力部 3508は、ディスプレイやスピーカ一等の出力デバイスを含む と考えても含まないと考えても良い。物体出力部 3508は、出力デバイスのドライバー ソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
[0284] 第二スライス情報群構成手段 35081は、内側領域と外側領域を視覚的に区別でき るように、各領域の点の色情報を決定し、第二スライス情報群を構成する。第ニスライ ス情報群構成手段 35081は、通常、内側領域の点と同一の位置情報を有する 3Dボ クセル情報の点を検索し、当該点の色情報を取得する。次に、第二スライス情報群構 成手段 35081は、内側領域の点の色情報、または Zおよび外側領域の点の色情報 を加工し、内側領域と外側領域を視覚的に区別できるように、各領域の点の色を決 定する。そして、第二スライス情報群構成手段 35081は、決定した色情報を各点の 色情報とし、第二スライス情報群を得る。なお、加工とは、例えば、以下で述べる透明 化や、輝度を変更する処理などである。
[0285] 具体的には、例えば、第二スライス情報群構成手段 35081は、第一スライス情報群 の各スライス情報の外側領域の点を透明色にし、第二スライス情報群を構成する。か 力る場合、第二スライス情報群構成手段 35081は、例えば、内側領域の点と同一の 位置情報を有する 3Dボタセル情報の点を検索し、当該検索した点の色情報を、当 該内側領域の点の色情報とする。
[0286] また、例えば、第二スライス情報群構成手段 35081は、第一スライス情報群の各ス ライス情報の内側領域の点の色と、第一スライス情報群の各スライス情報の外側領域 の点の色とを異なる色調にし、第二スライス情報群を構成する。
[0287] また、例えば、第二スライス情報群構成手段 35081は、第一スライス情報群の各ス ライス情報の内側領域の点の輝度を、第一スライス情報群の各スライス情報の外側 領域の点の輝度より大きくし、第二スライス情報群を構成する。かかる場合、通常、第 ニスライス情報群構成手段 35081は、各点の輝度以外の色情報は、 3Dボタセル情 報の対応する点の色情報から得る。
[0288] また、例えば、第二スライス情報群構成手段 35081は、第一スライス情報群の各ス ライス情報の内側領域の点を透明色にし、第二スライス情報群を構成する。かかる場 合、第二スライス情報群構成手段 35081は、例えば、外側領域の点と同一の位置情 報を有する 3Dボタセル情報の点を検索し、当該検索した点の色情報を、当該外側 領域の点の色情報とする。
[0289] 第二スライス情報群構成手段 35081は、通常、 MPUやメモリ等力も実現され得る。
第二スライス情報群構成手段 35081の処理手順は、通常、ソフトウェアで実現され、 当該ソフトウェアは ROM等の記録媒体に記録されている。但し、ハードウ ア（専用 回路)で実現しても良い。
[0290] 出力手段 35082は、第二スライス情報群構成手段 35081が構成した第二スライス 情報群を出力する。出力とは、ディスプレイへの表示、プリンタへの印字、外部の装 置への送信等を含む概念である。出力手段 35082は、ディスプレイ等の出力デバィ スを含むと考えても含まないと考えても良い。出力手段 35082は、出力デバイスのド ライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得 る。
[0291] 次に、情報処理装置の動作について図 36のフローチャートを用いて説明する。
[0292] (ステップ S3601)入力受付部 3502は、入力を受け付けた力否かを判断する。入 力を受け付ければステップ S3602に行き、入力を受け付けなければステップ S3601 に戻る。
[0293] (ステップ S3602)入力受付部 3502は、ステップ S3601で受け付けた入力が出力 の開始指示である力否かを判断する。開始指示であればステップ S3603に行き、開 始指示でなければステップ S3607に行く。なお、出力の開始指示とは、例えば、情 報処理装置の起動の指示である。
[0294] (ステップ S3603)第一スライス情報群取得部 3505は、視線ベクトルを取得する。
例えば、視線ベクトルは、情報処理装置に予め格納されている。視線ベクトルは、 3D ボタセル情報が構成する三次元の物体の正面に対して垂直のベクトルである。なお、 視線ベクトルは、ユーザからの指示で変化しても良い。ユーザの指示は、例えば、入 力受付部 3502が受け付ける。出力される三次元の物体を回転させることにより、視 線ベクトルが変化する。
[0295] (ステップ S3604)第一スライス情報群取得部 3505は、物体情報格納部 3501に 格納されている 3Dボタセル情報を読み出し、当該 3Dボタセル情報から、ステップ S3 603で取得した視線ベクトルに対して垂直で、かつ間隔が一定の複数のスライス情 報を切り出し、第一スライス情報群を取得する。スライス情報を切り出す間隔について の情報は、第一スライス情報群取得部 3505が予め格納している、とする。第一スライ ス情報群取得部 3505は、例えば、予め格納している第一 3次元領域マスクを用いて 、物体情報格納部 3501の 3Dボタセル情報力も複数のスライス情報を切り出す。な お、 3Dボタセル情報から、所定の間隔で、複数のスライス情報を切り出す処理は公 知技術による処理であるので詳細な説明を省略する。 [0296] (ステップ S3605)第一スライス情報群取得部 3505は、ステップ S3604で取得した 第一スライス情報群を、第一スライス情報群格納部 3506に一時的に蓄積する。
[0297] (ステップ S3606)物体出力部 3508は、ステップ S 3604で取得した第一スライス情 報群を出力する。力かる出力により、ユーザは、 3次元の物体を視認できる。ステップ S3601に戻る。
[0298] (ステップ S3607)入力受付部 3502は、ステップ S3601で受け付けた入力力 第 二 3次元マスクにつ!、ての入力であるか否かを判断する。第二 3次元マスクにつ!、て の入力であればステップ S3608に行き、第二 3次元マスクについての入力でなけれ ばステップ S3612に行く。
[0299] (ステップ S3608)第二メッシュ情報取得部 3507は、入力に対応する第二 3次元マ スクを構成する 3次元メッシュの情報である第二メッシュ情報を取得する。
[0300] (ステップ S3609)第二スライス情報群構成手段 35081は、第二メッシュ情報の位 置を取得する。ここで取得する第二メッシュ情報の位置は、デフォルトの位置である。 なお、デフォルトの位置についての情報は、例えば、予め格納されている。なお、この 位置の情報は、入力受付部 3502が受け付けても良い。
[0301] (ステップ S3610)第二スライス情報群構成手段 35081は、ステップ S3609までに 取得した第二メッシュ情報を用いて、第二スライス情報群を取得する。第二スライス情 報群を取得する処理について、図 3のフローチャートを用いて、詳細に説明する。
[0302] (ステップ S3611)出力手段 35082は、ステップ S 3609で構成した第二スライス情 報群を出力する。ステップ S3601に戻る。
[0303] (ステップ S3612)入力受付部 3502は、ステップ S3601で受け付けた入力力 形 状変化指示であるか否かを判断する。形状変化指示であればステップ S3613に行き 、形状変化指示でなければステップ S3614に行く。
[0304] (ステップ S3613) 3次元領域マスク形状変更部 3503は、ステップ S3612で受け付 けた形状変化指示に基づいて、第二メッシュ情報の形状を変更する。第二メッシュ情 報の形状変更の処理は、公知技術 (有限要素法の技術)であるので、詳細な説明は 省略する。ステップ S3610に行く。
[0305] (ステップ S3614)入力受付部 3502は、ステップ S3601で受け付けた入力力 位 置変化指示であるか否かを判断する。位置変化指示であればステップ S3615に行き 、位置変化指示でなければステップ S3601に戻る。
[0306] (ステップ S3615) 3次元領域マスク位置変更部 3504は、ステップ S3614で受け付 けた位置変化指示に基づいて、第二メッシュ情報の位置を変更する。第二メッシュ情 報の位置変更の処理は、公知技術であるので、詳細な説明は省略する。ステップ S3 610に行く。
[0307] なお、図 36のフローチャートにおいて、電源オフや処理終了の割り込みにより処理 は終了する。
[0308] 次に、第二スライス情報群を取得する処理について図 37のフローチャートを用いて 説明する。
[0309] (ステップ S3701)第二スライス情報群構成手段 35081は、カウンタ iに 1を代入す る。
[0310] (ステップ S3702)第二スライス情報群構成手段 35081は、 i番目のスライス情報 ( 未処理のスライス情報）が、第一スライス情報群の中に存在するか否かを判断する。 i 番目のスライス情報が存在すればステップ S3703に行き、 i番目のスライス情報が存 在しなければ上位関数にリターンする。
[0311] (ステップ S3703)第二スライス情報群構成手段 35081は、カウンタ jに 1を代入す る。
[0312] (ステップ S3704)第二スライス情報群構成手段 35081は、 i番目のスライス情報の 中の j番目の点 (未処理の点）が存在するか否かを判断する。 j番目の点が存在すれ ばステップ S3705に行き、 j番目の点が存在しなければステップ S3713に飛ぶ。なお 、「未処理」とは、色情報を設定していないことを言う。
[0313] (ステップ S3705)第二スライス情報群構成手段 35081は、 i番目のスライス情報の 中の j番目の点の位置情報 (X, y, z)を取得する。
[0314] (ステップ S3706)第二スライス情報群構成手段 35081は、ステップ S3705で取得 した位置情報と一致する位置情報を有する 3Dボタセル情報内の点の色情報を取得 する。
[0315] (ステップ S3707)第二スライス情報群構成手段 35081は、 j番目の点が、内側領 域の点であるカゝ、外側領域の点であるか、を判断する。かかる処理は、例えば、以下 のように行う。つまり、第二スライス情報群構成手段 35081は、 3次元空間の中で、 i 番目のスライス情報と、第二メッシュ情報との交点を全て算出する（かかる処理は、公 知の処理である)。第二スライス情報群構成手段 35081は、かかる交点が全く存在し なければ、 i番目のスライス情報のすべての点は、外側領域の点である、と判断する。 また、第二スライス情報群構成手段 35081は、交点が 1つだけ存在すれば、その 1点 のみ内側領域の点で、他の点は外側領域の点である、と判断する。交点が複数存在 する場合、複数の交点は、閉じた平面を構成している。第二スライス情報群構成手段 35081は、 j番目の点力 力かる閉じた平面内の点である場合は、当該点は内側領 域の点で、 j番目の点力 他の点である場合は外側領域の点である、と判断する。な お、閉じた平面の境界を構成する全点が与えられた場合に、任意の点 jが、当該平面 内の点である力否かを判断する処理は、公知の処理であるので、詳細な説明は省略 する。
[0316] (ステップ S3708)第二スライス情報群構成手段 35081は、 j番目の点が内側領域 の点であるカゝ否かを判断する。内側領域の点であればステップ S3709に行き、外側 領域の点であればステップ S3710にいく。
[0317] (ステップ S3709)第二スライス情報群構成手段 35081は、 j番目の点の色情報を、 内側領域に対応する色情報に加工する。なお、この加工は、ステップ S3706で取得 した色情報力も何も変更しない処理も含む。また、加工とは、例えば、色情報を透明 色とする処理である。また、加工とは、例えば、ステップ S3706で取得した色情報の 輝度を大きくする処理である。ステップ S3711に行く。
[0318] (ステップ S3710)第二スライス情報群構成手段 35081は、 j番目の点の色情報を、 外側領域に対応する色情報に加工する。なお、この加工は、ステップ S3706で取得 した色情報力も何も変更しない処理も含む。また、加工とは、例えば、色情報を透明 色とする処理である。また、加工とは、例えば、ステップ S3706で取得した色情報の 輝度を小さくする処理である。なお、ステップ S3709とステップ S3710の処理は、異 なる処理（一方が、何ら処理を行わない「NOP」も含む）である。ステップ S3711に行
<o [0319] (ステップ S3711)第二スライス情報群構成手段 35081は、加工後の色情報を、 j番 目の点の色情報として設定する。
[0320] (ステップ S3712)第二スライス情報群構成手段 35081は、カウンタ jを 1、インクリメ ン卜する。ステップ S3704に行く。
[0321] (ステップ S3713)第二スライス情報群構成手段 35081は、カウンタ iを 1、インクリメ ン卜する。ステップ S3702に行く。
[0322] 以下、本実施の形態における情報処理装置の具体的な動作について説明する。
本情報処理装置において、出力対象の三次元物体は、例えば、人間の胴体や、頭 部などである。かかる三次元物体は、 4面体の集合で近似できる。したがって、ここで は、説明の簡単化のために、まず、図 38に示す 4面体を用いて、種々のデータ構造 について説明する。図 38において、 A, B, C, Oの 4点を有する。点 Pは、 4面体の内 部のある点である。
[0323] 第二メッシュ情報のデータ構造例を図 39に示す。また、 3Dボタセル情報のデータ 構造例を図 40に示す。第二メッシュ情報は、例えば、 4面体の外側および内側の点 の情報（点の間は間隔があいている）の集合である。 3Dボタセル情報は、図 38に示 す 4面体を構成する全ての点の情報である点情報の集合である。点情報は、位置情 報 (X, y, z)と色情報（図 40において、「col」など）を、少なくとも有する。
[0324] 力かる状況において、ユーザは、入力手段を用いて、開始指示を入力した、とする 。開示指示は、例えば、本情報処理装置の電源 ONである。また、開示指示は、例え ば、本情報処理装置の処理部分がソフトウェアで実現されている場合、当該ソフトゥ エアのアイコンのダブルクリックである。また、開示指示は、例えば、メニューにより開 始指示の項目を選択することである。
[0325] 次に、入力受付部 3502は、開始指示を受け付ける。
[0326] 次に、第一スライス情報群取得部 3505は、予め格納されている視線ベクトルを取 得する。視線ベクトルは、三次元物体が表示されるディスプレイの画面と垂直のベタト ルである。
[0327] 次に、第一スライス情報群取得部 3505は、物体情報格納部 3501に格納されてい る 3Dボタセル情報を読み出し、当該 3Dボタセル情報から、視線ベクトルに対して垂 直で、かつ間隔が一定の複数のスライス情報を切り出し、第一スライス情報群を取得 する。かかる処理の概念を以下で説明する。第一スライス情報群取得部 3505は、第 一 3次元領域マスク (メッシュ情報)を用いて、色情報を有しな!/、複数のスライス情報 である第一スライス情報群を、 3Dボタセル情報力 取得する。第一スライス情報群取 得部 3505は、図 41に示すように、視線ベクトルに対して垂直であり、所定の間隔で、 複数のスライス情報である第一スライス情報群を取得する。第一スライス情報群取得 部 3505は、表示対象の三次元物体の位置「minD」WmaxD」を求め、所定の間隔 「D」でスライスし、複数のスライス情報を取得する。スライス情報は、点の情報の集合 である。また、スライス情報を構成する点間の間隔はない。つまり、スライス情報により 示される平面は、点の情報により詰まっている。ここでの点の情報は、位置情報 (X, y , z)を有し、色情報を有さない。その結果、第一スライス情報群取得部 3505は、例え ば、図 42に示す第一スライス情報群を取得する。第一スライス情報群は、スライス情 報 S ,スライス情報 S ,スライス情報 Sなどを有する。なお、視線ベクトルに対して垂
1 2 3
直にスライス情報を取得するのは、ユーザ力 sスライス情報の集合を見た場合に、間引 いたスライス情報でも、立体的に見えるようにするためである。また、所定の間隔で、 間引いたスライス情報を取得するのは、表示処理の高速ィ匕のためである。また、一定 の間隔でスライス情報を取得するのは、高品質な三次元物体を表示するためである 。次に、第一スライス情報群取得部 3505は、各点と同一の位置情報を有する 3Dボ クセル情報中の点の色情報を取得する。そして、第一スライス情報群取得部 3505は 、当該取得した色情報を、第一スライス情報群のスライドの該当する点の色情報とし て設定する。ここで、第一スライス情報群を構成するスライドの各点が色情報を有する こととなる。
[0328] 次に、第一スライス情報群取得部 3505は、取得した第一スライス情報群を、第一ス ライス情報群格納部 3506に一時的に蓄積する。そして、物体出力部 3508は、取得 した第一スライス情報群を出力する。
[0329] 力かる処理を、具体的な医用画像を用いた第一の例で説明する。第一の例におい て、第二 3次元領域マスクの内側領域がフォーカスされて出力される例である。図 43 は、人間の胴体部の CT画像であり、 3Dボタセル情報である。図 43において、複数 枚の平面図（画像データ）の間が空いている力 3Dボタセル情報は、ここでは、間が 詰まった複数枚の平面図の情報の集合であると考える。また、図 44は、第一スライス 情報群取得部 3505が第一 3次元領域マスクを用いて、図 43の 3Dボタセル情報から 複数のスライス情報を切り出し、各スライス情報の各点に、対応する 3Dボタセル情報 中の点の色情報を取得し、出力する対象の色情報付きの複数のスライス情報を構成 し、物体出力部 3508が、当該複数のスライス情報 (第一スライス情報群)を表示した 例である。ここで、第一 3次元領域マスクは、概ね胴体の形状である円柱状の 3次元メ ッシュの情報である。 3Dボタセル情報力も複数のスライス情報を切り出す方法は、図 38の四面体から、図 42の複数のスライス情報を切り出す方法と同様である。 3Dボタ セル情報力も複数のスライス情報を切り出す技術は、公知技術であるので、詳細な説 明は省略する。
[0330] なお、本情報処理装置は、図 44の表示状態から、図 45のように透過度をあげる処 理も行うことができる。透過度をあげるためには、入力受付部 3502が透過度を上げ る指示を受け付け、図示しない透過度変更手段が、各第一スライス情報の各点の色 情報を、透過度を上げるように変更する。なお、色情報を、透過度を上げるように変 更する処理は公知技術であるので、詳細な説明は省略する。各点の透過度を上げる ことにより、ユーザは、胴体内部の臓器 (心臓など)が認識しやすくなる。
[0331] 次に、ユーザは、球形状の第二 3次元マスクを入力する指示を行った、とする。
[0332] そして、入力受付部 3502は、力かる入力を受け付ける。そして、第二メッシュ情報 取得部 3507は、球形状の第二 3次元マスクを構成する第二メッシュ情報を取得する 。球形状の第二メッシュ情報は、球の表面の一部の点の集合力もなる情報である。か 力る第二メッシュ情報は、例えば、予め情報処理装置が保持している、とする。
[0333] 次に、第二スライス情報群構成手段 35081は、第二メッシュ情報の位置を取得する 。ここで、第二メッシュ情報の位置は、例えば、以下のように決定する。つまり、第二メ ッシュ情報の球の中心が、表示されている図 44の第一スライド情報群が構成する 3次 元物体の重心の位置と一致する、とする。そして、第二スライス情報群構成手段 350 81は、力かる重心の位置を算出し、球の中心の位置とし、第二メッシュ情報の位置を 決定する。 [0334] 次に、以下のように、第二スライス情報群構成手段 35081は、第二スライス情報群 を取得する。つまり、第二スライス情報群構成手段 35081は、 1番目のスライス情報 カゝら順に以下の処理を行う。第二スライス情報群構成手段 35081は、各スライス情報 を構成する各点の位置情報を取得する。そして、当該位置情報に一致する点であり 、 3Dボタセル情報内の点の色情報 (第一スライス情報群を構成するスライス情報が 色情報を保持している場合は、当該色情報でも良い。）を取得する。次に、第二スラ イス情報群構成手段 35081は、処理対象の点が、第二メッシュ情報の 3次元形状の 内側にあるか（内側領域か)、外側にある力 (外側領域か)を判断する。かかる処理の 概念を、図 46を用いて説明する。図 46 (a)において、 CT画像の集合である六面体 の 3Dボタセル情報力も第一スライス情報群の一スライス情報力 601である。そして、 ユーザは、例えば、円柱形の第二 3次元マスクを入力する指示、およびその位置の 指示を入力する。すると、第二スライス情報群構成手段 35081は、円柱形の第二メッ シュ情報を取得し、ユーザの指示に従った位置に円柱形の 3次元物体を配置する（ 図 46 (a) )。そして、第二スライス情報群構成手段 35081は、円柱形の第二メッシュ 情報により、図 46 (b)に示すように、スライス情報の各点が、円柱形の内部領域の点 力 外部領域の点かを決定する。そして、図 46においては、第二スライス情報群構成 手段 35081は、円柱形の内部領域を切り出している。
[0335] そして、ここでは、第二スライス情報群構成手段 35081は、内側領域にある点の場 合は、例えば、当該点の輝度を 50%上げる。一方、第二スライス情報群構成手段 35 081は、外側領域にある点の場合は、例えば、当該点の輝度を 30%下げる。
[0336] そして、第二スライス情報群構成手段 35081は、上記の処理を、第二スライス情報 群を構成する全てのスライス情報、全ての点に対して行い、全ての点の色情報を設 定する。以上の処理により、第二スライス情報群構成手段 35081は、第二スライス情 報群を取得できる。
[0337] 次に、出力手段 35082は、第二スライス情報群構成手段 35081が構成した第ニス ライス情報群を表示する。力かる表示例を図 47に示す。図 47において、中央部の臓 器が多!、3次元領域 (球形状）がフォーカスされて!/、る。
[0338] 次に、ユーザは、入力手段を用いて、球形状の第二 3次元マスクを変形する指示、 および移動させる指示を入力したとする。次に、入力受付部 3502は、形状変化指示 、および位置変化指示を受け付ける。力かる形状変化指示および位置変化指示は、 例えば、マウス、スライダーバー (スライダーバーとは、 GUIで用いられる部品であり、 幅のある値を設定するバーである。）で、球形状の第二 3次元マスクの形状 (大きさ）と 位置を微調整する指示である。また、形状変化指示により、球形状を臓器に近い概 ね臓器の形状にするようにすることは好適である。なお、力かる指示により、完全に臓 器の形状に一致することは必ずしも必要ではない。
[0339] 次に、 3次元領域マスク形状変更部 3503、および 3次元領域マスク位置変更部 35 04は、力かる形状変化指示、位置変化指示に基づいて、第二メッシュ情報の形状と 位置を変更する。なお、ユーザの指示 (マウス等力 の指示）により、立体のメッシュ 情報の形状や位置を変更する処理は、公知技術 (有限要素法)である。
[0340] 次に、上記と同様に、変形した形状の第二メッシュ情報を用いて、第二スライス情報 群構成手段 35081は、第二スライス情報群を取得する。第二スライス情報群を構成 する各スライス情報の各点の色情報の決定方法は、上記（図 47を出力する場合の処 理)と同様である。
[0341] そして、次に、出力手段 35082は、構成した第二スライス情報群を表示する。かか る表示例を図 48に示す。図 48において、関心領域である大動脈、心筋、肺動脈の 位置関係、形状、表面の性状が描出できている。
[0342] 次に、医用画像を用いた第二の例について説明する。第二の例において、第二 3 次元領域マスクの内側領域のみを出力する例である。図 49は、人体の頭部を MRI 等の医用機器で取得した 3Dボタセル情報を、本情報処理装置で処理した結果を示 す。
[0343] まず、本情報処理装置の入力受付部 3502は、ユーザ力も頭部外形の輪郭抽出を 行う指示を受け付ける、とする。この指示は、例えば、ユーザが、マウスで表示されて いる頭部の輪郭をなぞることにより行われる。
[0344] 次に、入力受付部 3502は、マウスによる輪郭抽出の指示を受け付ける。次に、情 報処理装置は、マウスカーソルが通過した複数の座標情報から、第二メッシュ情報（ 要素数：1263)を構築する。マウスカーソルが通過した複数の座標情報から、第二メ ッシュ情報を構築する処理は、公知技術であるので、詳細な説明は省略する。次に、 第二スライス情報群構成手段 35081は、構築された第二メッシュ情報に基づいて、 上述した処理と同様の処理により、第二スライス情報群を取得する。そして、出力手 段 35082が第二スライス情報群を出力する。力かる出力結果が図 49 (a)である。図 4 9 (a)は、頭部の形、そのままの出力である。
[0345] 次に、ユーザは、例えば、第二メッシュ情報の形状を保ったまま、縮小する指示を 入力する、とする。力かる入力は、例えば、操作画面上の「縮小」ボタン（図示しない） の押下による。すると、 3次元領域マスク形状変更部 3503は、所定の割合だけ、第 二メッシュ情報を小さくし、新たな第二メッシュ情報を得る。次に、第二スライス情報群 構成手段 35081は、新たな第二メッシュ情報を用いて、先に説明した処理により、第 ニスライス情報群を取得する。その際、第二スライス情報群を構成する各スライス情 報に対して、外側領域の点を透明色にし、内側領域の点のみを出力するようにする。 力かる出力例が図 49 (b)である。
[0346] 次に、さらに、ユーザは、第二メッシュ情報の形状を保ったまま、縮小する指示を入 力する、とする。すると、 3次元領域マスク形状変更部 3503は、所定の割合だけ、さ らに第二メッシュ情報を小さくし、新たな第二メッシュ情報を得る。次に、第二スライス 情報群構成手段 35081は、新たな第二メッシュ情報を用いて、新たな第二スライス 情報群を取得する。その際、第二スライス情報群を構成する各スライス情報に対して 、外側領域の点を透明色にし、内側領域の点のみを出力するようにする。かかる出力 例が図 49 (c)である。図 49 (a)力 (c)によると、第二メッシュ情報のサイズが小さくな るにつれ、頭皮 '頭骨が可視領域外となり、内部の構造である脳のしわが現れる。
[0347] また、図 49 (d)は、頭部を上力も見た場合の出力例である。ユーザは、頭部を回転 させる指示を入力し、視線ベクトルを変更することにより、図 49 (d)の画像が出力され 得る。図 49 (d)の出力アルゴリズムは、図 49 (a)等の出力アルゴリズムと同じである。 以上のことは、用途に応じて第二 3次元領域マスクの形状を制御すれば、簡便な操 作で効果的に人体内部、臓器表面等を可視化できることを示している。本情報処理 装置によれば、可視領域の変更結果は実時間で描画され、対話的な操作が可能で ある。 [0348] 次に、医用画像を用いた第三の例について説明する。第三の例において、第二 3 次元領域マスクの外側領域のみを出力する例である。外側領域のみを出力すれば、 内側領域の指定の仕方 (第二 3次元領域マスクの形状や位置）により、所定の箇所が 切り取られた 3次元画像を確認することができ、例えば、ユーザは、手術によりメスを 入れた、またはドリル等で穴を開けた様子を見ることができる。
[0349] 図 50は、人体の胴体部の 3Dボタセル情報から、第一 3次元領域マスクを用いて、 第一スライス情報群を取得し、当該第一スライス情報群が出力されている例である。 ここで、第一 3次元領域マスクは、概ね胴体の形状の 3次元メッシュの情報である。
[0350] そして、ユーザは、例えば、球形状の第二 3次元領域マスクを入力する、とする。そ して、ユーザは、当該第二 3次元領域マスクの形状、位置を変更する指示を行う、と する。
[0351] 次に、入力受付部 3502は、力かるユーザの入力を受け付ける。そして、 3次元領域 マスク形状変更部 3503、 3次元領域マスク位置変更部 3504は、デフォルトの球形 状の形状、および位置を、ユーザからの形状変化指示、位置変化指示に基づいて変 更する。そして、第二メッシュ情報取得部 3507は、新たな第二 3次元領域マスクの第 二メッシュ情報を取得する。
[0352] 次に、第二スライス情報群構成手段 35081は、第二スライス情報群を構成する各ス ライス情報に対して、新たな第二メッシュ情報に基づいて、内側領域を透明にし、外 側領域を 3Dボタセル情報の色とするように、色情報を設定する。そして、第ニスライ ス情報群構成手段 35081は、外側領域のみが見える複数のスライス情報力もなる第 ニスライス情報群を構成する。
[0353] 次に、出力手段 35082は、第二スライス情報群構成手段 35081が構成した第ニス ライス情報群を出力する。かかる出力例が、図 51である。図 51において、図 50の胴 体のから、一部 (胴体部の中央あたり）に穴が開いたように見える。力かる表示により、 ユーザ（医師など）は、手術前に手術のシミュレーションや術前計画が可能となる。
[0354] なお、本情報処理装置のユーザインターフェイス (入力画面）の例を図 52に示す。
図 52において、「Total」フィールドは、全 3次元領域マスク（第一 3次元領域マスク、 第二 3次元領域マスクを含む）の数のフィールドである。本実施の形態では、第一 3 次元領域マスクが一つ、第二 3次元領域マスクが一つである場合について説明した 力 第二 3次元領域マスクが複数あっても良い。力かる場合の処理を、実施の形態 5 で説明する。また、図 52において、「select」フィールドは、処理対象の 3次元領域マ スクの IDを示す。処理対象の「処理」とは、以下で述べる 3次元領域マスクの色設定（ RGB)、 3次元領域マスクの形状、位置の変更、および出力画像の透明度の変更の 処理である。また、図 52において、「R」「G」「B」のバーは、 3次元領域マスク（第一 3 次元領域マスク、第二 3次元領域マスクを含む）の色を設定するスライダーバーであ る。また、図 52において、「Alpha」は、出力画像の透明度を設定するスライダーバー である。また、「Scale」は、 3次元領域マスクの大きさを設定する（形状変化指示を入 力する）スライダーバーである。さらに、「Zoom」は、 3次元領域マスクの位置を設定 する (位置変化指示を入力する)スライダーバーである
[0355] 以上、本実施の形態によれば、医用画像などの画像上の 3次元の関心領域を、柔 軟かつ対話的に参照できる。したがって、例えば、本情報処理装置は、手術のシミュ レーシヨンや、術前計画などを支援できる。
[0356] なお、本実施の形態によれば、主として、医用画像を用いて、情報処理装置の動作 を説明したが、その他の種類の画像でも利用可能であることは言うまでもない。力か ることは、他の実施の形態においても同様である。
[0357] また、本実施の形態によれば、 3Dボタセル情報は、医用機器で取得した画像 (CT や MRIなど）の集合であつたが、他の手段により取得した情報でも良いことは言うまで もない。力かることも、他の実施の形態においても同様である。
[0358] また、本実施の形態にお!、て、情報処理装置は、第一スライス情報群取得部を有さ なくても良い。かかる場合、情報処理装置は、予め第一スライス情報群を格納してい る。なお、情報処理装置は、表示されている 3次元物体を回転させるなど、視線べタト ルの変更を受け付ける毎に、第一スライス情報群取得部は、動的に視線ベクトルに 垂直のスライス情報を有する第一スライス情群を取得することは好適である。
[0359] さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、この ソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェア を CD— ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細 書における他の実施の形態においても該当する。なお、本実施の形態における情報 処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプロ グラムは、コンピュータに、 3Dボタセル情報と、当該 3Dボタセル情報を切り出す 3次 元幾何形状を有する 3次元領域マスクである第一 3次元領域マスクを用いて、前記 3 Dボタセル情報が切り出された結果であり、複数のスライス情報である第一スライス情 報群とを格納しており、第二の 3次元領域マスクである第二 3次元領域マスクについ ての入力を受け付ける入力受付ステップと、前記第二 3次元領域マスクを構成する 3 次元メッシュの情報である第二メッシュ情報を取得する第二メッシュ情報取得ステップ と、前記第二メッシュ情報に基づいて、前記第一スライス情報群の各スライス情報に 対して、前記第二メッシュ情報の内側の領域である内側領域と、前記第二メッシュ情 報の外側の領域である外側領域とを決定し、前記内側領域と前記外側領域とを視覚 的に区別して前記第一スライス情報群を出力する物体出力ステップとを実行させるた めのプログラム、である。なお、 3Dボタセル情報は、通常、医用機器で撮影し、取得 した情報である。
[0360] また、上記プログラムにお 、て、前記物体出力ステップは、前記第一スライス情報 群の各スライス情報の外側領域の点を透明色にし、第二スライス情報群を構成する 第二スライス情報群構成ステップと、前記第二スライス情報群構成手段が構成した第 ニスライス情報群を出力する出力ステップを具備しても良 、。
[0361] また、上記プログラムにお 、て、前記物体出力ステップは、前記第一スライス情報 群の各スライス情報の内側領域の点の色と、前記第一スライス情報群の各スライス情 報の外側領域の点の色とを異なる色調にし、第二スライス情報群を構成する第二スラ イス情報群構成ステップと、前記第二スライス情報群構成ステップで構成した第ニス ライス情報群を出力する出力ステップを具備しても良い。なお、色調が異なる、とは、 色が異なること、輝度が異なることなどを含む。
[0362] また、上記プログラムにお 、て、前記物体出力ステップは、前記第一スライス情報 群の各スライス情報の内側領域の点を透明色にし、第二スライス情報群を構成する 第二スライス情報群構成ステップと、前記第二スライス情報群構成ステップで構成し た第二スライス情報群を出力する出力ステップを具備しても良い。 [0363] また、上記プログラムにお 、て、前記入力受付ステップで受け付ける指示に対応す る 3次元の物体の形状は、概ね臓器の形状であることは好適である。
[0364] また、上記プログラムにお 、て、入力受付ステップにお!/、て、前記第二 3次元領域 マスクの形状を変化させる指示である形状変化指示をも受け付け、コンピュータに、 前記形状変化指示に基づ 、て、第二 3次元領域マスクの形状を変更する 3次元領域 マスク形状変更ステップをさらに実行させることは好適である。
[0365] また、上記プログラムにお 、て、入力受付ステップにお!/、て、前記第二 3次元領域 マスクの位置を変化させる指示である位置変化指示をも受け付け、コンピュータに、 前記位置変化指示に基づいて、第二 3次元領域マスクの位置を変更する 3次元領域 マスク位置変更ステップをさらに実行させることは好適である。
[0366] また、上記プログラムにおいて、コンピュータに、前記 3Dボタセル情報から、視線に 対して垂直で、かつ間隔が一定の複数のスライス情報を切り出し、第一スライス情報 群を取得する第一スライス情報群取得ステップをさらに実行させることは好適である。
(実施の形態 5)
[0367] 図 53は、本実施の形態における情報処理装置のブロック図である。
[0368] 情報処理装置は、物体情報格納部 3501、入力受付部 5302、 3次元領域マスク形 状変更部 3503、 3次元領域マスク位置変更部 3504、第一スライス情報群取得部 35 05、第一スライス情報群格納部 3506、第二メッシュ情報取得部 5307、物体出力部 5308を具備する。
[0369] 物体出力部 5308は、第二スライス情報群構成手段 53081、出力手段 53082を具 備する。
[0370] 入力受付部 5302は、 2以上の第二 3次元領域マスクについての入力を受け付ける 。また、入力受付部 5302は、第二 3次元領域マスクの形状を変化させる指示である 形状変化指示をも受け付ける。また、入力受付部 5302は、第二 3次元領域マスクの 位置を変化させる指示である位置変化指示をも受け付ける。さらに、入力受付部 530 2は、視線方向を示す情報である視線ベクトルの入力を受け付けても良い。入力手段 は、キーボードやマウス（3Dマウスを含む）や PHANToM (ファントム）やメニュー画 面によるもの等、何でも良い。入力受付部 5302は、マウス等の入力手段のデバイス ドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
[0371] 第二メッシュ情報取得部 5307は、 2以上の第二 3次元領域マスクを構成する 2以上 の第二メッシュ情報を取得する。第二メッシュ情報取得部 5307は、通常、 MPUゃメ モリ等から実現され得る。第二メッシュ情報取得部 5307の処理手順は、通常、ソフト ウェアで実現され、当該ソフトウェアは ROM等の記録媒体に記録されている。但し、 ハードウェア (専用回路)で実現しても良 、。
[0372] 物体出力部 5308は、 2以上の第二メッシュ情報により、第一スライス情報群の各ス ライス情報を複数の領域に区分し、当該複数の領域を視覚的に区別して第一スライ ス情報群を出力する。ここで、出力とは、ディスプレイへの表示、プリンタへの印字、 外部の装置への送信等を含む概念である。物体出力部 5308は、ディスプレイ等の 出力デバイスを含むと考えても含まないと考えても良い。物体出力部 5308は、出力 デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等 で実現され得る。
[0373] 第二スライス情報群構成手段 53081は、各領域を構成した 1以上の第二 3次元領 域マスクに対応する色に基づいて、各領域内の点の色を決定し、当該色を有する点 の集合である複数のスライス情報を構成し、当該複数のスライス情報である第二スラ イス情報群を取得する。第二スライス情報群構成手段 53081は、通常、 MPUやメモ リ等カも実現され得る。第二スライス情報群構成手段 53081の処理手順は、通常、ソ フトウェアで実現され、当該ソフトウェアは ROM等の記録媒体に記録されている。伹 し、ハードウェア (専用回路)で実現しても良い。
[0374] 次に、情報処理装置の動作について説明する。本情報処理装置の動作は、図 36 のフローチャートにおける情報処理装置の動作と比較して、ステップ S3610の第ニス ライス情報群取得の処理が異なる。その他の動作は同じである。なお、本情報処理 装置は、 2度以上、第二 3次元マスクについての入力を受け付ける。つまり、本情報 処理装置において、 2度以上、ステップ S3607の処理が行われる。
[0375] 次に、本情報処理装置の第二スライス情報群取得処理について、図 54のフローチ ヤートを用いて説明する。
[0376] (ステップ S5401)第二スライス情報群構成手段 53081は、 j番目の点の領域を判 断する。領域の判断とは、 2以上の第二 3次元領域マスクにより区分される領域のうち 、 j番目の点が、どの領域に該当する点であるかを判断することである。 j番目の点の 領域を判断する処理について、図 55のフローチャートを用いて、詳細に説明する。
[0377] (ステップ S5402)第二スライス情報群構成手段 53081は、ステップ S5401で決定 した領域に対応した色情報に、ステップ S3706で取得した色情報をカ卩ェする。
[0378] 次に、本情報処理装置の j番目の点の領域を判断する処理について、図 55のフロ 一チャートを用いて説明する。
[0379] (ステップ S5501)第二スライス情報群構成手段 53081は、カウンタ iに 1を代入す る。
[0380] (ステップ S5502)第二スライス情報群構成手段 53081は、 i番目の第二 3次元マス クが存在するか否かを判断する。 i番目の第二 3次元マスクが存在すればステップ S5 503に行き、 i番目の第二 3次元マスクが存在しなければ上位関数にリターンする。
[0381] (ステップ S5503)第二スライス情報群構成手段 53081は、 i番目の第二 3次元マス クの第二メッシュ情報を取得する。第二 3次元マスクの第二メッシュ情報は、ユーザが 第二 3次元マスクについての入力を行った後に、情報処理装置が保持しているので 、ここでは、当該第二メッシュ情報を読み出す。
[0382] (ステップ S5504)第二スライス情報群構成手段 53081は、 j番目の点が、ステップ S5503で取得した第二メッシュ情報の内側領域の点力、外側領域の点かを判断する 。なお、かかる処理は、ステップ S3707における処理と同様である。
[0383] (ステップ S5505)第二スライス情報群構成手段 53081は、ステップ S5504におけ る判断結果を記録する。この記録は、 j番目の点が、 i番目以外の他の二 3次元マスク に対応する第二メッシュ情報の内側領域の点か、外側領域の点かの判断結果を上 書きすることなぐ追記することである。かかる判断結果を記録した情報である領域情 報のデータ構造図の例を図 56に示す。図 56において、 j番目の点の領域情報の各 ビットが「1」の場合は、当該 j番目の点が、対応する第二 3次元マスクの内側領域であ ることを示す。また、ビットが「0」の場合は、当該 j番目の点が、対応する第二 3次元マ スクの外側領域であることを示す。図 22の領域情報は「1, 0, 1, 1 · · ·」であるので、 当該 j番目の点は、 1番目の第二マスク領域の内側領域であり、 2番目の第二マスク 領域の外側領域であり、 3番目の第二マスク領域の内側領域であり、 4番目の第二マ スク領域の内側領域であることを示す。この領域情報に基づいて、 j番目の点の色情 報が決められる。また、 j番目の点の色情報は、ステップ S3706で取得した色情報を も用いて、決定されることは言うまでもない。
[0384] (ステップ S5506)第二スライス情報群構成手段 53081は、カウンタ iを 1、インクリメ ン卜する。ステップ S5502に戻る。
[0385] 以下、本実施の形態における情報処理装置の具体的な動作について説明する。
[0386] 今、本情報処理装置は、物体情報格納部 3501に、胴体部の 3Dボタセル情報を格 納している、とする。そして、情報処理装置は、実施の形態 4で述べた処理により、図 44に示す第一スライス情報群を表示した、とする。次に、ユーザは透過度を変更し（ 図 52の「Alpha」スライダーバーを調節し）、情報処理装置は、図 45の第一スライス 情報群の表示を行った、とする。
[0387] 次に、ユーザは、赤、緑、青の 3原色の色の 3つの球形状の第二 3次元領域マスク の入力を指示した、とする。そして、本情報処理装置は、力かる指示を受け付け、第 一スライス情報群を構成する各スライス情報の各点が 3つの第二 3次元領域マスクそ れぞれの内側領域か、外側領域かを決定する。そして、赤の第二 3次元領域マスク の内側領域の点に対しては、 Rの色情報を所定の量（「所定の量」についての情報は 、予め格納されている）、増加させる。また、緑の第二 3次元領域マスクの内側領域の 点に対しては、 Gの色情報を所定の量 (予め格納されている）、増加させる。さらに、 青の第二 3次元領域マスクの内側領域の点に対しては、 Bの色情報を所定の量 (予 め格納されている）、増カロさせる。そして、例えば、赤と青の 2つの第二 3次元領域マ スクの内側領域の点は、紫色がかった色で表示される。
[0388] かかる出力例を、図 57に示す。図 57において、赤、緑、青の 3つの球形状の第二 3 次元領域マスクが入力されており、 3つの第二 3次元領域マスクにより区分されるそれ ぞれの領域が、視覚的に区別されて表示されている。なお、本実施の形態における 処理は、出力されるスライス情報の各点の色の決め方以外は、同様の処理である。
[0389] 以上、本実施の形態によれば、医用画像などの画像上の 3次元の複数の関心領域 を、柔軟かつ対話的に参照できる。したがって、例えば、本情報処理装置は、手術の シミュレーションや、術前計画などを、より簡単に支援できる。
[0390] なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソ フトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアを CD— ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書 における他の実施の形態においても該当する。なお、本実施の形態における情報処 理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプロダラ ムは、コンピュータに、医用機器で撮影し、取得した 3Dボタセル情報と、当該 3Dボタ セル情報を切り出す 3次元幾何形状を有する 3次元領域マスクである第一 3次元領 域マスクを用いて、前記 3Dボタセル情報が切り出された結果であり、複数のスライス 情報である第一スライス情報群とを格納しており、第二の 3次元領域マスクである第 二 3次元領域マスクについての入力を受け付ける入力受付ステップと、前記第二 3次 元領域マスクを構成する 3次元メッシュの情報である第二メッシュ情報を取得する第 二メッシュ情報取得ステップと、前記第二メッシュ情報に基づいて、前記第一スライス 情報群の各スライス情報に対して、前記第二メッシュ情報の内側の領域である内側 領域と、前記第二メッシュ情報の外側の領域である外側領域とを決定し、前記内側 領域と前記外側領域とを視覚的に区別して前記第一スライス情報群を出力する物体 出力ステップとを実行させるためのプログラム、である。
[0391] また、上記プログラムにおいて、前記入力受付ステップにおいて、 2以上の第二 3次 元領域マスクにっ 、ての入力を受け付け、前記第二メッシュ情報取得ステップにお V、て、前記 2以上の第二 3次元領域マスクを構成する 2以上の第二メッシュ情報を取 得し、前記物体出力ステップにおいて、前記 2以上の第二メッシュ情報により、前記 第一スライス情報群の各スライス情報を複数の領域に区分し、当該複数の領域を視 覚的に区別して前記第一スライス情報群を出力しても良い。
[0392] また、上記プログラムにおいて、前記 2以上の第二 3次元領域マスクに対応する色 が存在し、前記物体出力ステップは、前記各領域を構成した 1以上の第二 3次元領 域マスクに対応する色に基づいて、前記各領域内の点の色を決定し、当該色を有す る点の集合である複数のスライス情報を構成し、当該複数のスライス情報である第二 スライス情報群を取得する第二スライス情報群構成ステップと、前記第二スライス情 報群構成ステップで構成した第二スライス情報群を出力する出力ステップを具備して も良い。
(実施の形態 6)
[0393] 本実施の形態にぉ 、て、 CTデータ等から、 DRR (Digitally Reconstructed Radiogr aph：ディジタル再構成 X線撮影像)を生成する情報処理装置等につ！ヽて説明する。
[0394] 図 58は、本実施の形態における情報処理装置のブロック図である。
[0395] 情報処理装置は、受付部 5801、物体情報格納部 5802、第一スライス情報群格納 部 5803、原点情報格納部 5804、第一スライス情報群取得部 5805、第二スライス情 報群取得部 5806、倍率算出部 5807、第三スライス情報群取得部 5808、出力部 58 09、設定部 5810を具備する。また、出力部 5809は、合成手段 58091、出力手段 5 8092を具備する。
[0396] 受付部 5801は、ユーザ力もの入力を受け付ける。入力されるのは、視線を特定す る視線ベクトルや、透明度情報や、情報処理装置の起動命令や、原点情報の移動 指示や、各種の指示、データ等である。透明度情報とは、スライス情報を構成する点 の透明度についての情報であり、通常、アルファ値と言われている。入力手段は、キ 一ボードやマウスやメニュー画面によるもの等、何でも良い。受付部 5801は、キーボ ード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実 現され得る。
[0397] 物体情報格納部 5802は、 3次元の物体のボリュームテクスチャである 3Dボタセル 情報を格納している。 3Dボタセル情報は、例えば、 CTや MRIや PETなどの医用機 器により取得される二次元画像の集合である。 3Dボタセル情報は、例えば、（X, y, z , col, α値)で構成される点の情報である。物体情報格納部 5802は、不揮発性の 記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
[0398] 第一スライス情報群格納部 5803は、三次元の物体のボリュームテクスチャである 3 Dボタセル情報を複数の平面で切り出した結果の二次元の画像データに基づ 、て構 成される情報であるスライス情報であり、位置を示す情報である位置情報を有する複 数の点の情報力も構成される第一スライス情報を、複数有する第一スライス情報群を 格納している。なお、第一スライス情報群格納部 5803の第一スライス情報群は、予 め用意されていても良い。かかる場合、情報処理装置において、第一スライス情報群 取得部 5805は、不要である。また、スライス情報を構成する点は、弾性についての 情報である弾性情報や、色情報や、透明度情報を有しても良い。第一スライス情報 群格納部 5803は、不揮発性の記録媒体でも、揮発性の記録媒体でも良い。
[0399] 原点情報格納部 5804は、 X線が照射される始点の位置を示す情報である原点情 報を格納している。原点情報は、例えば、 3次元空間における座標値 (X, y, z)であ る。原点情報格納部 5804は、不揮発性の記録媒体でも、揮発性の記録媒体でも良 い。原点情報は、固定でも、カスタマイズ可能でも良い。
[0400] 第一スライス情報群取得部 5805は、物体情報格納部 5802に格納されている 3D ボタセル情報から、視線に対して垂直で、かつ間隔が一定の複数の第一スライス情 報を切り出し、第一スライス情報群を取得し、第一スライス情報群格納部 5803に少な くとも一時的に格納する。「視線に対して垂直である」とは、三次元物体が表示されて いる画面に垂直なベクトルである視線ベクトルに対して垂直である、ことである。なお 、スライス情報は、平面を構成する点の情報の集合であり、通常、点間の間隔がなぐ 詰まっている。第一スライス情報群取得部 5805は、通常、 MPUやメモリ等から実現 され得る。第一スライス情報群取得部 5805の処理手順は、通常、ソフトウェアで実現 され、当該ソフトウェアは ROM等の記録媒体に記録されている。但し、ハードウェア（ 専用回路)で実現しても良い。
[0401] 第二スライス情報群取得部 5806は、 2以上の各第一スライス情報に対して、原点 情報が示す位置から、複数の各第一スライス情報の配置情報を用いて、複数の各第 一スライス情報に対して垂直に、かつ放射状に切り出す処理を行い、複数の第ニス ライス情報を取得する。各第一スライス情報の配置情報とは、第一スライス情報上の 点の情報が有する座標情報から得られる情報でも良いし、第一スライス情報の、第一 スライス情報群格納部 5803における格納順序が、配置情報である、としても良い。 つまり、複数の各第一スライス情報と、原点情報が示す位置からの距離が分かれば 良い。第二スライス情報取得部 5806は、通常、 MPUやメモリ等力も実現され得る。 第二スライス情報取得部 5806の処理手順は、通常、ソフトウェアで実現され、当該ソ フトウェアは ROM等の記録媒体に記録されている。但し、ハードウェア（専用回路)で 実現しても良い。なお、 2以上の各第一スライス情報は、胸部を含む画像であることは 好適である。かかる場合、利用価値の高い胸部の DRRが簡単に得られる。
[0402] 倍率算出部 5807は、複数の各第二スライス情報に対して、当該各第二スライス情 報の配置情報を用いて、各第二スライス情報の拡大率または縮小率である倍率を算 出する。なお、倍率算出部 5807は、拡大も縮小もしない、倍率「1」と算出しても良い 。倍率算出部 5807の具体的な倍率の算出方法の例については、後述する。倍率算 出部 5807は、通常、 MPUやメモリ等力も実現され得る。倍率算出部 5807の処理手 順は、通常、ソフトウェアで実現され、当該ソフトウェアは ROM等の記録媒体に記録 されている。但し、ハードウェア（専用回路)で実現しても良い。
[0403] 第三スライス情報群取得部 5808は、倍率算出部 5807が算出した倍率に従って、 複数の各第二スライス情報を拡大または縮小して、複数の第三スライス情報を取得 する。画像を拡大または縮小する処理は公知技術である。第三スライス情報取得部 5 808は、通常、 MPUやメモリ等カゝら実現され得る。第三スライス情報取得部 5808の 処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアは ROM等の記録媒体 に記録されている。但し、ハードウェア（専用回路)で実現しても良い。
[0404] 出力部 5809は、複数の第三スライス情報を重ね合わせて出力する。ここで、出力と は、ディスプレイへの表示、プリンタへの印字、外部の装置への送信、記録媒体への 蓄積等を含む概念である。出力部 5809は、ディスプレイ等の出力デバイスを含むと 考えても含まないと考えても良い。出力部 5809は、出力デバイスのドライバーソフト または、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
[0405] 合成手段 58091は、複数の第三スライス情報を二次元平面上に重ね合わせて、一 の画像を得る。なお、複数の画像を重ね合わせて一の画像を取得する処理を行うこ とは、公知技術であるので、詳細な説明を省略する。合成手段 58091は、通常、 MP Uやメモリ等力も実現され得る。合成手段 58091の処理手順は、通常、ソフトウェアで 実現され、当該ソフトウェアは ROM等の記録媒体に記録されている。但し、ハードウ エア (専用回路)で実現しても良 、。
[0406] 出力手段 58092は、合成手段 58091が重ね合わせた二次元平面上の画像を出 力する。出力手段 58092は、ディスプレイ等の出力デバイスを含むと考えても含まな いと考えても良い。出力手段 58092は、出力デバイスのドライバーソフトまたは、出力 デバイスのドライバーソフトと出力デバイス等で実現され得る。
[0407] 設定部 5810は、受付部 5801が受け付けた原点情報を原点情報格納部 5804に 格納したり、受付部 5801が受け付けた透明度情報を第一スライス情報や第ニスライ ス情報や第三スライス情報を構成する点の透明度情報として更新したりする。設定部 5810は、通常、 MPUやメモリ等力も実現され得る。設定部 5810の処理手順は、通 常、ソフトゥ アで実現され、当該ソフトゥ アは ROM等の記録媒体に記録されてい る。但し、ハードウェア（専用回路)で実現しても良い。
[0408] 次に、情報処理装置の動作について図 59、図 60のフローチャートを用いて説明す る。
[0409] (ステップ S5901)受付部 5801は、ユーザからの入力を受け付けたか否かを判断 する。入力を受け付ければステップ S5902に行き、入力を受け付なければステップ S 5901に戻る。
[0410] (ステップ S5902)受付部 5801は、 DRRの出力指示を受け付けたか否かを判断す る。 DRRの出力指示は、例えば、ユーザが、 GUIのボタンを、マウスで押下すること により入力される。 DRRの出力指示を受け付ければステップ S5903に行き、 DRRの 出力指示を受け付けなければステップ S5904に行く。
[0411] (ステップ S5903)第二スライス情報群取得部 5806や出力部 5809等は、 DRRを 出力する処理を行う。 DRR出力処理の詳細については、図 60のフローチャートを用 いて説明する。ステップ S 5901に戻る。
[0412] (ステップ S5904)受付部 5801は、原点情報の入力を受け付けた力否かを判断す る。原点情報の入力を受け付ければステップ S5905に行き、原点情報の入力を受け 付けなければステップ S5906に行く。
[0413] (ステップ S5905)設定部 5810は、受け付けた原点情報を原点情報格納部 5804 に蓄積する。
[0414] (ステップ S5906)受付部 5801は、透明度情報の入力を受け付けた力否かを判断 する。透明度情報の入力を受け付ければステップ S5907に行き、透明度情報の入 力を受け付けなければステップ S5911に行く。 [0415] (ステップ S5907)設定部 5810は、第一スライス情報群格納部 5803の第一スライ ス情報群、第二スライス情報群取得部 5806が取得した第二スライス情報群、第三ス ライス情報群取得部 5808が取得した第三スライス情報群の各スライス情報の各点の 透明度情報を、受け付けた透明度情報に更新する。なお、第二スライス情報群取得 部 5806が取得した第二スライス情報群、第三スライス情報群取得部 5808が取得し た第三スライス情報群力^モリ上にない場合は、透明度情報を更新するのは第一スラ イス情報群だけである。
[0416] (ステップ S5908)出力部 5809は、 DRRを出力中であるか否かを判断する。 DRR を出力中であればステップ S5909に行き、 DRRを出力中でなければステップ S590 1に戻る。
[0417] (ステップ S5909)合成手段 58091は、すべての第三スライス情報を重ね合わせて
、二次元の画像 (DRR)を得る。
[0418] (ステップ S5910)出力手段 58092は、ステップ S5909で得た画像（DRR)を出力 する。ステップ S5901に戻る。
[0419] (ステップ S5911)受付部 5801は、第一スライス情報群取得指示を受け付けたか 否かを判断する。第一スライス情報群取得指示を受け付ければステップ S5912に行 き、第一スライス情報群取得指示を受け付けなければステップ S5901に戻る。
[0420] (ステップ S5912)第一スライス情報群取得部 5805は、物体情報格納部 5802に 格納されている 3Dボタセル情報から、視線に対して垂直で、かつ間隔が一定の複数 の第一スライス情報を切り出し、第一スライス情報群を取得する。かかる処理は、公知 技術であるので、詳細な説明を省略する。
[0421] (ステップ S5913)第一スライス情報群取得部 5805は、ステップ S5912で取得した 第一スライス情報群を、第一スライス情報群格納部 5803に蓄積する。ステップ S590
1に戻る。
[0422] なお、図 59のフローチャートにおいて、電源オフや処理終了の割り込みにより処理 は終了する。
[0423] 次に、 DRR出力処理について図 60のフローチャートを用いて説明する。
[0424] (ステップ S6001)第二スライス情報群取得部 5806は、原点情報を原点情報格納 部 5804から読み出す。
[0425] (ステップ S6002)第二スライス情報群取得部 5806は、カウンタ iに 1を代入する。
[0426] (ステップ S6003)第二スライス情報群取得部 5806は、 i番目の第一スライス情報が 、第一スライス情報群格納部 5803に格納されている力否かを判断する。 i番目の第 一スライス情報が格納されていればステップ S6004に行き、 i番目の第一スライス情 報が格納されて 、なければステップ S6011に行く。
[0427] (ステップ S6004)第二スライス情報群取得部 5806は、第一スライス情報群格納部 5803から、 i番目の第一スライス情報を読み出す。
[0428] (ステップ S6005)第二スライス情報群取得部 5806は、ステップ S6004で読み出し た i番目の第一スライス情報を、ステップ S6001で読み出した原点情報が示す位置か ら、 i番目の第一スライス情報の配置情報を用いて、 i番目の第一スライス情報に対し て垂直に、かつ放射状に切り出す処理を行う。ここで「原点情報が示す位置力 放射 状」とは、原点情報が示す位置に X線の放射点が存在するとして、放射状に i番目の 第一スライス情報に垂直に X線が進むとして、 X線が照射される面を i番目の第一スラ イス情報から切り出す処理を行う。
[0429] (ステップ S6006)倍率算出部 5807は、 i番目の第二スライス情報の拡大率または 縮小率である倍率を算出するための情報を取得する。この情報は、例えば、 X線源か ら潘目の第二スライス情報が示すスライスまでの距離 (後述する「P」 )、 X線源からス クリーンまでの距離 (後述する「distance」）、ボリュームデータ（第一スライス情報）の一 辺の長さ（後述する「psize」 )、 X線が通過する空間内のスライス一辺の長さ（後述する 「X」）である。
[0430] (ステップ S6007)倍率算出部 5807は、複数の各第二スライス情報に対して、当該 各第二スライス情報の配置情報を用いて、各第二スライス情報の拡大率または縮小 率である倍率を算出する。
[0431] (ステップ S6008)第三スライス情報群取得部 5808は、ステップ S6008で算出した 倍率に従って、第二スライス情報を拡大または縮小して、第三スライス情報を取得す る。
[0432] (ステップ S6009)第三スライス情報群取得部 5808は、取得した第三スライス情報 をメモリ上に一時格納する。
[0433] (ステップ S6010)第二スライス情報群取得部 5806は、カウンタ iを 1、インクリメント する。ステップ S6003に戻る。
[0434] (ステップ S6011)合成手段 58091は、ステップ S6009でメモリ上に一時格納した すべての第三スライス情報を二次元平面上に重ね合わせて、一の画像を得る。
[0435] (ステップ S6012)出力手段 58092は、ステップ S6011で重ね合わせた二次元平 面上の画像を出力する。上位関数にリターンする。
[0436] 以下、本実施の形態における情報処理装置の具体的な動作について説明する。
[0437] 今、人の胸部の CTスキャンされたデータである CTデータの集合である 3次元の物 体のボリュームテクスチャである 3Dボタセル情報力 物体情報格納部 5802に格納さ れている、とする。
[0438] そして、ユーザは、第一スライス情報群取得指示を入力した、とする。すると、第一 スライス情報群取得部 5805は、物体情報格納部 5802に格納されている 3Dボクセ ル情報から、視線に対して垂直で、かつ間隔が一定の複数の第一スライス情報を切 り出し、第一スライス情報群を取得する。そして、第一スライス情報群取得部 5805は 、取得した第一スライス情報群を、第一スライス情報群格納部 5803に蓄積する。
[0439] 次に、ユーザは、 DRRの出力指示を入力した、とする。すると、受付部 5801は、 D RRの出力指示を受け付ける。
[0440] 次に、第二スライス情報群取得部 5806は、原点情報を原点情報格納部 5804から 読み出す。そして、第二スライス情報群取得部 5806等は、 1番目の第一スライス情 報から順に、全第一スライス情報に対して以下のように処理を行う。
[0441] つまり、まず、図 61に示すような処理を行う。図 61において、「X— ray sourcejは 、 X線源であり、その位置は、原点情報により示される。また、「Slice」は、第一スライ ス情報である。「Screen」は、 X線が照射される最後尾の面である。図 61に示すよう に、 X線源 (原点情報が示す位置)力 の距離によって X線が通過する領域は異なる 。したがって、第二スライス情報群取得部 5806は、第一スライス情報群格納部 5803 から、第一スライス情報を読み出し、原点情報を用いて、第一スライス情報に対して 垂直に、かつ放射状に第一スライス情報を切り出す処理を行う。そして、第二スライス 情報群取得部 5806は、第二スライス情報を得る。切り出した第二スライス情報は、図 61における 6101、 6102、 6103である。この 6101、 6102、 6103面は、 X線力照射 される面である。
[0442] また、図 61における 6101、 6102、 6103の第二スライス情報は、大きさが異なる。
そこで、第三スライス情報群取得部 5808は、これらの大きさの異なる第二スライス情 報 (画像)を拡大、縮小することにより透視射影を実現する。なお、 X線源に近い第二 スライス情報 (画像)ほど、拡大率は大きくなる。また、 X線源に遠い第二スライス情報 (画像）は、縮小される場合もあり得る。
[0443] 次に、倍率算出部 5807は、例えば、以下の数式 8、数式 9を用いて、第二スライス 情報 (画像)を拡大、縮小する倍率を算出する。なお、数式 8、数式 9において、「P」 は、各スライスまでの距離、「distance」は X線源からスクリーンまでの距離、「screensiz ejはスクリーンの大きさ、 rpsizejはボリュームデータ（第一スライス情報）の一辺の長 さ、「X」は X線が通過する空間内のスライス一辺の長さである。
[数 8]
P X screens ize
=
distance
[数 9]
, , psize
Μ = -
X
[0444] 次に、倍率算出部 5807が倍率を算出する具体的な方法について、図 62を用いて 説明する。まず、視線ベクトル力スライスと垂直に交わる点を原点とし、拡大率を Μと する。すると、倍率算出部 5807は、格納されている数式 8、数式 9の情報を読み出し 、かつ、格納されている「screensize」 「distance」 「psize」を読み出す。そして、第 ニスライス情報 (画像)の配置情報と原点情報から「P」を算出する。そして、倍率算出 部 5807は、得た「screensize」、 「distance」および「P」を数式 8に代入し、「X」を得る。 次に、倍率算出部 5807は、「psize」と「X」を数式 9に代入し、倍率「M」を得る。
[0445] 次に、第三スライス情報群取得部 5808は、算出した倍率「M」に従って、第二スラ イス情報を拡大または縮小して、第三スライス情報を取得し、メモリ上に一時格納する [0446] 上記の処理をすベての第一スライス情報に対して行う。
[0447] そして、合成手段 58091は、メモリ上に一時格納したすべての第三スライス情報を 二次元平面上に重ね合わせて、一の画像を得る。次に、出力手段 58092は、重ね 合わせた二次元平面上の画像を出力する。この二次元平面上の画像の例を図 63に 示す。図 63は、胸部のレントゲン写真（DRR)である。図 63において、 DRRは X線源 と各スライスとの距離によって拡大率が異なる画像が生成され、その重ね合わせによ つて成っている。図 63の表示の元になつているボリュームデータは、ボタセルサイズ 2 56 X 256 X 256の患者の CTデータである。力かるデータを用いて各パラメータを適 宜設定し、表示させると図 63が得られる。
[0448] なお、上記の DRRの生成前に、第一スライス情報が有する各点の座標系と、第三 スライス情報が有する各点の座標系（DRRの座標系）が異なる場合、図 64に示すよ うに、図示しない手段により、座標系の変換を行っても良いことは言うまでもない。図 6 4は、第一スライス情報が有する各点の座標系の座標（P, Q, R)が、 DRRの座標系 (Ρ', Q', R')に変換されることを示す。座標変換は公知の技術であるので詳細な説 明を省略する。
[0449] 以上、本実施の形態によれば、 CTデータ等から、 DRRを高速に生成できる。
[0450] なお、本実施の形態において、出力された DRRを変形させることを可能にしても良 い。つまり、本実施の形態の情報処理装置に、上記の実施の形態で述べたような変 形処理を可能にする構成を付加しても良い。さらに具体的には、実施の形態 1、実施 の形態 3等で説明したように、物体情報格納部 5802の 3次元の物体に対応する胸部 等の 3次元物体のメッシュ情報を記憶手段で保持しており、第一スライス情報群、第 ニスライス情報群、および第三スライス情報群に対応するメッシュ情報を管理しており 、受付部がユーザの指示を受け付け、メッシュ情報を変形し、変形したメッシュ情報に 対応するように複数の第三スライス情報を変形し、変形した DRRを出力する構成で ある。なお、 DRRが四面体メッシュに対応している場合、図 65に示すように、（a)の D RRに対して、左下側力も上向きの力をカ卩えると、（b)のように変形する。 DRRを変形 可能にすることにより、例えば、肺腫瘍を追尾しながら放射線を照射する治療のため に、肺腫瘍の呼吸性移動をシミュレーションにより推定し、動体追尾照射を実現でき る。
[0451] また、本実施の形態にお!、て、 X線源の位置を示す原点情報は、ユーザの指示に よりカスタマイズ可能であることは好適である。また、 DRRを出力する場合の視線べク トルもカスタマイズ可能であることは好適である。かかる場合、受付部が視線を特定す る視線べ外ルを受け付け、第一スライス情報群取得部は、物体情報格納部に格納 されている 3Dボタセル情報から、前記視線ベクトルが示す視線に対して垂直で、力 つ間隔が一定の複数の第一スライス情報を切り出し、取得する。なお、第一スライス 情報を切り出す場合、通常、間隔は一定であるが、必ずしも一定であるとは限らない 。かかることは、他の実施例、他の具体例においても該当する。
[0452] さらに、本実施の形態における情報処理装置を実現するソフトウェアは、以下のよう なプログラムである。つまり、このプログラムは、コンピュータに、格納している 2以上の 各第一スライス情報に対して、原点情報が示す位置から、前記複数の各スライス情報 の配置情報を用いて、前記複数の各スライス情報に対して垂直に、かつ放射状に切 り出す処理を行！ヽ、複数の第二スライス情報を取得する第二スライス情報取得ステツ プと、前記複数の各第二スライス情報に対して、当該各第二スライス情報の配置情報 を用いて、各第二スライス情報の拡大率または縮小率である倍率を算出する倍率算 出ステップと、前記倍率算出ステップで算出した倍率に従って、前記複数の各第ニス ライス情報を拡大または縮小して複数の第三スライス情報を取得する第三スライス情 報取得ステップと、前記複数の第三スライス情報を重ね合わせて出力する出カステツ プを実行させるためのプログラム、である。 また、上記プログラムにおいて、コンビュ ータに、 3次元の物体のボリュームテクスチャである 3Dボタセル情報 3Dボタセル情報 から、視線に対して垂直で、かつ間隔が一定の複数の第一スライス情報を切り出し、 取得する第一スライス情報群取得ステップをさらに実行させ、前記 2以上の第一スラ イス情報は、前記第一スライス情報取得ステップで取得した第一スライス情報である ことは好適である。
[0453] また、上記プログラムは、コンピュータに、前記視線を特定する視線ベクトルを受け 付ける受付ステップをさらに実行させ、前記第一スライス情報群取得ステップにお ヽ て、前記 3Dボタセル情報から、前記視線ベクトルが示す視線に対して垂直で、かつ 間隔が一定の複数の第一スライス情報を切り出し、取得することは好適である。
[0454] また、上記プログラムにお 、て、前記第一スライス情報、第二スライス情報、および 第三スライス情報は、各スライス情報を構成する点の透明度にっ ヽての情報である透 明度情報を有し、コンピュータに、透明度情報を受け付ける受付ステップをさらに実 行させ、前記受付ステップで受け付けた透明度情報に応じて、前記重ね合わせて出 力される複数の第三スライス情報の透明度が変化することは好適である。
[0455] また、図 66は、本明細書で述べたプログラムを実行して、上述した種々の実施の形 態の情報処理装置を実現するコンピュータの外観を示す。上述の実施の形態は、コ ンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得 る。図 66は、このコンピュータシステム 340の概観図であり、図 67は、コンピュータシ ステム 340のブロック図である。
[0456] 図 66において、コンピュータシステム 340は、 FD (Flexible Disk)ドライブ、 CD
-ROM (Compact Disk Read Only Memory)ドライブを含むコンピュータ 34 1と、キーボード 342と、マウス 343と、モニタ 344とを含む。
[0457] 図 39において、コンピュータ 341は、 FDドライブ 3411、 CD— ROMドライブ 3412 に加えて、 CPU (Central Processing Unit) 3413と、 CPU3413、 CD— ROM ドライブ 3412及び FDドライブ 3411に接続されたバス 3414と、ブートアッププログラ ム等のプログラムを記憶するための ROM (Read-Only Memory) 3415と、 CPU 3413に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一 時記憶空間を提供するための RAM (Random Access Memory) 3416と、アプリ ケーシヨンプログラム、システムプログラム、及びデータを記憶するためのハードデイス ク 3417とを含む。ここでは、図示しないが、コンピュータ 341は、さらに、 LANへの接 続を提供するネットワークカードを含んでも良 、。
[0458] コンピュータシステム 340に、上述した実施の形態の情報処理装置の機能を実行さ せるプログラムは、 CD— ROM3501、または FD3502に記憶されて、 CD— ROMド ライブ 3412または FDドライブ 3411に挿入され、さらにハードディスク 3417に転送さ れても良い。これに代えて、プログラムは、図示しないネットワークを介してコンビユー タ 341に送信され、ハードディスク 3417に記憶されても良い。プログラムは実行の際 に RAM3416にロードされる。プログラムは、 CD— ROM3501、 FD3502またはネ ットワークから直接、ロードされても良い。
[0459] プログラムは、コンピュータ 341に、上述した実施の形態の情報処理装置の機能を 実行させるオペレーティングシステム（OS)、またはサードパーティープログラム等は 、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能 (モジユー ル)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良 い。コンピュータシステム 340がどのように動作するかは周知であり、詳細な説明は省 略する。
[0460] なお、上記プログラムにおいて、ハードウェアによって行われる処理、例えば、出力 部のディスプレイデバイスなどで行われる処理 (ノ、一ドウエアでしか行われな!/、処理） は含まれない。
[0461] また、上記各実施の形態において、一の装置に存在する 2以上の格納手段は、物 理的に一の媒体で実現されても良いことは言うまでもない。
[0462] また、上記各実施の形態にお!、て、各処理 (各機能）は、単一の装置 (システム）に よって集中処理されることによって実現されてもよぐあるいは、複数の装置によって 分散処理されることによって実現されてもょ 、。
[0463] また、上記のプログラムを実行するコンピュータは、単数であってもよぐ複数であつ てもよい。すなわち、集中処理を行ってもよぐあるいは分散処理を行ってもよい。
[0464] 本発明は、以上の実施の形態に限定されることなぐ種々の変更が可能であり、そ れらも本発明の範囲内に包含されるものであることは言うまでもない。
産業上の利用可能性
[0465] 以上のように、本発明に力かる情報処理装置は、三次元の物体の弾性に関する情 報を扱うことができる、という効果を有し、手術のシミュレータ装置等として有用である 図面の簡単な説明
[0466] [図 1]実施の形態 1における情報処理装置のブロック図
[図 2]同情報処理装置の動作について説明するフローチャート
[図 3]同変形処理について説明するフローチャート 圆 4]同第二スライス情報群取得処理について説明するフローチャート 圆 5]同変形対象の三次元物体を構成する 4面体を示す図
[図 6]同 3Dボタセル情報を示す図
圆 7]同第一メッシュ情報を示す図
圆 8]同第一スライス情報群を取得する際のイメージを示す図
圆 9]同スライス情報群を示す図
[図 10]同第二メッシュ情報を示す図
[図 11]同変形後のスライス情報群を示す図
[図 12]同変形対象の三次元物体を示す図
[図 13]同計算時間の検証データを示す図
[図 14]同変形対象の心筋部位を示す図
[図 15]同変形対象の三次元物体を示す図
[図 16]実施の形態 2における情報処理装置のブロック図
[図 17]同情報処理装置の動作について説明するフローチヤ —ト
[図 18]同弾性情報設定処理の動作について説明するフローチャート
[図 19]同スライス情報群の表示例を示す図
[図 20]同スライス情報群の表示に対して三次元のメッシュ情報が表示された図
[図 21]同変形後のメッシュ情報が表示された図
[図 22]同弾性情報を入カメ-ユーの例を示す図
[図 23]実施の形態 3における情報処理装置のブロック図
[図 24]同術具メタファについて説明する図
[図 25]同術具メタファの四面体メッシュについて説明する図
[図 26]同操作ノード決定手段の処理の概念を示す図
[図 27]同操作ノードの変位の概念を示す図
[図 28]同情報処理装置の動作について説明するフローチヤ —ト
[図 29]同変形処理について説明するフローチャート
[図 30]同操作ノード決定処理について説明するフローチヤ一 -卜
[図 31]同操作ノード変位処理について説明するフローチヤ一 -卜 圆 32]同臓器オブジェクトに操作領域の指定を行っている様子を示す図
[図 33]同つまむような操作を行った場合の肝臓のボリューム像を示す図
[図 34]同回転操作を行った場合の肝臓のボリューム像を示す図
[図 35]実施の形態 4における情報処理装置のブロック図
[図 36]同情報処理装置の動作について説明するフローチャート
圆 37]同第二スライス情報群取得処理の動作について説明するフローチャート 圆 38]同データ構造を説明するための図
[図 39]同第二メッシュ情報のデータ構造例を示す図
[図 40]同 3Dボタセル情報のデータ構造例を示す図
圆 41]同第一スライス情報群を取得する際のイメージを示す図
[図 42]同第一スライス情報群を示す図
[図 43]同 3Dボタセル情報を示す図
[図 44]同表示例を示す図
[図 45]同表示例を示す図
[図 46]同第二スライス情報群を構成する処理の概念を説明する図
[図 47]同表示例を示す図
[図 48]同表示例を示す図
[図 49]同表示例を示す図
[図 50]同表示例を示す図
[図 51]同表示例を示す図
[図 52]同入力画面例を示す図
[図 53]実施の形態 5における情報処理装置のブロック図
[図 54]同情報処理装置の動作について説明するフローチャート
[図 55]同領域判断処理の動作について説明するフローチャート
圆 56]同領域情報のデータ構造図の例を示す図
[図 57]同表示例を示す図
[図 58]実施の形態 6における情報処理装置のブロック図
[図 59]同情報処理装置の動作について説明するフローチャート [図 60]同 DRR出力処理について説明するフローチャート 圆 61]同情報処理装置の処理の概念を説明する図
[図 62]同倍率算出のアルゴリズムを説明するための図
[図 63]同表示例を示す図
[図 64]同座標変換を説明する図
[図 65]同 DRR変形の出力図
圆 66]同情報処理装置を実現するコンピュータの外観図
[図 67]同情報処理装置を実現するコンピュータシステムのブロック図

Claims

請求の範囲
[1] 三次元の物体のボリュームテクスチャである 3Dボタセル情報を複数の平面で切り出 した結果の二次元の画像データに基づいて構成される情報であるスライス情報であり 、位置を示す情報である位置情報と弾性にっ 、ての情報である弾性情報を有する複 数の点の情報カゝら構成されるスライス情報を、複数有するスライス情報群を格納して いるスライス情報群格納部と、
前記スライス情報群を出力するスライス情報群出力部と、
前記出力されているスライス情報群の所定の点または領域に対する指示を受け付け る指示受付部と、
前記指示に対応する点または領域を構成する点の、 1以上の位置情報を取得する位 置情報取得部と、
前記位置情報取得部が取得した 1以上の位置情報と対になる 1以上の弾性情報を取 得する弾性情報取得部と、
前記弾性情報取得部が取得した 1以上の弾性情報に基づいて出力する弾性情報出 力部を具備する情報処理装置。
[2] 三次元の物体のボリュームテクスチャである 3Dボタセル情報を格納して 、る物体情 報格納部と、
前記 3Dボタセル情報を複数の平面で切り出した結果の二次元の画像データに基づ いて構成される情報であるスライス情報であり、位置を示す情報である位置情報と色 についての情報である色情報を有する複数の点の情報力 構成されるスライス情報 を、複数有するスライス情報群を格納して 、るスライス情報群格納部と、
前記三次元の物体の三次元メッシュの情報である第一メッシュ情報を格納している第 一メッシュ情報格納部と、
前記スライス情報群を出力するスライス情報群出力部と、
前記出力されているスライス情報群の所定の点または領域に対する指示を受け付け る指示受付部と、
前記指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第 二メッシュ情報を取得する第二メッシュ情報取得部と、 前記第二メッシュ情報に基づ 、て、色情報を有しな 、複数のスライス情報である第一 スライス情報群を取得する第一スライス情報群取得部と、
前記第一スライス情報群を構成する複数のスライス情報の各点であり、前記 3Dボタ セル情報の点に対応する各点の色情報を決定する色情報決定部と、
前記色情報決定部が決定した各点の色情報に基づ!、て、前記第一スライス情報群 取得部が取得した第一スライス情報群の各点に新たな色情報を設定し、第ニスライ ス情報群を取得する第二スライス情報群取得部と、
前記第二スライス情報群を出力する変形物体出力部を具備する情報処理装置。
[3] 前記スライス情報は、位置情報と色情報と弾性情報を有する複数の点の情報から構 成され、
前記指示に対応する点または領域を構成する点の、 1以上の位置情報を取得する位 置情報取得部と、
前記位置情報取得部が取得した 1以上の位置情報と対になる 1以上の弾性情報を取 得する弾性情報取得部と、
前記弾性情報取得部が取得した 1以上の弾性情報に基づいて出力する弾性情報出 力部をさらに具備する請求項 2記載の情報処理装置。
[4] 三次元の物体のボリュームテクスチャである 3Dボタセル情報を格納して 、る物体情 報格納部と、
前記物体情報格納部に格納されて 、る 3Dボタセル情報から、視線に対して垂直で、 かつ間隔が一定の複数のスライス情報を切り出し、スライス情報群を取得するスライス 情報群取得部をさらに具備し、
前記スライス情報群格納部のスライス情報群は、前記スライス情報群取得部が取得し たスライス情報群である請求項 1記載の情報処理装置。
[5] 三次元の物体のボリュームテクスチャである 3Dボタセル情報を格納して 、る物体情 報格納部と、
前記 3Dボタセル情報を複数の平面で切り出した結果の二次元の画像データに基づ いて構成される情報であるスライス情報であり、位置を示す情報である位置情報と色 についての情報である色情報を有する複数の点の情報力 構成されるスライス情報 を、複数有するスライス情報群を格納して 、るスライス情報群格納部と、 前記三次元の物体の三次元メッシュの情報である第一メッシュ情報を格納している第 一メッシュ情報格納部と、
前記スライス情報群を出力するスライス情報群出力部と、
前記出力されているスライス情報群の所定の領域に対する指示を受け付ける指示受 付部と、
前記指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第 二メッシュ情報を取得する第二メッシュ情報取得部と、
前記第二メッシュ情報に基づ 、て、色情報を有しな 、複数のスライス情報である第一 スライス情報群を取得する第一スライス情報群取得部と、
前記第一スライス情報群を構成する複数のスライス情報の各点であり、前記 3Dボタ セル情報の点に対応する各点の色情報を決定する色情報決定部と、
前記色情報決定部が決定した各点の色情報を用いて、前記第一スライス情報群取 得部が取得した第一スライス情報群の各点に新たな色情報を設定し、第二スライス 情報群を取得する第二スライス情報群取得部と、
前記第二スライス情報群を出力する変形物体出力部を具備する情報処理装置。
[6] 前記第一メッシュ情報は、
前記指示受付部が受け付けた指示に対応して変位する点である操作ノードと、当該 操作ノードの変位に応じて変位可能な点である自由ノードと、変位しない点である固 定ノードを有し、
前記第二メッシュ情報取得部は、
前記指示に対応して前記操作ノードを変位させ、かつ前記操作ノードの変位に応じ て前記自由ノードを変位させ、かつ前記固定ノードを変位させないことにより、第二メ ッシュ情報を取得する請求項 5記載の情報処理装置。
[7] 前記第二メッシュ情報取得部は、
前記指示に対応して、操作ノードを決定する操作ノード決定手段を具備する請求項
6記載の情報処理装置。
[8] 前記指示受付部が受け付けた指示は、 前記領域の回転または zおよび平行移動の指示であり、
前記第二メッシュ情報取得部は、
前記指示に対応して、前記操作ノードの変位を決定する変位決定手段を具備する請 求項 6記載の情報処理装置。
[9] 術具のメタファーである術具メタファーを格納して 、る術具メタファー格納部と、 前記術具メタファーを出力する術具メタファー出力部をさらに具備し、
前記指示受付部は、
前記術具メタファーの移動や操作についての指示を受け付け、
当該指示が前記出力されているスライス情報群の所定の領域に対する指示となり得 る請求項 5記載の情報処理装置。
[10] 前記指示に対応する領域を構成する点の、複数の位置情報を取得する位置情報取 得部と、
前記位置情報取得部が取得した複数の位置情報と対になる複数の弾性情報を取得 する弾性情報取得部と、
前記弾性情報取得部が取得した複数の弾性情報を用いて出力する弾性情報出力 部をさらに具備する請求項 5記載の情報処理装置。
[11] 前記出力されているスライス情報群に対する所定の点または領域に対する指示を入 力し、かつ、前記弾性情報出力部の出力を受け付け、当該出力に対応する力を出力 する入出力部をさらに具備する請求項 1記載の情報処理装置。
[12] 三次元の物体のボリュームテクスチャである 3Dボタセル情報を切り出した結果の平 面上の画像データに基づいて構成される情報であるスライス情報であり、位置を示す 情報である位置情報を有する複数の点の情報力 構成されるスライス情報を、複数 有するスライス情報群を格納しているスライス情報群格納部と、
三次元幾何形状を有する三次元領域マスクについての入力、および弾性について の情報である弾性情報についての入力を受け付ける入力受付部と、
前記三次元領域マスクを構成する三次元メッシュの情報であるメッシュ情報を取得す るメッシュ情報取得部と、
前記メッシュ情報に基づいて、前記スライス情報群の各スライス情報に対して、前記メ ッシュ情報の内側の領域である内側領域の各点に対して、前記入力受付部が受け 付けた入力に基づく弾性情報を設定する弾性情報設定部を具備する情報処理装置
[13] 前記スライス情報が有する点の情報は、色につ!、ての情報である色情報をも有する 請求項 1記載の情報処理装置。
[14] 前記三次元領域マスクの形状は、概ね臓器の形状である請求項 12記載の情報処理 装置。
[15] 3次元の物体のボリュームテクスチャである 3Dボタセル情報を格納して 、る物体情報 格納部と、
前記 3Dボタセル情報を切り出す 3次元幾何形状を有する 3次元領域マスクである第 一 3次元領域マスクを用いて、前記 3Dボタセル情報が切り出された結果であり、複数 のスライス情報である第一スライス情報群を格納している第一スライス情報群格納部 と、
第二の 3次元領域マスクである第二 3次元領域マスクについての入力を受け付ける 入力受付部と、
前記第二 3次元領域マスクを構成する 3次元メッシュの情報である第二メッシュ情報 を取得する第二メッシュ情報取得部と、
前記第二メッシュ情報に基づ!、て、前記第一スライス情報群の各スライス情報に対し て、前記第二メッシュ情報の内側の領域である内側領域と、前記第二メッシュ情報の 外側の領域である外側領域とを決定し、前記内側領域と前記外側領域を視覚的に 区別される第二スライス情報群を取得し、当該第二スライス情報群を出力する物体出 力部を具備する情報処理装置。
[16] 前記物体出力部は、
前記第一スライス情報群の各スライス情報の外側領域の点を透明色にし、第ニスライ ス情報群を構成する第二スライス情報群構成手段と、
前記第二スライス情報群構成手段が構成した第二スライス情報群を出力する出力手 段を具備する請求項 15記載の情報処理装置。
[17] 前記物体出力部は、 前記第一スライス情報群の各スライス情報の内側領域の点の色と、前記第一スライス 情報群の各スライス情報の外側領域の点の色とを異なる色調にし、第二スライス情報 群を構成する第二スライス情報群構成手段と、
前記第二スライス情報群構成手段が構成した第二スライス情報群を出力する出力手 段を具備する請求項 14記載の情報処理装置。
[18] 前記第二スライス情報群構成手段は、
前記第一スライス情報群の各スライス情報の内側領域の点の輝度を、前記第一スラ イス情報群の各スライス情報の外側領域の点の輝度より大きし、第二スライス情報群 を構成する請求項 17記載の情報処理装置。
[19] 前記物体出力部は、
前記第一スライス情報群の各スライス情報の内側領域の点を透明色にし、第ニスライ ス情報群を構成する第二スライス情報群構成手段と、
前記第二スライス情報群構成手段が構成した第二スライス情報群を出力する出力手 段を具備する請求項 15記載の情報処理装置。
[20] 前記入力受付部は、
2以上の第二 3次元領域マスクについての入力を受け付け、
前記第二メッシュ情報取得部は、
前記 2以上の第二 3次元領域マスクを構成する 2以上の第二メッシュ情報を取得し、 前記物体出力部は、
前記 2以上の第二メッシュ情報により、前記第一スライス情報群の各スライス情報を複 数の領域に区分し、当該複数の領域を視覚的に区別して前記第一スライス情報群を 出力する請求項 15記載の情報処理装置。
[21] 前記 2以上の第二 3次元領域マスクに対応する色が存在し、
前記物体出力部は、
前記各領域を構成した 1以上の第二 3次元領域マスクに対応する色に基づいて、前 記各領域内の点の色を決定し、当該色を有する点の集合である複数のスライス情報 を構成し、当該複数のスライス情報である第二スライス情報群を取得する第ニスライ ス情報群構成手段と、 前記第二スライス情報群構成手段が構成した第二スライス情報群を出力する出力手 段を具備する請求項 20記載の情報処理装置。
[22] 前記入力受付部が受け付ける指示に対応する 3次元の物体の形状は、概ね臓器の 形状である請求項 15記載の情報処理装置。
[23] 前記入力受付部は、
前記第二 3次元領域マスクの形状を変化させる指示である形状変化指示をも受け付 け、
前記形状変化指示に基づ 、て、第二 3次元領域マスクの形状を変更する 3次元領域 マスク形状変更部をさらに具備する請求項 15記載の情報処理装置。
[24] 前記入力受付部は、
前記第二 3次元領域マスクの位置を変化させる指示である位置変化指示をも受け付 け、
前記位置変化指示に基づいて、第二 3次元領域マスクの位置を変更する 3次元領域 マスク位置変更部をさらに具備する請求項 15記載の情報処理装置。
[25] 前記物体情報格納部に格納されている 3Dボタセル情報から、視線に対して垂直で、 かつ間隔が一定の複数のスライス情報を切り出し、第一スライス情報群を取得する第 一スライス情報群取得部をさらに具備し、
前記第一スライス情報群格納部の第一スライス情報群は、前記第一スライス情報群 取得部が取得した第一スライス情報群である請求項 15記載の情報処理装置。
[26] スライス情報であり、配置に関する情報である配置情報を有する第一スライス情報を 2以上格納して 、る第一スライス情報群格納部と、
X線の照射の原点の位置を示す情報である原点情報を格納している原点情報格納 部と、
前記 2以上の各第一スライス情報に対して、前記原点情報が示す位置から、前記複 数の各スライス情報の配置情報を用いて、前記複数の各スライス情報に対して垂直 に、かつ放射状に切り出す処理を行い、複数の第二スライス情報を取得する第ニス ライス情報取得部と、
前記複数の各第二スライス情報に対して、当該各第二スライス情報の配置情報を用 いて、各第二スライス情報の拡大率または縮小率である倍率を算出する倍率算出部 と、
前記倍率算出部が算出した倍率に従って、前記複数の各第二スライス情報を拡大ま たは縮小して複数の第三スライス情報を取得する第三スライス情報取得部と、 前記複数の第三スライス情報を重ね合わせて出力する出力部を具備する情報処理 装置。
[27] 3次元の物体のボリュームテクスチャである 3Dボタセル情報を格納して 、る物体情報 格納部と、
前記物体情報格納部に格納されて 、る 3Dボタセル情報から、視線に対して垂直で、 かつ間隔が一定の複数の第一スライス情報を切り出し、取得する第一スライス情報群 取得部をさらに具備し、
前記第一スライス情報群格納部の 2以上の第一スライス情報は、
前記第一スライス情報取得部が取得した第一スライス情報である請求項 26記載の情 報処理装置。
[28] 前記視線を特定する視線ベクトルを受け付ける受付部をさらに具備し、
前記第一スライス情報群取得部は、
前記物体情報格納部に格納されて 、る 3Dボタセル情報から、前記視線ベクトルが 示す視線に対して垂直で、かつ間隔が一定の複数の第一スライス情報を切り出し、 取得する請求項 27記載の情報処理装置。
[29] 前記第一スライス情報、第二スライス情報、および第三スライス情報は、各スライス情 報を構成する点の透明度についての情報である透明度情報を有し、
透明度情報を受け付ける受付部をさらに具備し、
前記受付部が受け付けた透明度情報に応じて、前記重ね合わせて出力される複数 の第三スライス情報の透明度が変化する請求項 26記載の情報処理装置。
[30] コンピュータに、
医用機器で撮影し、取得した三次元の物体のボリュームテクスチャである 3Dボクセ ル情報を複数の平面で切り出した結果の二次元の画像データに基づ 、て構成され る情報であるスライス情報であり、位置を示す情報である位置情報と弾性についての 情報である弾性情報を有する複数の点の情報力 構成されるスライス情報を、複数 有するスライス情報群を出力するスライス情報群出力ステップと、
前記出力されているスライス情報群の所定の点または領域に対する指示を受け付け る指示受付ステップと、
前記指示に対応する点または領域を構成する点の、 1以上の位置情報を取得する位 置情報取得ステップと、
前記位置情報取得ステップで取得した 1以上の位置情報と対になる 1以上の弾性情 報を取得する弾性情報取得ステップと、
前記弾性情報取得ステップで取得した 1以上の弾性情報に基づいて出力する弾性 情報出力ステップを実行させるためのプログラム。
コンピュータに、
医用機器で撮影し、取得した三次元の物体のボリュームテクスチャである 3Dボクセ ル情報を複数の平面で切り出した結果の二次元の画像データに基づ 、て構成され る情報であるスライス情報であり、位置を示す情報である位置情報と色についての情 報である色情報と弾性についての情報である弾性情報を有する複数の点の情報から 構成されるスライス情報を、複数有するスライス情報群を出力するスライス情報群出 力ステップと、
前記出力されているスライス情報群の所定の点または領域に対する指示を受け付け る指示受付ステップと、
前記指示に基づいて、格納している第一メッシュ情報を変形し、変形した形状を構成 する第二メッシュ情報を取得する第二メッシュ情報取得ステップと、
前記第二メッシュ情報に基づ 、て、色情報を有しな 、複数のスライス情報である第一 スライス情報群を取得する第一スライス情報群取得ステップと、
前記第一スライス情報群を構成する複数のスライス情報の各点であり、前記 3Dボタ セル情報の点に対応する各点の色情報を決定する色情報決定ステップと、 前記色情報決定ステップで決定した各点の色情報に基づ!、て、前記第一スライス情 報群取得ステップで取得した第一スライス情報群の各点に新たな色情報を設定し、 第二スライス情報群を取得する第二スライス情報群取得ステップと、 前記第二スライス情報群を出力する変形物体出力ステップと、
前記指示に対応する点または領域を構成する点の、 1以上の位置情報を取得する位 置情報取得ステップと、
前記位置情報取得ステップで取得した 1以上の位置情報と対になる 1以上の弾性情 報を取得する弾性情報取得ステップと、
前記弾性情報取得ステップで取得した 1以上の弾性情報に基づいて出力する弾性 情報出力ステップを実行させるためのプログラム。
[32] コンピュータに、
医用機器で撮影し、取得した 3Dボタセル情報を複数の平面で切り出した結果の二 次元の画像データに基づ 、て構成される情報であるスライス情報であり、位置を示す 情報である位置情報と色についての情報である色情報を有する複数の点の情報から 構成されるスライス情報を、複数有するスライス情報群と、三次元の物体の三次元メッ シュの情報である第一メッシュ情報を格納しており、
前記スライス情報群を出力するスライス情報群出力ステップと、
前記出力されているスライス情報群の所定の領域に対する指示を受け付ける指示受 付ステップと、
前記指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第 二メッシュ情報を取得する第二メッシュ情報取得ステップと、
前記第二メッシュ情報に基づ 、て、色情報を有しな 、複数のスライス情報である第一 スライス情報群を取得する第一スライス情報群取得ステップと、
前記第一スライス情報群を構成する複数のスライス情報の各点であり、前記 3Dボタ セル情報の点に対応する各点の色情報を決定する色情報決定ステップと、 前記色情報決定ステップで決定した各点の色情報を用いて、前記第一スライス情報 群取得ステップで取得した第一スライス情報群の各点に新たな色情報を設定し、第 ニスライス情報群を取得する第二スライス情報群取得ステップと、
前記第二スライス情報群を出力する変形物体出力ステップを実行させるためのプロ グラム。
[33] コンピュータに、 医用機器で撮影し、取得した 3Dボタセル情報を複数の平面で切り出した結果の二 次元の画像データに基づ 、て構成される情報であるスライス情報であり、位置を示す 情報である位置情報と弾性についての情報である弾性情報を有する複数の点の情 報カゝら構成されるスライス情報を、複数有するスライス情報群を出力するスライス情報 群出力ステップと、
三次元幾何形状を有する三次元領域マスクについての入力、および弾性について の情報である弾性情報についての入力を受け付ける入力受付ステップと、 前記三次元領域マスクを構成する三次元メッシュの情報であるメッシュ情報を取得す るメッシュ情報取得ステップと、
前記メッシュ情報に基づいて、前記スライス情報群の各スライス情報に対して、前記メ ッシュ情報の内側の領域である内側領域の各点に対して、前記入力受付部が受け 付けた入力に基づく弾性情報を設定する弾性情報設定ステップを実行させるための プログラム。
[34] コンピュータに、
医用機器で撮影し、取得した 3Dボタセル情報と、当該 3Dボタセル情報を切り出す 3 次元幾何形状を有する 3次元領域マスクである第一 3次元領域マスクを用いて、前記 3Dボタセル情報が切り出された結果であり、複数のスライス情報である第一スライス 情報群を格納しており、
第二の 3次元領域マスクである第二 3次元領域マスクについての入力を受け付ける 入力受付ステップと、
前記第二 3次元領域マスクを構成する 3次元メッシュの情報である第二メッシュ情報 を取得する第二メッシュ情報取得ステップと、
前記第二メッシュ情報に基づ!、て、前記第一スライス情報群の各スライス情報に対し て、前記第二メッシュ情報の内側の領域である内側領域と、前記第二メッシュ情報の 外側の領域である外側領域とを決定し、前記内側領域と前記外側領域とを視覚的に 区別して前記第一スライス情報群を出力する物体出力ステップとを実行させるための プログラム。
[35] コンピュータに、 格納している 2以上の各第一スライス情報に対して、原点情報が示す位置から、前記 複数の各スライス情報の配置情報を用いて、前記複数の各スライス情報に対して垂 直に、かつ放射状に切り出す処理を行い、複数の第二スライス情報を取得する第二 スライス情報取得ステップと、
前記複数の各第二スライス情報に対して、当該各第二スライス情報の配置情報を用 いて、各第二スライス情報の拡大率または縮小率である倍率を算出する倍率算出ス テツプと、
前記倍率算出ステップで算出した倍率に従って、前記複数の各第二スライス情報を 拡大または縮小して複数の第三スライス情報を取得する第三スライス情報取得ステツ プと、
前記複数の第三スライス情報を重ね合わせて出力する出力ステップを実行させるた めのプログラム n
PCT/JP2006/314148 2005-08-01 2006-07-18 情報処理装置およびプログラム WO2007015365A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/989,768 US8149236B2 (en) 2005-08-01 2006-07-18 Information processing apparatus and program
JP2007529203A JP5130529B2 (ja) 2005-08-01 2006-07-18 情報処理装置およびプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005222477 2005-08-01
JP2005-222477 2005-08-01
JP2005257415 2005-09-06
JP2005-257415 2005-09-06

Publications (1)

Publication Number Publication Date
WO2007015365A1 true WO2007015365A1 (ja) 2007-02-08

Family

ID=37708644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/314148 WO2007015365A1 (ja) 2005-08-01 2006-07-18 情報処理装置およびプログラム

Country Status (3)

Country Link
US (1) US8149236B2 (ja)
JP (1) JP5130529B2 (ja)
WO (1) WO2007015365A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010005119A1 (ja) * 2008-07-11 2010-01-14 三菱プレシジョン株式会社 生体データモデル作成方法及びその装置並びに生体データモデルのデータ構造及び生体データモデルのデータ格納装置並びに三次元データモデルの負荷分散方法及びその装置
CN102016957A (zh) * 2008-02-25 2011-04-13 发明医药有限公司 医疗训练方法及设备
JP2012521030A (ja) * 2009-03-17 2012-09-10 シンバイオニクス リミテッド 患者特異的なモデルを用いた画像誘導による処置のためのコンピュータ化されたシミュレーションを実行するためのシステムおよび方法
WO2013012042A1 (ja) * 2011-07-19 2013-01-24 株式会社東芝 画像処理システム、装置、方法及び医用画像診断装置
JP2014176425A (ja) * 2013-03-13 2014-09-25 Univ Of Tsukuba 画像診断支援プログラム
JP2015127965A (ja) * 2015-01-06 2015-07-09 三菱プレシジョン株式会社 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ
JP2016165470A (ja) * 2016-03-29 2016-09-15 三菱プレシジョン株式会社 三次元データモデルの負荷分散方法及びその装置
US9990703B2 (en) 2014-01-09 2018-06-05 Fujitsu Limited Visualization method and apparatus
JP2020142003A (ja) * 2019-03-08 2020-09-10 大日本印刷株式会社 マスク生成装置、３次元再構成像生成装置、マスク生成方法、及びプログラム
JP2020163062A (ja) * 2019-03-29 2020-10-08 大日本印刷株式会社 マスク生成装置、３次元再構成像生成装置、マスク生成方法、及びプログラム
CN117237380A (zh) * 2023-09-19 2023-12-15 推想医疗科技股份有限公司 一种图像分割方法、装置及电子设备

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8682029B2 (en) * 2007-12-14 2014-03-25 Flashfoto, Inc. Rule-based segmentation for objects with frontal view in color images
FR2926384B1 (fr) * 2008-01-10 2010-01-15 Gen Electric Procede de traitement d'images de radiologie interventionnelle et systeme d'imagerie associe.
JP5451135B2 (ja) * 2009-03-26 2014-03-26 キヤノン株式会社 画像処理装置、画像処理方法
US8670615B2 (en) * 2009-09-30 2014-03-11 Flashfoto, Inc. Refinement of segmentation markup
EP2444939A1 (en) * 2009-10-15 2012-04-25 Hitachi Aloka Medical, Ltd. Ultrasonic volume data processing device
US8723987B2 (en) * 2009-10-30 2014-05-13 Honeywell International Inc. Uncertainty estimation of planar features
JP5538862B2 (ja) * 2009-12-18 2014-07-02 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US9311567B2 (en) 2010-05-10 2016-04-12 Kuang-chih Lee Manifold learning and matting
US8660365B2 (en) 2010-07-29 2014-02-25 Honeywell International Inc. Systems and methods for processing extracted plane features
WO2012039192A1 (ja) * 2010-09-21 2012-03-29 株式会社 日立メディコ 超音波診断装置および超音波画像の表示方法
JP5691452B2 (ja) * 2010-12-03 2015-04-01 ソニー株式会社 ３ｄデータ解析装置および３ｄデータ解析方法ならびに３ｄデータ解析プログラム
US20130328874A1 (en) * 2012-06-06 2013-12-12 Siemens Medical Solutions Usa, Inc. Clip Surface for Volume Rendering in Three-Dimensional Medical Imaging
US9295372B2 (en) * 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
WO2015154069A1 (en) * 2014-04-04 2015-10-08 Surgical Theater LLC Dynamic and interactive navigation in a surgical environment
US9770216B2 (en) * 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
US10909771B2 (en) * 2014-09-15 2021-02-02 Synaptive Medical Inc. System and method for image processing
US10347004B2 (en) * 2016-04-01 2019-07-09 Baja Education, Inc. Musical sonification of three dimensional data
CN110073408B (zh) * 2016-12-12 2023-07-14 皇家飞利浦有限公司 用于分割解剖结构的二维图像的方法和装置
CN107411766B (zh) * 2017-06-14 2020-09-11 西北大学 X射线发光断层成像的目标可行区提取方法
KR102069774B1 (ko) * 2018-03-27 2020-02-11 울산대학교 산학협력단 영상 처리 장치 및 방법
US11094116B2 (en) * 2019-11-18 2021-08-17 GE Precision Healthcare LLC System and method for automatic generation of a three-dimensional polygonal model with color mapping from a volume rendering
CN111627521B (zh) * 2020-06-04 2022-02-11 常州市第二人民医院 增强现实在放疗中的应用

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54135548A (en) * 1978-04-13 1979-10-20 Iryo Gijutsu Kenkyu Kaihatsu Zaidan Synthesizing method of stereo images from plural sheets of tomographic images
JPH01209583A (ja) * 1988-02-18 1989-08-23 Toshiba Corp 三次元データ処理装置
JPH11272157A (ja) * 1998-03-19 1999-10-08 Dainippon Printing Co Ltd 物体の把持動作シミュレーション装置
JP2000222601A (ja) * 1999-01-29 2000-08-11 Mitsubishi Electric Inf Technol Center America Inc グラフィックオブジェクトの生成方法及び生成システム
JP2002329216A (ja) * 2001-03-09 2002-11-15 Koninkl Philips Electronics Nv 対象物に含まれる三次元画像をセグメント化する方法
JP2003044869A (ja) * 2001-05-24 2003-02-14 Mitsubishi Electric Corp ボリュームポリゴン統合表示装置
JP2003091735A (ja) * 2001-09-19 2003-03-28 Toshiba Medical System Co Ltd 画像処理装置
JP2003141566A (ja) * 2001-11-07 2003-05-16 Kansai Tlo Kk ３次元物体の切断シミュレーション方法
JP2004133550A (ja) * 2002-10-08 2004-04-30 Inst Of Physical & Chemical Res 非多様体の陰関数表現方法と陰関数曲面の直接描画方法及びそれらのプログラム
JP2004215961A (ja) * 2003-01-16 2004-08-05 Fuji Photo Film Co Ltd 画像表示装置
WO2006013813A1 (ja) * 2004-08-02 2006-02-09 Kyoto University 情報処理装置およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2973432B2 (ja) * 1989-07-10 1999-11-08 富士ゼロックス株式会社 画像処理方法および装置
US5768413A (en) * 1995-10-04 1998-06-16 Arch Development Corp. Method and apparatus for segmenting images using stochastically deformable contours
JPH1125287A (ja) * 1997-07-08 1999-01-29 Toshiba Mach Co Ltd ボクセル不透明度設定方法及びその装置
US7191110B1 (en) * 1998-02-03 2007-03-13 University Of Illinois, Board Of Trustees Patient specific circulation model
JP4350226B2 (ja) * 1999-09-13 2009-10-21 東芝医用システムエンジニアリング株式会社 三次元画像処理装置
JP3588055B2 (ja) * 2001-03-02 2004-11-10 ザイオソフト株式会社 三次元画像形成方法及び三次元画像形成装置
JP2003061956A (ja) * 2001-08-30 2003-03-04 Toshiba Corp 超音波診断装置、医用診断装置及び画像処理方法
AU2003230861A1 (en) * 2002-04-12 2003-10-27 Koninklijke Philips Electronics Nv Graphical apparatus and method for tracking image volume review
JP2004215916A (ja) 2003-01-15 2004-08-05 Kyoto Seni Kogyo:Kk 背部押圧治療器具

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54135548A (en) * 1978-04-13 1979-10-20 Iryo Gijutsu Kenkyu Kaihatsu Zaidan Synthesizing method of stereo images from plural sheets of tomographic images
JPH01209583A (ja) * 1988-02-18 1989-08-23 Toshiba Corp 三次元データ処理装置
JPH11272157A (ja) * 1998-03-19 1999-10-08 Dainippon Printing Co Ltd 物体の把持動作シミュレーション装置
JP2000222601A (ja) * 1999-01-29 2000-08-11 Mitsubishi Electric Inf Technol Center America Inc グラフィックオブジェクトの生成方法及び生成システム
JP2002329216A (ja) * 2001-03-09 2002-11-15 Koninkl Philips Electronics Nv 対象物に含まれる三次元画像をセグメント化する方法
JP2003044869A (ja) * 2001-05-24 2003-02-14 Mitsubishi Electric Corp ボリュームポリゴン統合表示装置
JP2003091735A (ja) * 2001-09-19 2003-03-28 Toshiba Medical System Co Ltd 画像処理装置
JP2003141566A (ja) * 2001-11-07 2003-05-16 Kansai Tlo Kk ３次元物体の切断シミュレーション方法
JP2004133550A (ja) * 2002-10-08 2004-04-30 Inst Of Physical & Chemical Res 非多様体の陰関数表現方法と陰関数曲面の直接描画方法及びそれらのプログラム
JP2004215961A (ja) * 2003-01-16 2004-08-05 Fuji Photo Film Co Ltd 画像表示装置
WO2006013813A1 (ja) * 2004-08-02 2006-02-09 Kyoto University 情報処理装置およびプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KURODA Y. ET AL.: "Fukusu Zokikan no Sesshoku Simulation o Jitsugen Suru Dansei Taikan no Sogo Sayo Model", TRANSACTIONS OF THE VIRTUAL REALITY SOCIETY OF JAPAN, vol. 8, no. 2, 2003, pages 155 - 162, XP003008301 *
NAKAO M. ET AL.: "Butsuri Tokusei ni Motoduita Koseisai Katsu Taiwateki na Nansoshiki Sekkai Shuho", TANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 44, no. 8, 2003, pages 2255 - 2265, XP003005999 *
NAKAO M. ET AL.: "Evaluation and User Study of Haptic Simulator for Learning Palpation in Cardiovascular Surgery", INTERNATIONAL CONFERENCE OF ARTIFICIAL REALITY AND TELE-EXISTENCE (ICAT), 2003, pages 203 - 208, XP003006000 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917916B2 (en) 2008-02-25 2014-12-23 Colin Bruce Martin Medical training method and apparatus
CN102016957A (zh) * 2008-02-25 2011-04-13 发明医药有限公司 医疗训练方法及设备
JP2011513776A (ja) * 2008-02-25 2011-04-28 インベンティブ メディカル リミテッド 医療用訓練方法及び装置
CN102016957B (zh) * 2008-02-25 2015-01-14 发明医药有限公司 医疗训练方法及设备
WO2010005119A1 (ja) * 2008-07-11 2010-01-14 三菱プレシジョン株式会社 生体データモデル作成方法及びその装置並びに生体データモデルのデータ構造及び生体データモデルのデータ格納装置並びに三次元データモデルの負荷分散方法及びその装置
US8532359B2 (en) 2008-07-11 2013-09-10 Mitsubishi Precision Co., Ltd. Biodata model preparation method and apparatus, data structure of biodata model and data storage device of biodata model, and load dispersion method and apparatus of 3D data model
JP2012521030A (ja) * 2009-03-17 2012-09-10 シンバイオニクス リミテッド 患者特異的なモデルを用いた画像誘導による処置のためのコンピュータ化されたシミュレーションを実行するためのシステムおよび方法
WO2013012042A1 (ja) * 2011-07-19 2013-01-24 株式会社東芝 画像処理システム、装置、方法及び医用画像診断装置
JP2014176425A (ja) * 2013-03-13 2014-09-25 Univ Of Tsukuba 画像診断支援プログラム
US9990703B2 (en) 2014-01-09 2018-06-05 Fujitsu Limited Visualization method and apparatus
JP2015127965A (ja) * 2015-01-06 2015-07-09 三菱プレシジョン株式会社 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ
JP2016165470A (ja) * 2016-03-29 2016-09-15 三菱プレシジョン株式会社 三次元データモデルの負荷分散方法及びその装置
JP2020142003A (ja) * 2019-03-08 2020-09-10 大日本印刷株式会社 マスク生成装置、３次元再構成像生成装置、マスク生成方法、及びプログラム
JP7275669B2 (ja) 2019-03-08 2023-05-18 大日本印刷株式会社 マスク生成装置、３次元再構成像生成装置、マスク生成方法、及びプログラム
JP2020163062A (ja) * 2019-03-29 2020-10-08 大日本印刷株式会社 マスク生成装置、３次元再構成像生成装置、マスク生成方法、及びプログラム
JP7230645B2 (ja) 2019-03-29 2023-03-01 大日本印刷株式会社 マスク生成装置、３次元再構成像生成装置、マスク生成方法、及びプログラム
CN117237380A (zh) * 2023-09-19 2023-12-15 推想医疗科技股份有限公司 一种图像分割方法、装置及电子设备

Also Published As

Publication number Publication date
JPWO2007015365A1 (ja) 2009-02-19
US8149236B2 (en) 2012-04-03
US20100149174A1 (en) 2010-06-17
JP5130529B2 (ja) 2013-01-30

Similar Documents

Publication Publication Date Title
JP5130529B2 (ja) 情報処理装置およびプログラム
US5737506A (en) Anatomical visualization system
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
JP3874826B2 (ja) 内視鏡を模擬する方法及び被検体の内腔のビューを得るための仮想検査システム
US6480732B1 (en) Medical image processing device for producing a composite image of the three-dimensional images
US6049622A (en) Graphic navigational guides for accurate image orientation and navigation
US7529396B2 (en) Method, computer program product, and apparatus for designating region of interest
JP2020512129A (ja) オブジェクトグリッド増強を用いて高次元画像データから低次元画像データを合成するためのシステムおよび方法
CN109157284A (zh) 一种脑肿瘤医学影像三维重建显示交互方法及系统
RU2419882C2 (ru) Способ визуализации секущих плоскостей для изогнутых продолговатых структур
CN113645896A (zh) 手术计划、手术导航和成像用系统
JP2006198060A (ja) 画像処理方法および画像処理プログラム
US20100284594A1 (en) Method and Device for 3d-Navigation On Layers of Images
JP4018679B2 (ja) レンダリング処理方法、レンダリング処理プログラム、レンダリング処理装置
US20070229547A1 (en) Image processing device for expanded representation of three-dimensional image data sets
JP3198130B2 (ja) 手術シミュレーションシステム
Advincula et al. Development and future trends in the application of visualization toolkit (VTK): the case for medical image 3D reconstruction
KR20090078487A (ko) 3/4차원 초음파 진단기술 습득용 시뮬레이터 및 그시뮬레이션 방법
EP3933848A1 (en) Vrds 4d medical image processing method and product
Santos et al. Augmented reality as a new perspective in dentistry: development of a complementary tool
Toriwaki et al. Recent progress in medical image processing-Virtualized human body and computer-aided surgery
Heinonen et al. 3D visualization library for multimodal medical images
Koehring et al. A framework for interactive visualization of digital medical images
Kameyama et al. Virtual surgical operation system using volume scanning display
Müller et al. Virtual reality in the operating room of the future

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007529203

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11989768

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06781170

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载