JP6875559B2 - 映像整合装置及び映像整合方法 - Google Patents

Description

本出願は２０１７年２月２１日付で出願された米国仮特許出願第６２／４６１，５０７号の優先権の利益を主張する。仮出願第６２／４６１，５０７号は、これをもって本発明に参照文献として含まれる。

本発明は、映像整合装置及び映像整合方法に関するものである。

本発明は、中小企業庁のＷＣ３００プロジェクト技術開発支援の一環として実行された研究から導き出されたものである（課題固有番号：Ｓ２４８２６７２、研究課題名：整合精度１ｍｍ以下の手術用ナビゲーション融合頭頸部手術ロボットシステムの開発）。

患者の脊椎手術において、患者の患部を撮影した映像を活用する映像誘導手術（ｉｍａｇｅ−ｇｕｉｄｅｄ ｓｕｒｇｅｒｙ）が多く活用されている。特に、患者身体内の重要な神経と主要な臓器を回避しながら手術を進めなければならない場合には、撮影された映像を基盤として高い精度を有する手術を行うことが要求される。

また、患者人体から解像度の高い映像を得ることが可能であり、ロボットアームなどを用いて医療機構の微細な操作が可能となることにより、非侵襲手術（ＭＩＳ、Ｍｉｎｉｍｉｚｅ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｅｒｙ）が活用されている。即ち、人体に直接的な切開をせず皮膚に小さい孔を作って、これを通じて医療用針などの手術道具を入れて手術が行われ得る。このような非侵襲手術は、通常、前記映像誘導手術と共に、医者のような使用者は映像を通じて患者人体内部を観察しながら手術を行うようになる。

映像を通じた非侵襲手術方式では、手術中に映像診断装置などを用いて、患者を持続的または間欠的に撮影する必要があった。脊椎手術を進める場合、脊椎の位置を高い精度で見つけるのが要求されるからである。特に切開部位を最小化した状況では、手術の対象になる脊椎の位置を正確に見つけるために、患者に対する映像撮影が不可避であった。

このためにＣ−ａｒｍまたはＯ−ａｒｍのような方式の映像撮影装備を用いて、映像撮影を併行しながら脊椎手術が行われた。しかし、このような方式は患者が大量の放射線に被ばくされる問題がある。また、このような方式は映像撮影が並行されるので、患者の手術費用が増加する問題がある。

患者が手術前に撮影した、既存の脊椎映像を基盤として脊椎手術を行うこともできるが、この場合、脊椎の位置推定の精度が大きく落ちる。特に、患者の手術時における姿勢が手術前の脊椎映像を撮影した時とは異なるため、精密に手術対象の脊椎を発見するのが難しいことがある。

本発明は、上述した従来技術の欠陥を解決するためのものであって、映像整合装置及び映像整合方法を提供する。

本発明の一実施例による映像整合装置は、手術テーブルに支持された患者の第１姿勢における背表面を３Ｄスキャンして第１背表面スキャンイメージを取得する３Ｄスキャナと、前記患者人体に表示された基準マーカーの位置と姿勢情報及び３Ｄスキャナに表示されたスキャナマーカーの位置と姿勢情報を取得するトラッキングセンサと、前記患者の背表面と脊椎の相関関係に対する人体相関モデルを格納するメモリと、前記３Ｄスキャナ、前記トラッキングセンサ及び前記メモリと電気的に連結されるプロセッサとを含み、前記プロセッサは、前記人体相関モデル及び前記第１背表面スキャンイメージに基づいて、前記患者の脊椎の位置を推定する仮想の第１脊椎測定映像を生成し、前記基準マーカーの位置と姿勢情報及び前記スキャナマーカーの位置と姿勢情報に基づいて、前記仮想の第１脊椎測定映像の座標系を前記患者の座標系に整合することができる。

一実施例によれば、上記プロセッサは、前記プロセッサは、前記第１背表面スキャンイメージから前記患者の前記第１姿勢における背表面情報を抽出し、前記人体相関モデル及び前記背表面情報に基づいて、前記患者の前記第１姿勢における脊椎位置情報を取得し、前記脊椎位置情報に基づいて、前記仮想の第１脊椎測定映像を生成することができる。

一実施例によれば、前記人体相関モデルは、前記患者の第２姿勢における背表面を３Ｄスキャンして取得された第２背表面スキャンイメージと前記患者の前記第２姿勢における脊椎を撮影して取得された第２脊椎測定映像の間の相関関係を用いて生成された第１相関モデルであり得る。

一実施例によれば、前記人体相関モデルは、複数の他の患者のグループから選択された少なくとも１つの患者の背表面を３Ｄスキャンして取得された第３背表面スキャンイメージと前記少なくとも１つの患者の脊椎を撮影して取得された第３脊椎測定映像の間の相関関係を用いて、前記第１相関モデルを補正することにより生成された第２相関モデルであり得る。

一実施例による前記映像整合装置は、前記患者の前記第１姿勢における脊椎を撮影して第４脊椎測定映像を取得する脊椎映像撮影部をさらに含み、前記プロセッサは、前記第４脊椎測定映像と前記第１背表面スキャンイメージの間の相関関係を用いて前記人体相関モデルを補正し、前記補正された人体相関モデルを用いて前記仮想の第１脊椎測定映像を生成することができる。

一実施例によれば、前記プロセッサは、前記第４脊椎測定映像に基づいた前記人体相関モデルの補正を所定回数繰り返して実施することができる。

一実施例によれば、 末端に手術道具が付着されたロボットアームをさらに含み、前記トラッキングセンサは、前記ロボットアームに表示されたロボットアームマーカーの位置と姿勢情報を取得し、前記プロセッサは、前記仮想の第１脊椎測定映像の座標系と整合された前記患者の座標系上に示される前記ロボットアームマーカーの位置と姿勢情報に基づいて、前記ロボットアームを制御することができる。

一実施例によれば、前記プロセッサは、前記基準マーカーの位置と姿勢情報、前記スキャナマーカーの位置と姿勢情報、前記スキャナマーカーの位置と姿勢情報及び前記第１背表面スキャンイメージの間の第１座標変換関係、及び前記第１背表面スキャンイメージ及び前記仮想の第１脊椎測定映像の間の第２座標変換関係に基づいて、前記仮想の第１脊椎測定映像及び前記基準マーカーの位置と姿勢情報の間の第３座標変換関係を取得し、前記第３座標変換関係に基づいて、前記仮想の第１脊椎測定映像の座標系を前記患者の座標系に整合することができる。

一実施例によれば、前記第２脊椎測定映像、前記第３脊椎測定映像及び前記第４脊椎測定映像は、ＣＴＡ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ Ａｎｇｉｏｇｒａｐｈｙ）映像、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）映像またはＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）映像のうちの１つであり得る。

本発明の一実施例による映像整合方法は、３Ｄスキャナが手術テーブルに支持された患者の第１姿勢における背表面を３Ｄスキャンして第１背表面スキャンイメージを取得する段階と、前記患者人体に表示された基準マーカーの位置と姿勢情報及び前記３Ｄスキャナに表示されたスキャナマーカーの位置と姿勢情報を取得する段階と、前記患者の背表面と脊椎の相関関係に対する人体相関モデル及び前記第１背表面スキャンイメージに基づいて、前記患者の脊椎の位置を推定する仮想の第１脊椎測定映像を生成する段階と、前記基準マーカーの位置と姿勢情報及び前記スキャナマーカーの位置と姿勢情報に基づいて、前記仮想の第１脊椎測定映像の座標系を前記患者の座標系に整合する段階とを含むむことができる。

一実施例によれば、前記仮想の第１脊椎測定映像を生成する段階は、前記第１背表面スキャンイメージから前記患者の前記第１姿勢における背表面情報を抽出する段階と、前記人体相関モデル及び前記背表面情報に基づいて、前記患者の前記第１姿勢における脊椎位置情報を取得する段階と、前記脊椎位置情報に基づいて、前記仮想の第１脊椎測定映像を生成する段階とを含むことができる。

一実施例による映像整合方法は、 前記患者の前記第１姿勢における脊椎を撮影して第４脊椎測定映像を取得する段階と、前記第４脊椎測定映像と前記第１背表面スキャンイメージの間の相関関係を用いて前記人体相関モデルを補正する段階とをさらに含み、前記仮想の第１脊椎測定映像を生成する段階は、前記補正された人体相関モデルを用いて前記仮想の第１脊椎測定映像を生成する段階を含むことができる。

一実施例によれば、前記人体相関モデルを補正する段階は、所定回数繰り返して実施され得る。

一実施例による映像整合方法は、末端に手術道具が付着されたロボットアームに表示されたロボットアームマーカーの位置と姿勢情報を取得する段階と、前記仮想の第１脊椎測定映像の座標系と整合された前記患者の座標系上に示される前記ロボットアームマーカーの位置と姿勢情報に基づいて、前記ロボットアームを制御する段階とをさらに含むことができる。

一実施例によれば、前記仮想の第１脊椎測定映像の座標系を前記患者の座標系に整合する段階は、前記基準マーカーの位置と姿勢情報、前記スキャナマーカーの位置と姿勢情報、前記スキャナマーカーの位置と姿勢情報及び前記第１背表面スキャンイメージの間の第１座標変換関係、及び前記第１背表面スキャンイメージ及び前記仮想の第１脊椎測定映像の間の第２座標変換関係に基づいて、前記仮想の第１脊椎測定映像及び前記基準マーカーの位置と姿勢情報の間の第３座標変換関係を取得する段階と、前記第３座標変換関係に基づいて、前記仮想の第１脊椎測定映像の座標系を前記患者の座標系に整合する段階とを含むことができる。

本発明の一実施例によれば、コンピュータ上で行われるためのプログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体において、前記プログラムは、プロセッサによる実行時に、前記プロセッサが、３Ｄスキャナによって手術テーブルに支持された患者の第１姿勢における背表面を３Ｄスキャンして取得された第１背表面スキャンイメージを取得する段階と、前記患者人体に表示された基準マーカーの位置と姿勢情報及び前記３Ｄスキャナに表示されたスキャナマーカーの位置と姿勢情報を取得する段階と、前記患者の背表面と脊椎の相関関係に対する人体相関モデル及び前記第１背表面スキャンイメージに基づいて、前記患者の脊椎の位置を推定する仮想の第１脊椎測定映像を生成する段階と、前記基準マーカーの位置と姿勢情報及び前記スキャナマーカーの位置と姿勢情報に基づいて、前記仮想の第１脊椎測定映像の座標系を前記患者の座標系に整合する段階とを行うようにする実行可能な命令を含むことができる。

一実施例による映像整合装置及び映像整合方法によれば、手術対象になる患者の手術時の放射線被ばくが低減される。

また、手術中Ｃ−ａｒｍなどによる映像撮影が最小化されるので、手術費用が節減される。

また、人体相関モデルを用いて患者の脊椎位置を推定するので、手術時に患者の姿勢変化への対処が可能であり、これにより手術の精度を高めることができる。

本発明の一実施例による映像整合装置を示す図である。 本発明の一実施例による映像整合装置が手術に用いられている活用例を示す図である。 本発明の一実施例による人体相関モデルを生成する過程を示す図である。 本発明の一実施例による患者毎の人体相関モデルの生成及び活用過程を示す図である。 本発明の一実施例によるデータベース基盤の人体相関モデルの生成及び活用過程を示す図である。 本発明の一実施例による人体相関モデルを補正する過程を示す図である。 本発明の一実施例による仮想の脊椎測定映像を患者人体に整合する過程を示す図である。 本発明の一実施例による整合された仮想の脊椎測定映像を用いてロボットアームを制御する過程を示す図である。 本発明の一実施例による映像整合装置により行われ得る、映像整合方法を示すフローチャートである。

以下に説明する本発明の実施例は本発明を説明するための目的で例示されたものである。本発明の実施例は多様な形態で実施され得、本発明が下記に提示された実施例やこれらの実施例に関する具体的説明に限定されると解釈されない。

本明細書で用いられる全ての技術的用語及び科学的用語は、別に定義されていない限り、本発明の属する技術分野で通常の知識を有する者に一般に理解される意味を有する。本明細書で用いられる全ての用語は本発明をより明確に説明するための目的で選択されたものであり、本発明の範囲を制限するために選択されたものではない。

本明細書で用いられる「含む」、「備える」及び「有する」という表現は、当該表現が含まれる文句または文章において特に異なって言及されない限り、他の実施例を含む可能性を内包する開放型用語（ｏｐｅｎ−ｅｎｄｅｄ ｔｅｒｍｓ）と理解されなければならない。

本明細書で記述された単数形の表現は、別に言及しない以上、複数形の表現もともに含み得、これは、請求項に記載された単数形の表現にも同様に適用される。

本明細書で用いられた「第１」、「第２」などの表現は、複数の構成要素を相互に区分するために用いるものに過ぎず、当該構成要素の順序または重要度を限定するものではない。

本明細書で用いられる用語「部」は、ソフトウェア、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）のようなハードウェア構成要素を意味する。しかし、「部」は、ハードウェア及びソフトウェアに限定されるものではない。「部」は、アドレッシングできる格納媒体にあるように構成されてもよく、１つまたはそれ以上のプロセッサを再生させるように構成されてもよい。従って、一例として「部」はソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセッサ、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素と「部」内で提供される機能はさらに小さい数の構成要素及び「部」に結合したり追加の構成要素と「部」にさらに分離され得る。

本明細書で「〜に基づいて」という表現は、当該表現が含まれる文句または文章で記述される、決定または判断の行為または動作に影響を与える１つ以上の因子を記述するのに用いられ、この表現は決定または判断の行為または動作に影響を与える追加の因子を排除しない。

本明細書において、ある構成要素が他の構成要素に「連結されて」いるとか、「接続されて」いると言及されたときには、前記ある構成要素が前記他の構成要素に直接的に連結されているか、または接続されていてもよいが、前記ある構成要素と前記他の構成要素の間に新たな他の構成要素が存在してもよいと理解されるべきである。

以下、添付した図面を参照して、本発明の実施例を詳細に説明する。図面上の同一の構成要素に対しては同一の参照符号を用い、同一の構成要素について重複する説明は省略する。しかし、構成要素に関する記述が省略されても、そのような構成要素がある実施例に含まれないものとは意図されない。

図１は、本発明の一実施例による映像整合装置を示す図である。

一実施例によれば、本発明は、映像整合装置に関する。映像整合装置は、背表面と脊椎の相関関係を用いて、患者の背表面スキャンイメージから患者の脊椎に対する仮想の脊椎測定映像を生成できる。また、映像整合装置は、生成された仮想の脊椎測定映像を患者人体に整合することができる。

具体的には、映像整合装置は、手術テーブルに支持された患者の背表面を３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ）スキャンして背表面スキャンイメージを取得し、背表面と脊椎の相関関係を示す人体相関モデル及び／又は背表面スキャンイメージに基づいて仮想の脊椎測定映像を生成し、患者人体に表示された基準マーカー及び３Ｄスキャナに表示されたスキャナマーカーの位置と姿勢情報を取得して仮想の脊椎測定映像を患者人体に整合できる。

本発明による映像整合装置は、３Ｄスキャナ１０１０、トラッキングセンサ１０２０、メモリ１０３０及び／又はプロセッサ１０４０を内部／外部コンポーネントとして含むことができる。

３Ｄスキャナ１０１０は、手術テーブルに支持された患者から当該患者の手術時（ｉｎｔｒａ−ｏｐｅｒａｔｉｖｅ）の姿勢における背表面を３Ｄスキャンすることができる。３Ｄスキャナ１０１０は、これを通じて患者の手術時の姿勢に対する背表面スキャンイメージを取得できる。３Ｄスキャナ１０１０は、取得された背表面スキャンイメージをプロセッサ１０４０に伝達する。この過程で取得された背表面スキャンイメージは、実施例によって第１背表面スキャンイメージと称される。

ここで、３Ｄスキャナによって取得されるスキャンイメージは、３次元で対象体の表面をスキャンして示す３Ｄ情報であり得る。即ち、背表面スキャンイメージは、３Ｄで背表面をスキャンした、３Ｄ背表面スキャンイメージであり得る。また、背表面スキャンイメージから取得される背表面形態情報は、当該背表面形態を３次元で示す、３Ｄ背表面形態情報であり得る。

トラッキングセンサ１０２０は、マーカー（ｍａｒｋｅｒ）をセンシングしてその位置と姿勢情報を取得できる。実施例によって、トラッキングセンサ１０２０は、基準マーカー及び／又はスキャナマーカーから当該マーカーの位置と姿勢情報を取得できる。基準マーカーは、患者人体に表示されたマーカーであり、スキャナマーカーは、３Ｄスキャナ１０１０に表示されたマーカーであり得る。ここで、マーカーが特定の対象体に表示されるということは、マーカーが特定の対象体に固定的に設けられたり、付着されることを意味する。トラッキングセンサ１０２０は、取得されたマーカーの位置と姿勢情報をプロセッサ１０４０に伝達できる。

メモリ１０３０は、背表面と脊椎の相関関係を示す人体相関モデルを格納することができる。人体相関モデルに関する具体的な事項は後述する。

プロセッサ１０４０は、３Ｄスキャナ１０１０によって取得された患者の手術時の姿勢における背表面スキャンイメージとメモリに格納された人体相関モデルに基づいて、仮想の脊椎測定映像を生成できる。仮想の脊椎測定映像は、当該患者の手術時の姿勢における脊椎の位置を推定する仮想の脊椎映像であり得る。この過程で生成される仮想の脊椎測定映像は、実施例によって仮想の第１脊椎測定映像と称される。

また、プロセッサ１０４０は、マーカーの位置と姿勢情報に基づいて、仮想の脊椎測定映像を患者人体に整合できる。具体的には、プロセッサ１０４０は、トラッキングセンサ１０２０によって取得された基準マーカーの位置と姿勢情報及び／又はスキャナマーカーの位置と姿勢情報に基づいて、仮想の脊椎測定映像の座標系を患者の座標系に整合できる。

プロセッサ１０４０は、３Ｄスキャナ１０１０、トラッキングセンサ１０２０及び／又はメモリ１０３０と電気的に連結されていることができる。

一実施例によれば、プロセッサ１０４０は、手術テーブルに支持された患者から取得した背表面スキャンイメージから、患者の手術時の姿勢における背表面情報を抽出できる。プロセッサ１０４０は、上述の人体相関モデル及び抽出された背表面情報に基づいて、当該患者の手術時の姿勢における脊椎位置情報を取得できる。プロセッサ１０４０は、取得された脊椎位置情報に基づいて、上述の仮想の脊椎測定映像を生成できる。

一実施例によれば、人体相関モデルは、背表面と脊椎の相関関係を示す人体モデルであり得る。人体相関モデルは、背表面の形態と当該背表面の形態による人体内部の脊椎の位置の間の相関関係を示す、人体に対する相関モデルであり得る。

一実施例によれば、人体相関モデルは、当該患者に対する患者毎の人体相関モデルであり得る。患者毎の人体相関モデルは、当該患者の特性が考慮された、当該患者個人に対する背表面と脊椎の間の相関関係による人体相関モデルであり得る。この過程により生成される人体相関モデルは、第１相関モデルと称される。患者毎の人体相関モデルに関する具体的な事項は後述する。

一実施例によれば、人体相関モデルは、データベース基盤の人体相関モデルであり得る。データベース基盤の人体相関モデルは、上述の患者毎の人体相関モデルをデータベースに格納された少なくとも１つ以上の患者の背表面及び／又は脊椎に関する情報を用いて補正した人体相関モデルであり得る。この過程により生成される人体相関モデルは第２相関モデルと称される。データベース基盤の人体相関モデルの具体的な事項については後述する。

一実施例によれば、プロセッサ１０４０は、手術テーブルに支持された患者の手術時の姿勢から取得される追加の情報に基づいて、上述の人体相関モデルをさらに補正することができる。プロセッサ１０４０は、補正された人体相関モデルを用いて上述の仮想の脊椎測定映像を生成できる。

一実施例によれば、映像整合装置は、脊椎映像撮影部（図示せず）をさらに含むことができる。脊椎映像撮影部は、手術テーブルに支持された患者の脊椎を撮影することにより、手術時の姿勢における脊椎測定映像を取得できる。この過程で取得された背表面スキャンイメージは、実施例によって第４背表面スキャンイメージと称される。プロセッサ１０４０は、上述のように患者の手術時の姿勢から取得される追加の情報に基づいて人体相関モデルを補正することにより、脊椎映像撮影部から取得された脊椎測定映像と、上述の手術時の姿勢における背表面スキャンイメージ（第１背表面スキャンイメージ）の間の相関関係を用いることができる。

一実施例によれば、プロセッサ１０４０は、手術時の姿勢から取得される追加の情報に基づいた人体相関モデルの補正を所定回数繰り返して実施することができる。

一実施例によれば、プロセッサ１０４０は、生成された仮想の脊椎測定映像及び患者人体に固定された基準マーカーの位置と姿勢情報の間の座標変換関係を取得し、取得された座標変換関係に基づいて仮想の脊椎測定映像の座標系を患者の座標系に整合できる。

一実施例によれば、トラッキングセンサ１０２０がトラッキングするマーカーとは、対象体の動きや姿勢を測定するのに用いられる基準体であり得る。具体的には、マーカーは対象体に付着され得、前記トラッキングセンサ１０２０は当該マーカーの３次元空間上の位置情報とロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ）として定義される姿勢情報を測定することにより、マーカーが付着された対象体の現在の動きや姿勢を測定したり、または時間の経過によって変化する対象体の動きや姿勢をトラッキングできる。

一実施例によれば、マーカーの姿勢情報は、当該マーカーが３次元空間上で有する姿勢をロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ）による航空機の主軸（Ａｉｒｃｒａｆｔ Ｐｒｉｎｃｉｐａｌ Ａｘｅｓ）の概念を通じて示すものであり得る。ここで、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ）は、当該マーカーが３次元空間上で回転する軸または方向を意味する。ロール（ｒｏｌｌ）は、対象体の前の部分から後ろの部分へ貫通する軸またはその軸を基準に回転する方向を意味する。ピッチ（ｐｉｔｃｈ）は、対象体の前の部分を基準に上下に回転する方向またはその軸を意味する。ヨー（ｙａｗ）は、対象体の前の部分を基準に左右に回転する方向またはその軸を意味する。

一実施例によれば、マーカーが付着される対象体の位置と姿勢を同時に測定するために、イメージ情報が含まれたマーカーが用いられ得る。実施例によって、マーカーには、プリンティング技法、ステンシル技法、スタンピング技法またはリソグラフィ技法などを通じて形成されたイメージ情報が含まれ得る。マーカーに含まれた当該イメージを実際に結像した結像イメージと、既に格納されている当該イメージに関する情報から、それぞれ互いに対応する２つ以上の任意の特徴点座標が検出され得る。この対応する特徴点座標の間の関係式から当該イメージを含むマーカーに対する姿勢が決定され得る。また、複数の位置でマーカーに含まれた当該イメージを結像し、それぞれの結像イメージ情報に基づいた三角法を通じて当該マーカーの位置も決定され得る。

一実施例によれば、マーカーが付着される対象体の位置と姿勢を同時に測定するために、３つ以上の複数のマーカーが用いられることもできる。それぞれのマーカーを用いて、当該対象体の、６自由度（６ Ｄｅｇｒｅｅ ｏｆ Ｆｒｅｅｄｏｍ）の位置及び姿勢が全て測定され得る。

一実施例によれば、基準マーカーは、仮想の脊椎測定映像を患者人体に整合する基準になるマーカーであり得る。実施例によって基準マーカーは患者人体に固定され得る。例えば、患者の脊椎骨のうちの１つに基準マーカーが固定されたり、患者の歯に基準マーカーが付着されたテンプレートが固定され得る。基準マーカーの位置と姿勢情報に基づいて、患者の座標系に仮想の脊椎測定映像の座標系が整合され得る。

一実施例によれば、スキャナマーカーは、上述の３Ｄスキャナに付着されて、３Ｄスキャナのスキャニングポイントを取得するのに用いられるマーカーであり得る。スキャナマーカーの位置と姿勢情報に基づいて、３Ｄスキャナが背表面のスキャニングを行う背表面の所定部位と、それに対応する背表面スキャンイメージに関する座標変換関係が取得され得る。

一実施例によれば、上述した脊椎測定映像のうち、プロセッサにより生成される仮想の脊椎測定映像を除いた脊椎測定映像は、ＣＴＡ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ Ａｎｇｉｏｇｒａｐｈｙ）映像、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）映像またはＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）映像であり得る。ここで、映像とは、対象体の内部構造を撮影した映像を意味する。具体的には、映像は、非侵襲検査のために、身体内の構造的な細部事項、内部組織及び／又は流体の流れなどを撮影した後に処理したものであり得る。

一実施例によれば、上述の３Ｄスキャナ１０１０、トラッキングセンサ１０２０及び／又は脊椎映像撮影部は、取得した背表面スキャンイメージ、マーカーの位置と姿勢情報及び／又は脊椎測定映像をメモリ１０３０に伝達することができる。メモリ１０３０は、伝達された背表面スキャンイメージ、マーカーの位置と姿勢情報及び／又は脊椎測定映像を今後の活用のために格納できる。

一実施例によれば、映像整合装置は、ネットワークインターフェース（図示せず）をさらに含むことができる。ネットワークインターフェースは、サーバとブロードバンドを通じて通信し、人体相関モデルを受信することができる。

一実施例によれば、プロセッサ１０４０は、上述の人体相関モデルを直接生成することができる。プロセッサ１０４０は、手術対象になる患者の背表面スキャンイメージ及び／又は脊椎測定映像をメモリ１０３０から取得し、当該患者の患者毎の人体相関モデルを生成できる。実施例によってプロセッサ１０４０は、複数の他の患者のグループから選択された少なくとも１つの患者に対する背表面スキャンイメージ及び／又は脊椎測定映像をメモリ１０３０から取得し、データベース基盤の人体相関モデルを生成できる。実施例によってプロセッサ１０４０は、ネットワークインターフェースを通じてサーバから取得された背表面スキャンイメージ及び／又は脊椎測定映像を用いて、患者毎の人体相関モデルまたはデータベース基盤の人体相関モデルを生成できる。

一実施例によれば、映像整合装置は、表出部（図示せず）をさらに含むことができる。表出部は、３Ｄスキャナ１０１０によって取得された手術時の姿勢における患者の背表面スキャンイメージ、生成された仮想の脊椎測定映像及び／又は患者の座標系に整合された仮想の脊椎測定映像などをディスプレイできる。

一実施例によれば、映像整合装置は、ロボットアーム（ａｒｍ）をさらに含むことができ、プロセッサ１０４０は、ロボットアームを制御することができる。

一実施例によれば、映像整合装置は、上述のプロセッサ１０４０と上述のメモリ１０３０のみを含む概念で定義され得る。この実施例によれば、映像整合装置は、映像整合装置の外部の３Ｄスキャナ、トラッキングセンサ及び／又は脊椎映像撮影部から情報の伝達を受けることができる。プロセッサは、伝達された情報を用いて上述の映像整合装置の実施例による動作を行うことができる。

上述した本発明による映像整合装置の実施例は互いに組み合わされ得る。また、上述した本発明による映像整合装置の内部／外部コンポーネントは、実施例によって追加、変更、代替または削除され得る。また、上述した映像整合装置の内部／外部コンポーネントは、ハードウェアで具現され得る。

図２は、本発明の一実施例による映像整合装置が手術に用いられている活用例を示す図である。

上述のように、映像整合装置は、患者から取得された背表面スキャンイメージと人体相関モデルを用いて、当該患者に対する仮想の脊椎測定映像を生成できる。

上述した実施例のうち、任意の一実施例による映像整合装置が、手術テーブル２０１０に支持された患者２０２０に活用されている図が図２に示されている。図２に示すように、一実施例による映像整合装置は、３Ｄスキャナ１０１０、トラッキングセンサ１０２０、メモリ及び／又はプロセッサを含むことができる。

具体的には、手術の対象になる患者２０２０は、手術テーブル２０１０に支持され得る。手術テーブルに支持された患者人体には、基準マーカー３０１０が固定され得る。上述のように、基準マーカー３０１０は、患者の脊椎骨のうちの１つに固定的に設けられる。３Ｄスキャナ１０１０には、スキャナマーカー３０２０が付着され得る。スキャナマーカー３０２０は、３Ｄスキャナ１０１０のスキャニングポイントに関する情報を取得するのに用いられる。

３Ｄスキャナ１０１０は、手術テーブルに支持された患者の背表面を３Ｄスキャンすることができる。ここで、手術テーブルに支持された患者の、手術時の姿勢における背表面がスキャンされ得る。これにより３Ｄスキャナ１０１０は、手術時の姿勢における患者の背表面スキャンイメージを取得できる。手術の対象になる患者の手術時の姿勢は、実施例によって第１姿勢と称される。

３Ｄスキャナ１０１０は、例えば、手術テーブルのｚ軸上の上方で、手術テーブルの上板を眺める方向に設けられる。これにより３Ｄスキャナ１０１０は、手術テーブル２０１０に支持された患者２０２０の人体をスキャニングできるように、手術テーブル２０１０の上板を眺めることができる。３Ｄスキャナ１０１０の位置は、実施例によって変更され得る。

トラッキングセンサ１０２０は、基準マーカー３０１０の位置と姿勢情報、及びスキャナマーカー３０２０の位置と姿勢情報を取得できる。トラッキングセンサ１０２０は、例えば、手術テーブルのｙ軸上の上方または下方で、手術テーブル２０１０を眺める方向に設けられる。即ち、トラッキングセンサ１０２０は、患者人体に固定された基準マーカー３０１０及び／又は３Ｄスキャナ１０１０に付着されたスキャナマーカー３０２０の位置と姿勢をトラッキングできるように、手術テーブルに支持された患者の頭または足の方向に設けられ得る。トラッキングセンサ１０２０の位置は、実施例によって変更され得る。

メモリは、上述した実施例による人体相関モデルを格納できる。実施例によってメモリは、上述した実施例による人体相関モデルのうち少なくとも１つを格納できる。メモリは、この活用例で示されていない。

プロセッサは、３Ｄスキャナ１０１０が取得した対象患者の背表面スキャンイメージを３Ｄスキャナ１０１０から取得できる。また、プロセッサは、人体相関モデルをメモリから取得できる。プロセッサは、取得された背表面スキャンイメージを人体相関モデルに適用して仮想の脊椎測定映像を生成できる。プロセッサは、この活用例で示されていない。

具体的には、プロセッサは、伝達された背表面スキャンイメージから対象患者の背表面の形態に関する情報を抽出できる。この時、抽出される背表面形態に関する情報は、対象患者に対する背表面形態を示す情報であり得る。具体的に当該背表面形態に関する情報は、対象患者が手術テーブルに支持された状態で、手術時（ｉｎｔｒａ−ｏｐｅｒａｔｉｖｅ）の姿勢を取っている時の背表面の形態を示す情報であり得る。

また、プロセッサは、抽出された対象患者の背表面形態情報を、伝達された人体相関モデルに入力して背表面が当該形態を現す時の脊椎の推定された位置値を取得できる。これを通じて対象患者が手術時の姿勢を取っている時の推定された脊椎の位置に関する情報が取得され得る。

プロセッサは、推定された脊椎の位置に関する情報を用いて、仮想の脊椎測定映像を生成できる。生成される仮想の脊椎測定映像は、対象患者が手術時の姿勢を取っている時の脊椎の位置を推定して、これを実際に撮影された脊椎測定映像のようにイメージ化したものであり得る。

プロセッサは、生成された仮想の脊椎測定映像を患者身体に整合できる。即ち、プロセッサは整合過程で、トラッキングセンサ１０２０によって取得された基準マーカー３０１０の位置と姿勢情報、及びスキャナマーカー３０２０の位置と姿勢情報を用いることができる。整合過程によって仮想の脊椎測定映像の座標系は、患者身体の座標系に整合され得る。これにより、整合された仮想の脊椎測定映像に示される推定された脊椎の位置に基づいて、実際の患者身体における手術などが進められる。

図３は、本発明の一実施例による人体相関モデルを生成する過程を示す図である。

上述のように人体相関モデルは、人体の背表面と脊椎の相関関係に対するモデルであり得る。具体的には、人体相関モデルは、背表面の形態と、当該背表面の形態における患者人体内部の脊椎の位置間の関係を示すことができる。

ここで、脊椎の位置とは、脊椎の患者人体内における位置を意味したり、あるいは文脈によっては脊椎の軟組織が収縮または弛緩することにより脊椎が配列される位置または形態を示す意味であり得る。

図３に示すように、人体相関モデルは、背表面をスキャンした背表面スキャンイメージとこの時の脊椎を撮影した脊椎測定映像５０１０を用いて生成され得る。具体的には、人体相関モデルは、背表面スキャンイメージから取得される背表面形態に関する情報５０３０と、脊椎測定映像５０１０から取得される脊椎の位置に関する情報に基づいて、背表面と脊椎の間の相関関係を取得することにより生成され得る。実施例によって人体相関モデルの生成過程で、患者の脊椎の軟組織物性値５０４０がさらに用いられることもできる。

ここで、脊椎撮影映像５０１０、背表面の形態に関する情報５０３０及び／又は脊椎の軟組織物性値５０４０は、ある患者人体に関するデータであり得る。例えば、上述の患者毎の人体相関モデルを生成する場合、生成に用いられる脊椎測定映像は、手術の対象になる患者の脊椎測定映像であり、背表面形態に関する情報は、当該患者の背表面から取得されたものであり、脊椎の軟組織物性値は、当該患者の脊椎軟組織の測定された物性値であり得る。

まず、脊椎測定映像５０１０を通じて当該人体の脊椎に対する脊椎３Ｄモデル５０２０が生成され得る。ここで、脊椎測定映像５０１０は、人体の脊椎を撮影したＣＴＡ映像、ＣＴ映像及び／又はＭＲＩ映像などを意味する。生成された脊椎３Ｄモデル５０２０は、脊椎の形態、即ち、脊椎骨のような硬組織及び／又は脊椎骨の間の軟組織を３Ｄでモデリングしたものであり得る。

この後、脊椎の位置による背表面形態値が測定され得る。脊椎骨及び脊椎軟組織が配列される位置により、人体の背表面の形態が異なり得る。このような脊椎の位置による背表面の形態を測定することにより、脊椎の位置と背表面の形態の間の相関関係情報が取得され得る。この相関関係情報は、脊椎測定映像５０１０から取得される脊椎の位置に関する情報と背表面スキャンイメージから取得される背表面形態情報５０３０の間の物理的な関係を示す構成方程式（ｃｏｎｓｔｉｔｕｔｉｖｅ ｌａｗ）であり得る。

取得された相関関係情報は、上述した脊椎３Ｄモデル５０２０に反映され得る。脊椎位置と背表面形態の間の相関関係情報が上述した脊椎３Ｄモデル５０２０に反映されることにより、人体相関モデル４０１０が生成され得る。

この過程で、相関関係情報及び脊椎３Ｄモデル５０２０を通じて生成される人体相関モデル４０１０は、脊椎に対する動的モデルであり得る。即ち、人体相関モデルは、背表面の形態変化により脊椎の位置変化を予測することができる。例えば、人体相関モデルに背表面の形態に対する時系列的な情報を入力した時、人体相関モデルは、時間の経過によって変化する脊椎の位置変化を出力できる。これにより、人体相関モデルは、患者の手術中に動きや姿勢の変更が発生しても、変化した脊椎の位置を予測することができる。

一実施例によれば、脊椎の位置による背表面形態値の測定は、複数繰り返して行うことができる。即ち、患者の姿勢変更を通じて脊椎の位置を異にしながら、それぞれの脊椎の位置による背表面の形態が測定できる。これにより複数の相関関係情報が取得され、人体相関モデル４０１０に反映される。多様な脊椎の位置における相関関係情報が取得されるほど、以降に生成される人体相関モデル４０１０がさらに正確に脊椎の位置による背表面の形態を推定することができる。

一実施例によれば、脊椎が特定方向に動く時の背表面の形態から時間順に複数の背表面スキャンイメージを取得し、これから取得された複数の相関関係情報を人体相関モデルに反映させることができる。これを通じて、脊椎が特定方向に動く場合に背表面形態の時系列的な変化過程が人体相関モデルに反映され得る。

一実施例によれば、相関関係情報は、偏微分方程式の解を有限要素法（Ｆｉｎｉｔｅ Ｅｌｅｍｅｎｔ Ｍｅｔｈｏｄ、ＦＥＭ）によって求めることによって取得できる。具体的には、脊椎位置と背表面形態の間の関係は、脊椎位置を変数とする背表面形態値の偏微分方程式または背表面形態値を変数とする脊椎位置の偏微分方程式で示され得る。当該偏微分方程式の近似解を有限要素法によって求めることにより、上述の脊椎位置と背表面形態の間の相関関係情報が取得できる。

一実施例によれば、人体相関モデル４０１０は、患者の脊椎に対して測定された軟組織物性値５０４０を追加で反映させて生成できる。具体的には、上述の脊椎位置による背表面形態の相関関係に基づいて人体相関モデル４０１０を生成する過程で、患者の脊椎の軟組織物性値５０４０が考慮できる。ここで脊椎の軟組織とは、脊椎骨を囲んでいる筋肉系、腱、靭帯など、脊椎骨の隣接部位の軟組織を意味し得る。軟組織物性値とは、そのような軟組織の弾性度、収縮係数などの物理的特性及び／又は軟組織を構成する物質の化学的、生物学的特性などを全て意味する。軟組織物性値は、患者によって異なり得る。

まず、脊椎骨のような硬組織と前記軟組織が区分され得る。患者の脊椎が特定方向に収縮または弛緩する時、同じ方向への動きでも患者の脊椎軟組織物性値によって、脊椎硬組織が配列される位置が異なり得る。また、同じ脊椎硬組織の配列でも、患者の脊椎軟組織物性値によって、その時の背表面の形態が異なり得る。

よって、脊椎測定映像及び／又は背表面スキャンイメージを反映させて人体相関モデルを生成する時、当該患者の脊椎軟組織物性値が反映されれば、脊椎の位置による背表面の形態をさらに正確に推定する、動的モデルとしての人体相関モデルが生成され得る。例えば、脊椎の位置によって軟組織がいかなる方向にどの程度収縮するようになるか、これにより背表面はいかなる形態を現すようになるかについて、より具体的な相関関係を取得して人体相関モデルが生成され得る。

ここで脊椎軟組織の物性値５０４０は、軟組織の弾性関連特性及び硬直度の模様をイメージ化して測定され得る。このためにＵＳＥ（Ｕｌｔｒａｓｏｕｎｄ Ｅｌａｓｔｏｇｒａｐｈｙ）方式が用いられる。

一実施例によれば、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）方式を用いて、脊椎の位置による背表面形態の相関関係情報を導き出すことができる。ここでディープラーニングとは、マシンラーニングの１つの分野であって、コンピュータなどにロー（ｒａｗ）データをそのまま入力すると、ディープラーニングアルゴリズムが人工神経網を基盤に当該データを理解して高い水準の抽象化された情報を抽出する方式である。このようなディープラーニング方式を基盤に、ビッグデータ形態の脊椎位置情報及びそれによる背表面形態の情報を用いて両者間の相関関係情報を導き出せる。ディープラーニングを通じて取得された相関関係情報を人体相関モデルの生成時に用いることにより、脊椎位置及び背表面形態の相関関係の精度を高めることができる。

一実施例によれば、人体相関モデルは、患者の背表面に対する３Ｄスキャンイメージなしに、患者の脊椎に対する映像を周波数を異にして撮影することにより生成されることができる。ＣＴなどの映像撮影技法は、撮影時に周波数によって骨、歯などの硬組織または皮膚などの軟組織が明確に示されるように人体を撮影することができる。この時、軟組織が明確に示されるように撮影された脊椎撮影映像が上述の背表面スキャンイメージに代替することができる。硬組織が明確に示されるように撮影された脊椎撮影映像と、軟組織が明確に示されるように撮影された脊椎撮影映像を用いて背表面と脊椎に対する相関関係が取得され得、これを基盤に人体相関モデルが生成されることができる。

図４は、本発明の一実施例による患者毎の人体相関モデルの生成及び活用過程を示す図である。

上述のように人体相関モデルは、患者毎の人体相関モデルであり得る。患者毎の人体相関モデルは、手術の対象になる患者の背表面と脊椎の間の相関関係による人体相関モデルであり得る。

患者毎の人体相関モデルは、当該患者から手術前（ｐｒｅ−ｏｐｅｒａｔｉｖｅ）に既取得した脊椎測定映像６０１０及び／又は背表面スキャンイメージ６０２０に基づいて生成され得る。ここで、手術前に既取得した当該患者の脊椎測定映像６０１０は第２脊椎測定映像、手術前に既取得した当該患者の背表面スキャンイメージ６０２０は第２背表面スキャンイメージと称される。

具体的には、図４に示された患者毎の人体相関モデルの生成及び活用過程は、手術対象の患者の手術前の脊椎測定映像６０１０と手術前の背表面スキャンイメージ６０２０に基づいて両者間の相関関係情報を取得する段階（Ｓ１０１０）、相関関係情報に基づいて生成された患者毎の人体相関モデル４０１０に対象患者の手術中の背表面スキャンイメージ４０２０を適用する段階（Ｓ１０２０）及び／又は仮想の脊椎測定映像４０３０を生成する段階（Ｓ１０３０）を含むことができる

まず、手術の対象になる患者の手術前の脊椎測定映像６０１０と手術前の背表面スキャンイメージ６０２０が取得され得る。ここで手術前の脊椎測定映像６０１０は、手術前に対象患者から既取得した脊椎測定映像であり得る。また、手術前の背表面スキャンイメージ６０２０は、手術前の脊椎測定映像６０１０が取得される時の患者の姿勢から取得された患者の背表面スキャンイメージであり得る。

手術前の脊椎測定映像６０１０から取得される脊椎位置情報と、手術前の背表面スキャンイメージ６０２０から取得される背表面形態情報の間の相関関係情報が取得され、これを基にして、手術対象の患者に対する患者毎の人体相関モデル４０１０が生成され得る。この患者毎の人体相関モデル４０１０の生成過程は、上述の人体相関モデルの生成過程によるものの、その過程で用いられる脊椎撮影映像は手術前の脊椎測定映像６０１０であり、背表面に関する情報は手術前の背表面スキャンイメージ６０２０から取得される情報であり得る。

生成された患者毎の人体相関モデル４０１０に、手術中に取得される背表面スキャンイメージ４０２０が適用され得る。手術中に取得される背表面スキャンイメージ４０２０は、手術テーブルに支持された対象患者の手術時の姿勢から取得される背表面スキャンイメージであり得る。この背表面スキャンイメージ４０２０は、対象患者の手術直前または手術途中に少なくとも１回以上対象患者の背表面から取得され得る。

ここで既取得して患者毎の人体相関モデルの生成の基礎となった手術前の脊椎測定映像６０１０と手術前の背表面スキャンイメージ６０２０は、対象患者の手術時における姿勢とは異なる姿勢から取得されたものであり得る。即ち、患者が手術時に手術テーブルに支持された状態で取る姿勢は、手術前の脊椎測定映像６０１０と手術前の背表面スキャンイメージ６０２０が患者から取得される時の患者の姿勢とは異なり得る。ここで、手術時に手術テーブルに支持された患者の姿勢は、上述のように第１姿勢と称される。手術前の脊椎測定映像６０１０と手術前の背表面スキャンイメージ６０２０が取得される時の患者の姿勢は第２姿勢と称される。

手術中に取得される背表面スキャンイメージ４０２０を、対象患者の患者毎の人体相関モデル４０１０に適用することにより、仮想の脊椎測定映像４０３０が生成され得る。仮想の脊椎測定映像４０３０は、対象患者が手術テーブルに支持された実際の手術時の姿勢における脊椎位置を推定して示すことができる。

一実施例によれば、上述のようにイメージ整合装置のプロセッサが、メモリに格納されている患者毎の人体相関モデルを用いるのではなく、手術前の脊椎測定映像６０１０と手術前の背表面スキャンイメージ６０２０に基づいて患者毎の人体相関モデルを直接生成することができる。この場合、イメージ整合装置のメモリは、手術前の脊椎測定映像６０１０と手術前の背表面スキャンイメージ６０２０を格納していることができる。プロセッサは、メモリから手術前の脊椎測定映像６０１０と手術前の背表面スキャンイメージ６０２０が伝達されて、患者毎の人体相関モデルを直接生成することができる。

一実施例によれば、対象患者の手術前の脊椎測定映像６０１０と手術前の背表面スキャンイメージ６０２０は、オプティカルマーカーを用いて既取得したものであり得る。対象患者は、手術前の脊椎測定映像６０１０を撮影する時、背表面の患部の周辺にオプティカルマーカーを付着して撮影することができる。実施例によってオプティカルマーカーは、中空の四角形環状であり、各四角形の辺には光を発散するマーカーが四角形の辺に沿って並んで付着されていることができる。手術前の脊椎映像６０１０を撮影する時、脊椎測定映像を取得すると同時に、対象患者に付着されているオプティカルマーカーから背表面の形態を取得することができる。この後に実際の手術時に患者の手術部位にオプティカルマーカーを同一に付着して、手術時の患者の背表面形態をリアルタイムで取得しながら手術を進めることができる。オプティカルマーカーから取得される患者の背表面形態は、脊椎の位置をリアルタイムで推定する仮想の脊椎測定映像を生成するのに用いられ得る。

一実施例によれば、患者毎の人体相関モデルの生成時には、手術対象の患者から既測定された脊椎軟組織物性値がさらに活用され得る。手術対象の患者の脊椎軟組織物性値を人体相関モデルに反映させることにより、患者毎の人体相関モデルが手術対象の患者の人体特性をさらに反映させた形態で生成され得る。

図５は、本発明の一実施例によるデータベース基盤の人体相関モデルの生成及び活用過程を示す図である。

上述のように人体相関モデルは、データベース基盤の人体相関モデルであり得る。データベース基盤の人体相関モデルは、データベース７０３０に蓄積された少なくとも１つ以上の脊椎及び背表面に関するデータに基づいて、人体の脊椎位置と背表面の平均的な相関関係を示す人体相関モデルであり得る。

データベース基盤の人体相関モデルは、上述の患者毎の人体相関モデルをデータベース７０３０に格納された背表面スキャンイメージ７０２０及び／又は脊椎測定映像７０１０を用いて補正することにより生成され得る。ここで、データベースから選択されたある患者の脊椎測定映像７０１０は、第３脊椎測定映像、選択された患者の背表面スキャンイメージ７０２０は、第３背表面スキャンイメージと称される。

具体的には、図５に示された患者毎の人体相関モデルの生成及び活用過程は、患者毎の人体相関モデルを生成し、データベース７０３０のデータを用いて患者毎の人体相関モデルを補正（修正）してデータベース基盤の人体相関モデル４０１０を生成し、データベース基盤の人体相関モデル４０１０を通じて仮想の脊椎測定映像４０３０を生成する過程を含むことができる。

まず、対象患者の手術前の脊椎測定映像６０１０と手術前の背表面スキャンイメージ６０２０に基づいて患者毎の人体相関モデルが生成され得る。患者毎の人体相関モデルの生成は上述の通りであり得る。

この後、データベース７０３０の複数の他の患者のグループから選択された少なくとも１つの患者に対する脊椎測定映像７０１０及び／又は背表面スキャンイメージ７０２０を用いて、上述の患者毎の人体相関モデルが補正され得る。データベース７０３０には、複数の他の患者人体から取得された脊椎撮影映像及び／又は当該脊椎撮影映像に対応する背表面スキャンイメージが格納されていることができる。ここで脊椎撮影映像に対応する背表面スキャンイメージとは、当該脊椎撮影映像が取得される時点の患者の背表面を３Ｄスキャナでスキャンしたイメージを意味する。

具体的には、データベース７０３０から取得された脊椎測定映像７０１０から脊椎の位置情報が取得され、また、対応する背表面スキャンイメージ７０２０から背表面形態情報が取得され得る。取得された脊椎位置情報及び背表面形態情報を用いて相互間の相関関係情報が導き出され、この相関関係情報が既に生成された患者毎の人体相関モデルに反映され得る。

データベース基盤の人体相関モデルの生成のためにデータベース７０３０から選択される患者は、手術対象の患者ではなく他の患者であり得る。また、データベース７０３０から選択される患者の数は複数であり得る。選択される患者が多いほど、生成される人体相関モデルがさらに正確に脊椎位置による背表面形態を推定できる。

このような過程を通じて生成されたデータベース基盤の人体相関モデル４０１０に対象患者の手術中の背表面スキャンイメージ４０２０を適用して仮想の脊椎測定映像４０３０が生成され得る。

一実施例によれば、上述のようにイメージ整合装置のプロセッサが、メモリに格納されている既に生成されたデータベース基盤の人体相関モデルを用いるのではなく、直接メモリに格納されている患者毎の人体相関モデルを補正して、データベース基盤の人体相関モデル４０１０を生成することができる。この場合、イメージ整合装置のメモリは、患者毎の人体相関モデルを格納していることができる。

一実施例によれば、イメージ整合装置のプロセッサが直接データベース基盤の人体相関モデルを生成する場合、メモリは、上述のデータベース７０３０の役割をすることができる。この場合、メモリは、複数の他の患者に対する脊椎測定映像７０１０及び／又は背表面スキャンイメージ７０２０を格納できる。

一実施例によれば、イメージ整合装置のプロセッサが直接データベース基盤の人体相関モデルを生成する場合、上述のネットワークインターフェースは、データベース基盤の人体相関モデルの生成に必要なデータをサーバから受信することができる。即ち、ネットワークインターフェースは、データベース７０３０の役割をするサーバと通信して、脊椎測定映像７０１０及び／又は背表面スキャンイメージ７０２０を受信し、プロセッサに伝達することができる。プロセッサは、伝達されたデータを用いてデータベース基盤の人体相関モデルを生成できる。

一実施例によれば、データベース基盤の人体相関モデルは、ビッグデータ（Ｂｉｇ ｄａｔａ）技術を用いて生成されることができる。ここでビッグデータとは、大量の定形または非定形のデータ集合から特徴やパターンを抽出してその結果を分析する技術を意味する。ビッグデータ技術を用いて他の患者等に対する脊椎及び背表面に関する情報を取得でき、ビッグデータ形態の脊椎及び背表面情報を用いて患者毎の人体相関モデルが補正されてデータベース基盤の人体相関モデルが生成され得る。

一実施例によれば、データベース基盤の人体相関モデルは、手術対象の患者の脊椎及び背表面に関する情報を排除して生成されることができる。上述のように、データベース基盤の人体相関モデルは、患者毎の人体相関モデルを補正することにより生成できるが、実施例によって患者毎の人体相関モデルなしに、データベースで取得した複数の患者に関する情報のみを用いて生成されることができる。この場合、データベース基盤の人体相関モデルは、上述の人体相関モデルの生成過程によって、複数の患者に対する脊椎位置及び背表面情報を用いて生成され得る。

一実施例によれば、データベースから選択される患者は手術の対象になる患者が属する患者グループの患者であり得る。ここで、患者グループとは、患者等の特性に基づいて複数の患者を区分したグループを意味する。例えば、手術対象の患者が４５歳の男性である場合、データベース基盤の人体相関モデルを生成するためにデータベースから選択される患者は４０代の男性の患者であり得る。

一実施例によれば、データベース基盤の人体相関モデルの生成時にも、データベースから選択される患者の既測定された脊椎軟組織物性値が活用され得る。選択された患者の脊椎及び背表面に関する情報以外に、その選択された患者の脊椎の軟組織物性値がデータベース７０３０にあれば、その軟組織物性値も患者毎の人体相関モデルを補正する時に用いられる。

図６は、本発明の一実施例による人体相関モデルを補正する過程を示す図である。

上述のように、人体相関モデルは、手術時の対象患者の姿勢に基づいて追加で補正され得る。即ち、イメージ整合装置のプロセッサは、手術テーブルに支持された患者の手術時の姿勢から取得される追加の情報に基づいて、上述の人体相関モデルをさらに補正することができる。ここで補正の対象になる人体相関モデルは、患者毎の人体相関モデル、データベース基盤の人体相関モデルなど、本発明の全ての実施例による人体相関モデルであり得る。

補正の過程は、手術テーブルに支持された患者２０２０の手術時の姿勢（第１姿勢）から脊椎測定映像８０１０と背表面スキャンイメージ８０２０を取得して、これに基づいて人体相関モデルを補正するものとして進めることができる。ここで、手術テーブルに支持された患者２０２０の手術時の姿勢（第１姿勢）から撮影された脊椎測定映像８０１０は、第４脊椎測定映像と称される。手術時の姿勢から取得された患者の背表面スキャンイメージ８０２０は、上述した手術時の姿勢の背表面スキャンイメージ４０２０と同一であり得、第１背表面スキャンイメージと称される。

このような人体相関モデルの補正は、人体相関モデルに患者の手術時の姿勢における脊椎位置と背表面に関する情報を反映させるために行われ得る。上述した対象患者の患者毎の人体相関モデルの生成に基盤となった脊椎測定映像６０１０及び背表面スキャンイメージ６０２０は、患者が手術前に手術時における環境とは異なる環境で取得したものであり得る。また、このような情報を撮影する時の患者の姿勢（例えば、第２姿勢）と、手術テーブルに支持された患者２０２０が手術時に取る姿勢（第１姿勢）は互いに異なることがある。手術開始前に手術時の姿勢における患者に対して脊椎撮影映像８０１０と背表面スキャンイメージ８０２０を取得し、両者間の相関関係を人体相関モデルにフィードバックすることにより、人体相関モデルの精度をさらに高めることができる。

具体的には、手術テーブルに支持された手術時の姿勢（第１姿勢）における患者２０２０から、脊椎測定映像８０１０を取得できる。脊椎測定映像を取得するために、イメージ整合装置は、脊椎映像撮影部をさらに含むことができる。脊椎映像撮影部は、手術テーブルに支持された患者に対して脊椎測定映像８０１０を撮影できるように設けられる。脊椎映像撮影部は、手術時の姿勢における患者に対する脊椎測定映像８０１０を取得できる。

また、上述のように、３Ｄスキャナは、手術テーブルに支持された手術時の姿勢（第１姿勢）における患者の背表面を３Ｄスキャニングすることができ、これにより手術時の姿勢を取っている患者の背表面スキャンイメージ８０２０を取得できる。この背表面スキャンイメージ８０２０は、上述した手術時の姿勢の背表面スキャンイメージ４０２０と同一であり得る。

プロセッサは、手術時の姿勢における脊椎撮影映像８０１０と背表面スキャンイメージ８０２０から、それぞれ手術時の姿勢における脊椎の位置に関する情報及び背表面形態に関する情報を取得できる。プロセッサは、脊椎位置及び背表面に関する情報を用いて両者間の相関関係情報を取得できる。この後、プロセッサは、取得された相関関係情報を用いて、補正の対象になる人体相関モデルを補正することができる。

相関関係情報による人体相関モデルの補正は、手術時の姿勢における脊椎位置情報を人体相関モデルに入力して出力された背表面形態情報と、実際の背表面スキャンイメージから取得された背表面形態情報を比較することにより行われ得る。出力された背表面形態情報と実際の背表面形態情報に既定義された閾値（ｔｈｒｅｓｈｏｌｄ）以上の差異がある場合、補正を行うことができる。補正は、実際の脊椎位置情報と実際の背表面形態情報の間の相関関係を導き出し、当該相関関係に加重値をおいた後、既存の人体相関モデルに加重値が付与された相関関係を付加的に反映させることにより行われ得る。

この後、プロセッサは、手術時の姿勢に対して補正された人体相関モデル４０１０を用いて上述の仮想の脊椎測定映像を生成できる。

一実施例によれば、プロセッサは、手術時の姿勢から取得された情報を基盤に、所定回数繰り返して人体相関モデルの補正を実施することができる。この場合、複数回の補正のために、３Ｄスキャナは手術時の姿勢の患者背表面を複数回３Ｄスキャニングすることができ、脊椎映像撮影部は、複数回繰り返して手術時の姿勢の患者の脊椎を撮影することができる。

図７は、本発明の一実施例による仮想の脊椎測定映像を患者人体に整合する過程を示す図である。

上述のように、プロセッサは、生成された仮想の脊椎測定映像４０３０を患者２０２０の人体に整合できる。仮想の脊椎測定映像４０３０が患者２０２０に整合されることにより、プロセッサは、仮想の脊椎測定映像４０３０が推定する脊椎の位置が実際の患者２０２０の人体においてどこに当該するかが分かり、これによりロボットアームなどに制御信号を送ることができる。

ここでの整合とは、仮想の脊椎測定映像４０３０の座標系を患者２０２０の人体の座標系に一致させることを意味する。整合のために、トラッキングセンサ１０２０によって取得された基準マーカー３０１０の位置と姿勢情報、スキャナマーカー３０２０の位置と姿勢情報、背表面スキャンイメージ４０２０及び／又は仮想の脊椎測定映像４０３０などの情報が用いられ得る。

具体的には、トラッキングセンサ１０２０が上述の基準マーカー３０１０の位置と姿勢情報Ｂ及び／又はスキャナマーカー３０２０の位置と姿勢情報Ｃを取得できる。プロセッサは、トラッキングセンサ１０２０から基準マーカーの位置と姿勢情報Ｂ及び／又はスキャナマーカーの位置と姿勢情報Ｃの伝達を受けることができる。

上述のように、基準マーカー３０１０は、患者人体に固定的に表示されたマーカーであって、患者座標系の基準点になるマーカーであり得る。また、スキャナマーカー３０２０は、３Ｄスキャナ１０１０に付着されるマーカーであって、３Ｄスキャナがスキャニングしているポイントを示すために用いられる。実施例によって、スキャナマーカー３０２０は、３Ｄスキャナ１０１０の末端に付着され得る。

ここでプロセッサは、患者人体に固定される基準マーカー３０１０を基準に患者座標系を定義することができる。定義された患者座標系上で、ロボットアームなどの手術装置の位置が表示され得る。実施例によって、この過程を手術装置（例えば、ロボットアーム）の座標系が患者の座標系と整合されたと表現することができる。

トラッキングセンサ１０２０によって取得される特定マーカーの位置情報とは、基準マーカー３０１０を基準に定義された患者座標系上で、その特定マーカーが有する位置座標を意味する。ここで座標系とは、実施例によってｘ、ｙ、ｚ軸で示される直交位置座標系を意味する。位置座標とは、座標系上のｘ、ｙ、ｚ位置を示す空間座標を意味する。

トラッキングセンサ１０２０によって取得される特定マーカーの姿勢情報とは、患者座標系上に位置したその特定マーカーが有する、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ）として定義される姿勢を意味することができる。ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ）については上述した。

実施例によって、３Ｄスキャナ１０１０に追加マーカー３０３０がさらに付着されることができる。トラッキングセンサ１０２０は、追加マーカーの位置と姿勢情報Ａを取得して、プロセッサに伝達することができる。追加マーカーの位置と姿勢情報を用いて、３Ｄスキャナ１０１０の現在のスキャニングポイントに関する正確な情報がプロセッサに伝達され得る。

プロセッサは整合過程で、背表面スキャンイメージ４０２０と３Ｄスキャナ１０１０のスキャニングポイント間の座標変換関係Ｄ及び／又は背表面スキャンイメージ４０２０と仮想の脊椎測定映像４０３０間の座標変換関係Ｅに関する情報をさらに取得できる。

ここで用いられる背表面スキャンイメージ４０２０は、手術テーブルに支持された患者２０２０の手術時の姿勢（第１姿勢）に対して取得された背表面スキャンイメージであって、上述の第１背表面スキャンイメージに該当し得る。

座標変換関係Ｄは、背表面スキャンイメージ４０２０と当該背表面スキャンイメージをスキャニングする３Ｄスキャナ１０１０のスキャニングポイント間の座標変換関係を意味する。ここで３Ｄスキャナ１０１０のスキャニングポイントは、３Ｄスキャナに付着されたスキャナマーカー３０２０の位置と姿勢で示されることができる。当該座標変換関係Ｄを通じて、背表面スキャンイメージ４０２０上の一地点が、実際の空間上で患者の背表面のどの部分をスキャニングしたかに関する関係式が分かる。この座標変換関係Ｄは、第１座標変換関係と称される。プロセッサは、座標変換関係Ｄを３Ｄスキャナ１０１０から伝達されて取得できる。

座標変換関係Ｅは、背表面スキャンイメージ４０２０と当該背表面スキャンイメージを基盤に生成された仮想の脊椎測定映像４０３０の間の座標変換関係を意味する。当該座標変換関係Ｅを通じて、背表面スキャンイメージ４０２０上の一地点が、仮想の脊椎測定映像４０３０上でどの地点に該当するかに関する関係式が分かる。この座標変換関係Ｅは、第２座標変換関係と称される。プロセッサは、背表面スキャンイメージ４０２０から仮想の脊椎測定映像４０３０を生成する過程で、座標変換関係Ｅを取得できる。

プロセッサは、取得された基準マーカーの位置と姿勢情報Ｂ、スキャナマーカーの位置と姿勢情報Ｃ、座標変換関係Ｄ及び／又は座標変換関係Ｅを用いて、仮想の脊椎測定映像４０３０から基準マーカー３０１０の位置と姿勢情報への座標変換関係Ｒを取得できる。座標変換関係Ｒは、仮想の脊椎測定映像４０３０の一地点が、実際の空間上の患者座標系上のどの地点に変換されるかに関する関係式であり得る。患者座標系の基準になる、基準マーカーの位置と姿勢情報に関する座標変換関係Ｒが取得されれば、仮想の脊椎測定映像４０３０を実際の患者２０２０の人体上でどの部分に整合されなければならないかが分かる。

実施例によって、マーカーの位置と姿勢情報も座標変換関係で表されることができる。上述のように、トラッキングセンサ１０２０は、基準マーカー３０１０の位置と姿勢をセンシングして基準マーカーの位置と姿勢情報Ｂを取得できる。この時、基準マーカーの位置と姿勢情報Ｂはトラッキングセンサ１０２０から、基準マーカーの位置と姿勢情報への座標変換関係Ｂと見ることもできる。同様に、スキャナマーカーの位置と姿勢情報Ｃはトラッキングセンサ１０２０から、スキャナマーカーの位置と姿勢情報への座標変換関係Ｃと見ることもできる。

実施例によって、座標変換関係は座標変換行列として示され得る。また、座標変換関係は、その定義によって、その逆変換関係に該当する内容として定義され得る。例えば、座標変換関係Ｅは、背表面スキャンイメージ４０２０で仮想の脊椎測定映像４０３０への座標変換関係であるものの、その定義によって仮想の脊椎測定映像４０３０で背表面スキャンイメージ４０２０への座標変換関係として定義することができる。

上述のように、座標変換関係Ｒを取得するための数式は下記の通りである。ここで、Ｔ（Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）は数式を作るための中間変数であり得る。

実施例によって、それぞれの座標変換関係を逆に定義すると、座標変換関係Ｒを取得するための数式は下記の通りであり得る。

プロセッサは、取得された座標変換関係Ｒを用いて、仮想の脊椎測定映像４０３０の座標系を患者２０２０の座標系に整合できる。医者及び／又はロボットアームなどは患者人体と整合された仮想の脊椎測定映像を基盤に、背表面による推定された脊椎位置に沿って脊椎手術を行うことができる。

仮想の脊椎測定映像４０３０を患者人体に整合する過程で、仮想の脊椎測定映像に対する変更が加えられ得る。例えば、患者人体との正確な整合のために仮想の脊椎測定映像はスケールアップ／ダウンされたり、空間上でｘ、ｙ、ｚ方向へのオフセットが調整され得る。

一実施例によれば、トラッキングセンサ１０２０は、患者に固定された基準マーカー３０１０の位置と姿勢情報を手術中に継続してトラッキングして、既定義された値以上に基準マーカー３０１０の位置または姿勢の変動が検知されれば、これをプロセッサに知らせることができる。プロセッサは、手術中の患者２０２０の姿勢が変動したと判断し、仮想の脊椎測定映像４０３０を再整合することができる。プロセッサは、上述の整合過程を再度実施して、仮想の脊椎測定映像４０３０の座標系を患者２０２０の座標系と再整合することができる。

図８は、本発明の一実施例による整合された仮想の脊椎測定映像を用いてロボットアームを制御する過程を示す図である。

実施例によって、映像整合装置は、ロボットアーム１０５０をさらに含むことができる。ロボットアームは、手術テーブルの側面に位置し、移動可能なロボットベースに付着された形態であり得る。または、ロボットアームは、手術テーブルに直接付着された形態であり得る。ロボットアームの末端には、脱着可能な手術道具１０６０がさらに付着され得る。

ロボットアーム１０５０には、マーカー３０４０が付着され得る。このマーカー３０４０は、ロボットアームマーカーと称される。トラッキングセンサは、ロボットアームマーカー３０４０の位置と姿勢情報を取得できる。これにより仮想の脊椎測定映像が整合された患者の座標系上で、ロボットアーム１０５０乃至手術道具１０６０の位置座標または姿勢情報が取得され得る。

ロボットアーム１０５０の末端に付着された手術道具１０６０にも追加でマーカー３０５０が付着され得る。手術道具に付着されるマーカーは、軽量または小型のマーカーであり得る。トラッキングセンサは、手術道具に付着されるマーカー３０５０の位置と姿勢情報を取得できる。これにより仮想の脊椎測定映像が整合された患者の座標系上で、手術道具１０６０の位置座標または姿勢情報が取得され得る。

プロセッサ１０４０はロボットアームを制御できる。プロセッサ１０４０、ロボットアーム１０５０にロボットアームを制御するための信号を送り、ロボットアームの位置、姿勢、動作などを制御できる。

プロセッサ１０４０は、ロボットアームを制御するにおいて、トラッキングセンサから取得されるロボットアームマーカー３０４０の位置と姿勢情報及び／又は仮想の脊椎測定映像を用いることができる。ここでロボットアームマーカー３０４０の位置情報は、仮想の脊椎測定映像の座標系と整合された患者の座標系を基準とした空間位置座標であり得る。ここで、ロボットアームマーカー３０４０の姿勢情報は、患者の座標系上でロボットアームマーカー３０４０が有する姿勢に関する情報であり得る。プロセッサ１０４０は、患者の座標系上に示されるロボットアーム１０５０の位置と姿勢情報と、仮想の脊椎測定映像に示される推定された脊椎の位置を用いて、ロボットアームが特定位置または特定姿勢で動くように制御信号を送ることができる。

プロセッサ１０４０は、トラッキングセンサから伝達されるマーカーの位置と姿勢情報を用いて、手術道具の姿勢も制御できる。手術道具に付着されるマーカー３０５０とロボットアームマーカー３０４０の位置と姿勢情報を同時に用いれば、現在の手術道具１０６０の傾いた程度など、姿勢に関する情報が取得され得る。プロセッサ１０４０は、手術道具の姿勢に関する情報を取得して、これに基づいてロボットアーム１０５０に制御信号を送り、手術道具の姿勢を制御できる。

一実施例によれば、プロセッサ１０４０は、ロボットアームマーカー３０４０及び／又は手術道具に付着されたマーカー３０５０の急激な位置または姿勢変化をトラッキングセンサを通じて検知すると、ロボットアーム１０５０に直ちに動作を止める信号を送ることができる。プロセッサ１０４０は、トラッキングセンサが検知する各マーカーの位置または姿勢に急激な変化があれば、患者の安全のためにロボットアーム１０５０を停止させる制御信号をロボットアーム１０５０に送ることができる。

図９は、本発明の一実施例による映像整合装置により行われ得る、映像整合方法を示す図である。

図９に示されたフローチャートでプロセスの段階、方法の段階、アルゴリズムなどが順次的な順序で説明されるが、そのようなプロセス、方法及びアルゴリズムは任意の適した順序で作動するように構成され得る。言い換えれば、本発明の多様な実施例で説明されるプロセス、方法及びアルゴリズムの段階が本発明で記述された順序で行われる必要はない。また、一部の段階が非同時的に行われるものとして説明されても、他の実施例ではこのような一部の段階が同時に行われ得る。また、図面に示されるプロセスの例示は、例示されたプロセスがそれに対する他の変化及び修正を除くことを意味せず、例示されたプロセスまたはその段階のうちのいずれかが本発明の多様な実施例のうちの１つ以上に必須であることを意味せず、例示されたプロセスが望ましいということを意味しない。

映像整合方法の一実施例は、患者の第１姿勢における第１背表面スキャンイメージを取得する段階（Ｓ９０１０）、基準マーカーの位置と姿勢情報及び／又はスキャナマーカーの位置と姿勢情報を取得する段階（Ｓ９０２０）、人体相関モデル及び／又は第１背表面スキャンイメージに基づいて、仮想の第１脊椎測定映像を生成する段階（Ｓ９０３０）及び／又は仮想の第１脊椎測定映像を患者に整合する段階（Ｓ９０４０）を含むことができる。

まず、３Ｄスキャナ１０１０は、手術テーブルに支持された患者の第１姿勢における背表面を３Ｄスキャンして第１背表面スキャンイメージを取得できる（Ｓ９０１０）。

トラッキングセンサ１０２０は、手術対象の患者人体に表示された基準マーカーの位置と姿勢情報及び／又は３Ｄスキャナに表示されたスキャナマーカーの位置と姿勢情報を取得できる（Ｓ９０２０）。

メモリ１０３０は、人体の背表面と脊椎の相関関係に関する人体相関モデルを格納できる。３Ｄスキャナ１０１０、トラッキングセンサ１０２０及び／又はメモリ１０３０と電気的に連結されているプロセッサ１０４０は、人体相関モデル及び／又は第１背表面スキャンイメージに基づいて、手術対象の患者の脊椎の位置を推定する仮想の第１脊椎測定映像を生成できる（Ｓ９０３０）。

また、プロセッサ１０４０は、基準マーカーの位置と姿勢情報及び／又はスキャナマーカーの位置と姿勢情報などに基づいて、仮想の第１脊椎測定映像の座標系を手術対象の患者の座標系に整合できる（Ｓ９０４０）。

一実施例によれば、プロセッサ１０４０は、第１背表面スキャンイメージから手術対象の患者の第１姿勢における背表面情報を抽出できる。また、プロセッサ１０４０は、人体相関モデル及び／又は背表面情報に基づいて、手術対象の患者の第１姿勢における脊椎位置情報を取得できる。また、プロセッサ１０４０は、取得された脊椎位置情報に基づいて、仮想の第１脊椎測定映像を生成できる。

一実施例によれば、人体相関モデルは、手術対象の患者の第２姿勢における背表面を３Ｄスキャンして取得された第２背表面スキャンイメージと、手術対象の患者の第２姿勢における脊椎を撮影して取得された第２脊椎測定映像の間の相関関係を用いて生成された第１相関モデルであり得る。第１相関モデルは、上述の患者毎の人体相関モデルであり得る。

一実施例によれば、人体相関モデルは、複数の他の患者のグループから選択された少なくとも１つの患者の背表面を３Ｄスキャンして取得された第３背表面スキャンイメージと、その選択された少なくとも１つの患者の脊椎を撮影して取得された第３脊椎測定映像の間の相関関係を用いて、第１相関モデルを補正することにより生成された第２相関モデルであり得る。第２相関モデルは、上述のデータベース基盤の人体相関モデルであり得る。

一実施例によれば、映像整合装置の脊椎映像撮影部は、手術対象の患者の第１姿勢における脊椎を撮影して第４脊椎測定映像を取得できる。プロセッサ１０４０は、第４脊椎測定映像と第１背表面スキャンイメージの間の相関関係を用いて人体相関モデルを補正できる。この補正は、上述の人体相関モデルの手術時の姿勢に対する補正であり得る。プロセッサ１０４０は、補正された人体相関モデルを用いて仮想の第１脊椎測定映像を生成できる。

一実施例によれば、プロセッサ１０４０は、第４脊椎測定映像に基づいた人体相関モデルの補正を所定回数繰り返して実施できる。

一実施例によれば、トラッキングセンサ１０２０がロボットアームに表示されたロボットアームマーカーの位置と姿勢情報を取得できる。ここで映像整合装置は、末端に手術道具が付着されたロボットアームをさらに含むことができる。この時、プロセッサ１０４０は、仮想の第１脊椎測定映像の座標系と整合された患者の座標系上に示されるロボットアームマーカーの位置と姿勢に基づいて、ロボットアームを制御できる。

一実施例によれば、プロセッサ１０４０は、基準マーカーの位置と姿勢情報、スキャナマーカーの位置と姿勢情報、スキャナマーカーの位置と姿勢情報及び第１背表面スキャンイメージの間の第１座標変換関係、及び／又は第１背表面スキャンイメージと仮想の第１脊椎測定映像の間の第２座標変換関係に基づいて、仮想の第１脊椎測定映像及び基準マーカーの位置と姿勢情報の間の第３座標変換関係を取得できる。また、プロセッサ１０４０は、第３座標変換関係に基づいて、仮想の第１脊椎測定映像の座標系を患者の座標系に整合できる。

一実施例によれば、第２脊椎測定映像、第３脊椎測定映像及び／又は第４脊椎測定映像は、上述のＣＴＡ映像、ＭＲＩ映像またはＣＴ映像のうちの１つであり得る。

上記方法は特定実施例を通じて説明されたが、上記方法は、また、コンピュータ読み取り可能な記録媒体にコンピュータ読み取り可能なコードとして具現することが可能である。コンピュータ読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが格納される全ての種類の記録装置を含む。コンピュータ読み取り可能な記録媒体の例としてはＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などを含むことができる。また、コンピュータ読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散して、分散方式でコンピュータ読み取り可能なコードが格納されて実行され得る。また、上記実施例を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマにより容易に推論され得る。

本明細書では、本発明を一部実施例及び図面に示された例と関連して説明したが、本発明の属する技術分野の当業者が理解できる本発明の思想及び範囲を外れない範囲で多様な置換、変形及び変更がなされるという点を理解すべきである。また、そのような 置換、変形及び変更は、本明細書に添付の特許請求の範囲内に属すると考えられなければならない。

Claims (20)

1. 手術テーブルに支持された患者の第１姿勢における背表面を３Ｄスキャンして第１背表面スキャンイメージを取得する３Ｄスキャナと、
   患者人体に表示された基準マーカーの位置と姿勢情報及び前記３Ｄスキャナに表示されたスキャナマーカーの位置と姿勢情報を取得するトラッキングセンサと、
   前記患者の背表面と脊椎の相関関係に対する人体相関モデルを格納するメモリと、
   前記３Ｄスキャナ、前記トラッキングセンサ及び前記メモリと電気的に連結されるプロセッサとを含み、
   前記プロセッサは、前記人体相関モデル及び前記第１背表面スキャンイメージに基づいて、前記手術テーブルに支持された前記患者の脊椎の位置を推定する仮想の第１脊椎測定映像を生成し、前記基準マーカーの位置と姿勢情報及び前記スキャナマーカーの位置と姿勢情報に基づいて、前記仮想の第１脊椎測定映像の座標系を前記患者の座標系に整合する、映像整合装置。
2. 前記プロセッサは、前記第１背表面スキャンイメージから前記患者の前記第１姿勢における背表面情報を抽出し、前記人体相関モデル及び前記背表面情報に基づいて、前記患者の前記第１姿勢における脊椎位置情報を取得し、前記脊椎位置情報に基づいて、前記仮想の第１脊椎測定映像を生成する、請求項１に記載の映像整合装置。
3. 前記人体相関モデルは、前記患者の第２姿勢における背表面を３Ｄスキャンして取得された第２背表面スキャンイメージと前記患者の前記第２姿勢における脊椎を撮影して取得された第２脊椎測定映像の間の相関関係を用いて生成された第１相関モデルである、請求項１に記載の映像整合装置。
4. 前記人体相関モデルは、複数の他の患者のグループから選択された少なくとも１つの患者の背表面を３Ｄスキャンして取得された第３背表面スキャンイメージと前記少なくとも１つの患者の脊椎を撮影して取得された第３脊椎測定映像の間の相関関係を用いて、前記第１相関モデルを補正することにより生成された第２相関モデルである、請求項３に記載の映像整合装置。
5. 前記患者の前記第１姿勢における脊椎を撮影して第４脊椎測定映像を取得する脊椎映像撮影部をさらに含み、前記プロセッサは、前記第４脊椎測定映像と前記第１背表面スキャンイメージの間の相関関係を用いて前記人体相関モデルを補正し、前記補正された人体相関モデルを用いて前記仮想の第１脊椎測定映像を生成する、請求項４に記載の映像整合装置。
6. 前記プロセッサは、前記第４脊椎測定映像に基づいた前記人体相関モデルの補正を所定回数繰り返して実施する、請求項５に記載の映像整合装置。
7. 末端に手術道具が付着されたロボットアームをさらに含み、前記トラッキングセンサは、前記ロボットアームに表示されたロボットアームマーカーの位置と姿勢情報を取得し、前記プロセッサは、前記仮想の第１脊椎測定映像の座標系と整合された前記患者の座標系上に示される前記ロボットアームマーカーの位置と姿勢情報に基づいて、前記ロボットアームを制御する、請求項１に記載の映像整合装置。
8. 前記プロセッサは、前記基準マーカーの位置と姿勢情報、前記スキャナマーカーの位置と姿勢情報、前記スキャナマーカーの位置と姿勢情報及び前記第１背表面スキャンイメージの間の第１座標変換関係、及び前記第１背表面スキャンイメージ及び前記仮想の第１脊椎測定映像の間の第２座標変換関係に基づいて、前記仮想の第１脊椎測定映像及び前記基準マーカーの位置と姿勢情報の間の第３座標変換関係を取得し、前記第３座標変換関係に基づいて、前記仮想の第１脊椎測定映像の座標系を前記患者の座標系に整合する、請求項１に記載の映像整合装置。
9. 前記第２脊椎測定映像、前記第３脊椎測定映像及び前記第４脊椎測定映像は、ＣＴＡ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ Ａｎｇｉｏｇｒａｐｈｙ）映像、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）映像またはＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）映像のうちの１つである、請求項５に記載の映像整合装置。
10. ３Ｄスキャナが、手術テーブルに支持された患者の第１姿勢における背表面を３Ｄスキャンして第１背表面スキャンイメージを取得する段階と、
    トラッキングセンサが、患者人体に表示された基準マーカーの位置と姿勢情報及び前記３Ｄスキャナに表示されたスキャナマーカーの位置と姿勢情報を取得する段階と、
    プロセッサが、前記患者の背表面と脊椎の相関関係に対する人体相関モデル及び前記第１背表面スキャンイメージに基づいて、前記手術テーブルに支持された前記患者の脊椎の位置を推定する仮想の第１脊椎測定映像を生成する段階と、
    前記プロセッサが、前記基準マーカーの位置と姿勢情報及び前記スキャナマーカーの位置と姿勢情報に基づいて、前記仮想の第１脊椎測定映像の座標系を前記患者の座標系に整合する段階とを含む、映像整合方法。
11. 前記仮想の第１脊椎測定映像を生成する段階は、
    前記プロセッサが、前記第１背表面スキャンイメージから前記患者の前記第１姿勢における背表面情報を抽出する段階と、
    前記プロセッサが、前記人体相関モデル及び前記背表面情報に基づいて、前記患者の前記第１姿勢における脊椎位置情報を取得する段階と、
    前記プロセッサが、前記脊椎位置情報に基づいて、前記仮想の第１脊椎測定映像を生成する段階とを含む、請求項１０に記載の映像整合方法。
12. 前記人体相関モデルは、前記患者の第２姿勢における背表面を３Ｄスキャンして取得された第２背表面スキャンイメージと前記患者の前記第２姿勢における脊椎を撮影して取得された第２脊椎測定映像の間の相関関係を用いて生成された第１相関モデルである、請求項１０に記載の映像整合方法。
13. 前記人体相関モデルは、複数の他の患者のグループから選択された少なくとも１つの患者の背表面を３Ｄスキャンして取得された第３背表面スキャンイメージと前記少なくとも１つの患者の脊椎を撮影して取得された第３脊椎測定映像の間の相関関係を用いて前記第１相関モデルを補正することにより生成された第２相関モデルである、請求項１２に記載の映像整合方法。
14. 脊椎映像撮影部が、前記患者の前記第１姿勢における脊椎を撮影して第４脊椎測定映像を取得する段階と、
    前記プロセッサが、前記第４脊椎測定映像と前記第１背表面スキャンイメージの間の相関関係を用いて前記人体相関モデルを補正する段階とをさらに含み、
    前記仮想の第１脊椎測定映像を生成する段階は、前記プロセッサが、前記補正された人体相関モデルを用いて前記仮想の第１脊椎測定映像を生成する段階を含む、請求項１３に記載の映像整合方法。
15. 前記人体相関モデルを補正する段階は、所定回数繰り返して実施される、請求項１４に記載の映像整合方法。
16. 前記トラッキングセンサが、末端に手術道具が付着されたロボットアームに表示されたロボットアームマーカーの位置と姿勢情報を取得する段階と、
    前記プロセッサが、前記仮想の第１脊椎測定映像の座標系と整合された前記患者の座標系上に示される前記ロボットアームマーカーの位置と姿勢情報に基づいて、前記ロボットアームを制御する段階とをさらに含む、請求項１０に記載の映像整合方法。
17. 前記仮想の第１脊椎測定映像の座標系を前記患者の座標系に整合する段階は、
    前記プロセッサが、前記基準マーカーの位置と姿勢情報、前記スキャナマーカーの位置と姿勢情報、前記スキャナマーカーの位置と姿勢情報及び前記第１背表面スキャンイメージの間の第１座標変換関係、及び前記第１背表面スキャンイメージ及び前記仮想の第１脊椎測定映像の間の第２座標変換関係に基づいて、前記仮想の第１脊椎測定映像及び前記基準マーカーの位置と姿勢情報の間の第３座標変換関係を取得する段階と、
    前記プロセッサが、前記第３座標変換関係に基づいて、前記仮想の第１脊椎測定映像の座標系を前記患者の座標系に整合する段階とを含む、請求項１０に記載の映像整合方法。
18. 前記第２脊椎測定映像、前記第３脊椎測定映像及び前記第４脊椎測定映像は、ＣＴＡ（Ｃｏｍｐｕｔｅｄ ＴｏｍｏｇｒａｐｈｙＡｎｇｉｏｇｒａｐｈｙ）映像、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）映像またはＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）映像のうちの１つである、請求項１４に記載の映像整合方法。
19. コンピュータ上で行われるためのプログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体において、前記プログラムは、プロセッサによる実行時に、前記プロセッサが、３Ｄスキャナによって手術テーブルに支持された患者の第１姿勢における背表面を３Ｄスキャンして取得された第１背表面スキャンイメージを取得する段階と、患者人体に表示された基準マーカーの位置と姿勢情報及び前記３Ｄスキャナに表示されたスキャナマーカーの位置と姿勢情報を取得する段階と、前記患者の背表面と脊椎の相関関係に対する人体相関モデル及び前記第１背表面スキャンイメージに基づいて、前記手術テーブルに支持された前記患者の脊椎の位置を推定する仮想の第１脊椎測定映像を生成する段階と、前記基準マーカーの位置と姿勢情報及び前記スキャナマーカーの位置と姿勢情報に基づいて、前記仮想の第１脊椎測定映像の座標系を前記患者の座標系に整合する段階とを行うようにする実行可能な命令を含む、コンピュータ読み取り可能な記録媒体。
20. 前記人体相関モデルは、前記患者の第２姿勢における背表面を３Ｄスキャンして取得された第２背表面スキャンイメージと前記患者の前記第２姿勢における脊椎を撮影して取得された第２脊椎測定映像間の相関関係を用いて生成された第１相関モデルである、請求項１９に記載のコンピュータ読み取り可能な記録媒体。
    

Images