JP6824967B2 - 管状網のナビゲーション - Google Patents

Description

関連出願の相互参照
本出願は、２０１５年９月１８日出願の「ＮＡＶＩＧＡＴＩＯＮ ＯＦ ＴＵＢＵＬＡＲ ＮＥＴＷＯＲＫＳ」という名称の米国仮特許出願第６２／２２０，７７０号明細書の利益を主張し、その全体を参照することにより本書に援用する。

この説明は、概して、手術ロボット（ｓｕｒｇｉｃａｌ ｒｏｂｏｔｉｃｓ）に関し、特に、患者の体の管状網内での医療器具のナビゲーションに関する。

気管支鏡検査は、医師が気管支および細気管支等の患者の肺気道の内部状況を調べられるようにする医療処置である。肺気道は、空気を気管（ｔｒａｃｈｅａ）または気管（ｗｉｎｄｐｉｐｅ）から肺に運ぶ。医療処置中、気管支鏡としても知られる薄い可撓性管状器具を患者の口に挿入し、患者の喉を通して患者の肺気道に渡し得、患者は一般に、麻酔されて、医療処置中の手術検査および操作に向けて患者の喉および肺を弛緩させる。

従来の気管支鏡は通常、光源と、医師が患者の気管および気道を検査できるようにする小型カメラとを含み、例えば、患者の肺に大量の出血がある場合または大きな物体が患者の喉を塞いでいる場合、剛性管を手術目的で気管支鏡と併せて使用し得る。剛性管が使用される場合、患者は多くの場合、麻酔される。他の高度医療装置の出現と同時に、ロボット気管支鏡の使用がますます現実になりつつある。ロボット気管支鏡は、管状網を通してのナビゲーションに多大な利点をもたらす。ロボット気管支鏡は使用が容易であり、気管支鏡検査段階中であっても、治療および生検を都合よく行えるようにする。

医療装置またはプラットフォーム、例えば上記ロボット気管支鏡とは別に、様々な方法およびソフトウェアモデルを使用して、外科手術を助け得る。例として、患者の肺のコンピュータ断層（ＣＴ）スキャンは多くの場合、手術検査の術前中に実行される。ＣＴスキャンからのデータを使用して、患者の肺の気道の三次元（３Ｄ）モデルを生成し得、生成された３Ｄモデルにより、医師は、手術検査の手術処置中に有用であり得る視覚的参照をアクセスできるようにする。

しかしながら、管状網をナビゲートする従来の技法は、医療装置（例えば、ロボット気管支鏡）を利用する場合および既存の方法（例えば、ＣＴスキャンを実行し、３Ｄモデルを生成する）を使用する場合であってもなお課題を有する。一例として、患者の体内の医療装置（例えば、気管支鏡器具）の動き推定は、装置の位置および向きの変化に基づいて正確ではないことがあり、その結果、患者の体内の装置の位置をリアルタイムで正確または正しく特定しないことがある。そのような器具の不正確な位置情報は、医療手術処置中、視覚的参照として３Ｄモデルを使用する医師にミスリード情報を提供するおそれがある。

したがって、管状構造網を通してナビゲートする改善された技法が必要とされる。

本明細書に開示される方法および装置は、管状網内の可撓性または剛性細長状医療器具（例えば、内視鏡）のような医療器具の位置および向き情報の改善された推定を提供する
ことにより、肺気道などの管状網を通して改善されたナビゲーションを提供する。

一例として、装置は、管状網内の所望の解剖学的部位または内視鏡器具の「生」の位置および向き情報（まとめて入力データ）を取得するロボット内視鏡器具である。内視鏡器具は、可撓性先端部と、内視鏡器具に結合される器具装置マニピュレータ（ＩＤＭ）とを含む。電磁センサ（ＥＭセンサ）、撮像装置（例えば、光センサ）、および医療器具を制御するロボット制御システム等の装置が器具先端部に結合されて、内視鏡器具が管状網に入り、管状網内をナビゲートするにつれて、入力データを収集する。ＩＤＭは、手術ロボットシステムの異なるロボット構成要素（例えば、内視鏡器具）の移動および位置を制御するのに使用される。プロセッサが内視鏡器具に結合されて、入力データを受信し、管状網内の医療器具（例えば、器具先端部）の刻一刻の動き、位置、および向き情報を特定する。

プロセッサは、入力データを使用して、医療器具の状態を推定するようにナビゲーション構成システムにより命令され、医療器具の状態は、位置、向き、相対的および絶対的深さ、分岐選択等の情報を含み得る。プロセッサは、推定状態を使用して、管状網内の特定の部位を位置特定し、および／または出力データまたはナビゲーションデータと呼ぶことができる、医療器具が特定の部位に到達するために通るべき位置／向きについてのナビゲーション情報を決定するようにさらに命令され得る。

ナビゲーション構成システムは、様々なナビゲーションアルゴリズムを利用して、推定状態およびナビゲーションデータを提供する複数のアルゴリズムモジュールをさらに含む。使用されるアルゴリズム例としては、ＥＭベースのアルゴリズム、画像ベースのアルゴリズム、およびロボットベースのアルゴリズムが挙げられる。これらの様々なアルゴリズムを利用した後に生成される推定状態およびナビゲーションデータは、ＥＭベースの入力データ、画像ベースの入力データ、およびロボットベースの入力データの任意の１つ以上を利用する。

いくつかの実施形態では、信頼値を一緒に有する確率分布が、アルゴリズムモジュールにより生成され、これは、医療器具の推定状態の特定に使用される。「確率分布」の「確率」は、本明細書において使用される場合、医療器具の位置および／または向きの推定または識別が正確である確率を指す。例えば、医療器具が肺内のいくつかの異なる可能な気道の１つにある相対的な確率を示す異なる確率を計算し得る。これとは対照的に、「信頼値」は、本明細書において使用される場合、アルゴリズムの１つにより提供される状態の推定における信頼の尺度を反映する。例えば、気道開口部の比較的近くでは、特定のアルゴリズムが、医療器具の位置および向きの推定において高い信頼度を有し得るが、医療器具が肺の底部にさらに進むと、その信頼値は下がり得る。一般に、信頼値は、結果が特定されるプロセスに関連する１つ以上の「外部」要因に基づき、一方、確率は、１つのアルゴリズムから可能な結果を特定しようとする場合に生じる相対尺度である。アルゴリズム、確率、および信頼値を様々に結合して、推定状態およびナビゲーションデータに辿り付き得る。

一実施形態では、実際の外科手術を患者に対して実行する前、患者の管状網内の手術用器具（例えば、内視鏡）の改善されたナビゲーションを利用する一連の術前ステップを行い得る。まず、管状網のＣＴスキャンを取得して、管状網の３Ｄモデルを生成する。管状網内の目標領域（例えば、生検する病変）が選択され、その目標領域に到達するために手術用器具が管状網内を進む対応する経路が自動的に計画され、ユーザ（例えば、外科手術を担当する医師）に表示される。経路が決定された後、仮想内視鏡を適用して、管状網を通して進み、目標領域に到達し得る。実際の外科手術では、ＣＴスキャン、生成された３Ｄモデル、および他の入力データ（例えば、手術の持続時間にわたり収集された画像デー
タ、ＥＭデータ、ロボットデータ）は、手術中、手術構成システムを介して結合されて繰り返し分析されて、ナビゲーション情報と共に、管状網内の手術用器具（例えば、内視鏡）のリアルタイム移動情報および位置／向き情報の推定を提供し、それにより、医師によるより好都合な手術を可能にする。

一実施形態による一例の手術ロボットシステムを示す。 一実施形態による、図１Ａに示される手術ロボットシステムに結合されるロボットプラットフォームの様々な斜視図を示す。 一実施形態による、図１Ａに示される手術ロボットシステムに結合されるロボットプラットフォームの様々な斜視図を示す。 一実施形態による、図１Ａに示される手術ロボットシステムに結合されるロボットプラットフォームの様々な斜視図を示す。 一実施形態による、図１Ａに示される手術ロボットシステムに結合されるロボットプラットフォームの様々な斜視図を示す。 一実施形態による、図１Ａに示される手術ロボットシステムに結合されるロボットプラットフォームの様々な斜視図を示す。 一実施形態による一例の手術ロボットシステムの一例のコマンドコンソールを示す。 一実施形態による、図１Ａに示される器具装置マニピュレータ（ＩＤＭ）の一例の独立駆動機構の等角図を示す。 一実施形態による、図３Ａに示される独立駆動機構の歪みゲージにより力をいかに測定し得るかを示す概念図を示す。 一実施形態による一例の内視鏡の上面図を示す。 一実施形態による、図４Ａに示される内視鏡の一例の内視鏡先端部を示す。 一実施形態による手術ロボットシステムに含まれるＥＭ追跡システムの一例の概略セットアップを示す。 一実施形態による、一例の解剖学的管腔および解剖学的管腔の一例の一例の３Ｄモデルを示す。 一実施形態による、一例の解剖学的管腔および解剖学的管腔の一例の一例の３Ｄモデルを示す。 一実施形態による、解剖学的空間を表すコンピュータ生成の３Ｄモデルを示す。 一実施形態による、管状網を通る経路の３ＤモデルへのＥＭシステムのオンザフライ位置合わせを示すグラフ例を示す。 一実施形態による、管状網を通る経路の３ＤモデルへのＥＭシステムのオンザフライ位置合わせを示すグラフ例を示す。 一実施形態による、管状網を通る経路の３ＤモデルへのＥＭシステムのオンザフライ位置合わせを示すグラフ例を示す。 一実施形態による、管状網を通る経路の３ＤモデルへのＥＭシステムのオンザフライ位置合わせを示すグラフ例を示す。 一実施形態による、分岐管状網の３ＤモデルへのＥＭシステムの一例の位置合わせの効果を示す。 一実施形態による、分岐管状網の３ＤモデルへのＥＭシステムの一例の位置合わせの効果を示す。 一実施形態によるナビゲーション構成システムの一例のブロック図の高レベル全体図を示す。 一実施形態による、図９Ａに示されるナビゲーションシステムの一例のブロック図を示す。 一実施形態による、状態推定部に含まれる推定状態データ記憶装置の一例のブロック図を示す。 一実施形態によるＥＭ位置合わせモジュールの一例のブロック図を示す。 一実施形態による分岐選択モジュールの一例のブロック図を示す。 一実施形態による動き推定モジュールの一例のブロック図を示す。 一例による物体検出モジュールの一例のブロック図を示す。 一実施形態による物体マッピングモジュールの一例のブロック図を示す。 一実施形態によるトポロジ的推論モジュールの一例のブロック図を示す。 一実施形態による、２つの物体の中心を結ぶリンクと共に、気管支網の画像に重ねられた２つの識別された物体例を示す。 オン実施形態による、実際の気管支網の実際の画像における気道管腔と網の３Ｄモデルでの気道管腔との一致を示す。 一実施形態による、状態推定部により推定された状態の複数の値にわたる確率分布を生成する一例のプロセスを示す。 一実施形態による、ナビゲーション構成システムにより、気管支管の管状網を通してのナビゲーションを用いて誤差をいかに修正することができるかの一例を示す。 一実施形態による、管上網内の特定の部位に器具先端部をナビゲートする方法の一例の術前の一連のステップを示す。 一実施形態による、管状網を通して手術用器具をナビゲートする一例のユーザインターフェースを示す。 一実施形態による、内視鏡処置中、器具を位置合わせし制御する一例のユーザインターフェースを示す。

これより、例が添付図に示されるいくつかの実施形態を詳細に参照する。なお、実行可能な場合は常に、図中、類似または同様の参照符号が使用され得、類似または同様の機能を示し得る。図面は、説明のみを目的として、記載のシステム（または方法）の実施形態を示す。当業者は、以下の説明から、本明細書で説明する本発明の原理から逸脱せずに、本明細書に示す構造および方法の代替的な実施形態が用いられ得ることを容易に認識するであろう。

Ｉ．手術ロボットシステム
図１Ａは、一実施形態に係る手術ロボットシステム１００の例を示す。手術ロボットシステム１００は、１つ以上のロボットアーム、例えば、ロボットアーム１０２に結合されたベース１０１を含む。ベース１０１は、「ＩＩ．コマンドコンソール」で図２を参照してさらに説明されるコマンドコンソールに通信可能に結合される。ベース１０１は、ロボットアーム１０２が、患者に外科的処置を行うためにアクセスするように位置決めされ得る一方で、医師などのユーザは、コマンドコンソールから楽に手術ロボットシステム１００を制御し得る。いくつかの実施形態では、ベース１０１は、患者を支持するための手術台またはベッドに結合され得る。図の明確性のため図１には示さないが、ベース１０１は、サブシステム、例えば制御エレクトロニクス、空気力学機構、電力源、光源などを含み得る。ロボットアーム１０２は、ジョイント１１１で結合された複数のアームセグメント１１０を含み、これにより、ロボットアーム１０２に多自由度、例えば、７個のアームセグメントに対応する７自由度をもたらす。ベース１０１は、電力源１１２、空気圧１１３、および制御およびセンサーエレクトロニクス１１４−中央処理装置、データバス、制御回路、およびメモリなどの構成要素を含む−およびロボットアーム１０２を動かすための
モータなどの関連のアクチュエータを含み得る。ベース１０１内のエレクトロニクス１１４はまた、コマンドコンソールから通信された制御信号を処理および伝送し得る。

いくつかの実施形態では、ベース１０１は、手術ロボットシステム１００を運搬するための車輪１１５を含む。手術ロボットシステム１００に移動性があるため、手術室における空間の制約に適応させたり、手術用機器の適切な位置決めおよび動きを容易にしたりする上で役立つ。さらに、この移動性によって、ロボットアーム１０２が患者、医師、麻酔科医、または任意の他の機器を邪魔しないように、ロボットアーム１０２を構成できる。処置の最中、ユーザは、コマンドコンソールなどの制御装置を使用してロボットアーム１０２を制御し得る。

いくつかの実施形態では、ロボットアーム１０２は、ロボットアーム１０２の位置を維持するために、ブレーキおよび釣り合い錘の組み合わせを使用するセットアップジョイントを含む。釣り合い錘は、ガススプリングまたはコイルバネを含み得る。ブレーキ、例えば、フェイルセーフブレーキは、機械部品および／または電気部品を含み得る。さらに、ロボットアーム１０２は、重力補助式受動的支持（ｇｒａｖｉｔｙ−ａｓｓｉｓｔｅｄ ｐａｓｓｉｖｅ ｓｕｐｐｏｒｔ）型のロボットアームとし得る。

各ロボットアーム１０２は、機構チェンジャーインターフェース（ＭＣＩ）１１６を使用して器具装置マニピュレータ（ＩＤＭ）１１７に結合され得る。ＩＤＭ１１７は取り外されて、異なるタイプのＩＤＭと交換されることができ、例えば、第１のタイプのＩＤＭは内視鏡を操作する一方で、第２のタイプのＩＤＭは腹腔鏡を操作する。ＭＣＩ１１６は、ロボットアーム１０２からＩＤＭ１１７へ空気圧、電気出力、電気信号、および光信号を伝達するためにコネクタを含む。ＭＣＩ１１６は、止めネジまたはベースプレートコネクタとし得る。ＩＤＭ１１７は、直接駆動、ハーモニックドライブ、歯車駆動、ベルト車、磁気駆動などを含む技術を使用して、内視鏡１１８などの手術用器具を操作する。ＭＣＩ１１６は、ＩＤＭ１１７のタイプに基づいて取り替え可能であり、およびある種の外科的処置向けにカスタマイズされ得る。ロボットアーム１０２は、ＫＵＫＡ ＡＧ（登録商標）ＬＢＲ５ロボットアームなど、遠位端部に手首とジョイントレベルトルク感知部とを含み得る。［００４６］内視鏡１１８は、患者の解剖学的構造に挿入されて解剖学的構造（例えば、体組織）の画像を撮る、チューブ状で可撓性の手術用器具である。特に、内視鏡１１８は、画像を撮る１つ以上の撮像装置（例えば、カメラまたはセンサー）を含む。撮像装置は、光ファイバー、ファイバーアレイ、またはレンズなどの１つ以上の光学部品を含み得る。光学部品は内視鏡１１８の先端と一緒に動いて、内視鏡１１８の先端の動きにより、撮像装置によって撮られる画像を変更するようにする。内視鏡１１８については、「ＩＶ．内視鏡」において図３Ａ〜４Ｂを参照しながらさらに説明する。

手術ロボットシステム１００のロボットアーム１０２は、細長状の移動部材を使用して内視鏡１１８を操作する。細長状の移動部材は、プルまたはプッシュ・ワイヤとも呼ばれるプル・ワイヤ、ケーブル、ファイバー、または可撓性シャフトを含み得る。例えば、ロボットアーム１０２は、内視鏡１１８に結合された複数のプル・ワイヤを作動させ、内視鏡１１８の先端を撓ませる。プル・ワイヤは、金属材料および非金属材料の双方、例えばステンレス鋼、Ｋｅｖｌａｒ、タングステン、カーボンファイバーなどを含み得る。内視鏡１１８は、細長状の移動部材によって加えられた力に応答して、非線形のふるまいを示し得る。非線形のふるまいは、内視鏡１１８の剛性および圧縮性、ならびに異なる細長状の移動部材間の弛みまたはスティフネスの変動性に基づき得る。

図１Ｂ〜１Ｆは、種々の実施形態における、ロボットプラットフォーム１５０（あるいは手術ベッド）に接続される手術ロボットシステム１００の種々の斜視図を示す。具体的に、図１Ｂは、手術ロボットシステム１００の側面図であり、ロボットアーム１０２が内
視鏡１１８を操作して患者の体内に内視鏡を挿入することを示し、患者はロボットプラットフォーム１５０に横たわっていることを示す図である。図１Ｃは、手術ロボットシステム１００およびロボットプラットフォーム１５０の上面図であり、ロボットアームによって操作される内視鏡１１８が患者の体内に挿入されることを示す図である。図１Ｄは、手術ロボットシステム１００およびロボットプラットフォーム１５０の斜視図であり、内視鏡１１８が水平方向においてロボットプラットフォームと平行になるように、内視鏡１１８が制御されることを示す図である。図１Ｅは、手術ロボットシステム１００およびロボットプラットフォーム１５０の別の斜視図であり、内視鏡１１８がロボットプラットフォームに対して略垂直となるように、内視鏡１１８が制御されることを示す図である。より詳細には、図１Ｅでは、ロボットプラットフォーム１５０の水平面と内視鏡１１８とのなす角度は７５°である。図１Ｆは、図１Ｅに示す手術ロボットシステム１００およびロボットプラットフォーム１５０の斜視図であり、より詳細には、内視鏡の一端部１８０とロボットプラットフォームからより離れた位置にあるロボットアーム１０２とを結ぶ仮想線１６０と内視鏡１１８とのなす角度が９０°である。

ＩＩ．コマンドコンソール
図２は、一実施形態による手術ロボットシステム１００用のコマンドコンソール２００の例を示す。コマンドコンソール２００は、コンソールベース２０１と、ディスプレイモジュール２０２、例えばモニタと、制御モジュール、例えばキーボード２０３およびジョイスティック２０４とを含む。いくつかの実施形態では、コマンドコンソール２００の機能の１つ以上は、手術ロボットシステム１００のベース１０１、または手術ロボットシステム１００に通信可能に結合された別のシステムに組み込まれ得る。ユーザ２０５、例えば医師は、コマンドコンソール２００を使用して人間工学的位置から手術ロボットシステム１００を遠隔制御する。

コンソールベース２０１は、例えば図１に示す内視鏡１１８からのカメラ画像データおよび追跡センサーデータなどの信号を解読して処理する中央処理装置、メモリ装置、データバス、および関連のデータ通信ポートを含み得る。いくつかの実施形態では、コンソールベース２０１およびベース１０１の双方とも、不可分散のために信号処理を実行する。コンソールベース２０１はまた、制御モジュール２０３および２０４を通してユーザ２０５によって提供されたコマンドおよび命令を処理し得る。図２に示すキーボード２０３およびジョイスティック２０４に加えて、制御モジュールは、他の装置、例えば、コンピュータマウス、トラックパッド、トラックボール、制御パッド、テレビゲームコントローラ、および手を使ったジェスチャーおよび指を使ったジェスチャーを捉えるセンサー（例えば、モーションセンサーまたはカメラ）を含み得る。

ユーザ２０５は、速度モードまたは位置制御モードでコマンドコンソール２００を使用して、内視鏡１１８などの手術用器具を制御し得る。速度モードでは、ユーザ２０５は、制御モジュールを使用する直接的な手動制御に基づいて、内視鏡１１８の遠位端部のピッチおよびヨー運動を直接的に制御する。例えば、ジョイスティック２０４の動きは、内視鏡１１８の遠位端部におけるヨーイングおよびピッチングの動きにマップされ得る。ジョイスティック２０４は、ユーザ２０５に触覚フィードバックを提供し得る。例えば、ジョイスティック２０４は振動して、内視鏡１１８がある方向にさらに平行移動したりまたは回転したりはできないことを示す。コマンドコンソール２００はまた、視覚フィードバック（例えば、ポップアップメッセージ）および／または音声フィードバック（例えば、ビープ音）を提供して、内視鏡１１８が最大平行移動または回転に到達したことを示し得る。

位置制御モードでは、コマンドコンソール２００は、患者の三次元（３Ｄ）マップおよび患者の予め決められたコンピュータモデルを使用して、手術用器具、例えば、内視鏡１
１８を制御する。コマンドコンソール２００は、手術ロボットシステム１００のロボットアーム１０２に制御信号を提供して、内視鏡１１８を目標位置まで操作する。３Ｄマップへの依存に起因して、位置制御モードは、患者の解剖学的構造の正確なマッピングを必要とする。

いくつかの実施形態では、ユーザ２０５は、コマンドコンソール２００を使用することなく、手術ロボットシステム１００のロボットアーム１０２を手動で操作し得る。手術室内で設定する際に、ユーザ２０５は、ロボットアーム１０２、内視鏡１１８、および他の手術用機器を動かして、患者にアクセスしてもよい。手術ロボットシステム１００は、ユーザ２０５からの力フィードバックおよび慣性制御に応じて、ロボットアーム１０２および機器の適切な構成を決定し得る。

ディスプレイモジュール２０２は、電子モニタ、バーチャルリアリティー表示装置（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ ｖｉｅｗｉｎｇ ｄｅｖｉｃｅ）、例えばゴーグルや眼鏡、および／または他の手段のディスプレイ装置を含み得る。いくつかの実施形態では、ディスプレイモジュール２０２は、例えば、タッチスクリーンを備えるタブレット型デバイスとして、制御モジュールと一体化される。さらに、ユーザ２０５は、統合されたディスプレイモジュール２０２と制御モジュールを使用して、データの閲覧、および手術ロボットシステム１００へのコマンドの入力の双方を行い得る。

ディスプレイモジュール２０２は、立体視装置、例えばバイザーやゴーグルを使用して、３Ｄ画像を表示し得る。３Ｄ画像は、「エンドビュー（ｅｎｄｏ ｖｉｅｗ）」（すなわち、内視鏡映像（ｅｎｄｏｓｃｏｐｉｃ ｖｉｅｗ））を提供し、これは、患者の解剖学的構造を示すコンピュータの３Ｄモデルである。「エンドビュー」は、患者の体内の仮想環境、および患者の体内での内視鏡１１８の予測される位置を提供する。ユーザ２０５は、「エンドビュー」モデルを、カメラで撮った実際の画像と比較して、患者の体内で内視鏡１１８が正しい−または適度に正しい−位置にあるように心の中で向きを決め、かつそれを確認する助けにする。「エンドビュー」は、解剖学的構造、例えば、内視鏡１１８の遠位端部の周りにある患者の腸または結腸の形状に関する情報を提供する。ディスプレイモジュール２０２は、内視鏡１１８の遠位端部の周りの解剖学的構造の３Ｄモデルおよびコンピュータ断層撮影（ＣＴ）スキャンを同時に表示し得る。さらに、ディスプレイモジュール２０２は、内視鏡１１８の予め決められた最適なナビゲーションパスを３ＤモデルおよびＣＴスキャンに重ね合わせることができる。

いくつかの実施形態では、内視鏡１１８のモデルは３Ｄモデルと一緒に表示されて、外科的処置のステータスを示すのを助ける。例えば、ＣＴスキャンは、生検が必要かもしれない解剖学的構造内の病変を特定する。手術中、ディスプレイモジュール２０２は、内視鏡１１８の現在の箇所に対応する、内視鏡１１８が撮った参照画像を示し得る。ディスプレイモジュール２０２は、ユーザ設定および特定の外科的処置に依存して、内視鏡１１８のモデルの異なる映像を自動的に表示し得る。例えば、ディスプレイモジュール２０２は、内視鏡１１８が患者の手術領域に接近するときのナビゲーションステップの最中の内視鏡１１８の透視オーバーヘッドビュー（ｏｖｅｒｈｅａｄ ｆｌｕｏｒｏｓｃｏｐｉｃ ｖｉｅｗ）を示す。

ＩＩＩ．器具装置マニピュレータ
図３Ａは、一実施形態による、図１に示されるＩＤＭ１１７の独立駆動機構の一例の等角図を示す。独立駆動機構は、ＩＤＭ１１７の出力シャフト３０５、３０６、および３０８を回転させることにより、内視鏡のプル・ワイヤ３２１、３２２、３２３、および３２４をそれぞれ閉めたりまたは緩めたりすることができる（例えば、互いから独立して）。出力シャフト３０５、３０６、および３０８がそれぞれ、角運動を通して力をプル・ワイ
ヤ３２１、３２２、３２３、および３２４に伝達するのと全く同じように、プル・ワイヤ３２１、３２２、３２３、および３２４も力を出力シャフトに伝達する。ＩＤＭ１１７および／または手術ロボットシステム１００は、センサ、例えばさらに後述する歪みゲージを使用して、伝達された力を測定することができる。

図３Ｂは、一実施形態による、図３Ａに示される独立駆動機構の歪みゲージ３３４により力をいかに測定し得るかを示す概念図を示す。力３３１は、モータ３３７のモータマウント３３３に結合された出力シャフト３０５から離れた方を向き得る。したがって、力３３１はモータマウント３３３を水平変位させる。さらに、モータマウント３３３に水平に結合された歪みゲージ３３４は、力３３１の方向で歪みを受ける。歪みは、歪みゲージ３３４の水平方向の全幅３３６に対する歪みゲージ３３４の先端部３３５の水平変位の比率として測定し得る。

いくつかの実施形態では、ＩＤＭ１１７は、追加のセンサ、例えば、傾斜計または加速度計を含み、ＩＤＭ１１７の向きを特定する。追加のセンサおよび／または歪みゲージ３３４からの測定に基づいて、手術ロボットシステム１００は、重力負荷効果を説明するように歪みゲージ３３４からの読み取り値を較正することができる。例えば、ＩＤＭ１１７がＩＤＭ１１７の水平側に向けられる場合、ＩＤＭ１１７の特定の構成要素の重みにより、モータマウント３３３に歪みが生じ得る。したがって、重力負荷効果を説明しなければ、歪みゲージ３３４は、出力シャフトに対する歪みに起因しなかった歪みを測定するおそれがある。

ＩＶ．内視鏡
図４Ａは、一実施形態による一例の内視鏡１１８の上面図を示す。内視鏡１１８は、シース４４１管状構成要素内部に入れ子または部分的に入れ子され、シース４４１管状構成要素と長手方向に位置合わせされたリーダ４１５管状構成要素を含む。シース４１１は、基端シース部４１２および先端シース部４１３を含む。リーダ４１５は、シース４１１よりも小さな外径を有し、基端リーダ部４１６および先端リーダ部４１７を含む。シースベース４１４およびリーダベース４１８は、例えば、手術ロボットシステム１００のユーザからの制御信号に基づいて、先端シース部４１３および先端リーダ部４１７を作動させる。シースベース４１４およびリーダベース４１８は、例えば、図１に示されるＩＤＭ１１７の一部である。

シースベース４１４およびリーダベース４１８は両方とも、駆動機構（例えば、図３Ａおよび図３Ｂを参照して第ＩＩＩ項の器具装置マニピュレータにおいてさらに説明された独立駆動機構）を含み、シース４１１およびリーダ４１５に結合されたプル・ワイヤを制御する。例えば、シースベース４１４は、シース４１１に結合されたプル・ワイヤに引張荷重を生成して、先端シース部４１３を偏向させる。同様に、リーダベース４１８は、リーダ４１５のプル・ワイヤに引張荷重を生成して、先端リーダ部４１７を偏向させる。シースベース４１４およびリーダベース４１８は両方とも、空気圧、電力、電気信号、または光信号をＩＤＭからシース４１１およびリーダ４１４にそれぞれルーティングするための結合器を含むこともできる。プル・ワイヤは、シース４１１またはリーダ４１５内のプル・ワイヤの長さに沿って鋼のコイル管を含み得、鋼のコイル管は、軸圧縮を負荷の起点、例えばシースベース４１４またはリーダベース４１８にそれぞれ伝達する。

内視鏡１１８は、シース４１１およびリーダ４１５に結合されたプル・ワイヤにより提供される複数の自由度に起因して、患者の解剖学的構造を容易にナビゲートすることができる。例えば、４本以上のプル・ワイヤをシース４１１および／またはリーダ４１５のいずれかで使用し得、それにより、８以上の自由度を提供する。他の実施形態では、最大で３本のプル・ワイヤを使用し得、最大で６の自由度を提供する。シース４１１およびリー
ダ４１５は、長軸４０６に沿って最大で３６０度回転し得、それにより、より多くの移動度を提供する。回転角度と複数の自由度との組み合わせは、手術ロボットシステム１００のユーザに、内視鏡１１８のユーザフレンドリで直感的な制御を提供する。

図４Ｂは、一実施形態による、図４Ａに示される内視鏡１１８の一例の内視鏡先端部４３０を示す。図４Ｂにおいて、内視鏡先端部４３０は、撮像装置４３１（例えば、カメラ）、照明光源４３２、およびＥＭコイルの端部４３４を含む。照明光源４３２は、解剖学的空間の内部を照明する光を提供する。提供された光により、撮像装置４３１はその空間の画像を記録することができ、画像は次に、コマンドコンソール２００などのコンピュータシステムに送信して、本明細書に記載されるように処理することができる。先端部４３０に配置される電磁コイル４３４は、電磁追跡システムと併用されて、内視鏡先端部４３０が解剖学的構造系内に配置されている間、内視鏡先端部４３０の位置および向きを検出し得る。いくつかの実施形態では、コイルは、傾斜して異なる軸に沿った電磁場に対する感度を提供し得、これによって合計で６の自由度：３が位置および３が角度、を測定する機能を有する。他の実施形態では、軸が内視鏡１１８の内視鏡シャフトに沿った状態で、１つのみのコイルを内視鏡先端部４３０内に配置し得、そのようなシステムの回転対称性に起因して、軸の周りの回転に対する感度がなく、したがって、そのような場合、５自由度のみが検出可能である。内視鏡先端部４３０は作業チャネル４３６をさらに備え、作業チャネル４３６を通して、生検針などの手術用器具を内視鏡シャフトに沿って挿入し得、内視鏡先端部近くの領域にアクセスできるようにする。

Ｖ．３ＤモデルへのＥＭシステムの位置合わせ変換
Ｖ．Ａ．ＥＭ追跡システムの概略セットアップ
図５は、一実施形態による手術ロボットシステム５００に含まれるＥＭ追跡システム５０５の一例の概略セットアップを示す。図５では、複数のロボット構成要素（例えば、後述するような窓磁場生成器（ｗｉｎｄｏｗ ｆｉｅｌｄ ｇｅｎｅｒａｔｏｒ）、参照センサ）がＥＭ追跡システム５０５に含まれる。手術ロボットシステム５００は、患者の体を拘束する手術ベッド５１１を含む。ベッド５１１の下に、１組のＥＭコイル（例えば、図４Ｂに示されるＥＭコイル４３４）を順次作動させるように構成される窓磁場生成器（ＷＦＧ）５１２がある。ＷＦＧ５１２は、広い容積にわたり交流電流（ＡＣ）磁場を生成し、例えば、いくつかの場合、約０．５ｍ×０．５ｍ×０．５ｍの容積にＡＣ場を生成し得る。

さらなる磁場生成器により追加の磁場を印加して、体内の器具の追跡を助け得る。例えば、平面磁場生成器（ＰＦＧ）を患者に隣接するシステムアームに取り付け、傾斜したＥＭ場を提供し得る。参照センサ５１３を患者の体に配置して、局所ＥＭ場を提供し、追跡精度をさらに上げ得る。各参照センサ５１３は、ケーブル５１４によりコマンドモジュール５１５に取り付け得る。ケーブル５１４は、各装置との通信を処理するとともに、電力を提供するインターフェースユニット５１６を通してコマンドモジュール５１５に接続される。インターフェースユニット５１６はシステム制御ユニット（ＳＣＵ）５１７に結合され、ＳＣＵ５１７は、上記の様々なエンティティの全体インターフェースコントローラとして機能する。ＳＣＵ５１７はまた、磁場生成器（例えば、ＷＦＧ５１２）を駆動し、インターフェースユニット５１６からセンサデータを収集し、そこから、体内のセンサの位置および向きを計算する。ＳＣＵ５１７はパーソナルコンピュータ（ＰＣ）５１８に結合されて、ユーザアクセスおよび制御を可能にし得る。

コマンドモジュール５１５はまた、本明細書に記載のように手術ロボットシステム５００に結合される様々なＩＤＭ５１９にも接続される。ＩＤＭ５１９は通常、手術ロボットシステム（例えば、手術ロボットシステム５００）に結合され、接続された各ロボット構成要素、例えば、ロボット内視鏡器具またはロボットアームを制御し、データを受信する
のに使用される。上述したように、例として、ＩＤＭ５１９は手術ロボットシステム５００の内視鏡器具（ここで図示せず）に結合される。

コマンドモジュール５１５は、内視鏡器具から渡されるデータを受信する。受信データのタイプは、取り付けられた器具の対応するタイプに依存する。例えば、受信データ例としては、センサデータ（例えば、画像データ、ＥＭデータ）、ロボットデータ（例えば、内視鏡移動データおよびＩＤＭ物理的移動データ）、制御データ、および／またはビデオデータが挙げられる。ビデオデータをよりよく処理するために、画像処理を扱うようにフィールドプログラマブルゲートアレイ（ＦＰＧＡ）５２０を構成し得る。様々なセンサ、装置、および磁場生成器から得られたデータを比較することにより、ＳＣＵ５１７は、手術ロボットシステム５００の異なる構成要素の動きや、これらの構成要素の例えば位置および向きを精密に追跡することができる。

患者の解剖学的構造を通してセンサを追跡するために、ＥＭ追跡システム５０５は、「位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）」として知られるプロセスを必要とし得、位置合わせにおいて、システムは、異なる座標系間で単一の物体を位置合わせする幾何学的変換を見つける。例えば、患者の特定の解剖学的部位は、３Ｄモデル座標およびＥＭセンサ座標で２つの異なる表現を有する。これらの２つの異なる座標系間で一貫性および共通言語を確立することができるように、ＥＭ追跡システム５０５は、これらの２つの表現をリンクする変換、すなわち、位置合わせを見つける必要がある。例えば、ＥＭ磁場生成器の位置に対するＥＭ追跡器の位置を３Ｄ座標系にマッピングして、対応する３Ｄモデルでの位置を分離し得る。

Ｖ．Ｂ．３Ｄモデル表現
図６Ａおよび図６Ｂは、一実施形態による、一例の解剖学的管腔６００および解剖学的管腔の一例の３Ｄモデル６２０を示す。より具体的には、図６Ａおよび図６Ｂは、実際の解剖学的管腔６００とその３Ｄモデル６２０との間の中心線座標、直径測定、および解剖学的空間の関係を示す。図６Ａでは、解剖学的管腔６００は中心線座標６０１、６０２、６０３、６０４、６０５、および６０６により長手方向において大まかに追跡され、ここで、各中心線座標は管腔の断層スライスの中心を大まかに近似している。中心線座標は、中心線６０７により結ばれ、視覚化される。管腔の容積は、各中心線座標での管腔の直径を測定することによりさらに視覚化することができ、例えば、座標６０８、６０９、６１０、６１１、６１２、および６１３は、座標６０１、６０２、６０３、６０４、６０５、および６０６に対応する管腔６００の測定値を表す。

図６Ｂは、一実施形態による、図６Ａに示される解剖学的管腔６００の一例の３Ｄモデル６２０を示す。図６Ｂでは、解剖学的管腔６００は、まず、中心線６０７に基づいて中心線座標６０１、６０２、６０３、６０４、６０５、および６０６を３Ｄ空間で見つけることにより、３Ｄ空間で視覚化される。一例として、各中心線座標において、管腔直径は、直径６０８、６０９、６１０、６１１、６１２、および６１３を有する２Ｄ円形空間（例えば、２Ｄ円形空間６３０）として視覚化される。それらの２Ｄ円形空間を結んで３Ｄ空間を形成することにより、解剖学的管腔６００は３Ｄモデル６２０として近似され視覚化される。中心線座標および測定の分解能を上げることにより、すなわち、所与の管腔または小部分の中心線座標および測定の密度を上げることにより、より正確な近似を特定し得る。中心線座標は、病変を含め、医師にとって関心があるポイントを示すマーカを含むこともできる。

いくつかの実施形態では、術前ソフトウェアパッケージも使用して、解剖学的空間の生成された３Ｄモデルを分析し、３Ｄモデルに基づいてナビゲーション経路を導出する。例えば、ソフトウェアパッケージは、１つの病変（中心線座標によりマークされる）または
いくつかの病変への最短ナビゲーション経路を導出し得る。このナビゲーション経路は、オペレータの好みに応じて二次元または三次元のいずれかでオペレータに術中、提示し得る。

図７は、一実施形態による、解剖学的空間を表すコンピュータ生成の３Ｄモデル７００を示す。図６Ａおよび図６Ｂで上述したように、３Ｄモデル７００は、術前に生成したＣＴスキャンをレビューすることにより得られた中心線７０１を使用して生成し得る。いくつかの実施形態では、コンピュータソフトウェアが、管状網内のナビゲーション経路７０２をマッピングして、３Ｄモデル７００内の手術部位７０３にアクセスすることが可能であり得る。いくつかの実施形態では、手術部位７０３を個々の中心線座標７０４にリンクし得、それにより、コンピュータアルゴリズムは、管状網内の最適経路７０２について３Ｄモデル７００の中心線座標をトポロジ的に検索することができる。

いくつかの実施形態では、患者の解剖学的構造内の内視鏡器具の先端部が追跡され、患者の解剖学的構造内の内視鏡器具の追跡される位置が、コンピュータモデル内にマッピングされ配置され、それにより、管状網のナビゲーション機能を高める。内視鏡器具の先端作業端部、すなわち、作業端部の位置および向きを追跡するために、いくつかの手法を個々にまたは組み合わせて利用し得る。

位置を特定するセンサベースの手法では、センサ、例えば電磁（ＥＭ）追跡器を内視鏡器具の先端作業端部に結合して、内視鏡器具の前進のリアルタイム表示を提供し得る。ＥＭベースの追跡では、内視鏡器具に組み込まれたＥＭ追跡器が、１つ以上のＥＭ送信器により生成される電磁場の変動を測定する。送信器（または磁場生成器）を患者の近くに（例えば、手術ベッドの一部として）配置して、低強度磁場を生成し得る。これは、ＥＭ追跡器内のセンサコイルに、センサと生成器との間の距離および角度に相関する小電流を誘導する。次に、インターフェースユニット（オンチップまたはＰＣＢ）により電気信号をデジタル化し、ケーブル／配線を介してシステムカートに、そしてコマンドモジュールに送信し得る。次に、データを処理して、電流データを解釈し、送信器に対するセンサの精密な位置および向きを計算し得る。複数のセンサを内視鏡器具の様々な場所、例えばリーダおよびシースで使用して、それらの構成要素の個々の位置を計算し得る。したがって、人工的に生成されたＥＭ場からの読み取り値に基づいて、ＥＭ追跡器は、患者の解剖学的構造を通して動く際、場強度の変化を検出し得る。

Ｖ．Ｃ．オンザフライ（ｏｎ−ｔｈｅ−ｆｌｙ）電磁的位置合わせ
図８Ａ〜図８Ｄは、一実施形態による、管状網を通る経路のＥＭシステムの３Ｄモデルへのオンザフライ（動作中）位置合わせを示す例としてのグラフ８１０〜８４０を示す。本明細書に記載されるナビゲーション構成システムでは、内視鏡処置前に独立した位置合わせを必要とせずに、ＥＭ座標の３Ｄモデル座標へのオンザフライ位置合わせが可能である。より詳細には、図８Ａは、ＥＭ追跡システムの座標系および３Ｄモデルの座標系が最初、互いと位置合わせされていないことを示し、図８Ａのグラフ８１０は、分岐管状網（ここで図示せず）を通り計画されたナビゲーション経路８０２に沿って移動中の内視鏡先端部８０１の位置合わせされた（または予期される）位置を示し、器具先端部８０１の位置合わせされた位置および計画経路８０２は３Ｄモデルから導出される。先端部の実際の位置は、ＥＭ追跡システム５０５により繰り返し測定され、ＥＭデータに基づいて複数の測定位置データ点８０３が生成される。図８Ａに示されるように、ＥＭ追跡から導出されるデータ点８０３は最初、３Ｄモデルから予期される内視鏡先端部８０１の位置合わせ位置から離れた箇所にあり、ＥＭ座標と３Ｄモデル座標との位置合わせがないことを反映する。これにはいくつかの理由があり得、例えば、内視鏡先端部が管状網を通して比較的スムーズに移動中である場合であっても、患者の肺の呼吸の動きに起因して、ＥＭ測定には依然としていくらかの目に見える散乱があり得る。

３Ｄモデル上の点は、３Ｄモデルそれ自体、光センサ（例えば、カメラ）から受信される画像データ、およびロボットコマンドからのロボットデータの間の相関に基づいて特定し調整することもできる。これらの点と収集されたＥＭデータ点との間の３Ｄ変換により、３Ｄモデル座標系へのＥＭ座標系の初期位置合わせを決定する。

図８Ｂは、一実施形態による、グラフ８１０と比較した後の時間段階におけるグラフ８２０を示す。より具体的には、グラフ８２０は、図８Ａに示される器具先端部８０１の元の予期される位置からの経路に沿った図８Ｂに示される位置へのシフトで示されるように、３Ｄモデルから予期される内視鏡先端部８０１の予期される位置が、計画されたナビゲーション経路８０２に沿ってさらに遠くに移動したことを示す。グラフ８１０の生成とグラフ８２０の生成との間のＥＭ追跡中、追加のデータ点８０３がＥＭ追跡システムにより記録されたが、新たに収集されたＥＭデータに基づく位置合わせはまだ更新されていない。その結果、図８Ｂにおけるデータ点８０３は可視経路８１４に沿ってクラスタ化されるが、その経路の位置および向きは、内視鏡先端部が沿って前進するようにオペレータにより向けられている計画ナビゲーション経路８０２と異なる。最終的に、十分なデータ（例えば、ＥＭデータ）が蓄積されると、３ＤモデルのみまたはＥＭデータのみを使用することと比較して、ＥＭ座標を３Ｄモデルの座標に位置合わせするために必要な変換から、相対的により正確な推定を導出することができる。十分なデータの判断は、蓄積された総データまたは方向変更回数などの閾値基準により行われ得る。例えば、気管支管網などの分岐管状網では、２つの分岐点に到達した後、十分なデータが蓄積したと判断し得る。

図８Ｃは、一実施形態による、ナビゲーション構成システムが、ＥＭ座標から３Ｄ座標への位置合わせ変換の推定に十分な量のデータを蓄積した直後のグラフ８３０を示す。図８Ｃにおけるデータ点８０３は、今では、位置合わせ変換の結果として、図８Ｂに示されるような前の位置からシフトしている。図８Ｃに示されるように、ＥＭデータから導出されたデータ点８０３は、今では、３Ｄモデルから導出された計画ナビゲーション経路８０２に沿っており、データ点８０３の中の各データ点は、今では、３Ｄモデルの座標系での内視鏡先端部８０１の予期される位置の測定を反映している。いくつかの実施形態では、更なるデータが収集されるにつれて、位置合わせ変換を更新して、精度を上げ得る。いくつかの場合、位置合わせ変換の特定に使用されるデータは、移動窓で選ばれるデータのサブセットであり得、それにより、位置合わせを時間と共に変更し得、それにより、ＥＭと３Ｄモデルとの相対座標の変化−例えば、患者の動きに起因する−を説明する能力が与えられる。

図８Ｄは、一実施形態による、内視鏡先端部８０１の予期される位置が計画ナビゲーション経路８０２の端部に到達し、管状網内の目標位置に到達した一例のグラフ８４０を示す。図８Ｄに示されるように、記録されたＥＭデータ点８０３は今では一般に、処置全体を通しての内視鏡先端部の追跡を表す計画ナビゲーション経路８０２に沿ったトラックである。各データ点は、ＥＭ追跡システムから３Ｄモデルへの位置合わせの更新に起因して変換された位置を反映する。

いくつかの実施形態では、図８Ａ〜図８Ｄに示される各グラフは、内視鏡先端部が管状網内を前進するにつれて、ユーザに可視のディスプレイに順次表示することができる。いくつかの実施形態では、ディスプレイに示される測定経路のシフトにより測定データ点がディスプレイに位置合わせされるとき、ディスプレイに表示されるモデルが略一定のままであるようなナビゲーション構成システムからの命令をプロセッサに構成することができ、それにより、ユーザは、固定基準枠を維持し、ディスプレイに示されるモデルおよび計画路において視覚的に一定の向きのままであることができる。

図８Ｅおよび図８Ｆは、一実施形態による、分岐管状網の３ＤモデルへのＥＭシステムの一例の位置合わせの効果を示す。図８Ｅおよび図８Ｆでは、電磁追跡データ８５２および患者の気管支系８５４のモデルを示す３Ｄグラフが、位置合わせ変換なし（図８Ｅに示される）および位置合わせ変換あり（図８Ｆに示される）の状態で示されている。図８Ｅでは、位置合わせなしの状態で、追跡データ８６０は、気管支系８５４を通る経路に対応する形状を有するが、その形状は任意のオフセットおよび回転を受けている。図８Ｆでは、位置合わせを適用することにより、追跡データ８５２は、気管支系８５４を通る経路に対応するように、シフトされ回転されている。

Ｖ．Ｄ．位置合わせ変換の数学的分析
位置合わせの詳細な分析（例えば、数学的分析）および方法に関して、いくつかの実施形態では、位置合わせ行列を使用して、ＥＭ追跡システムと３Ｄモデルとの間の位置合わせを実行することができ、一例として、行列は、並進および回転を６次元で表現し得る。代替の実施形態では、回転行列は並進ベクトルを位置合わせの実行に使用することができる。

数学的推論の視点から、一例として、位置合わせ変換を適用することは、ある座標系（ｘ，ｙ，ｚ）から、一般に異なる３Ｄ向きに回転した軸を有するとともに、原点が各次元で任意の量シフトした新しい座標系（ｘ’，ｙ’，ｚ’）へのシフトを含む。例えば、方位角へのラジアン回転θは行列Ｍ_１で表現し得、傾斜角への回転φは行列Ｍ_２で表現し得るなどであり、さらなる回転行列は回転行列の積として書き得る。同様に、ｘ軸、ｙ軸、およびｚ軸におけるそれぞれΔｘ、Δｙ、およびΔｚによる原点の並進を表すために、（ΔｘΔｙΔｚ）の並進ベクトルを選び得る。

位置合わせ変換は、測定ＥＭ位置と３Ｄモデルでの推定位置との間の相互相関行列への特異値分解などの方法により特定し得る。次に、例えば、適切な主成分を識別することに
より、変換行列成分を分解から抽出し得る。特定された変換の残差から誤差信号を生成することもでき、誤差信号のサイズを使用して、位置の信頼レベルを特定し得る。更なるデータが測定され、位置合わせ変換がより正確に特定されるにつれて、この誤差信号は減少し得、このようにして推定される位置の信頼度が上がることを示す。

ＶＩ．ナビゲーション構成システム
ＶＩ．Ａ．ナビゲーション構成システムの高レベル全体像
図９Ａ〜図９Ｃは、一実施形態によるナビゲーション構成システム９００の一例のブロック図を示す。より詳細には、図９Ａは、一実施形態によるナビゲーション構成システム９００の一例のブロック図の高レベル全体像を示す。図９Ａでは、ナビゲーション構成システム９００は、複数の入力データ記憶装置、複数の入力データ記憶装置から様々なタイプの入力データを受信するナビゲーションモジュール９０５、およびナビゲーションモジュールから出力ナビゲーションデータを受信する出力ナビゲーションデータ記憶装置９９０を含む。図９Ａに示されるナビゲーション構成システム９００のブロック図は単なる一例であり、示されていない代替の実施形態では、ナビゲーション構成システム９００は、異なるおよび／または追加のエンティティを含むことができる。同様に、システム９００の様々なエンティティにより実行される機能は、異なる実施形態に従って異なり得る。

入力データは、本明細書で使用される場合、内視鏡の推定状態情報および出力ナビゲーションデータを生成するために、入力装置（例えば、コマンドモジュール、光センサ、ＥＭセンサ、ＩＤＭ）から収集されおよび／または処理された生データを指す。複数の入力データ記憶装置９１０〜９４０は、画像データ記憶装置９１０、ＥＭデータ記憶装置９２０、ロボットデータ記憶装置９３０、および３Ｄモデルデータ記憶装置９４０を含む。各タイプの入力データ記憶装置は、ナビゲーションモジュール９０５によるアクセスおよび使用のために、名前が示すタイプのデータを記憶する。画像データは、器具先端部における撮像装置により撮影された１つ以上の画像フレームおよびフレーム対間の経過時間の特定を可能にするフレームレートまたはタイムスタンプなどの情報を含み得る。ロボットデータは、管状網内の医療器具または医療器具の一部（例えば、器具の先端部またはシース）の物理的な動きに関連するデータを含む。ロボットデータの例としては、特定の解剖学的部位に到達し、および／または管状網内で向きを変更する（例えば、リーダおよびシースの一方または両方の特定のピッチ、ロール、ヨー、挿入、および退避を用いて）ように器具先端部に命令するコマンドデータ、医療器具の一部（例えば、器具の先端部またはシース）の挿入の動きを表す挿入データ、ＩＤＭデータ、ならびに医療器具の細長状部材の機械的な動き、例えば、管状網内で医療器具の実際の移動を駆動する内視鏡の１つ以上のプル・ワイヤ、テンドン、またはシャフトの動きを表す機械的データが挙げられる。ＥＭデータは、上述したように、ＥＭセンサおよび／またはＥＭ追跡システムにより収集される。３Ｄモデルデータは、上述したように、２Ｄ ＣＴスキャンから導出される。

出力ナビゲーションデータ記憶装置９９０は、ナビゲーションモジュール９０５により提供される出力ナビゲーションデータを受信し記憶する。出力ナビゲーションデータは、管状網内の特定の行き先に到達するように管状網を通して医療器具を方向付けるのを助ける情報を示し、各瞬間での医療器具の推定状態情報に基づき、推定状態情報は、管状網内の医療器具の位置および向きを含む。一実施形態では、医療器具が管状網内部を動くにつれて、医療器具の動きおよび位置／向き情報の更新を示す出力ナビゲーションデータがリアルタイムで提供され、管状網を通してのナビゲーションをよりよく支援する。

出力ナビゲーションデータを特定するために、ナビゲーションモジュール９０５は、管状網内の医療器具の推定状態を見つける（または特定する）。図９Ａに示されるように、ナビゲーションモジュール９０５は、それぞれが主に特定のタイプの入力データを使い、状態推定部９８０に対して異なるタイプのデータを寄与し得るＥＭベースアルゴリズムモ
ジュール９５０、画像ベースアルゴリズムモジュール９６０、およびロボットベースアルゴリズムモジュール９７０などの様々なアルゴリズムモジュールをさらに含む。図９Ａに示されるように、ＥＭベースデータ、画像ベースデータ、およびロボットベースデータと記されるこれらのモジュールにより出力される異なる種類のデータは一般に、説明のために「中間データ」と呼ばれ得る。各アルゴリズムモジュールおよび状態推定部９８０の詳細な構成については図９Ｂにおいてより十分に後述する。

ＶＩ．Ｂ．ナビゲーションモジュール
図９Ｂは、一実施形態による、図９Ａに示されるナビゲーションモジュール９０５の一例のブロック図を示す。上述したように、ナビゲーションモジュール９０５は、状態推定部９８０と、管状網を通してナビゲートするために異なるアルゴリズムを利用する複数のアルゴリズムモジュールとをさらに含む。説明を明確にするために、状態推定部９８０についてまず説明し、その後、状態推定部９８０とデータを交換する様々なモジュールについて説明する。

ＶＩ．Ｂ．１状態推定部
ナビゲーションモジュール９０５に含まれる状態推定部９８０は、様々な中間データを受信し、時間の関数として器具先端部の推定状態を提供し、ここで、推定状態は、管状網内の器具先端部の推定される位置および向き情報を示す。推定状態データは、状態推定部９８０に含まれる推定データ記憶装置９８５に記憶される。

図９Ｃは、一実施形態による、状態推定部９８０に含まれる推定状態データ記憶装置９８５の一例のブロック図を示す。推定状態データ記憶装置９８５は、分岐データ記憶装置１０８６、位置データ記憶装置１０８７、深さデータ記憶装置１０８８、および向きデータ記憶装置１０８９を含み得るが、データ記憶のこの特定の分割は単なる一例であり、図示されない代替の実施形態では、異なるおよび／または追加のデータ記憶装置を推定状態データ記憶装置９８５に含めることができる。

上記の様々な記憶装置は、多種多様な方法で推定状態データを表す。特に、分岐データは、管状網内の１組の分岐（例えば、２分岐、３分岐、または４つ以上の分岐への分割）に関する医療器具の位置を指す。例えば、分岐データは、器具が管状網を通って移動する際、例えば、管状網の全体をマッピングする３Ｄモデルにより提供されるようなより大きな組の利用可能な分岐に基づいて器具により選ばれた１組の分岐選択肢であることができる。分岐データは、器具先端部が近くにあるが、まだ横切っておらず、しかし、例えば、３Ｄモデルに対する先端部の現在位置情報に基づいてまたは来る２分岐の撮影画像に基づいて検出されていたかもしれない分岐（２分岐）等の器具先端部の位置の前方の情報をさらに含むことができる。

位置データは、管状網内の医療器具のある部分または管状網それ実施形態のある部分の三次元位置を示す。位置データは、絶対位置または例えば、管状網の３Ｄモデルに対する相対位置の形態であることができる。一例として、位置データは特定の分岐の位置を含むことができる。

深さデータは、管状網内の器具先端部の深さ情報を示す。深さデータ例としては、患者への医療器具の総挿入（絶対）深さおよび識別された分岐内の（相対）深さが挙げられる。深さデータは、管状網および医療器具の両方に関する位置データに基づいて特定し得る。

向きデータは、器具先端部の向き情報を示し、３Ｄモデルに対する全体的なロール、ピッチ、およびヨーならびに識別された分岐内のピッチ、ロール、ローを含み得る。

再び図９Ｂを参照すると、状態推定部９８０は、より正確な中間データを生成するために、アルゴリズムモジュールに再び推定状態データを提供し、状態推定部はそれを使用して、改善されおよび／または更新された推定状態を生成するなどして、フィードバックループを形成する。例えば、図９Ｂに示されるように、ＥＭベースアルゴリズムモジュール９５０は、タイムスタンプ「ｔ−１」が関連付けられたデータとも呼ばれる、前のＥＭベース推定状態データ（図９Ｂに示されない）を受信する。状態推定部９８０はこのデータを使用して、タイムスタンプ「ｔ−１」が関連付けられた「推定状態データ（過去）」を生成する。状態推定部９８０は次に、データを再びＥＭベースアルゴリズムモジュールに提供する。「推定状態データ（過去）」は、異なるアルゴリズムモジュールから生成され受信されるように、タイムスタンプ「ｔ−１」が関連付けられた異なるタイプの中間データ（例えば、ロボットデータ、画像データ）の組み合わせに基づき得る。次に、ＥＭベースアルゴリズムモジュール９５０は、推定状態データ（過去）を使用してアルゴリズムを実行して、状態推定部９８０に改善された更新されたＥＭベース推定状態データを出力し、このＥＭベース推定状態データは、ここでは「ＥＭベース推定状態データ（現在）」で表され、タイムスタンプｔが関連付けられる。このプロセスは続けられ、将来のタイムスタンプについても同様に繰り返される。

状態推定部９８０はいくつかの異なる種類の中間データを使用して、管状網内の医療器具の状態の推定に到達し得るため、状態推定部９８０は、各タイプの基礎データ（ロボット、ＥＭ、画像）および各タイプのアルゴリズムモジュールが生み出し得るか、または推定状態の特定での考慮に使用された中間データに持ち込み得る、測定および分析の両方での様々な異なる種類の誤差および不確実性を説明するように構成される。これらに対処するために、確率分布および信頼値という２つの概念について考察する。

「確率分布」の「確率」とは、本明細書で使用される場合、医療器具の可能な位置および／または向きの推定が正確である確率を指す。例えば、アルゴリズムモジュールの１つにより、医療器具が管状網内のいくつかの異なる可能な分岐の１つにある相対確率を示す異なる確率を計算し得る。一実施形態では、確率分布のタイプ（例えば、離散分布および連続分布）は、推定状態の特徴（例えば推定状態のタイプ、例えば連続位置情報ｖｓ離散分岐選択肢）に合うように選ばれる。一例として、３分岐で、医療器具がどのセグメントにあるかを識別するための推定状態は、離散確率分布で表し得、アルゴリズムモジュールの１つにより特定される３つの分岐のそれぞれの内部の位置にある機会を表す２０％、３０％、および５０％という３つの離散値を含み得る。別の例として、推定状態は、それぞれが連続確率分布のタイプであるガウス分布で表される、医療器具の４０±５度のロール角および分岐内の器具先端部のセグメント深さが４±１ｍｍであり得ることを含み得る。確率の生成に異なる方法を使用することもでき、方法は、後の図を参照してより十分に後述するように、アルゴリズムモジュールによって様々である。

これとは対照的に、「信頼値」は、本明細書で使用される場合、１つ以上の要因基づいてアルゴリズムの１つにより提供される状態の推定の信頼度の尺度を反映する。ＥＭベースアルゴリズムの場合、ＥＭ場への歪み、ＥＭ位置合わせの不正確性、患者のシフトまたは動き、および患者の呼吸などの要因が、状態の推定における信頼度に影響を及ぼし得る。特に、ＥＭベースアルゴリズムにより提供される状態の推定における信頼値は、患者の特定の呼吸サイクル、患者またはＥＭ場生成器の動き、および器具先端部がある解剖学的構造内の位置に依存し得る。画像ベースアルゴリズムの場合、状態の推定における信頼値に影響を及ぼし得る要因例としては、画像が撮影される解剖学的構造内の位置の照明状況、画像を撮影する光センサの背後または前の流体、組織、または他の障害物の存在、患者の呼吸、管状網内部の一般流体および管状網の遮蔽などの患者自体の管状網（例えば、肺）の状態、ならびに例えば、ナビゲーションまたは画像撮影で使用される特定の動作技法
が挙げられる。

例えば、ある要因は、特定のアルゴリズムが、気道開口部に比較的近ければ、特定のアルゴリズムが医療器具の位置および向きの推定において高い信頼度を有し得るが、医療器具が肺の底部にさらに進むと、信頼度が低下し得るように、患者の肺の異なる深さで異なるレベルの精度を有することであり得る。一般に、信頼値は、結果が特定されるプロセスに関連する１つ以上の全身的要因に基づき、一方、確率は、基礎データに基づいて単一のアルゴリズムを用いて複数の確率から正確な結果を特定しようとする場合に生じる相対的尺度である。

一例として、離散確率分布により表される推定状態（例えば、３つの値の推定状態が関わる３分岐での分岐／セグメント識別）の結果を計算するための数式は以下であることができる。
Ｓ_１＝Ｃ_ＥＭ＊Ｐ_１，ＥＭ＋Ｃ_{Ｉｍａｇｅ}＊Ｐ_{１，Ｉｍａｇｅ}＋Ｃ_{Ｒｏｂｏｔ}＊Ｐ_{１，Ｒｏｂｏｔ}；
Ｓ_２＝Ｃ_ＥＭ＊Ｐ_２，ＥＭ＋Ｃ_{Ｉｍａｇｅ}＊Ｐ_{２，Ｉｍａｇｅ}＋Ｃ_{Ｒｏｂｏｔ}＊Ｐ_{２，Ｒｏｂｏｔ}；
Ｓ_３＝Ｃ_ＥＭ＊Ｐ_３，ＥＭ＋Ｃ_{Ｉｍａｇｅ}＊Ｐ_{３，Ｉｍａｇｅ}＋Ｃ_{Ｒｏｂｏｔ}＊Ｐ_{３，Ｒｏｂｏｔ}

上記数式例では、Ｓ_ｉ（ｉ＝１，２，３）は、３Ｄモデルにおいて３つの可能なセグメントが識別または存在する場合での推定状態の可能な値の例を表し、Ｃ_ＥＭ、Ｃ_{Ｉｍａｇｅ}、およびＣ_{Ｒｏｂｏｔ}は、ＥＭベースアルゴリズム、画像ベースアルゴリズム、およびロボットベースアルゴリズムに対応する信頼値を表し、Ｐ_ｉ，ＥＭ、Ｐ_{ｉ，Ｉｍａｇｅ}、Ｐ_{ｉ，Ｒｏｂｏｔ}はセグメントｉの確率を表す。

推定状態に関連する確率分布および信頼値の概念をよりよく説明するために、ここで詳細な例を提供する。この例では、ユーザは、器具先端部が管状網の中央気道（予測領域）内の特定の３分岐内にあるセグメントを識別しようとしており、ＥＭベースアルゴリズム、画像ベースアルゴリズム、およびロボットベースアルゴリズムを含む３つのアルゴリズムモジュールが使用される。この例では、ＥＭベースアルゴリズムに対応する確率分布は、第１の分岐では２０％、第２の分岐では３０％、第３（最後）の分岐では５０％であり得、このＥＭベースのアルゴリズムおよび中央気道に適用される信頼値は８０％である。同じ例で、画像ベースのアルゴリズムに対応する確率分布は、第１、第２、および第３の分岐でそれぞれ４０％、２０％、４０％であり、この画像ベースアルゴリズムに適用される信頼値は３０％であり、一方、ロボットベースのアルゴリズムに対応する確率分布は、第１、第２、および第３の分岐でそれぞれ１０％、６０％、３０％であり、この画像ベースのアルゴリズムに適用される信頼値は２０％である。ＥＭベースアルゴリズムおよび画像ベースアルゴリズムに適用される信頼値の違いは、中央気道でのセグメント識別の場合、画像ベースアルゴリズムと比較してＥＭベースアルゴリズムの方がよりよい選択肢であり得ることを示す。最終的に推定状態の数学的計算の例は、
第１の分岐では、２０％＊８０％＋４０％＊８３０％＋１０％＊８２０％＝３０％；第２の分岐では、３０％＊８８０％＋２０％＊８３０％＋６０％＊８２０％＝４２％；および第３の分岐では、５０％＊８８０％＋４０％＊８３０％＋３０％＊８２０％＝５８％
であることができる。

この例では、器具先端部の出力推定状態は、結果値（例えば、結果である３０％、４２％、および５８％）または器具先端部が第３の分岐にあるとの判断などのこれらの結果値からの導出値であることができる。

上記のように、推定状態はいくつかの異なる方法で表し得る。例えば、推定状態は、気道から器具の先端部の位置までの絶対深さおよび管状網内の器具が横切った１組の分岐を表す１組のデータをさらに含み得、１組は、例えば、患者の肺の３Ｄモデルにより提供される分岐の全集合のサブセットである。推定状態への確率分布および信頼値の適用により、管状網内の器具先端部の位置および／または向きの推定精度を改善することができる。

ＶＩ．Ｂ．２ アルゴリズムモジュール
図９Ｂに示されるように、アルゴリズムモジュールは、ＥＭベースアルゴリズムモジュール９５０、画像ベースアルゴリズムモジュール９６０、およびロボットベースアルゴリズムモジュール９７０を含む。図９Ｂに示されるアルゴリズムモジュールは単なる一例であり、代替の実施形態では、異なるおよび／または追加のナビゲーションアルゴリズムを含む、異なるおよび／または追加のアルゴリズムモジュールをナビゲーションモジュール９０５に含むこともできる。

ＶＩ．Ｂ．２．Ｉ．ＥＭベースアルゴリズムモジュール
ＥＭベースアルゴリズムモジュール９５０は、ＥＭ位置合わせモジュール９５２および分岐選択モジュール９５４をさらに含む。ＥＭ位置合わせモジュール９５２は、３Ｄモデル座標へのＥＭ座標の位置合わせを実行する。図１０Ａは、一実施形態によるＥＭ位置合わせモジュール９５２の一例のブロック図を示す。ＥＭ位置合わせモジュール９５２は、入力として、推定状態データ（過去）（例えば、分岐データ）を推定状態データ記憶装置１０８６から受信し、ＥＭデータをＥＭデータ記憶装置９２０から受信し、３Ｄモデルデータを３Ｄモデルデータ記憶装置９４０から受信する。

第Ｖ項に関して上述したように、受信データに基づいて、ＥＭ位置合わせモジュール９５２は、ＥＭ追跡データの３Ｄモデルへのオンザフライ位置合わせを実行する。初期位置合わせが決定された後、ＥＭ位置合わせモジュール９５２は、受信データに基づいて位置合わせ変換の推定を連続して更新し、変換精度を上げるとともに、ナビゲーション構成システム９００への変更、例えば、患者の動きに起因した変更を補償する。ＥＭ位置合わせモジュール９５２は、位置合わせ変換データを位置合わせ変換データ記憶装置１０５３に出力する。一実施形態では、位置合わせ変換データは、最もよく一致した位置合わせ変換を反映し、状態推定部９８０および分岐選択モジュール９５４にも送信することができる。

図１０Ｂは、一実施形態による分岐選択モジュール９５４の一例のブロック図を示す。分岐選択モジュール９５４は、入力として、推定状態データ（過去）（例えば、分岐データ）を推定状態データ記憶装置９８５から受信し、ＥＭデータをＥＭデータ記憶装置９２０から受信し、位置合わせ変換データを位置合わせ変換データ記憶装置１０５３から受信し、３Ｄモデルデータを３Ｄモデルデータ記憶装置９４０から受信する。受信データに基づいて、分岐選択モジュール９５４は、管状網の３Ｄモデルに対する内視鏡先端部の位置および向きの推定を特定し、ＥＭベース推定状態データ（現在）を状態推定部９８０に提供する。例として、ＥＭベース推定状態データは確率分布（例えば、上述したように、３分岐の３つのセグメントで２０％、３０％、および５０％の離散分布）として表し得る。さらに、受信した分岐データにより示される分岐にあるとき、分岐選択モジュール９５４は、先端部のピッチおよびヨーを３Ｄモデルにおける各分岐の角度と比較して、辿る分岐としてどの分岐がユーザにより選択されたかを推定し得る。分岐選択モジュール９５４は、ＥＭベース推定状態データ（現在）を推定データ記憶装置９８５に出力する。

ＶＩ．Ｂ．２．ＩＩ．画像ベースアルゴリズムモジュール
図９Ｂを再び参照すると、画像ベースアルゴリズムモジュール９６０は、画像データを使用して、管状網内の器具の推定状態を特定する。画像ベースアルゴリズムモジュール９
６０は、異なる画像ベースアルゴリズムを利用する１つ以上の異なるタイプの画像ベースアルゴリズムモジュールをさらに含む。図９Ｂに示されるように、物体ベースアルゴリズムモジュール９６２を含む一例を示す。図示されない代替の実施形態では、他のタイプの画像ベースアルゴリズムを利用し得、対応するアルゴリズムモジュールを画像ベースアルゴリズムモジュール９６０に含め得る。

物体ベースアルゴリズムモジュール９６２は、分岐開口部または粒子などの画像データの視野に存在する物体を検出し分析して、推定状態を特定する。一実施形態では、物体ベースアルゴリズムモジュール９６２は、物体検出モジュール９６３、および物体マッピングモジュール９６４、トポロジ的推論モジュール９６５、および動き推定モジュール９６６を含む。いくつかの実施形態では、物体ベースアルゴリズムモジュール９６２は、異なるモジュール９６３、９６４、９６５、および９６６を一定の順序で適用する必要があってもよくまたはなくてもよく、物体ベースアルゴリズムモジュール９６２により記載される物体ベースアルゴリズムのプロセスを実際に実行するとき、モジュール９６２内の各モジュールを利用する順序は図９Ｂに示されるものとは異なる順序である。

図１０Ｃを参照すると、動き推定モジュール９６３は、入力として、画像データを画像データ記憶装置９１０から受信し、推定状態データ（過去）（特に分岐データ）を推定状態データ記憶装置９８５から受信し、３Ｄモデルデータを３Ｄモデルデータ記憶装置９４０から受信する。受信した画像データに基づいて、動き推定モジュール９６３は、受信した画像データに基づいて複数の画像フレーム間の医療器具の動きを測定する。使用される技法例としては、中でも特に光学フローおよび画像位置合わせ技法が挙げられる。この測定は、それ自体の局所基準枠での器具先端部の前後運動または回転運動などの差動運動を特定する。この運動を前の推定状態入力と組み合わせて、新しい推定状態を計算することができる。特に、前方（または後方）運動は、前の推定状態からの深さの増大（または減少）に変換することができる。同様に、差動ロールは、前の推定状態からのロール角の変更に変換される。これらの測定により、管状網を通しての移動を推定することができる。上記のように、これらの推定は、確率分布（例えば、ガウス分布で表される４０±５度の医療器具のロール角）として表し得る。出力推定状態は推定状態データ記憶装置９８５に記憶される。

一実施形態では、特定の瞬間での推定状態および分岐データにより、器具先端部が分岐にまたはその近傍にあることが示される場合、この運動推定は、器具先端部が入るか、または入ったと推定される新しい推定分岐の識別を含み得る。例えば、分岐データにより、内視鏡先端部が分岐点にあることが示される場合、ピッチおよびヨー運動を測定して、指向角度の変更を特定することができ、新しい推定角度を管状網の３Ｄモデル内の異なる分岐の予期される角度と比較することができる。次に、内視鏡が新しい分岐に入るとき、内視鏡がどの分岐に面するかを特定することができる。新しい位置、向き、および／または分岐入場のこれらの推定のそれぞれを反映した推定状態データは状態推定部９８０に出力される。

図１０Ｄは、一例による物体検出モジュール９６４の一例のブロック図を示す。物体検出モジュール９６４は、入力として、画像データ（例えば、画像フレーム）を受信し、物体データを物体データ記憶装置１０６３に出力するとともに、推定状態データを推定状態データ記憶装置９８５に出力する。物体データは、何の物体が識別されたかならびに確率として表される物体の位置、向き、およびサイズについての情報を示す。

特に、物体検出モジュール９６４は、画像内で、管状網での分岐点を示し得る１つ以上の物体および物体の１つ以上の特徴を検出し、次に、それらの位置、サイズ、および向きを特定する。物体は、検出された分岐点について円／楕円／長円などの二次元形状として
物体検出モジュール９６４において計算または表現し得る。これは、物体の撮影に使用された画像データが、通常、器具があるセグメントの方向に実質的に平行する軸に沿って指向する器具先端部上のカメラからの画像であることに対応する。その結果、管状網における分岐などの物体は、画像において楕円などの単純な形状として現れる。一実施形態では、管状網内の所与の画像において、各分岐は通常、暗い概ね長円の領域として現れ、これらの領域は、最大安定極値領域（ＭＳＥＲ）などの領域検出アルゴリズムを使用して、プロセッサにより物体として自動的に検出し得る。次に、これらの領域は、長円中心、長軸および短軸、ならびに画像内の角度などの適切な自由パラメータを用いてフィッティングして、物体（例えば、長円）を画定し得る。回転測定およびモデル管腔と画像内の管腔との識別された一致も状態推定部９８０およびトポロジ的推論モジュール９６６に出力される。中心を結ぶリンクと共に、気管支網の画像に重ねられた、識別された物体の例について図１１Ａおよび図１１Ｂを参照して説明する。

一実施形態では、画像データに存在する物体として、「気道」を識別することもできる。物体検出モジュール９６４は、他の技法と組み合わせて光反射強度を使用して、気道を識別し得る。

物体検出モジュール９６４は、１組の順次画像フレームにわたり検出された物体をさらに追跡して、管状網内の１組の可能な分岐の中から、どの分岐に入ったかを検出し得る。画像フレーム内の物体の相対位置の追跡を使用して、分岐網内のロール角の局所絶対測定を特定し得る。

図１０Ｅは、一実施形態による物体マッピングモジュール９６５の一例のブロック図を示す。物体マッピングモジュール９６５は、入力として、３Ｄモデルデータを３Ｄモデルデータ記憶装置９４０から受信し、物体データ（例えば、管状網での可能な分岐を表す形状などの検出された物体）を物体データ記憶装置１０６３から受信し、推定状態データ（過去）を推定状態データ記憶装置９８５から受信する。

受信した入力データに基づいて、物体マッピングモジュール９６５は、物体マッピングデータを物体マッピングデータ記憶装置１０６５に出力するとともに、画像ベース推定状態データ（現在）を推定状態データ記憶装置９８５に出力する。一例として、物体マッピングデータは、画像データに示される物理的な分岐（管腔）（検出された物体に基づく）と３Ｄモデルにより生成される仮想分岐情報との間のマッピング情報を示す。モジュール９６５により生成される推定状態データ（現在）は、画像内で可視の管状網の各分岐の識別および３Ｄモデルに対する内視鏡先端部の回転の推定を含む。上記のように、推定状態データ（現在）は確率分布として表すことができる。可視管腔の識別は、例えば、３Ｄモデル仮想画像データと相関付けられた物体サイズおよび識別された各管腔位置の、管状網の特定の分岐との関連付けに基づいて、画像内の識別された各管腔中心のｘおよびｙでの座標を含み得る。

いくつかの実施形態では、３Ｄモデルは内視鏡処置前に生成されるため、管状網の仮想画像を予め計算して、処理を加速させ得る。図示されない代替の実施形態では、管状網は、管腔正中線のツリー図などの構造により表し得、そのような各正中線は３Ｄ経路を記述し、それにより、任意の視点から見た局部分岐中心の予期される位置をＥＭデータおよび／またはロボットデータに基づいて識別された分岐中心の実際の位置と比較し得る。

図１１Ａおよび図１１Ｂは、一実施形態による、物体マッピングモジュール９６５により実行される一例の物体−管腔マッピングを示す。より具体的には、図１１Ａは、一実施形態による、２つの物体の中心を結ぶリンク１１０３と共に、気管支網１１０５の画像に重ねられた、例としての識別された２つの物体１１０１および１１０２を示す。示される
例では、識別された物体１１０１および１１０２は長円形である。

図１１Ｂは、オン実施形態による、実際の気管支網の実際の画像１１１０での気道管腔と、それと同じ網の３Ｄモデルからの対応する仮想画像１１２０との一致を示す。実際の画像１１１０において、一実施形態では、図６Ａおよび図６Ｂにおいて上述したように分岐の中心線座標を示す、識別された中心１１１１および１１１２を用いて特定された２つの異なる分岐に対応する長円が識別される。３Ｄモデル仮想画像１１２０は、実際の画像１１１０に示される実際の気管支網のシミュレーション表現であり、状態推定部９８０により特定された内視鏡先端部の推定中心１１２１および１１２２が、識別された中心１１１１および１１１２の位置に対応して示されている。

両画像１１１０および１１２０がユーザインターフェースを介してユーザに提示される場合、３Ｄモデル画像１１２０を回転または並進させて、実際の画像１１１０と仮想画像１１２０との一致度を上げることができ、回転または並進に必要な回転量は、現在の推定状態（例えば、器具先端部の回転）への修正として出力することができる。

一実施形態では、物体マッピングモジュール９６５により生成される可能な推定状態に適用される確率は、実際の画像１１１０において検出された、識別された中心１１１１および１１１２と、３Ｄモデル画像１１２０における推定中心１１２１および１１２１との一致度に基づき、一例として、識別された中心１１１２を有する管腔内にある確率は、推定中心１１２２と識別された中心１１１２との間の距離が大きくなるについて下がる。

図１０Ｆは、一実施形態によるトポロジ的推論モジュール９６６の一例のブロック図を示す。トポロジ的推論モジュール９６６は、入力として、画像データを３Ｄモデルデータから３Ｄモデルデータ記憶装置９４０から受信し、物体マッピングデータを物体マッピングデータ記憶装置１０６５から受信し、推定状態データ（過去）を推定状態データ記憶装置９８５から受信する。

受信データに基づいて、トポロジ的推論モジュール９６６は、内視鏡先端部がどの分岐に面しているかを特定し、それにより、内視鏡が前方に動いた場合、どの分岐に入ることになるかの予測を生成する。上記のように、この特定は確率分布として表し得る。一実施形態では、器具先端部が前方に動いたとき、トポロジ的推論モジュール９６６は、管状網の新しい分岐に入ったと判断し、先端部がどの分岐の中に入ったかを識別する。どの分岐に面しているかおよびどのセグメントに入るかの特定は、例えば、識別された異なる物体（例えば、長円）の相対サイズおよび位置を比較することにより行い得る。一例として、特定の管腔分岐に入るにつれて、検出される対応する物体は、連続画像フレームにおいて大きく成長するとともに、それらのフレームのより中心に配置されるようにもなる。これは挙動が物体の１つについて識別される場合、トポロジ的推論モジュール９６６は、内視鏡先端部がその物体に関連する管腔に向かって動くにつれて、ますます大きな確率を対応する推定状態に割り当てる。最終的に物体形状が画像から全体的に消失するまで、それに対応して他の分岐にはより低い確率が割り当てられる。一実施形態では、医療器具がそれらの分岐内にある確率は、物体マッピングモジュール９６４により分岐が誤って識別された確率のみに依存する。トポロジ的推論モジュール９６６の出力は、分岐網内の１組の可能な分岐のそれぞれ内にある推定確率を表す画像ベース推定状態データである。

ＶＩ．Ｂ．２．ＩＩＩ．ロボットベースアルゴリズムモジュール
ロボットベースアルゴリズムモジュール９７０は、ロボットデータを使用して、ロボットベース推定状態データを状態推定部９８０に提供する。図９Ｂは、ロボットベースアルゴリズムモジュール９７０が推定状態データ（過去）を受信し、推定状態データ（現在）を状態推定部９８０に提供することを示す。ロボットデータは、管状網内の医療器具また
は医療器具の一部（例えば、器具先端部）の物理的な動きに関連するデータを含む。ロボットデータ例としては、ロボットデータの例としては、特定の解剖学的部位に到達し、および／または管状網内で向きを変更する（例えば、リーダおよびシースの一方または両方の特定のピッチ、ロール、ヨー、挿入、および退避を用いて）ように器具先端部に命令するコマンドデータ、医療器具の一部（例えば、器具の先端部またはシース）の挿入の動きを表す挿入データ、ＩＤＭデータ、ならびに医療器具の細長状部材の機械的な動き、例えば、管状網内で医療器具の実際の移動を駆動する内視鏡の１つ以上のプル・ワイヤ、テンドン、またはシャフトの動きを表す機械的データが挙げられる。

理想的なシステムでは、特に器具先端部を制御するためにＩＤＭに与えられる入力ピッチ、ロール、ヨー、挿入、および退避コマンドは、器具先端部の動きを厳密に入力された通りに変更させるが、実際では、これは一般に当てはまらない。システムでの摩擦、器具の動きの非線形性、妨害物、および他の影響により、入力された動きは、出力される動きと異なり得る。したがって、生のロボット入力データにより提供される推定状態データは、実際の動きについての推定にすぎない。上記アルゴリズムのように、ロボットデータから特定される推定状態データは、確率的に表されて、実際の位置情報でのこの不確実性を表し得る。

ＶＩ．Ｃ．確率分布の生成
図１２は、一実施形態による、上述した任意の個々のアルゴリズムモジュールにより実行し得るような、推定状態を特定する複数の値にわたり確率分布を生成する一例のプロセスを示す。例のために、このプロセスについて推定状態モジュール９８０に関して説明するが、実際には、任意のアルゴリズムモジュールにより使用し得る。

図１２では、ベイズ推定方法のプロセスが示され、図示されない代替の実施形態では、確率分布を生成する他の方法を利用することもできる。図１２に示されるように、状態推定部９８０はまず、推定状態の前の確率分布を特定する（１２０１）。この段階として、この確率分布は、例えば、分岐網への入口点に近い開始点を識別するユーザ入力に基づいて初期化された値分布であり得る。続けて、ロボット、画像、またはＥＭ入力データに基づいて調整された前の出力状態推定から分布が特定される。

例えば、手術ロボットシステム１００が、内視鏡先端部を特定の距離、例えば１ｍｍ、前方に動かすように命令する場合、前の確率分布と比較して１ｍｍ前方に中心を有するものとして新しいまたは更新された確率分布を推定し得る。より一般的には、ロボットコマンドが、値変更の予期される分布Ｑ（Ａｘ）で表される特定の量、変数ｘを変更することが予期される場合、新しい推定分布Ｐ’（ｘ）は、Ｑ（Ａｘ）との前の分布Ｐ（ｘ）の畳み込みとして表現し得る。この新しい推定状態は、続くステップにおいて、変数の前の確率推定として扱われる。

次のステップ１２０２において、状態推定部９８０は、１つ以上のアルゴリズムモジュールに基づく推定状態の推定値分布を受信する。この値分布は、例えば、予期される値および誤差範囲または値にわたる明示的な分布関数などの様々な方法で表し得る。いずれの場合でも、値分布は明示的または暗黙的に、変数の予期値および誤差範囲の何らかの推定を含む。いくつかの場合、予期値のみが送信され、誤差範囲は、過去の性能または予め較正された信頼値の記録を使用して状態推定部９８０により特定される。一実施形態では、予期値および誤差範囲を使用する場合、状態推定部９８０は、予期される値に平均および誤差範囲により決まる標準偏差を有する正規分布として推定値分布を扱い得る。分岐識別のような離散変数または離散状態の場合では、推定値分布は通常、合計確率が合算して１（または１００％）になるように、１つ以上の分岐のそれぞれに割り当てられる１つ以上の確率値を含む。いくつかの場合、いくつかの分岐に明示的な確率が割り当てられないこ
とがあり、合計確率が１未満であり得、その場合、残りの確率は他の全ての分岐にわたり均一に分布するものとして扱うことができる。

ステップ１２０３において、状態推定部９８０は、ステップ１２０２から受信される推定値分布およびステップ１２０１から特定される前の確率分布に基づいて、事後確率分布を生成する。一例として、この事後確率分布はベイズ理論の適用として計算され、ベイズ理論は、観測Ａについて、値ｘを有する変数の事後確率Ｐ（ｘ｜Ａ）が、式

により与えられることを述べており、式中、Ｐ（ｘ｜Ａ）はｘが真であることを所与としてＡを観測する確率であり、Ｐ（ｘ）はｘが真である事前確率であり、Ｐ（Ａ）は、ｘが真であるか偽であるかに関係がなく、Ａを観測する事前確率である。

状態推定部９８０は、ステップ１２０１および１２０２中に生成される入力からならびに１組の可能な観測の基本モデルからＰ（ｘ）、Ｐ（Ａ）、およびＰ（Ａ｜ｘ）の数量のそれぞれを特定する。例えば、ｘの事前確率を表すＰ（Ａ）は単に、ステップ１２０１において特定される値から読み出し得る。同様に、Ｐ（Ａ｜ｘ）はステップ１２０２において特定される関数から読み取り得る。Ｐ（Ａ）は、Ａの可能な値の数を表す定数として設定し得る。例えば、内視鏡先端部が特定の数（例えば、１０）の分岐への分割に直面している分岐の離散確率分布を推定する場合、任意の所与の分岐になる先端部を観測する確率Ｐ（Ａ）は１／１０として設定し得る。代替的には、モデルを実施して、可能な観測Ａを可変的に加重し得、例えば、分岐サイズが変化する場合、Ｐ（Ａ）は、ランダムに配置された先端部が小さな分岐よりも大きな分岐で見つかる可能性がより高いという概念を表す、分岐Ａのサイズを全ての分岐サイズの和で割ったものに比例して設定し得る。ロール角、深さ、または向きなどの連続分布の場合、Ｐ（Ａ）は全ての可能な観測Ａにわたる確率密度関数である。例えば、ロール角が０ラジアン〜２πラジアンの範囲である場合、Ｐ（Ａ）は、観測される任意のロール角の等しく可能性がある確率密度を表すＡの全ての値で１／（２π）に設定し得る。より一般的には、ｘの確率の推定としてのＰ（ｘ）を所与として、Ｐ（Ａ）は公式Ｐ（Ａ）＝Ｐ（Ａ｜ｘ）Ｐ（ｘ）＋Ｐ（Ａ｜〜ｘ）Ｐ（〜ｘ）により与えられ、式中、〜ｘは「ｘではない」を意味する。

一実施形態では、ステップ１２０３の結果は、変数／状態の値の新しい確率分布である。一実施形態では、複数の独立した測定のそれぞれが所与の変数に関する場合、複数の独立測定は、ステップ１２０３の出力をステップ１２０１への入力としてとり、ステップ１２０２の推定値分布として新しい各測定を使用することにより順次調整し得る。これは測定にわたるループ１２０５を生成する。代替的には、ステップ１２０２は、複数の独立推定値分布を組み込み得、複数の独立推定値分布は、複数の測定でのベイズ条件付き更新を使用して、ステップ１２０３において単一の更新推定に結合し得る。

例えば、差動運動が測定中である場合、動き推定モジュール９６３は、ステップ１２０１の前の確率分布を運動量（例えば、ロボットデータに基づく予期される運動範囲）にわたるものとしてとり、差動運動測定にわたるステップ１２０２における推定値分布を受信し、ステップ１２０３における事後確率分布を生成して、運動の実際の値を推定するプロセスを有する方法１２００を利用し得る。次に、この出力は、事前推定編数値（前の推定状態からの）で畳み込まれて、状態の複数の値の事後確率分布を生成し得る。いくつかの実施形態では、全ての測定が、更新された確率分布に組み込まれると、ステップ１２０４
において、この新しい確率分布は報告される。プロセス１２００は並列して適用されて、位置、向き、ロール、深さ、および／または分岐などの複数の変数（状態）の新しい確率分布を生成し得る。そのような各プロセスのステップ１２０４の出力を一緒に結合して、動き推定モジュール９６３の出力を表す新しい推定状態（Ｅ）１２０２を生成し得る。

ＶＩ．Ｄ．誤差修正
いくつかの実施形態では、ナビゲーションモジュール９０５は、特定の入力データが利用可能ではない場合であっても、変数の推定を可能にする。例えば、ＥＭシステムの位置合わせ前、分岐選択モジュール９５４の出力は状態推定部９８０により無視される。それにも関わらず、位置および／または向きを表す状態（例えば、先端部挿入深さ）はなお、ロボット入力データのような利用可能な入力データに基づいて推定し得る。器具先端部が分岐網にさらに深く動くように命令される都度、先端部挿入深さの推定状態は、この推定運動に基づいて更新し得る。したがって、位置合わせ前、先端部挿入深さは、ロボットデータに基づいて推定し得、位置合わせ後、深さは、加重関数を用いて、分岐選択モジュール９５４からのデータに基づくが、部分的にロボットデータにも基づいて推定し得る。

物体ベース画像追跡、光学フロー、ＥＭ追跡などの大域的測定、およびロボット入力データベースの測定などの局所測定を含む上述した多くの可能な独立した測定に基づいて、器具の位置推定の重複決定／過剰適合の確率がある。その結果、分岐網内の推定位置の精度は、モジュールの任意の１つを単独で使用して行われる推定の精度よりも大きくなり得る。さらに、いくつかの実施形態では、ナビゲーション構成システム９００は、別のモジュールからの測定と矛盾するあるモジュールからの測定を使用することによる誤差から回復する能力を実証し、それにより、システムは前に行った特定について「考え直す」ことができる。誤差をいかに修正することができるかの例について、図１３を参照してより十分に後述する。

図１３は、一実施形態による、ナビゲーション構成システム９００により管状網を通してのナビゲーションで誤差をいかに修正することができるかの一例を示す。図１３では、推定状態を有する分岐ツリー１３００の簡易化モデルが、４つの異なる時間段階において示される：段階１３１０、１３２０、１３３０、および１３４０。各時間段階で、ナビゲーションに使用される器具先端部の推定位置（それぞれ１３１２、１３２２、１３３２、および１３４２）が示され、先端部の対応する実際の位置（それぞれ１３１１、１３２１、１３３１、および１３４１）も示される。一実施形態では、４つの段階中の時間にわたり、推定状態の精度（基本となる確率および信頼に基づく）は変わり得、例えば、推定状態はまず、正確で始まり得、不正確になり、次に再び正確になる。

図１３に示されるように、まず、状態１３１０において、先端部の実際の位置は、分岐ツリー１３００の上部分岐における１３１１であり、ナビゲーション構成システム９００は、推定位置１３１２としてその位置を正確に推定する。しかしながら、実際の位置１３１１の近くの２つの分岐の１つに入るとき、システム９００内部の１つ以上のモジュールは、アルゴリズムモジュールの１つ以上により提供される確率に基づいて分岐を誤識別し得、先端部が実際には右の分岐１３４６に入っているとき、先端部が左の分岐１３４５に入っているとシステムに結論付けさせる。例えば、状態推定部９８０は最初、左の分岐にある８０％の機会および右の分岐にある２０％の機会を割り当てる。

しかしながら、内視鏡先端部が右の分岐１３４６を状態１３２０まで下に進むにつれて、推定位置１３２２はますます、実際の位置１３２１から空間的に離れる。したがって、一実施形態では、分岐選択モジュール９５４は、基本となるモジュールにより提供される確率のシフトに基づいて、先端部が恐らく右の分岐１３４６にあることをますます確信して報告し得る。したがって、状態推定部９８０の集計確率推定もシフトし得、それにより
、右の分岐１３４６にある確率が上がり、それに対応して左の分岐１３４５にある確率が減少する。

システム９００は状態１３３０に進み得、状態１３３０において、先端部は実際の位置１３３１にあり、３つの分岐への分割部に到達する。しかしながら、この時間状態の時点で、推定部９８０は依然として、最も可能性の高い状態は推定位置１３３２であると推定し得る。

状態１３４０において、３Ｄモデルに基づいて、状態推定部９８０は、次の分岐分割部、この例では３分岐分割部ではなく２分割部まで特定の距離を予期し得る。この状況下で、分岐選択モジュール９５４および物体マッピングモジュール９６４は両方とも、先端部が右に示される分岐にあると強く推定し得、これは、左の分岐および右の分岐にある確率をさらに強く調整し、正確な分岐、ここでは右の分岐１３４６への先端部位置の略確実な割り当てに繋がる。

その結果、状態１３４０において、状態推定部９８０は、器具先端部が、実際の位置１３４１に非常に近い推定位置１３４２にあると正確に推定する。内視鏡がユーザの望む経路に沿う場合、システム９００はここで、次に３分岐分割部のどの分岐に入るかの判断に進むことができる。代替的には、ユーザは引き返して、分岐ツリー１３００の左の管腔を下に進むことができる。いくつかの実施形態では、この更新された推定はディスプレイ上でユーザに示され、それにより、ユーザは、前の推定が誤りであり、その誤りがここで修正されたことに気付くことができる。

ＶＩＩ．ナビゲーション準備のための術前経路計画
患者の体の管状網での特定のポイントへのナビゲーションは、管状網の３Ｄモデルを作成し、３Ｄモデル内のナビゲーション経路を決定するために必要な情報を生成するために、術前に特定のステップを取る必要がある。図１４Ａ〜図１４Ｃは、様々な実施形態により、管状網の一例を通してナビゲートするように手術用器具（例えば、器具先端部）を準備させるための術前ステップの例を示す。

図１４Ａは、一実施形態による、管状網内の特定の部位に器具先端部をナビゲートする方法１４００の術前ステップシーケンスの一例を示す。方法１４００の各ステップの側に、対応する画像が示されて、経路を計画し、管状網を通してナビゲートすることに関わるデータの表現を示す。

まず、ステップ１４０５において、管状網のＣＴスキャンが取得され、ＣＴスキャンからのデータは、管状網の構造および接続についての３Ｄ情報を提供する。例えば、ステップ１４０５における画像は、患者の肺の断層スライスを示す。

ステップ１４１０において、取得されたＣＴスキャンデータに基づいて３Ｄモデルが生成され、生成された３Ｄモデルを使用して、管状網の各分岐に一意の識別情報を割り当てることができ、網内の好都合なナビゲーションを可能にする。例えば、ステップ１４１０における画像は患者の気管支網の３Ｄモデルを示す。

ステップ１４１５において、目標（ｔａｒｇｅｔ）１４１６が選択され、この目標は、例えば、生検する病変または手術で修復する臓器組織の一部であり得る。一実施形態では、ユーザは、マウスを用いてクリックしたりまたはタッチスクリーンに触れたりすることなどにより、３Ｄモデルを示すことができるコンピュータディスプレイと対話することにより、目標の位置を選択することが可能である。次に、選択された目標をユーザに表示することができる。例えば、目標１４１６は、ステップ１４１０から生成される３Ｄ気管支
モデル内でマークされる。

ステップ１４２０において、経路１４２１が入口点１４２２から目標１４１６まで解剖学的に計画され、経路１４２１は、目標１４１６に到達するために辿る網内の一連の分岐を識別する。一実施形態では、管状網はツリー状であることができ、経路１４２１は、管状網の構造により一意に決定し得、一方、別の実施形態では、管状網は循環し得、経路は、最短経路アルゴリズムなどの適切なアルゴリズムにより見つけ得る。

経路１４２１が決定されると、仮想内視鏡法１４２５を実行して、内視鏡処置のプレビューをユーザに与え得る。ステップ１４１０から生成される３Ｄモデルを使用して、３Ｄモデルに対応する網をナビゲートする最中に内視鏡先端部により見られるかのような一連の２Ｄ画像を生成する。経路１４２１は、入口点１４２２から目標１４１６まで辿り得る曲線として示され得る。

仮想内視鏡先端部が目標１４１６の位置に到達すると、仮想器具位置合わせ処置１４３０を実行して、手術処置を目標の位置で実行するために内視鏡器具をいかに操作すべきかをユーザに示し得る。例えば、図では、ユーザが仮想内視鏡の生検針１４３１を操作して、気管支管の表面下にある病変１４３２を生検する。病変位置は強調表示され、それにより、ユーザは針を病変に位置合わせし、次に、針を使用して気管支管の表面を刺し、その下の病変にアクセスすることができる。これは、実際の手術処置中に行われるステップを模倣し、ユーザが手術実行前に練習できるようにする。

図１４Ｂは、一実施形態による、管状網を通して手術用器具をナビゲートする一例のユーザインターフェース１４３４を示す。ユーザインターフェース１４３４により、ユーザは、内視鏡処置中、管状網の様々なビューを有することができる。撮像装置（例えば、内視鏡カメラ）からのリアルタイムビューに加えて、ユーザインターフェース１４３４は様々なナビゲーションビューをユーザに示し得る。例えば、内視鏡先端部の位置をＣＴスキャン１４３５の断層セグメントに重ね得、マーカ（例えば、十字線１４３６）が器具の位置を示す。この場合、ＣＴ画像は患者の肺の画像であり、使用される内視鏡は気管支鏡である。

図１４Ｂでは、ユーザインターフェース１４３４は、強調表示された経路１４４１と、内視鏡位置１４４２および目標位置１４４３を示すアイコンとを有する３Ｄモデルを表すビュー１４４０も示す。マップのパンおよびズームとしての特徴を可能にするユーザインターフェース制御機構のいくつかの追加のアイコン１４４４もビュー１４４０に示される。

ビュー１４４５は、リアルタイムビューと比較して、先端部位置が正確に推定されたことを確認することができる先端部の推定位置からの仮想内視鏡ビューを示す。ナビゲーションを支援する経路インジケータ１４４６および／または位置／向きインジケータ１４４７もビュー１４４６に示される。左上は、状態推定部９８０により特定された状態情報１４４８を示し、目標「ｔ１」への現在距離が５．４ｃｍであり、計算されたロール角が−１３９度であることを示す。

ビュー１４５０は、「第三者」視点から内視鏡先端部の近くまで表示される内視鏡シャフト１４５１の仮想図を示す。仮想ビューは、内視鏡シャフトが、先端部が既に通った経路に沿っており、周囲領域のビューが選ばれた視点の近傍の３Ｄモデルに基づいて生成されると仮定することにより生成することができる。代替的には、ビューは、処置において先にその領域を通る間に撮影された画像から生成し得る。代替の実施形態では、仮想視点は、内視鏡先端部位置の先に突出し、次の分岐を示し得る。このビューは、意図される経
路をさらに強調表示し、内視鏡先端部が次の分岐に到達したとき、どの分岐に操縦するかをユーザに事前に通知し得る。

図１４Ｃは、一実施形態による、内視鏡処置中の器具の位置合わせおよび制御のための一例のユーザインターフェース１４８０を示す。ビュー１４５５は、内視鏡先端部が目標の近くにあり、内視鏡器具−この場合、生検針−が内視鏡の作業チャネルから展開されている、ビュー１４３５よりも処置の後の段階での断層ビューを示す。十字線１４３６は先端部の新しい位置を強調表示する。画像中の気管支鏡は患者の肺にさらに入っているため、断層スライスは、より深い断面セグメントを示すように変更されている。内視鏡先端部の位置を特定するアイコンは、針の位置および向きを示すアイコンで置換されている。ビュー１４６０は、目標位置１４４３および生検針を表す器具アイコン１４６１の周囲をズームした３Ｄモデルのマップビューを示す。目標１４４３にあるのは、生検針を適用すべき生検位置１４６６である。このビューに示されるように、内視鏡先端部は経路１４４１の略端部までナビゲートされており、目標位置１４４３の、針が生検位置１４６６に達し得るのに十分近い位置に到達している。

ビュー１４６５は、生検位置１４６６を強調表示して、生検のために組織を収集するために針を挿入すべき場所をユーザが精密に視覚化するのを助ける、目標位置１４４３の近傍の仮想ビューを示す。目標サイズおよび目標までの距離などの追加の情報も任意選択的に画像に重ね得る。

ビュー１６７０は、患者の肺の断層画像に重ねられた、生検針を表す３Ｄアイコン１４７１の拡大ビューを示す。器具のロールは、３Ｄアイコン１４７１の近くの多色パターン１４７５で示される。状態情報１４７３からわかるように、この特定の向きは０度のロールを表し、針は現在、生検位置１４６６から４ｍｍのところにある。経路１４７４が表示され、生検位置１４６６に接触するために針をいかに向け動かすべきかを示す。

ＶＩＩＩ．ナビゲーション構成システムの機械構成
より一般的には、本明細書に開示されるナビゲーションおよび追跡技法は、適宜構成されたコンピュータシステムを用いて実行し得る。コンピュータシステム内のプロセッサは、電子信号を処理する１つ以上の構成要素を備え得、中央処理装置、ビデオプロセッサ、論理回路、ゲートアレイ論理、フィールドプログラマブルゲートアレイ、集積回路、または特定用途向け集積回路の１つ以上を備え得る。コンピュータシステムは、シングルコアもしくはマルチコアプロセッサまたは並列処理のために複数のプロセッサとすることができる中央処理装置（ＣＰＵ、本明細書では「プロセッサ」および「コンピュータプロセッサ」とも）を含む。ＣＰＵは、プログラムまたはソフトウェアにおいて具現することができる一連の機械可読命令を実行することができる。命令はメモリロケーションに記憶し得る。ＣＰＵにより実行される演算の例としては、フェッチ、デコード、実行、およびライトバックを挙げることができる。ＣＰＵは、集積回路などの回路の一部とすることができる。システムの１つ以上の他の構成要素を回路に含むことができる。いくつかの場合、回路は特定用途向け集積回路（ＡＳＩＣ）を含む。

コンピュータシステムは、メモリまたはメモリロケーション（例えば、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ）、電子記憶ユニット（例えば、ハードディスク）、１つ以上の他のシステムと通信するための通信インターフェース（例えば、ネットワークアダプタ）、およびキャッシュ、他のメモリ、データ記憶装置、および／または電子ディスプレイアダプタなどの周辺機器の１つ以上を含むこともできる。メモリ、記憶ユニット、インターフェース、および周辺機器は、マザーボードなどの通信バスを通してＣＰＵと通信する。

記憶ユニットは、データを記憶するデータ記憶ユニット（またはデータリポジトリ）とすることができる。コンピュータシステムは、通信インターフェースを用いてコンピュータネットワーク（「ネットワーク」）に動作可能に結合することができる。ネットワークは、インターネット（ｔｈｅ Ｉｎｔｅｒｎｅｔ）、インターネット（ａ ｉｎｔｅｒｎｅｔ）、および／またはエクストラネット、またはインターネットと通信するイントラネットおよび／またはエクストラネットとすることができる。いくつかの場合、ネットワークは電気通信網および／またはデータネットワークであり、１つ以上のコンピュータサーバを含むことができる含むことができる。記憶ユニットは、ドライバ、ライブラリ、および保存されたプログラムなどのファイルを記憶することができる。記憶ユニットは、ユーザデータ、例えば、ユーザ選好およびユーザプログラムを記憶することができる。コンピュータシステムは、いくつかの場合、イントラネットまたはインターネットを通してコンピュータシステムと通信するリモートサーバに配置されるなどのコンピュータシステムの外部にある１つ以上の追加のデータ記憶ユニットを含むことができる。

本明細書に記載された方法は、コンピュータシステムの電子記憶ロケーション、例えば、メモリまたは電子記憶ユニットなどに記憶された機械（例えば、コンピュータプロセッサ）実行可能コードにより実施することができる。機械実行可能または機械可読コードは、ソフトウェアの形態で提供することができる。使用中、コードはプロセッサにより実行することができる。いくつかの場合、コードは、記憶ユニットから検索され、プロセッサによりアクセス可能なようにメモリに記憶することができる。いくつかの状況では、電子記憶ユニットを除外することができ、機械実行可能命令はメモリに記憶される。

コードは予めコンパイルされ、機械との併用に向けて構成され、コードを実行するように構成されたプロセッサを有することができ、または実行時中にコンパイルすることができる。コードは、予めコンパイルされた状態でまたはコンパイル時にコードを実行できるようにするように選択することができるプログラミング言語で供給することができる。

本開示の方法およびシステムは１つ以上の方法により実施することができる。方法は、本明細書に記載のプロセッサを用いて、例えば、１つ以上のコンピュータプロセッサによる実行時にソフトウェアにより実施することができる。

ＩＸ．追加の考慮事項
手術ロボットシステム１１００、手術ロボットシステム１２００、および上記構成要素を含む他の手術ロボットシステムの代替の図および実施形態が、２０１５年５月１５日出願の米国仮特許出願第６２／１６２，４８６号明細書、２０１５年５月１５日出願の米国仮特許出願第６２／１６２，４６７号明細書、２０１５年７月１７日出願の米国仮特許出願第６２／１９３，６０４号明細書、２０１５年８月５日出願の米国仮特許出願第６２／２０１，５１８号明細書、２０１５年８月１１日出願の米国仮特許出願第６２／２０３，５３０号明細書、および２０１５年９月３０日出願の米国仮特許出願第６２／２３５，３９４号明細書にさらに示され記載されている。

本開示を読むと、当業者は、本明細書の開示の原理による、さらに追加的な代替的な構造的および機能的設計を認識する。それゆえ、特定の実施形態および適用例を示しかつ説明したが、開示の実施形態は、本明細書に開示される正確な構成および構成要素に限定されるものではないことを理解されるべきである。添付の特許請求の範囲に定義される趣旨および範囲から逸脱せずに、本明細書に開示される方法および装置の配置構成、動作および詳細において、当業者には明白な様々な修正、変更および変形がなされ得る。

本明細書では、「一実施形態」または「実施形態」のいずれの言及も、実施形態に関連して説明された特定の要素、特徴、構造、または特性が、少なくとも１つの実施形態に含
まれることを意味する。本明細書の様々な箇所での語句「一実施形態では」の出現は、必ずしも、全てが同じ実施形態を指すものではない。

いくつかの実施形態は、表現「結合された」および「接続された」がそれらの派生語と共に使用されて、説明され得る。例えば、いくつかの実施形態は、２つ以上の要素が直接物理的にまたは電気的に接触していることを示すために、用語「結合された」を使用して説明され得る。しかしながら、用語「結合された」はまた、２つ以上の要素が互いに直接接触はしていないが、それでも、互いに協働するかまたは相互作用することを意味し得る。実施形態は、特に明記しない限り、この文脈に限定されない。

本明細書では、用語「含む（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」またはそれらの任意の他の変形例は、非排他的な包含を網羅するものである。例えば、あるリストの要素を含むプロセス、方法、物品、または装置は、必ずしも、それらの要素のみに限定されるものではなく、明白にリストされない、またはそのようなプロセス、方法、物品、または装置に固有ではない、他の要素を含んでもよい。さらに、それとは反対であると明示的に示した場合を除き、「または」は、排他的な「または」ではなく、包括的な「または」を指す。例えば、条件ＡまたはＢは、以下のうちのいずれか１つを満たす。すなわち、Ａが真であり（または存在する）Ｂが偽である（または存在しない）こと、Ａが偽であり（または存在しない）Ｂが真である（または存在する）こと、ＡおよびＢの双方とも真である（または存在する）ことのいずれかを満たす。

さらに、「ａ」または「ａｎ」の使用は、本明細書の実施形態の複数の要素および複数の構成要素を説明するために用いられる。これは、単に便宜上、および本発明の一般的な意味を与えるために行われる。この説明は、１つまたは少なくとも１つを含むと読まれるべきであり、および単数形は、そうではないことを意味することが明白でない限り、複数も含む。

Claims (23)

1. 患者の管状網に挿入される細長状医療器具と、
   前記細長状医療器具の器具先端部の近傍に配置される撮像装置と、
   前記器具先端部の近傍に配置されるＥＭ（Electromagnetic）センサと、
   プロセッサと、
   を有し、
   前記プロセッサは、
   患者の管状網に挿入される前記細長状医療器具の物理的操作に関するロボットデータにアクセスすることと、
   前記細長状医療器具の器具先端部の近傍に配置される前記撮像装置により撮影される画像データにアクセスすることと、
   前記器具先端部の近傍に配置される前記ＥＭセンサおよび前記患者の体外に配置される少なくとも１つの外部ＥＭセンサまたは前記患者の外部で生成されるＥＭを使用して撮影されるＥＭデータにアクセスすることと、
   前記ロボットデータに基づいて前記器具先端部のロボットベース推定状態を特定することであって、前記ロボットベース推定状態は第１の信頼値に関連する、ことと、
   前記画像データに基づいて前記器具先端部の画像ベース推定状態を特定することであって、前記画像ベース推定状態は第２の信頼値に関連する、ことと、
   前記ＥＭデータに基づいて前記器具先端部のＥＭベース推定状態を特定することであって、前記ＥＭベース推定状態は第３の信頼値に関連する、ことと、
   前記ロボットベース推定状態、前記画像ベース推定状態、および前記ＥＭベース推定状態および信頼値に基づいて、前記器具先端部の推定状態を特定することと
   を実行する、システム。
2. 前記細長状医療器具は、内視鏡構造と、様々に引っ込められ得、または前記器具先端部の方向の変更に関連し得る複数のケーブルとを備える可撓性内視鏡であり、前記内視鏡は器具装置マニピュレータ（ＩＤＭ）に結合されて、前記内視鏡を前記管状網からまたは前記管状網内で様々に挿入、退避、およびロールさせる、請求項１に記載のシステム。
3. 前記ロボットデータは、
   前記細長状医療器具の複数のケーブルの少なくとも１つの引っ張りに基づく前記器具先端部のピッチ、ロール、およびヨー、ならびに
   前記管状網への前記細長状医療器具の挿入距離
   の少なくとも一方を含む、請求項１または２に記載のシステム。
4. 前記画像データは、時間的に順次撮影された一連の画像に基づき、前記一連の画像のそれぞれにはタイムスタンプが関連付けられる、請求項１〜３のいずれか一項に記載のシステム。
5. 前記ＥＭセンサは導電材料のコイルを含む、請求項１〜４のいずれか一項に記載のシステム。
6. 前記推定状態は、三次元（３Ｄ）空間での位置、３Ｄ空間での向き、前記管状網内の前記器具先端部の絶対深さ、前記管状網の分岐内の前記器具先端部の相対深さ、および前記管状網の対応する３Ｄモデルに対する分岐位置の少なくとも１つを含む前記管状網内の前記器具先端部の位置を示す、請求項１〜５のいずれか一項に記載のシステム。
7. 前記器具先端部の前記推定状態は、前記ロボットベース推定状態、前記ＥＭベース推定状態、および前記画像ベース推定状態に基づく結合推定状態であり、前記結合推定状態は、前記ロボットベース推定状態、前記ＥＭベース推定状態、および前記画像ベース推定状態のそれぞれについて、
   １組の可能な値を含む確率分布として前記推定状態を表現し、
   前記１組の可能な値の各値に適用される前記信頼値を使用して、前記１組の可能な値により表現される前記推定状態を加重すること
   により生成される、請求項６に記載のシステム。
8. 前記推定状態のそれぞれの前記信頼値は、前記推定状態の特定における信頼の程度を表し、前記信頼値は以下の要因：
   前記推定状態の生成に使用されるプロセス、
   前記推定状態の生成に使用される受信データ、および
   前記器具先端部が前記管状網内に配置される可能領域
   の少なくとも１つに基づく、請求項７に記載のシステム。
9. 前記プロセッサは、
   前の時間に撮影されたデータに基づいて前記器具先端部の前の推定状態にアクセスすることと、
   前記前の推定状態に基づいて、前記ロボットベース推定状態、前記画像ベース推定状態、および前記ＥＭベース推定状態の少なくとも１つを特定することと
   をさらに実行する、請求項１〜８のいずれか一項に記載のシステム。
10. 前記プロセッサは、
    ３ＤモデルへのＥＭシステムの位置合わせを実行することであって、前記ＥＭシステムは、受信されるＥＭデータに基づく座標を含み、前記３Ｄモデルは、前記管状網の３Ｄモデルに基づく座標を含む、ことと、
    前記実行された位置合わせに基づいて前記ＥＭベース推定状態を生成することと
    を実行することにより前記ＥＭベース推定状態を特定する、請求項１〜９のいずれか一項に記載のシステム。
11. 前記管状網の前記３Ｄモデルは、前記管状網のコンピュータ断層撮影（ＣＴ）スキャンに基づいて生成される、請求項１０に記載のシステム。
12. 前記プロセッサは、
    前記管状網内の可能な分岐に対する前記器具先端部の位置および向きの推定を特定すること
    を実行することにより前記ＥＭベース推定状態を特定する、請求項１〜１１のいずれか一項に記載のシステム。
13. 前記ＥＭベース推定状態は、離散確率分布として表現され、前記確率分布の各値は、前記器具先端部が前記可能な分岐の中の対応する分岐内部にある確率を示す、請求項１２に記載のシステム。
14. 前記プロセッサは、
    前記アクセスされた画像データに基づいて、前記管状網内の前記細長状医療器具の移動を測定することと、
    前記測定された移動に基づいて前記画像ベース推定状態を生成することと
    を実行することにより前記画像ベース推定状態を特定する、請求項１〜１３のいずれか一項に記載のシステム。
15. 前記画像ベース推定状態は、
    前記管状網内の前記器具先端部の絶対深さ、
    対応する分岐に対する前記器具先端部の深さ、および
    前記管状網に対する前記器具先端部のロール
    の少なくとも１つの連続確率分布として表現される、請求項１４に記載のシステム。
16. 物体検出は、
    少なくとも１つの物体を検出することと、
    前記検出された少なくとも１つの物体に基づいて前記画像ベース推定状態を生成することと
    をさらに含む、請求項１〜１５のいずれか一項に記載のシステム。
17. 前記少なくとも１つの物体は二次元形状として表現される、請求項１６に記載のシステム。
18. 前記プロセッサは、
    実際の画像において物理的に検出される物体と前記管状網の３Ｄモデルにより生成される仮想物体とをマッピングすることであって、前記仮想物体は前記物理的に検出される物体に対応する、ことと、
    前記マップされた情報に基づいて前記画像ベース推定状態を生成することと
    を実行することにより前記画像ベース推定状態を特定する、請求項１〜１７のいずれか一項に記載のシステム。
19. 前記プロセッサは、
    前記器具先端部が前記管状網内に配置される領域のトポロジを特定することと、
    前記特定されるトポロジに基づいて画像ベース推定状態を生成することと
    を実行することにより前記画像ベース推定状態を特定する、請求項１〜１８のいずれか一項に記載のシステム。
20. 前記特定されるトポロジは、前記器具先端部が面する複数の分岐への分割である、請求項１９に記載のシステム。
21. 前記プロセッサは、
    前記管状網における目標位置へのナビゲーション経路にアクセスすることと、
    前記推定状態に基づいて、前記器具先端部を前記目標位置に向けるナビゲーション命令を決定することと、
    前記ナビゲーション命令をオペレータへの提示のために提供することと
    をさらに実行する、請求項１〜２０のいずれか一項に記載のシステム。
22. コンピュータプログラム命令を含む非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、プロセッサにより実行されると、前記プロセッサに、
    患者の管状網に挿入される細長状医療器具の物理的操作に関するロボットデータにアクセスするステップと、
    前記細長状医療器具の器具先端部の近傍に配置される撮像装置により撮影される画像データにアクセスするステップと、
    前記器具先端部の近傍に配置されるＥＭセンサおよび前記患者の体外に配置される少なくとも１つの外部ＥＭセンサまたは前記患者の外部で生成されるＥＭを使用して撮影される電磁（ＥＭ）データにアクセスするステップと、
    前記ロボットデータに基づいて前記器具先端部のロボットベース推定状態を特定するステップであって、前記ロボットベース推定状態は第１の信頼値に関連する、ステップと、
    前記画像データに基づいて前記器具先端部の画像ベース推定状態を特定するステップであって、前記画像ベース推定状態は第２の信頼値に関連する、ステップと、
    前記ＥＭデータに基づいて前記器具先端部のＥＭベース推定状態を特定するステップであって、前記ＥＭベース推定状態は第３の信頼値に関連する、ステップと、
    前記ロボットベース推定状態、前記画像ベース推定状態、および前記ＥＭベース推定状態および信頼値に基づいて、前記器具先端部の推定状態を特定するステップと
    を実行させる、非一時的コンピュータ可読記憶媒体。
23. 患者の管状網に挿入される細長状医療器具の物理的操作に関するロボットデータにアクセスすることと、
    前記細長状医療器具の器具先端部の近傍に配置される撮像装置により撮影される画像データにアクセスすることと、
    前記器具先端部の近傍に配置されるＥＭ（Electromagnetic）センサおよび前記患者の
    体外に配置される少なくとも１つの外部ＥＭセンサまたは前記患者の外部で生成されるＥＭを使用して撮影されるＥＭデータにアクセスすることと、
    前記ロボットデータに基づいて前記器具先端部のロボットベース推定状態を特定することであって、前記ロボットベース推定状態は第１の信頼値に関連する、ことと、
    前記画像データに基づいて前記器具先端部の画像ベース推定状態を特定することであって、前記画像ベース推定状態は第２の信頼値に関連する、ことと、
    前記ＥＭデータに基づいて前記器具先端部のＥＭベース推定状態を特定することであって、前記ＥＭベース推定状態は第３の信頼値に関連する、ことと、
    前記ロボットベース推定状態、前記画像ベース推定状態、および前記ＥＭベース推定状態および信頼値に基づいて、前記器具先端部の推定状態を特定することと
    を含む、方法。

Images