JP2019045559A

JP2019045559A - 撮像装置

Info

Publication number: JP2019045559A
Application number: JP2017165386A
Authority: JP
Inventors: 秀紀天花寺; Hidenori Tenkaji
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2017-08-30
Filing date: 2017-08-30
Publication date: 2019-03-22
Also published as: US20190064538A1; US10416469B2

Abstract

【課題】歪みが生じない高解像度の被写体の画像を生成する撮影装置を提供する。【解決手段】バーチャルスライドスキャナ装置１００において、ステージ２０は標本を固定したプレパラート２２を保持する。光源１０はプレパラート２２を照明する。撮像素子６０は対物レンズ３０により結像される標本の像を撮像する。Ｘ方向シフト機構４０およびＹ方向シフト機構４２は、対物レンズ３０から撮像素子６０までの光路において光線を二次元方向にずらす。シフト制御部５０はＸ方向シフト機構４０およびＹ方向シフト機構４２を制御する。信号処理部７０は、Ｘ方向シフト機構４０およびＹ方向シフト機構４２により光線を二次元方向にずらすことにより撮像素子６０に撮像される画素ずらし画像を合成して合成画像を生成する。【選択図】図１

Description

本発明は、被写体を高解像度で撮像する撮像技術に関する。

スライドガラスに標本を載せて観察可能にしたプレパラートを高速でスキャンし、高解像度のデジタルデータを生成するバーチャルスライドスキャナが開発されている。たとえば、特許文献１には、サンプルの組成分布に応じた標準データとカラーセンサが取得したスペクトル情報とに基づいて画像データの色補正を行うことにより、より高精度に色補正を行うことができるバーチャルスライド装置が開示されている。

特開２０１３−２３８４８３号公報

このようなバーチャルスライドスキャナでは、プレパラートを保持するステージをＸ方向およびＹ方向に移動させながら画像を撮影し、撮影された画像を合成することで、非常に大きな合成画像を高解像度で生成する。プレパラートを保持するステージもしくはカメラを相対的に動かして撮影した画像を合成するため、撮影画像の取り込みに時間がかかるとともに、光学的には画像周辺と画像中心では、図形の歪みが生じたり、光量の違いなどに起因する画質の違いが生じたりする。そのため、最終的に合成された画像には段差や歪みが残る。また、このような段差や歪みを除去するためには撮影回数を増やすなどの工夫が必要であり、撮影画像の取り込み時間がさらに必要になる。

本発明はこうした状況に鑑みてなされたものであり、その目的は、歪みが生じない高解像度の被写体の画像を生成することができる撮像技術を提供することにある。

上記課題を解決するために、本発明のある態様の撮像装置は、被写体を保持するステージと、前記被写体を照明する光源と、前記被写体を結像させる光学系と、前記光学系により結像される前記被写体の像を撮像する撮像素子と、前記光学系から前記撮像素子までの光路において光線を二次元方向にずらす二次元シフト機構と、前記二次元シフト機構を制御するシフト制御部と、前記二次元シフト機構により光線を二次元方向にずらすことにより前記撮像素子に撮像される画素ずらし画像を合成して合成画像を生成する信号処理部とを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、歪みが生じない高解像度の被写体の画像を生成することができる。

本実施の形態に係るバーチャルスライドスキャナ装置の構成図である。平行平面板ガラスによる画素ずらしの原理を説明する図である。図１のＸ方向シフト機構およびＹ方向シフト機構の構成図である。図４（ａ）および図４（ｂ）は、平行平面板ガラスの傾きとパルスモータによるラックの移動量の関係を説明する図である。ベクトル合成による画素ずらし位置の求め方を説明する図である。図１のシフト制御部が参照する画素ずらしテーブルを説明する図である。

図１は、本実施の形態に係るバーチャルスライドスキャナ装置１００の構成図である。

プレパラート２２は観察する標本を固定する。ステージ２０はプレパラート２２を保持する。光源１０はステージ２０上のプレパラート２２を照明する。対物レンズ３０はプレパラート２２からの光を撮像素子６０に結像させる。

Ｘ方向シフト機構４０およびＹ方向シフト機構４２は、対物レンズ３０から撮像素子６０までの光路に設置され、光線をＸ方向およびＹ方向にずらす。

原理的にはＸ方向シフト機構４０はＸ軸方向に光線をシフトさせ、Ｙ方向シフト機構４２はＹ軸方向に光線をシフトさせるが、機械的なずれにより、誤差が生じる。そこで、光線を基準点から所望の画素ずらし位置に光線をずらしたときのＸ方向シフト機構４０およびＹ方向シフト機構４２の操作量をあらかじめ測定するキャリブレーションを行い、その測定結果を画素ずらしテーブルに記憶する。

光線を基準点に戻すには、原理的にはＸ方向シフト機構４０およびＹ方向シフト機構４２を反対方向に同じ操作量だけ駆動させればよいが、機械的なバックラッシュが発生し、基準点には戻らない。そこで、キャリブレーションの際、Ｘ方向シフト機構４０およびＹ方向シフト機構４２のバックラッシュ量も測定して画素ずらしテーブルに記憶する。光線を基準点に正確に戻すためには、Ｘ方向シフト機構４０およびＹ方向シフト機構４２の操作量にバックラッシュ量を加算して反対方向に駆動させる。

キャリブレーションにより、画素ずらしテーブルには、画素ずらし位置に対応づけてＸ方向シフト機構４０の操作量、Ｙ方向シフト機構４２の操作量、Ｘ方向シフト機構４０のバックラッシュ量、Ｙ方向シフト機構４２のバックラッシュ量が格納される。

シフト制御部５０は、画素ずらしテーブルに格納された操作量を参照して、Ｘ方向シフト機構４０およびＹ方向シフト機構４２を駆動させて光線を基準点から所望の画素ずらし位置まで２次元方向にシフトさせる。また、シフト制御部５０は、画素ずらしテーブルに格納されたバックラッシュ量を駆動量に加算して、Ｘ方向シフト機構４０およびＹ方向シフト機構４２を反対方向に駆動させて光線を基準点に戻す。

撮像素子６０は対物レンズ３０により結像された標本の画像を撮像する。信号処理部７０は撮像素子６０に撮像された画像を信号処理してデータ記録部８０に記録する。信号処理部７０は、Ｘ方向シフト機構４０およびＹ方向シフト機構４２により光線をＸ方向およびＹ方向にずらすことにより撮像素子６０に撮像される画素ずらし画像を合成することで高解像度の合成画像を生成し、データ記録部８０に高解像度画像を記録する。モニタ９０は、信号処理部７０により合成された標本の高解像度画像を表示する。

たとえば、Ｘ軸方向、Ｙ軸方向の画素シフト量を半画素にするとＸ軸方向、Ｙ軸方向に解像度を２倍にした高解像度画像が合成される。さらに、画素シフト量が１／４画素である場合を増やし、画素間を４分割するように画素シフトすることで、Ｘ軸方向、Ｙ軸方向に解像度を４倍にした高解像度画像が合成される。

図２および図３を参照して、Ｘ方向シフト機構４０およびＹ方向シフト機構４２の構成と画素ずらしの原理を説明する。Ｘ方向シフト機構４０、Ｙ方向シフト機構４２はそれぞれ平行平面板ガラス２００を含み、入射光をＸ軸方向、Ｙ軸方向にシフトさせた光を射出する。

図２は、平行平面板ガラス２００による画素ずらしの原理を説明する図である。

平行平面板ガラス２００が光軸に対して直交している場合、平行平面板ガラス２００の上面に垂直に入射した光は、平行平面板ガラス２００の下面から垂直に射出する（点線）。それに対して、平行平面板ガラス２００が角度θだけ変位すると、射出光は入射光とは平行であるが、δだけずれる。

平行平面板ガラス２００の光軸方向の厚みをｄとし、屈折率をＮｄとすると、平行平面板ガラス２００による光線のずれ量δは次式（１）で与えられる。

δ＝｛１−（１／Ｎｄ）・（ｃｏｓφ／ｃｏｓφ’）｝・ｄ・ｓｉｎφ （１）

ここで、φは入射光と平行平面板ガラス２００の面法線のなす角、すなわち入射角であり、φ’は平行平面板ガラス２００内部で入射光と面法線のなす角である。

ここで入射角φが非常に小さい場合、ｃｏｓφ≒１、ｃｏｓφ’≒１、ｓｉｎφ＝φである。また、φ＝θ、すなわち入射角と平行平面板ガラス２００の傾きθは等しい。よって、平行平面板ガラス２００による光線のずれ量δは次の近似式（２）で与えられる。

δ＝（１−１／Ｎｄ）・ｄ・θ （２）

したがって、δが所望の画素シフト量となるように、平行平面板ガラス２００の屈折率Ｎｄ、厚みｄ、傾きθを適宜設定すれば、撮像素子６０上に所望の画素ずらし画像を形成することができる。

上述の平行平面板ガラス２００による画素ずらしの原理を用いれば、Ｘ方向シフト機構４０によりＸ軸方向にδｘだけシフトさせ、Ｙ方向シフト機構４２によりＹ軸方向にδｙだけシフトさせることで、所望の２次元位置（δｘ，δｙ）に画素シフトさせた画像を撮像することができる。

図３は、Ｘ方向シフト機構４０およびＹ方向シフト機構４２の構成図である。Ｘ方向シフト機構４０およびＹ方向シフト機構４２の構成は、Ｘ軸方向、Ｙ軸方向の違いを除けば同様であるので、ここではＸ軸方向、Ｙ軸方向を区別せずに構成を説明する。

平行平面板ガラス２００は保持枠２２０に固定されており、保持枠２２０は回転軸２１０の周りに回転可能である。保持枠２２０の回転軸２１０とは反対側の端部にはラック２５０が取り付けられている。

ラック２５０はスクリュー２７０に接続されており、パルスモータ２３０がスクリュー２７０を正方向または反対方向に回転させることで、ラック２５０はスクリュー２７０を上下に移動することができる。ラック２５０と保持枠２２０はＵ字接続されており、ラック２５０が上下に移動することにより、保持枠２２０は回転軸２１０の周りに回転する。ラック２５０のスクリュー２７０に沿った平行移動を確保するためにガイドピン２６０が設けられる。

保持枠２２０の回転軸２１０とは反対側の端部には光センサ２８０が設けられる。光センサ２８０は、原点位置設定部２４０からの反射光により距離を測定して原点を検出し、正確な位置を測定することができる。

次に、図４（ａ）、図４（ｂ）、および図５を参照して、Ｘ方向シフト機構４０およびＹ方向シフト機構４２の機械的な誤差について説明する。

図４（ａ）および図４（ｂ）は、平行平面板ガラス２００の傾きθとパルスモータ２３０によるラック２５０の移動量ｄＤの関係を説明する図である。

図４（ａ）に示すように、パルスモータ２３０によってラック２５０をｄＤだけ移動させることにより平行平面板ガラス２００が角度θだけ傾いた場合、平行平面板ガラス２００の傾きθは、ラック２５０の移動量ｄＤと平行平面板ガラス２００の長さＬから次式（３）のように求めることができる。

θ＝ａｒｃｓｉｎ（ｄＤ／Ｌ）（３）

式（２）および式（３）より、光線のずれ量δは、ラック２５０の移動量ｄＤから次式（４）により求めることができる。

δ＝（１−１／Ｎｄ）・ｄ・ａｒｃｓｉｎ（ｄＤ／Ｌ）（４）

式（４）にもとづいて、所望の画素シフト量δとなるようにラック２５０の移動量ｄＤを決めればよい。Ｘ方向シフト機構４０によりラック２５０をｄＤｘだけ移動させると光線はＸ方向にδｘだけずれ、Ｙ方向シフト機構４２によりラック２５０をｄＤｙだけ移動させると光線はＹ方向にδｙだけずれ、所望の２次元位置（δｘ，δｙ）に画素シフトさせることができる。

しかしながら、２次元位置に画素ずらしを行うためには、Ｘ方向シフト機構４０、Ｙ方向シフト機構４２によるＸ軸方向、Ｙ軸方向の行き帰りの動作が発生する。すなわち、正方向に進むだけでなく、負方向に戻る反転動作も発生する。そのため、シフト機構もしくはパルスモータにバックラッシュが発生し、正確な位置を再現できないことがある。

図４（ｂ）は、Ｘ方向シフト機構４０、Ｙ方向シフト機構４２による機械的なバックラッシュを説明する図である。パルスモータ２３０によってラック２５０をスクリュー２７０に沿って上に進めた後、下に戻すと、行き帰りでは機械的なバックラッシュｂが発生し、正確に元の位置には戻らない。そこで、反転時にはバックラッシュｂだけ余分に戻すことにより、正確に元の位置に戻す必要がある。

そこで、画素ずらし位置に対してＸ方向シフト機構４０、Ｙ方向シフト機構４２のそれぞれのバックラッシュの値をテーブルに記憶しておき、元の位置に戻すときにバックラッシュ分を補正してラック２５０の移動量を決めるようにする。

また、画素ずらしは半画素、１／４画素などの非常に微細なずれを目指すものであり、Ｘ方向シフト機構４０、Ｙ方向シフト機構４２による光線のずれが機械的な誤差となり、正確にＸ軸方向、Ｙ軸方向になるとは限らない。さらに、平行平面板ガラス２００の厚みｄの製作誤差も加わる。そこで、画素ずらしに先立ってキャリブレーションを行って画素ずらし位置とＸ方向シフト機構４０、Ｙ方向シフト機構４２の操作量の関係を測定し、その測定結果をばらつきの値として、バックラッシュとともにテーブルに記憶し、実際の画素ずらしの際に、テーブルを参照してＸ方向シフト機構４０、Ｙ方向シフト機構４２の操作量を決定することで正確な画素シフトを実現する。

キャリブレーションの方法として、点光源を撮像し、Ｙ方向シフト機構４２を静止した状態で、Ｘ方向シフト機構４０により構造上最も大きい移動量（ここではＸｍとする）でＸ軸方向に動かし、点光源を再度撮像する。このとき、点光源のＹ座標がｙｃａｂだけ変位したとする。変位量ｙｃａｂはＹ軸方向の取り付け誤差値としてテーブルに記憶される。Ｘ軸方向にδｘだけ画素ずらしする際、Ｙ軸方向に−ｙｃａｂ・δｘ／Ｘｍだけ画素シフトに補正をもたせる。同様に、Ｘ方向シフト機構４０を静止した状態で、Ｙ方向シフト機構４２により構造上最も大きい移動量（ここではＹｍとする）でＹ軸方向に動かし、点光源を撮像する。このとき、点光源のＸ座標がｘｃａｂだけ変位したとする。変位量ｘｃａｂはＸ軸方向の取り付け誤差値としてテーブルに記憶される。Ｙ軸方向にδｙだけ画素ずらしする際、Ｘ軸方向に−ｘｃａｂ・δｙ／Ｙｍだけ画素シフトに補正をもたせる。これにより、画素を２次元にシフトさせるとき、取り付け誤差を考慮して正確な位置にシフトさせることができる。

図５は、ベクトル合成による画素ずらし位置の求め方を説明する図である。基準点Ｏに対してベクトルＰ（ｘｃ，ｙｃ）が本来移動させたい画素ずらし位置であるとする。このとき、光線がＸ方向シフト機構４０によりＸ軸方向のみにｘｃだけずれ、Ｙ方向シフト機構４２によりＹ軸方向のみにｙｃだけずれるならば、本来の目的を達成することができる。しかし、前述のように構造上の取り付け誤差などがあるため、光線はＸ方向シフト機構４０によってベクトルＨ（ｈｘ，ｈｙ）の方向にずれ、Ｙ方向シフト機構４２によってベクトルＶ（ｖｘ，ｖｙ）の方向にずれる。

画素ずらし位置を示すベクトルＰ（ｘｃ，ｙｃ）は、式（５）のように定数ｋ、ｌを用いてベクトルＨ（ｈｘ，ｈｙ）とベクトルＶ（ｖｘ，ｖｙ）の合成で表すことができる。

Ｐ＝ｋＨ＋ｌＶ（５）

基準点Ｏから画素ずらし位置Ｐ（ｘｃ，ｙｃ）への移動を検出し、そのときのＸ方向シフト機構４０によるベクトルＨの方向の操作量ｋ、Ｙ方向シフト機構４２によるベクトルＶの方向の操作量ｌを求め、画素ずらしテーブルに記憶する。また、Ｘ方向シフト機構４０およびＹ方向シフト機構４２により画素ずらし位置Ｐ（ｘｃ，ｙｃ）から基準点Ｏに戻すときのＸ方向シフト機構４０、Ｙ方向シフト機構４２のバックラッシュ量ｋｂ、ｌｂを測定し、画素ずらしテーブルに記憶する。

Ｘ方向シフト機構４０およびＹ方向シフト機構４２により正方向、負方向に測定可能な量で数箇所シフトさせ、画素ずらし位置Ｐに対する、Ｘ方向シフト機構４０、Ｙ方向シフト機構４２それぞれの操作量ｋ、ｌ、バックラッシュ量ｋｂ、ｌｂを測定する。全点計測してもよいが、代表点だけを計測して残りは補間によって求めてもよい。また、上記の式（１）を式（２）で近似したときの誤差を画素ずらしテーブルに格納する定数に反映させてもよい。

図６は、シフト制御部５０が参照する画素ずらしテーブルを説明する図である。同図のように、上述のキャリブレーションによって測定したＸ方向シフト機構４０、Ｙ方向シフト機構４２の操作定数ｋ、ｌ、バックラッシュ定数ｋｂ、ｌｂを画素ずらし位置Ｐに対応づけて画素ずらしテーブルに格納する。シフト制御部５０は、画素ずらしテーブルを参照して、所望の画素ずらし位置Ｐに対応する操作定数ｋ、ｌにもとづいてＸ方向シフト機構４０、Ｙ方向シフト機構４２を制御して光線を基準点Ｏから所望の画素ずらし位置Ｐまでずらす。また、シフト制御部５０は、所望の画素ずらし位置Ｐに対応する操作定数ｋ、ｌとバックラッシュ定数ｋｂ、ｌｂにもとづいてＸ方向シフト機構４０、Ｙ方向シフト機構４２を反転制御して光線を画素ずらし位置Ｐから基準点Ｏに戻す。

以上述べたように、本実施の形態のバーチャルスライドスキャナ装置１００によれば、１画面を画素ずらし撮像することにより、ステージやカメラの相対移動がなくなるため、瞬時にスキャニング可能である。また、同一画面内で処理を行うためピントが正確であり、画像の貼りあわせ処理がないので原理的に歪みや光量などの画質差のある画像合成の影響が発生しない。

従来、画素ずらしパターンを多くして、高解像度撮像を行うには、個々の平行平面板ガラスの厚みのばらつき、シフト機構の組み立て精度、モータ回転角に対する平行平面板ガラスの回転誤差などがあり、構造的な設計保証や機構調整で均質な画素ずらしは難しく、高解像度化の壁となっていた。

しかし、本実施の形態のバーチャルスライドスキャナ装置１００によれば、対物レンズの光軸を固定したまま、光学的に光線をずらすシフト機構によって、画素ずらしを行い、高解像度の画像を合成する。プレパラートを保持するステージを機械的に移動させることがないため、機械的なずれによる画像の歪みが生じない。

また、キャリブレーションによって正確な画素ずらし位置を再現するのに必要な補正データを作成し、シフト機構の構造的な誤差を補償することができるので、半画素に限らず、さらに細分化された正確な画素ずらしを行って高品質で高解像度の画像を生成することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０光源、２０ステージ、２２プレパラート、３０対物レンズ、４０Ｘ方向シフト機構、４２Ｙ方向シフト機構、５０シフト制御部、６０撮像素子、７０信号処理部、８０データ記録部、９０モニタ、１００バーチャルスライドスキャナ装置、２００平行平面板ガラス。

Claims

被写体を保持するステージと、
前記被写体を照明する光源と、
前記被写体を結像させる光学系と、
前記光学系により結像される前記被写体の像を撮像する撮像素子と、
前記光学系から前記撮像素子までの光路において光線を二次元方向にずらす二次元シフト機構と、
前記二次元シフト機構を制御するシフト制御部と、
前記二次元シフト機構により光線を二次元方向にずらすことにより前記撮像素子に撮像される画素ずらし画像を合成して合成画像を生成する信号処理部とを含むことを特徴とする撮像装置。
所定の画素ずらし位置に光線をずらすための前記二次元シフト機構の操作量を前記所定の画素ずらし位置に対応づけて格納した画素ずらしテーブルをさらに含み、
前記シフト制御部は、前記画素ずらしテーブルを参照して、画素ずらし位置に対応する前記操作量だけ前記二次元シフト機構を駆動させることにより、光線を基準点から所望の画素ずらし位置までずらすことを特徴とする請求項１に記載の撮像装置。
前記画素ずらしテーブルには、所定の画素ずらし位置に対応づけて前記二次元シフト機構による機械的バックラッシュ量が格納されており、
前記シフト制御部は、前記画素ずらしテーブルを参照して、画素ずらし位置に対応する前記バックラッシュ量を前記操作量に加算して前記二次元シフト機構を反対方向に駆動させることにより、光線を前記所望の画素ずらし位置から前記基準点に戻すことを特徴とする請求項２に記載の撮像装置。