+

KR102462656B1 - 캡슐 내시경 영상의 디스플레이 시스템 및 3차원 파노라믹 뷰의 생성 방법 - Google Patents

캡슐 내시경 영상의 디스플레이 시스템 및 3차원 파노라믹 뷰의 생성 방법 Download PDF

Info

Publication number
KR102462656B1
KR102462656B1 KR1020200113682A KR20200113682A KR102462656B1 KR 102462656 B1 KR102462656 B1 KR 102462656B1 KR 1020200113682 A KR1020200113682 A KR 1020200113682A KR 20200113682 A KR20200113682 A KR 20200113682A KR 102462656 B1 KR102462656 B1 KR 102462656B1
Authority
KR
South Korea
Prior art keywords
image
capsule endoscope
homography
present
panoramic view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200113682A
Other languages
English (en)
Other versions
KR20220032195A (ko
Inventor
박종오
김창세
홍아영
최은표
이현석
최홍석
Original Assignee
전남대학교 산학협력단
재단법인 한국마이크로의료로봇연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교 산학협력단, 재단법인 한국마이크로의료로봇연구원 filed Critical 전남대학교 산학협력단
Priority to KR1020200113682A priority Critical patent/KR102462656B1/ko
Priority to US17/386,796 priority patent/US11601732B2/en
Publication of KR20220032195A publication Critical patent/KR20220032195A/ko
Application granted granted Critical
Publication of KR102462656B1 publication Critical patent/KR102462656B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00048—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00108—Constructional details of the endoscope body characterised by self-sufficient functionality for stand-alone use
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 캡슐 이미지 뷰, 3차원 미니맵 및 3차원 파노라믹 뷰를 포함하는디스플레이 시스템과 3차원 파노라믹 뷰의 생성 방법에 관한 것으로, 구체적으로, 3차원 미니맵을 이용하여 장기의 모양을 유추할 수 있고, 실제 캡슐 내시경의 이동 경로를 가시화하여 주요 촬상 지점에서 캡슐 내시경의 촬상 유무와 캡슐 내시경의 위치와 자세 정보를 동시에 확인할 수 있으므로 판독의 정확도가 향상될 수 있고, 캡슐 내시경의 구조를 별도로 변경하지 않고 단일 캡슐 내시경으로 촬상한 여러 장의 2차원 이미지를 한 장의 3차원 파노라믹 이미지로 볼 수 있으므로, 경제적이고 이미지의 시야각이 증가하고 판독자의 판독 시간과 피로도를 절감하고 판독 편의를 증대시킬 수 있다.

Description

캡슐 내시경 영상의 디스플레이 시스템 및 3차원 파노라믹 뷰의 생성 방법 {A DISPLAY SYSTEM FOR CAPSULE ENDOSCOPIC IMAGE AND A METHOD FOR GENERATING 3D PANORAMIC VIEW}
본 발명은 캡슐 내시경이 촬상한 이미지를 재생하는 캡슐 이미지 뷰, 캡슐 내시경의 경로, 위치와 자세 정보 및 3차원 파노라믹 뷰의 생성 위치를 표시하는 3차원 미니맵, 및 캡슐 내시경 카메라보다 더 넓은 화각을 제공하는 3차원 파노라믹 뷰를 포함하는 디스플레이 시스템과 3차원 파노라믹 뷰의 생성 방법에 관한 것이다.
캡슐 내시경은 환자가 알약처럼 삼키면 장기의 체강 내부로 들어가 의사들이 비디오 화면이나 컴퓨터 모니터를 통해 장기의 체강 내부를 직접 관찰할 수 있게 하는 캡슐 형태의 초소형 내시경을 의미한다.
일반적으로, 캡슐 내시경은 생체에 손상을 주지 않으면서 판독자가 검사할 수 있도록 장기를 촬상하는 내시경 검사의 한 방법이다. 의료용 캡슐 내시경은 작은 캡슐 형태를 갖고, 생체 내부를 촬상하고 촬상된 이미지를 무선으로 외부의 저장 장치로 전송한다. 내시경으로부터의 촬상된 이미지는 저장 장치에 저장된다. 저장 장치에 저장된 이미지는 변환 과정을 거쳐 디스플레이 장치 등에 표시되고, 판독자는 디스플레이 장치에 표시된 영상 데이터를 관찰하여 장기를 관찰하게 된다.
그러나, 캡슐 내시경은 판독 (검사)을 위해서 피시술자의 구강을 통해 삼켜진 후, 피시술자의 생체로부터 자연 배출될 때까지 일정 주기로 위, 소장, 대장 등과 같은 장기 내부의 장기 표면을 지속적으로 촬상하기 때문에, 캡슐 내시경이 촬상한 이미지는, 그 양이 매우 방대하다. 따라서, 판독자는 캡슐 내시경의 촬상 시간 동안의 영상 데이터를 모두 관찰하여 피시술자의 장기에 병변이 있는지 여부를 판독하기 때문에 판독 시간이 많이 소요되는 문제점이 있다.
또한, 판독자가 캡슐 내시경이 촬상한 매우 많은 수의 장기 이미지들을 일일이 판독하는 것은 상당히 고된 업무여서 촬상된 장기 이미지들을 성급하게 살펴보기 쉽고, 이에 따라, 판독 결과에 오류가 되기도 한다.
판독자의 판독에 소요되는 시간과 피로도를 감소시키기 위한 노력이 계속되고 있으나, 원본 영상 데이터의 정보가 손실될 수 있고 영상 데이터의 경계면이 왜곡되는 등 이질감이 느껴진다는 많은 문제점이 존재한다.
또한, 판독의 정확도를 향상시키기 위한 노력이 계속되고 있으나, 공간 정보를 알 수 없고 서로 다른 시간대에 촬상된 영상 데이터의 비교가 어려우며 카메라의 위치와 자세 정보를 제공하지 않으므로, 생체 내에서 캡슐 내시경이 어떤 위치와 자세로 이미지를 촬상하였는지 알 수 없다는 단점이 있다.
따라서, 캡슐 내시경이 촬상한 다수의 이미지를 가공함으로써 판독자의 피로도와 판독 시간을 감소시켜 판독의 편의를 높이고, 판독 정확도도 함께 향상시킬 수 있는 디스플레이 시스템의 개발이 시급한 실정이다.
이에 본 발명자들은 캡슐 내시경이 촬상한 다수의 이미지를 3차원 파노라믹 이미지로 변환하여 판독자의 시야각을 증가시킴으로써 판독자의 편의를 높이고 피로도와 판독 시간을 감소시킬 수 있으며, 캡슐 내시경의 3차원 미니맵상 경로를 표현함으로써 실제 촬상 지점을 쉽게 파악할 수 있어 판독의 정확도를 향상시킬 수 있는 디스플레이 시스템을 만들기 위해 노력하였다.
그 결과, 3차원 파노라믹 뷰를 포함하는 디스플레이 시스템은 캡슐 내시경 카메라보다 더 넓은 화각을 제공하는 3차원 파노라믹 뷰를 제공하여 판독자의 시야각을 증가시킴으로써 판독자의 편의를 높이고 피로도와 판독 시간을 감소시킬 수 있으며, 캡슐 내시경의 3차원 미니맵상 경로를 표현함으로써 실제 촬상 지점을 쉽게 파악할 수 있어, 판독 정확도를 향상시킬 수 있는 우수한 효과를 가짐을 확인하였다.
이에, 본 발명의 목적은 디스플레이 시스템을 제공하는 것이다.
본 발명의 다른 목적은 3차원 파노라믹 뷰의 생성 방법을 제공하는 것이다.
본 발명은 캡슐 내시경이 촬상한 이미지를 재생하는 캡슐 이미지 뷰, 캡슐 내시경의 경로, 위치와 자세 정보 및 3차원 파노라믹 뷰의 생성 위치를 표시하는 3차원 미니맵, 및 캡슐 내시경 카메라보다 더 넓은 화각을 제공하는 3차원 파노라믹 뷰를 포함하는 디스플레이 시스템과 3차원 파노라믹 뷰의 생성 방법에 관한 것이다.
이하 본 발명을 더욱 자세히 설명하고자 한다.
본 발명의 일 예는 하기의 구성을 포함하는 디스플레이 시스템에 관한 것이다:
캡슐 내시경이 촬상한 이미지를 입력받는 저장부;
이미지를 영상 데이터로 변환하는 제어부;
조작 명령을 생성하는 조작부; 및
영상 데이터를 표시하는 디스플레이부.
본 발명에 있어서 저장부 (100)는 캡슐 내시경이 촬상한 이미지를 입력받아 저장하는 것일 수 있다.
본 발명에 있어서 저장부 (100)는 캡슐 내시경의 위치 및/또는 자세 정보를 입력받아 저장하는 것일 수 있다.
본 발명에 있어서 캡슐 내시경은 장기를 촬상하기 위하여 촬상부를 포함하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 장기는 소화기관인 것일 수 있으며, 예를 들어, 식도, 위, 십이지장, 소장 및 대장으로 이루어진 군으로부터 선택되는 어느 하나 이상인 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 캡슐 내시경은 캡슐 내시경의 주행 방향과 독립적인 방향을 향하여 임의의 위치와 자세를 정하고, 장기를 길이 방향 및/또는 지름 방향으로 촬상하는 것일 수 있다.
본 발명에 있어서 캡슐 내시경은 캡슐 내시경의 위치 정보를 획득하기 위한 위치 센서 장치를 포함하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 캡슐 내시경은 캡슐 내시경의 자세 정보를 획득하기 위한 자세 센서 장치를 포함하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 캡슐 내시경은 촬상 시의 캡슐 내시경의 위치 및/또는 자세 정보를 저장부 (100)로 전송하기 위한 송신 장치를 더 포함하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 캡슐 내시경은 장기를 촬상하여 이미지를 생성함과 동시에 촬상된 이미지에 촬상 당시의 캡슐 내시경의 위치 및/또는 자세 정보를 기록하는 것일 수 있다.
본 발명에 있어서 캡슐 내시경은 촬상된 이미지에 촬상 당시의 캡슐 내시경의 위치 및/또는 자세 정보를 기록함으로써, 인접 지역에서 촬상된 이미지를 용이하게 비교할 수 있다.
본 발명에 있어서 제어부 (200)는 캡슐 내시경이 촬상한 이미지를 영상 데이터로 변환하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 영상 데이터는 캡슐 이미지 뷰 (410), 3차원 미니맵 (420)및 3차원 파노라믹 뷰 (430)로 이루어진 군으로부터 선택되는 어느 하나 이상을 포함하는 것일 수 있다.
본 발명의 일 구현예에서, 영상 데이터는 캡슐 이미지 뷰 (410)인 것일 수 있다.
본 발명의 일 구현예에서, 영상 데이터는 3차원 미니맵 (420)인 것일 수 있다.
본 발명의 일 구현예에서, 영상 데이터는 3차원 파노라믹 뷰 (430)인 것일 수 있다.
본 발명에 있어서 제어부 (200)는 조작부 (300)로부터 조작 명령을 수신하는 것일 수 있다.
본 발명에 있어서 조작부 (300)는 디스플레이부 (400)에 표시되는 영상 데이터를 조작하기 위하여 조작 명령을 생성하는 것일 수 있다.
본 발명에 있어서 조작부 (300)는 조작 명령을 제어부 (200) 및/또는 디스플레이부 (400)로 송신하는 것일 수 있다.
본 발명에 있어서 조작부 (300)는 디스플레이부 (400)와는 별도의 장치로 구비되는 것일 수 있으나, 이에 한정되는 것은 아니고, 디스플레이부 (400)에 구비되는 것일 수도 있으며, 디스플레이부 (400)가 터치 스크린으로 이루어진 경우에는 조작부 (300)가 디스플레이부 (400)의 일면에 구비되는 것일 수도 있다.
본 발명에 있어서 조작부 (300)는 적어도 하나 이상의 조작 장치 및/또는 적어도 하나 이상의 조작 수단을 포함하는 것일 수 있다.
본 발명에 있어서 조작 장치는 마우스 또는 조이스틱 등을 포함하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 조작 장치는 디스플레이부 (400)의 일 지점 선택 또는 일 지점으로부터 다른 일 지점으로의 드래그 등과 같은 조작 명령을 생성하는 것일 수 있다.
본 발명에 있어서 조작 수단은 디스플레이부 (400)에 표시된 영상 데이터를 조작하기 위하여 제공되는 사용자 인터페이스 (User Interface, UI)를 의미하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 조작 수단은 재생, 빨리감기, 일시정지, 되감기 및 빨리되감기로 이루어진 군으로부터 선택되는 어느 하나 이상의 조작을 수행하는 제1 조작 수단 (310)을 포함하는 것일 수 있다.
본 발명에 있어서 조작 수단은 캡슐 내시경이 촬상한 이미지를 시간의 흐름에 따라 간략하게 표시하는 제2 조작 수단 (320)을 포함하는 것일 수 있다.
본 발명에 있어서 제2 조작 수단 (320)은 임의의 한 지점이 선택될 수 있다.
본 발명에 있어서 제2 조작 수단 (320)은 임의의 한 지점에 상응하는 시점의 영상 데이터를 디스플레이부 (400)에 표시하는 것일 수 있다.
본 발명의 일 구현예에서, 제2 조작 수단 (320)은 캡슐 이미지 뷰 (일반 뷰) 제공 영역 (322) 및/또는 파노라믹 뷰 제공 영역 (323)을 포함하는 것일 수 있다.
본 발명에 있어서 캡슐 이미지 뷰 제공 영역 (322)은 해당 영역에 상응하는 시점의 이미지를 캡슐 이미지 뷰 (410)에 표시하는 것일 수 있다.
본 발명에 있어서 3차원 파노라믹 뷰 제공 영역 (323)은 해당 영역에 상응하는 시점의 이미지를 캡슐 이미지 뷰 (410) 및 3차원 파노라믹 뷰 (430)에 표시하는 것일 수 있다.
본 발명에 있어서 조작 장치는 영상 데이터의 일 지점 선택, 확대, 축소 및 회전으로 이루어진 군으로부터 선택되는 어느 하나 이상의 조작 명령을 생성하는 것일 수 있다.
본 발명에 있어서 디스플레이부 (400)는 캡슐 이미지 뷰 (410)를 포함하는 것일 수 있다.
본 발명에 있어서 캡슐 이미지 뷰 (410)는 캡슐 내시경이 촬상한 이미지를 표시하는 것일 수 있다.
본 발명에 있어서 캡슐 이미지 뷰 (410)는 확대 및 축소로 이루어진 군으로부터 선택되는 어느 하나 이상의 조작 명령에 따라 확대 또는 축소되는 것일 수 있다.
본 발명에 있어서 캡슐 이미지 뷰 (410)는 일 지점으로부터 다른 일 지점으로의 드래그 등과 같은 조작 명령에 의하여 캡슐 이미지의 일 지점이 다른 일 지점으로 이동하는 것일 수 있다.
본 발명에 있어서 디스플레이부 (400)는 3차원 미니맵 (420)을 포함하는 것일 수 있다.
본 발명에 있어서 3차원 미니맵 (420)은 캡슐 내시경의 위치 및/또는 자세 정보를 표시하는 것일 수 있다.
본 발명에 있어서 3차원 미니맵 (420)은 캡슐 내시경 경로 (421)를 표시하는 것일 수 있다.
본 발명에 있어서 캡슐 내시경 경로 (421)는 캡슐 내시경이 이미지를 촬상하며 지나온 경로 정보를 의미하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 3차원 미니맵 (420)은 확대, 축소 및 회전으로 이루어진 군으로부터 선택되는 어느 하나 이상의 조작 명령에 따라 확대, 축소 또는 회전되는 것일 수 있다.
본 발명에 있어서 3차원 미니맵 (420)은 일 지점으로부터 다른 일 지점으로의 드래그 등과 같은 조작 명령에 의하여 캡슐 이미지의 일 지점이 다른 일 지점으로 이동하는 것일 수 있다.
본 발명에 있어서 캡슐 내시경 경로 (421)는 조작 명령에 의하여 경로상 임의의 일 지점이 선택되는 것일 수 있다.
본 발명에 있어서 캡슐 내시경 경로 (421)는 경로상 임의의 일 지점에 상응하는 캡슐 이미지 뷰 (410)를 디스플레이부 (400)에 표시하는 것일 수 있다.
본 발명에 있어서 캡슐 내시경 경로 (421)는 경로상 임의의 일 지점에 상응하는 3차원 파노라믹 뷰 (430)를 디스플레이부 (400)에 표시하는 것일 수 있다.
본 발명에 있어서 캡슐 내시경 경로 (421)는 경로상 임의의 일 지점에 상응하는 캡슐 내시경의 위치 및/또는 자세 정보를 표시하는 것일 수 있다.
본 발명에 있어서 3차원 미니맵 (420)은 파노라믹 뷰 생성 지점 (422)을 포함하는 것일 수 있다.
본 발명에 있어서 파노라믹 뷰 생성 지점 (422)은 3차원 파노라믹 뷰 (430)가 생성된 지점을 의미하는 것일 수 있다.
본 발명에 있어서 3차원 파노라믹 뷰 (430)는 알고리즘을 이용하여 캡슐 내시경이 촬상한 2차원 이미지를 3차원 파노라믹 이미지로 변환한 것일 수 있다.
본 발명에 있어서 3차원 파노라빅 뷰 (430)는 확대, 축소 및 회전으로 이루어진 군으로부터 선택되는 어느 하나 이상의 조작 명령에 의하여 확대, 축소 또는 회전되는 것일 수 있다.
본 발명에 있어서 3차원 파노라빅 뷰 (430)는 일 지점으로부터 다른 일 지점으로의 드래그 등과 같은 조작 명령에 의하여 캡슐 이미지의 일 지점이 다른 일 지점으로 이동하는 것일 수 있다.
본 발명에 있어서 3차원 파노라믹 뷰 (430)의 시야각은 120 내지 360도, 150 내지 360도, 180 내지 360도, 210 내지 360도, 240 내지 360도, 270 내지 360도, 300 내지 360도 또는 330 내지 360도일 수 있으며, 예를 들어, 330 내지 360도일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 3차원 파노라믹 뷰 (430)는 캡슐 내시경의 시야각 (θ) 보다 보다 넓은 시야각을 갖는 이미지를 제공함으로써 판독자의 편의를 증대하고 판독 시간을 감소시킬 수 있다.
본 발명에 있어서 3차원 파노라믹 이미지는 캡슐 내시경이 촬상한 이미지를 그룹핑하고, 그룹핑된 이미지의 영상 특징점을 추출하여 호모그래피를 계산한 다음, 이미지를 와핑 이미지 및 블렌딩 이미지로 변환하여 생성되는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 용어 "호모그래피"는 하나의 도형을 포함한 평면을 다른 평면에 투영 (projection) 시켰을 때, 투영하기 전 평면에 포함되는 하나의 도형과 투영한 후 평면에 포함되는 도형의 상응하는 대응점들 사이에 존재하는 일정한 변환 관계를 의미하는 것일 수 있다.
본 발명에 있어서 용어 "영상 특징점"은 크기, 회전 및 밝기 등에 불변하는 이미지 내에 존재하는 점을 의미하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 다른 일 예는 다음의 단계를 포함하는 3차원 파노라믹 뷰의 생성 방법을 제공하는 것이다:
캡슐 내시경이 촬상한 이미지를 분류하는 이미지 그룹핑 단계(S200);
분류된 이미지의 호모그래피를 계산하는 호모그래피 계산 단계(S210);
호모그래피를 이용하여 분류된 이미지를 와핑 이미지로 변환하는 호모그래피 변환 단계(S220);
와핑 이미지를 블렌딩 이미지로 변환하는 이미지 블렌딩 단계(S230); 및
블렌딩 이미지를 3차원 파노라믹 뷰로 변환하는 3차원 파노라믹 뷰 생성 단계(S240).
본 발명에 있어서 이미지 그룹핑 단계 (S200)는 캡슐 내시경이 촬상한 이미지를 캡슐 내시경의 위치 및/또는 자세 정보에 따라 분류하는 단계를 의미하는 것일 수 있다.
본 발명에 있어서 호모그래피 계산 단계 (S210)는 특징점 기반의 호모그래피 계산 단계 (S211)를 포함하는 것일 수 있다.
본 발명에 있어서 특징점 기반의 호모그래피 계산 단계 (S211)는 영상 특징점을 추출하는 단계 및 추출한 영상 특징점으로 호모그래피를 계산하는 단계를 수행하는 단계를 의미하는 것일 수 있다.
본 발명에 있어서 영상 특징점을 추출하는 단계는 SIFT (Scale Invariant Feature Transform), FAST (Fast stitching) 또는 ORB (Oriented BRIEF) 등의 알고리즘을 이용하여 이미지로부터 영상 특징점을 추출하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 호모그래피는 이미지 내에 존재하는 특징점들의 대응 관계를 의미하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 호모그래피 계산 단계 (S210)는 DLT (Direct Linear Transformation) 또는 RANSAC (Random Sample Consensus) 등의 알고리즘을 이용하여 영상 특징점으로부터 호모그래피를 계산하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 호모그래피 계산 단계 (S210)는 캡슐 내시경의 위치와 자세 기반의 호모그래피 계산 단계 (S212)를 더 포함하는 것일 수 있다.
본 발명에 있어서 캡슐 내시경의 위치와 자세 기반의 호모그래피 계산 단계 (S212)는 캡슐 내시경의 위치 및/또는 자세 정보에 기반하여 이미지의 호모그래피를 계산하는 것일 수 있다.
본 발명에 있어서 호모그래피 계산 단계 (S210)는 특징점 기반의 호모그래피 계산 단계 (S211)로 호모그래피를 계산하는 것에 실패한 경우, 캡슐 내시경의 위치와 자세 기반의 호모그래피 계산 단계 (S212)로 호모그래피를 계산하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 호모그래피 계산 단계 (S210)는 특징점 기반의 호모그래피 계산 단계 (S211)로 계산한 제1 호모그래피 값과 캡슐 내시경의 위치와 자세 기반의 호모그래피 계산 단계 (S212)로 계산한 제2 호모그래피 값을 조합하여 호모그래피를 계산함으로써, 호모그래피 계산 정확도가 향상되는 것일 수 있다.
본 발명에 있어서 호모그래피 변환 단계 (S220)는 다수 이미지의 호모그래피를 구형, 실린더형, 평면형 또는 어안형 등의 좌표계의 픽셀에 매핑시키고, 다시 평면 이미지로 투영시켜 하나의 파노라믹 영상으로 이어지도록 와핑 (Warping)하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 와핑은 파노라믹 영상의 제작 목적에 따라 구형 투영 (Spherical projection), 실린더 투영 (Cylindrical projection) 또는 평면 투영 (Plane projection) 등의 알고리즘을 이용하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 와핑된 이미지는 여러 장의 이미지의 호모그래피를 이용하여 구형, 실린더형, 평면형 또는 어안형 등의 좌표계 상으로 픽셀을 매핑시키고, 이미지를 다시 평면 이미지로 투영시켜 하나의 파노라믹 영상으로 이어지도록 변환된 이미지일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 이미지 블렌딩 단계 (S230)는 와핑된 여러 이미지의 접합선을 결정하고 (seam finder), 접합선을 중심으로 현재 이미지로부터 다음 이미지로 자연스럽게 전환시키는 것을 의미하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 이미지 블렌딩 단계 (S230)는 피쳐 블렌딩 (Feather Blending) 또는 멀티 밴드 블렌딩 (Multiband Blending) 등의 알고리즘을 이용하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서 3차원 파노라믹 뷰 생성 단계 (S240)는 블렌딩이 완료된 이미지를 구형, 실린더형, 평면형 또는 어안형 등으로 영상 데이터를 구성하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명은 캡슐 이미지 뷰, 3차원 미니맵 및 3차원 파노라믹 뷰를 포함하는디스플레이 시스템과 3차원 파노라믹 뷰의 생성 방법에 관한 것으로, 구체적으로, 3차원 미니맵을 이용하면 장기의 모양을 유추할 수 있고, 실제 캡슐 내시경의 이동 경로를 가시화하여 주요 촬상 지점에서 캡슐 내시경의 촬상 유무와 캡슐 내시경의 위치와 자세 정보를 동시에 확인할 수 있으므로, 판독의 정확도가 향상될 수 있다.
또한, 캡슐 내시경의 구조를 별도로 변경하지 않고 단일 캡슐 내시경으로 촬상한 여러 장의 2차원 이미지를 한 장의 3차원 파노라믹 이미지로 볼 수 있어 경제적이고 이미지의 시야각이 증가하므로, 판독자의 판독 시간과 피로도를 절감하고 판독 편의를 증대시킬 수 있다.
도 1은 본 발명의 3차원 파노라믹 뷰를 포함하는 디스플레이 시스템을 나타낸 블럭도이다.
도 2는 본 발명의 일 실시예에 따라 캡슐 내시경이 장기를 길이 방향 또는 지름 방향으로 촬상하는 모습을 나타낸 가상도이다.
도 3은 본 발명의 일 실시예에 따른 디스플레이부를 나타낸 가상도이다.
도 4는 본 발명의 3차원 파노라믹 뷰의 생성 방법을 나타낸 블럭도이다.
도 5는 본 발명의 일 실시예에 따라 2차원 이미지를 재투영하여 3차원 파노라믹 뷰를 생성한 모습을 나타낸 가상도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 오로지 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 요지에 따라 본 발명의 범위가 이들 특정 실시예들에 의해 제한되지 않고, 본 발명의 기술적 사상의 범위에 포함되는 모든 변경, 균등물 및 대체물을 포함하는 것은 당 업계에서 통상의 지식을 가진 자에 있어서 자명할 것이다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 그리고 이하에서 사용되는 상하, 좌우 및 전후 등의 방향 또는 위치를 나타내는 용어는 첨부되는 도면을 기준으로 한 용어임을 밝혀둔다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 시스템을 나타낸 블럭도이다.
도 1을 참조하면, 디스플레이 시스템은 생체에 삽입된 캡슐 내시경이 촬상한 이미지 및 캡슐 내시경의 위치와 자세 정보를 입력받는 저장부 (100), 이미지를 영상 데이터로 변환하는 제어부 (200), 영상 데이터를 조작하기 위하여 조작 명령을 생성하는 조작부 (300) 및 영상 데이터를 표시하는 디스플레이부 (400)를 포함하는 것일 수 있다.
제어부 (200)는 캡슐 내시경이 촬상한 이미지를 캡슐 이미지 뷰 (410), 3차원 미니맵 (420) 및 3차원 파노라믹 뷰 (430)로 변환하는 것일 수 있다.
3차원 미니맵 (420)은 캡슐 내시경이 지나온 경로 정보 (421), 캡슐 내시경의 위치와 자세 정보, 및 3차원 파노라믹 뷰 생성 지점 정보 (422)를 표시하는 것일 수 있다.
3차원 미니맵 (420)을 통하여, 캡슐 내시경이 인체에 삽입되어 지나온 경로, 장기 표면을 촬상할 당시의 위치와 자세 정보 및 3차원 파노라믹 뷰가 생성된 지점을 간편하게 확인할 수 있다.
도 2는 본 발명의 캡슐 내시경이 장기를 길이 방향 또는 지름 방향으로 촬상하는 모습을 나타낸 가상도이다.
도 2를 참조하면, 캡슐 내시경은 캡슐 내시경의 주행 방향과 독립적으로 임의의 위치와 자세를 정하여 장기를 길이 방향으로 촬상하거나 (a), 지름 방향으로 촬상할 수 있다 (b).
캡슐 내시경의 시야각(θ)은 약 120도일 수 있다.
또한, 본 발명의 캡슐 내시경은 촬상한 이미지에 캡슐 내시경의 위치와 자세 정보를 함께 입력함으로써, 촬상한 이미지와 이미지 촬상 당시 캡슐 내시경의 위치와 자세 정보를 동시에 확인할 수 있다.
도 3은 본 발명의 일 실시예에 따른 디스플레이부 (400)를 나타낸 가상도이다.
도 3을 참조하면, 디스플레이부 (400)는 캡슐 내시경이 촬상한 이미지를 재생하는 캡슐 이미지 뷰 (410); 3차원 미니맵 (420); 및 3차원 파노라믹 뷰 (430)를 포함할 수 있다.
3차원 미니맵 (420)은 캡슐 내시경의 경로 (421), 캡슐 내시경의 위치와 자세 정보, 및 3차원 파노라믹 뷰 생성 지점 (422)을 표시할 수 있다.
또한, 디스플레이부 (400)는 제1 조작 수단 (310)를 포함하는 것일 수 있다.
제1 조작 수단 (310)은 영상 데이터의 재생, 빨리감기, 되감기 또는 빨리되감기와 같은 조작이 가능한 것일 수 있다.
또한, 디스플레이부 (400)는 제2 조작 수단 (320)을 포함하는 것일 수 있다.
제2 조작 수단 (320)은 캡슐 내시경이 촬상한 이미지를 시간의 흐름에 따라 간략하게 표시한 것으로서, 조작 명령에 의하여 임의의 한 지점이 선택되면 해당 시점에 상응하는 영상 데이터를 디스플레이부 (400)에 표시하는 것일 수 있다.
또한, 제2 조작 수단(320)은 현재 위치 표시 수단 (321)을 포함함으로써, 디스플레이부 (400)에 표시되고 있는 영상 데이터가 촬상된 시점 정보를 확인할 수 있다.
또한, 제2 조작 수단 (320)은 캡슐 이미지 뷰 제공 영역 (322) 및/또는 3차원 파노라믹 뷰 제공 영역 (323)을 구분하는 것일 수 있다.
3차원 파노라믹 뷰 제공 영역 (323) 하단에 배치된 이미지 묶음은 3차원 파노라믹 뷰 (430) 생성에 이용된 이미지들을 표시하는 것일 수 있다.
캡슐 이미지 뷰 (410)는 조작 명령에 따라 확대 및/또는 축소와 같은 조작을 수행하는 것일 수 있다.
캡슐 이미지 뷰 (410)는 이미지의 일 지점에서 다른 일 지점으로 드래그 등과 같은 조작을 수행함으로써 이미지를 이동시킬 수 있다.
이를 통하여, 이미지 크기가 커서 캡슐 이미지 뷰 (410)에 모두 나타내지 못한 캡슐 이미지를 확인할 수 있다.
그리고, 3차원 미니맵 (420) 및 3차원 파노라믹 뷰 (430)는 조작 명령에 따라 확대, 축소 및 회전과 같은 조작을 수행하는 것일 수 있다.
3차원 미니맵 (420)은 이미지의 일 지점에서 다른 일 지점으로 드래그 등과 같은 조작을 수행함으로써 이미지를 이동 또는 회전시킬 수 있다.
이를 통하여, 이미지 크기가 커서 3차원 미니맵 (420)에 모두 나타내지 못한 미니맵을 확인할 수 있다.
3차원 파노라믹 뷰 (430)는 이미지의 일 지점에서 다른 일 지점으로 드래그 등과 같은 조작을 수행함으로써 이미지를 이동 또는 회전시킬 수 있다.
이를 통하여, 이미지 크기가 커서 3차원 파노라믹 뷰 (430)에 모두 나타내지 못한 3차원 파노라믹 이미지를 확인할 수 있다.
도 4는 본 발명의 일 실시예에 따른 3차원 파노라믹 뷰 (430)의 생성 방법을 나타낸 블럭도이다.
도 4를 참조하면, 3차원 파노라믹 뷰 (430)의 생성 방법은 캡슐 내시경이 촬상한 이미지를 캡슐 내시경의 위치와 자세 정보에 따라 분류하는 이미지 그룹핑 단계 (S200); 이미지의 호모그래피를 계산하는 호모그래피 계산 단계 (S210); 이미지를 호모그래피를 이용하여 와핑 이미지로 변환하는 호모그래피 변환 단계 (S220); 와핑 이미지를 블렌딩 이미지로 변환하는 이미지 블렌딩 단계 (S230); 및 블렌딩 이미지를 3차원 파노라믹 뷰로 변환하는 3차원 파노라믹 뷰 생성 단계 (S240)를 포함하는 것일 수 있다.
이미지 그룹핑 단계 (S200)는 캡슐 내시경이 촬상한 이미지를 캡슐 내시경의 위치와 자세 정보에 따라 분류하는 것일 수 있다.
호모그래피 계산 단계 (S210)는 영상 특징점을 추출하고 추출한 영상 특징점으로 호모그래피를 계산하는 특징점 기반의 호모그래피 계산 단계 (S211)를 포함할 수 있다.
그러나, 영상 특징점 추출을 실패한 경우, 호모그래피 계산 단계 (S210)는 캡슐 내시경의 위치와 자세 기반의 호모그래피 계산 단계 (S212)를 수행하는 것일 수 있다.
따라서, 본 발명의 3차원 파노라믹 뷰 생성 방법은 캡슐 내시경이 촬상한 이미지가 일부 흐리거나 불명확하여 영상 특징점 추출을 실패하더라도 캡슐 내시경의 위치와 자세 정보를 이용하여 정확한 호모그래피를 계산할 수 있다.
또한, 영상 특징점 추출을 성공하더라도, 캡슐 내시경의 위치와 자세 기반의 호모그래피 계산 단계 (S212)를 수행할 수 있으며, 특징점 기반의 제1 호모그래피 값과 캡슐 내시경의 위치와 자세 기반의 제2 호모그래피 값을 조합하여 더욱 정확한 호모그래피를 계산할 수 있다.
호모그래피 변환 단계 (S220)는 여러 장의 이미지의 호모그래피를 이용하여 구형, 실린더형, 평면형 또는 어안형 등의 좌표계 상으로 픽셀을 매핑시키고, 다시 평면 이미지로 투영시켜 하나의 파노라믹 영상으로 이어지도록 와핑 (Warping)하는 것일 수 있다.
이미지 블렌딩 단계 (S230)는 와핑된 이미지의 접합선을 결정하고 (seam finder), 접합선을 중심으로 현재 이미지로부터 다음 이미지로 자연스럽게 전환되도록 이미지를 블렌딩하는 것일 수 있다.
3차원 파노라믹 뷰 생성 단계 (S240)는 블렌딩이 완료된 이미지를 구형, 실린더형, 평면형 또는 어안형 등으로 영상 데이터를 구성하는 것일 수 있다.
도 5는 본 발명의 일 실시예에 따라 2차원 이미지를 재투영하여 3차원 파노라믹 뷰를 생성한 모습을 나타낸 가상도이다.
도 5를 참조하면, (a)는 3차원 파노라믹 뷰 (430)를 나타낸 것이고, (b) 및 (c)는 3차원 파노라믹 뷰의 임의의 영역을 지정하여 확대한 것을 나타낸 것일 수 있다.
100: 저장부
200: 제어부
300: 조작부
310: 제1 조작 수단
320: 제2 조작 수단
321: 현재 위치 표시 수단
322: 캡슐 이미지 뷰 제공 영역
323: 파노라믹 뷰 제공 영역
400: 디스플레이부
410: 캡슐 이미지 뷰
420: 3차원 미니맵
421: 캡슐 내시경 경로
422: 파노라믹 뷰 생성 지점
430: 3차원 파노라믹 뷰
S200: 이미지 그룹핑 단계
S210: 호모그래피 계산 단계
S211: 특징점 기반의 호모그래피 계산 단계 (미도시)
S212: 캡슐 내시경의 위치와 자세 정보 기반의 호모그래피 계산 단계
S220: 호모그래피 변환 단계
S230: 이미지 블렌딩 단계
S240: 3차원 파노라믹 뷰 생성 단계

Claims (11)

  1. 캡슐 내시경이 촬상한 이미지를 입력받는 저장부;
    이미지를 영상 데이터로 변환하는 제어부;
    조작 명령을 생성하는 조작부; 및
    영상 데이터를 표시하는 디스플레이부를 포함하고,
    상기 캡슐 내시경은 캡슐 내시경의 주행 방향과 독립적인 방향을 향하여 임의의 위치와 자세를 정하며,
    상기 캡슐 내시경은 캡슐 내시경의 위치 정보를 획득하기 위한 위치 센서 장치 및 캡슐 내시경의 자세 정보를 획득하기 위한 자세 센서 장치를 포함하여,
    상기 캡슐 내시경이 촬상한 이미지는 캡슐 내시경의 위치 정보 및 자세 정보를 포함하고,
    상기 영상 데이터는 캡슐 이미지 뷰를 포함하고,
    상기 영상 데이터는 3차원 미니맵을 더 포함하고,
    상기 3차원 미니맵은 캡슐 내시경의 위치 정보 또는 캡슐 내시경의 자세 정보를 표시하는 것인, 디스플레이 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 영상 데이터는 3차원 파노라믹 뷰를 더 포함하는 것인, 디스플레이 시스템.
  4. 제1항에 있어서,
    상기 3차원 미니맵은 캡슐 내시경 경로 정보 또는 3차원 파노라믹 뷰 생성 지점 정보를 더 표시하는 것인, 디스플레이 시스템.
  5. 제3항에 있어서,
    상기 3차원 파노라믹 뷰는 120 내지 360도의 시야각을 갖는 것인, 디스플레이 시스템.
  6. 제1항에 있어서,
    상기 조작부는 제1 조작 수단을 포함하고,
    상기 제1 조작 수단은 영상 데이터의 재생, 빨리감기, 되감기 및 빨리되감기로 이루어진 군으로부터 선택되는 어느 하나 이상의 조작을 수행하는 것인, 디스플레이 시스템.
  7. 제1항에 있어서,
    상기 조작부는 제2 조작 수단을 포함하고,
    상기 제2 조작 수단은 임의의 지점에 상응하는 시점의 영상 데이터를 디스플레이부에 표시하는 것인, 디스플레이 시스템.
  8. 캡슐 내시경이 촬상한 이미지를 분류하는 이미지 그룹핑 단계;
    분류된 이미지의 호모그래피를 계산하는 호모그래피 계산 단계;
    호모그래피를 이용하여 분류된 이미지를 와핑 이미지로 변환하는 호모그래피 변환 단계;
    와핑 이미지를 블렌딩 이미지로 변환하는 이미지 블렌딩 단계; 및
    블렌딩 이미지를 3차원 파노라믹 뷰로 변환하는 3차원 파노라믹 뷰 생성 단계;를 포함하고,
    상기 호모그래피 계산 단계는, 이미지의 영상 특징점을 이용하여 호모그래피를 계산하는 제1호모그래피 계산 단계; 및 캡슐 내시경의 위치와 자세 정보를 이용하여 호모그래피를 계산하는 제2호모그래피 계산 단계;를 포함하여, 제1호모그래피 값과 제2호모그래피 값을 조합하여 호모그래피를 계산하는 것인, 3차원 파노라믹 뷰 생성 방법.
  9. 삭제
  10. 삭제
  11. 삭제
KR1020200113682A 2020-09-07 2020-09-07 캡슐 내시경 영상의 디스플레이 시스템 및 3차원 파노라믹 뷰의 생성 방법 Active KR102462656B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200113682A KR102462656B1 (ko) 2020-09-07 2020-09-07 캡슐 내시경 영상의 디스플레이 시스템 및 3차원 파노라믹 뷰의 생성 방법
US17/386,796 US11601732B2 (en) 2020-09-07 2021-07-28 Display system for capsule endoscopic image and method for generating 3D panoramic view

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200113682A KR102462656B1 (ko) 2020-09-07 2020-09-07 캡슐 내시경 영상의 디스플레이 시스템 및 3차원 파노라믹 뷰의 생성 방법

Publications (2)

Publication Number Publication Date
KR20220032195A KR20220032195A (ko) 2022-03-15
KR102462656B1 true KR102462656B1 (ko) 2022-11-04

Family

ID=80471055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200113682A Active KR102462656B1 (ko) 2020-09-07 2020-09-07 캡슐 내시경 영상의 디스플레이 시스템 및 3차원 파노라믹 뷰의 생성 방법

Country Status (2)

Country Link
US (1) US11601732B2 (ko)
KR (1) KR102462656B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102711921B1 (ko) * 2023-11-21 2024-09-30 주식회사 메디인테크 내시경 장치로부터 획득한 신체 내부의 이미지를 복원하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508567A (ja) * 2005-09-15 2009-03-05 ギブン イメージング リミテッド データストリームを表示するシステムおよび方法
JP4550048B2 (ja) * 2003-05-01 2010-09-22 ギブン イメージング リミテッド パノラマ視野の撮像装置
JP2013085593A (ja) * 2011-10-14 2013-05-13 Toshiba Corp 医用画像表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3917885B2 (ja) * 2002-04-08 2007-05-23 オリンパス株式会社 カプセル内視鏡システム
US20080186378A1 (en) * 2007-02-06 2008-08-07 Feimo Shen Method and apparatus for guiding towards targets during motion
US20150334276A1 (en) * 2012-12-31 2015-11-19 Given Imaging Ltd. System and method for displaying an image stream
US20200138522A1 (en) * 2018-11-07 2020-05-07 Zimmer, Inc. 3d model generation using thermal imaging and x-ray
CA3145736A1 (en) * 2019-07-01 2021-01-07 Geomagical Labs, Inc. Method and system for image generation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4550048B2 (ja) * 2003-05-01 2010-09-22 ギブン イメージング リミテッド パノラマ視野の撮像装置
JP2009508567A (ja) * 2005-09-15 2009-03-05 ギブン イメージング リミテッド データストリームを表示するシステムおよび方法
JP2013085593A (ja) * 2011-10-14 2013-05-13 Toshiba Corp 医用画像表示装置

Also Published As

Publication number Publication date
US11601732B2 (en) 2023-03-07
US20220078343A1 (en) 2022-03-10
KR20220032195A (ko) 2022-03-15

Similar Documents

Publication Publication Date Title
JP4676021B2 (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
CN113544743B (zh) 内窥镜用处理器、程序、信息处理方法和信息处理装置
JP5858636B2 (ja) 画像処理装置、その処理方法及びプログラム
CN101912251B (zh) 内窥镜图像处理装置
EP1685787B1 (en) Insertion support system
JP5394622B2 (ja) 医用ガイドシステム
US20110032347A1 (en) Endoscopy system with motion sensors
US20090051691A1 (en) Image display apparatus
US20250054147A1 (en) Composite medical imaging systems and methods
US20080232702A1 (en) Image display apparatus
WO2012165572A1 (ja) 医用画像表示装置及び医用画像診断装置
US20250049535A1 (en) Systems and methods for integrating imagery captured by different imaging modalities into composite imagery of a surgical space
US20230353879A1 (en) Program, information processing method, and endoscope system
US12293472B2 (en) Systems and methods for masking a recognized object during an application of a synthetic element to an original image
JP2013192741A (ja) 医用画像診断支援装置および方法並びにプログラム
KR102462656B1 (ko) 캡슐 내시경 영상의 디스플레이 시스템 및 3차원 파노라믹 뷰의 생성 방법
JP6633383B2 (ja) 画像診断支援装置及びその制御方法、並びにプログラム及び記憶媒体
US20240087723A1 (en) Program, information processing method, and information processing device
US20220409324A1 (en) Systems and methods for telestration with spatial memory
CN114730628A (zh) 用于增强现实的图像采集视觉
JP6487999B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6263248B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6199267B2 (ja) 内視鏡画像表示装置、その作動方法およびプログラム
WO2023148812A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
CN117255642A (zh) 图像处理装置、内窥镜装置以及图像处理方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200907

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211028

Patent event code: PE09021S01D

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220421

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20221025

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221031

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221101

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载