KR20020069291A - 스테레오 카메라 - Google Patents

Abstract

본 발명은 입체 카메라의 출력영상을 스테레오 비디오 컨버터를 통하여 영상신호의 출력주파수를 증가시켜 모니터 상에 깜박거림이 없는 양질의 화면을 얻을 수 있고, PC와의 인터페이스를 통하여 2D 및 3D 겸용으로 사용할 수 있는 스테레오 카메라에 관한 것이다.

본 발명에 의한 입체영상을 구현하는 스테레오 카메라는 좌,우 카메라의 렌즈와 영상센서를 각각 분리하여 나란히 고정시키고, 렌즈와 영상센서 사이의 간격 및 좌,우 영상센서 사이의 간격을 조절할 수 있도록 모터를 장착하여 초점 및 주시각 제어 기능을 갖는 스테레오스코프 카메라 모듈; 및 상기 스테레오스코프 카메라 모듈에서 출력되는 좌,우 영상신호를 소정의 동기신호와 연동하여 메모리에 저장하고, 상기 메모리에서 읽어오는 주파수를 저장할 때의 주파수의 소정의 배수로 하여 저장된 영상신호를 출력하는 스테레오 비디오 컨버터를 포함함을 특징으로 한다.

본 발명에 의하면, 좌,우 영상을 각각 30프레임/sec 의 전송으로 깜박거림 현상을 방지하고, 2D 및 3D 겸용으로 사용 가능하다.

Description

스테레오 카메라{Stereo camera}

본 발명은 광학장치에 관한 것으로, 특히 좌, 우 영상을 획득하여 입체영상을 구현하는 스테레오 카메라에 관한 것이다.

종래의 스테레오 카메라는 초점제어와 주시각 제어가 각각 독립적으로 수행되며, 줌기능이 첨가된 스테레오 카메라는 부피가 대단히 큰 것 뿐이다. 따라서 자연스럽고 선명한 입체영상을 획득하기 위해서는 조작이 대단히 어려워지는 단점이 있다.

또한, 좌, 우 영상을 각각 초당 15프레임으로 전송하기 때문에 깜박거림 현상이 발생하여 눈의 피로를 증가시킨다. 입체영상을 구현하기 위해서는 소형/경량화가 어렵다.

본 발명이 이루고자하는 기술적 과제는 입체 카메라의 출력영상을 스테레오 비디오 컨버터를 통하여 영상신호의 출력주파수를 증가시켜 모니터 상에 깜박거림이 없는 양질의 화면을 얻을 수 있고, PC와의 인터페이스를 통하여 2D 및 3D 겸용으로 사용할 수 있는 스테레오 카메라를 제공함에 있다.

도 1은 초점과 주시각을 동시에 조절할 수 있는 수평이동축 입체카메라의 기하학적 구조를 도시한 것이다.

도 2는 렌즈의 기하학적 표현을 도시한 것이다.

도 3은 본 발명에 의한 입체영상을 구현하는 스테레오 카메라의 구조를 도시한 것이다.

상기 기술적 과제를 해결하기 위한 본 발명에 의한 입체영상을 구현하는 스테레오 카메라는 좌,우 카메라의 렌즈와 영상센서를 각각 분리하여 나란히 고정시키고, 렌즈와 영상센서 사이의 간격 및 좌,우 영상센서 사이의 간격을 조절할 수 있도록 모터를 장착하여 초점 및 주시각 제어 기능을 갖는 스테레오스코프 카메라 모듈; 및 상기 스테레오스코프 카메라 모듈에서 출력되는 좌,우 영상신호를 소정의 동기신호와 연동하여 메모리에 저장하고, 상기 메모리에서 읽어오는 주파수를 저장할 때의 주파수의 소정의 배수로 하여 저장된 영상신호를 출력하는 스테레오 비디오 컨버터를 포함함을 특징으로 한다.

또한, 상기 스테레오스코프 카메라 모듈은 좌, 우로 분리된 카메라 렌즈; 상기 카메라 렌즈와 분리되어 나란히 연결되는 영상센서; 상기 영상센서로부터 출력되는 영상신호를 처리하는 카메라 신호처리부; 및 상기 영상센서를 좌, 우로 이동시켜 초점과 주시각을 동시에 제어하는 주시각/초점 제어부를 포함함을 특징으로 한다.

또한, 상기 주시각/초점 제어부는 상기 좌, 우 카메라 렌즈와 영상센서 사이의 간격 및 좌, 우 영상센서 사이의 간격을 조절하는 모터; 상기 모터를 구동하는 모터구동부; 및 상기 초점제어명령, 주시각제어명령, 그리고 자동 주시각/초점 제어명령을 통해 상기 모터구동부로 전달, 모터를 회전시켜 스테레오 카메라의 초점제어, 주시각 제어를 하는 모터제어부를 포함함을 특징으로 한다.

또한, 상기 스테레오 비디오 컨버터는 상기 좌, 우 카메라 신호처리부로부터 출력된 영상신호를 입력받아 소정의 동기신호를 기준으로 좌측영상신호와 우측영상신호를 스위칭시켜 입체영상신호를 출력하는 스테레오 멀티플렉서; 소정의 동기신호를 발생시키는 타이밍신호발생부; 상기 스테레오 멀티플렉서로부터 출력되는 신호를 상기 타이밍 신호발생기에서 발생된 소정의 동기신호와 연동시키는 비디오 입력 신호처리부; 상기 비디오 입력처리기로부터 연동된 영상신호를 저장하는 메모리; 및 상기 메모리로부터 읽어오는 주파수를 저장할 때의 주파수의 소정 배수로 하여, 저장된 내용을 출력하는 D/A변환기를 포함함을 특징으로 한다.

또한, 상기 메모리에 저장된 데이터를 PC로 전송하는 USB 인터페이스를 더 구비하는 것이 바람직하다.

또한, 상기 메모리에 저장된 데이터를 PC로 전송하는 IEEE1394 인터페이스를 더 구비하는 것이 바람직하다.

또한, 상기 스테레오 멀티플렉서는 상기 소정의 동기 신호에 의해 좌, 우 카메라의 동기가 일치된 Left Video signal, Right Video signal 및 Field Signal를 입력받아 상기 Field Signal을 기준으로 하여 Odd field에는 Left video signal의Odd field를, Even field에는 Right video signal의 Even field를 합성하여 하나의 Stereo Video Signal을 만드는 것을 특징으로 한다.

또한, 상기 비디오 입력 신호처리부는 상기 연동된 영상 신호를 양자화시켜 메모리에 저장하는 것이 바람직하다.

또한, 상기 메모리에 저장되어진 영상 신호는 상기 메모리에 Writer하는 주파수의 두 배로 Read하는 형식으로, 영상 주파수를 30 Frame/Sec에서 60 Frame/Sec로 배가되는 것이 바람직하다.

이하 도면을 참조하여 본 발명을 상세히 설명하기로 한다.

먼저, 초점과 주시각을 동시에 조절할 수 있는 수평이동축 입체카메라의 기하학적 구조에 대하여 설명하기로 한다.

도 1은 초점과 주시각을 동시에 조절할 수 있는 수평이동축 입체카메라의 기하학적 구조를 도시한 것이다.

도 1에서 관측하고자하는 물체 O까지의 수직거리를 p, 두 카메라 사이의 거리는 s, 주시각 제어를 위한 카메라 렌즈의 수평 이동량은 h, 카메라의 CCD와 렌즈 사이의 거리는 I, 그리고 렌즈의 초점거리를 f라 정의한다.

첫 번째, 주시각 제어 조건에 대하여 설명하기로 한다.

수평이동축 입체카메라가 O지점의 물체를 관측할 때, 이 물체는 입체영상 카메라 좌, 우 영상센서의 l과 r의 위치에 각각 상이 맺힌다. 이때 입체영상 시차 l-r은 수학식 1과 같다.

관측물체 O에 대해 주시각이 맞추어진 상태, 즉 자연스러운 입체영상을 획득하기 위해서는 시차값 l-r은 0이 되어야 한다.

입체영상의 시차(disparity)가 0으로 되는 경우에 물체까지의 거리 p는 수학식 2와 같이 변형된다.

이는 수평식 입체영상 카메라에서 관측물체의 거리정보 P는 주시각 제어를 위한 렌즈의 수평이동량 h, 영상센서와 렌즈사이의 거리 I, 그리고 영상센서사이의 간격 t로 이루어지는 수학식 2에서 간단히 구할 수 있음을 의미한다.

여기서 중요한 점은 입체영상을 관측시 관측하는 물체에 대한 영상시차는 관측 피로도에 직접적인 영향을 주는 요소로 시차가 0일 경우 자연스러운 입체영상을 획득하게 되어 입체영상 관측피로를 최소화 할 수 있다.

또한 주시각 제어된 영상정보는 입체영상 처리에 있어 유리한 알고리듬을 적용할 수 있게 한다.

두 번째, 초점제어 조건에 대하여 설명하기로 한다.

수평이동축 입체영상 카메라에서 초점제어에 관한 수식은 도 2에 나타낸 렌즈의 기하학적 표현으로부터 구할 수 있다.

도 2는 렌즈의 기하학적 표현을 도시한 것이다.

렌즈에서 관측물체까지의 거리는 p, 렌즈에서 영상센서인 CCD면까지의 거리는 i, 그리고 렌즈의 초점거리 f로 표현된다.

카메라에서 초점을 잘 ??추어 선명한 영상을 얻기 위해서는 영상센서와 카메라 렌즈 사이의 간격을 조절하여 관측물체의 상이 영상센서 면에 잘 맺히도록 하여야 한다. 선명한 영상을 얻기위한 렌즈공식은 수학식 3과 같이 표현된다.

수학식 3을 렌즈와 영상센서사이의 거리 i의 식으로 변형하면 수학식 4와 같이 표현된다.

세 번째, 초점 및 주시각 관계에 대하여 설명하기로 한다.

수평이동축 입체영상 카메라로 선명하면서도 자연스러운, 즉 초점제어와 주시각 제어가 잘 이루어진 영상을 얻기 위해서는 수학식 2와 수학식 4를 만족하여야 한다. 수학식 1을 h에 관하여 표현하면 수학식 5와 같다.

여기서, t=(s-2h)이고, s는 두 영상센서 사이의 간격이다.

수평이동축 입체영상 카메라의 초점 및 주시각 관계는 수학식 4와 수학식 5를 이용하여 선명한 영상을 얻기 위한 초점거라 변화량 di와 자연스러운 입체영상을 억기 위한 주시각 제어용 렌즈 수평 이동량 dh로부터 구할 수 있다. 주시각 및 초점거관계는 수학식 4와 수학식 5의 미분 도함수를 이용하면 수학식 6 내지 수학식 8과 같이 전개된다.

,

수학식 8은 거리 p에 있는 관측물체의 선명하고 자연스러운 입체영상을 획득하기 위해 제어해야 할 수평이동축 입체영상 카메라의 초점과 주시각 제어 사이의 관계를 나타낸다.

수학식 8은 수평이동축 입체영상 카메라의 초점거리 f가 관측영상의 거리 p에 비해 아주 작은 값이기 때문에 (p-f)성분에서 f는 무시하고 p로 대체할 수 있다. 일반적으로 관측거리 10m정도에서 사용하는 입체영상 카메라에 사용되는 렌즈의 초점거리는 6-50mm정도이기 때문에 (p-f)를 p로 대체하는 것이 가능하다.

수학식 8의 (p-f)를 p로 대체하면 수학식 9와 같이 표현된다.

수학식 9로 표현되는 수평이동축 입체영상 카메라의 초점 및 주시각 관계를 살펴보면 선명한 영상을 얻기 위한 초점제어량 di와 자연스러운 입체영상을 얻기 위한 주시각 제어량 dh가 간단한 비례관계를 가짐을 알 수 있다. 이는 수평이동축 입체영상 카메라의 초점이나 주시각 중 하나만을 제어함으로써 두가지가 모두 제어된 양질의 입체영상을 얻을 수 있음을 의미한다.

도 3은 본 발명에 의한 스테레오 카메라의 내부 구조를 도시한 것으로, 스테레오스코프 카메라 모듈(10) 및 스테레오 비디오 컨버터(20)로 이루어진다.

스테레오스코프 카메라 모듈(10)는 좌, 우 렌즈(101,102)와 좌, 우 영상센서(103,104), 그리고 제1 카메라 신호처리부(105)와 제2 카메라 신호처리부(106) 및 주시각/초점제어부(108)로 구성되어 있다.

카메라의 좌, 우 렌즈(101,102)와 좌, 우 영상센서(103,104)는 분리 되어있으며, 두 대의 영상센서(103,104)는 주시각/초점제어부(108)에 의해 서로 수평으로 이동시켜 주시각 제어(Vergence Control)를 할 수 있도록 되어있다.

또한, 초점조절은 렌즈(101,102)와 영상센서(103,104) 간의 간격을 조절함으로써 제어되도록 되어 있다.

제1 카메라 신호처리부(105)와 제2 카메라 신호처리부(106)는 좌, 우 영상센서(103,104)로부터 입력된 영상신호를 처리한다.

주시각/초점제어부(108)는 좌, 우 렌즈(101,102)와 영상센서(103,104) 사이의 간격 및 영상센서(103,104) 사이의 간격을 조절하는 모터(도면에 도시되지 않음)와 상기 모터를 구동하는 모터구동부(도면에 도시되지 않음) 및 상기 초점제어명령, 주시각제어명령, 그리고 자동 주시각/초점 제어명령을 통해 상기 모터구동부로 전달, 모터를 회전시켜 스테레오 카메라의 초점제어, 주시각 제어를 하는 모터제어부(도면에 도시되지 않음)로 구성된다.

상술한 바와 같이 스테레오스코프 카메라 모듈(10)은 다음과 같이 동작한다.

첫째, 제1 카메라 렌즈(101), 제1 영상센서(103), 제1 카메라 신호처리부(105)를 통해 오른쪽 카메라의 영상신호를 출력한다.

둘째, 제2 카메라 렌즈(102), 제2 영상센서(104), 제2 카메라 신호처리부(106)를 통해 왼쪽 카메라의 영상신호를 출력한다.

셋째, 제1 영상센서(103), 제2 영상센서(104), 제1 카메라 신호처리부(105), 제2 카메라 신호처리부(106)의 두 CCD camera는 스테레오 비디오 컨버터(20)의 카메라 동기신호 발생부(202)로부터 오는 Sync 신호에 Genlocking 되기 때문에 좌우 영상신호의 Sync는 동일해진다.

넷째, 주시각/초점 제어부(108)는 주시각(Vergence)과 초점(Focus)를 동시에 조절하기 위한 장치로서 Manual type과 Motorized type 두 가지가 있다.

다섯째, 외부전력어댑터(External Power Adaptor:301)로부터 들어온 DC12V 전압은 DC-DC 변환기(107)를 거치면서 스테레오스코프 카메라 모듈(10)에서 사용하는 전압으로 변환된다.

스테레오 비디오 컨버터(20)는 스테레오 멀티플렉서(201), 카메라 동기신호 발생부(202), 비디오 입력 신호처리부(203), 타이밍 신호발생기(204), 메모리(205), RGB D/A변환기(206) 및 인터페이스(207)로 이루어진다.

스테레오 카메라(10)의 제1 카메라 신호처리부(105)과 제2 카메라 신호처리부(106)에서 발생되는 좌, 우 카메라의 동기가 일치된 Right Video Signal, Left Video Signal 및 Field Signal를 스테레오 멀티플렉서(Stereo Multiplexer:201)에 보낸다.

스테레오 멀티플렉서(201)는 상기 Field Signal을 기준으로 하여 Odd field에는 Left video signal의 Odd field를, Even field에는 Right video signal의 Even field를 합성하여 하나의 Stereo Video Signal을 만든다. 이렇게 함으로써 Left Video signal, Right Video signal, Stereo Video Signal의 세 가지 Video Signal을 만든다.

스테레오 멀티플렉서(201)로부터 출력되는 신호를 비디오 입력 신호처리부(203)에 전달된다.

비디오 입력 신호처리부(203)는 이 신호를 타이밍 신호발생기(204)에서 발생된 60Hz의 동기신호와 연동하여 메모리(205)에 저장한다.

메모리(205)에서 읽어오는 주파수를 저장할 때의 주파수의 두 배로 하여, 저장된 내용을 RGB D/A변환기(206)를 통하여 모니터로 출력함으로써 Flicker-Free의 입체 영상을 얻을 수 있다.

또한, 이 신호는 USB 또는 IEEE1394 인터페이스(207)를 통하여 디지털 데이터로 변환하여 PC(303)로 전송하며, PC(303)에서는 내장소프트웨어를 통하여 모니터(302)에 입체영상을 디스플레이 한다.

상술한 바와 같이 스테레오 비디오 컨버터(20)는 다음과 같이 동작한다.

첫째, 제1 카메라 신호처리부(105)로부터 나온 우측 카메라 영상신호와 제2 카메라 신호처리부(106)로부터 나온 좌측 카메라 영상 신호가 스테레오 멀티플렉서(201)의 입력으로 들어간다.

둘째, 카메라 동기신호발생부(202)에서 만들어진 Sync 신호를 기준으로 좌측 영상 신호와 우측 영상 신호를 스위칭(Switching)하여 만든 입체 영상 신호가 스테레오 멀티플렉서(201)의 출력으로 나간다.

셋째, 스테레오 멀티플렉서(201)의 출력으로 나오는 입체 영상 신호는 비디오 입력 신호처리부(204)의 입력으로 들어간다.

넷째, 비디오 입력 신호처리부(204)에서 입체 영상 신호는 양자화되어서 메모리(205)에 저장되어진다.

다섯째, 메모리(205)에 저장되어진 영상 데이터는 메모리(205)에 Writer하는 주파수의 두 배로 Read하는 형식으로, 영상 주파수를 30 Frame/Sec에서 60 Frame/Sec로 배가시킨다.

여섯째, 메모리(205)에서 출력되는 영상데이타는 RGB D/A컨버터(206)를 거치면서 모니터(302)를 통해 볼 수 있게 아날로그 RGB 신호로 바뀐다.

또한, 모니터(302)에 스테레오 디스플레이 패널(304)를 부착하여 3차원 입체영상을 볼 수 있다.

일곱째, IEEE1394 또는 USB(207)를 통해 PC(303)에 Serial로 연결되어진다.

여덟째, 외부전력어댑터(301)로부터 들어온 DC12V 전압은 DC-DC 변환기(208)를 거치면서 스테레오 비디오 컨버터(20)에서 사용하는 전압으로 변환되어진다.

도면과 명세서는 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명에 의하면, 좌,우 영상을 각각 30프레임/sec의 전송으로 깜박거림 현상을 방지하고, 2D 및 3D 겸용으로 사용 가능하다.

Claims (9)

1. 좌,우 카메라의 렌즈와 영상센서를 각각 분리하여 나란히 고정시키고, 렌즈와 영상센서 사이의 간격 및 좌,우 영상센서 사이의 간격을 조절할 수 있도록 모터를 장착하여 초점 및 주시각 제어 기능을 갖는 스테레오스코프 카메라 모듈; 및

   상기 스테레오스코프 카메라 모듈에서 출력되는 좌,우 영상신호를 소정의 동기신호와 연동하여 메모리에 저장하고, 상기 메모리에서 읽어오는 주파수를 저장할때의 주파수의 소정의 배수로 하여 저장된 영상신호를 출력하는 스테레오 비디오 컨버터를 포함함을 특징으로 하는 입체영상을 구현하는 스테레오 카메라.
2. 제1항에 있어서, 상기 스테레오스코프 카메라 모듈은

   좌, 우로 분리된 카메라 렌즈;

   상기 카메라 렌즈와 분리되어 나란히 연결되는 영상센서;

   상기 영상센서로부터 출력되는 영상신호를 처리하는 카메라 신호처리부; 및

   상기 영상센서를 좌, 우로 이동시켜 초점과 주시각을 동시에 제어하는 주시각/초점 제어부를 포함함을 특징으로 하는 입체영상을 구현하는 스테레오 카메라.
3. 제2항에 있어서, 상기 주시각/초점 제어부는

   상기 좌, 우 카메라 렌즈와 영상센서 사이의 간격 및 좌, 우 영상센서 사이의 간격을 조절하는 모터;

   상기 모터를 구동하는 모터구동부; 및

   상기 초점제어명령, 주시각제어명령, 그리고 자동 주시각/초점 제어명령을 통해 상기 모터구동부로 전달, 모터를 회전시켜 스테레오 카메라의 초점제어, 주시각 제어를 하는 모터제어부를 포함함을 특징으로 하는 입체영상을 구현하는 스테레오 카메라.
4. 제1항에 있어서, 상기 스테레오 비디오 컨버터는

   상기 좌, 우 카메라 신호처리부로부터 출력된 영상신호를 입력받아 소정의 동기신호를 기준으로 좌측영상신호와 우측영상신호를 스위칭시켜 입체영상신호를 출력하는 스테레오 멀티플렉서;

   소정의 동기신호를 발생시키는 타이밍신호발생부;

   상기 스테레오 멀티플렉서로부터 출력되는 신호를 상기 타이밍 신호발생기에서 발생된 소정의 동기신호와 연동시키는 비디오 입력 신호처리부;

   상기 비디오 입력처리기로부터 연동된 영상신호를 저장하는 메모리; 및

   상기 메모리로부터 읽어오는 주파수를 저장할 때의 주파수의 소정 배수로 하여, 저장된 내용을 출력하는 D/A변환기를 포함함을 특징으로 하는 입체영상을 구현하는 스테레오 카메라.
5. 제4항에 있어서,

   상기 메모리에 저장된 데이터를 PC로 전송하는 USB 인터페이스를 더 구비함을 특징으로 하는 입체영상을 구현하는 스테레오 카메라.
6. 제4항에 있어서,

   상기 메모리에 저장된 데이터를 PC로 전송하는 IEEE1394 인터페이스를 더 구비함을 특징으로 하는 입체영상을 구현하는 스테레오 카메라.
7. 제4항에 있어서, 상기 스테레오 멀티플렉서는

   상기 소정의 동기 신호에 의해 좌, 우 카메라의 동기가 일치된 Left Video signal, Right Video signal 및 Field Signal를 입력받아 상기 Field Signal을 기준으로 하여 Odd field에는 Left video signal의 Odd field를, Even field에는 Right video signal의 Even field를 합성하여 하나의 Stereo Video Signal을 만드는 것을 특징으로 하는 입체영상을 구현하는 스테레오 카메라.
8. 제4항에 있어서, 상기 비디오 입력 신호처리부는

   상기 연동된 영상 신호를 양자화시켜 메모리에 저장함을 특징으로 하는 입체영상을 구현하는 스테레오 카메라.
9. 제4항에 있어서, 상기 메모리에 저장되어진 영상 신호는

   상기 메모리에 Writer하는 주파수의 두 배로 Read하는 형식으로, 영상 주파수를 30 Frame/Sec에서 60 Frame/Sec로 배가시킴을 특징으로 하는 입체영상을 구현하는 스테레오 카메라.