KR100523908B1

KR100523908B1 - 격행주사 영상에 대한 영상신호 부호화 장치 및 그 방법

Info

Publication number: KR100523908B1
Application number: KR1019980052584A
Authority: KR
Inventors: 천승문; 신동규; 문주희; 이진학
Original assignee: 주식회사 팬택앤큐리텔
Priority date: 1997-12-12
Filing date: 1998-12-02
Publication date: 2006-01-27
Anticipated expiration: 2018-12-02
Also published as: KR19990062734A; US6381277B1

Abstract

격행주사 영상에 대한 영상신호 부호화장치 및 방법에 관한 것이며, 움직임의 정도에 따라 격행주사(Interlaced) 영상의 부호화 효율이 다르게 나타나므로, 선택적(Adaptive)으로 프레임과 필드를 구분하여 부호화함으로써 최적의 부호화 효율을 얻을 수 있게 된다. 이를 위해 본 발명은, 격행주사 동영상의 모양정보 부호화시 대상물영상의 움직임 정도를 검출하여 그 움직임 량에 따라 필드 또는 프레임 부호화 모드를 선택하고, 그 선택된 부호화 모드가 필드 모드이면 필드 타입 블록단위로 움직임 보상을 수행한 후 필드타입 블록단위로 부호화를 수행하고, 선택된 부호화 모드가 프레임 모드이면 프레임 타입 블록단위로 움직임 보상을 수행한 후 프레임 타입 블록단위로 부호화를 수행한다.

또한, 격행주사 동영상에 대한 모양정보 부호화시 두 필드를 한 프레임으로 구성한 후, 모양정보 움직임 정보의 효과적인 부호화를 위해 이웃하는 블록의 움직임 정보를 이용하여 움직임 벡터 예측치(MVPs)를 결정하는데, 이때 유사성이 높은 예측치를 위해 현재의 움직임 벡터와 같은 움직임 예측모드를 갖은 것을 우선 순위로 두어 결정하는 방법과 두 필드중 하나의 필드에 대하여 필드블록 타입정보와 필드 구별 정보를 부호화하는 방법을 적용하여 부호화 효율을 향상시킨다.

Description

격행주사 영상에 대한 영상신호 부호화 장치 및 그 방법

본 발명은 격행주사 영상에 대한 영상신호 부호화에 관한 것으로, 특히 격행주사 동영상에 대한 부호화시, 대상물 영상의 움직임 정도를 검출하여 그 움직임 량에 따라 프레임 타입 블록단위 또는 필드 타입 블록단위로 대상물 영상을 부호화하는 영상신호 부호화장치 및 그 방법에 관한 것이다.

차세대 영상/음향 부호화 기술 및 시스템 구성에 관한 연구 및 개발 동향을 살펴보면, 기존의 알려진 표준안-예를 들면 ITU-T의 H.263, H.261, ISO/IEC의 MPEG-1, MPEG-2 - 으로는 지원할 수 없는 새로운 영상/음향 응용물(application)들을 지원할 수 있도록 개발이 진행되고 있다.

이러한 새로운 기능의 대표적인 예들로는 물체 중심 대화형 기능(object-based interactive functionality) 혹은 물체 중심 조작(object-based manipulation) 등을 들 수 있다. 이러한 새롭고 다양한 기능들을 제공하기 위하여 모양정보의 전송이 요구된다. 모양정보는 영상을 물체 영역과 비물체 영역(배경)으로 구분하는 정보로서, 송수신단에서 전체 영상 대신 물체 영역을 중심으로 하는 신호 처리를 가능하게 하며, 상기한 새로운 기능들을 제공할 수 있다.

일반적인 이진 모양정보는 물체에 속하는 화소와 물체가 아닌 화소에 서로 다른 값을 가지도록 하는 이진 마스크의 형태를 가진다. 예를 들면, 물체에 속하는 화소는 1,물체에 속하지 않는 화소는 0이다. 이러한 모양정보를 이용하여 동영상을 부호화하는 방식을 물체 단위 부호화(object-based video coding)라고 한다.

즉, 분리된 대상물 영상을 배경영상과 별개로 부호화하여 영상정보를 압축할 수 있다. 영상화면에서 부호화하고자 하는 대상물이 있을 경우 모양정보를 갖은 어떤 물체나 어떤 영역의 모양정보를 부호화하는 작업이 필요하다.

이 모양정보 부호화 방법은 컨텍스트 기반 산술부호화(CAE : Context based Arithmetic Encoding)로써, 컨텍스트의 구성의 확률 테이블을 이용하여 산술 부호화하는 것이다.

도1은 일반적인 물체단위 동영상 부호화기(object-based video coder)의 구성을 보이는 블록도이다.

먼저, 각 영상(picture)의 신호는 모양정보(shape information)와 색상정보(texture information)로 나누어져 각각 모양정보 부호화부(shape coding)(11)와 움직임정보 추정부(motion estimation)(12)에 입력된다.

모양정보 부호화부(11)에서는 해당 영상의 모양정보를 손실 부호화(lossy coding) 또는 무손실 부호화(lossless coding)하게 되며, 복원 모양정보(reconstructed shape information)는 움직임 추정부(motion estimation)(12), 움직임 보상부(motion compensation)(13), 그리고 색상정보 부호화부(texture coding)(17)에 입력이 되어 각각의 동작이 물체 단위로 수행되도록 한다.

한편, 모양정보 부호화부(11)의 또 다른 출력인 모양정보 비트열(shape information bitstream)은 다중화부(multiplexer)(18)로 입력이 된다.

움직임 추정부(12)는 현재 프레임의 입력 색상정보와 이전 복원 프레임 저장부(previous reconstructed frame memory)(14)에 저장되어 있는 이전 영상의 색상정보를 이용하여, 현재 영상의 색상정보의 움직임 정보를 추정한다. 추정된 움직임 정보는 움직임 보상부(13)로 입력되고, 아울러 부호화된 움직임 정보는 다중화부(18)로 입력된다.

움직임 보상부(13)는 움직임 추정부(12)에서 구한 움직임 정보와 이전복원 프레임 저장부(14)의 이전 복원 프레임을 이용하여 움직임 보상 예측을 수행한다.

감산기(15)에서는 입력 색상정보와 움직임 보상부(13)에서 구해진 움직임 보상 색상 정보 사이의 오차, 즉 예측 오차(prediction error)를 구한다.

그리고 색상정보 부호화부(17)는 이 예측 오차를 부호화한다. 부호화되어 생성된 색상정보 비트열(texture bitstream)은 다중화부(18)로 입력되고, 복원된 색상정보의 오차 신호는 가산기(16)로 입력된다. 이전복원 프레임 저장부(14)는 움직임 보상 예측 신호와 복원된 오차 신호를 가산기(16)에서 더한 이전 복원 프레임 신호를 저장한다.

한편, 디지털 비디오는 프레임의 구성 방법에 따라 순행 주사 비디오와 격행주사 비디오로 나눌 수 있다.

순행 주사 비디오에서는 각각의 프레임(frame)을 구성할 때 한 줄(line)씩 차례로 구성하며, 한 프레임단위로 영상을 부호화하고 전송하며 디스플레이한다.

반면에, 격행주사 비디오에서는 두 필드(field)를 한 줄씩 차례로 구성한 후, 두 필드를 한 줄씩 끼워 넣는 방식으로 각각의 프레임을 구성한다. 그러므로 각 필드의 높이(줄의 개수)는 프레임 높이의 절반이다.

이를 설명한 예가 도2에 도시된다.

도2(a)는 순행 주사 프레임을, 도2(b)는 두 개의 필드(상위 필드(top field)와 하위 필드(bottom field))와 격행주사 프레임을 보여준다.

상위 필드와 하위 필드는 각각 한 줄씩 차례로 구성되며(상위 필드의 경우 실선 화살표, 하위 필드의 경우 점선 화살표가 각각의 줄을 나타냄), 구성된 각 필드의 줄들을 사이사이에 끼워 넣는 방식으로(실선 화살표와 점선 화살표가 격번으로 섞임) 격행주사 프레임을 구성한다.

상위 필드와 하위 필드를 구성할 경우에는 도2(b)에서와 같이, 두 필드 사이에는 시간차가 존재한다. 도2(b)의 경우에는 상위 필드가 시간적으로 앞선다. 경우에 따라 하위 필드가 시간적으로 앞설 수도 있다. 상위 필드와 하위 필드 사이의 시간차로 인하여, 격행주사 프레임내의 인접한 줄 사이의 신호 특성이 다를 수 있다. 특히 움직임이 많은 영상인 경우 이러한 특성이 두드러진다.

도3은 모양정보 BAB의 움직임 벡터 추정 및 MVPs 결정 방법을 설명하기 위한 도면이다. 도3에서 (a)는 현재 부호화할 모양정보 BAB, 이 BAB의 좌측, 상측, 우상 측의 BAB, 그리고 세 개의 주위 BAB 각각의 움직임 벡터를 도시한 것이다. 그리고 이때의 BAB 크기는 16x16을 가정하여 설명한다. (b)는 현재 부호화할 모양정보 BAB에 해당하는 색상정보 MB, 이 MB의 좌측, 상측, 우상 측의 MB의 블록들, 그리고 주위 블록들 각각의 움직임 벡터를 도시한 것이다. BAB과 마찬가지로 이때의 MB 크기는 16x16을 가정하여 설명한다. 색상정보 MB 주위 블록들의 움직임 벡터, MV1, MV2, MV3은 해당 블록의 움직임 벡터를 나타내며, 만일 해당 MB가 16x16 MB당 한 개의 움직임 벡터를 추정, 보상하는 경우에는 그 블록의 움직임 벡터는 이와 동일하다. 만일 해당 MB가 8x8블록 당 한 개의 움직임 벡터를 추정, 보상하는 경우에는 그 위치 블록의 움직임 벡터를 의미한다.

현재의 모양정보 BAB의 움직임 벡터 MVs는 MVs = MVDs(움직임 벡터 차이값) + MVPs(움직임 벡터 예측치)로 정의한다. 즉, 먼저 MVPs를 결정하고 이를 중심으로 MVDs를 찾는다. 수신단으로 전송하는 정보는 MVDs이다. 수신기는 송신기에서 전송되어온 MVDs와 송신기에서와 같은 방식으로 구한 MVPs를 가지고 MVs를 결정한다. 그러므로 MVPs는 송신기와 수신기에서 동일한 정보를 이용하여 구할 수 있어야하므로, MVPs 결정은 이미 수신기에서 복호화 되어 저장되어 있는 정보들만 이용하여 구해야 한다.

MVPs의 결정방법은 도3의 (a)와 (b)에서와 같이 모양정보 BAB에 대하여 MVs1, MVs2, MVs3, 영상신호 정보 MB에 대하여 MV1, MV2, MV3의 순서대로 해당 움직임 벡터가 존재하는지 확인하여 가장 우선하는 움직임 벡터를 MVPs로 결정한다. 예를 들면, 모양정보의 움직임 벡터가 상측 블록(MVs2)과 우상측 블록(MVs3)에만 존재하는 경우 MVPs는 MVs2로 결정된다.

움직임 벡터의 존재 여부는 다음과 같은 두 가지 경우를 고려하여 결정된다.

첫 번째, 해당 BAB이나 MB가 영상내 모드인 경우에는 움직임 벡터가 없는 경우이다. 영상내 모드에서는 움직임 보상을 수행하지 않기 때문에 움직임 벡터를 수신단에 전송하지 않는다.

두 번째, 해당 BAB이나 MB내에 물체 화소가 전혀 없는 경우를 들 수 있다. 이 경우들에 대해서도 역시 움직임 보상을 수행하지 않으며, 움직임 벡터를 수신단에 전송하지 않는다. 상기한 두 경우의 BAB와 MB에서는 움직임 벡터가 존재하지 않는다.

이와 같은 방법은 현재 MPEG-4 Visual CD(Moving Picture Expert Group_4 Visual Committee Draft)에 기술되어 있는 기존의 방식이다.

도4는 격행주사 영상에 대한 부호화시 보더링을 설명하기 위한 도면이다.

도4(a)에 16×16의 BAB의 가장자리를 나타낸 움직임 보상 이진 모양정보 블록이 도시된다. 도시된 바와 같이 프레임(Frame) 타입 BAB은 16x16의 BAB의 가장자리를 나타낸 움직임 보상 이진 모양 블록(Bordered MC BAB: Motion Compensation Binary Alpha Block)을 포함한다. 굵은선 내부는 부호화하고자 하는 BAB(16x16)을 의미한다. 도4(a)의 필드(Field) 타입 BAB은 8x16의 상위필드와 하위필드로 나누어지고 각각의 8x16의 블록은 상위필드이면 가장자리의 데이터를 상위필드에서 가져오고, 하위필드이면 가장자리의 데이터를 하위필드에서 가져와 구성한다. 그래서 도4(a)의 필드 모드는 움직임 보상 이진 모양 블록(Bordered MC BAB)이 두 필드로 나누어 사용된다.

도4(b)에 16x16의 BAB의 가장자리를 나타낸 현재 이진 모양 블록(Bordered Current BAB: Binary Alpha Block)이 도시된다. 도4(b)의 필드(Field) 타입 블록은 8x16의 상위필드와 하위필드로 나누어지고, 각각의 8x16의 블록이 상위필드이면 가장자리의 데이터를 상위필드에서 가져오고, 하위필드이면 가장자리의 데이터를 하위필드에서 가져와 구성한다. 그래서 도4(b)의 필드 타입 블록은 Bordered Current BAB을 두 필드로 나누어 사용된다. 즉, 도4(b)의 필드 타입 블록은 위쪽 가장자리(Top border)와 왼쪽 가장자리(Left border)만 각각의 필드에서 데이터를 가져와 구성하게 된다.

이와 같은 방법은 현재 MPEG-4 Visual CD에 기술되어 있는 기존의 방식이다.

도5는 일반적인 물체단위 동영상 복호화기의 구성을 보인 블록도이다.

역다중화부(41)에서 출력된 모양정보 비트열, 움직임 정보 비트열, 색상정보 비트열들은 모양정보 복호화부(42)와 움직임 정보 복호화부(43) 및 색상정보 복호화부(47)에 각각 입력되어 대상물 영역을 형성하는 모양 및 움직임과 물체 내부의 색상정보로 각각 복호화 된다. 상기 움직임 정보 복호화부(43)에서 복호화된 신호는 움직임 보상부(44)에 입력되고, 움직임 보상부(44)에서는 이 정보를 이용하여 움직임 보상을 수행한다. 그리고, 대상물영역재현부(45)에서 대상물영역 신호가 재현된다. 그리고 이 재현된 대상물 영역신호는 합성부(46)에 입력되며, 합성부(46)는 복수개의 재현된 물체들의 신호들을 합성하여 원래의 영상을 재현한다.

도6은 BAB의 프레임 단위 구성과 필드 단위의 구성을 비교한 것이다.

흰색라인은 상위필드(Top field)이고, 회색라인은 하위필드(Bottom field)를 나타낸다.

순행주사(Progressive Scanning) 영상의 경우, 프레임 타입 블록단위로 부호화할 때에는 부호화 효율의 저하가 크지 않다. 그러나 격행주사(Interlaced Scanning)일 경우 한 프레임을 두 필드(Field)로 나누어서 전송하기 때문에 BAB 단위로 부호화할 때, 도8(a)에 나타나듯이 프레임 BAB 부호화를 하게되면 모양의 형태가 복잡해져서 부호화 효율이 떨어진다.

도7과 도8에서는 이러한 문제점을 설명하는 예들을 보여준다.

먼저 도7은 이진모양정보가 존재할 경우 움직임이 적은 영상을 도시한 도면이다. (a)는 이진 모양정보를 구성하여 프레임으로 나타낸 것이고, (b)는 필드 단위로 나타낸 것이다.

이러한 영상은 주로 정지영상이나 움직임이 적은 영상일 때 나타난다. 시간상의 변화가 아주 적기 때문에 두 필드간의 영상 모양의 변화가 거의 없다. 이 경우에는 프레임 단위로 모양정보를 부호화하는 것이 유리하다.

도8은 이진모양정보가 존재할 경우 움직임이 많은 영상을 도시한 도면이다. 이진 모양정보를 구성하여 프레임일 때와 필드일 때를 나타내었다. 이러한 영상은 주로 움직임이 비교적 많은 영상일 때 나타난다. 시간상의 변화가 아주 많기 때문에 두 필드간의 영상 모양의 변화가 심하다. 이 경우에는 필드단위로 모양정보를 부호화하는 것이 유리하다. 도8에서 보듯이 필드단위 블록에서는 이진 모양정보 블록의 변화가 심하지 않기 때문이다.

여기서 격행주사(Interlaced)일 경우 한 프레임을 두 필드(Field)로 나누어서 전송하기 때문에 BAB 단위로 부호화할 때, 그림 8(a)의 두 필드간에는 움직임의 크기만큼 영상의 차이가 발생하게 된다. 두 필드간에서 움직임의 크기가 큰 경우에 종래의 프레임 부호화 방법을 이용하면 모양정보 부호화 비트가 많이 발생하는 문제점이 나타나게 된다. 모양정보 부호화 비트가 많아지면 전송할 데이터 량이 많아지므로 결론적으로 압축 효율을 저하시킨다.

또한, 상기한 설명에서 알 수 있듯이, MVPs의 결정은 다음 두 가지 이유에 의해서 중요하다. 먼저, MVPs를 보다 정확히 구해야 MVDs의 크기를 줄일 수 있으며 발생되는 비트량을 줄일 수 있다. 두 번째로는 MVPs를 보다 정확히 구해야 MVs를 정확히 구할 수 있고, 정확한 BAB의 움직임 보상을 통하여 모양정보 비트열의 크기를 줄일 수 있다. 결론적으로 모양정보 부호화시 움직임 벡터를 정확히 추정, 보상을 하려면 MVPs를 정확히 찾아야 되며 이것이 부호화 이득 측면에서 유리하다. 그러나 상기한 종래의 MVPs 결정 방법은 격행주사의 특성을 충분히 반영하지 못하고 있다. 즉, BAB이나 MB가 필드 단위의 움직임 벡터 추정 및 보상, 그리고 부호화를 수행하는 경우에는 상기 종래의 MVPs 결정 방법을 적용할 수 없다.

본 발명은 상기와 같은 종래 격행주사 영상에 대한 모양정보 부호화시 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서,

본 발명의 목적은 격행주사 동영상에 대한 부호화시, 대상물영상의 움직임 정도를 검출하여 그 움직임 량에 따라 프레임 단위 또는 필드단위로 대상물 영상을 부호화하는 격행주사영상에 대한 영상신호 부호화장치 및 방법을 제공하는 것이다.

본 발명의 다른 목적은 동영상을 부호화하기 위한 움직임 추정시에 필드예측 BAB과 프레임 예측 BAB을 구분하여 움직임 벡터를 예측하는 격행주사 영상에 대한 영상신호 부호화장치 및 방법을 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명에 의한 방법은,

이진 모양정보 블록의 움직임 추정치를 이용하여 얻어진 부호화 모드(Encoding type)로 이진 모양정보 블록의 움직임 예측 모드를 결정하고, 그 결정된 움직임 예측 모드가 필드 모드이면 필드타입 블록단위로 움직임 보상을 수행한 후 필드타입 블록단위로 모양정보를 부호화하고, 상기 결정된 움직임 예측 모드가 프레임 모드이면 프레임타입 블록단위로 움직임 보상을 수행한 후 프레임타입 블록단위로 모양정보를 부호화한다.

또한, 이진 모양정보 블록의 움직임 추정치를 이용하여 얻어진 부호화 모드로 이진 모양정보 블록의 움직임 예측 모드를 결정하고, 그 결정된 움직임 예측 모드가 프레임 모드이면 프레임타입 블록단위로 움직임 예측을 수행한 후 프레임타입 블록단위로 모양정보를 부호화하고, 상기 결정된 움직임 예측 모드가 필드 모드이면 프레임타입 블록단위의 움직임 예측과 필드타입 블록단위의 움직임 예측을 모두 수행한 후 움직임 예측 모드를 재결정하고 그 예측 타입에 대한 부가정보를 부호화하고 필드타입 블록단위로 모양정보를 부호화한다.

상기 목적을 달성하기 위한 본 발명에 의한 장치는,

입력되는 이진 모양정보로부터 추정한 모양정보 움직임 정보로 움직임 예측모드를 결정하고, 그 움직임 정보와 이웃하는 모양정보 또는 영상신호의 움직임 정보를 비교하여 모양정보 움직임 벡터 예측치를 결정하고 그 결정한 모양정보 움직임 벡터 예측치와 추정한 상기 모양정보 움직임 정보를 연산하여 움직임 벡터 차이 값을 산출하는 모양정보 움직임 추정수단과; 상기 모양정보 움직임 추정수단에서 얻어지는 움직임 정보로 이진 모양정보 블록의 BAB-타입을 결정하는 모양정보 타입 결정수단과; 상기 이진 모양정보 블록의 움직임 변화량에 따라 모양정보의 부호화 모드를 결정하는 모양정보 부호화 모드 결정수단과; 상기 결정한 움직임 예측 모드에 따라 입력 모양정보의 움직임을 보상하는 모양정보 움직임 보상수단과; 상기 모양정보 부호화 모드 결정수단에서 얻어지는 부호화 모드 정보와 상기 모양정보 타입 결정수단에서 얻어지는 이진 모양정보 블록의 BAB 타입 정보에 따라 필드 블록 타입과 필드 구별에 대한 부가정보를 결정하고 이를 부호화하는 필드 부가정보 결정수단과; 상기 모양정보 부호화 모드 결정수단에서 결정된 부호화 모드 정보에 따라 상기 모양정보 움직임 보상수단에서 움직임이 보상된 이진 모양정보를 프레임 단위 또는 필드 단위로 부호화하는 모양정보 부호화수단으로 이루어진다.

상기에서, 모양정보 부호화수단은, 상기 모양정보 부호화 모드 결정수단에서 얻어지는 부호화 모드 정보가 프레임 모드정보이면 상기 움직임 보상된 이진 모양정보를 프레임 모드로 부호화하는 프레임 부호화수단과, 상기 모양정보 부호화 모드 결정수단에서 얻어지는 부호화 모드 정보가 필드 모드정보이면 상기 움직임 보상된 이진 모양정보를 필드 모드로 부호화하는 필드 부호화수단으로 이루어짐을 특징으로 한다.또한, 모양정보 움직임 추정수단은, 프레임/필드 예측 플래그와 이웃하는 모양정보 BAB의 움직임 정보를 입력받아 현재 BAB에 이웃하는 BAB의 예측 모드가 프레임 예측모드인지 필드 예측모드인지를 판단하는 프레임/필드 예측모드 판단기와, 현재 BAB에 이웃하는 모양정보 BAB의 움직임 벡터를 상기 모양정보 프레임/필드 예측판단기로 출력하는 모양정보 움직임벡터 추출기와, 상기 모양정보 프레임/필드 예측판단기로부터 현재 BAB에 이웃하는 모양정보 BAB이 프레임모드인지 필드모드인지에 대한 정보를 입력받아 모양정보 움직임 벡터 예측치(MVPs)의 순서를 결정하는 모양정보 움직임벡터 예측치 순서결정기와, 상기 모양정보 움직임 벡터 예측치 순서결정기에서 얻어지는 모양정보 움직임 벡터 예측치와 영상 움직임 벡터 예측치 순서 결정기에서 얻어지는 영상 움직임 벡터 예측치로 최종 MVPs를 결정하는 MVPs 최종 결정기와, 상기 MVPs 최종 결정기에서 얻어지는 MVPs와 추정한 모양정보 움직임 정보(MVs)의 차이값으로 움직임 벡터 차이값(MVDs)을 결정하는 MVDs 결정기로 이루어짐을 특징으로 한다.

이하, 상기와 같은 본 발명의 기술적 사상에 따른 실시예를 들어 그 동작 및 작용을 상세히 설명한다.

정지영상이나 움직임이 적은 영상일 때와 움직임이 비교적 많은 영상일 때 즉, 움직임의 정도에 따라 격행주사(Interlaced Scanning)의 부호화 효율이 다르게 나타난다. 그래서 선택적(Adaptive)으로 프레임 BAB과 필드 BAB을 구분하여 부호화함으로써 최적의 부호화 효율을 얻을 수 있게 된다.

도9에 본 발명에 의한 격행주사 영상에 대한 모양정보 부호화 방법을 보이는 순서도가 도시된다.

여기서 모양정보는 전체 영상 단위의 부호화 대신, 이진 모양정보 블록 단위로 부호화를 수행하며, 도9는 이러한 BAB 단위로 부호화를 수행하는 방법을 보이는 순서도이다. 즉, 도9에 도시된 흐름도의 입력은 BAB이며, 한 영상에서는 BAB 개수만큼 도9와 같은 과정을 수행하게 된다.

단계 ST111에서, 참조 영상(reference picture : 이전 프레임)의 모양정보를 이용하여 BAB의 움직임 정보(MVs)를 추정한다. 이때 BAB당 한 개의 움직임 정보를 추정할 수 있고(16x16프레임 움직임 벡터), BAB를 상위필드(top field)와 하위필드(bottom field)로 나누어 2개의 움직임 정보를 필드 단위로 추정할 수도 있다(8x16필드 움직임 벡터). 만약 한 개의 움직임 정보 추정과 두 개의 움직임 정보 추정을 동시에 사용할 경우, 어떤 움직임 정보를 추정하였는지를 나타내는 플래그(필드 추정시는 1, 프레임 추정시는 0)를 수신단에 전송해야 한다.

그리고 추정한 움직임 정보를 이용하여 움직임 예측 모드와 모양정보 움직임 벡터 예측치(MVPs)의 순서를 결정한 후 모양정보 벡터 예측치를 구하고, 영상 움직임 벡터 예측치(MVP : 도1의 움직임 추정부(12)에서 얻어짐)와 상기 모양정보 벡터 예측치의 오차를 비교하여 최종적인 모양정보 움직임 벡터 예측치를 결정한다. 아울러 그 결정한 모양정보 움직임 벡터 예측치와 상기 추정한 모양정보 움직임 벡터(MVs)를 감산하여 그 결과치를 모양정보 움직임 벡터 차이값(MVDs)을 산출하게 된다.

단계 ST112에서, 모양 정보의 부가정보(overhead)인 BAB_type을 결정한다. 상기 BAB_type은 예를 들어, ALL_0, ALL_255, MVDs=0&&No_update, MVDs!=0&&No_update, IntraCAE, MVDs=0&&InterCAE, MVDs!=0&&InterCAE의 7가지로 구분될 수 있다.

여기에서 BAB_type=All_0은 BAB(16x16)안에 전송할 영상정보(화소)가 존재하지 않는 블록을 나타내며, BAB_type=All_255는 BAB(16x16)안에 전송할 영상정보(화소)가 256개 존재하는 블록을 나타내며, MVDs=0&&No_update는 전송해야 할 움직임 정보가 없고 예측 오차 정보를 전송하지 않는 경우, 즉 보내고자 하는 오차정보가 발생하지 않는 블록을 나타내며, MVDs!=0&&No_update는 전송해야 할 움직임 정보가 있고, 예측오차 정보를 전송하지 않는 블록을 나타내고, Intra CAE(영상내 CAE)는 이전 프레임의 참조 모양정보(Reference shape information)를 참조하지 않고 BAB 자체 신호를 CAE하는 것을 말한다. 그리고 MVDs=0&&InterCAE(영상간 CAE)는 전송해야 할 움직임 정보가 없고 참조 모양정보를 이용하여 CAE 부호화를 해야하는 경우, 즉 현재의 BAB와 움직임 보상된 이전 BAB의 오차를 CAE하는 BAB를 나타낸다. 또한 MVDs!=0&&InterCAE는 전송해야 할 움직임 정보가 있고 참조 모양정보를 이용하여 CAE 부호화를 해야하는 BAB을 나타낸다.

단계 ST113에서, BAB가 부호화할 필요가 없는 BAB_type(All_0, All_255, MVDs==0&&No_update)인지를 판단한다. 이 부호화할 필요가 없는 세 가지의 경우 단계 ST114에서 BAB_type을 부호화하고 BAB에 대한 부호화 과정을 종료한다.

BAB_type이 부호화할 필요가 없는 위의 세 가지가 아닌 경우 단계 ST115에서, 선택적인 격행주사 모양정보 부호화를 수행하기 위해 필드 타입 모양정보 부호화와 프레임타입 모양정보 부호화중 어느 것이 효과적인 압축 부호화인가를 결정한다. 즉, 부호화 모드를 결정한다. 부호화 모드의 결정은 움직임 변화량에 따라 결정된다. BAB내의 움직임이 많고 적고 하는 판단은 하기 수식(1)을 이용하여 결정한다.

여기서, 물체가 존재하는 화소를 1로 정하고, 물체가 존재하지 않는 화소를 0이라고 정한다.

그리고, i는 BAB내에서의 수직방향의 위치, j는 BAB내에서의 수평방향의 위치를 나타내고, P(i, j)는 BAB 내에서의 (i, j)위치의 픽셀 값이다. 만약 P(i, j)=0이면, 해당 위치의 화소는 배경에 속하는 화소를 나타내며, P(i, j)=1이면 물체에 속하는 화소를 나타낸다. 한편, 상기 식에서는 BAB의 크기가 16x16일 때에 적용되며, BAB가 다른 크기일 경우에는 적절한 방법으로 변경할 수 있다.

상기 수식(1)의 좌변식은 짝수 주사선(상위 필드) 픽셀 값과 홀수 주사선(하위필드) 픽셀 값의 차이를 각 픽셀에 대하여 산출하고, 그 값을 누적 덧셈한 값이다. 우변식은 짝수 주사선 픽셀 값과 다음 짝수 주사선 픽셀 값의 차이 그리고 홀수 주사선 픽셀 값과 다음 홀수 주사선 픽셀 값의 차이를 각 픽셀에 대하여 산출하고, 그 값을 누적 덧셈한 값이다.

움직임이 많을 때는 홀수 주사선과 짝수 주사선은 시간적으로 차이가 생겨 그 차이가 커지기 때문에 좌변식의 값이 커짐에 반하여, 우변식의 값은 홀수 주사선과 홀수 주사선, 짝수 주사선과 짝수 주사선끼리 그 차이를 구하는 것이므로 시간적 차이가 없어서 움직임이 있더라도 그다지 커지지 않는다.

따라서, 움직임이 많을 때는 좌변식의 값이 우변식의 값보다 커지게 된다. 움직임이 적을 때는 반대로 좌변식의 값이 우변식의 값보다 적게 된다.

그래서 단계 ST115에서 상기 원리에 근거하여 좌변 값이 크면 필드 모드 부호화로 결정하고, 우변 값이 크면 프레임 모드 부호화로 결정한다.

다음 단계 ST116에서는 상기 결정된 모양정보 부호화 모드에 따라 입력되는 이진 모양정보 블록의 움직임을 보상한다.

여기서 부호화 모드와 예측모드를 동일하게 결정함으로써 BAB당 부가정보의 개수를 줄일 수 있다. 별도의 예측모드 결정을 사용하여 부호화 모드와 예측 모드를 각각 부호화하면 부가정보가 증가하는 만큼 부호화 이득이 발생하지 않는다. 색상정보에서는 색상정보 움직임 추정을 필드별로 정확히 하는 것이 부호화 량을 많이 줄일 수 있다. 그러므로 색상정보 움직임 예측모드를 부호화 모드정보와 별도로 구분하여 보냄으로써 부호화 이득이 향상된다. 그러나 모양정보 BAB는 색상정보 MB에 비해 정보 발생량이 상당히 적다. 즉, 모양정보 부호화에서 부가 정보량이 많이 발생하면 오히려 손해이다.

한편, 단계 ST117에서 부호화 모드가 필드 모드이고 BAB_type이 MVDs!=0&&No_Update이면 One_Field_No_Update로 선택되며, 이러한 경우에는 일차적으로 BAB_type_field를 결정한다. 이것은 한 필드는 No_update이고 다른 한 필드에 대한 필드 BAB 타입 정보이다. 이 변수의 종류는 3가지로 구분되고 No_update, IntraCAE, InterCAE이다. 부호화할 필드가 상위 필드인지 하위 필드인지를 결정한다. 그리고 그 결정된 필드의 구별 정보를 부호화하여 수신단(복호기)으로 전송해주고, 상위 또는 하위 필드를 부호화한다. 그리고 부호화된 이진 모양정보를 수신기(복호기)로 전송해주어 해당 BAB의 모양정보 부호화를 종료한다(단계ST118 ~ 단계ST120). 이 방법은 두 가지 부가정보가 추가되는 반면에 한 필드라도 No_update이면 CAE부호화를 하지 않으므로 부호화 이득이 있고 결국 부호화 효율이 비슷해도 CAE부호화를 한 필드에서 수행하지 않는 부호화 복잡도 이득이 있다.

그리고 단계 ST121에서, 전술한 수식(1)을 이용하여 부호화 모드를 결정하고, 이 결정에서 프레임 모드가 선택되면 16x16 BAB 단위로 부호화를 한 후(ST124), 부호화 비트수가 적은 쪽으로 IntraCAE 또는 MVDs!=0&&No_Update 또는 MVDs==0&&InterCAE 또는 MVDs!=0&&InterCAE 인가를 결정하여 BAB_type을 결정한다.

BAB_type을 모양정보 CAE부호화에서 7가지 종류로 정의하고 부호화 전송순서에서 맨 처음 전송한다. 이 중 2가지는 시작단계에서 결정되고 2가지는 움직임 추정이 끝난 후에 결정된다. 나머지 3가지는 CAE 부호화가 끝난 후에 결정된다. 즉, BAB_type전송은 BAB의 부호화가 끝난 후 BAB_type이 전송되는 것이다.

또한, 상기 부호화 모드 결정 단계(ST123)에서 필드 모드가 선택되면 16x16 BAB가 두개의 8x16 블록(이하, 필드 BAB라 칭한다)으로 나누게 되는데, 두 8x16 필드 BAB에 대하여 동일한 BAB_type을 적용하여 부호화를 한 후(ST125), 부호화 비트수가 적은 쪽으로 IntraCAE 또는 MVDs!=0&&No_Update 또는 MVDs==0&&InterCAE 또는 MVDs!=0&&InterCAE 인가를 결정하여 BAB_type을 결정한다.

여기에서 부호화 모드가 필드 모드이면 필드타입 블록 단위로 움직임 예측을 수행하고, 모양정보 부호화도 필드타입 블록단위로 수행한다.

또한, 상기 부호화 모드가 프레임 모드이면 프레임 타입 블록단위로 움직임 예측을 수행한 후 모양정보를 프레임타입 블록단위로 부호화한다.

이 때 모양정보의 다른 부호화 방법으로, 부호화 모드가 프레임 모드이면 프레임 예측과 프레임 단위의 부호화를 수행하고, 부호화 모드가 필드 모드일 경우 프레임 예측과 필드예측을 모두 수행한 후 부호화 비트가 적은 쪽을 결정하고, 그 결정된 움직임 예측 모드(예측방향)에 대한 부가정보를 복호기로 전송하고, 필드 단위의 부호화를 수행한다.

또한, 모양정보의 또 다른 부호화 방법으로, 필드단위의 움직임 추정과 프레임 단위의 움직임 추정을 초기에 다 수행하고, 그 움직임 벡터를 부호화 모드의 결정에 따라 선택적으로 적용하여 움직임 예측을 한 후 모양정보를 부호화하는 방법이 있을 수 있고, 다른 방법으로 부호화 모드가 필드모드로 선택되었을 경우에 만 필드타입 블록단위의 움직임 추정을 수행하여 그 움직임 벡터를 사용하여 움직임 예측을 하고 모양정보를 부호화하는 방법도 있을 수 있다.

이때에도 부호화 모드를 미리 결정하는 수식(1)에 의해 필드 모드인지 프레임 모드인지 결정하는 방법이 존재할 수 있으며, 다른 방법으로 필드모드의 경우로 모두 부호화하고 프레임 모드로 모두 부호화하여 부호화 비트가 적게 발생하는 쪽으로 부호화 모드를 결정하는 방법도 고려할 수 있다.

앞서 설명한 내용은 가로방향으로 모양정보 부호화하는 것에 대해서만 나타나 있다. 그러나 실제 모양정보를 부호화할 때에 가로방향과 세로방향 둘 다 부호화를 해서 부호화 비트가 적은 쪽으로 모양정보 부호화를 하고, 이를 부가정보로 하여 방향정보를 복호기 측에 전송한다. 세로 방향으로 모양정보를 부호화하는 방법은 BAB를 90도 천이 시킨 후 가로방향의 모양정보 부호화방법과 동일한 방법으로 모양정보를 부호화한다.

도10에 본 발명에 의한 격행주사 영상에 대한 모양정보 부호화 장치의 구성도가 도시된다.

도시된 바와 같이, 입력되는 BAB으로부터 움직임 벡터(MVs)를 추정하고 움직임 예측모드와 움직임 벡터 예측치를 산출한 후 그 산출한 움직임 벡터 예측치와 추정한 움직임 벡터를 연산하여 모양정보 움직임 벡터 차이 값을 산출하는 모양정보 움직임 추정부(100)와, 상기 모양정보 움직임 추정부(100)에서 얻어지는 정보를 이용하여 이진 모양정보 블록의 타입을 결정하는 모양정보 타입 결정부(101)와, 상기 모양정보 타입 결정부(101)에서 얻어지는 이진 모양정보 타입 정보에 따라 모양정보의 부호화 모드를 결정하는 모양정보 부호화 모드 결정부(102)와, 상기 모양정보 부호화 모드 결정부(102)에서 얻어지는 모양정보 부호화 모드를 나타내는 플래그에 따라 입력되는 이진 모양정보 블록의 움직임을 보상하는 모양정보 움직임 보상부(103)와, 상기 모양정보 부호화 모드 결정부(102)에서 얻어지는 부호화 모드 정보와 상기 모양정보 타입 결정부(101)에서 얻어지는 이진 모양정보 블록의 타입 정보에 따라 필드 단위의 부호화시 필드 구별에 대한 부가정보를 결정해주는 필드 부가정보 결정부(104)와, 상기 모양정보 부호화 모드 결정부(102)에서 결정된 부호화 모드 정보에 따라 상기 보상된 이진 모양정보를 프레임 단위 또는 필드 단위로 부호화하는 모양정보 부호화부(105)로 구성된다.

먼저, 모양정보 움직임 추정부(100)는 이전 프레임의 참조 영상(reference picture)의 모양정보를 이용하여 BAB의 움직임 정보를 추정한다. 이때 BAB당 한 개의 움직임 정보를 추정할 수 있고(16x16프레임 움직임 벡터), BAB를 상위필드(top field)와 하위필드(bottom field)로 나누어 2개의 움직임 정보를 필드타입 블록단위로 추정할 수도 있다(8x16필드 움직임 벡터). 만약 한 개의 움직임 정보 추정과 두 개의 움직임 정보 추정을 동시에 사용할 경우, 어떤 움직임 정보를 추정하였는지를 나타내는 플래그(필드 추정시는 1, 프레임 추정시는 0)를 수신단에 전송해야 한다.

도11의 MVPs 결정 과정은 상기 모양정보 움직임 추정부(100)의 일부분이다.

도11에서, 참조부호 120은 상기 모양정보 움직임 추정부(100)의 일부를 구성하며, 이는 부호화 모드 결정부(102)에서 얻어지는 프레임/필드 예측 플래그와 이웃하는 모양정보 BAB의 움직임 벡터를 입력받아 현재 BAB에 이웃하는 BAB의 예측 모드가 프레임 예측모드인지 필드 예측모드인지를 판단하는 프레임/필드 예측모드 판단기(121)와, 현재 BAB에 이웃하는 모양정보 BAB의 움직임 벡터를 상기 모양정보 프레임/필드 예측판단기(121)로 출력하는 이웃 모양정보 움직임벡터 저장기(122)와, 상기 모양정보 프레임/필드 예측모드 판단기(121)로부터 현재 BAB에 이웃하는 모양정보 BAB이 프레임모드인지 필드모드인지에 대한 정보를 입력받아 모양 움직임 벡터의 순서를 결정하는 모양정보 움직임벡터 순서 결정기(123), 상기 모양정보 움직임 벡터 예측치 순서결정기(123)에서 얻어지는 모양정보 움직임 벡터 예측치와 영상 움직임 벡터 예측치 순서 결정기(21)에서 얻어지는 영상 움직임 벡터 예측치로 최종 MVPs를 결정하는 모양정보 움직임 벡터 예측치(MVPs) 최종 결정기(124)와, 상기 MVPs 최종 결정기(124)에서 얻어지는 MVPs와 추정한 모양정보 움직임 정보(MVs)의 차이 값으로 움직임 벡터 차이값(MVDs)을 결정하는 모양정보 움직임 벡터 차이값(MVDs) 결정기(125)로 구성된다.

도11에서 영상신호 움직임 벡터 추출기(19)의 정보는 도1에서 움직임 추정부(12)에서 입력되며, 영상신호 프레임/필드 예측 판단기(20) 및 영상 움직임 벡터 순서 결정기(21)는 도1에서 움직임 보상부(13)의 내부 구성의 일부분이며, 실제적으로 본 발명에서는 이러한 영상신호 움직임 벡터가 모양정보 부호화부(11)에 전달되어지며, 도1에서 이러한 신호 전송 경로는 나타내지 않았다.

즉, 모양정보 움직임 추정부(100)내의 모양정보 프레임/필드 예측 판단기(121)는 프레임/필드 움직임 예측 모드와 이웃하는 모양정보의 움직임 벡터를 입력받아 현재 BAB에 이웃하는 모양정보 BAB이 프레임 타입인지 필드 타입인지를 판단한다. 이웃 모양정보 움직임벡터 저장기(122)는 이미 저장된 현재 BAB에 이웃하는 모양정보 BAB의 움직임 벡터(MVs1,MVs2,MVs3)를 상기 모양정보 프레임/필드 예측판단기(121)로 출력한다. 모양정보 움직임벡터 순서 결정기(123)는 상기 모양정보 프레임/필드 예측 판단기(121)로부터 현재 BAB에 이웃하는 모양정보 BAB이 프레임 타입인지 필드 타입인지에 대한 정보를 입력받아 모양 움직임 벡터(MVs1,MVs2,MVs3)의 순서를 결정한다.

참고적으로, 영상신호 프레임/필드 예측 판단기(20)는 프레임/필드 예측플래그와 이웃하는 영상신호 매크로 블록의 움직임 벡터를 입력받아 현재 MB에 이웃하는 영상신호 MB가 프레임타입인지 필드타입인지를 판단한다. 영상신호 움직임벡터 추출기(19)는 현재 MB에 이웃하는 영상신호 MB의 움직임 벡터(MV1,MV2,MV3)를 상기 영상신호 프레임/필드 예측 판단기(20)로 출력한다. 영상정보 움직임벡터 순서 결정기(21)는 상기 영상신호 프레임/필드 예측 판단기(20)로부터 현재 MB에 이웃하는 영상신호 MB가 프레임 타입인지 필드 타입인지에 대한 정보를 입력받아 영상 움직임 벡터(MV1,MV2,MV3)의 순서를 결정한다.

아울러 모양정보 움직임 벡터 예측치 결정기(124)는 상기 모양정보 움직임 벡터 예측치 순서 결정기(123)에서 얻어지는 모양정보 움직임 벡터 예측치와 상기 영상 움직임 벡터 순서 결정기(21)에서 얻어지는 영상 움직임 벡터 예측치에 따라 모양정보 움직임 벡터 예측치를 최종적으로 결정한다. 즉, 이웃하는 모양 정보 움직임 벡터를 우선 순위 별로 존재 여부를 판단하여 결정하면 그 값을 모양 정보 움직임 벡터 예측치(MVPs)로 결정하고, 이웃하는 모양 정보 움직임 벡터가 모두 존재하지 않을 때 이웃하는 영상 신호의 움직임 벡터를 우선순위별로 존재 여부를 판단하여 그 값을 모양 정보 움직임 벡터 예측치(MVPs)로 결정한다.

아울러 모양정보 움직임 벡터 차이값(MVDs) 결정기(125)는 상기 모양정보 움직임 벡터 예측치 최종 결정기(124)에서 얻어지는 모양정보 움직임 벡터 예측치(MVPs)와 상기에서 추정한 움직임 벡터(MVs)를 기존과 같이 연산하여 모양정보 움직임 벡터 차이값(MVDs)을 산출하며, 이를 모양정보 타입 결정부(101) 및 모양정보 움직임 보상부(103)에 각각 전달해준다.

격행주사 모양정보 부호화(Interlaced shape coding)에서는 모양정보의 움직임 벡터(MVs)를 16x16 한 개의 벡터를 전송하는 것과 8x16 두개의 움직임 벡터를 전송하는 방법이 둘 다 가능하다. 이를 어떤 것으로 결정하느냐는 움직임 추정에서 사용하는 SAD(Sum Absolute Difference)가 작은 값으로 선택한다. 여기에서 16x16 한 개의 움직임 벡터를 보내는 BAB을 프레임 예측 이진 모양정보 블록(Frame predicted shape BAB)이라고 하고, 8x16 두개의 움직임 벡터를 전송하는 BAB을 필드 예측 이진 모양정보 블록(Field predicted shape BAB)이라고 한다.

현재의 모양정보 BAB이 프레임 혹은 필드 예측 BAB 인가, 인접하는 모양정보 BAB및 영상신호 MB가 프레임 혹은 필드 예측 MB인가의 여부에 따라 여러 가지 움직임 벡터 예측치(MVPs) 결정방법이 필요하게 된다.

기본적인 구상은 현재 모양정보 BAB이 프레임 예측 BAB이면 인접하는 모양정보 BAB중 프레임 예측 BAB인 것을 우선으로 하고, 영상신호 MB중 역시 프레임 예측 MB인 것을 우선으로 한다. 이 때 모양정보 BAB의 움직임 벡터들은 영상신호(texture) MB의 움직임 벡터 보다 우선하게 된다.

현재 모양정보 BAB가 필드 예측 BAB일 경우 유사한 규칙을 적용한다. 즉 모양정보 BAB중 필드 예측 BAB인 것을 우선으로 하고 영상신호 MB중 필드 예측 MB인 것을 우선으로 한다. 역시 이 때도 모양정보 BAB의 움직임 벡터들은 영상신호 MB의 움직임 벡터보다 우선한다.

도12,도13,도14,도15에 격행주사 모양정보 부호화(Interlace shape coding)에서 현재의 모양정보 BAB이 필드 예측 BAB이고 이웃하는 BAB이 프레임 예측 BAB인 경우를 도시한다.

도시된 바와 같이, 각 도의 (a)는 모양정보 움직임 벡터를 보이고, (b)는 영상신호의 움직임 벡터를 보인다. 현재의 모양정보 BAB이 8x16 두개의 움직임 벡터를 갖은 필드 예측 BAB이고 이웃하는 BAB 3개(MVs1,MVs2,MVs3)는 16x16 한 개의 움직임 벡터를 갖은 프레임 예측 BAB인 경우(Case1)이다. 이웃하는 모양정보 움직임 벡터(MVs1,MVs2,MVs3)는 모두 프레임 예측 BAB이고 영상신호 움직임 벡터(MV1,MV2,MV3)에서 하나 이상 필드 예측 MB가 있으면 모양정보 움직임 벡터의 순서는 그대로 두고 영상신호 MB 움직임 벡터의 순서는 그 필드 예측 영상신호 MB의 움직임 벡터가 프레임 예측 영상신호 MB의 움직임 벡터보다 우선하게 한다.

이때 움직임 벡터 예측치(MVPs)를 구하는 순서는 도12일 경우에는 MVs1,MVs2,MVs3,MV1,MV2,MV3로써 변동이 없다. 그러나 영상신호(texture)의 움직임 벡터는 도13인 경우 현재 모양정보 BAB의 제1필드 움직임 벡터(MVsf1)의 MVPs를 구할 때 순서는 MVs1,MVs2,MVs3,MV1_f1,MV2,MV3이고, 현재 모양정보 BAB의 제2필드 움직임 벡터(MVs_f2)의 MVPs를 구할 때 순서는 MVs1,MVs2,MVs3,MV1_f2,MV2,MV3이다. 이 때 MV1_f1과 MV1_f2를 합하여 2로 나누고 정수값으로 조정 한 값(Div2Adj(MV1_f1+MV1_f2))으로 MVPs를 구하는 순서의 MV1_f1과 MV1_f2를 대치할 수 있다.

여기에서 (Div2Adj(MV1_f1+MV1_f2))를 구하는 방법으로 여러 가지를 생각할 수 있다. MV1_f1과 MV1_f2를 합하여 2로 나누고 정수값으로 올림 한 값, MV1_f1과 MV1_f2를 합하여 2로 나누고 정수값으로 버림 한 값, MV1_f1과 MV1_f2를 합하여 2로 나누고 정수값으로 주변 값을 가지고 어떤 계산에 의해 선택적인 올림/버림 한 값, 또 Div2Adj(MV2_f1+MV2f2)를 MPEG-4 Visual CD(Committee Draft)에서 영상신호(texture) 움직임을 추정할 때 사용되는 Div2Round(MV2_f1+MV2_f2)로 대치하여 사용할 수도 있다.

도14인 경우 MVs_f1의 MVPs를 구할 때 순서는 MVs1,MVs2,MVs3,MV2_f1,MV1,MV3이고 MVs_f2의 MVPs를 구할 때 순서는 MVs1,MVs2,MVs3,MV2_f2,MV1,MV3이다. 이 때 Div2Adj(MV2_f1+ MV2_f2)으로 MVPs를 구하는 순서의 MV2_f1과 MV2_f2를 대치할 수 있다.

여기에서 순서가 바뀐 이유는 현재 모양정보 BAB(Current shape BAB)이 필드 예측 BAB이므로 MVPs 값을 결정하는 원래의 순서인 MVs1,MVs2,MVs3,MV1,MV2_f1,MV3 가 아니고 MVs1,MVs2,MVs3, MV2_f1,MV1,MV3으로 필드 예측 영상신호 MB의 움직임 벡터가 우선한다.

도15인 경우 MVs_f1의 MVPs를 구할 때 순서는 MVs1,MVs2,MVs3,MV3_f1,MV1,MV2이고, MVs_f2의 MVPs를 구할 때 순서는 MVs1,MVs2,MVs3,MV3_f2,MV1,MV2이다. 또 다른 방법으로 (Div2Adj(MV3_f1+MV3_f2))로 MVPs를 구하는 순서에서 필드 벡터(MV3_f1,MV3_f2)를 대치할 수 있다. 인접하는 거리가 멀고 Div2Adj(x)의 값이 필드 예측 BAB에서 프레임 예측 BAB의 개념으로 전환되므로 BAB에서 2개의 벡터를 한 개의 벡터로 만들었으므로 Div2Adj(MV3_f1+ MV3_f2)는 MVs1이나 MVs2의 다음순서에 배치할 수도 있다.

도16,도17,도18,도19,도20에 격행주사 모양정보 부호화에서 현재의 모양정보 BAB이 프레임 예측 BAB이고,이웃하는 BAB중 1개 이상이 필드 예측 BAB인 경우를 표시한다.

(a)는 모양정보의 움직임 벡터이고, (b)는 영상신호의 움직임 벡터이다. 현재의 모양정보 BAB이 16x16 한 개의 움직임 벡터를 갖은 프레임 예측 BAB이고, 이웃하는 BAB 3개(MVs1,MVs2,MVs3)중 1개 이상이 8x16 두개의 움직임 벡터를 갖은 필드 예측 BAB인 경우(Case2)이다. 이웃하는 모양정보 움직임 벡터(MVs1,MVs2,MVs3)에서 하나 이상 필드 예측 BAB가 존재하면, 이웃하는 프레임 예측 모양정보 BAB의 움직임 벡터가 이웃하는 필드 예측 모양정보 BAB의 움직임 벡터 (Div2Adj(MVsi_f1+MVsi_f2))보다 우선한다. 그러나 (Div2Adj(MVsi_f1+MVsi_f2))로 MVPs를 구하는 순서를 결정하는 과정에서 Div2Adj(MVsi_f1+MVsi_f2)의 값이 2개의 움직임 벡터를 갖은 필드 예측 BAB에서 한 개의 움직임 벡터를 갖은 프레임 예측 BAB의 개념으로 전환되었으므로 프레임 예측 BAB으로 간주하여 순서를 정하는 방법도 있을 수 있다.

도16인 경우 MVs의 MVPs를 구할 때 순서는 MVs1, Div2Adj(MVs2_f1+MVs2_f2), MVs3, MV1, MV2, MV3이다.

도17인 경우 MVs의 MVPs를 구할 때 순서는 MVs1, Div2Adj(MVs2_f1+MVs2_f2), MVs3, MV2, Div2Adj(MV1_f1+MV1_f2),MV3이다.

도18인 경우 MVs의 MVPs를 구할 때 순서는 MVs1, Div2Adj(MVs2_f1+MVs2_f1), MVs3, MV1, Div2Adj(MV2_f1+MV2_f1), MV3이다.

도19인 경우 MVs의 MVPs를 구할 때 순서는 MVs2, Div2Adj(MVs1_f1+MVs1_f2), MVs3, MV2, Div2Adj(MV1_f1+MV1_f2), MV3이다.

도20의 경우, MVs의 MVPs를 구할 때 순서는 Div2Adj(MVs1_f1+ MVs1_f2), MVs2, MVs3, Div2Adj(MV2_f1+ MV2_f2), MV1, MV3 이다.

도21, 도22를 설명하면, (a)은 모양정보 움직임 벡터의 그림이다. (b)는 영상 정보 움직임 벡터의 그림이다. 현재의 모양정보 BAB이 8x16 두개의 움직임 벡터를 갖은 필드 예측 BAB이고 이웃하는 BAB 3개(MVs1,MVs2,MVs3)중 1개 이상이 8x16 두개의 움직임 벡터를 갖은 필드 예측 BAB인 경우(Case3)이다.

이웃하는 모양정보 움직임 벡터(MVs1,MVs2,MVs3)에서 하나 이상 필드 예측 BAB가 존재하고 영상신호 움직임 벡터(MV1,MV2,MV3)에서 하나 이상 필드 예측 MB가 있으면 그 필드 예측 MB의 움직임 벡터가 프레임 예측MB의 움직임 벡터보다 우선한다.

도21의 경우 MVsf1의 MVPs를 구할 때 순서는 MVs2_f1, MVs1, MVs3, MV1_f1, MV2, MV3이고, MVs_f2의 MVPs를 구할 때 순서는 MVs2_f22, MVs1, MVs3, MV1_f2, MV2, MV3 이다. 이 때 Div2Adj(MVs2_f1+ MVs2_f2)으로 MVPs를 구하는 순서의 MVs2_f1과 MVs2_f2를 대치할 수 있다. 또 MV1_f1과 MV1_f2 경우도 마찬가지다.

도22의 경우 MVs_f1의 MVPs를 구할 때 순서는 MVs3_f1, MVs1, MVs2, MV3_f1, MV1, MV2이고, MVs_f2의 MVPs를 구할 때 순서는 MVs3_f2, MVs1, MVs2, MV3_f2, MV1, MV2 이다. 그러나 (Div2Adj(MVsi_f1+MVsi_f2))로 MVPs를 구하는 순서를 결정하는 과정에서 Div2Adj(MVsi_f1+MVsi_f2)의 값이 2개의 움직임 벡터를 갖은 필드 예측 BAB에서 한 개의 움직임 벡터를 갖은 프레임 예측 BAB의 개념으로 전환되었으므로 프레임 예측 BAB로 간주하여 순서를 정하는 방법도 있을 수 있다.

앞에서 정의한 모든 방법에서 현재 BAB가 필드 예측 BAB이고 MVs3이 필드 예측 BAB일 경우, 필드 움직임 벡터(MVs3_f1, MVs3_f2)를 그대로 MVPs로 결정할 때는 모양정보 움직임 벡터(MVs1,MVs2,MVs3)중 최우선 순위이지만, 두개의 필드 움직임 벡터를 한 개의 움직임 벡터(Div2Adj(MVs3_f1+MVs3_f2))로 변환하였을 때는 MVPs로 결정할 때 프레임 예측 BAB로 간주하여 모양정보 움직임 벡터(MVs1,MVs2,MVs3)중 마지막 순위로 둘 수 있다. 영상신호 움직임 벡터(MV3)에 대해서도 모양정보 움직임 벡터(MVs3)와 마찬가지의 방법이 적용된다.

다음으로, 이진 모양정보 타입 결정부(101)는 상기와 같이 모양정보 움직임 추정부(100)에서 얻어지는 움직임 정보를 이용하여 모양정보의 부가 정보(overhead)인 BAB_type을 결정하게 되며, 이렇게 결정된 BAB_type 정보는 부호화되어 복호기로 전송되어야 한다. 상기 BAB_type은 주지한 바와 같이, ALL_0, ALL_255, MVDs=0&&No_update, MVDs!=0&&No_update, IntraCAE, MVDs=0&&InterCAE, MVDs!=0&&InterCAE의 7가지로 구분될 수 있다.

한편, 이진모양 정보 블록(BAB)이 부호화할 필요가 없는 상기 3가지의 BAB_type(ALL_0, ALL_255, MVDs=0&&No_update)이 아닌 경우에는, 격행주사 모양정보 부호화를 수행하기 위해 필드 모드 모양정보 부호화와 프레임 모드 모양정보 부호화중 어느 것이 효과적인 압축 부호화인가를 부호화 모드 결정부(102)에서 결정한다.

여기서 부호화 모드 결정은 모양정보의 움직임 량에 따라 결정되며, BAB내의 움직임이 많고 적고하는 판단은 상기 수식(1)을 이용하여 결정한다.

이 결정에서 필드 모드 부호화로 결정된 경우, 필드 부가정보 결정부(104)는 필드 구별에 대한 부가정보를 결정하게 되며, 이러한 필드 구별에 대한 부가정보는 부호화되어 복호기 측에 전송되어야 한다. 여기에서 결정되는 BAB_type_field는 한 필드는 No_update인데, 또 다른 한 필드에 대한 type 정보로서 IntraCAE와 InterCAE와 No_update 3가지의 경우가 있다. 그리고 top_or_bottom의 정보는 BAB_type_field의 해당 필드를 지칭하는 정보이다. 그리고 한 필드의 BAB_data가 부호화되어 출력된다.

아울러 모양정보 움직임 보상부(103)는, 부호화 모드 결정부(102)에서 얻어지는 부호화 모드 플래그에 따라 입력 모양정보의 움직임을 보상하고, 그 보상된 이진 모양정보를 모양정보 부호화부(105)에 전달해준다.

그리고 상기 부호화 모드 결정에서,결정된 부호화 모드에 따라 모양정보 부호화부(105)는 해당 부호화를 수행한다.

여기서,상기 모양정보 부호화부(105)는,상기 모양정보 부호화 모드 결정부(102)에서 얻어지는 부호화 모드 정보가 프레임 모드 정보이면 상기 보상된 이진 모양정보(BAB)를 프레임 모드로 부호화하는 프레임 부호화부(105a)와,상기 모양정보 부호화 모드 결정부(102)에서 얻어지는 부호화 모드 정보가 필드 모드정보이면 상기 보상된 이진 모양정보를 필드 모드로 부호화하는 필드 부호화부(105b)로 구성된다.

이러한 구성을 갖는 모양정보 부호화부(105)는,상기 부호화 모드 결정부(102)에서 결정된 부호화 모드가 프레임 모드이면,모양정보 부호화부(105)내의 프레임 부호화부(105a)에서 모양정보를 프레임 BAB 단위(16x16)로 CAE 부호화한다.

또한,상기 부호화 모드 결정에서,필드 모드 부호화로 결정된 경우에는, 모양정보 부호화부(105)내의 필드 부호화부(105b)에서, BAB를 상위필드와 하위필드의 필드타입 BAB(8x16)으로 나누고 그 각각의 필드타입 BAB을 CAE 부호화한다.

도23은 본 발명에 의한 격행주사를 위한 모양정보 부호화장치의 다른 실시예를 보인 구성도이다.

도시된 바와 같이,입력되는 이진 모양정보로부터 BAB 단위로 움직임 벡터를 추정하는 모양정보 움직임 추정부(131)와,상기 모양정보 움직임 추정부(131)에서 얻어지는 정보로 이진 모양정보 블록의 타입을 결정하는 모양정보 타입 결정부(132)와,상기 모양정보 타입 결정부(132)에서 얻어지는 모양정보 타입 정보에 따라 모양정보의 부호화 모드를 결정하는 모양정보 부호화 모드 결정부(133)와,상기 모양정보 부호화 모드 결정부(133)에서 얻어지는 부호화 모드에 따라 상기 모양정보 움직임을 보상해주는 모양정보 움직임 보상부(138)와,상기 모양정보 부호화 모드 결정부(133)에서 얻어지는 부호화 모드 정보와 상기 모양정보 타입 결정부(132)에서 얻어지는 이진 모양정보 블록의 타입 정보에 따라 필드 단위의 부호화시 필드 구별에 대한 부가정보를 결정해주는 필드 부가정보 결정부(134)와,상기 모양정보 부호화 모드 결정부(133)에서 얻어지는 부호화 모드 정보가 프레임 모드정보이면 상기 보상된 이진 모양정보를 프레임 단위로 부호화하는 프레임 부호화부(135)와, 상기 모양정보 부호화 모드 결정부(133)에서 얻어지는 부호화 모드 정보가 필드 모드정보이면 상기 이진 모양정보로부터 필드 단위로 움직임 벡터를 추정하는 필드단위 움직임 추정부(136)와, 상기 필드단위 움직임 추정부(136)에서 얻어지는 움직임 정보에 따라 상기 보상된 모양정보를 필드 단위로 부호화하는 필드 부호화부(137)로 이루어진다.

이러한 구성으로 이루어지는 본 발명에 의한 모양정보 부호화장치의 다른 실시예는, 부호화 모드가 프레임으로 결정된 경우 모양정보 움직임 추정부(131)에서 이전 참조 영상으로부터 16x16 BAB단위로 움직임 벡터를 추정한다. 그리고 모양정보 움직임 벡터 예측치 순서를 결정하게 되며, 최종적으로 결정한 모양정보 움직임 벡터 예측치와 추정한 모양정보 움직임 벡터를 감산하여 그 차이 값을 모양정보 움직임 벡터 차이값(MVDs)으로 모양정보 타입 결정부(132)와 모양정보 움직임 보상부(103)에 각각 전달해준다.

모양정보 타입 결정부(132)는 입력되는 움직임 정보로 이전 프레임으로부터 BAB를 결정하고, 그 결정한 BAB와 현재 BAB의 차이로 BAB_type을 결정한다.

이렇게 결정된 BAB_type은 부호화되어 복호기 측에 전달된다.

아울러 모양정보 움직임 보상부(138)는 부호화 모드 결정부(133)에서 얻어지는 부호화 모드에 따라 입력 모양정보의 움직임을 보상한다.

이렇게 움직임이 보상된 모양정보 블록(BAB)은 프레임 부호화부(135)와 필드 부호화부(137)에 입력되어 부호화가 이루어지도록 한다.

한편, 모양정보 부호화 모드 결정부(133)는 상기 모양정보 타입 결정부(132)에서 얻어지는 BAB_type 정보를 입력받고,모양정보의 움직임 량에 따라 프레임 모드 CAE 부호화를 할 것인가, 또는 필드 모드 CAE 부호화를 할 것인가를 결정한다.

이 부호화 모드 결정과정에서 필드 부호화가 선택되면,필드 부가정보 결정부(134)는 부호화된 필드가 어느 필드인지를 결정하고,그 결정한 필드를 나타내주는 부가정보를 부호화한다. 이렇게 부호화된 필드 부가정보는 복호기 측에 전송되어야 한다. 여기에서 결정되는 BAB_type_field는 한 필드는 No_update인데, 또 다른 한 필드에 대한 type정보로서 IntraCAE와 InterCAE와 No_update 3가지의 경우가 있다. 그리고 top_or_bottom의 정보는 BAB_type_field의 해당 필드를 지칭하는 정보이다. 그리고 한 필드의 BAB_data가 부호화되어 출력된다.

프레임 부호화부(135)는 상기 모양정보 부호화 모드 결정부(133)에서 얻어지는 부호화 모드 정보가 프레임 모드이면, BAB를 그대로 CAE 부호화한다. 이렇게 프레임 단위로 부호화된 모양정보는 복호기 측에 전송된다.

만약,상기 모양정보 부호화 모드 결정부(133)에서 결정된 부호화 모드가 필드 모드이면,필드 움직임 추정부(136)는 이전 프레임의 참조 영상에서 필드 단위(8x16)로 움직임 벡터를 추정한다.

이렇게 하여 얻어지는 움직임 벡터 값은 필드 부호화부(137)에 전달되며,필드 부호화부(137)는 상기 BAB를 상위필드와 하위필드의 필드 타입 BAB(8x16)으로 분할하고, 각각의 필드 타입 BAB을 CAE 부호화 하게된다.

이상에서 설명한 바와 같이 본 발명에 의하면 동영상의 격행주사를 위한 부호화시 대상물영상의 움직임 정도를 검출하여 그 움직인 량에 따라 필드 또는 프레임 부호화 모드를 선택하고, 그 선택한 부호화 모드가 필드 모드이면 필드 단위로 움직임 보상을 한 후 필드 단위로 부호화를 수행하고, 선택한 부호화 모드가 프레임 모드이면 프레임 단위로 움직임 보상을 한 후 프레임 단위로 부호화를 수행함으로써, 필드 단위의 부호화시 모양정보 부호화 비트를 줄일 수 있어 격행주사 영상에 대한 모양정보의 부호화 효율을 높일 수 있는 효과가 있다.

또한, 격행주사 동영상에 대한 모양 정보 부호화시 두 필드를 한 프레임으로 구성한 후, 모양 정보 움직임 벡터 예측치(MVPs)의 순서를 효율적으로 결정함으로써 부호화 이득을 향상시킬 수 있는 효과가 있다.

또한, 격행주사 동영상에 대한 모양정보 부호화시 두 필드를 한 프레임으로 구성한 후, 두 필드 중 하나의 필드에 대해 블록타입 정보만을 전송하고 CAE 부호화는 하지 않으므로 써 전송할 데이터 량의 감축으로 부호화 효율을 향상시킬 수 있는 효과가 있다.

도2(a) 및 (b)는 순행주사와 격행주사를 설명하기 위한 설명도이다.

도3(a) 및 (b)는 종래의 모양정보 부호화 방법에서 움직임 벡터를 결정하는 방법을 설명하기 위한 설명도이다.

도4(a)는 16×16의 BAB의 가장자리를 나타낸 움직임 보상 이진모양블록(Motion Compensated BAB)이다.

도4(b)는 16x16의 BAB의 가장자리를 나타낸 현재 이진 모양 블록(Bordered Current BAB)을 보인다.

도5는 일반적인 물체단위 동영상 복호화기의 구성을 보이는 블록도이다.

도6은 이진 모양정보 블록(BAB : Binary Alpha Block) 단위로 부호화할 프레임과 필드의 구성을 보인 도면이다.

도7(a) 및 (b)는 이진모양정보(Mask)가 존재할 경우 움직임이 적은 영상의 프레임 타입 매크로블록과 필드 타입 매크로블록을 보인 도면이다.

도8(a) 및 (b)는 이진모양정보(Mask)가 존재할 경우 움직임이 많은 영상의 프레임 타입 매크로블록과 필드 타입 매크로블록을 보인 도면이다.

도9는 본 발명에 의한 격행주사를 위한 모양정보 부호화방법을 보이는 순서도이다.

도10은 본 발명에 의한 격행주사 영상에 대한 모양정보 부호화 장치를 보이는 블록도이다.

도11은 도10의 모양정보 움직임 추정부의 구성과 도1의 영상신호 움직임 추정부의 움직임 벡터를 이용한 모양정보 움직임 벡터 예측치(MVPs : Motion Vector Predictor for shape) 결정과정을 보이는 블록도이다.

도12, 도13, 도14, 도15는 현재 모양정보 BAB이 필드예측 BAB이고 인접블록이 프레임 예측 BAB일 경우이고, 영상신호 MB중 1개 이상이 필드 예측 MB일 경우 움직임 벡터 예측치 결정과정을 설명하기 위한 설명도이다.

도16, 도17, 도18, 도19는 현재 모양정보 BAB이 프레임 예측 BAB이고 인접 블록중 1개 이상이 필드 예측 BAB일 때 움직임 벡터 예측치(MVPs) 결정과정을 설명하기 위한 설명도이다.

도20은 현재의 모양정보 BAB가 프레임 예측 BAB이고, 이웃하는 BAB 3개(MVs1,MVs2,MVs3)중 1개 이상이 필드 예측 BAB인 경우의 움직임 벡터 예측치 결정과정을 설명하기 위한 설명도이다.

도21, 도22는 현재의 모양정보 BAB이 필드예측 BAB이고, 이웃하는 BAB 3개(MVs1,MVs2,MVs3)중 1개 이상이 필드 예측 BAB인 경우의 움직임 벡터 예측치 결정과정을 설명하기 위한 설명도이다.

도23은 본 발명에 의한 격행주사 영상에 대한 모양정보 부호화 장치의 다른 실시예를 보이는 블록도이다.

<도면의 주요 부분에 대한 부호의 설명>

100,131 : 모양정보 움직임 추정부

101,132 : 모양정보 타입 결정부

102,133 : 부호화 모드 결정부

103,138 : 모양정보 움직임 보상부

104,134 : 필드 부가정보 결정부

105 : 모양정보 부호화부

105a : 프레임 부호화부

105b : 필드 부호화부

123 : 모양정보 움직임 벡터 예측치 순서 결정부

124 : 모양정보 움직임 벡터 예측치 최종 결정기

125 : 모양정보 움직임 벡터 차이값 결정기

135 : 프레임 부호화부

136 : 필드단위 움직임 추정부

137 : 필드 부호화부

Claims

격행주사 영상에 대한 동영상의 모양정보 부호화 방법에 있어서,

입력되는 소정크기 이진 모양정보 블록의 움직임을 추정하고 그 추정한 움직임 정보로 모양정보 움직임 예측모드와 움직임 벡터 예측치를 결정하며, 상기 결정한 모양정보 움직임 벡터 예측치와 상기 추정한 움직임 정보를 연산하여 모양정보 움직임 벡터 차이 값을 산출하는 움직임 추정 단계와;

상기 움직임 추정에서 얻어지는 움직임 정보에 따라 이진 모양정보 블록의 타입을 결정하는 모양정보 타입 결정단계와; 상기 이진 모양정보 블록에 대해 프레임시 각 픽셀에 대해 이웃하는 픽셀과의 오차를 구하여 누적 덧셈한 값과 필드시 각 필드의 각 픽셀에 대해 이웃하는 픽셀과의 오차를 구하여 누적 덧셈한 값을 비교하여 그 대소 유무로 부호화 모드를 결정하는 부호화 모드 결정단계와;

상기 결정한 움직임 예측 모드에 따라 모양정보의 움직임을 보상하는 움직임 보상단계와;

상기 결정한 부호화 모드로 상기 움직임이 보상된 이진 모양정보를 부호화하는 모양정보 부호화 단계로 모양정보를 부호화하는 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 방법.
제1항에 있어서, 상기 움직임 추정 단계는,

현재 모양정보 BAB이 프레임 예측 BAB이면 인접하는 모양정보 BAB중 프레임 예측 BAB인 것을 우선하여 움직임 벡터 예측치(MVPs)로 선택하고, 영상신호 MB중 프레임 예측 MB인 것을 우선으로 하여 MVPs를 선택하며, 모양정보 BAB의 움직임 벡터들은 영상신호(texture) MB의 움직임 벡터 보다 우선하여 선택하는 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 방법.
제1항에 있어서, 상기 움직임 추정 단계는,

현재 모양정보 BAB이 필드예측 BAB이면 인접하는 모양정보 BAB중 필드예측 BAB을 우선하여 MVPs를 선택하고, 영상신호 MB의 인접하는 MB중 필드예측 MB를 우선으로 하여 MVPs를 선택하며, 모양정보 BAB의 움직임 벡터들은 영상신호 MB의 움직임 벡터보다 우선하여 MVPs로 선택하는 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 방법.
제1항에 있어서, 상기 움직임 예측모드의 결정은,

16x16 움직임 추정시의 오차 값과 8x16 움직임 추정시의 오차 값을 비교하여 그 오차가 적은 쪽으로 움직임 예측 타입을 결정하는 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 방법.
제1항에 있어서, 상기 움직임 벡터 예측치 결정은,

현재의 모양정보 BAB이 8x16 두개의 움직임 벡터를 갖은 필드 예측 BAB이거나 16x16 한 개의 움직임 벡터를 갖은 프레임 예측 BAB이고, 이웃하는 모양정보 BAB 3개(MVs1,MVs2,MVs3)와 영상신호 MB 3개(MV1,MV2,MV3)에서 각각 8x16 두개의 움직임 벡터를 갖은 필드 예측 BAB/MB가 존재할 경우, 두개의 움직임 벡터를 갖은 필드 예측 BAB/MB에 Div2Adj(MVsi_f1+ MVsi_f2), Div2Adj(MVi_f1+ MVi_f2) [i=1,2,3]을 적용하여 하나의 벡터로 만들 때, MV1_f1과 MV1_f2를 합하여 2로 나누고 정수값으로 반올림한 값으로 벡터를 만든 후 움직임 벡터 예측치를 선택하는 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 방법.
제1항에 있어서, 상기 움직임 벡터 예측치 결정은,

현재의 모양정보 BAB이 8x16 두개의 움직임 벡터를 갖은 필드 예측 BAB이거나 16x16 한 개의 움직임 벡터를 갖은 프레임 예측 BAB이고, 이웃하는 모양정보 BAB 3개(MVs1,MVs2,MVs3)와 영상신호 MB 3개(MV1,MV2,MV3)에서 각각 8x16 두개의 움직임 벡터를 갖은 필드 예측 BAB/MB가 존재할 경우, 두개의 움직임 벡터를 갖은 필드 예측 BAB/MB에 Div2Adj(MVsi_f1+ MVsi_f2), Div2Adj(MVi_f1+ MVi_f2) [i=1,2,3]을 적용하여 하나의 벡터로 만들 때, MV1_f1과 MV1_f2를 합하여 2로 나누고 정수값으로 올림한 값으로 벡터를 만든 후 움직임 벡터 예측치를 선택하는 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 방법.
제1항에 있어서, 상기 움직임 벡터 예측치 결정은,

현재의 모양정보 BAB이 8x16 두개의 움직임 벡터를 갖은 필드 예측 BAB이거나 16x16 한 개의 움직임 벡터를 갖은 프레임 예측 BAB이고, 이웃하는 모양정보 BAB 3개(MVs1,MVs2,MVs3)와 영상신호 MB 3개(MV1,MV2,MV3)에서 각각 8x16 두개의 움직임 벡터를 갖은 필드 예측 BAB/MB가 존재할 경우, 두개의 움직임 벡터를 갖은 필드 예측 BAB/MB에 Div2Adj(MVsi_f1+ MVsi_f2), Div2Adj(MVi_f1+ MVi_f2) [i=1,2,3]을 적용하여 하나의 벡터로 만들 때, MV1_f1과 MV1_f2를 합하여 2로 나누고 정수값으로 버림 한 값으로 벡터를 만든 후 움직임 벡터 예측치를 선택하는 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 방법.
제1항에 있어서, 상기 모양정보를 부호화하는 단계는,

결정된 부호화 모드가 필드 모드이면 프레임 예측과 필드 예측을 모두 수행한 후 그 오차량으로 움직임 예측모드를 결정하고, 필드 단위의 부호화를 수행하는 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 방법.
제1항에 있어서, 상기 이진 모양정보 블록의 부호화시 프레임 단위의 움직임 추정과 필드 단위의 움직임 추정을 모두 수행한 후 이진 모양정보 블록의 움직임 예측모드를 결정하고 이를 기반으로 프레임/필드 움직임 보상을 수행하는 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 방법.
격행주사 영상에 대한 동영상의 모양정보 부호화 방법에 있어서,

입력되는 소정크기 이진 모양정보 블록에 대해 프레임시 각 픽셀에 대해 이웃하는 픽셀과의 오차를 구하여 누적 덧셈한 값과 필드시 각 필드의 각 픽셀에 대해 이웃하는 픽셀과의 오차를 구하여 누적 덧셈한 값을 비교하여 그 대소 유무로 부호화 모드를 결정하는 부호화 모드 결정 단계와;

상기 결정한 부호화 모드 정보를 움직임 예측 모드 정보로 이용하여 입력되는 소정크기 이진 모양정보 블록으로부터 움직임 추정과 모양정보 움직임 벡터 예측치를 결정하고 그 결정한 모양정보 움직임 벡터 예측치와 추정한 상기 모양정보 움직임 정보를 연산하여 움직임 벡터 차이 값을 산출하는 모양정보 움직임 추정단계와;

상기 움직임 추정에서 얻어지는 움직임 정보에 따라 이진 모양정보 블록의 타입을 결정하는 모양정보 타입 결정단계와;

상기 결정한 움직임 예측모드에 따라 모양정보의 움직임을 보상하는 움직임 보상단계와;

상기 결정한 부호화 모드로 상기 움직임이 보상된 이진 모양정보를 부호화하는 모양정보 부호화 단계로 모양정보를 부호화하는 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 방법.
격행주사 영상에 대한 모양정보 부호화 장치에 있어서,

입력되는 소정크기 이진 모양정보 블록의 움직임 추정을 하고, 움직임 예측 모드와 움직임 벡터 예측치를 결정하고 그 결정한 모양정보 움직임 벡터 예측치와 추정한 상기 모양정보 움직임 정보를 연산하여 움직임 벡터 차이 값을 산출하는 모양정보 움직임 추정수단과;

상기 모양정보 움직임 추정수단에서 얻어지는 움직임 정보로 이진 모양정보 블록의 BAB-타입을 결정하는 모양정보 타입 결정수단과; 상기 이진 모양정보 블록의 움직임 변화량에 따라 모양정보의 부호화 모드를 결정하는 모양정보 부호화 모드 결정수단과;

상기 결정한 움직임 예측 모드에 따라 입력 모양정보의 움직임을 보상하는 모양정보 움직임 보상수단과;

상기 모양정보 부호화 모드 결정수단에서 얻어지는 부호화 모드 정보와 상기 모양정보 타입 결정수단에서 얻어지는 이진 모양정보 블록의 BAB 타입 정보에 따라 필드 블록 타입과 필드 구별에 대한 부가정보를 결정하고 이를 부호화하는 필드 부가정보 결정수단과;

상기 모양정보 부호화 모드 결정수단에서 결정된 부호화 모드 정보에 따라 상기 모양정보 움직임 보상수단에서 움직임이 보상된 이진 모양정보를 프레임 단위 또는 필드 단위로 부호화하는 모양정보 부호화수단을 포함하여 구성된 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 장치.
제11항에 있어서, 상기 모양정보 움직임 추정수단은,

하나의 모양정보 매크로블록(BAB)에서 16x16 움직임 벡터를 사용하는 프레임 예측과 8x16 두 개의 움직임 벡터를 사용하는 필드 예측을 구분하여 모양정보의 움직임 벡터를 추정하고 이 모양정보 예측모드를 전송하는 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 장치.
제11항에 있어서, 상기 모양정보 움직임 추정수단은,

프레임/필드 예측 플래그와 이웃하는 모양정보 BAB의 움직임 벡터를 입력받아 현재 BAB에 이웃하는 BAB의 예측 모드가 프레임 예측모드인지 필드 예측모드인지를 판단하는 프레임/필드 예측모드 판단기와,

현재 BAB에 이웃하는 모양정보 BAB의 움직임 벡터를 상기 모양정보 프레임/필드 예측판단기로 출력하는 이웃 모양정보 움직임벡터 추출기와,

상기 모양정보 프레임/필드 예측판단기로부터 현재 BAB에 이웃하는 모양정보 BAB이 프레임 모드인지 필드 모드인지에 대한 정보를 입력받아 모양정보 움직임 벡터 예측치(MVPs)의 순서를 결정하는 모양정보 움직임 벡터 예측치 순서결정기와,

상기 모양정보 움직임 벡터 예측치 순서결정기에서 얻어지는 모양정보 움직임 벡터 예측치와 영상 움직임 벡터 예측치 순서 결정기에서 얻어지는 영상 움직임 벡터 예측치로 최종 MVPs를 결정하는 모양정보 움직임 벡터 예측치(MVPs) 최종 결정기와,

상기 MVPs 최종 결정기에서 얻어지는 MVPs와 추정한 모양정보 움직임 정보(MVs)의 차이 값으로 움직임 벡터 차이값(MVDs)을 결정하는 모양정보 움직임 벡터 차이값(MVDs) 결정기를 포함하여 구성된 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 장치.
제13항에 있어서, 상기 모양정보 움직임 추정수단은,

프레임/필드 예측 플래그와 이웃하는 영상신호 MB의 움직임 벡터를 입력받아 현재 MB에 이웃하는 영상신호 MB가 프레임 모드인지 필드 모드인지를 판단하는 영상신호 프레임/필드 예측판단기와;

현재 MB에 이웃하는 영상신호 MB의 움직임 벡터를 상기 영상신호 프레임/필드 예측판단기로 출력하는 영상신호 움직임벡터 추출기와;

상기 영상신호 프레임/필드 예측판단기로부터 현재 MB에 이웃하는 영상신호 MB가 프레임모드인지 필드모드인지에 대한 정보를 입력받아 영상 움직임 벡터 예측치의 순서를 결정하는 영상 움직임 벡터 예측치 순서 결정기를 더 포함하여 구성된 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화장치.
제11항에 있어서,상기 모양정보 부호화수단은,

상기 모양정보 부호화 모드 결정수단에서 얻어지는 부호화 모드 정보가 프레임 모드정보이면 상기 움직임이 보상된 이진 모양정보를 프레임 타입 블록단위로 부호화하는 프레임 부호화수단과,

상기 모양정보 부호화 모드 결정수단에서 얻어지는 부호화 모드 정보가 필드 모드정보이면 상기 움직임이 보상된 이진 모양정보를 필드 타입 블록단위로 부호화하는 필드 부호화수단으로 구성된 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 장치.
제11항에 있어서, 상기 필드 부가정보 결정수단은,

상기 모양정보 부호화 모드 결정수단에서 얻어지는 부호화 모드 정보와 상기 모양정보 타입 결정수단에서 얻어지는 이진 모양정보 블록의 모드 정보에 따라 필드 블록 타입을 결정하는 필드 블록 타입 결정기와,

상기 결정한 필드 블록 타입을 나타내는 정보를 부호화고 한 필드의 BAB_data를 부호화하여 출력하는 필드 부가정보 부호화기로 구성된 것을 특징으로 하는 격행주사 영상에 대한 모양정보 부호화 장치.
격행주사 영상에 대한 모양정보 부호화 장치에 있어서,

입력되는 이진 모양정보 블록의 움직임 변화량에 따라 모양정보의 부호화 모드를 결정하는 모양정보 부호화 모드 결정수단과;

상기 결정한 부호화 모드가 프레임 모드이면 입력되는 이진 모양정보로부터 프레임 단위로 움직임 벡터를 추정하는 모양정보 움직임 추정수단과;

상기 모양정보 움직임 추정수단에서 얻어지는 움직임 정보로 이진 모양정보 블록의 BAB-타입을 결정하는 모양정보 타입 결정수단과;

상기 결정한 움직임 예측 모드에 따라 입력 모양정보의 움직임을 보상하는 모양정보 움직임 보상수단과;

상기 결정한 부호화 모드가 필드 모드이면 필드 구별에 대한 부가정보를 결정해주는 필드 부가정보 결정수단과;

상기 모양정보 부호화 모드 결정수단에서 얻어지는 부호화 모드 정보가 프레임 모드정보이면 상기 움직임이 보상된 이진 모양정보를 프레임 타입 블록단위로 부호화하는 프레임 부호화수단과;

상기 결정한 부호화 모드가 필드 모드이면 상기 입력되는 이진 모양정보로부터 필드 단위로 움직임 벡터를 추정하는 필드단위 움직임 추정수단과;

상기 필드단위 움직임 추정수단에서 얻어지는 움직임 정보에 따라 상기 움직임이 보상된 이진 모양정보를 필드타입 블록단위로 부호화하는 필드 부호화수단을 포함하여 구성된 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 장치.