KR101997604B1

KR101997604B1 - 영상 부호화/복호화 방법 및 장치

Info

Publication number: KR101997604B1
Application number: KR1020190007891A
Authority: KR
Inventors: 임정연; 권령희; 김해광; 문주희; 이영렬; 전병우; 한종기
Original assignee: 에스케이 텔레콤주식회사
Priority date: 2019-01-22
Filing date: 2019-01-22
Publication date: 2019-07-08
Anticipated expiration: 2036-06-23
Also published as: KR20190009408A

Abstract

본 발명은 영상 복호화에 관한 것으로, 비트스트림으로부터 복호화할 현재블록에 대한 인트라 예측모드 정보를 복원하고, 변환블록 정보를 복원하며, 상기 현재블록으로부터 트리 구조로 분할된 하나 이상의 변환블록 각각에 대응하는 변환계수들을 복원하는 복호화부; 상기 변환블록 각각에 대응하는 변환계수들을 역변환함으로써 잔차신호들을 복원하는 역변환부; 상기 인트라 예측모드 정보에 근거하여 예측픽셀들을 생성하는 예측부; 및 상기 잔차신호들과 상기 예측픽셀들을 가산하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.

Description

영상 부호화/복호화 방법 및 장치{Method and Apparatus for Video Encoding/Decoding}

본 발명의 실시예는 영상 부호화 및 복호화를 위한 방법 및 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래기술을 구성하는 것은 아니다.

MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 JCT-VC(Joint Collaborative Team on Video Coding)라는 MPEG과 VCEG의 공동 팀을 형성하여 기존의 H.264/AVC(Advanced video Coding)보다 우수하고 뛰어난 HEVC(High Efficiency Video Coding)이라는 새로운 표준안에 대한 표준화가 진행 중이다. 이러한 HEVC에서는 다양한 부호화 방법이 채택되어 화질과 성능 향상 면에서 많은 발전을 가져왔다. HEVC에 대한 회의는 2011년 3월 제네바에서 열린 제 5차 JCT-VC회의 까지 진행되어, 현재 HM3.0및 WD3.0까지 완성되어 있다.

HEVC의 HM3.0 동영상 부호화 방법에서는 기본 부호화 단위로 CTB (Coding Tree Block)을 사용하며, 이 때 CTB는 다양한 크기의 정사각형 모양으로 정의된다. CTB는 주로 코딩단위(Coding Unit)라고 부른다.

도 1 는 통상적인 코딩단위(CU)의 크기와 모습을 나타낸다.

도 1 를 참조하면, 코딩단위(CU)는 쿼드트리(Quad Tree)의 모습을 하고 있으며, 크기가 64×64인 가장 큰 코딩단위(Largest Coding Unit)일 때 깊이(depth)를 0으로 하여 깊이가 3이 될 때까지, 즉 8×8크기의 코딩단위(CU)까지 반복적(Recursive)으로 부호화를 수행한다.

예측의 기본 단위는 예측단위(Prediction Unit)로 정의되며, 하나의 코딩단위(CU)는 다수개의 블록으로 분할되어 예측에 사용된다.

도 2 는 통상적인 예측단위(PU)의 종류와 하나의 코딩단위(CU)내에서 예측단위(PU)의 부호화순서를 나타낸다.

도 2 를 참조하면, 크기가 2N×2N인 한 코딩단위(CU) 내에서 스킵(Skip)모드를 수행한 이후에 인터 2N×2N 모드, 인터 2N×N 모드, 인터 N×2N 모드, 인터 N×N 모드, 인트라 2N×2N 모드, 인트라 N×N 모드 순서로 예측을 수행한다. 단, 크기가 8×8(2N×2N)인 코딩단위(CU)를 제외하고는 모든 코딩단위(CU)에서 인터 N×N 모드, 인트라 N×N 모드를 제외한 모든 나머지 예측단위(PU)에 대하여 부호화를 수행한다.

예측방법은 크게 부호화중인 프레임 내에서 부호화된 블록으로부터 예측 값을 사용하여 예측하는 화면 내 예측 부호화 방법과 이전에 복원된 프레임으로부터 움직임을 추정하여 현재 프레임의 블록을 예측하는 화면 간 예측 부호화 방법으로 분류할 수 있다.

화면 내 예측 방법으로는 이전에 부호화된 해당 블록의 좌측, 좌측하단, 좌측상단, 상단, 우측상단의 화소 값을 이용하여 여러 방향으로 예측을 수행하는 통합된 화면 내 예측 방법(Unified Intra Prediction)이 사용되고 있다.

도 3 은 통상적인 인트라 예측 모드의 방향을 나타낸 도면이다.

도 3 을 참조하면, 인트라 예측 모드는 DC (Direct Current) 모드, 플라나 (Planar) 모드와 총 33가지의 예측 방향를 가진 각도 (Angular) 모드를 포함하는 총 35가지의 예측 모드가 있다.

비디오의 화면 간 예측 방법(Inter predictive coding)에는 영상 프레임을 분할해서 이전에 부호화된 프레임으로부터 움직임을 추정하여 현재의 블록을 예측하는 움직임보상을 사용하고 있다.

화면 내 예측방법 또는 화면 간 예측방법으로 하나의 예측블록이 만들어지게 되면 현재블록의 원 화소값과 예측블록의 예측값 간의 차이값을 계산하여 잔차신호를 생성한다. 잔차신호를 이용하여 주파수변환블록으로 변환하고 이를 양자화(Quantization)시켜 주파수계수블록을 형성한다.

통상적인 영상 부호화장치는 기능에 따라 여러 후보의 코딩단위(CU), 예측단위(PU), 변환단위(TU)를 두고 율-왜곡 값(RD cost) 최적화 기법에 따라 최적의 단위를 구한 후 해당 단위로 부호화한 결과를 영상 복호화장치에 정보를 전송한다.

이처럼, 한 코딩단위(CU)내의 모든 예측단위(PU)에 대해 율-왜곡 값(RD cost)을 구하는 방법은 예측 순서상 가장 마지막인 인트라 N×N 모드가 최적 모드로 결정되는 경우에는 효율적이나, 예측 순서상 가장 첫 번째인 인터 2N×2N 모드가 최적 모드로 결정되는 경우에는 시간 상 비효율적이다.

본 발명의 일 실시예에 따르면, 한 코딩단위(CU)내에서 여러 예측단위(PU) 부호화 시 직전에 부호화된 양자화된 주파수변환계수가 모두 0인 경우 이후의 예측단위(PU)의 부호화를 모두 생략함으로 통상적인 부호화 효율을 유지하면서 영상 부호화에 걸리는 시간을 단축시킬 수 있는 영상 부호화 장치 및 방법이 개시된다.

또 다른 실시예에 따르면, 잔차 신호에 대한 정보를 트리 구조를 이용하여 효율적으로 부호화 또는 복호화할 수 있는 영상 부호화 또는 복호화 방법 및 장치가 개시된다.

본 발명의 일 측면에 따르면, 인트라 예측을 이용하여 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 분할 코딩단위 플래그를 복원하고 상기 분할 코딩단위 플래그에 따라 가장 큰 코딩단위를 분할함으로써 복호화할 현재블록을 결정하고, 인트라 예측모드 정보를 복원하고, 변환블록 정보를 복원하며, 상기 현재블록으로부터 트리 구조로 분할된 하나 이상의 변환블록 각각에 대응하는 변환계수들을 복원하는 복호화부; 상기 변환블록 각각에 대응하는 변환계수들을 역변환함으로써 잔차신호들을 복원하는 역변환부; 상기 인트라 예측모드 정보에 근거하여 예측픽셀들을 생성하는 예측부; 및 상기 잔차신호들과 상기 예측픽셀들을 가산하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.

상기 복호화부는 상기 현재블록을 하나 이상의 예측단위로 분할하기 위한 예측단위 타입 정보를 복원하고, 상기 예측부는 상기 예측단위 타입 정보에 의해 지시되는 예측단위의 크기로 상기 현재블록 내의 예측픽셀들을 생성할 수 있다.

여기서, 가장 큰 코딩단위의 크기는 64x64를 포함하고, 상기 현재블록은 2ⁿx 2ⁿ 크기의 정사각블록일 수 있으며 또한 8x8로부터 64x64까지의 범위의 크기를 가질 수 있다.

또한, 상기 복호화부는, 상기 트리구조에서 어느 한 블록이 하위 레이어의 복수의 블록으로 분할되는지 여부를 지시하는 분할변환플래그를 복원하고, 상기 분할변환플래그가 상기 어느 한 블록이 분할됨을 지시하는지 여부와 상관없이, 상기 어느 한 블록의 제1 색차성분이 적어도 하나의 0이 아닌 변환계수를 가지는지 여부를 지시하는 제1 색차 부호화 블록 플래그 및 상기 어느 한 블록의 제2 색차성분이 적어도 하나의 0이 아닌 변환계수를 가지는지 여부를 지시하는 제2 색차 부호화 블록 플래그를 복원하며, 상기 분할변환플래그가 상기 어느 한 블록이 더 이상 분할되지 않음을 지시할 때, 상기 어느 한 블록의 휘도성분이 적어도 하나의 0이 아닌 변환계수를 가지는지 여부를 지시하는 휘도 부호화 블록 플래그를 복원하고 상기 어느 한 블록을 상기 변환블록으로 식별할 수 있다.

여기서, 상기 분할변환플래그가 상기 어느 한 블록이 분할됨을 지시하는 경우, 상기 어느 한 블록은 4개의 동일 크기 블록으로 분할될 수 있다.

한편, 상기 복호화부는, 상기 어느 한 블록의 상위 레이어 블록의 제1 색차성분이 적어도 하나의 0이 아닌 변환계수를 가질 때, 상기 어느 한 블록의 상기 제1 색차 부호화 블록 플래그를 복원하고, 상기 어느 한 블록의 상위 레이어 블록의 제2 색차성분이 적어도 하나의 0이 아닌 변환계수를 가질 때, 상기 어느 한 블록의 상기 제2 색차 부호화 블록 플래그를 복원할 수 있다.

본 발명의 또 다른 측면에 따르면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 분할 코딩단위 플래그를 복원하고 상기 분할 코딩단위 플래그에 따라 가장 큰 코딩단위를 분할함으로써 복호화할 현재블록을 결정하고, 인트라 예측모드 정보를 복원하고, 변환블록 정보를 복원하며, 상기 현재블록으로부터 트리 구조로 분할된 하나 이상의 변환블록 각각에 대응하는 변환계수들을 복원하는 복호화 단계; 상기 변환블록 각각에 대응하는 변환계수들을 역변환함으로써 잔차신호들을 복원하는 역변환 단계; 상기 인트라 예측모드 정보에 근거하여 예측픽셀들을 생성하는 예측 단계; 및 상기 잔차신호들과 상기 예측픽셀들을 가산하는 가산 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.

이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 부호화하고자 하는 현재 코딩단위(CU)에서 추정된 최적 예측단위(PU) 부호화 이후 모든 예측단위(PU)의 부호화를 생략함으로써 또한 조건에 따라 역양자화 및 역변환을 생략함으로써, 통상적인 부호화기의 성능을 유지하면서 부호화에 걸리는 시간을 단축시키는 효과가 있다.

또한, 잔차 신호에 대한 정보를 트리 구조를 이용하여 효율적으로 부호화 또는 복호화할 수 있다.

도 1은 코딩단위(CU)의 크기와 쿼드트리 형태를 나타낸 도면이다.
도 2는 한 코딩단위(CU)내에서 부호화되는 예측단위(PU)의 종류와 순서를 나타낸 도면이다.
도 3은 통상적인 인트라 모드의 방향을 나타낸 도면이다.
도 4는 변환단위(TU)의 쿼드트리 형태와 부호화된 블록 플래그(cbf)와 분열변환 플래그와의 관계를 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
도 6는 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
도 7은 본 발명의 일 실시예에 따른 코딩단위(CU)내에서 예측단위(PU) 결정을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.

이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.

통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.

도 5는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 영상 부호화 장치(500)는 영상의 현재 블록을 휘도 성분의 움직임 벡터 값을 이용하여 색차 성분의 서브샘플 예측값을 생성하여 영상을 부호화하는 장치로서, 도 6에 도시한 바와 같이, 예측부(510), 감산부(520), 변환부(530), 양자화부(540) 및 부호화부(550)를 포함하여 구성될 수 있다.

부호화하고자 하는 입력 영상은 코딩단위(Coding Unit)로 입력이 되는데, 본 발명에서, 코딩단위(Coding Unit)는 N×N 블록 형태일 수 있으며 N은 2ⁿ의 크기를 가진다. 코딩단위는 쿼드트리(Quad Tree)의 형태로 이루어질 수 있으며 가장 큰 코딩단위(Largest Coding Unit)로부터 지정된 깊이까지 반복적(Recursive)으로 부호화를 수행한다.

하나의 코딩단위(CU)내에서 예측단위(Prediction Unit)별로 예측이 되는데, 이 때, 부호화기에서 예측단위(PU)는 NxM 블록 형태이며 N과 M은 각각 2ⁿ, 2^m(n>0, M>0)의 크기를 가진다. 하나의 코딩단위(CU) 내에서 예측의 종류는 도 2에 도시한 바와 같이, 예컨대 4개의 인터 예측단위와 2개의 인트라 예측단위(PU)를 가질 수 있으며, 모든 예측단위(PU)에 대해 코딩을 수행하여 압축효율이 가장 좋은 예측단위(PU)의 정보를 영상 복호화장치로 전송한다.

도 7은 예측 부호화 순서를 도시한 도면이다.

압축효율에 대한 기준은 영상 정보 전송에 필요한 비트 수와 원본블록과 예측블록간의 차이값을 포함하는 율-왜곡 값(Rate Distortion cost)이다. 도 7에 도시하듯이 현재 예측단위의 부호화 결과에 대한 율-왜곡 값을 계산하고(S710), 양자화된 주파수변환계수 중에 0이 아닌 값이 있는지를 판단하여(S720), 만약 코딩된 예측단위의 양자화된 주파수 변환 계수가 모두 0이 될 경우 율-왜곡 값(RD cost)이 충분히 낮다고 판단하여 해당 코딩단위(CU)의 부호화는 종료되고, 해당 양자화된 주파수 변환 계수가 모두 0인 예측단위(PU)에 대한 정보를 영상 복호화장치로 전송하고, 양자화된 주파수변환계수 중에 0이 아닌 값이 있으면 다음 예측 단위의 부호화 및 율-왜곡 값을 계산한다(S730).

예측부(510)는 현재 코딩단위(CU)의 예측단위(PU)를 예측하기 위하여 다른 프레임을 이용하여 예측 블록을 생성하거나 이미 부호화 된 좌측과 상단의 화소값을 이용하여 예측블록을 생성한다. 즉, 화면 내 예측모드에서 예측부(510)는 이미 부호화 과정을 거치고 복원 된 상단과 좌측의 코딩단위(CU)정보를 이용하여 예측모드를 결정하고 이 예측모드를 이용하여 예측블록을 생성하는 반면, 화면 간 예측모드에서 예측부(510)는 이미 부호화 과정을 거치고 복원된 이전 프레임에서 움직임 추정을 통해 움직임 벡터를 생성하고 이 움직임 벡터를 이용한 움직임 보상 과정에서 예측 블록을 생성할 수 있다.

감산부(520)는 현재 블록의 각 화소의 원 화소값과 예측부(510)가 생성한 예측값의 차이값을 계산하여 잔차신호를 생성한다.

변환부(530)는 감산부(520)에 의해 생성된 잔차신호를 주파수 영역으로 변환한다. 변환부(530)는 변환단위(Transform Unit)로 변환이 되는데, 변환단위(TU)는 N×N 블록 형태이며 N은 2ⁿ의 크기를 가진다. 변환부(530)에서 현재 예측단위(PU)에 대하여 예측이 모두 수행된 직후에 변환단위(TU) 별로 순차적으로 변환이 수행되며, 변환단위(TU)의 크기는 해당 코딩단위(CU)의 크기보다 같거나 작으며, 해당 예측단위(PU)의 크기와는 무관하다. 변환단위(TU)는 코딩단위(CU)와 같은 쿼드트리 형태를 가질 수 있며, 코딩단위(CU)의 크기로부터 임의로 지정된 깊이까지 반복적으로으로 변환을 수행한다. 이 때 변환단위(TU)의 깊이 별 분열변환플래그(split transform flag)를 영상 복호화장치로 전송하여 최저 율-왜곡 값(RD cost)을 가지는 변환단위(TU)의 크기에 대한 정보를 전송한다. 여기서, 변환부(530)는 이산 코사인 변환(DCT: Discrete Cosine Transform, 이하 'DCT 변환'이라 칭함) 또는 웨이블릿 변환(Wavelet Transform) 등의 시간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차신호를 주파수 영역으로 변환할 수 있다.

도 4 를 참조하면, 변환단위(TU)는 코딩단위(CU)와 비슷한 형태의 쿼드트리 형태이며, 변환단위(TU)의 크기가 현재 코딩단위(CU)와 같을 때의 깊이를 0으로 하여 임의로 지정된 깊이까지 반복적으로 변환과 양자화를 수행한다. 변환단위(TU)의 크기는 해당 코딩단위(CU)의 크기보다 같거나 작으며, 예측단위(PU)의 크기와는 무관하다. 변환단위(TU)의 깊이 별 분열변환플래그(split transform flag)를 영상 복호화 장치로 전송하여 최저 율-왜곡 값(RD cost)을 가지는 변환단위(TU)의 크기에 대한 정보를 전송한다. 분열변환플래그(split transform flag)가 1이면 해당 깊이의 변환단위(TU)보다 최저 율-왜곡 값(RD cost)를 가지는 변환단위(TU)의 깊이가 낮음을 의미한다. 부호화된 블록 플래그(cbf)가 0 이면 양자화의 결과로 나온 주파수계수블록 내 계수가 모두 0임을 의미한다.

양자화부(540)는 변환부(530)에 의해 주파수 영역으로 변환된 잔차신호로 이루어진 주파수변환블록을 양자화(Quantization)한다. 이 때 양자화된 변환계수가 모두 0 이 되는 휘도신호와 색차신호의 변환단위(TU)에 대하여 계수가 0임을 의미하는 부호화된 블록 플래그(cbf)를 전송한다. 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스 (Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법을 이용할 수 있다.

부호화부(550)는 양자화부(540)에 의해 양자화된 주파수 계수로 이루어진 양자화된 주파수변환블록을 비트스트림으로 부호화한다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다.

또한, 부호화부(550)는 양자화 주파수 계수들을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 즉, 부호화 데이터는 부호화된 블록 형태(CBP: Coded Block Pattern), 델타 양자화 계수(Delta Quantization Parameter) 및 양자화 주파수 계수가 부호화 된 비트열이 포함되는 필드와 예측에 필요한 정보(예를 들어, 인트라 예측의 경우 인트라 예측 모드 또는 인터 예측의 경우 움직임 벡터 등)를 위한 비트가 포함되는 필드를 포함할 수 있다.

역양자화부(560)는 변환 및 양자화된 잔차 블록(즉, 양자화된 주파수변환블록)을 역 양자화(Inverse Quantization)하여 주파수변환블록을 복원하고, 역변환부(570)는 역양자화된 주파수변환블록을 역 변환(Inverse Transform)하여 잔차 블록을 복원(Reconstruction)한다. 여기서, 역 양자화와 역 변환은 변환부(530)가 수행한 변환 과정과 양자화부(540)가 수행한 양자화 과정을 각각 역으로 수행함으로써 이루어질 수 있다. 즉, 역양자화부(560) 및 역변환부(570)는 변환부(530) 및 양자화부(540)로부터 발생되어 전달되는 변환 및 양자화에 관한 정보(예를 들어, 변환 및 양자화 타입에 대한 정보)를 이용하여 역 양자화 및 역 변환을 수행할 수 있다.

가산부(580)는 예측부(510)에서 생성된 예측 블록과 역변환부(570)에 의해 생성된 잔차 블록을 가산하여 복원된 블록을 생성한다.

프레임 메모리(590)는 가산부(580)에서 복원된 블록을 저장하여 인트라 혹은 인터 예측 수행 시 예측 블록을 생성하기 위해 참조블록으로 사용된다.

도 6은 본 발명의 실시예에 따라 현재 코딩단위(CU)에서 다수의 예측단위(PU)를 부호화하고 최적의 예측단위(PU)를 결정하는 과정을 설명하기 위한 예시도이다.

도 6의 예측단위(PU)의 성능은 수학식 1의 율-왜곡 값(RD cost)에 의해 결정된다.

수학식 1에서 예측단위(PU)가 MxM의 크기인 경우를 예로 든 것이고, 수학식 1의 율-왜곡 값(RDcost)에서 왜곡(Distortion)값은 원 화소값과 예측부(510)가 생성한 예측값의 차이값을 제곱하여 모두 더한 값을 나타낸다. 수학식 1에서 B(k, l) 는 예측단위(PU) 내의 (k, l)좌표의 하나의 원 화소값을 뜻하고, B'(k, l)는 하나의 예측 화소값을 뜻한다. 수학식 1에서 율(Rates) 값은 하나의 예측단위(PU)가 예측부, 변환부, 양자화부를 모두 거쳤을 때의 총 부호화된 비트 수를 나타낸다. 즉, 여기서 최적의 예측단위(PU)는 원 화소값과 예측화소값의 차이값이 가장 적고. 예측부에서 양자화부 까지의 부호화 과정을 모두 거쳤을 때, 부호화된 비트 수가 가장 적은 예측단위(PU)를 나타낸다.

여기서, 한 예측단위(PU)에 대해서 율-왜곡 값을 계산하는 것은 예측단위(PU)간의 정확한 비교가 가능하나, 모든 예측단위(PU)에 대한 부호화 과정을 거쳐야 하므로 계산복잡도가 높은 단점이 있다.

부호화를 끝낸 예측단위(PU)의 양자화된 주파수변환계수가 모두 0이라면, 모든 예측단위에 들어가는 움직임 벡터, 예측 모드와 같은 외적 정보(Side information)에 할당 된 비트 외에는 부호화 할 때 비트를 소요하지 않는다. 또한, 양자화된 주파수변환계수가 모두 0이 되기 위해서는 변환부, 양자화부를 거치기 전의 잔차 신호가 충분히 적다는 것을 의미한다. 즉, 양자화된 주파수변환계수가 모두 0인 예측단위(PU)의 율-왜곡 값은 같은 코딩단위(CU) 내의 다른 예측단위(PU)의 율-왜곡값과 비교했을 때 최적의 예측단위(PU)가 되기에 충분하다.

여기서 사용한 부호화 방법 또는 부호화 장치는 현재 예측단위(PU)의 부호화가 모두 끝났을 때 결과로 나온 양자화된 주파수변환계수가 모두 0이 되었다면, 해당 코딩단위(CU)의 부호화를 종료시켜 계산복잡도를 줄이는 부호화 방법 또는 부호화 장치이다.

여기서, 양자화된 주파수변환계수가 모두 0이 되었다는 것은 부호화된 블록 형태(cbp)또는 부호화된 블록 플래그(cbf)로 나타낼 수 있다. 이 때, 부호화된 블록 플래그(cbf)는 휘도성분과 색차성분마다 하나씩 가지고 있다.

도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타낸 블록 구성도이다.

도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상 복호화 장치(600)는 영상의 현재 예측단위 블록의 양자화된 주파수변환신호를 이용하여 신호의 역 양자화 및 역 변환과정을 생략하여 복호화하는 장치로서, 복호화부(610), 역양자화부(620), 역변환부(630), 가산부(640) 및 예측부(650)를 포함하여 구성된다.

복호화부(610)는 비트스트림을 복호화하여 양자화된 주파수변환블록을 추출한다.

복호화부(610)는 부호화 데이터를 복호화하여 양자화된 주파수변환블록뿐만 아니라 복호화에 필요한 정보들을 복호화하거나 추출할 수 있다. 복호화에 필요한 정보들은 부호화 데이터(즉, 비트스트림) 내의 부호화된 비트열을 복호화하는 데 필요한 정보들을 말하며, 예를 들어 코딩단위(CU), 예측단위(PU), 변환단위(TU)의 크기에 대한 정보, 부호화된 코딩 형태(cbp), 부호화된 코딩 플래그(cbf)에 대한 정보, 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있으며, 이외의 다양한 정보들이 될 수 있다.

즉, 복호화부(610)는 영상 부호화 장치(500)에 의해 부호화된 데이터인 비트스트림을 복호화하여 영상의 현재 블록에 대한 화소 정보를 포함하고 있는 양자화된 주파수변환 블록을 추출하고, 추출된 예측에 필요한 정보를 예측부(850)로 전달한다.

예측부(650)는 복호화부(610)로부터 전달된 예측에 필요한 정보를 이용하여 영상 부호화 장치(500)의 예측부(510)와 동일한 방식으로 현재 블록을 예측할 수 있다.

역양자화부(620)는 복호화부(610)에 의해 비트스트림으로부터 추출된 양자화된 주파수변환 블록을 역 양자화한다. 역변환부(630)는 역양자화부(620)에 의해 역 양자화된 주파수변환 블록을 시간 영역으로 역 변환한다.

가산부(640)는 역변환부(630)에 의해 역 변환되어 복원된 잔차신호와 예측부(650)에 의해 예측 화소값을 더하여 현재 블록의 원 화소값을 복원한다.

본 발명의 일 실시예에 따른 영상 복호화 장치(600)의 역양자화부(620), 역변환부(630), 가산부(640)는 만약 양자화된 주파수변환계수가 모두 0일 때, 즉, 비트스트림에 해당하는 블록의 양자화된 주파수변환계수를 포함하지 않을 때는 생략하고 예측부(650)에 의해 생성된 예측화소값이 그대로 프레임메모리로 전달된다.

가산부(640) 또는 예측부(650)에 의해 복원된 현재 블록은 프레임 메모리(660)로 전달되어, 예측부(650)에서 다른 블록을 예측하는 데 활용될 수 있다.

프레임 메모리(660)는 복원된 영상을 저장하여 인트라 예측 블록 및 인터 예측 블록 생성을 가능하게 한다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 5의 영상 부호화 장치(500)의 비트스트림 출력단을 도 6의 영상 복호화 장치(600)의 비트스트림 입력단에 연결하여 구성될 수 있다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는, 현재 코딩단위(CU) 부호화 시 한 예측단위(PU)를 기준으로 예측 블록을 생성하고, 상기 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하고, 상기 잔차 블록을 변환하여 주파수변환블록을 생성하고, 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하고, 상기 주파수 변환 블록이 0이외의 값을 포함하고 있지 않다면, 이후의 모든 예측단위(PU)의 부호화를 모두 생략한 뒤 상기 예측단위(PU)를 최적 예측단위(PU)로 결정하고, 최적 예측단위(PU)의 양자화된 주파수 변환 블록을 비트스트림으로 부호화하는 부호화부 영상 부호화기 및 비트스트림으로부터 양자화된 주파수변환 블록을 생성하고 상기 양자화된 주파수변환블록이 0이 아닌 값을 가지고 있을 경우 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하고 상기 주파수변환블록을 역변환하여 잔차 블록을 복원하고 움직임 벡터에 의해 참조되는 참조블록으로부터 예측블록을 생성하고 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 상기 복원할 현재 블록을 복원하거나 상기 양자화된 주파수변환블록이 모두 0인 값을 가질 경우 움직임 벡터에 의해 참조되는 참조블록만을 가지고 상기 복원할 현재 블록을 복원하는 영상 복호화기를 포함한다.

여기서 영상 부호화기는 본 발명의 일 실시예에 따른 영상 부호화 장치(500)로 구현 가능하며, 영상 복호화기는 본 발명의 일 실시예에 따른 영상 복호화 장치(600)로 구현 가능하다.

도 8은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.

즉, 영상 부호화 장치(500)는 영상의 현재 블록을 움직임 벡터 값을 이용하여 예측값을 생성하는 예측단계(810), 현재 블록의 원 화소값과 예측 화소값의 차이값을 계산하여 잔차신호를 생성하는 감산단계(820), 생성된 잔차신호를 DCT 변환 또는 웨이블릿 변환 등을 이용하여 주파수 영역으로 변환하는 변환단계(830), 주파수 영역으로 변환된 잔차신호를 양자화하는 양자화단계(840), 최적의 양자화된 주파수변환 잔차신호를 결정하여 비트스트림으로 부호화하는 부호화단계(850)를 거쳐 영상을 부호화한다.

여기서, 예측단계(810)는 예측부(510)의 기능에, 감산단계(820)는 감산부(520)의 기능에, 변환단계(830)는 변환부(530)의 기능에, 양자화단계(840)는 양자화부(540)의 기능에, 부호화단계(850)는 부호화부(550)의 기능에 각각 대응되므로 상세한 설명은 생략한다.

도 9는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.

유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림을 수신하여 저장한 영상 복호화 장치(600)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상의 현재 블록을 움직임 벡터 값을 이용하여 예측값을 생성하고 양자화된 주파수변환계수가 존재할 경우에만 역양자화되고 역변환된 잔차신호를 더한 원 화소값 영상을 복호화하여 복원한다.

이를 위해, 영상 복호화 장치(600)는 비트스트림을 복호화하여 영상의 현재 블록의 화소값에 대한 정보를 나타내는 양자화된 주파수변환 잔차신호를 추출하는 복호화단계(910). 양자화된 주파수변환 잔차신호를 역 양자화하는 역양자화단계(920), 역 양자화된 주파수변환 잔차신호를 시간 영역으로 역변환하는 역변환단계(930), 움직임 벡터 값을 이용하여 예측값을 생성하는 예측단계(940), 단계 930에서 복원된 현재 블록의 잔차신호와 단계 940에서 예측된 현재 블록의 각 화소의 예측 화소값을 더하여 현재 블록의 원 화소값을 복원하는 가산단계(950)를 거쳐 전송된 또는 양자화된 주파수변환 잔차신호가 없을 경우 예측단계(940)를 거쳐 전송된 비트스트림을 복호화한다.

여기서, 복호화단계(910)는 복호화부(610)의 동작에 대응되며, 역양자화단계(920)는 역양자화부(620)의 동작에 대응되며, 역변환단계(930)는 역변환부(630)의 동작에 대응되며, 예측단계(940)는 예측부(650)의 동작에 대응되며, 가산단계(950)는 가산부(640)의 동작에 대응되므로 상세한 설명은 생략한다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 본 발명의 일 실시예에 따른 영상 부호화 방법과 본 발명의 일 실시예에 따른 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 현재 코딩단위(CU) 부호화 시 한 예측단위(PU)를 기준으로 예측 블록을 생성하고 상기 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하고 상기 잔차 블록을 변환하여 주파수변환블록을 생성하고 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하고 상기 주파수 변환 블록이 0이외의 값을 포함하고 있지 않다면, 이후의 모든 예측단위(PU)의 부호화를 모두 생략한 뒤 최적 예측단위(PU)로 결정하고, 최적 예측단위(PU)의 주파수 변환 블록을 비트스트림으로 부호화하는 부호화부 영상 부호화단계 및 비트스트림으로부터 양자화된 주파수변환 블록을 생성하고 상기 양자화된 주파수변환블록이 0이 아닌 값을 가지고 있을 경우 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하고 상기 주파수변환블록을 역변환하여 잔차 블록을 복원하고 움직임 벡터에 의해 참조되는 참조블록으로부터 예측블록을 생성하고 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 상기 복원할 현재 블록을 복원하거나 상기 양자화된 주파수변환블록이 모두 0인 값을 가질 경우 움직임 벡터에 의해 참조되는 참조블록만을 가지고 상기 복원할 현재 블록을 복원하는 영상 복호화단계를 포함한다.

여기서 영상 부호화단계는 본 발명의 일 실시예에 따른 영상 부호화 단계로 구현 가능하며, 영상 복호화단계는 본 발명의 일 실시예에 따른 영상 복호화 단계로 구현 가능하다.

본 발명의 실시예를 구성하는 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

인트라 예측을 이용하여 영상을 복호화하는 장치에 있어서,
최대 크기 코딩단위 이내에서 복호화할 현재블록을 결정하고, 비트스트림으로부터 인트라 예측모드 정보를 복원하고, 변환블록 정보를 복원하며, 상기 현재블록으로부터 트리 구조로 분할된 하나 이상의 변환블록 각각에 대응하는 변환계수들을 복원하는 복호화부;
상기 변환블록 각각에 대응하는 변환계수들을 역변환함으로써 잔차신호들을 복원하는 역변환부;
상기 인트라 예측모드 정보에 근거하여 예측픽셀들을 생성하는 예측부; 및
상기 잔차신호들과 상기 예측픽셀들을 가산하는 가산부를 포함하고,
상기 복호화부는,
상기 트리구조에서 어느 한 블록이 하위 레이어의 복수의 블록으로 분할되는지 여부를 지시하는 분할변환플래그를 복원하고,
상기 분할변환플래그가 상기 어느 한 블록이 분할됨을 지시하는지 여부와 상관없이, 상기 어느 한 블록의 제1 색차성분이 적어도 하나의 0이 아닌 변환계수를 가지는지 여부를 지시하는 제1 색차 부호화 블록 플래그 및 상기 어느 한 블록의 제2 색차성분이 적어도 하나의 0이 아닌 변환계수를 가지는지 여부를 지시하는 제2 색차 부호화 블록 플래그를 복원하며,
상기 분할변환플래그가 상기 어느 한 블록이 더 이상 분할되지 않음을 지시할 때, 상기 어느 한 블록의 휘도성분이 적어도 하나의 0이 아닌 변환계수를 가지는지 여부를 지시하는 휘도 부호화 블록 플래그를 복원하고 상기 어느 한 블록을 상기 변환블록으로 식별하는 것을 특징으로 하는 영상 복호화 장치.
제 1항에 있어서,
상기 복호화부는, 상기 현재블록을 하나 이상의 예측단위로 분할하기 위한 예측단위 타입 정보를 복원하고,
상기 예측부는, 상기 예측단위 타입 정보에 의해 지시되는 예측단위의 크기로 상기 현재블록 내의 예측픽셀들을 생성하는 것을 특징으로 하는 영상 복호화 장치.
제 1항에 있어서,
상기 최대 크기 코딩단위의 크기는 64x64를 포함하는 것을 특징으로 하는 영상 복호화 장치.
제 1항에 있어서,
상기 현재블록은 2ⁿx 2ⁿ 크기의 정사각블록인 것을 특징으로 하는 영상 복호화 장치.
삭제
제 1항에 있어서,
상기 분할변환플래그가 상기 어느 한 블록이 분할됨을 지시할 때, 상기 어느 한 블록은 4개의 동일 크기 블록으로 분할되는 것을 특징으로 하는 영상 복호화 장치.
제 1항에 있어서,
상기 복호화부는,
상기 어느 한 블록의 상위 레이어 블록의 제1 색차성분이 적어도 하나의 0이 아닌 변환계수를 가질 때, 상기 어느 한 블록의 상기 제1 색차 부호화 블록 플래그를 복원하고,
상기 어느 한 블록의 상위 레이어 블록의 제2 색차성분이 적어도 하나의 0이 아닌 변환계수를 가질 때, 상기 어느 한 블록의 상기 제2 색차 부호화 블록 플래그를 복원하는 것을 특징으로 하는 영상 복호화 장치.
영상을 복호화하는 방법에 있어서,
최대 크기 코딩단위 이내에서 복호화할 현재블록을 결정하고, 비트스트림으로부터 인트라 예측모드 정보를 복원하고, 변환블록 정보를 복원하며, 상기 현재블록으로부터 트리 구조로 분할된 하나 이상의 변환블록 각각에 대응하는 변환계수들을 복원하는 복호화 단계;
상기 변환블록 각각에 대응하는 변환계수들을 역변환함으로써 잔차신호들을 복원하는 역변환 단계;
상기 인트라 예측모드 정보에 근거하여 예측픽셀들을 생성하는 예측 단계; 및
상기 잔차신호들과 상기 예측픽셀들을 가산하는 가산 단계를 포함하고,
상기 복호화 단계에서, 상기 변환블록 정보를 복원하는 것은,
상기 트리구조에서 어느 한 블록이 하위 레이어의 복수의 블록으로 분할되는지 여부를 지시하는 분할변환플래그를 복원하는 단계;
상기 분할변환플래그가 상기 어느 한 블록이 분할됨을 지시하는지 여부와 상관없이, 상기 어느 한 블록의 제1 색차성분이 적어도 하나의 0이 아닌 변환계수를 가지는지 여부를 지시하는 제1 색차 부호화 블록 플래그 및 상기 어느 한 블록의 제2 색차성분이 적어도 하나의 0이 아닌 변환계수를 가지는지 여부를 지시하는 제2 색차 부호화 블록 플래그를 복원하는 단계; 및
상기 분할변환플래그가 상기 어느 한 블록이 더 이상 분할되지 않음을 지시할 때, 상기 어느 한 블록의 휘도성분이 적어도 하나의 0이 아닌 변환계수를 가지는지 여부를 지시하는 휘도 부호화 블록 플래그를 복원하고 상기 어느 한 블록을 상기 변환블록으로 식별하는 단계
를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제 8항에 있어서,
상기 복호화 단계는, 상기 현재블록을 하나 이상의 예측단위로 분할하기 위한 예측단위 타입 정보를 복원하는 단계를 포함하고,
상기 예측 단계는, 상기 현재블록을 상기 예측단위 타입 정보에 따라 하나 이상의 예측단위로 분할하는 단계, 및 상기 예측단위의 크기로 상기 현재블록 내의 예측픽셀들을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
삭제
제 8항에 있어서,
상기 분할변환플래그가 상기 어느 한 블록이 분할됨을 지시할 때, 상기 어느 한 블록은 4개의 동일 크기 블록으로 분할되는 것을 특징으로 하는 영상 복호화 방법.
제 8항에 있어서,
상기 어느 한 블록의 상기 제1 색차 부호화 블록 플래그는 상기 어느 한 블록의 상위 레이어 블록의 제1 색차성분이 적어도 하나의 0이 아닌 변환계수를 가질 때 복원되고,
상기 어느 한 블록의 상기 제2 색차 부호화 블록 플래그는 상기 어느 한 블록의 상위 레이어 블록의 제2 색차성분이 적어도 하나의 0이 아닌 변환계수를 가질 때 복원되는 것을 특징으로 하는 영상 복호화 방법.