+

KR20120041440A - 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR20120041440A
KR20120041440A KR1020100102893A KR20100102893A KR20120041440A KR 20120041440 A KR20120041440 A KR 20120041440A KR 1020100102893 A KR1020100102893 A KR 1020100102893A KR 20100102893 A KR20100102893 A KR 20100102893A KR 20120041440 A KR20120041440 A KR 20120041440A
Authority
KR
South Korea
Prior art keywords
encoding
image
encoding structure
determined
global motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020100102893A
Other languages
English (en)
Other versions
KR101693284B1 (ko
Inventor
임정연
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020100102893A priority Critical patent/KR101693284B1/ko
Publication of KR20120041440A publication Critical patent/KR20120041440A/ko
Application granted granted Critical
Publication of KR101693284B1 publication Critical patent/KR101693284B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 실시예는 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.
본 발명의 실시예는, 기 사용중인 부호화구조의 부호화할 영상의 전역움직임 정보를 산출하고 상기 전역움직임의 크기와 변화량을 고려하여 적응적으로 부호화구조를 결정하여 상기 결정된 부호화구조에 따라 상기 부호화할 영상으로부터 영상시퀀스를 발생하고 상기 발생되는 영상시퀀스에 대하여 상기 결정된 부호화구조에 따라 인터예측 부호화를 수행하고 상기의 결정된 부호화구조를 복호하여 복호화를 수행하는 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치를 제공한다.

Description

전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치{Method and Apparatus for Encoding/Decoding of Video Data Using Global Motion-based Enconding Structure}
본 발명의 실시예는 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 영상간 전역 움직임을 분석하여 사용중인 B픽쳐 구조의 적절성 여부를 판단하고 적응적으로 부호화 구조를 선택함으로써 부호화 효율을 높여 같은 비트율에서 더욱 우수한 복원 화질을 얻고자 하는 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래기술을 구성하는 것은 아니다.
H.264/AVC를 포함한 대부분의 영상 부호화 기술은 픽쳐 단위로 부호화를 진행하는데, 화면내 예측만 사용 가능한 I픽쳐, 화면내 예측뿐만 아니라 화면간 예측까지 사용하는 P픽쳐와 B픽쳐가 있다. 이때 P픽쳐는 단방향 예측만 가능하고 B픽쳐는 양방향 예측까지 가능하며 이러한 픽쳐들로 구성된 부호화 구조를 사용하여 영상을 부호화하는데 B픽쳐 한 장을 사용하면 부호화 구조의 단위는 BP가 되어 부호화 구조는 I BP BP가 되고 두 장을 사용하면 부호화 구조의 단위는 BBP가 되어 부호화 구조는 I BBP BBP가 된다. 이때, 역방향 예측을 위해 시간적으로 뒤에 위치한 영상을 먼저 부호화해야 하므로 부호화 순서는 각각 I PB PB, I PBB PBB가 된다.
일반적으로 양방향 예측의 경우, 시간적으로 앞에 위치한 영상뿐만 아니라 뒤에 위치한 영상까지 참조하기 때문에 앞에 위치한 영상만을 참조하는 단방향 예측보다 성능이 좋을 것이라 생각되고 실제로 좋은 경우도 많이 있으나 여러 가지 요인으로 인해 단방향 예측만 사용하여 부호화할 때 더 좋은 성능을 보여주는 영상도 있다. 그러나 어떤 영상이 단방향 예측만 사용하여 부호화할 때 더 좋은 성능을 보이는지 알 수 없을 뿐 아니라 영상 전체에 적용할 경우의 성능도 알 수가 없다. 그럼에도 불구하고 부호화 이전에 결정된 부호화 구조를 부호기에 입력하는 경우 고정된 부호화 구조로 인해 부호화 효율이 낮아지게 된다
이러한 문제점을 해결하기 위해 본 발명의 실시예는, 동영상의 전역 움직임을 탐색하고 분석하여 적응적으로 부호화 효율이 더 좋은 부호화 구조를 선택하여 적응적으로 부호화 구조를 사용함으로써 더욱 높은 압축 효율을 얻음으로써 같은 비트율에서 더 우수한 복원 화질을 얻는데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화/복호화하는 장치에 있어서, 기 사용중인 부호화구조의 부호화할 영상의 전역움직임 정보를 산출하고 상기 전역움직임의 크기와 변화량을 고려하여 적응적으로 부호화구조를 결정하여 상기 결정된 부호화구조에 따라 상기 부호화할 영상으로부터 영상시퀀스를 발생하고 상기 발생되는 영상시퀀스에 대하여 상기 결정된 부호화구조에 따라 인터예측 부호화를 수행하는 영상 부호화기; 및 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록 및 결정된 부호화구조에 대한 정보를 복호하고, 상기 복호된 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하고 상기 결정된 부호화구조에 대한 정보를 이용하여 복원할 현재 블록을 예측하여 예측 블록을 생성하고 상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 복원될 현재 블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치를 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 장치에 있어서, 기 사용중인 부호화구조의 부호화할 영상의 전역움직임 정보를 산출하고 상기 전역움직임의 크기와 변화량을 고려하여 적응적으로 부호화구조를 결정하여 상기 결정된 부호화구조에 따라 상기 부호화할 영상으로부터 영상시퀀스를 발생하는 부호화구조 결정부; 및 상기 발생되는 영상시퀀스에 대하여 상기 결정된 부호화구조에 따라 인터예측 부호화를 수행하는 인터예측 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
상기 전역움직임은, 기 사용중인 부호화구조 상에서 영상간의 화소값 차이를 이용하여 산출할 수 있다.
상기 부호화구조 내의 영상의 단위는, 픽처 또는 슬라이스일 수 있다.
상기 결정된 부호화구조는, 인접영상간의 전역움직임의 합과 상기 부호화할 영상의 전체 전역움직임과의 차이가 제1소정값보다 작고 상기 전체 전역움직임의 절대값이 제2소정값보다 작은 경우 기 사용중인 부호화구조를 사용할 수 있다.
상기 기 사용중인 부호화구조는, B픽처 또는 B슬라이스가 포함된 부호화구조일 수 있다.
상기 인터예측 부호화부는, 상기 결정된 부호화구조를 부호화하여 비트스트림으로 변환할 수 있다.
상기 부호화구조 결정부는, 기 사용중인 부호화구조의 부호화할 영상의 전역움직임에 대한 정보를 산출하는 전역움직임 산출부; 상기 전역움직임의 크기와 변화량을 분석하여 적응적으로 부호화구조를 결정하는 전역움직임 분석부; 및 상기 결정된 부호화구조에 따라 상기 부호화할 영상으로부터 영상시퀀스를 발생하는 영상시퀀스 발생부를 포함할 수 있다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 장치에 있어서, 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록, 잔여 움직임 벡터 및 결정된 부호화구조에 대한 정보를 복호하는 복호화기; 상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환기; 상기 재설정 부호화구조에 대한 정보를 이용하여 현재 블록을 예측하여 예측 블록을 생성하는 예측기; 및 상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
상기 결정된 부호화구조는 기 사용중인 기설정 부호화구조와는 다른 부호화구조이며, 상기 기 사용중인 부호화구조는 B픽처를 사용하는 부호화구조이고, 상기 결정된 부호화구조는 B픽처를 사용하지 않는 부호화구조일 수 있다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화/복호화하는 방법에 있어서, 기 사용중인 부호화구조의 부호화할 영상의 전역움직임 정보를 산출하고 상기 전역움직임의 크기와 변화량을 고려하여 적응적으로 부호화구조를 결정하여 상기 결정된 부호화구조에 따라 상기 부호화할 영상으로부터 영상시퀀스를 발생하고 상기 발생되는 영상시퀀스에 대하여 상기 결정된 부호화구조에 따라 인터예측 부호화를 수행하는 영상 부호화단계; 및 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록 및 결정된 부호화구조에 대한 정보를 복호하고, 상기 복호된 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하고 상기 결정된 부호화구조에 대한 정보를 이용하여 복원할 현재 블록을 예측하여 예측 블록을 생성하고 상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 복원될 현재 블록을 복원하는 영상 복호화단계를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법을 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 방법에 있어서, 기 사용중인 부호화구조의 부호화할 영상의 전역움직임 정보를 산출하고 상기 전역움직임의 크기와 변화량을 고려하여 적응적으로 부호화구조를 결정하여 상기 결정된 부호화구조에 따라 상기 부호화할 영상으로부터 영상시퀀스를 발생하는 부호화구조 결정단계; 및 상기 발생되는 영상시퀀스에 대하여 상기 결정된 부호화구조에 따라 인터예측 부호화를 수행하는 인터예측 부호화단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 방법에 있어서, 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록, 잔여 움직임 벡터 및 결정된 부호화구조에 대한 정보를 복호하는 복호화단계; 상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환단계; 상기 재설정 부호화구조에 대한 정보를 이용하여 현재 블록을 예측하여 예측 블록을 생성하는 예측단계; 및 상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 영상간 전역 움직임을 분석하여 적응적으로 효율적인 부호화 구조를 이용할 수 있으며, 적응적으로 부호화구조를 선택함으로 인하여 영상 부호화시 비트생성량을 효과적으로 줄여 압축효율을 향상시킴으로써 같은 비트율에서 더욱 우수한 복원 화질을 얻는 효과가 있다.
도 1은 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치(200)를 도시한 블록도이다.
도 3은 부호화구조 결정부(210)의 구성을 예시한 도면이다.
도 4는 영상 간의 전역움직임을 탐색하는 과정을 예시한 도면이고, 도 5는 기 사용중인 부호화구조에서 영상간 전역움직임을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture) 또는 슬라이스(Slice)로 구성될 수 있으며, 각 픽처 또는 슬라이스(Slice)들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.
도 1은 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
영상 부호화 장치(100)는 예측기(Predictor, 110), 감산기(Subtractor, 120), 변환 및 양자화기(Transformer and Quantizer, 130), 스캐너(Scanner, 140), 부호화기(Encoder, 150), 역양자화 및 역변환기(Inverse Quantizer and Transformer, 160), 가산기(Adder, 170) 및 필터(Filter, 180)를 포함하여 구성될 수 있다.
부호화하고자 하는 입력 영상은 블록 단위로 입력될 수 있는데, 블록은 매크로블록(Macroblock)이 될 수 있다. 여기서, 매크로블록의 형태는 P×Q(단, P는 2m(m은 1 이상의 정수), Q는 2n(단, n은 1 이상의 정수)의 값을 가지는 자연수) 등의 다양한 형태일 수 있다. 또한, 부호화할 프레임마다 다른 형태의 블록을 이용할 수 있으며, 매크로블록의 형태가 P×Q 등 다양한 형태인 경우에 이에 대한 정보인 블록 타입에 대한 정보를 각 프레임마다 부호화하여, 영상 복호화 장치에서 부호화된 데이터를 복호화할 때 복호화할 프레임의 블록의 형태를 결정하도록 할 수 있다. 어떠한 형태의 블록을 이용할지에 대한 결정은 현재 프레임을 다양한 형태의 블록으로 부호화하여 최적의 효율을 내는 블록의 형태를 선택하거나, 프레임의 특성을 분석하여 분석된 특성에 따라 블록의 형태를 선택할 수 있으며, 이를 위해, 영상 부호화 장치(100)는 블록 타입을 결정하고 블록 타입에 대한 정보를 부호화하여 부호화 데이터에 포함시키는 블록 타입 결정기(미도시)를 추가로 포함하여 구성될 수 있다.
예측기(110)는 영상의 현재 블록의 움직임을 추정하고 보상하여 생성되는 움직임 보상 블록 및 움직임 벡터를 생성한다. 즉, 예측기(110)는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 여기서, 예측기(110)는 인트라 예측 또는 인터 예측을 이용하여 현재 블록을 예측할 수 있다. 인터 예측의 경우에는 움직임 벡터도 생성한다.
감산기(120)는 현재 블록과 예측 블록을 감산하여 잔여 블록(Residual Block)을 생성한다. 즉, 감산기(120)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 예측기(110)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔여 신호(Residual Signal)를 갖는 잔여 블록을 생성한다.
변환 및 양자화기(130)가 잔여 블록을 변환 및 양자화할 때, 양자화 과정에 변환 과정이 포함되어 있기 때문에 양자화가 완료되어야만 변환도 완료된다. 여기서, 변환 방식으로는 하다마드 변환(Hadamard Transform), 이산 코사인 트랜스폼 기반의 정수 변환(Discrete Cosine Transform Based Integer Transform, 이하 '정수 변환'이라고 약칭함) 등과 같은 공간 영역의 영상 신호를 주파수 영역으로 변환하는 기법이 이용될 수 있으며, 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법이 이용될 수 있다.
스캐너(140)는 변환 및 양자화기(130)에 의해 변환 및 양자화된 잔여 블록의 양자화 변환 계수들을 스캐닝(Scanning)하여 양자화 변환 계수열을 생성한다. 이때, 스캐닝 방식은 변환 기법, 양자화 기법, 블록(매크로블록 또는 서브블록)의 특성을 고려하며, 스캐닝 순서는 스캐닝한 양자화 변환 계수열이 최소의 길이가 되도록 결정될 수 있다. 도 1에서는 스캐너(140)가 부호화기(150)와 독립적으로 구현되는 것으로 도시하고 설명하지만, 스캐너(140)는 생략되어 그 기능이 부호화기(150)에 통합될 수 있다.
부호화기(150)는 스캐닝한 양자화 변환 계수열을 부호화하여 비트스트림을 출력할 수 있다. 즉, 부호화기(150)는 양자화된 변환 계수가 스캔된 주파수 계수열을 엔트로피 부호화(Entropy Encoding) 등 다양한 부호화 기법을 이용하여 부호화하고 해당 블록을 복호화하는 데 필요한 부가적인 정보들(예를 들면, 예측 모드에 대한 정보, 양자화 계수(Quantization Parameter), 움직임 벡터(Motion Vector) 등)을 함께 포함하는 비트스트림을 생성하고 출력할 수 있다.
즉, 부호화기(150)는 변환 및 양자화기(130)에 의해 변환 및 양자화된 잔여 블록의 양자화 변환 계수들을 스캔하여 생성되는 양자화 변환 계수열을 부호화하여 부호화 데이터를 생성하거나 스캐너(140)에 의해 스캔되어 생성되는 양자화 변환 계수열을 부호화하고 생성된 잔여 움직임 벡터를 부호화하여 부호화 데이터를 생성할 수 있다.
이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 이용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다. 또한, 부호화기(150)는 양자화 변환 계수열을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 여기서, 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들이란 블록 타입에 대한 정보, 예측 모드가 인트라 예측 모드인 경우에는 인트라 예측 모드에 대한 정보, 예측 모드가 인터 예측 모드인 경우에는 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있지만, 이외의 다양한 정보들이 될 수도 있다.
역양자화 및 역변환기(160)는 변환 및 양자화기(130)에 의해 변환 및 양자화된 잔여 블록을 역 양자화(Inverse Quantization)하고 역 변환(Inverse Transform)하여 잔여 블록을 복원(Reconstruction)한다. 역 양자화와 역 변환은 변환 및 양자화기(130)가 수행한 변환 과정과 양자화 과정을 역으로 수행함으로써 이루어질 수 있다. 즉, 역양자화 및 역변환기(160)는 변환 및 양자화기(130)로부터 발생되어 전달되는 변환 및 양자화에 관한 정보(예를 들어, 변환 및 양자화 타입에 대한 정보)를 이용하여 변환 및 양자화기(130)가 변환 및 양자화한 방식을 역으로 수행하여 역 양자화 및 역 변환을 수행할 수 있다.
가산기(170)는 예측기(110)에 의해 예측된 예측 블록과 역양자화 및 역변환기(160)에 의해 역 양자화 및 역 변환된 잔여 블록을 가산하여 현재 블록을 복원한다.
필터(180)는 가산기(170)에 의해 복원되는 현재 블록을 필터링(Filtering)한다. 이때, 필터(180)는 영상의 블록 단위의 변환 및 양자화에 의해 블록 경계 또는 변환 경계에서 발생하는 블록화 현상(Blocking Effects)을 감소시킨다. 한편, 필터(180)는 복원된 현재 블록과 함께 전송되는 변환 및 양자화 타입에 대한 정보를 이용하여 필터링할 수 있다. 이 변환 및 양자화 타입에 대한 정보는 역양자화 및 역변환기(160)에 의하여 가산기(170)으로 전달되고 다시 필터(180)로 전달될 수 있으며, 필터(180)에서는 블록화 현상을 없애기 위한 방법으로 디블록킹 필터(Deblocking Filter)를 사용할 수 있다.
여기서, 현재 블록과 움직임 보상 블록의 차이인 잔여 블록만 변환 및 양자화되고 부호화되어 인터 예측 부호화에 따른 영상 부호화 데이터가 비트스트림에 포함되는 것으로 설명하지만, 실제로 영상 부호화 장치(100)는 인트라 예측 부호화되는 영상 부호화 데이터를 추가로 생성할 수 있으며, 비트스트림에는 인터 예측 부호화에 의해 생성되는 영상 부호화 데이터뿐만 아니라 인트라 예측 부호화에 의해 생성되는 영상 부호화 데이터와 그 영상 부호화 데이터를 인트라 예측 복호하기 위한 정보 또는 그 부호화 데이터가 추가로 포함될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치(200)를 도시한 블록도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(200)는 부호화구조 결정부(210) 및 인터예측 부호화부(220)를 포함하며, 부호화구조 결정부(210)는 도 3에 도시한 바와 같이, 전역움직임 산출부(212), 전역움직임 분석부(214) 및 영상시퀀스 발생부(216)를 포함할 수 있다.
부호화구조 결정부(210)는 기 사용중인 부호화구조의 부호화할 영상의 전역움직임 정보를 산출하고 전역움직임의 크기와 변화량을 고려하여 적응적으로 부호화구조를 결정하여 결정된 부호화구조에 따라 부호화할 영상으로부터 영상시퀀스를 발생한다. 여기서 영상 부호화 장치(200)의 일정 갯수의 B픽처를 갖는 부호화구조가 기 설정되어 사용중인 것으로 가정하고 이하의 부호화구조 결정부(210)에 대하여 설명한다.
전역움직임 산출부(212)는 기 사용중인 부호화구조의 부호화할 영상의 전역움직임에 대한 정보를 산출한다.
도 4는 영상 간의 전역움직임을 탐색하는 과정을 예시한 도면이고, 도 5는 기 사용중인 부호화구조에서 영상간 전역움직임을 예시한 도면이다.
동영상의 영상간 전역움직임을 찾아내기 위해 기 사용중인 부호화구조 상에서 부호화구조 내의 영상간의 화소값 차이를 이용할 수 있다. 전역움직임을 찾기 위한 일례로는 도 4와 같이 두 영상(예컨대 픽처) 간의 화소값 차이 절대값의 합(SAD: Sum of Absolute Difference)을 전역움직임을 판단하기 위한 수단으로 사용할 수 있으며, 도 4의 경우 두 픽처 사이의 화소값 차이 절대값의 합이 최소인 위치와의 움직임 차이가 전역움직임으로 설정될 수 있다. 도 5와 같이 B픽쳐를 두 장 사용하는 IBBP 부호화구조의 경우 픽처0과 픽처1 사이의 전역움직임을 나타내는 벡터인 GMV1, 픽처1과 픽처2 사이의 전역움직임을 나타내는 벡터인 GMV2, 픽처2와 픽처3 사이의 전역움직임을 나타내는 벡터인 GMV3, 픽처0과 픽처3 사이의 전역움직임을 나타내는 벡터인 GMV0을 각 픽처간의 SAD를 이용하여 찾아낼 수 있다. 한편 전역움직임을 찾기 위한 수단으로 SAD를 사용하는 것으로 예시하였으나 본 발명이 이에 한정되지 않고 다양한 방법을 사용할 수 있다.
전역움직임 분석부(214)는 전역움직임의 크기와 변화량을 분석하여 적응적으로 부호화구조를 결정한다.
전역움직임 분석부(214)는 적응적으로 효율적인 부호화 구조를 판단하기 위한 영상간 전역 움직임을 분석하는 기법은 영상간의 전역움직임의 크기와 변화량을 이용할 수 있다.
영상의 부호화 구조는 일반적으로 전역움직임이 없거나, 전역움직임이 작고 일정한 영상은 양방향 예측을 사용하는 B픽쳐를 사용하는 것이 효율적이고 반대로 움직임이 크고 일정하지 않은 영상은 B픽쳐를 사용하지 않는 것이 효율적일 수 있다.
그 이유는 일반적으로 영상의 전역움직임이 큰 경우 B픽쳐가 사용되면 I픽쳐와 P픽쳐 사이의 움직임 정보가 커짐으로써 영상간의 연관성이 크게 떨어지게 되고 매크로블록의 움직임 벡터의 크기가 커지게 되어 심할 경우 화면내 예측 매크로블록 모드로 부호화하는 경우가 발생할 수도 있다.
영상의 전역움직임이 일정하지 않은 경우에도 마찬가지로 B픽쳐를 사용하지 않는 것이 효율적일 수 있다. 영상의 움직임이 일정하지 않으면 B픽쳐의 성능 향상 요인 중 하나인 다이렉트 매크로블록 모드와 스킵 매크로블록 모드 사용이 줄어들게 되므로 B픽쳐의 부호화 효율도 낮아질 수 있다. 그렇기 때문에 이런 경우는 B픽쳐를 사용하지 않는 것이 효율적이다.
따라서, 전역움직임이 작고 일정한 경우에는 부호화구조에 B픽쳐를 사용하는 것이 효율적일 수 있다.
한편, 전역움직임 분석부(214)는 영상의 전역움직임이 일정한지 여부는 인접영상간의 전역움직임의 합과 부호화할 영상의 전체 전역움직임과의 차이가 제1소정값보다 작은지 여부로 판단한다. 즉, 도 4에 도시한 바와 같이 현재 기 사용중인 부호화구조가 B픽처를 두개 사용하는 IBBP인 경우에 인접영상간의 전역움직임의 합 (GVM1+GVM2+GVM0)의 값이 전체 전역움직임인 GVM0와의 차이가 기설정된 제1소정값보다 작으면 영상의 전역움직임이 일정한 것으로 판단한다. (GVM1+GVM2+GVM0)와 GVM0와의 차이는 x축 y축 각각 비교하여 제1소정값보다 작은지 여부를 판단할 수 있다.
또한, 전역움직임 분석부(214)는 전역움직임이 작은지 여부는 전체 전역움직임의 절대값이 제2소정값보다 작은지 여부로 판단한다. 즉, 도 5에 도시한 바와 같이 현재 기 사용중인 부호화구조가 B픽처를 두개 사용하는 IBBP인 경우에 전체 전역움직임인 GVM0의 값이 기설정된 제2소정값보다 작은지 여부를 판단할 수 있다.
위에 언급한 바와 같이 전역움직임 분석부(214)는 영상의 전역움직임이 일정하고, 전역움직임이 작은 경우에 기 사용중인 B픽처 구조를 그대로 사용하도록 부호화구조를 결정하고, 영상의 전역움직임이 일정하지 않거나 전역움직임이 크다고 판단한 경우에는 B픽처를 사용하지 않는 IPPP의 부호화구조로 결정한다.
여기서 부호화구조를 나타내는 하나의 영상의 단위를 픽처로 가정하였으나, 실시예에 따라서는 하나의 영상의 단위는 슬라이스일 수도 있다.
영상시퀀스 발생부(216)는 전역움직임 분석부(214)에 의해 결정된 부호화구조에 따라 부호화할 영상으로부터 영상시퀀스를 발생한다. 즉, IBBP 구조의 기 사용중인 부호화구조를 그대로 사용하는 것으로 부호화구조가 결정된 경우에는 픽처0, 픽처1, 픽처2, 픽처3의 순서로 영상시퀀스를 발생한다. 하지만, 전역움직임 분석부(214)에 의해 IPPP 구조로 부호화를 하는 것으로 결정된 경우에는 픽처0, 픽처4, 픽처2, 픽처3의 순서로 영상시퀀스를 발생한다. 참고로 여기서 픽처에 붙인 번호는 영상시퀀스 발생부(216)에 입력되는 영상의 순서나 발생되는 영상시퀀스의 순서를 의미하는 것은 아니며, 설명의 편의상 부호화구조 내의 픽처를 구분하기 위해 번호를 붙인 것이다.
한편, 영상시퀀스 발생부(216)는 영상시퀀스를 발생함에 있어서 하나의 픽처 또는 슬라이스를 고정크기 혹은 다양한 크기의 매크로블록으로 분할하여 발생할 수 있다.
인터예측 부호화부(220)는 영상시퀀스 발생부(216)에서 발생되는 영상시퀀스 에 대하여 전역움직임 분석부(214)에서 결정된 부호화구조에 따라 인터예측 부호화를 수행한다. 여기서 인터예측 부호화부(220)는 도 1의 영상 부호화 장치(100)를 사용할 수 있다. 즉, 발생되는 영상시퀀스는 인터예측 부호화부(220)로 사용되는 영상 부호화 장치(100) 내의 가산기(120)에 입력될 수 있으며, 전역움직임 분석부(214)에 의해 결정된 부호화구조에 대한 정보는 예측기(110)에 입력될 수 있다. 또한, 인터예측 부호화부(220) 내의 부호화기(150)는 결정된 부호화구조를 부호화하여 비트스트림으로 변환할 수 있다.
한편, 부호화구조 결정부(210)의 부호화구조를 결정하는 작업은 도 5와 같은 기 사용중인 부호화구조(예컨대 B픽처를 두개 사용하는 구조)로서 IBBP 구조에 대한 부호화가 완료되면 그 다음 영상에 대하요 부호화를 한다. 예를 들어 그 다음 영상이 IBBP 구조(혹은 PBBP 구조)인 경우 전역움직임으로부터 B픽처의 사용여부를 판단하여 IBBP 혹은 IPPP의 구조로 부호화를 할 것인지 여부를 결정할 수 있으며, 기 사용중인 구조가 PBBP인 경우에는 PBBP 혹은 PPPP의 구조로 부호화를 할 것인지 여부를 결정할 수 있다.
또한, 이는 B픽처의 갯수가 두개인 부호화구조뿐만 아니라 임의의 B픽처 갯수(예컨대 1개)를 갖는 부호화구조에 대하여도 유사한 방법으로 해당 부호화구조에서 B픽처의 사용여부를 판단할 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(600)는 복호화기(610), 역스캐너(620), 역양자화 및 역변환기(630), 예측기(640), 가산기(650) 및 필터(660)를 포함하여 구성될 수 있다. 여기서, 역스캐너(620)와 필터(660)는 반드시 포함되어야 하는 것은 아니며 구현 방식에 따라 선택적으로 생략될 수 있으며, 역스캐너(620)가 생략되는 경우에는 그 기능이 복호화기(610)에 통합되어 구현될 수 있다.
복호화기(610)는 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록 등에 대한 정보를 복호한다. 즉, 복호화기(610)는 부호화 데이터를 복호화하여 양자화 변환 계수열을 복원할 수 있는데, 영상 부호화 장치(100)에서 스캐너(140)의 기능이 부호화기(150)에 통합되어 구현된 경우 영상 복호화 장치(600)에서도 역스캐너(620)는 생략되어 그 기능이 복호화기(610)에 통합되어 구현되므로, 복호화기(610)는 복원된 양자화 변환 계수열을 역 스캐닝하여 변환 및 양자화된 잔여 블록을 복원하고, 잔여 움직임 벡터에 대한 정보를 복호하여 잔여 움직임 벡터를 복원할 수 있다.
또한, 복호화기(610)는 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록뿐만 아니라 복호화에 필요한 정보들을 복호화하거나 추출할 수 있다. 예를 들어 블록 타입에 대한 정보, 예측 모드가 인트라 예측 모드인 경우에는 인트라 예측 모드에 대한 정보, 예측 모드가 인터 예측 모드인 경우에는 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있지만, 이외의 다양한 정보들이 될 수도 있다. 또한 복호화기(610)는 결정된 부호화구조에 대한 정보를 추출할 수도 있다. 즉, 복호화기(610)는 추출한 결정된 부호화구조에 대한 정보를 예측기(640)로 전송하고, 예측기(640)는 기사용중인 부호화구조가 B픽처 두개를 사용하는 구조인 경우에, 결정된 부호화구조에 대한 정보에 따라 IBBP 구조(혹은 PBBP구조)로 복호화할 것인지 IPPP 구조(혹은 PPPP 구조)로 복호화할 것인지 여부를 결정하여 예측블록을 생성할 수 있다.
여기서, 결정된 부호화구조는 기 사용중인 기설정 부호화구조와는 다른 부호화구조이며, 또한 기 사용중인 부호화구조는 B픽처를 사용하는 부호화구조이고, 결정된 부호화구조는 B픽처를 사용하지 않는 부호화구조가 될 수 있다.
블록 타입에 대한 정보는 역양자화 및 역변환기(630)와 예측기(640)로 전달될 수 있으며, 변환 및 양자화 타입에 대한 정보는 역양자화 및 역변환기(630)로 전달될 수 있으며, 인트라 예측 모드에 대한 정보나 움직임 벡터에 대한 정보와 같은 예측에 필요한 정보들은 예측기(640)로 전달될 수 있다.
역 스캐너(620)는 복호화기(610)에서 양자화 변환 계수열을 복원하여 전달하면 양자화 변환 계수열을 역 스캐닝하여 변환 및 양자화된 잔여 블록을 복원한다.
역 스캐너(620)는 추출된 양자화 계수열을 역 지그재그 스캔 등 다양한 역 스캐닝 방식으로 역 스캐닝하여 양자화 계수를 갖는 잔여 블록을 생성한다. 이때의 역 스캐닝 방식은 복호화기(610)에서 변환의 크기에 대한 정보를 얻어 이에 해당하는 역 스캐닝 방법을 사용하여 잔여 블록을 생성하게 된다.
또한, 복호화기(610) 또는 역스캐너(620)는 복호화기(610)에서 부호화 데이터를 복호화하여 복원되는 변환 및 양자화 타입에 대한 정보에 의해 식별되는 변환 및 양자화 타입에 따라 변환 및 양자화된 잔여 블록을 역 스캐닝한다. 여기서, 역스캐너(620)가 변환 및 양자화 타입에 따라 역 스캐닝하는 방법은 스캐너(140)가 변환 및 양자화된 잔여 블록의 양자화 변환 계수들을 스캐닝하는 방법을 역으로 수행하는 것과 동일 또는 유사하므로, 역 스캐닝하는 방법에 대해서는 상세한 설명을 생략한다.
역양자화 및 역변환기(630)는 복원되는 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원한다. 이때, 역양자화 및 역변환기(630)는 복호화기(610)로부터 전달되는 변환 및 양자화 타입에 대한 정보에 의해 식별되는 변환 및 양자화 타입에 따라 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환할 수 있다. 여기서, 역양자화 및 역변환기(630)가 변환 및 양자화된 잔여 블록을 변환 및 양자화 타입에 따라 역 양자화 및 역 변환하는 방법은 영상 부호화 장치(100)의 변환 및 양자화기(130)에서 변환 및 양자화 타입에 따라 변환 및 양자화하는 과정을 역으로 수행하는 것과 동일 또는 유사하므로, 역 양자화 및 역 변환하는 방법에 대해서는 상세한 설명을 생략한다.
예측기(640)는 블록 타입에 대한 정보에 의해 식별되는 블록 타입에 따라 현재 블록의 크기와 형태를 결정하고, 예측에 필요한 정보에 의해 식별되는 인트라 예측 모드 또는 움직임 벡터를 이용하여 현재 블록을 예측하여 예측 블록을 생성할 수 있다. 이때, 예측기(640)는 영상 부호화 장치(100)의 예측기(110)와 동일 또는 유사한 방법으로, 현재 블록을 서브블록으로 분할하고 분할된 서브블록별로 예측하여 생성되는 예측 서브블록을 결합하여 예측 블록을 생성할 수 있다.
가산기(650)는 역양자화 및 역변환기(630)에 의해 복원되는 잔여 블록과 예측기(640)에 의해 생성되는 예측 블록을 가산하여 현재 블록을 복원한다.
필터(660)는 가산기(650)에 의해 복원되는 현재 블록을 필터링하고, 복원되어 필터링된 현재 블록은 픽처 단위로 누적되어 참조 픽처로서 메모리(미도시) 등에 저장되어 예측기(640)에서 다음 블록 또는 다음 픽처를 예측할 때 활용될 수 있다.
필터(660)가 필터링을 수행하는 방법은 영상 부호화 장치(100)의 필터(180)가 디블로킹 필터링하는 과정과 동일 또는 유사하므로, 필터링하는 방법에 대해서는 상세한 설명을 생략한다.
한편, 본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 2의 영상 부호화 장치(200)의 부호화데이터(비트스트림) 출력단을 도 6의 영상 복호화 장치(600)의 부호화 데이터(비트스트림) 입력단에 연결함으로써 구현할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는, 기 사용중인 부호화구조의 부호화할 영상의 전역움직임 정보를 산출하고 산출된 전역움직임의 크기와 변화량을 고려하여 적응적으로 부호화구조를 결정하여 결정된 부호화구조에 따라 부호화할 영상으로부터 영상시퀀스를 발생하고 발생되는 영상시퀀스에 대하여 결정된 부호화구조에 따라 인터예측 부호화를 수행하는 영상 부호화기(영상 부호화 장치(200)로 구현 가능); 및 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록 및 결정된 부호화구조에 대한 정보를 복호하고, 복호된 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하고 결정된 부호화구조에 대한 정보를 이용하여 복원할 현재 블록을 예측하여 예측 블록을 생성하고 복원되는 잔여 블록과 예측 블록을 가산하여 복원될 현재 블록을 복원하는 영상 복호화기(영상 복호화 장치(600)로 구현 가능)를 포함한다.
본 발명의 일 실시예에 따른 영상 부호화 방법은, 기 사용중인 부호화구조의 부호화할 영상의 전역움직임에 대한 정보를 산출하는 전역움직임 산출단계(S710), 전역움직임의 크기와 변화량을 분석하여 적응적으로 부호화구조를 결정하는 전역움직임 분석단계(S720), 결정된 부호화구조에 따라 부호화할 영상으로부터 영상시퀀스를 발생하는 영상시퀀스 발생단계(S730) 및 발생되는 영상시퀀스에 대하여 결정된 부호화구조에 따라 인터예측 부호화를 수행하는 인터예측 부호화단계(S740)를 포함한다.
여기서, 전역움직임 산출단계(S710)는 전역움직임 산출부(212)의 동작에, 전역움직임 분석단계(S720)는 전역움직임 분석부(214)의 동작에, 영상시퀀스 발생단계(S730)는 영상시퀀스 발생부(216)의 동작에, 인터예측 부호화단계(S740)는 인터예측 부호화부(220)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.
본 발명의 일 실시예에 따른 영상 복호화 방법은, 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록, 잔여 움직임 벡터 및 결정된 부호화구조에 대한 정보를 복호하는 복호화단계(S810), 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환단계(S820), 재설정 부호화구조에 대한 정보를 이용하여 현재 블록을 예측하여 예측 블록을 생성하는 예측단계(S830) 및 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산단계(S840)을 포함한다.
여기서, 복호화단계(S810)는 복호화기(610)의 동작에, 역양자화 및 역변환단계(S820)는 역양자화 및 역변환기(630)의 동작에, 예측단계(S830)는 예측기(650)의 동작에, 가산단계(S840)는 가산기(640)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 본 발명의 일 실시예에 따른 영상 부호화 방법과 본 발명의 일 실시예에 따른 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 영상을 부호화/복호화하는 방법에 있어서, 기 사용중인 부호화구조의 부호화할 영상의 전역움직임 정보를 산출하고 산출된 전역움직임의 크기와 변화량을 고려하여 적응적으로 부호화구조를 결정하여 결정된 부호화구조에 따라 부호화할 영상으로부터 영상시퀀스를 발생하고 발생되는 영상시퀀스에 대하여 결정된 부호화구조에 따라 인터예측 부호화를 수행하는 영상 부호화단계; 및 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록 및 결정된 부호화구조에 대한 정보를 복호하고, 복호된 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하고 결정된 부호화구조에 대한 정보를 이용하여 복원할 현재 블록을 예측하여 예측 블록을 생성하고 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 영상 복호화단계를 포함한다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 동영상의 전역 움직임을 탐색하고 분석하여 적응적으로 부호화 효율이 더 좋은 부호화 구조를 선택하여 적응적으로 부호화 구조를 사용함으로써 더욱 높은 압축 효율을 얻음으로써 같은 비트율에서 더 우수한 복원 화질을 얻는 효과가 있어 산업상 이용가능성이 크다.

Claims (20)

  1. 영상을 부호화/복호화하는 장치에 있어서,
    기 사용중인 부호화구조의 부호화할 영상의 전역움직임 정보를 산출하고 상기 전역움직임의 크기와 변화량을 고려하여 적응적으로 부호화구조를 결정하여 상기 결정된 부호화구조에 따라 상기 부호화할 영상으로부터 영상시퀀스를 발생하고 상기 발생되는 영상시퀀스에 대하여 상기 결정된 부호화구조에 따라 인터예측 부호화를 수행하는 영상 부호화기; 및
    부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록 및 결정된 부호화구조에 대한 정보를 복호하고, 상기 복호된 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하고 상기 결정된 부호화구조에 대한 정보를 이용하여 복원할 현재 블록을 예측하여 예측 블록을 생성하고 상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 복원될 현재 블록을 복원하는 영상 복호화기
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치.
  2. 영상을 부호화하는 장치에 있어서,
    기 사용중인 부호화구조의 부호화할 영상의 전역움직임 정보를 산출하고 상기 전역움직임의 크기와 변화량을 고려하여 적응적으로 부호화구조를 결정하여 상기 결정된 부호화구조에 따라 상기 부호화할 영상으로부터 영상시퀀스를 발생하는 부호화구조 결정부; 및
    상기 발생되는 영상시퀀스에 대하여 상기 결정된 부호화구조에 따라 인터예측 부호화를 수행하는 인터예측 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 2항에 있어서, 상기 전역움직임은,
    기 사용중인 부호화구조 상에서 영상간의 화소값 차이를 이용하여 산출하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 2항에 있어서, 상기 부호화구조 내의 영상의 단위는,
    픽처 또는 슬라이스인 것을 특징으로 하는 영상 부호화 장치.
  5. 제 2항에 있어서, 상기 결정된 부호화구조는,
    인접영상간의 전역움직임의 합과 상기 부호화할 영상의 전체 전역움직임과의 차이가 제1소정값보다 작고 상기 전체 전역움직임의 절대값이 제2소정값보다 작은 경우 기 사용중인 부호화구조를 사용하는 것을 특징으로 하는 영상 부호화 장치.
  6. 제 2항에 있어서, 상기 기 사용중인 부호화구조는,
    B픽처 또는 B슬라이스가 포함된 부호화구조인 것을 특징으로 하는 영상 부호화 장치.
  7. 제 2항에 있어서, 상기 인터예측 부호화부는,
    상기 결정된 부호화구조를 부호화하여 비트스트림으로 변환하는 것을 특징으로 하는 영상 부호화 장치.
  8. 제 2항에 있어서, 상기 부호화구조 결정부는,
    기 사용중인 부호화구조의 부호화할 영상의 전역움직임에 대한 정보를 산출하는 전역움직임 산출부;
    상기 전역움직임의 크기와 변화량을 분석하여 적응적으로 부호화구조를 결정하는 전역움직임 분석부; 및
    상기 결정된 부호화구조에 따라 상기 부호화할 영상으로부터 영상시퀀스를 발생하는 영상시퀀스 발생부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  9. 영상을 복호화하는 장치에 있어서,
    부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록, 잔여 움직임 벡터 및 결정된 부호화구조에 대한 정보를 복호하는 복호화기;
    상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환기;
    상기 재설정 부호화구조에 대한 정보를 이용하여 현재 블록을 예측하여 예측 블록을 생성하는 예측기; 및
    상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  10. 제 9항에 있어서,
    상기 결정된 부호화구조는 기 사용중인 기설정 부호화구조와는 다른 부호화구조이며,
    상기 기 사용중인 부호화구조는 B픽처를 사용하는 부호화구조이고, 상기 결정된 부호화구조는 B픽처를 사용하지 않는 부호화구조인 것을 특징으로 하는 영상 복호화 장치.
  11. 영상을 부호화/복호화하는 방법에 있어서,
    기 사용중인 부호화구조의 부호화할 영상의 전역움직임 정보를 산출하고 상기 전역움직임의 크기와 변화량을 고려하여 적응적으로 부호화구조를 결정하여 상기 결정된 부호화구조에 따라 상기 부호화할 영상으로부터 영상시퀀스를 발생하고 상기 발생되는 영상시퀀스에 대하여 상기 결정된 부호화구조에 따라 인터예측 부호화를 수행하는 영상 부호화단계; 및
    부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록 및 결정된 부호화구조에 대한 정보를 복호하고, 상기 복호된 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하고 상기 결정된 부호화구조에 대한 정보를 이용하여 복원할 현재 블록을 예측하여 예측 블록을 생성하고 상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 복원될 현재 블록을 복원하는 영상 복호화단계
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법.
  12. 영상을 부호화하는 방법에 있어서,
    기 사용중인 부호화구조의 부호화할 영상의 전역움직임 정보를 산출하고 상기 전역움직임의 크기와 변화량을 고려하여 적응적으로 부호화구조를 결정하여 상기 결정된 부호화구조에 따라 상기 부호화할 영상으로부터 영상시퀀스를 발생하는 부호화구조 결정단계; 및
    상기 발생되는 영상시퀀스에 대하여 상기 결정된 부호화구조에 따라 인터예측 부호화를 수행하는 인터예측 부호화단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  13. 제 12항에 있어서, 상기 전역움직임은,
    기 사용중인 부호화구조 상에서 영상간의 화소값 차이를 이용하여 산출하는 것을 특징으로 하는 영상 부호화 방법.
  14. 제 12항에 있어서, 상기 부호화구조 내의 영상의 단위는,
    픽처 또는 슬라이스인 것을 특징으로 하는 영상 부호화 방법.
  15. 제 12항에 있어서, 상기 결정된 부호화구조는,
    인접영상간의 전역움직임의 합과 상기 부호화할 영상의 전체 전역움직임과의 차이가 제1소정값보다 작고 상기 전체 전역움직임의 절대값이 제2소정값보다 작은 경우 기 사용중인 부호화구조를 사용하는 것을 특징으로 하는 영상 부호화 방법.
  16. 제 12항에 있어서, 상기 기 사용중인 부호화구조는,
    B픽처 또는 B슬라이스가 포함된 부호화구조인 것을 특징으로 하는 영상 부호화 방법.
  17. 제 12항에 있어서, 상기 인터예측 부호화단계에서는,
    상기 결정된 부호화구조를 부호화하여 비트스트림으로 변환하는 것을 특징으로 하는 영상 부호화 방법.
  18. 제 12항에 있어서, 상기 부호화구조 결정단계는,
    기 사용중인 부호화구조의 부호화할 영상의 전역움직임에 대한 정보를 산출하는 전역움직임 산출단계;
    상기 전역움직임의 크기와 변화량을 분석하여 적응적으로 부호화구조를 결정하는 전역움직임 분석단계; 및
    상기 결정된 부호화구조에 따라 상기 부호화할 영상으로부터 영상시퀀스를 발생하는 영상시퀀스 발생단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  19. 영상을 복호화하는 방법에 있어서,
    부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록, 잔여 움직임 벡터 및 결정된 부호화구조에 대한 정보를 복호하는 복호화단계;
    상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환단계;
    상기 재설정 부호화구조에 대한 정보를 이용하여 현재 블록을 예측하여 예측 블록을 생성하는 예측단계; 및
    상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  20. 제 19항에 있어서,
    상기 결정된 부호화구조는 기 사용중인 기설정 부호화구조와는 다른 부호화구조이며,
    상기 기 사용중인 부호화구조는 B픽처를 사용하는 부호화구조이고, 상기 결정된 부호화구조는 B픽처를 사용하지 않는 부호화구조인 것을 특징으로 하는 영상 복호화 방법.
KR1020100102893A 2010-10-21 2010-10-21 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치 Active KR101693284B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100102893A KR101693284B1 (ko) 2010-10-21 2010-10-21 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100102893A KR101693284B1 (ko) 2010-10-21 2010-10-21 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120041440A true KR20120041440A (ko) 2012-05-02
KR101693284B1 KR101693284B1 (ko) 2017-01-05

Family

ID=46262517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100102893A Active KR101693284B1 (ko) 2010-10-21 2010-10-21 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101693284B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018097589A1 (ko) * 2016-11-22 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205801A (ja) * 1998-01-08 1999-07-30 Oki Electric Ind Co Ltd 動画像符号化装置およびその符号化選択方法
JP2001309354A (ja) * 2000-04-19 2001-11-02 Sharp Corp 画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205801A (ja) * 1998-01-08 1999-07-30 Oki Electric Ind Co Ltd 動画像符号化装置およびその符号化選択方法
JP2001309354A (ja) * 2000-04-19 2001-11-02 Sharp Corp 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018097589A1 (ko) * 2016-11-22 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
KR101693284B1 (ko) 2017-01-05

Similar Documents

Publication Publication Date Title
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101279573B1 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9264731B2 (en) Method and an apparatus for decoding a video
KR101484171B1 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
KR20130085838A (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20130003816A (ko) 영상 부호화 및 복호화 방법과 장치
KR20110058702A (ko) 적응적 2차예측 기반 영상 부호화/복호화 방법, 장치 및 기록 매체
US20130202039A1 (en) Method and device for encoding/decoding image using extended skip mode
US20120201296A1 (en) Method and apparatus for encoding/decoding images considering low frequency components
KR20120011428A (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20130003718A (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
US20130070846A1 (en) Motion vector encoding/decoding method and apparatus using a motion vector resolution combination, and image encoding/decoding method and apparatus using same
KR20120066741A (ko) 움직임정보 병합을 이용한 부호움직임정보생성/움직임정보복원 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101449683B1 (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20100035243A (ko) 양자화 계수 결정 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20100019088A (ko) 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법
KR101543301B1 (ko) 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치
KR101346474B1 (ko) 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법
KR101575605B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101693284B1 (ko) 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치
KR101673026B1 (ko) 경쟁 기반 인터리브드 움직임 벡터코딩 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
KR20110135763A (ko) 문맥 모델링 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
KR101479137B1 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
KR101575616B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575635B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20101021

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20151012

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20101021

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160617

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20161227

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20161230

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20161230

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190926

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200928

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20211001

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220923

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240919

Start annual number: 9

End annual number: 9

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载