+

KR101246915B1 - 동영상 부호화 또는 복호화 방법 및 장치 - Google Patents

동영상 부호화 또는 복호화 방법 및 장치 Download PDF

Info

Publication number
KR101246915B1
KR101246915B1 KR20060034672A KR20060034672A KR101246915B1 KR 101246915 B1 KR101246915 B1 KR 101246915B1 KR 20060034672 A KR20060034672 A KR 20060034672A KR 20060034672 A KR20060034672 A KR 20060034672A KR 101246915 B1 KR101246915 B1 KR 101246915B1
Authority
KR
South Korea
Prior art keywords
residues
prediction
screen
generated
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR20060034672A
Other languages
English (en)
Other versions
KR20060109844A (ko
Inventor
김우식
김현문
조대성
드미트리 비리노브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20060109844A publication Critical patent/KR20060109844A/ko
Application granted granted Critical
Publication of KR101246915B1 publication Critical patent/KR101246915B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 동영상을 부호화하거나 복호화하는 방법 및 장치에 관한 것으로, 복수의 색 공간들 중에서 어느 하나의 색 공간을 선택하고, 이 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드를 선택하고, 이 예측 모드에 따라 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하고, 이 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하고, 이 제 2 레지듀들을 부호화함으로서 동영상 부호화의 효율을 극대화할 수 있다.

Description

동영상 부호화 또는 복호화 방법 및 장치{Method and apparatus for encoding or decoding moving picture}
도 1은 본 발명의 바람직한 일 실시예에 따른 동영상 부호화 장치의 구성도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 블록 사이즈의 선택을 도시한 도면이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 움직임 벡터의 선택을 도시한 도면이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 예측 방향의 선택을 도시한 도면이다.
도 5는 본 발명의 바람직한 일 실시예의 적용에 따른 색 성분들 각각의 레지듀들의 상관성의 변화를 도시한 도면이다.
도 6은 본 발명의 바람직한 일 실시예의 적용에 따른 색 성분들간의 상관성을 도시한 도면이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 동영상 복호화 장치의 구성도이다.
도 8a-8b는 본 발명의 바람직한 일 실시예에 따른 동영상 부호화 방법의 흐 름도이다.
도 9는 본 발명의 바람직한 일 실시예에 따른 동영상 복호화 방법의 구성도이다.
도 10은 본 발명의 바람직한 실시예들에 대한 시뮬레이션 결과들을 도시한 도면이다.
도 11은 본 발명의 바람직한 실시예들에 대한 무손실 모드에서의 부호화 효율의 비교를 도시한 도면이다.
도 12a-12b는 본 발명의 바람직한 실시예에 대한 시뮬레이션의 RD(Rate Distortion) 커브들을 도시한 도면이다.
본 발명은 동영상을 부호화하거나 복호화하는 방법 및 장치에 관한 것으로, 특히 H.264/MPEG-4 AVC(Advanced Video Coding) Fidelity Range Extensions(FRExt) 표준 분야에서의 동영상을 부호화하거나 복호화하는 방법 및 장치에 관한 것이다.
"레지듀얼 색 변환(residual color transformation)"이라 불리는 새로운 RGB 부호화 기술은 H.264/MPEG-4 AVC Fidelity Range Extensions 표준화 과정에서 개발되었다. 이것은 RGB 색 공간을 YCbCr 색 공간으로 변환할 때 발생하는 화질 열화를 방지하기 위한 것이다. 그러나, H.264/MPEG-4 AVC FRExt 상의 RGB 부호화 기술도 동영상 재생 기기들에 적용하기에는 아직 동영상 부호화 효율이 충분히 높지 않다 는 문제점이 있었다.
본 발명이 이루고자 하는 기술적 과제는 H.264/MPEG-4 AVC FRExt 상의 RGB 부호화 기술의 동영상 부호화 효율을 높일 수 있는 장치 및 방법을 제공하는데 있다. 또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 제 1 부호화 방법은 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드를 선택하는 단계; 상기 선택된 예측 모드에 따라 상기 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 단계; 상기 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계; 및 상기 생성된 제 2 레지듀들을 부호화하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 1 부호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 1 부호화 장치는 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드를 선택하는 선택부; 상기 선택부에 의해 선택된 예측 모드에 따라 상기 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 감산기; 상기 생성부에 의해 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 변환부; 및 상기 변환부에 의해 생성된 제 2 레지듀들을 부호화하는 부호화부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 2 부호화 방법은 복수의 색 공간들 중에서 어느 하나의 색 공간을 선택하는 단계; 상기 선택된 색 공간을 구성하는 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 단계; 상기 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계; 및 상기 생성된 제 2 레지듀들을 부호화하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 2 부호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 2 부호화 장치는 복수의 색 공간들 중에서 어느 하나의 색 공간을 선택하는 선택부; 상기 선택부에 의해 선택된 색 공간을 구성하는 색 성분들마다 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 생성부; 상기 생성부에 의해 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 변환부; 및 상기 변환부에 의해 생성된 제 2 레지듀들을 부호화하는 부호화부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 3 부호화 방법은 복수의 색 공간들 중에서 어느 하나의 색 공간을 선택하는 단계; 상기 선택된 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드를 선택하는 단계; 상기 선택된 예측 모드에 따라 상기 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 단계; 상기 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계; 및 상기 생성된 제 2 레지듀들을 부호화하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 3 부호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 3 부호화 장치는 복수의 색 공간들 중에서 어느 하나의 색 공간을 선택하는 제 1 선택부; 상기 제 1 선택부에 의해 선택된 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드를 선택하는 제 2 선택부; 상기 제 2 선택부에 의해 선택된 예측 모드에 따라 상기 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 감산기; 상기 감산기에 의해 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 변환부; 및 상기 변환부에 의해 생성된 제 2 레지듀들을 부호화하는 부호화부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 4 부호화 방법은 소정의 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 제 1 예측 모드 및 상기 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 제 2 예측 모드 중 어느 하나를 선택하는 단계; 상기 선택된 예측 모드에 따라 상 기 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 단계; 상기 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계; 및 상기 생성된 제 2 레지듀들을 부호화하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 4 부호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 4 부호화 장치는 소정의 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 제 1 예측 모드 및 상기 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 제 2 예측 모드 중 어느 하나를 선택하는 선택부; 상기 선택부에 의해 선택된 제 1 예측 모드 또는 제 2 예측 모드에 따라 상기 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 감산기; 상기 감산기에 의해 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 변환부; 및 상기 변환부에 의해 생성된 제 2 레지듀들을 부호화하는 부호화부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 1 복호화 방법은 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계; 소정의 색 공간에서 상기 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 단계; 상기 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드에 따라 예측 화면을 생성하는 단계; 및 상기 생성된 제 1 레지듀들과 상기 생성된 예측 화면간의 합산에 해당하는 복원 화면을 생성하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 1 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 1 복호화 장치는 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 복호화부; 소정의 색 공간에서 상기 복호화부에 의해 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 역변환부; 상기 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드에 따라 예측 화면을 생성하는 예측부; 및 상기 역변환부에 의해 생성된 제 1 레지듀들과 상기 예측부에 의해 생성된 예측 화면간의 합산에 해당하는 복원 화면을 생성하는 가산기를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 2 복호화 방법은 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계; 복수의 색 공간들 중에서 어느 하나의 색 공간에서 상기 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 단계; 및 상기 생성된 제 1 레지듀들과 예측 화면의 합산에 해당하는 복원 화면을 생성하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 2 복호 화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 2 복호화 장치는 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 복호화부; 복수의 색 공간들 중에서 어느 하나의 색 공간에서 상기 복호화부에 의해 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 역변환부; 및 상기 생성된 제 1 레지듀들과 예측 화면의 합산에 해당하는 복원 화면을 생성하는 가산기를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 3 복호화 방법은 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계; 복수의 색 공간들 중에서 어느 하나의 색 공간에서 상기 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 단계; 상기 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드에 따라 예측 화면을 생성하는 단계; 및 상기 생성된 제 1 레지듀들과 상기 생성된 예측 화면간의 합산에 해당하는 복원 화면을 생성하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 3 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 3 복호화 장치는 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지 듀들을 생성하는 복호화부; 복수의 색 공간들 중에서 어느 하나의 색 공간에서 상기 복호화부에 의해 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 역변환부; 상기 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드에 따라 예측 화면을 생성하는 예측부; 및 상기 역변환부에 의해 생성된 제 1 레지듀들과 상기 예측부에 의해 생성된 예측 화면간의 합산에 해당하는 복원 화면을 생성하는 가산기를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 4 복호화 방법은 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계; 소정의 색 공간에서 상기 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 단계; 상기 소정의 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 제 1 예측 모드 및 상기 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 제 2 예측 모드 중 어느 하나에 따라 예측 화면을 생성하는 단계; 및 상기 생성된 제 1 레지듀들과 상기 생성된 예측 화면간의 합산에 해당하는 복원 화면을 생성하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 4 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 4 복호화 장치는 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 복호화부; 소정의 색 공간에서 상기 복호화부에 의해 상기 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 역변환부; 상기 소정의 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 제 1 예측 모드 및 상기 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 제 2 예측 모드 중 어느 하나에 따라 예측 화면을 생성하는 예측부; 및 상기 역변환부에 의해 생성된 제 1 레지듀들과 상기 예측부에 의해 생성된 예측 화면간의 합산에 해당하는 복원 화면을 생성하는 가산기를 포함한다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 동영상 부호화 장치의 구성도이다.
도 1을 참조하면, 본 실시예에 따른 동영상 부호화 장치는 색 공간 선택부(101), 인터 예측 모드 선택부(102), 움직임 추정부(103), 움직임 보상부(104), 인트라 예측 모드 선택부(105), 인트라 예측부(106), 감산기(107), 레지듀 변환부(108), 주파수 공간 변환부(109), 양자화부(110), 엔트로피 부호화부(111), 역양자화부(112), 주파수 공간 역변환부(113), 레지듀 역변환부(114), 가산기(115), 및 필터(116)로 구성된다.
색 공간 선택부(101)는 현재 화면의 특성에 기초하여 적응적(adaptive)으로 복수의 색 공간들 중에서 어느 하나의 색 공간을 선택한다. 복수의 색 공간들의 예로는 YCgCo 색 공간 및 RGB 색 공간을 들 수 있다. YCgCo 색 공간에서 Y는 휘도 성분(luma component)을 의미하고, Co는 색차 오렌지 성분(Chroma orange component) 을 의미하고, Cg는 색차 그린 성분(Chroma green component)을 의미한다. RGB 색 공간에서 R은 레드 색 성분(Red color component)을 의미하고, G는 그린 색 성분(Green color component)을 의미하고, B는 블루 색 성분(Blue color component)을 의미한다.
본 실시예에서는 YCgCo 색 공간에서 현재 화면을 부호화하는 방식을 RCT(Residual Color Transformation)라고 부르고, RGB 색 공간에서 현재 화면을 부호화하는 방식을 IPP(Inter-Plane Prediction)라고 부르기로 한다.
상기된 색 공간들 중 RGB 색 공간이 인간에게 인식될 수 있는 R 성분, G 성분, 및 B 성분으로 구성된 색 공간이다. 따라서, 색 공간 선택부(101)에 의해 RGB 색 공간이 아닌 다른 색 공간, 즉 YCgCo 색 공간이 선택된 경우에는 YCgCo 색 공간에서의 부호화가 수행된 후, 색 디스플레이 장치들에 적용하기 위하여 YCgCo 색 공간으로부터 RGB 색 공간으로 변환되어야 한다.
HD(High Definition) 동영상, 필름 스캔 이미지들, 탐슨 바이퍼 시퀀스(Thompson Viper sequences) 등과 같은 고 화질 이미지 집합들을 사용한 수많은 실험들의 결과에 따르면, 다양한 특성과 비트 레이트를 갖는 이미지에 대한 파나케이아(panacea)는 없다. 어떤 이미지들은 하나의 색 성분에 심각한 필름 그레인 노이즈(film grain noise)를 가지고 있고, 다른 것들은 써말 노이즈(thermal noise)를 가지고 있고, 또 다른 것들은 포화 색 특성(saturated color characteristics)을 가지고 있다. 어떤 경우에는 RCT이 효율적이고, 어떤 경우에는 IPP이 효율적이다. 그러므로, 본 실시예에서는 RCT 및 IPP 중 어느 하나를 이미지 특성에 따라 적 응적으로 적용한다. 또한, 동영상 부호화 장치에서 어떠한 색 변환을 사용하는가에 대해서는 H.264/MPEG-4 AVC FRExt에서의 일 비트 플래그를 사용하여 동영상 복호화 장치에게 알려줄 수 있다.
특히, 동영상의 비트 레이트(bit rate)가 높은 환경에서 RCT이 IPP보다 부호화 효율이 더 높다. 다만, RCT의 경우에 서로 다른 색 공간 사이의 변환으로 인한 화질 열화가 발생된다. 특히, 현재 화면에 잡음(noise)이 많이 존재하거나, 현재 화면의 구성이 복잡한 경우에는 이와 같은 화질 열화가 더욱 심해진다. 따라서, 색 공간 선택부(101)는 현재 화면에 잡음이 많이 존재하거나, 현재 화면의 구성이 복잡한 경우에는 RGB 색 공간을 선택하고, 현재 화면에 잡음이 거의 존재하지 않거나, 현재 화면의 구성이 단순한 경우에는 YCgCo 색 공간을 선택한다. 즉, 색 공간 선택부(101)는 동영상의 비트 레이트, 부호화 시퀀스(coded sequences)의 특성 등에 기초하여 적응적으로 색 공간을 선택한다.
인터 예측 모드 선택부(102)는 색 공간 선택부(101)에 의해 선택된 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 인터 예측 모드 및 색 공간 선택부(101)에 의해 선택된 색 공간을 구성하는 모든 색 성분들에 일률적(single)으로 적용되는 인터 예측 모드 중 어느 하나를 선택한다. 일반적으로, 인터 예측에서 모든 색 성분들이 그들 각각의 움직임 벡터를 가지고 있다면, 색 성분들 각각의 레지듀들(residual data)은 다른 특성을 갖게 되며, 결국 다른 색 성분들의 레지듀들 사이의 상관성(correlation)은 작아지게 된다. 그러므로, 본 실시예에서는 다른 색 성분들의 레지듀들 사이의 상관성을 높이기 위하여 모든 색 성분들에 대하여 동일 한 예측 모드, 즉 동일한 블록 사이즈 및 동일한 움직임 벡터를 사용하는 싱글 모드를 제안한다. 이것은 RGB 성분들이 유사한 텍스처(texture) 특성을 가지고 있을 때에 보다 자연스런 영상을 제공한다. 또한, 동영상 부호화 장치에서 이와 같은 싱글 모드와 독립적인 모드 중 어느 것을 사용하는가에 대해서는 H.264/MPEG-4 AVC FRExt에서의 일 비트 플래그를 사용하여 동영상 복호화 장치에게 알려줄 수 있다.
인터 예측 모드 선택부(102)가 싱글 모드를 선택하는 경우를 구체적으로 설명하면, 인터 예측 모드 선택부(102)는 먼저 색 공간 선택부(101)에 의해 선택된 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 블록들의 사이즈를 선택한다. 현재 화면을 구성하는 블록들의 사이즈는 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4 등이 될 수 있다. 일반적으로, 16x16 블록을 매크로블록(macroblock)이라고 하며, 이것을 여러 사이즈로 분할하여 얻어진 블록을 서브블록(subblock)이라고 한다. 동영상의 부호화 및 복호화는 이와 같은 블록 단위로 이루어지며, 동영상 중 보다 더 정밀한 부호화 및 복호화가 요구되는 부분에 대해서는 보다 더 작은 사이즈의 블록 단위로 이루어진다.
보다 상세하게 설명하면, 인터 예측 모드 선택부(102)는 색 성분들 각각의 블록들의 사이즈에 기초하여 모든 색 성분들에 일률적으로 적용되는 블록들의 사이즈를 선택한다. 예를 들면, 인터 예측 모드 선택부(102)는 Y 성분의 블록들의 사이즈, Co 성분의 블록들의 사이즈, Cg 성분의 블록들의 사이즈에 기초하여 Y 성분, Co 성분, Cg 성분 모두에 일률적으로 적용되는 블록들의 사이즈를 선택한다. 또한, 인터 예측 모드 선택부(102)는 R 성분의 블록들의 사이즈, G 성분의 블록들의 사이 즈, B 성분의 블록들의 사이즈에 기초하여 R 성분, G 성분, B 성분 모두에 일률적으로 적용되는 블록들의 사이즈를 선택한다.
도 2는 본 발명의 바람직한 일 실시예에 따른 블록 사이즈의 선택을 도시한 도면이다.
도 2를 참조하면, 인터 예측 모드 선택부(102)는 R 성분의 매크로블록을 구성하는 블록들의 사이즈, G 성분의 매크로블록을 구성하는 블록들의 사이즈, 및 B 성분의 매크로블록을 구성하는 블록들의 사이즈를 참조하여 모든 색 성분들의 매크로 블록들에 최적인 블록들의 사이즈를 선택함으로서 모든 색 성분들에 일률적으로 적용되는 블록들의 사이즈를 선택한다. 이것은 YCgCo 색 공간에 대해서도 마찬가지로 적용된다.
이어서, 인터 예측 모드 선택부(102)는 상기된 바에 따라 선택된 사이즈의 블록 단위로 색 공간을 구성하는 색 성분들 각각의 움직임 벡터들에 기초하여 이 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 어느 하나의 움직임 벡터를 선택한다. 보다 상세하게 설명하면, 인터 예측 모드 선택부(102)는 움직임 추정부(103)에 의해 산출된 색 성분들 각각의 움직임 벡터들에 기초하여 모든 색 성분들에 일률적으로 적용되는 움직임 벡터를 선택한다. 예를 들면, 인터 예측 모드 선택부(102)는 움직임 추정부(103)에 의해 산출된 Y 성분의 움직임 벡터, Co 성분의 움직임 벡터, Cg 성분의 움직임 벡터에 기초하여 Y 성분, Co 성분, Cg 성분 모두에 일률적으로 적용되는 움직임 벡터를 선택한다. 또한, 인터 예측 모드 선택부(102)는 움직임 추정부(103)에 의해 산출된 R 성분의 움직임 벡터, G 성분의 움 직임 벡터, B 성분의 움직임 벡터에 기초하여 R 성분, G 성분, B 성분 모두에 일률적으로 적용되는 움직임 벡터를 선택한다.
도 3은 본 발명의 바람직한 일 실시예에 따른 움직임 벡터의 선택을 도시한 도면이다.
도 3을 참조하면, 인터 예측 모드 선택부(102)는 R 성분의 블록에 대한 움직임 벡터, G 성분의 블록에 대한 움직임 벡터, B 성분의 블록에 대한 움직임 벡터를 참조하여 모든 색 성분들의 블록들에 최적인 움직임 벡터를 선택함으로서 모든 색 성분들에 일률적으로 적용되는 움직임 벡터를 선택한다. 이것은 YCgCo 색 공간에 대해서도 마찬가지로 적용된다.
움직임 추정부(103)는 색 성분들마다 인터 예측 모드 선택부(102)에 의해 선택된 인터 예측 모드에 따라 참조 화면(reference picture)을 기준으로 현재 화면(current picture)의 움직임을 추정한다. 보다 상세하게 설명하면, 움직임 추정부(103)는 인터 예측 모드 선택부(102)에 의해 선택된 인터 예측 모드에 따라 색 성분들 각각에 독립적으로 적용되는 사이즈의 블록 단위로 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 움직임 벡터를 선택하거나, 모든 색 성분들에 일률적으로 적용되는 사이즈의 블록 단위로 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 어느 하나의 움직임 벡터를 선택한다.
움직임 추정부(103)가 싱글 모드에 따라 움직임을 추정하는 경우를 구체적으로 설명하면, 움직임 추정부(103)는 인터 예측 모드 선택부(102)에 의해 선택된 사이즈의 블록 단위로 참조 화면과 현재 화면의 변위에 해당하는 움직임 벡터를 산출 한다. 본 실시예에서 현재 화면은 현재 동영상 부호화 및 복호화의 대상이 되는 화면을 의미하고, 참조 화면은 현재 화면을 부호화하거나 복호화하는데 참조되는 화면을 의미한다. 일반적으로, 참조 화면은 현재 화면의 과거 화면이지만, 현재 화면의 미래 화면도 될 수 있으며, 복수의 화면들이 될 수도 있다.
예를 들면, 움직임 추정부(103)는 Y 성분, Co 성분, 및 Cg 성분마다 인터 예측 모드 선택부(102)에 의해 선택된 인터 예측 모드에 따라 참조 화면을 기준으로 현재 화면의 움직임을 추정함으로서 Y 성분의 움직임 벡터, Co 성분의 움직임 벡터, Cg 성분의 움직임 벡터를 산출한다. 또한, 움직임 추정부(103)는 R 성분, G 성분, 및 B 성분마다 인터 예측 모드 선택부(102)에 의해 선택된 인터 예측 모드에 따라 참조 화면을 기준으로 현재 화면의 움직임을 추정함으로서 R 성분의 움직임 벡터, G 성분의 움직임 벡터, B 성분의 움직임 벡터를 산출한다.
움직임 보상부(104)는 색 성분들마다 인터 예측 모드 선택부(102)에 의해 선택된 인터 예측 모드에 따라 참조 화면과 현재 화면 간의 움직임을 보상한다. 보다 상세하게 설명하면, 움직임 보상부(104)는 인터 예측 모드 선택부(102)에 의해 선택된 사이즈의 블록 단위로 인터 예측 모드 선택부(102)에 의해 선택된 움직임 벡터를 사용하여 참조 화면으로부터 현재 화면에 대한 예측 화면을 생성한다. 움직임 추정부(103) 및 움직임 보상부(104)에 의해 수행되는 인터 예측은 현재 화면과 참조 화면간의 시간적 중복성을 제거하기 위한 것이다.
예를 들면, 움직임 보상부(104)는 Y 성분, Co 성분, 및 Cg 성분마다 인터 예측 모드 선택부(102)에 의해 선택된 인터 예측 모드에 따라 참조 화면과 현재 화면 간의 움직임을 보상함으로서 Y 성분의 예측 화면, Co 성분의 예측 화면, Cg 성분의 예측 화면을 생성한다. 또한, 움직임 보상부(104)는 R 성분, G 성분, 및 B 성분마다 인터 예측 모드 선택부(102)에 의해 선택된 인터 예측 모드에 따라 참조 화면과 현재 화면 간의 움직임을 보상함으로서 R 성분의 예측 화면, G 성분의 예측 화면, B 성분의 예측 화면을 생성한다.
인트라 예측 모드 선택부(105)는 색 공간 선택부(101)에 의해 선택된 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 인트라 예측 모드 및 색 공간 선택부(101)에 의해 선택된 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 인트라 예측 모드 중 어느 하나를 선택한다. MPEG-4 AVC/H.264 비디오 부호화 방식에 따르면, 휘도 성분(luma component)에 대해서는 4x4 블록 단위 인트라 예측의 9 개의 모드들과 16x16 블록 단위 인트라 예측의 4 개의 모드들이 존재하고, 색차 성분(chroma component)에 대해서는 8x8 블록 단위 인트라 예측의 4 개의 모드들이 존재한다. 일반적으로, 휘도 성분에 대한 예측 모드와 색차 성분에 대한 예측 모드는 다르기 때문에 색 성분들간의 상관성은 낮다. 이것은 RCT, IPP, 또는 이와 유사한 변환에 대해서는 적합하지 않다. 동영상의 부호화 효율을 높이기 위해서는 모든 색 성분들에 대하여 똑 같은 인트라 예측 모드를 사용하는 것이 바람직하다. 그러므로, 본 실시예에서는 휘도 성분에 대한 4x4, 8x8, 16x16과 같은 예측 모드를 색차 성분에 적용한다.
또한, 인트라 예측 모드 선택부(105)는 상기된 바와 같이 선택된 인트라 예측 모드에 따라 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 예측 방향을 선택하거나, 색 공간을 구성하는 색 성분들 각각의 예측 방향에 기초하여 이 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 방향을 선택한다. 인트라 예측 모드 선택부(105)가 싱글 모드를 선택하는 경우를 구체적으로 설명하면, 인트라 예측 모드 선택부(105)는 먼저 색 공간 선택부(101)에 의해 선택된 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 블록들의 사이즈를 선택한다. 현재 화면을 구성하는 블록들의 사이즈는 16x16, 8x8, 4x4 등이 될 수 있다. 인트라 예측에서의 블록 사이즈 선택도 인터 예측과 마찬가지로 도 2에 도시된 바와 같이 처리된다.
이어서, 인트라 예측 모드 선택부(105)는 상기된 바에 따라 선택된 사이즈의 블록 단위로 색 공간을 구성하는 색 성분들 각각의 예측 방향에 기초하여 이 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 방향을 선택한다. 예를 들면, 인트라 예측 모드 선택부(105)는 Y 성분의 예측 방향, Co 성분의 예측 방향, Cg 성분의 예측 방향에 기초하여 Y 성분, Co 성분, Cg 성분 모두에 일률적으로 적용되는 예측 방향을 선택한다. 또한, 인터 예측 모드 선택부(102)는 R 성분의 예측 방향, G 성분의 예측 방향, B 성분의 예측 방향에 기초하여 R 성분, G 성분, B 성분 모두에 일률적으로 적용되는 예측 방향을 선택한다.
도 4는 본 발명의 바람직한 일 실시예에 따른 예측 방향의 선택을 도시한 도면이다.
도 4를 참조하면, 인트라 예측 모드 선택부(105)는 R 성분의 블록에 대한 예측 방향, G 성분의 블록에 대한 예측 방향, B 성분의 블록에 대한 예측 방향을 참 조하여 모든 색 성분들의 블록들에 최적인 예측 방향을 선택함으로서 모든 색 성분들에 일률적으로 적용되는 예측 방향을 선택한다. 이것은 YCgCo 색 공간에 대해서도 마찬가지로 적용된다.
인트라 예측부(106)는 색 성분들마다 인트라 예측 모드 선택부(105)에 의해 선택된 인트라 예측 모드에 따라 가산기(115)에 의해 복원된 화면 내의 인접 화소들로부터 현재 화면을 구성하는 블록들을 예측하고, 이와 같이 예측된 블록들로 구성된 예측 화면을 생성한다. 보다 상세하게 설명하면, 인트라 예측부(106)는 색 성분들 각각에 독립적으로 적용되는 사이즈의 블록 단위로 색 성분들 각각에 독립적으로 적용되는 예측 방향이 지시하는 인접 화소들로부터 현재 화면을 구성하는 블록들 각각을 예측하고, 이와 같이 예측된 블록들로 구성된 예측 화면을 생성하거나, 모든 색 성분들에 일률적으로 적용되는 사이즈의 블록 단위로 모든 색 성분들에 일률적으로 적용되는 예측 방향이 지시하는 인접 화소들로부터 현재 화면을 구성하는 블록들 각각을 예측하고, 이와 같이 예측된 블록들로 구성된 예측 화면을 생성한다. 인트라 예측부(106)에 의해 수행되는 인트라 예측은 현재 화면 내에서의 공간적 중복성을 제거하기 위한 것이다.
예를 들면, 인트라 예측부(106)는 Y 성분, Co 성분, 및 Cg 성분마다 인트라 예측 모드 선택부(105)에 의해 선택된 예측 방향이 지시하는 인접 화소들로부터 현재 화면을 구성하는 블록들 각각을 예측함으로서 Y 성분의 예측 화면, Co 성분의 예측 화면, Cg 성분의 예측 화면을 생성한다. 또한, 인트라 예측부(106)는 R 성분, G 성분, 및 B 성분마다 인트라 예측 모드 선택부(105)에 의해 선택된 예측 방향이 지시하는 인접 화소들로부터 현재 화면을 구성하는 블록들 각각을 예측함으로서 R 성분의 예측 화면, G 성분의 예측 화면, B 성분의 예측 화면을 생성한다.
감산기(107)는 색 성분들마다 현재 화면과 움직임 보상부(104)에 의해 생성된 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하거나, 현재 화면과 인트라 예측부(106)에 의해 생성된 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성한다. 예를 들면, 감산기(107)는 Y 성분, Co 성분, 및 Cg 성분마다 현재 화면과 움직임 보상부(104)에 의해 생성된 예측 화면의 차이를 산출하거나, 현재 화면과 인트라 예측부(106)에 의해 생성된 예측 화면의 차이를 산출함으로서 Y 성분의 제 1 레지듀들, Co 성분의 제 1 레지듀들, Cg 성분의 제 1 레지듀들을 생성한다. 또한, 감산기(107)는 R 성분, G 성분, 및 B 성분마다 현재 화면과 움직임 보상부(104)에 의해 생성된 예측 화면의 차이를 산출하거나, 현재 화면과 인트라 예측부(106)에 의해 생성된 예측 화면의 차이를 산출함으로서 R 성분의 제 1 레지듀들, G 성분의 제 1 레지듀들, B 성분의 제 1 레지듀들을 생성한다.
도 5는 본 발명의 바람직한 일 실시예의 적용에 따른 색 성분들 각각의 레지듀들의 상관성의 변화를 도시한 도면이다.
도 5를 참조하면, 그래프 501과 502는 색 성분들 각각에 독립적인 예측 모드를 적용하여 얻어진 레지듀들의 상관성을 보여주고 있다. 특히, 그래프 501은 R 성분과 G 성분의 상관성을 보여주고 있고, 그래프 502는 B 성분과 G 성분의 상관성을 보여주고 있다. 반면, 그래프 503과 504는 모든 색 성분들에 동일한 예측 모드를 적용하여 얻어진 레지듀들의 상관성을 보여주고 있다. 특히, 그래프 503은 R 성분 과 G 성분의 상관성을 보여주고 있고, 그래프 504는 B 성분과 G 성분의 상관성을 보여주고 있다. 도 5에 도시된 501-504로부터 색 성분들 각각에 독립적인 예측 모드를 적용하는 것보다 동일한 예측 모드를 적용하는 것이 색 성분들의 레지듀들간의 상관성이 높아진다는 것을 알 수 있다.
레지듀 변환부(108)는 감산기(107)에 의해 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성한다. 본 실시예에서는 동영상의 부호화 효율을 높이기 위하여, 인터 예측 또는 인트라 예측 후의 색 성분들간의 중복성(redundancy)을 이용한다. 인터 예측은 시간적인 중복성을 이용하는 것이고, 인트라 예측은 공간적인 중복성을 이용하는 것이다. 그러나, 인터 예측 또는 인트라 예측 후에도 색 성분들간의 중복성이 여전히 남아 있다.
도 6은 본 발명의 바람직한 일 실시예의 적용에 따른 색 성분들간의 상관성을 도시한 도면이다.
도 6을 참조하면, 그래프 601은 인트라 예측 후의 R 성분과 G 성분의 상관성을 보여주고 있고, 그래프 602는 인트라 예측 후의 B 성분과 G 성분의 상관성을 보여주고 있다. 그래프 603은 인터 예측 후의 R 성분과 G 성분의 상관성을 보여주고 있고, 그래프 604는 인터 예측 후의 B 성분과 G 성분의 상관성을 보여주고 있다. 도 6에 도시된 601-604로부터 인터 예측 또는 인트라 예측 후에도 색 성분들의 레지듀들간에 강한 상관성이 존재함을 알 수 있다.
즉, 레지듀 변환부(108)는 YCgCo 색 공간에서 다음의 수학식 1을 이용하여 Y 성분, Co 성분, Cg 성분 각각의 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들 을 생성한다. 특히, Y = (R + 2G + B) >> 2, Co = (R - B) >> 1, Cg = (-R + 2G - B) >> 2의 관계에 있다.
△2B = △R - △B
t = △B + (△2B >> 1)
△2R = △G - t
△2G = t + (△2R >> 1)
여기에서, △X는 제 1 레지듀들을 의미하고, △2X는 제 2 레지듀들을 의미한다. 또한, 표기 ">>"는 우측 시프트 연산(right shift operation)을 의미하며, 대략적으로 나누기 2가 된다. 또한, 변수 t는 임시적인 계산 목적으로 사용된다.
또한, 레지듀 변환부(108)는 RGB 색 공간에서 다음의 수학식 2를 이용하여 R 성분, G 성분, B 성분 각각의 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성한다.
△2G = △G'
△2R = △R - △G'
△2B = △B - △G'
여기에서, △X는 제 1 레지듀들을 의미하고, △2X는 제 2 레지듀들을 의미한다. 또한, △X'는 복원된 제 1 레지듀들을 의미한다. 특히, 수학식 2는 G 성분이 영상 정보를 많이 가지고 있을 때 효과적이며, R 성분 또는 B 성분을 주된(dominant) 성분으로 제 2 레지듀들을 계산할 수도 있다.
주파수 공간 변환부(109)는 레지듀 변환부(108)에 의해 생성된 제 2 레지듀들을 색 공간으로부터 주파수 공간으로 변환한다. H.264/MPEG-4 AVC에서는 색 공간으로부터 주파수 공간으로 변환하는 방식으로 DHT(Discrete Hadamard Transformation), DCT(Discrete Cosine Transformation) 기반의 정수 변환 등이 도입되었다.
양자화부(110)는 주파수 공간 변환부(109)에 의해 변환된 값들을 양자화한다. 즉, 양자화부(110)는 주파수 공간 변환부(109)에 의해 변환된 주파수 성분 값들을 양자화 파라미터로 나누고, 그 결과를 정수 값들로 근사화한다.
엔트로피 부호화부(111)는 양자화부(110)에 의해 양자화된 값들을 엔트로피 부호화함으로서 비트 스트림을 생성하고, 이것을 출력한다. H.264/MPEG-4 AVC에서는 엔트로피 부호화 방식으로 CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context -Adaptive Binary Arithmetic Coding) 등이 도입되었다.
역양자화부(112)는 양자화부(110)에 의해 양자화된 값들을 역양자화한다. 즉, 역양자화부(112)는 양자화부(110)에 의해 근사화된 정수 값들에 양자화 파라미터를 곱함으로서 주파수 성분 값들을 복원한다.
주파수 공간 역변환부(113)는 역양자화부(112)에 의해 복원된 주파수 성분 값들을 주파수 공간으로부터 색 공간으로 변환함으로서 제 2 레지듀들을 복원한다.
레지듀 역변환부(114)는 주파수 공간 역변환부(113)에 의해 복원된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성한다. 즉, 레지듀 역변환부(114)는 YCgCo 색 공간에서 다음의 수학식 3을 이용하여 Y 성분, Co 성분, Cg 성분 각각의 제 2 레지듀들간의 합에 해당하는 Y 성분, Co 성분, Cg 성분 각각의 제 1 레지듀들을 생성한다.
t = △2G'- (△2R' >> 1)
△G' = △2R' + t
△B' = t - (△2B' >> 1)
△R' = △B' + △2B'
여기에서, △X'는 복원된 제 1 레지듀들을 의미하고, △2X'는 복원된 제 2 레지듀들을 의미한다.
또한, 레지듀 역변환부(114)는 RGB 색 공간에서 다음의 수학식 4를 이용하여 R 성분, G 성분, B 성분 각각의 제 2 레지듀들간의 합에 해당하는 R 성분, G 성분, B 성분 각각의 제 1 레지듀들을 생성한다.
△G' = △2G'
△R' = △2R' + △G'
△B' = △2B' + △G'
여기에서, △X'는 복원된 제 1 레지듀들을 의미하고, △2X'는 복원된 제 2 레지듀들을 의미한다.
가산기(115)는 움직임 보상부(104) 또는 인트라 예측부(106)에 의해 생성된 예측 화면과 레지듀 역변환부(114)에 의해 생성된 제 1 레지듀들간의 합산에 해당하는 복원 화면을 생성한다. 예를 들면, 가산기(115)는 Y 성분, Co 성분, 및 Cg 성분마다 움직임 보상부(104) 또는 인트라 예측부(106)에 의해 생성된 예측 화면과 레지듀 역변환부(114)에 의해 생성된 제 1 레지듀들간의 합산을 산출함으로서 YCgCo 색 공간에서의 복원 화면을 생성한다. 또한, 가산기(115)는 R 성분, G 성분, 및 B 성분마다 움직임 보상부(104) 또는 인트라 예측부(106)에 의해 생성된 예측 화면과 레지듀 역변환부(114)에 의해 생성된 제 1 레지듀들간의 합산을 산출함으로서 RGB 색 공간에서의 복원 화면을 생성한다.
필터(116)는 가산기(115)에 의해 생성된 복원 화면의 블록 경계의 왜곡을 부드럽게 함으로서 복원 화면의 화질을 향상시킨다. 이것은 동영상의 비트 레이트가 높은 경우에는 오히려 고주파 성분이 소실될 우려가 있기 때문에 사용되지 않는다.
도 1에 도시된 동영상 복호화 장치에는 색 공간을 적응적으로 적용하는 방식 과 싱글 모드 방식이 모두 적용되고 있으나, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 두 방식들 중 어느 하나만 적용된 동영상 복호화 장치를 용이하게 구현할 수 있을 것이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 동영상 복호화 장치의 구성도이다.
도 7을 참조하면, 본 실시예에 따른 동영상 복호화 장치는 엔트로피 복호화부(701), 역양자화부(702), 주파수 공간 역변환부(703), 레지듀 역변환부(704), 움직임 보상부(705), 인트라 예측부(706), 가산기(707), 및 필터(708)로 구성된다.
엔트로피 복호화부(701)는 도 1에 도시된 동영상 부호화 장치로부터 출력된 비트 스트림을 엔트로피 복호화함으로서 정수 값들을 복원한다.
역양자화부(702)는 엔트로피 복호화부(701)에 의해 복원된 정수 값들을 역양자화함으로서 주파수 성분 값들을 복원한다. 즉, 역양자화부(702)는 엔트로피 복호화부(701)에 의해 복원된 정수 값들에 양자화 파라미터를 곱함으로서 주파수 성분 값들을 복원한다.
주파수 공간 역변환부(703)는 역양자화부(702)에 의해 복원된 주파수 성분 값들을 주파수 공간으로부터 복수의 색 공간들 중에서 동영상 부호화 장치에서 사용된 색 공간으로 변환함으로서 이 색 공간을 구성하는 색 성분들 각각의 레지듀들간의 차이에 해당하는 제 2 레지듀들을 복원한다.
레지듀 역변환부(704)는 복수의 색 공간들 중에서 동영상 부호화 장치에서 사용된 색 공간에서 주파수 공간 역변환부(703)에 의해 복원된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성한다. 즉, 레지듀 역변환부(704)는 YCgCo 색 공간에서 상기된 수학식 3을 이용하여 Y 성분, Co 성분, Cg 성분 각각의 제 2 레지듀들간의 합에 해당하는 Y 성분, Co 성분, Cg 성분 각각의 제 1 레지듀들을 생성한다. 또한, 레지듀 역변환부(704)는 RGB 색 공간에서 상기된 수학식 4를 이용하여 R 성분, G 성분, B 성분 각각의 제 2 레지듀들간의 합에 해당하는 R 성분, G 성분, B 성분 각각의 제 1 레지듀들을 생성한다.
움직임 보상부(705)는 색 성분들마다 동영상 부호화 장치에서 사용된 인터 예측 모드에 따라 참조 화면과 현재 화면간의 움직임을 보상한다. 즉, 움직임 보상부(705)는 색 성분들 각각에 독립적으로 적용되는 인터 예측 모드 또는 모든 색 성분들에 일률적으로 적용되는 인터 예측 모드 중 어느 하나에 따라 참조 화면과 현재 화면간의 움직임을 보상한다.
보다 상세하게 설명하면, 움직임 보상부(705)는 동영상 부호화 장치에서 사용된 사이즈의 블록 단위로 동영상 부호화 장치에서 사용된 움직임 벡터를 사용하여 참조 화면으로부터 현재 화면에 대한 예측 화면을 생성한다. 즉, 움직임 보상부(705)는 색 성분들 각각에 독립적으로 적용되는 사이즈의 블록 단위로 색 성분들 각각에 독립적으로 적용되는 움직임 벡터를 사용하여 현재 화면에 대한 예측 화면을 생성하거나, 모든 색 성분들에 일률적으로 적용되는 사이즈의 블록 단위로 모든 색 성분들에 일률적으로 적용되는 움직임 벡터를 사용하여 참조 화면으로부터 현재 화면에 대한 예측 화면을 생성한다.
인트라 예측부(706)는 색 성분들마다 동영상 부호화 장치에서 사용된 인트라 예측 모드에 따라 가산기(707)에 의해 복원된 화면 내의 인접 화소들로부터 현재 화면을 구성하는 블록들을 예측하고, 이와 같이 예측된 블록들로 구성된 예측 화면을 생성한다. 즉, 인트라 예측부(706)는 색 성분들 각각에 독립적으로 적용되는 인트라 예측 모드 및 모든 색 성분들에 일률적으로 적용되는 인트라 예측 모드 중 어느 하나에 따라 가산기(707)에 의해 복원된 화면 내의 인접 화소들로부터 현재 화면을 구성하는 블록들을 예측하고, 이와 같이 예측된 블록들로 구성된 예측 화면을 생성한다.
보다 상세하게 설명하면, 인트라 예측부(706)는 동영상 부호화 장치에서 사용된 예측 방향이 지시하는 인접 화소들로부터 현재 화면을 구성하는 블록들 각각을 예측하고, 이와 같이 예측된 블록들로 구성된 예측 화면을 생성한다. 즉, 인트라 예측부(706)는 색 성분들 각각에 독립적으로 적용되는 사이즈의 블록 단위로 색 성분들 각각에 독립적으로 적용되는 예측 방향이 지시하는 인접 화소들로부터 현재 화면을 구성하는 블록들 각각을 예측하고, 이와 같이 예측된 블록들로 구성된 예측 화면을 생성하거나, 모든 색 성분들에 일률적으로 적용되는 사이즈의 블록 단위로 모든 색 성분들에 일률적으로 적용되는 예측 방향이 지시하는 인접 화소들로부터 현재 화면을 구성하는 블록들 각각을 예측하고, 이와 같이 예측된 블록들로 구성된 예측 화면을 생성한다.
가산기(707)는 움직임 보상부(705) 또는 인트라 예측부(706)에 의해 생성된 예측 화면과 레지듀 역변환부(704)에 의해 생성된 제 1 레지듀들간의 합산에 해당하는 복원 화면을 생성한다. 예를 들면, 가산기(707)는 Y 성분, Co 성분, 및 Cg 성 분마다 움직임 보상부(705) 또는 인트라 예측부(706)에 의해 생성된 예측 화면과 레지듀 역변환부(704)에 의해 생성된 제 1 레지듀들간의 합산을 산출함으로서 YCgCo 색 공간에서의 복원 화면을 생성한다. 또한, 가산기(707)는 R 성분, G 성분, 및 B 성분마다 움직임 보상부(705) 또는 인트라 예측부(706)에 의해 생성된 예측 화면과 레지듀 역변환부(704)에 의해 생성된 제 1 레지듀들간의 합산을 산출함으로서 RGB 색 공간에서의 복원 화면을 생성한다.
필터(708)는 가산기(707)에 의해 생성된 복원 화면의 블록 경계의 왜곡을 부드럽게 함으로서 복원 화면의 화질을 향상시킨다. 이것은 동영상의 비트 레이트가 높은 경우에는 오히려 고주파 성분이 소실될 우려가 있기 때문에 사용되지 않는다.
도 8a-8b는 본 발명의 바람직한 일 실시예에 따른 동영상 부호화 방법의 흐름도이다.
도 8a-8b를 참조하면, 본 실시예에 따른 동영상 부호화 방법은 도 1에 도시된 동영상 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 동영상 부호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 동영상 부호화 방법에도 적용된다.
801 단계에서 동영상 부호화 장치는 현재 화면의 특성에 기초하여 적응적으로 복수의 색 공간들 중에서 어느 하나의 색 공간을 선택한다.
802 단계에서 동영상 부호화 장치는 인터 예측인지, 아니면 인트라 예측인지를 판단하고, 인터 예측인 경우에는 803 단계로 진행하고, 인트라 예측인 경우에는 806 단계로 진행한다.
803 단계에서 동영상 부호화 장치는 801 단계에서 선택된 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 인터 예측 모드 및 801 단계에서 선택된 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 인터 예측 모드 중 어느 하나를 선택한다.
804 단계에서 동영상 부호화 장치는 803 단계에서 선택된 인터 예측 모드에 따라 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 움직임 벡터를 선택하거나, 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 어느 하나의 움직임 벡터를 선택한다.
805 단계에서 동영상 부호화 장치는 804 단계에서 선택된 움직임 벡터를 사용하여 참조 화면으로부터 현재 화면에 대한 예측 화면을 생성한다.
806 단계에서 동영상 부호화 장치는 801 단계에서 선택된 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 인트라 예측 모드 및 801 단계에서 선택된 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 인트라 예측 모드 중 어느 하나를 선택한다.
807 단계에서 동영상 부호화 장치는 806 단계에서 선택된 인트라 예측 모드에 따라 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 예측 방향을 선택하거나, 색 공간을 구성하는 색 성분들 각각의 예측 방향에 기초하여 이 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 방향을 선택한다.
808 단계에서 동영상 부호화 장치는 색 성분들마다 807 단계에서 선택된 예측 방향이 지시하는 인접 화소들로부터 현재 화면을 구성하는 블록들 각각을 예측 하고, 이와 같이 예측된 블록들로 구성된 예측 화면을 생성한다.
809 단계에서 동영상 부호화 장치는 색 성분들마다 현재 화면과 805 단계 또는 808 단계에서 생성된 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성한다.
810 단계에서 동영상 부호화 장치는 809 단계에서 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성한다.
811 단계에서 동영상 부호화 장치는 810 단계에서 생성된 제 2 레지듀들을 색 공간으로부터 주파수 공간으로 변환한다.
812 단계에서 동영상 부호화 장치는 811 단계에서 변환된 값들을 양자화한다.
813 단계에서 동영상 부호화 장치는 812 단계에서 양자화된 값들을 엔트로피 부호화함으로서 비트 스트림을 생성하고, 이것을 출력한다.
814 단계에서 동영상 부호화 장치는 812 단계에서 양자화된 값들을 역양자화함으로서 주파수 성분 값들을 복원한다.
815 단계에서 동영상 부호화 장치는 814 단계에서 복원된 주파수 성분 값들을 주파수 공간으로부터 색 공간으로 변환함으로서 제 2 레지듀들을 복원한다.
816 단계에서 동영상 부호화 장치는 815 단계에서 복원된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성한다.
817 단계에서 동영상 부호화 장치는 색 성분들마다 805 단계 또는 808 단계에서 생성된 예측 화면과 816 단계에서 생성된 제 1 레지듀들간의 합산에 해당하는 복원 화면을 생성한다.
818 단계에서 동영상 부호화 장치는 816 단계에서 생성된 복원 화면의 블록 경계의 왜곡을 부드럽게 함으로서 복원 화면의 화질을 향상시킨다.
도 9는 본 발명의 바람직한 일 실시예에 따른 동영상 복호화 방법의 구성도이다.
도 9를 참조하면, 본 실시예에 따른 동영상 복호화 방법은 도 7에 도시된 동영상 복호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 7에 도시된 동영상 복호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 동영상 복호화 방법에도 적용된다.
901 단계에서 동영상 복호화 장치는 도 1에 도시된 동영상 부호화 장치로부터 출력된 비트 스트림을 엔트로피 복호화함으로서 정수 값들을 복원한다.
902 단계에서 동영상 복호화 장치는 902 단계에서 복원된 정수 값들을 역양자화함으로서 주파수 성분 값들을 복원한다.
903 단계에서 동영상 복호화 장치는 902 단계에서 복원된 주파수 성분 값들을 주파수 공간으로부터 복수의 색 공간들 중 동영상 부호화 장치에서 사용된 색 공간으로 변환함으로서 이 색 공간을 구성하는 색 성분들 각각의 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 복원한다.
904 단계에서 동영상 복호화 장치는 복수의 색 공간들 중 동영상 부호화 장치에서 사용된 색 공간에서 903 단계에서 복원된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성한다.
905 단계에서 동영상 부호화 장치는 인터 예측인지, 아니면 인트라 예측인지 를 판단하고, 인터 예측인 경우에는 906 단계로 진행하고, 인트라 예측인 경우에는 907 단계로 진행한다.
906 단계에서 동영상 복호화 장치는 색 성분들 각각에 독립적으로 적용되는 인터 예측 모드 또는 모든 색 성분들에 일률적으로 적용되는 인터 예측 모드 중 어느 하나에 따라 참조 화면과 현재 화면간의 움직임을 보상한다.
907 단계에서 동영상 복호화 장치는 색 성분들 각각에 독립적으로 적용되는 인트라 예측 모드 및 모든 색 성분들에 일률적으로 적용되는 인트라 예측 모드 중 어느 하나에 따라 복원된 화면 내의 인접 화소들로부터 현재 화면을 구성하는 블록들을 예측하고, 이와 같이 예측된 블록들로 구성된 예측 화면을 생성한다.
908 단계에서 동영상 복호화 장치는 906 단계 또는 907 단계에서 의해 생성된 예측 화면과 904 단계에 의해 생성된 제 1 레지듀들간의 합산에 해당하는 복원 화면을 생성한다.
909 단계에서 동영상 복호화 장치는 908 단계에서 생성된 복원 화면의 블록 경계의 왜곡을 부드럽게 함으로서 복원 화면의 화질을 향상시킨다.
도 10은 본 발명의 바람직한 실시예들에 대한 시뮬레이션 결과들을 도시한 도면이다.
도 10의 테이블(1001) 및 테이블(1002)에 도시된 바와 같이, 본 실시예들, 즉 싱글 모드 예측에서의 RCT 및 IPP과 H.264/MPEG-4 AVC FRExt를 비교함으로서 본 실시예들을 평가했다. 시뮬레이션으로는 JM9.3 레퍼런스 소프트웨어가 사용되었다. 테스트 조건은 다음과 같다. 테스트 재료는 필름과 바이퍼 시퀀스들(1920x1088 @ 24Hz, progressive)이고, 탐색 영역(search range)은 64이고, 양자화 파라미터는 12, 18, 24, 30, 36이고, 참조 화면, 즉 참조 프레임의 개수는 3이고, 엔트로피 부호화는 CABAC이고, RD 최적화 모드 선택(RD-optimized mode selection)은 온(on)이고, GOP(Group of Pictures) 구조는 IBBP이고, 슬라이스(slice) 그룹들의 개수는 1이다.
도 10에서의 방법들 각각은 다음과 같다. IPP는 IPP와 싱글 모드 예측을 사용한 본 실시예 방법이고, RCT는 RCT와 싱글 모드 예측을 사용한 본 실시예 방법이고, RCT(FREXT)는 레지듀얼 색 변환에 대하여 YCgCo를 사용한 RGB 부호화이고, YCgCo는 부호화 전에 RGB 입력 데이터가 YCgCo로 변환되는 외부 YCgCo 부호화(external YCgCo coding)이다. 특히, 테이블(1001)에서는 복원된 RGB 이미지들의 충실도(fidelity)를 평가하기 위하여, 모든 색 성분들에 대한 PSNR(Peak Signal to Noise Rate)의 평균, 즉 RGB 성분들의 평균이 측정되었다. 테이블(1001)은 두 개의 다른 고 비트 레이트들(20Mbps 및 60Mbps)에서의 YCgCo 방법에 대한 각각의 방법의 PSNR 게인을 나타내고 있다. 또한, 테이블(1002)에서는 휘도 채널(가장 중요한 채널) 상의 영향을 고립시키기 위하여, 색차 채널들에 대해 대략적으로 동일한 충실도를 가지고 있는 YCgCo 도메인에서 Y PSNR의 결과들이 비교되었다.
도 11은 본 발명의 바람직한 실시예들에 대한 무손실 모드에서의 부호화 효율의 비교를 도시한 도면이다.
가까운 장래에는 비디오의 무손실 및 거의 무손실 압축의 지원이 중요하게 된다. H.264/MPEG-4 AVC FRExt에서의 무손실 부호화는 주파수 공간 변환과 양자화 과정이 생략되는 것에 의하여 구현된다. 상기된 본 실시예들도 주파수 공간 변환과 양자화 과정이 생략됨으로서 무손실 부호화에 적용될 수 있다. 도 11에 도시된 바와 같이, 무손실 부호화에서 IPP와 싱글 모드 예측의 효율이 가장 뛰어나다.
도 12a-12b는 본 발명의 바람직한 실시예에 대한 시뮬레이션의 RD(Rate Distortion) 커브들을 도시한 도면이다.
도 12a-12b에서는 인트라 부호화만의 시뮬레이션이 수행되었다. 특히, 독립적인 인트라 예측 모드를 적용하는 성과(performance)를 평가하기 위하여 모든 색 성분들은 모노크롬 이미지로서 다루어졌다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 따르면, 모든 색 성분들에 일률적으로 적용되는 예측 모드에 따라 레지듀들을 생성함으로서 레지듀들의 상관성을 높일 수 있고, 그 결과 동영상 부호화의 효율을 높일 수 있다. 또한, 본 발명에 따르면, 복수의 색 공간들 중에서 어느 하나의 색 공간을 동영상 이미지의 특성에 따라 적응적으로 선택함으로서 동영상 부호화의 효율을 높일 수 있다. 나아가, 본 발명에 따르면, 동영상 부호화 과정에 상기된 방법들을 중복적으로 적용함으로서 동영상 부호화의 효율을 극대화할 수 있다.

Claims (39)

  1. (a) 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드를 선택하는 단계;
    (b) 상기 선택된 예측 모드에 따라 상기 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 단계;
    (c) 상기 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계; 및
    (d) 상기 생성된 제 2 레지듀들을 부호화하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계는 상기 모든 색 성분들에 일률적으로 적용되는 인터 예측 모드를 선택하고,
    상기 (b) 단계는 상기 선택된 인터 예측 모드에 따라 상기 제 1 레지듀들을 생성하는 것을 특징으로 하는 부호화 방법.
  3. 제 1 항에 있어서,
    상기 (a) 단계는 상기 모든 색 성분들에 일률적으로 적용되는 인트라 예측 모드를 선택하고,
    상기 (b) 단계는 상기 선택된 인트라 예측 모드에 따라 상기 제 1 레지듀들을 생성하는 것을 특징으로 하는 부호화 방법.
  4. 제 1 항에 있어서,
    상기 (a) 단계는 상기 모든 색 성분들에 일률적으로 적용되는 블록들의 사이즈를 선택하고,
    상기 (b) 단계는 상기 선택된 사이즈의 블록 단위로 상기 제 1 레지듀들을 생성하는 것을 특징으로 하는 부호화 방법.
  5. 제 1 항에 있어서,
    상기 (a) 단계는 상기 모든 색 성분들에 일률적으로 적용되는 인터 예측 모드에 따라 상기 모든 색 성분들에 일률적으로 적용되는 움직임 벡터를 선택하고,
    상기 (b) 단계는
    상기 선택된 움직임 벡터를 사용하여 참조 화면으로부터 예측 화면을 생성하는 단계; 및
    상기 현재 화면과 상기 생성된 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.
  6. 제 1 항에 있어서,
    상기 (a) 단계는 상기 모든 색 성분들에 일률적으로 적용되는 인트라 예측 모드에 따라 상기 모든 색 성분들에 일률적으로 적용되는 예측 방향을 선택하고,
    상기 (b) 단계는
    상기 선택된 예측 방향에서 지시하는 인접 화소들로부터 상기 예측 화면을 생성하는 단계; 및
    상기 현재 화면과 상기 생성된 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.
  7. 제 1 항 내지 제 6 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  8. 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드를 선택하는 선택부;
    상기 선택부에 의해 선택된 예측 모드에 따라 상기 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 감산기;
    상기 감산기에 의해 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 변환부; 및
    상기 변환부에 의해 생성된 제 2 레지듀들을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 부호화 장치.
  9. (a) 복수의 색 공간들 중에서 어느 하나의 색 공간을 선택하는 단계;
    (b) 상기 선택된 색 공간을 구성하는 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 단계;
    (c) 상기 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계; 및
    (d) 상기 생성된 제 2 레지듀들을 부호화하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.
  10. 제 9 항에 있어서,
    상기 (a) 단계는 현재 화면의 특성에 기초하여 적응적으로 어느 하나의 색 공간을 선택하는 것을 특징으로 하는 부호화 방법.
  11. 제 9 항에 있어서,
    상기 (a) 단계는 YCgCo 색 공간 및 RGB 색 공간 중 어느 하나의 색 공간을 선택하는 것을 특징으로 하는 부호화 방법.
  12. 제 9 항 내지 제 11 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  13. 복수의 색 공간들 중에서 어느 하나의 색 공간을 선택하는 선택부;
    상기 선택부에 의해 선택된 색 공간을 구성하는 색 성분들마다 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 감산기;
    상기 감산기에 의해 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 변환부; 및
    상기 변환부에 의해 생성된 제 2 레지듀들을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 부호화 장치.
  14. (a) 복수의 색 공간들 중에서 어느 하나의 색 공간을 선택하는 단계;
    (b) 상기 선택된 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드를 선택하는 단계;
    (c) 상기 선택된 예측 모드에 따라 상기 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 단계;
    (d) 상기 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계; 및
    (e) 상기 생성된 제 2 레지듀들을 부호화하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.
  15. 제 14 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  16. 복수의 색 공간들 중에서 어느 하나의 색 공간을 선택하는 제 1 선택부;
    상기 제 1 선택부에 의해 선택된 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드를 선택하는 제 2 선택부;
    상기 제 2 선택부에 의해 선택된 예측 모드에 따라 상기 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 제 1 레지듀들을 생성하는 감산기;
    상기 감산기에 의해 생성된 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 변환부; 및
    상기 변환부에 의해 생성된 제 2 레지듀들을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 부호화 장치.
  17. 소정의 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 제 1 예측 모드 및 상기 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 제 2 예측 모드 중 어느 하나를 선택하는 단계; 및
    상기 선택된 예측 모드에 따라 상기 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 레지듀들을 생성하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.
  18. 제 17 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  19. 소정의 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 제 1 예측 모드 및 상기 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 제 2 예측 모드 중 어느 하나를 선택하는 선택부; 및
    상기 선택부에 의해 선택된 제 1 예측 모드 또는 제 2 예측 모드에 따라 상기 색 성분들 각각에 대한 현재 화면과 예측 화면의 차이에 해당하는 레지듀들을 생성하는 감산기를 포함하는 것을 특징으로 하는 부호화 장치.
  20. (a) 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계;
    (b) 소정의 색 공간에서 상기 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 단계;
    (c) 상기 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드에 따라 예측 화면을 생성하는 단계; 및
    (d) 상기 생성된 제 1 레지듀들과 상기 생성된 예측 화면간의 합산에 해당하 는 복원 화면을 생성하는 단계를 포함하는 것을 특징으로 복호화 방법.
  21. 제 20 항에 있어서,
    상기 (a) 단계는 동영상 부호화 장치로부터 수신된 비트 스트림을 복호화하고,
    상기 (c) 단계는 상기 동영상 부호화 장치에서 사용된 예측 모드에 따라 상기 예측 화면을 생성하는 것을 특징으로 하는 복호화 방법.
  22. 제 20 항에 있어서,
    상기 (c) 단계는 상기 모든 색 성분들에 일률적으로 적용되는 인터 예측 모드에 따라 상기 예측 화면을 생성하는 것을 특징으로 하는 복호화 방법.
  23. 제 20 항에 있어서,
    상기 (c) 단계는 상기 모든 색 성분들에 일률적으로 적용되는 인트라 예측 모드에 따라 상기 예측 화면을 생성하는 것을 특징으로 하는 복호화 방법.
  24. 제 20 항에 있어서,
    상기 (c) 단계는 상기 모든 색 성분들에 일률적으로 적용되는 사이즈의 블록 단위로 상기 예측 화면을 생성하는 것을 특징으로 하는 복호화 방법.
  25. 제 20 항에 있어서,
    상기 (c) 단계는 상기 모든 색 성분들에 일률적으로 적용되는 인터 예측 모드에 따라 상기 모든 색 성분들에 일률적으로 적용되는 움직임 벡터를 사용하여 참조 화면으로부터 상기 예측 화면을 생성하는 것을 특징으로 하는 복호화 방법.
  26. 제 20 항에 있어서,
    상기 (c) 단계는 상기 모든 색 성분들에 일률적으로 적용되는 인트라 예측 모드에 따라 상기 모든 색 성분들에 일률적으로 적용되는 예측 방향이 지시하는 인접 화소들로부터 상기 예측 화면을 생성하는 것을 특징으로 하는 복호화 방법.
  27. 제 20 항 내지 제 26 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  28. 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 복호화부;
    소정의 색 공간에서 상기 복호화부에 의해 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 역변환부;
    상기 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드에 따라 예측 화면을 생성하는 예측부; 및
    상기 역변환부에 의해 생성된 제 1 레지듀들과 상기 예측부에 의해 생성된 예측 화면간의 합산에 해당하는 복원 화면을 생성하는 가산기를 포함하는 것을 특징으로 복호화 장치.
  29. (a) 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계;
    (b) 복수의 색 공간들 중에서 어느 하나의 색 공간에서 상기 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 단계; 및
    (c) 상기 생성된 제 1 레지듀들과 예측 화면의 합산에 해당하는 복원 화면을 생성하는 단계를 포함하는 것을 특징으로 복호화 방법.
  30. 제 29 항에 있어서,
    상기 (a) 단계는 동영상 부호화 장치로부터 수신된 비트 스트림을 복호화하고,
    상기 (b) 단계는 상기 동영상 부호화 장치에서 사용된 색 공간에서 상기 제 1 레지듀들을 생성하는 것을 특징으로 하는 복호화 방법.
  31. 제 29 항에 있어서,
    상기 (a) 단계는 YCgCo 색 공간 및 RGB 색 공간 중 어느 하나의 색 공간에서 상기 제 1 레지듀를 생성하는 것을 특징으로 하는 복호화 방법.
  32. 제 29 항 내지 제 31 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  33. 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 복호화부;
    복수의 색 공간들 중에서 어느 하나의 색 공간에서 상기 복호화부에 의해 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 역변환부; 및
    상기 생성된 제 1 레지듀들과 예측 화면의 합산에 해당하는 복원 화면을 생성하는 가산기를 포함하는 것을 특징으로 복호화 장치.
  34. 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 단계;
    복수의 색 공간들 중에서 어느 하나의 색 공간에서 상기 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 단계;
    상기 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드에 따라 예측 화면을 생성하는 단계; 및
    상기 생성된 제 1 레지듀들과 상기 생성된 예측 화면간의 합산에 해당하는 복원 화면을 생성하는 단계를 포함하는 것을 특징으로 복호화 방법.
  35. 제 34 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  36. 비트 스트림을 복호화함으로서 제 1 레지듀들간의 차이에 해당하는 제 2 레지듀들을 생성하는 복호화부;
    복수의 색 공간들 중에서 어느 하나의 색 공간에서 상기 복호화부에 의해 생성된 제 2 레지듀들간의 합산에 해당하는 제 1 레지듀들을 생성하는 역변환부;
    상기 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 예측 모드에 따라 예측 화면을 생성하는 예측부; 및
    상기 역변환부에 의해 생성된 제 1 레지듀들과 상기 예측부에 의해 생성된 예측 화면간의 합산에 해당하는 복원 화면을 생성하는 가산기를 포함하는 것을 특징으로 복호화 장치.
  37. 소정의 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 제 1 예측 모드 및 상기 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 제 2 예측 모드 중 어느 하나에 따라 현재 화면의 예측 화면을 생성하는 단계; 및
    상기 생성된 예측 화면에 기초하여 상기 현재 화면의 복원 화면을 생성하는 단계를 포함하는 것을 특징으로 복호화 방법.
  38. 제 17 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  39. 소정의 색 공간을 구성하는 색 성분들 각각에 독립적으로 적용되는 제 1 예측 모드 및 상기 소정의 색 공간을 구성하는 모든 색 성분들에 일률적으로 적용되는 제 2 예측 모드 중 어느 하나에 따라 현재 화면의 예측 화면을 생성하는 예측부; 및
    상기 예측부에 의해 생성된 예측 화면에 기초하여 상기 현재 화면의 복원 화면을 생성하는 가산기를 포함하는 것을 특징으로 복호화 장치.
KR20060034672A 2005-04-18 2006-04-17 동영상 부호화 또는 복호화 방법 및 장치 Active KR101246915B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US67204705P 2005-04-18 2005-04-18
US60/672,047 2005-04-18

Publications (2)

Publication Number Publication Date
KR20060109844A KR20060109844A (ko) 2006-10-23
KR101246915B1 true KR101246915B1 (ko) 2013-03-25

Family

ID=37115339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20060034672A Active KR101246915B1 (ko) 2005-04-18 2006-04-17 동영상 부호화 또는 복호화 방법 및 장치

Country Status (6)

Country Link
US (5) US8958476B2 (ko)
EP (1) EP1872585A4 (ko)
JP (3) JP2008537402A (ko)
KR (1) KR101246915B1 (ko)
CN (1) CN101160970B (ko)
WO (1) WO2006112653A1 (ko)

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1538844A3 (en) * 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
KR100647294B1 (ko) 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
BRPI0609239A2 (pt) * 2005-04-13 2010-03-09 Thomson Licensing método e aparelho para decodificação de vìdeo
KR101246915B1 (ko) * 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
US20090034857A1 (en) * 2005-07-22 2009-02-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
CN102231835B (zh) * 2005-07-22 2013-04-17 三菱电机株式会社 图像解码装置及方法
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123977A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130990A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US20080130989A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130988A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080165849A1 (en) * 2005-07-22 2008-07-10 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8509551B2 (en) * 2005-07-22 2013-08-13 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
US20080123947A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20080137744A1 (en) * 2005-07-22 2008-06-12 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
KR100873636B1 (ko) 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
CN101371586B (zh) 2006-01-10 2012-06-27 汤姆森特许公司 用于并行实现4:4:4编码的方法和装置
KR101330630B1 (ko) 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
FR2907989B1 (fr) 2006-10-27 2009-01-16 Actimagine Sarl Procede et dispositif d'optimisation de la compression d'un flux video
KR20080045516A (ko) * 2006-11-20 2008-05-23 삼성전자주식회사 Ｒｇｂ 영상의 부호화 및 복호화 방법과 그 장치
CN101222641B (zh) * 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US20080170793A1 (en) * 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
JP5249242B2 (ja) * 2007-01-24 2013-07-31 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
KR20080086766A (ko) * 2007-03-23 2008-09-26 삼성전자주식회사 픽셀 단위의 컨텍스트 모델을 이용한 영상의 부호화,복호화 방법 및 장치
KR101403338B1 (ko) * 2007-03-23 2014-06-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8145002B2 (en) * 2007-06-28 2012-03-27 Mitsubishi Electric Corporation Image encoding device and image encoding method
CN101159875B (zh) * 2007-10-15 2011-10-05 浙江大学 二重预测视频编解码方法和装置
US8885726B2 (en) 2007-12-04 2014-11-11 Vixs Systems, Inc. Neighbor management for use in entropy encoding and methods for use therewith
KR101213704B1 (ko) * 2007-12-05 2012-12-18 삼성전자주식회사 가변 컬러 포맷 기반 동영상 부호화 방법 및 장치, 그복호화 방법 및 장치
KR101291196B1 (ko) * 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
CN101262607B (zh) * 2008-04-11 2011-06-15 浙江大学 二重预测视频编解码方法和装置
KR20100018810A (ko) 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
EP2380354A4 (en) * 2008-12-19 2015-12-23 Mediatek Singapore Pte Ltd METHOD AND APPARATUS FOR VIDEO PROCESSING WITH RESIDUAL PREDICTION
KR101885382B1 (ko) * 2009-07-06 2018-08-03 톰슨 라이센싱 공간적으로 변하는 잔류물 코딩을 위한 방법 및 장치
JP5475409B2 (ja) * 2009-11-20 2014-04-16 三菱電機株式会社 動画像符号化装置および動画像符号化方法
USRE47243E1 (en) * 2009-12-09 2019-02-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
KR101700358B1 (ko) * 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP5421757B2 (ja) * 2009-12-11 2014-02-19 株式会社Ｋｄｄｉ研究所 画像符号化装置
TWI562600B (en) 2010-02-08 2016-12-11 Nokia Technologies Oy An apparatus, a method and a computer program for video coding
AU2015200435B2 (en) * 2010-04-05 2015-10-08 Samsung Electronics Co., Ltd. Determining intra prediction mode of image coding unit and image decoding unit
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
CN105635737B (zh) * 2010-04-09 2019-03-15 Lg电子株式会社 处理视频数据的方法和装置
CN106231323B (zh) 2010-04-13 2020-07-28 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
KR101793857B1 (ko) 2010-04-13 2017-11-03 지이 비디오 컴프레션, 엘엘씨 샘플 배열 멀티트리 세부분할에서 계승
KR102669292B1 (ko) 2010-04-13 2024-05-28 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
CN106067983B (zh) 2010-04-13 2019-07-12 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及解码器
CN103238334A (zh) * 2010-10-01 2013-08-07 三星电子株式会社 图像帧内预测方法和设备
JP5586061B2 (ja) * 2010-10-27 2014-09-10 Ｋｄｄｉ株式会社 色コンポーネント間予測型画像符号化装置および復号装置
TWI513277B (zh) 2010-11-04 2015-12-11 Ge Video Compression Llc 支援區塊合併及跳越模式之圖像編碼技術
FR2969456A1 (fr) * 2010-12-15 2012-06-22 France Telecom Procedes et dispositifs de codage et de decodage d'au moins une image mettant en œuvre une selection des pixels a predire, programme d'ordinateur correspondant
ES2883132T3 (es) * 2011-01-13 2021-12-07 Canon Kk Aparato de codificación de imagen, procedimiento de codificación de imagen y programa, y aparato de decodificación de imagen, procedimiento de decodificación de imagen y programa
US20120218292A1 (en) * 2011-02-10 2012-08-30 Ncomputing Inc. System and method for multistage optimized jpeg output
HUE060582T2 (hu) 2011-03-06 2023-03-28 Lg Electronics Inc Intra predikációs eljárás krominancia blokkok számára
EP2501133A3 (de) * 2011-03-16 2013-07-31 Basler AG Verfahren und Vorrichtung zur Bandbreitenreduktion für Bilddaten
US8724701B1 (en) * 2011-04-18 2014-05-13 Google Inc. Using object decomposition to improve the selection of example-based predictors
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
JP5753062B2 (ja) * 2011-11-16 2015-07-22 Kddi株式会社 色コンポーネント間予測型画像符号化装置および復号装置
JP5796899B2 (ja) * 2012-03-26 2015-10-21 Kddi株式会社 画像符号化装置及び画像復号装置
KR101431463B1 (ko) * 2012-07-11 2014-08-22 세종대학교산학협력단 무손실 비디오 부호화／복호화 방법 및 장치
JP6005572B2 (ja) * 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
CN105409218B (zh) 2013-04-08 2021-05-25 Ge视频压缩有限责任公司 解码器和解码方法
US9225988B2 (en) 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
US9225991B2 (en) * 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
JP5667269B2 (ja) * 2013-10-18 2015-02-12 株式会社Ｋｄｄｉ研究所 画像符号化装置、画像復号装置、画像符号化・復号装置、画像符号化・復号方法及び画像符号化・復号プログラム
WO2015100522A1 (en) * 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
CN110049325B (zh) 2014-03-04 2022-07-05 微软技术许可有限责任公司 色彩空间、色彩采样率和/或比特深度的自适应切换
EP3114835B1 (en) 2014-03-04 2020-04-22 Microsoft Technology Licensing, LLC Encoding strategies for adaptive switching of color spaces
CA2940015C (en) 2014-03-27 2020-10-27 Microsoft Technology Licensing, Llc Adjusting quantization/scaling and inverse quantization/scaling when switching color spaces
JP5755781B2 (ja) * 2014-05-07 2015-07-29 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 平面間予測
JP2014222936A (ja) * 2014-07-23 2014-11-27 株式会社Ｋｄｄｉ研究所 画像復号装置、画像復号方法、画像符号化復号方法及び画像復号プログラム
JP6410513B2 (ja) * 2014-08-07 2018-10-24 キヤノン株式会社 画像符号化装置及び方法
SG11201702743WA (en) * 2014-10-03 2017-06-29 Nec Corp Video coding device, video decoding device, video coding method, video decoding method and program
US10687069B2 (en) 2014-10-08 2020-06-16 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces
KR101671933B1 (ko) * 2014-10-29 2016-11-03 삼성전자주식회사 영상 복호화 방법 및 장치
GB2533109B (en) * 2014-12-09 2018-11-28 Gurulogic Microsystems Oy Encoder, decoder and method for data
GB2533111B (en) * 2014-12-09 2018-08-29 Gurulogic Microsystems Oy Encoder, decoder and method for images, video and audio
KR101671935B1 (ko) * 2015-03-11 2016-11-03 삼성전자주식회사 영상 복호화 방법 및 장치
KR101671934B1 (ko) * 2015-03-11 2016-11-03 삼성전자주식회사 영상 복호화 방법 및 장치
US10225561B2 (en) * 2015-10-08 2019-03-05 Mediatek Inc. Method and apparatus for syntax signaling in image and video compression
JP6593122B2 (ja) * 2015-11-20 2019-10-23 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
KR20170089777A (ko) * 2016-01-27 2017-08-04 한국전자통신연구원 예측을 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
JP6706997B2 (ja) * 2016-08-09 2020-06-10 株式会社Ｊｏｌｅｄ 表示装置、表示装置の補正方法、表示装置の製造方法、および表示装置の表示方法
KR101725287B1 (ko) * 2016-10-27 2017-04-10 삼성전자주식회사 영상 복호화 방법 및 장치
US20180308450A1 (en) * 2017-04-21 2018-10-25 Intel Corporation Color mapping for better compression ratio
US9916637B1 (en) * 2017-04-27 2018-03-13 Apple Inc. Splitting and merging subband image data
KR101883430B1 (ko) * 2017-08-30 2018-07-30 삼성전자주식회사 영상 부호화 방법 및 장치, 그 기록매체
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
US10657623B2 (en) 2018-08-10 2020-05-19 Apple Inc. Two stage multi-scale processing of image data
CN109361922B (zh) * 2018-10-26 2020-10-30 西安科锐盛创新科技有限公司 预测量化编码方法
CN113383548A (zh) 2019-02-03 2021-09-10 北京字节跳动网络技术有限公司 Mv精度和mv差编解码之间的相互作用
CN111837395B (zh) * 2019-02-14 2025-08-22 北京字节跳动网络技术有限公司 基于处理参数的解码器侧运动推导
WO2020171046A1 (en) 2019-02-20 2020-08-27 Panasonic Intellectual Property Corporation Of America Image encoder and image decoder
CN117692630A (zh) 2019-05-11 2024-03-12 北京字节跳动网络技术有限公司 视频处理中编解码工具的选择性使用
US11863754B2 (en) * 2019-05-15 2024-01-02 Hyundai Motor Company Method and for reconstructing chroma block and video decoding apparatus
CN115516854B (zh) * 2020-04-02 2025-07-08 弗劳恩霍夫应用研究促进协会 解码/编码图片的方法、视频解码器/编码器和非暂时性数字存储介质
US20250086840A1 (en) * 2021-06-25 2025-03-13 Polar Hpc Solutions Limited Image compression and associated color approximation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040099086A (ko) * 2003-05-16 2004-11-26 삼성전자주식회사 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및장치
KR20050009226A (ko) * 2003-07-16 2005-01-24 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
KR20050009216A (ko) * 2003-07-16 2005-01-24 삼성전자주식회사 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197334A (ja) * 1992-07-03 1994-07-15 Sony Corp 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体
JP3191583B2 (ja) * 1994-12-12 2001-07-23 ソニー株式会社 情報復号化装置
EP0940774A3 (en) * 1998-03-05 2000-07-05 Matsushita Electric Industrial Co., Ltd. Motion vector coding and decoding apparatus and method
EP0993733B1 (en) * 1998-04-09 2013-06-19 Koninklijke Philips Electronics N.V. Lossless encoding/decoding in a transmission system
EP1335607A3 (en) * 2001-12-28 2003-10-22 Ricoh Company, Ltd. Image smoothing apparatus and method
JP2004007379A (ja) 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
JP2004222027A (ja) 2003-01-16 2004-08-05 Matsushita Electric Ind Co Ltd 画像符号化装置および方法、ならびに画像復号化装置および方法
EP1478189A3 (en) * 2003-05-16 2004-12-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
US7751478B2 (en) * 2005-01-21 2010-07-06 Seiko Epson Corporation Prediction intra-mode selection in an encoder
KR101246915B1 (ko) 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040099086A (ko) * 2003-05-16 2004-11-26 삼성전자주식회사 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및장치
KR20050009226A (ko) * 2003-07-16 2005-01-24 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
KR20050009216A (ko) * 2003-07-16 2005-01-24 삼성전자주식회사 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치

Also Published As

Publication number Publication date
US9131244B2 (en) 2015-09-08
JP2008537402A (ja) 2008-09-11
US8958476B2 (en) 2015-02-17
KR20060109844A (ko) 2006-10-23
US20150195556A1 (en) 2015-07-09
JP2012209965A (ja) 2012-10-25
US20060233251A1 (en) 2006-10-19
CN101160970A (zh) 2008-04-09
US20150229923A1 (en) 2015-08-13
US20150271501A1 (en) 2015-09-24
WO2006112653A8 (en) 2007-01-18
US20150124868A1 (en) 2015-05-07
JP2014195323A (ja) 2014-10-09
US9332265B2 (en) 2016-05-03
EP1872585A1 (en) 2008-01-02
US9351006B2 (en) 2016-05-24
CN101160970B (zh) 2010-07-21
EP1872585A4 (en) 2009-08-05
US9338462B2 (en) 2016-05-10
WO2006112653A1 (en) 2006-10-26

Similar Documents

Publication Publication Date Title
KR101246915B1 (ko) 동영상 부호화 또는 복호화 방법 및 장치
KR102447472B1 (ko) 주변 블록이 갖는 방향성을 기초로 인트라 예측을 수행하는 비디오 인코딩 장치, 비디오 디코딩 장치 및 비디오 디코딩 방법
KR101330630B1 (ko) 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
KR101362757B1 (ko) 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
KR101256548B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
US8902980B2 (en) Apparatus and method for encoding and decoding high fidelity video, and computer-readable storage medium
KR100723403B1 (ko) 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
KR20150095232A (ko) 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
KR20130011878A (ko) 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
KR100718122B1 (ko) 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치
KR20120010177A (ko) 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
WO2011064944A1 (ja) 映像符号化装置および映像復号装置
KR20090072150A (ko) 스캔 패턴 결정 장치 및 이를 이용한 영상 데이터 부호화방법과 그 장치, 그리고, 이를 이용한 영상 데이터 복호화방법과 그 장치
KR100738075B1 (ko) 영상 부호화/복호화 장치 및 방법
JP2007266861A (ja) 画像符号化装置
KR20120010097A (ko) 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20060417

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20110124

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20060417

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120628

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121218

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130318

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130319

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20160226

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180227

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190227

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210225

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20240228

Start annual number: 12

End annual number: 12

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载