+

KR100732961B1 - 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치 - Google Patents

다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치 Download PDF

Info

Publication number
KR100732961B1
KR100732961B1 KR20060025680A KR20060025680A KR100732961B1 KR 100732961 B1 KR100732961 B1 KR 100732961B1 KR 20060025680 A KR20060025680 A KR 20060025680A KR 20060025680 A KR20060025680 A KR 20060025680A KR 100732961 B1 KR100732961 B1 KR 100732961B1
Authority
KR
South Korea
Prior art keywords
image
temporal
spatial
high frequency
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR20060025680A
Other languages
English (en)
Other versions
KR20060105449A (ko
Inventor
박광훈
최원준
Original Assignee
경희대학교 산학협력단
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단, 삼성전자주식회사 filed Critical 경희대학교 산학협력단
Priority to KR20060025680A priority Critical patent/KR100732961B1/ko
Priority to US11/392,817 priority patent/US8040952B2/en
Priority to CA2588639A priority patent/CA2588639C/en
Priority to JP2007542933A priority patent/JP4611386B2/ja
Priority to EP06732683.5A priority patent/EP1864498B1/en
Priority to AU2006229490A priority patent/AU2006229490B2/en
Priority to PCT/KR2006/001080 priority patent/WO2006104326A1/en
Priority to CN2006800012708A priority patent/CN101069430B/zh
Publication of KR20060105449A publication Critical patent/KR20060105449A/ko
Application granted granted Critical
Publication of KR100732961B1 publication Critical patent/KR100732961B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치에 관한 것으로, 복수 개의 카메라로부터 입력되는 다시점 영상을 공간축 방향과 시간축 방향으로 MCTF(Motion Compensated Temporal Filtering) 또는 계층적 B 픽처(Hierarchical B-pictures)를 이용한 필터링을 통해 재구성한 후, 스케일러블 비디오 코딩(Scalable Video Coding: SVC) 기법을 적용하는 것을 특징으로 한다.
MPEG, 스케일러블 비디오 코딩, 다시점 비디오 코딩

Description

다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치{Multiview scalable image encoding, decoding method and its apparatus}
도 1a 내지 도 1c는 종래 기술에 따른 다시점 카메라들을 나타낸 도면이다.
도 2는 4×4 평행 구조를 갖는 16개의 다시점 카메라로 구성된 FTV(Free-viewpoint television) 시스템에서 동일한 시간에서 각 카메라에 입력된 영상을 나타낸 것이다.
도 3은 스케일러블 영상 부호화의 개념을 설명하기 위한 참고도이다.
도 4는 스케일러블 영상 부호화 장치의 일 예를 나타낸 참고도이다.
도 5는 MCTF에서 이용되는 리프팅 스킴에서 수행되는 연산 과정을 설명하기 위한 참고도이다.
도 6은 GOP(Group of Picture)의 크기가 8인 영상 시퀀스에서 Haar 웨이블릿을 이용한 시간적 필터링(Temporal Filtering)을 나타낸 참고도이다.
도 7은 GOP(Group of Picture)의 크기가 8인 영상 시퀀스에서 5/3 스플라인 웨이블릿을 이용한 시간적(Temporal) 필터링 과정을 나타낸 참고도이다.
도 8은 블록 단위로 MCTF의 예측을 수행하는 과정의 일 예를 나타낸 참고도이다.
도 9는 블록 단위로 MCTF의 업데이트를 수행하는 과정의 일 예를 나타낸 참 고도이다.
도 10은 스케일러블 영상 부호화에서 시간적 스케일러빌러티를 구현하는 과정을 설명하기 위한 참고도이다.
도 11은 시간적, 공간적, 화질 스케일러빌러티를 모두 구현한 스케일러블 구조의 일 예를 나타낸 참고도이다.
도 12는 이분법적인(dyadic) 계층 구조를 갖는 계층적 B-픽처들의 일 예를 나타낸 참고도이다.
도 13은 이분법적인 계층 구조를 갖지 않는 계층적 B-픽처들의 일 예를 나타낸 참고도이다.
도 14는 본 발명에 따른 다시점 영상의 스케일러블 부호화 및 복호화 장치를 포함하는 다시점 스케일러블 영상 코덱의 전체 구성을 나타낸 도면이다.
도 15는 본 발명에 따른 다시점 영상의 스케일러블 부호화 장치의 구성을 나타낸 도면이고, 도 16은 본 발명에 따른 다시점 영상의 스케일러블 부호화 방법을 나타낸 플로우 차트이다.
도 17은 본 발명에 따른 2차원 영상군의 일 예를 나타낸 도면이다.
도 18은 본 발명에 따른 다시점 영상의 공간적 필터링 과정을 설명하기 위한 도면이다.
도 19는 본 발명에 따른 다시점 영상의 스케일러블 부호화시에 이용되는 공간적 필터링과 시간적 필터링의 관계를 설명하기 위한 도면이다.
도 20은 본 발명에 따른 공간적 필터링 결과 생성된 공간적 저주파수 영상들 에 대해 시간적 필터링을 수행하는 과정을 설명하기 위한 도면이다.
도 21은 본 발명에 따른 다시점 영상의 스케일러블 부호화 과정을 설명하기 위한 도면이다.
도 22 내지 도 25는 본 발명에 따른 다시점 영상의 스케일러블 부호화 과정에서 생성된 비트스트림을 도시한 도면이다.
도 26은 본 발명에 따른 다시점 영상의 스케일러블 복호화 장치의 구성을 나타낸 도면이다.
도 27은 본 발명에 따른 다시점 영상의 스케일러블 복호화 방법을 나타낸 플로우 차트이다.
도 28은 본 발명에 따른 다시점 영상의 스케일러블 복호화 과정에서 역필터링 과정을 설명하기 위한 도면이다.
도 29는 본 발명에 따른 다시점 영상의 스케일러블 부호화 방법을 계층적으로 확장하는 경우를 설명하기 위한 도면이다.
도 30은 본 발명에 따라 QCIF 크기를 기반으로 하는 2차원 QCIF 코어로부터 CIF 및 4CIF까지의 계층적인 구조를 갖는 전체 비트스트림의 구성을 나타낸 것이다.
본 발명은 영상의 부호화, 복호화 방법 및 장치에 관한 것으로, 보다 구체적 으로는 복수 개의 카메라로부터 입력되는 다시점 영상을 공간축 방향과 시간축 방향으로 MCTF(Motion Compensated Temporal Filtering) 또는 계층적 B 픽처(Hierarchical B-pictures)를 이용한 필터링을 통해 재구성한 후, 스케일러블 비디오 코딩(Scalable Video Coding: SVC) 기법을 적용하는 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치에 관한 것이다.
디지털 방송 서비스는 현재의 HDTV, 위성/지상파 DMB 등으로부터, 양방향 대화형 TV 및 방송, 입체 TV 및 방송을 거쳐 실감 방송의 형태로 발전할 것으로 예상된다. 실감 방송은 다양한 시점에서의 광경에 대한 영상 정보를 사용자에게 제공하고, 해당 정보 중에 시청자가 보고 싶은 광경에 대한 조작을 통해 각각의 시청자마다 방송국에서 보내지는 정보를 창조적으로 편집하여 시청할 수 있게 하는 방송이다. 이러한 실감 방송을 구현하기 위해서는 파노라마 영상을 생성시켜야 한다. 파노라마 영상의 생성을 위해 일반적으로 여러 개의 카메라를 조합하여 다양한 시점에서의 영상을 취득한 다음 각 카메라에서 취득된 영상을 연결하거나, 전방향(omni-directional) 카메라 시스템을 이용한다. 복수 개의 카메라에서 획득된 영상 정보를 사용자에게 전달하기 위해서는 많은 양의 데이터의 수집 및 전송이 필요로 한다. 다시점 영상의 정보를 수집할 수 있는 방법으로 다시점 카메라 시스템, 스테레오 스코픽 카메라 시스템, 전방향 카메라 시스템 등 다양한 방법이 연구되고 있다. 이 중 다시점 카메라 시스템은 M개의 카메라로부터 동시에 한 개체 혹은 장면을 촬영하거나 전송하여 사용자에게 카메라의 위치에 따른 여러 장면을 제공하거나 삼차원 장면을 제공하는 것이다.
다시점 영상 코딩(Multi-view image coding)은 다시점 영상을 제공하는 M개의 카메라로부터 입력받은 영상을 동시에 코딩하여 압축 저장 및 전송을 하기 위한 것이다. 다시점 영상을 압축하지 않고 저장 및 전송할 경우 데이터 크기가 매우 크기 때문에 데이터를 실시간으로 방송망 또는 유/무선 인터넷 등을 통하여 사용자에게 전달하기 위해서는 큰 크기의 전송 대역폭이 요구된다. 예를 들어, 16개의 카메라로부터 각각 1310×1030 해상도를 가지는 24bits 컬러 영상을 30frame/sec의 비율로 입력받는 경우, 14.4Gb/sec 정도의 큰 크기의 데이터를 처리해야 한다. 따라서 현재 MPEG에서는 3DAV(3D Audio and Video) 서브 그룹 내에서 다시점 코딩 방법을 위한 하위 그룹을 만들어 다시점 비디오로부터 입력된 방대한 양의 영상 데이터를 비디오 압축 기술을 사용하여 코딩하는 방법에 대한 국제 표준화를 검토 및 진행하고 있다.
도 1a 내지 도 1c는 종래 기술에 따른 다시점 카메라의 구성예들을 도시한 도면이고, 도 2는 4×4 평행 구조를 갖는 16개의 다시점 카메라로 구성된 FTV(Free-viewpoint television) 시스템에서 동일한 시간에서 각 카메라에 입력된 영상을 나타낸 것이다. 도 1a 내지 1c는 각각 평행(parallel) 구조, 수렴(convergent) 구조, 발산(divergent) 구조로 복수 개의 카메라(10)들이 배치된 경우를 도시하고 있다. 카메라(10)의 배치 및 개수는 다시점 영상의 제공 범위에 따라 변경 가능하다.
도 2를 참조하면, 다시점 영상에서 각 카메라에 입력되는 영상은 매우 유사하다. 즉, 다시점 영상을 제공하는 각 카메라의 입력 영상은 공간축 상의 상관관 계(correlation)가 매우 높다. 따라서 다시점 비디오 코딩에서 높은 압축 효율을 제공하기 위해서는 카메라의 입력 영상 사이의 높은 공간적(Spatial) 상관관계 정보를 활용할 필요가 있다. 또한 다양한 환경과 다양한 연산 능력을 가지는 단말기 상에서 다양하게 삼차원 또는 선택적인 이차원으로 나타내기 위해서는 공간적-시간적(Spatio-Temporal) 스케일러블 코딩이 필요하다.
본 발명은 복수 개의 카메라로부터 소정 시간 동안 입력되는 다시점 영상들을 공간적-시간적으로 필터링함으로써 다양한 공간적-시간적(Spatio-Temporal) 스케일러빌리티를 지원하는 다시점 영상의 스케일러블 부호화 방법 및 장치를 제공하는 데에 목적이 있다. 구체적으로는 공간축 방향과 시간축 방향에서 획득된 다수의 영상 조합인 2차원 GOP(Group of Picture)를 공간축(Spatial) 방향과 시간축(Temporal) 방향으로 MCTF(Motion Compensated Temporal Filtering) 또는 계층적 B 픽처를 이용한 공간적-시간적 영상 필터링을 통해 재구성한 후, 스케일러블 비디오 코딩(Scalable Video Coding: SVC) 기법을 적용하는 다시점 영상의 스케일러블 부호화 방법 및 장치를 제공하는 데에 목적이 있다.
또한, 본 발명은 스케일러블 부호화된 다시점 영상의 비트스트림을 복호화하여 공간적-시간적 스케일러빌리티를 지원하는 다시점 영상의 복호화 방법 및 장치를 제공하는 데에 목적이 있다.
상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 다시점 영상의 스케일러블 부호화 방법은 (a) M개의 카메라로부터 입력되는 공간축 상의 M개의 영상들에 대해 공간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 공간적 저주파수 영상과 (M-1)개의 공간적 고주파수 영상을 생성하는 단계; (b) 소정의 N 시간 단위 동안 생성된 N개의 상기 공간적 저주파수 영상들에 대해 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 시간적 저주파수 영상과 (N-1)개의 시간적 고주파수 영상을 생성하는 단계; (c) 상기 M×N개의 입력 2차원 영상군들에 할당된 전송비트율에 따라서 상기 생성된 시간적 저주파수 영상 및 고주파수 영상을 스케일러블 부호화하는 단계; 및 (d) 상기 시간적 저주파수 영상 및 고주파수 영상에 할당된 전송비트율을 참조하여 상기 공간적 고주파수 영상을 스케일러블 부호화하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 다시점 영상의 스케일러블 부호화 장치는, M개의 카메라로부터 입력되는 공간축 상의 M개의 영상들에 대해 공간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 공간적 저주파수 영상과 (M-1)개의 공간적 고주파수 영상을 생성하는 공간적 영상 필터링부; 소정의 N 시간 단위 동안 생성된 N개의 상기 공간적 저주파수 영상들에 대해 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 시간적 저주파수 영상과 (N-1)개의 시간적 고주파수 영상을 생성하는 시간적 영상 필터링부; 상기 M×N개의 입력 2차원 영상군들에 할당된 전송비트율에 따라서 상기 생성된 시간적 저주파수 영상 및 고주파수 영상을 스케일러블 부호화하는 시간적 영상 스케일 러블 부호화부; 및 상기 시간적 저주파수 영상 및 고주파수 영상에 할당된 전송비트율을 참조하여 상기 공간적 저주파수 영상 및 고주파수 영상을 스케일러블 부호화하는 공간적 영상 스케일러블 부호화부를 포함하는 것을 특징으로 한다.
본 발명에 따른 다시점 영상의 스케일러블 복호화 방법은 (a) M개의 카메라로부터 소정의 N 시간 단위 동안 입력된 2차원 영상군에 대해 시공간적으로 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행함으로써 생성된 시공간적 저주파수 영상 및 고주파수 영상을 스케일러블 부호화한 비트스트림을 수신하는 단계; (b) 상기 비트스트림에 구비된 스케일러블 부호화된 시간적 저주파수 영상 및 고주파수 영상을 복호화하는 단계; (c) 상기 복호화된 시간적 저주파수 영상 및 고주파수 영상에 대해 역 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 역필터링을 수행하여 공간적 저주파수 영상들을 복원하는 단계; (d) 상기 비트스트림에 구비된 스케일러블 부호화된 공간적 고주파수 영상을 복호화하는 단계; 및 (e) 상기 복원된 공간적 저주파수 영상 및 복호화된 공간적 고주파수 영상에 대해 역 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 역필터링을 수행하여 영상을 복원하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 다시점 영상의 스케일러블 복호화 장치는 M개의 카메라로부터 소정의 N 시간 단위 동안 입력된 2차원 영상군에 대해 시공간적으로 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행함으로써 생성된 시공간적 저주파수 영상 및 고주파수 영상을 스케일러블 부호화한 비트스트림을 수신하고, 상기 비트스트림에 구비된 스케일러블 부호화된 시간적 저주파수 영상 및 고주 파수 영상을 복호화하는 시간적 영상 복호화부; 상기 복호화된 시간적 저주파수 영상 및 고주파수 영상에 대해 역 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 역필터링을 수행하여 공간적 저주파수 영상들을 복원하는 시간적 역필터링부; 상기 비트스트림에 구비된 스케일러블 부호화된 공간적 고주파수 영상을 복호화하는 공간적 영상 복호화부; 및 상기 복원된 공간적 저주파수 영상 및 복호화된 공간적 고주파수 영상에 대해 역 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 역필터링을 수행하여 영상을 복원하는 공간적 역필터링부를 포함하는 것을 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
먼저, 본 발명의 이해를 돕기 위해 본 발명에 적용되는 스케일러블 영상 부호화 및 계층적 B 픽처에 대하여 설명한다.
스케일러블 영상 부호화는 다양한 해상도와 프레임율, 화질을 갖는 영상 정보를 하나의 비트스트림으로 만들어 다양한 환경과 다양한 단말기의 수행 능력에 맞도록 제공하기 위한 것이다.
도 3은 스케일러블 영상 부호화의 개념을 설명하기 위한 참고도이고, 도 4는 스케일러블 영상 부호화 장치의 일 예를 나타낸 참고도이다. 도 3 및 4를 참조하면, 스케일러블 영상 부호화는 입력 영상(31)에 대해 시간적 변환(Temporal Transform)(32)을 이용하여 시간적 스케일러블을 구현하고 2차원 공간적 변환(2D Spatial Transform)(33)을 이용하여 공간적 스케일러블을 구현한다. 또한, 스케일 러블 영상 부호화는 텍스쳐 코딩(Texture Coding)(34)을 이용하여 화질(quality) 스케일러빌러티를 구현한다. 움직임 코딩(Motion Coding)(35)은 각각의 공간적 스케일러블을 구현할 때의 움직임 정보를 스케일러블하게 부호화한다. 위와 같은 코딩 알고리즘을 통하여 하나의 비트스트림(36)을 생성한다.
스케일러블 영상 부호화에서 시간적 스케일러블을 제공하고 압축 효율을 높이기 위한 방법으로 움직임 보상 시간 필터링(Motion Compensated Temporal Filtering, 이하 "MCTF"라 함) 및 계층적 B-픽처(Hierarchical B-pictures)가 있다. 먼저, MCTF에 대하여 설명한다.
MCTF는 영상 시퀀스 안에서 시간 방향의 움직임의 정보를 이용하여 웨이블릿 변환(Wavelet Transform)을 수행하는 것을 말한다. 웨이블릿 변환은 리프팅 스킴(Lifting scheme)을 이용하여 구현된다. 리프팅 스킴은 웨이블릿 변환을 효율적으로 수행하기 위한 것으로 연산의 속도가 빠르며 양자화를 수행하지 않았을 경우 완전한 재구성 영상을 보장하는 특징이 있다. 리프팅 스킴은 다위상 분해(polyphase decomposition), 예측(prediction) 및 업데이트(update)의 세 가지 연산으로 구성된다.
도 5는 MCTF에서 이용되는 리프팅 스킴에서 수행되는 연산 과정을 설명하기 위한 참고도이다. 도 5를 참조하면, 입력 신호(s[k])를 짝수번째 신호(s[2k])와 홀수번째 신호(s[2k+1])로 나눈다. 홀수번째 신호(s[2k+1])로부터 짝수번째 신호(s[2k])들의 일차결합으로 이루어진 예측 연산자 P(s[2k+1])를 감산하여 고주파 신호(h[k])를 구한다. 저주파수 신호(l[k])는 짝수번째 신호(s[2k])에 고주파 신호 (h[k])들의 일차결합으로 이루어진 업데이트 연산자 U(s[2k])를 더해 줌으로써 구한다. 이 과정은 다음의 수학식 1과 같이 나타낼 수 있다.
Figure 112006019646084-pat00001
도 5에서 Fl, Fh 는 각각 저주파수 신호와 고주파수 신호에 해당하는 스케일링 팩터이다. 역(inverse) 리프팅 스킴에서, 역 스케일링 과정을 수행한 신호 h[k]와 l[k]에 대해 업데이트 연산과 예측 연산을 수행하면 완전한 재구성 신호를 얻을 수 있다. 수학식 2는 하르(Haar) 웨이블릿을 이용한 리프팅 스킴을 나타낸다.
Figure 112006019646084-pat00002
h[k]는 홀수번째 신호(s[2k+1])에 예측 연산, 즉 짝수번째 신호(s[2k])를 빼줌으로서 구하고, l[k]는 짝수번째 신호(s[2k])에 업데이트 연산, 즉 고주파 신호(h[k])의 1/2 값을 더해줌으로 구한다. 다음의 수학식 3은 역 리프팅 스킴의 예를 보여준다.
Figure 112006019646084-pat00003
s[2k]은 저주파수 신호(l[k])에 업데이트 연산, 즉 고주파 신호(h[k])의 1/2 값을 빼줌으로써 구하고, s[2k+1]은 고주파 신호(h[k])에 예측 연산, 즉 재구성된 짝수번째 신호(s[2k])를 더해줌으로 구할 수 있다. 위와 같은 과정으로 리프팅 스킴은 완전한 재구성 신호를 얻을 수 있음을 확인할 수 있다.
리프팅 스킴을 시간 방향으로 구성하기 위해 공간좌표 x=(x,y)T과 시간 좌표 k를 갖는 s[x,k] 를 영상 신호라 하면, 하르 웨이블릿의 예측과 업데이트 연산은 다음의 수학식 4와 같이 표현된다.
Figure 112006019646084-pat00004
도 6은 GOP(Group of Picture)의 크기가 8인 영상 시퀀스에서 Haar 웨이블릿 을 이용한 시간적 필터링(Temporal Filtering)을 나타낸 참고도이다. 도 6에서 "LO"는 원영상의 시퀀스를 나타내며, "H1"은 두 번째 "L0" 영상에서 첫 번째 "L0" 영상을 차분한 잔여 영상을 나타낸다(예측 과정). "L1"은 첫 번째 "L0" 영상과 "H1"에 1/2을 곱한 영상을 더해준 영상을 나타낸다(업데이트 과정). 이와 같은 과정을 "L1" 영상에 적용하여 "H2"와 "L2"를 생성하고, "L2"에 대해 같은 과정을 적용하여 "H3"와 "L3"를 생성한다. 그리고 "L3", "H3", "H2", "H2", "H1", "H1", "H1","H1"의 순서로 배열된 영상은 부호화되어 복호화부에 전달된다.
5/3 스플라인(spline) 웨이블릿을 이용한 예측 및 업데이트 연산은 다음의 수학식 5와 같이 표현된다.
Figure 112006019646084-pat00005
도 7은 GOP (Group of Picture)의 크기가 8인 영상 시퀀스에서 5/3 스플라인 웨이블릿을 이용한 시간적(Temporal) 필터링 과정을 나타낸 참고도이다. 도 7에서 "LO"는 원영상의 시퀀스를 나타내며, "H1"은 짝수 번째 "L0" 영상에서 양 옆의 홀수번째 "L0" 영상에 1/2을 곱한 영상을 차분한 잔여 영상을 나타낸다. "L1"은 홀수 번째 "L0" 영상과, 그 양 옆의 "H1" 영상에 1/4을 곱한 영상을 더한 영상을 나타낸다. 이와 같은 과정을 통해 "L3", "H3", "H2", "H2", "H1", "H1", "H1", "H1"의 순서로 배열된 영상은 부호화되어 복호화부에 전달된다.
상기 리프팅 스킴에서 예측과 업데이트 과정을 움직임 방향으로 수행하면 MCTF가 된다. 그리고 AVC의 다중 참조(multiple-reference)를 가능하게 하는 경우 하르 필터 및 5/3 스플라인 웨이블릿을 이용한 예측과 업데이트 과정은 다음의 수학식 6과 같이 표현된다.
Figure 112006019646084-pat00006
수학식 6에서 m은 움직임 벡터를 뜻하고 r(r≥0)은 참조 영상의 인덱스를 뜻한다.
도 8은 블록 단위로 MCTF의 예측을 수행하는 과정의 일 예를 나타낸 참고도이다. "HN +1"을 예측할 때, 인트라 블록으로 코딩하는 것이 코딩 효율이 높을 경우에는 인트라 블록으로 코딩하고, 양방향에서 예측하는 것이 적합한 경우는 5/3 스플라인 웨이블릿과 같은 방법으로 현재 영상으로부터 참조 영상에 각각 1/2을 곱한 값을 차분한다. 또한, 한 방향에서 예측하는 것이 적합한 경우는 하르 웨이블릿과 같은 방법으로 현재 영상에서 참조 영상을 차분한다. 현재 영상이 참조하는 영상이 바로 옆이 아니라 시간적으로 멀리 떨어져 있는 경우는 다중 참조를 이용한다.
도 9는 블록 단위로 MCTF의 업데이트를 수행하는 과정의 일 예를 나타낸 참 고도이다. "LN +1"을 업데이트할 때, 상기 예측 과정과 같이 인트라 블록으로 코딩하는 것이 효율이 높을 경우에는 인트라 블록으로 코딩하고, 양방향에서 예측하는 것이 적합한 경우는 5/3 스플라인 웨이블릿과 같은 방법으로 현재 영상과 참조 영상들에 각각 1/4을 곱한 값을 더해주고, 한 방향에서 예측하는 것이 적합한 경우는 하르 웨이블릿과 같은 방법으로 현재 영상과 참조 영상에 1/2을 곱한 값을 더해준다. 또한 블록 단위로 업데이트를 할 때 참조하는 영상이 바로 옆이 아닌 멀리 떨어진 영상인 경우는 다중 참조를 이용한다.
스케일러블 영상 부호화에서 스케일러빌러티는 두 가지 방법을 통해 구현될 수 있다. 하나는 비트플레인(Bit-Plane)을 이용하는 방법이고, 다른 하나는 종래의 스케일러블 표준에서 사용되었던 계층적인 방법을 이용하는 것이다. 상기 설명한 두 가지 방법을 모두 이용하여 시공간적, 화질(Quality) 스케일러빌러티를 구현할 수 있다.
도 10은 스케일러블 영상 부호화에서 시간적 스케일러빌러티를 구현하는 과정을 설명하기 위한 참고도이다. 스케일러블 영상 부호화에서 GOP 단위의 원 영상 시퀀스를 MCTF를 통해 시간적 서브밴드 영상으로 나눈 다음 각 서브밴드를 계층으로 구성하여 시간적 스케일러빌러티를 구현한다. 도 10을 참조하면 세 번의 MCTF를 수행하여 생성된 저주파수 영상(L3)을 기본 계층으로 하여 1/12 프레임율 (frame rate)을 지원할 수 있다. 세 번의 MCTF를 수행하여 생성된 고주파 영상(H3)은 기본 계층의 저주파수 영상(L3)과 함께 1/4 프레임율을 지원하는데 이용된 다. 동일한 방법으로 세 개의 고주파 영상(H2)과 저주파수 영상(L2)은 함께 1/2 프레임율을 지원하는데 이용된다. 마지막으로 여섯 개의 고주파 영상(H1)들은 하위 계층의 영상들과 함께 전체 프레임율을 지원하는데 이용된다.
공간적 스케일러빌러티는 종래의 MPEG-2, MPEG-4와 같이 계층적인 방법으로 제공이 되며 기본 계층은 AVC와 호환되도록 구성된다. 화질(Quality) 스케일러빌러티는 블록 단위 FGS(Fine Granular Scalability) 방식을 이용한 비트플래인(bitplane) 코딩 방법을 사용하여 구현하며, 기본 계층 위에 FGS 강화 비트스트림을 임의의 점에서 잘라서 붙여줌으로 향상 계층의 영상을 제공한다. 화질 스케일러빌러티는 컨텍스트 기반(context-based) 코딩을 이용하여 구현될 수 있다.
도 11은 시간적, 공간적, 화질 스케일러빌러티를 모두 구현한 스케일러블 구조의 일 예를 나타낸 참고도이다. 도 11을 참조하면, 공간적 기본 계층은 QCIF 15Hz의 프레임율을 갖고 계층적인 B-픽쳐 구조로 시간적 스케일러빌러티를 구현하여 7.5Hz의 프레임율까지 제공하게 된다. 기본적인 비트율은 41Kbps이고 AVC 신택스에 맞춰 코딩을 수행한다. 그 위에 FGS를 이용하여 화질 스케일러빌러티를 구현하여 80Kbps까지의 비트율을 제공한다. 80Kbps의 QCIF 15Hz영상을 업샘플링(Up-sampling)하여 상위 공간적 스케일러블 계층에서 참조되도록 한다. 상위 공간적 계층에서는 CIF 30Hz의 프레임율을 갖고 MCTF 코딩을 통해 시간적 스케일러블을 구현하여 1.875Hz의 프레임율까지 제공한다. 기본적인 비트율은 115Kbps이고 그 위에 FGS를 이용하여 화질 스케일러빌러티를 구현하여 256Kbps까지의 비트율을 제공한다.
다음, 전술한 MCTF와 함께 본 발명에서 다시점 영상을 필터링하는데 적용되는 계층적 B-픽처에 대하여 설명한다.
계층적 B-픽처는 H.264에서 사용하는 16개의 픽처를 저장할 수 있는 DPB(Decoded Picture Buffer)를 관리하는 MMCO(Memory Managemnent Control Operation)와 RPLR(Reference Picture List Reordering)의 신택스를 이용하여 다양한 방법으로 구현될 수 있다.
도 12는 이분법적인(dyadic) 계층 구조를 갖는 계층적 B-픽처들의 일 예를 나타낸 참고도이다. 여기서, GOP의 크기는 8이다. 도 12를 참조하면, 영상 시퀀스의 맨 앞에 위치하는 영상은 종래의 영상 부호화 표준안과 같이 IDR 픽처라고 부르는 인트라 픽처로 부호화한다. GOP에서 맨 마지막에 위치하는 픽처는 키 픽처라고 하며, I 픽처나 P 픽처로 코딩될 수 있다. 도 12에서는 키 픽처만을 복호화하면 1/8의 프레임율을 지원할 수 있고, 키 픽처와 B1 픽처를 디코딩하면 1/4의 프레임율을 지원할 수 있고, B2 픽처까지 복호화하면 1/2의 프레임율을 지원할 수 있으며, B3 픽처까지 복호화하면 전체 프레임율을 지원할 수 있다.
도 13은 이분법적인 계층 구조를 갖지 않는 계층적 B-픽처들의 일 예를 나타낸 참고도이다. 프레임율은 여러가지 상황에 따라 변화되기 때문에 항상 이분법적으로 GOP가 구성되지 않을 수 있다. 따라서, 프레임율이 변화되는 모든 상황을 지원할 수 있도록 계층적 B-픽처는 이분법적이지 않은 GOP 구조를 지원할 수 있어야 한다. 도 13에서 키 픽처만을 복호화하면 1/12의 프레임율을 지원할 수 있고, 키 픽처와 B1 픽처를 복호화하면 1/6의 프레임율을 지원할 수 있으며, B2 픽처까지 복호화하면 1/3의 프레임율을 지원할 수 있고, B3 픽처까지 복호화하면 전체 프레임율을 지원할 수 있다.
본 발명에서는 전술한 MCTF 또는 계층적 B-픽처를 이용하여 영상을 필터링한다. 이하에서는 설명의 편의를 위하여 MCTF를 이용하는 경우를 중심으로 설명한다. 그러나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 MCTF와 유사하게 계층적 B-픽처를 이용하여 다시점 영상을 공간적-시간적으로 필터링할 수 있음을 용이하게 이해할 수 있을 것이다.
이제, 본 발명의 바람직한 실시예에 따른 다시점 영상의 스케일러블 부호화 방법 및 장치에 대하여 설명한다.
본 발명에 따른 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치는 다양한 해상도, 프레임율, 화질을 제공하기 위해 다시점 영상을 하나의 비트스트림으로 만들어 다양한 단말기의 수행 능력에 맞도록 제공한다.
도 14는 본 발명에 따른 다시점 영상의 스케일러블 부호화 및 복호화 장치를 포함하는 다시점 스케일러블 영상 코덱의 전체 구성을 나타낸 도면이다. 도 14를 참조하면, 다시점 스케일러블 영상 코덱은 다시점 영상 부호화부(1420), 부분 비트스트림 생성부(1430) 및 다시점 영상 복호화부(1440)를 포함한다. 다시점 영상 부호화부(1420)는 복수 개의 카메라(1410)로부터 입력되는 다시점 영상을 스케일러블 부호화하여 시간적, 공간적, 화질 스케일러빌러티를 갖는 풀(full) 비트스트림 을 생성한다. 부분 비트스트림 생성부(1430)는 시간적, 공간적 및 화질 해상도에 따라 풀 비트스트림에 대한 부분적인 복호화가 가능하도록 부분 비트스트림을 생성한다. 이렇게 생성된 전체 비트스트림 또는 부분 비트스트림은 다시점 영상 복호화부(1440)에서 복원되어 디스플레이부(1450)를 통해 출력된다.
도 15는 본 발명에 따른 다시점 영상의 스케일러블 부호화 장치의 구성을 나타낸 도면이고, 도 16은 본 발명에 따른 다시점 영상의 스케일러블 부호화 방법을 나타낸 플로우 차트이다. 도 15를 참조하면, 다시점 영상 스케일러블 부호화 장치(1500)는 공간적 영상 필터링부(1510), 시간적 영상 필터링부(1520), 시간적 영상 스케일러블 부호화부(1530), 공간적 영상 스케일러블 부호화부(1540), 비트레이트 제어부(1550) 및 다중화부(1560)를 포함한다.
공간적 영상 필터링부(1510)는 공간축 상의 M개의 카메라에서 소정의 N 시간단위 동안 입력된 2차원 영상군에 대해 MCTF 또는 계층적 B 구조를 이용한 공간적 필터링을 수행한다(단계 1610). 공간적 필터링은 2차원 영상군 중 동일 시간에 입력된 공간축 상의 영상들에 대하여 수행된다. 공간적 필터링의 결과 하나의 공간적 저주파수 영상과 (M-1)개의 공간적 고주파수 영상이 생성된다. 또한, 공간적 필터링은 복수의 M개의 카메라로부터 입력되는 M개의 영상만을 이용하는 폐루프(closed loop) 구조를 갖으며, 소정 시간(N) 동안 반복 수행된다.
시간적 영상 필터링부(1520)는 상기 공간적 필터링의 수행 결과 생성된 N개의 공간적 저주파수 영상들에 대해 MCTF 또는 계층적 B 구조를 이용한 필터링을 수행한다(단계 1620). N 시간 단위 동안 공간적 영상 필터링부(1510)에 의하여 생성 된 N개의 공간적 저주파수 영상에 대한 시간적 필터링의 결과 하나의 시간적 저주파수 영상과 (N-1)개의 시간적 고주파수 영상이 생성된다. 시간적 영상 필터링부(1520)는 이전에 처리된 2차원 영상군에 대한 MCTF 또는 계층적 B 픽처를 이용한 필터링에 의하여 이전에 생성된 시간적 저주파수 영상을 이용하는 오픈 루프(open loop) 구조를 갖는다.
시간적 영상 스케일러블 부호화부(1530)는 시간적 영상 필터링부(1530)에서 생성된 시간축 상의 시간적 저주파수, 고주파 영상을 2차원 영상군에 할당된 전송비트율 및 요구되는 시간적 해상도에 적합하게 비트레이트 제어부(1550)의 제어에 따라 스케일러블 부호화를 수행한다(단계 1630). 스케일러블 부호화 과정에는 전술한 바와 같은 2차원 공간 변환, 텍스처 코딩 및 모션 코딩이 수행되며 이는 널리 알려진 스케일러블 부호화 방법과 동일하게 수행될 수 있다.
공간적 영상 스케일러블 부호화부(1540)는 공간적 영상 필터링부(1510)에서 생성된 공간축 상의 고주파 영상군에 대해서 시간축 상의 시간적 저주파수 영상 및 고주파 영상의 부호화에 할당된 비트 및 요구되는 공간적 해상도를 고려하여 스케일러블 부호화를 수행한다(단계 1640).
다중화부(1560)는 시간적 영상 스케일러블 부호화부(1530) 및 공간적 영상 스케일러블 부호화부(1540)에서 부호화된 공간적-시간적 저주파수 영상 및 고주파 영상을 다중화하여 비트스트림을 출력한다(단계 1650).
이하에서는 다시점 영상의 스케일러블 부호화 방법 및 장치에 대하여 구체적으로 설명한다.
도 17은 본 발명에 따른 2차원 영상군의 일 예를 나타낸 도면이다.
복수 개의 카메라로부터 입력되는 다시점 영상을 스케일러블 부호화하기 위해서, 본 발명은 종래 하나의 카메라로부터 소정 시간 단위 동안 입력되는 GOP와는 다른 2차원 영상군을 이용한다. 2차원 영상군은 M개의 다시점 카메라로부터 각 시간 단위로 입력되는 공간축 상의 M개의 영상과, 각 카메라에서 소정의 N 시간 단위 동안 입력되는 시간축 상의 N개의 영상을 포함한다. 즉, 공간축 방향으로 M개의 카메라로부터 영상이 입력되고, 시간축 방향으로 N개의 영상이 입력되어서 M×N개의 영상 집합인 2차원 영상군이 구성된다. 여기서, MCTF 또는 계층적 B-픽처를 이용한 필터링을 위하여 M=2m, N=2n(m,n은 정수)인 것이 바람직하다.
도 17에서는 2차원 GOP의 일 예로서 8개의 카메라로 구성된 다시점 카메라(1710)에서 시간축 방향으로 8개의 영상이 입력된 경우의 영상 집합인 2차원 영상군(1720)을 나타내었다. 도 17에서 각 카메라에 입력된 시간축 방향의 영상은 각 카메라 하단에 시간 순서로 도시하였다. 또한, Fxy 영상은 x번째 카메라에 y번째 시간 단위에 입력된 영상을 나타낸다. 예를 들어, F00, F10, F20, F30, F40, F50, F60, F70은 다시점 카메라(1710)를 구성하는 각 카메라에 최초로 입력되는 영상을 나타낸다. 또한, F00, F01, F02, F03, F04, F05, F06, F07, F08은 시간축 방향으로 첫 번째 카메라에 시간순으로 입력되는 영상을 나타낸다.
본 발명은 2차원 영상군을 공간축 및 시간축 방향으로 MCTF를 수행함으로써 공간축 상의 부분 영상군의 복호화(partial spatial Decoding) 및 시간축 상의 부분 영상군의 복호화(patial temporal decoding)를 가능하게 한다. 종래에 시간축 상으로만 MCTF 또는 계층적 B 픽처를 이용하여 필터링을 수행하는 것과 달리, 본 발명은 M개의 카메라로부터 동일 시간에 입력되는 다시점 영상에 대해 MCTF 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 공간적 저주파수 영상과 (M-1)개의 공간적 고주파수 영상을 생성하는 공간적 필터링 과정과, 공간적 필터링을 통해 생성된 M개의 공간적 저주파수 영상을 다시 시간축 방향으로 MCTF 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 시간적 저주파수 영상과 (N-1)개의 시간적 고주파수 영상을 생성하는 시간적 필터링 과정으로 나누어진다.
도 18은 본 발명에 따른 다시점 영상의 공간적 필터링 과정을 설명하기 위한 도면이다. 전술한 바와 같이, 공간적 영상 필터링부(1510)에서 수행되는 다시점 영상의 공간적 필터링은 도 17에 도시된 2차원 영상군(1720) 중에서 동일 시간에 입력되는 공간축 상의 다시점 영상들을 저주파수 영상과 고주파수 영상으로 분해하는 것을 말한다. 공간적 필터링에는 전술한 MCTF 또는 계층적 B-픽처 구조가 이용될 수 있다. 공간적 필터링은 복수의 M개의 카메라로부터 입력되는 M개의 영상만을 이용하는 폐루프(closed-loop) 구조이다. 도 18에서 L0(1810)는 각 카메라에서 동일한 시간에 입력된 원영상을 나타낸다. 즉, "L0"는 도 17에 도시된 2차원 영상군(1720) 중에서 동일한 i번째 시간에 입력된 F0i, F1i, F2i, F3i, F4i, F5i, F6i, F7i을 나타낸다. 예를 들어, "LO"는 F01, F11, F21, F31, F41, F51, F61, F71이 될 수 있 다. 전술한 MCTF에서 설명한 바와 같이, "H1"은 짝수 번째 카메라의 "L0" 영상으로부터 양 옆의 카메라 "L0" 영상에 1/2를 곱한 영상을 차분함으로써 얻어진다(예측 과정). "L1"는 홀수 번째 카메라의 영상과 양 옆의 "H1" 영상에 1/4를 곱한 영상을 더함으로써 얻어진다(업데이트 과정). 이와 같은 과정을 통해 8개의 카메라로부터 동일 시간에 입력된 다시점 영상은 하나의 저주파수 영상(L3)과 7개의 고주파 영상(H1, H2, H1, H3, H1, H2, H1)으로 분해된다. 공간적 필터링의 수행 결과 생성된 저주파수 영상과 고주파 영상은 소정의 순서로 스케일러블 부호화된다.
도 19는 본 발명에 따른 다시점 영상의 스케일러블 부호화시에 이용되는 공간적 필터링과 시간적 필터링의 관계를 설명하기 위한 도면이다. 전술한 바와 같이, 공간적 영상 필터링부(1510)는 각 카메라에서 동일 시간에 입력된 공간축 상의 영상에 대해 공간축 방향으로 MCTF 또는 계층적 B 픽처를 이용한 공간적 필터링을 수행하여 임의의 i번째 시간 단위에 입력된 영상들을 하나의 공간적 저주파수 영상과 복수 개의 공간적 고주파수 영상으로 분해한다. 각 카메라에서 입력되는 최초 영상들(1930) 중에서 L0 영상(1931)은 인트라 부호화되고, 공간축 상의 나머지 영상 H01, H02, H03, H04, H05, H06, H07에 대해서는 공간적 필터링이 수행된다. 첫 번째 영상군 이후의 i번째 시간 단위에 입력되는 8개의 영상들은 공간적 필터링되어 하나의 공간적 저주파수 영상과 7개의 공간적 고주파수 영상으로 분해된다. 상기와 같은 공간적 필터링 과정은 2차원 영상군 내의 동일 시간에 입력된 영상들에 대하여 반복 수행된다. 그 결과, 2차원 영상군 내의 영상들은 N(=8)개의 저주파수 영상 ({L1, L2, L3, L4, L5, L6, L7, L8})과 (M-1)×N개의 ({H11, H12, H13, Hi4, H15, H16, H17}, {H21, H22, H23, H24, H25, H26, H27}, {H31, H32, H33, H34, H35, H36, H37}, {H41, H42, H43, H44, H45, H46, H47}, {H51, H52, H53, H54, H55, H56, H57}, {H61, H62, H63, H64, H65, H66, H67}, {H71, H72, H73, H74, H75, H76, H77}, {H81, H82, H83, H84, H85, H86, H87}) 고주파 영상으로 분해된다. 즉, i(i=1,2,...,8)번째 각 카메라에 입력된 8개의 공간축 방향의 영상들은 하나의 공간적 저주파수 영상 및 7개의 고주파수 영상으로 분해되어 {Li, Hi1, Hi2, Hi3, Hi4, Hi5, Hi6, Hi7}이 생성된다.
다음, 시간적 영상 필터링부(1520)는 시간축 상의 N(=8)개의 공간적 저주파수 영상들(1911)에 대해 MCTF 또는 계층적 B-픽처를 이용한 시간적 필터링을 수행하여 시간적 저주파수 영상 (LT)과 시간적 고주파 영상({HT1, HT2, HT3, HT4, HT5, HT6, HT7})(1920)을 생성한다. 또한, 시간축에서 생성된 저주파수 영상(LT)은 다음 2차원 영상군의 시간적 필터링을 수행할 때 예측 과정에 이용된다.
도 20은 본 발명에 따른 공간적 필터링 결과 생성된 공간적 저주파수 영상들에 대해 시간적 필터링을 수행하는 과정을 설명하기 위한 도면이다. 도 20에서는 8개의 카메라로부터 소정의 8개의 시간 단위 동안 입력된 2차원 영상군에 대해 시간적 필터링을 수행하는 경우를 도시하고 있다. 도 20에서 첫 번째 L0 영상(1912)은 이전 2차원 영상군에서 시간적 필터링을 수행한 결과 생성된 마지막 저주파수 영상으로서 예측 과정에서 참조된다. 다시점 영상열의 시작인 경우, 각 카메라의 첫 번째 영상군(1911)은 2차원 영상군에 포함되지 않고, 그 다음 영상부터 2차원 영상군에 포함된다. 즉, 각 카메라의 첫 번째 영상들 중에서 첫 번째 카메라의 영상은 인트라 코딩되고, 나머지 영상들은 공간적 필터링을 거쳐 부호화된다. 2차원 영상군 내에서 시간적 필터링을 수행하는 과정은 공간적 필터링의 수행 결과 생성된 공간적 저주파수 영상을 이용한다는 점을 제외하고 전술한 MCTF 과정과 동일하다. 시간적 필터링 결과 생성된 시간적 저주파수 영상과 시간적 고주파 영상은 소정의 순서로 스케일러블 부호화된다.
도 21은 본 발명에 따른 다시점 영상의 스케일러블 부호화 과정을 설명하기 위한 도면이다. 도 21을 참조하여, 8×8 크기의 2차원 영상군에 대한 공간적 필터링 및 시간적 필터링을 수행한 다음 필터링된 영상을 스케일러블 부호화하는 과정을 설명하면 다음과 같다.
먼저, 8개의 카메라(S0 내지 S7)에서 입력된 제일 처음 영상 중, L0I 0영상은 인트라 부호화되고, 나머지 M-1개의 공간축 방향의 입력 영상은 공간축 상에서 MCTF 또는 계층적 B 픽처를 이용하여 공간적 필터링된 후 부호화 과정을 거쳐 H0S 3, H0S 21, H0S 22, H0S 11, H0S 12, H0S 13, H0S 14의 순서대로 비트스트림이 생성된다.
M개의 카메라로부터 입력된 첫번째 영상군에 대한 부호화가 완료된 후, 다음과 같이 2차원 영상군 단위로 M×N개의 영상이 순서대로 처리된다(본 예에서는 M=8, N=8인 경우를 중심으로 설명한다).
M개의 카메라로부터 입력된 영상군이 시간축 상으로 N(=8)개가 각각 입력될때마다, 공간축 방향으로 공간적 필터링을 수행하여 각 ith 시간축 상에 LiT 0, HiS 11, HiS 21, HiS 12, HiS 3, His 13, HiS 22, HiS 14로 구성된 1개의 공간적 저주파수 영상과 M(=8)-1개의 공간적 고주파 영상군이 생성된다.
공간적 필터링 결과 생성된 N(=8)개의 공간적 저주파수 영상군 {L1T 0, L2T 0,..., L8T 0}에 대해 시간축 방향으로 시간적 필터링을 수행하여 {H1T 11, H2T 21, H3T 12, H4T 3, H5T 13, H6T 22, H7T 14, L8T 0}로 구성된 1개의 시간적 저주파수 영상 L8T 0와 나머지 N(=8)-1개의 시간적 고주파수 영상군이 생성된다.
상기와 같이 M×N 크기의 2차원 영상군에 대해 MCTF를 이용한 공간적 필터링 및 시간적 필터링이 수행되면, 2차원 영상군에 포함된 M×N개의 영상은 하나의 저주파수 영상과 나머지 M×N-1개의 고주파수 영상으로 변환된다. 다음, 기준이 되는 시간축의 영상들을 시간적 해상도에 따라서 스케일러블 부호화하고, 나머지 대응되는 공간축의 영상들을 부호화하게 된다. 즉, M×N 2차원 영상군을 복호화부로 전송하기 위하여 시간적 영상 스케일러블 부호화부(1530)는 2차원 영상군에 할당된 전송비트율에 적합하게 비트레이트 제어부(1550)의 제어에 따라, 상기 시간적 저주파수 영상 및 고주파수 영상에 대하여 시간적 스케일러블 부호화를 수행한다. 시 간적 스케일러블 부호화 방법은 종래 H.264 등의 부호화 방법과 동일하게 수행된다. 즉, 공간적-시간적 필터링 결과 생성된 하나의 영상은 인트라 블록 또는 인터 블록으로 구분되고, 인트라 블록은 텍스처 코딩을 이용하여 부호화되고, 인터 블록은 모션 벡터와 레지듀얼 신호에 대한 부호화가 수행된다. 비트레이트 제어부(1550)는 복수 개의 카메라의 영상을 전부 부호화하였을 때 전송 가능한 비트율을 제어한다. 예를 들어 목표 비트레이트가 512kbps이고 8개의 카메라 입력 영상이 총 1000프레임일 경우, 1000프레임 전체를 부호화한 결과 평균 전송비트율이 512kbps가 되어야 한다. 따라서, 상기 비트레이트 제어부(1550)는 2차원 영상군 또는 부호화되는 영상마다 특정 크기의 비트를 할당함으로써 모든 영상을 부호화하였을 때의 평균 비트율을 목표 비트율에 맞추게 된다. 상기 비트레이트 제어부(1550)는 널리 알려진 바와 같이 다양한 방법으로 구현 가능하다.
다음, 공간적 영상 스케일러블 부호화부(1540)는 시간적 고주파수 영상 {H1T 11, H2T 21, H3T 12, H4T 3, H5T 13, H6T 22, H7T 14, L8T 0}에 할당된 비트와 요구되는 공간적 해상도를 고려하여, 각 시간축 i에서 도출된 공간적 고주파수 영상군 {HiS 11, HiS 21, HiS 12, HiS 3, His 13, HiS 22, HiS 14}에 대하여 공간적 스케일러블 부호화를 수행한다.
시간적 스케일러블 부호화 결과 생성된 시간적 저주파수 영상 및 시간적 고주파수 영상에 대응되는 비트스트림은 { L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14} 순서로 생성되며, 복호화부에 상기 순서대로 전송된다. 전송 순서는 MCTF의 수행시 제일 나중에 생성되는 기본 계층부터 그 상위의 향상 계층의 순서에 대응된다.
상기 시간적 저주파수 및 고주파수 영상의 순서와 동일하게 공간축 상의 영상에 대한 비트스트림이 복호화단에 전송된다. 즉 시간축 상에서, L8T 0의 비트스트림이 제일 처음 전송되었으므로, 8 번째의 공간축 상의 영상에 대한 비트스트림인 {H8S 3, H8S 21, H8S 22, H8S 11, H8s 12, H8S 13, H8S 14}이 전송되고, 다음 시간축상에서 H4T 3의 비트스트림이 전송되었으므로 {H4S 3, H4S 21, H4S 22, H4S 11, H4s 12, H4S 13, H4S 14}의 비트스트림이 전송된다. 이는 추후 복호화단에서 시간축 상의 부분 복호화와 공간축 상의 부분 복호화를 가능하게 하기 위한 것이다. 즉 {(H8S 3, H8S 21, H8S 22, H8S 11, H8s 12, H8S 13, H8S 14),(H4S 3, H4S 21, H4S 22, H4S 11, H4s 12, H4S 13, H4S 14),(H2S 3, H2S 21, H2S 22, H2S 11, H2s 12, H2S 13, H2S 14),(H6S 3, H6S 21, H6S 22, H6S 11, H6s 12, H6S 13, H6S 14),(H1S 3, H1S 21, H1S 22, H1S 11, H1s 12, H1S 13, H1S 14),(H3S 3, H3S 21, H3S 22, H3S 11, H3s 12, H3S 13, H3S 14),(H5S 3, H5S 21, H5S 22, H5S 11, H5s 12, H5S 13, H5S 14),(H7S 3, H7S 21, H7S 22, H7S 11, H7s 12, H7S 13, H7S 14)}의 순서대로 공간축 상의 나머지 공 간적 고주파수 영상군에 대한 비트스트림이 복호화단으로 전송된다. 상기 과정은 2차원 영상군 단위로 영상 시퀀스가 끝날때까지 반복된다.
전술한 본 발명에 따른 다시점 영상의 스케일러블 부호화 과정에서 생성된 비트스트림은 공간적 해상도 및 시간적 해상도에 따라 다음과 같이 구성될 수 있다. 먼저, 시간축 상의 시간적 해상도에 따른 비트스트림 구성의 일 예를 설명한다.
다시 도 21을 참조하면, 시간적 풀(full) 해상도를 갖는 비트스트림은 {L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14}, {(H8S 3, H8S 21, H8S 22, H8S 11, H8s 12, H8S 13, H8S 14), (H4S 3, H4S 21, H4S 22, H4S 11, H4s 12, H4S 13, H4S 14), (H2S 3, H2S 21, H2S 22, H2S 11, H2s 12, H2S 13, H2S 14), (H6S 3, H6S 21, H6S 22, H6S 11, H6s 12, H6S 13, H6S 14), (H1S 3, H1S 21, H1S 22, H1S 11, H1s 12, H1S 13, H1S 14), (H3S 3, H3S 21, H3S 22, H3S 11, H3s 12, H3S 13, H3S 14), (H5S 3, H5S 21, H5S 22, H5S 11, H5s 12, H5S 13, H5S 14), (H7S 3, H7S 21, H7S 22, H7S 11, H7s 12, H7S 13, H7S 14)}의 2차원 영상군 내의 전체 영상 정보를 포함한다.
시간적 1/2 해상도를 갖는 비트스트림은 {L8T 0, H4T 3, H2T 21, H6T 22}, {(H8S 3, H8S 21, H8S 22, H8S 11, H8s 12, H8S 13, H8S 14), (H4S 3, H4S 21, H4S 22, H4S 11, H4s 12, H4S 13, H4S 14), (H2S 3, H2S 21, H2S 22, H2S 11, H2s 12, H2S 13, H2S 14), (H6S 3, H6S 21, H6S 22, H6S 11, H6s 12, H6S 13, H6S 14)}의 영상 정보를 포함한다. 즉, 시간적 필터링 결과 생성된 {L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14} 중에서 시간축 방향으로 4개의 영상만이 부호화되고,상기 시간축 방향에 대응되는 공간적 고주파수 영상들이 시간적 1/2 해상도를 갖는 비트스트림에 포함된다.
시간적 1/4 해상도를 갖는 비트스트림은 {L8T 0 , H4T 3}, {(H8S 3, H8S 21, H8S 22, H8S 11, H8s 12, H8S 13, H8S 14), (H4S 3, H4S 21, H4S 22, H4S 11, H4s 12, H4S 13, H4S 14)}의 영상 정보를 포함한다. 즉, 시간적 필터링 결과 생성된 {L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14} 중에서 시간축 방향으로 2개의 영상만이 부호화되고, 상기 시간축 방향에 대응되는 공간적 고주파수 영상들이 시간적 1/4 해상도를 갖는 비트스트림에 포함된다.
시간적 1/8 해상도를 갖는 비트스트림은 {L8T 0 }, {(H8S 3, H8S 21, H8S 22, H8S 11, H8s 12, H8S 13, H8S 14)}의 영상 정보를 포함한다.
다음, 공간적 해상도에 따른 비트스트림 구성의 일 예를 설명한다. 본 발명 에 있어서 공간적 해상도는 복수 개의 카메라 중에서 사용자에게 제공할 시점 해상도(View resoultion)를 의미한다.
도 21을 참조하면 공간적 풀 해상도를 갖는 비트스트림은 전술한 시간적 풀 해상도를 갖는 비트스트림과 동일하게 {L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14}, {(H8S 3, H8S 21, H8S 22, H8S 11, H8s 12, H8S 13, H8S 14), (H4S 3, H4S 21, H4S 22, H4S 11, H4s 12, H4S 13, H4S 14), (H2S 3, H2S 21, H2S 22, H2S 11, H2s 12, H2S 13, H2S 14), (H6S 3, H6S 21, H6S 22, H6S 11, H6s 12, H6S 13, H6S 14), (H1S 3, H1S 21, H1S 22, H1S 11, H1s 12, H1S 13, H1S 14), (H3S 3, H3S 21, H3S 22, H3S 11, H3s 12, H3S 13, H3S 14), (H5S 3, H5S 21, H5S 22, H5S 11, H5s 12, H5S 13, H5S 14), (H7S 3, H7S 21, H7S 22, H7S 11, H7s 12, H7S 13, H7S 14)}의 영상 정보를 포함한다.
공간적 1/2 해상도를 갖는 비트스트림, 즉 8개의 카메라 중에서 선택된 4개 카메라의 영상 정보를 구비하는 비트스트림은 {L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14}, {(H8S 3, H8S 21, H8S 22), (H4S 3, H4S 21, H4S 22), (H2S 3, H2S 21, H2S 22), (H6S 3, H6S 21, H6S 22), (H1S 3, H1S 21, H1S 22), (H3S 3, H3S 21, H3S 22), (H5S 3, H5S 21, H5S 22), (H7S 3, H7S 21, H7S 22)}의 영상 정보를 포함한다. 상기 예는 도 21에 도시된 8개의 카메라(S0 내지 S7)의 입력 영상 중에서 홀수 번째 카메라, 즉 S0, S2, S4, S6의 네 개의 카메라로부터 입력된 영상 정보를 포함하는 경우이다.
공간적 1/4 해상도를 갖는 비트스트림, 즉 8개의 카메라 중에서 선택된 2개의 카메라 영상의 정보를 구비하는 비트스트림은 일 예로 {L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14}, {(H8S 3), (H4S 3), (H2S 3), (H6S 3), (H1S 3), (H3S 3), (H5S 3), (H7S 3)}의 영상 정보를 포함한다. 또한, 공간적 1/8 해상도를 갖는 비트스트림, 즉 8개의 카메라 중에서 선택된 하나의 카메라 영상의 정보만을 구비하는 비트스트림은 일 예로 필터링된 영상들 중 {L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14}의 영상 정보만을 구비하게 된다.
도 22 내지 도 25는 본 발명에 따른 다시점 영상의 스케일러블 부호화 과정에서 생성된 비트스트림을 도시한 도면이다.
도 22는 본 발명에 따른 다시점 영상의 스케일러블 부호화 과정에서 2차원 영상군 전체의 영상 정보를 포함하는 풀 비트스트림을 나타낸 것이다. 도 21 및 도 22를 참조하면, {L0I 0, H0S 3, H0S 21, H0S 22, H0S 11, H0S 12, H0S 13, H0S 14}(2200,2210)에 해당하는 비트스트림은 8개의 카메라에서 입력된 첫 번째 공간축 방향의 영상군이다. 상기 첫 번째 공간축 방향의 영상군 다음에는 시간적 필터링 결과 생성된 시간적 저주파 영상 및 고주파 영상인 { L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14}에 해당하는 비트스트림(2215)이 삽입된다. 다음, 상기 시간적 저주파수 영상 및 고주파수 영상의 순서에 따라서 대응되는 공간적 고주파수 영상의 비트스트림들(2220, 2225, 2230, 2235, 2240, 2245, 2250, 2255)이 삽입된다. 즉, 시간적 저주파수 영상(L4S 0, L2S 0, L6S 0, L1S 0, L3S 0, L5T 0, L7T 0)에 대응되는 부호화된 공간적 고주파수 영상들이 비트스트림에 순차적으로 삽입된다.
도 23은 본 발명에 따른 다시점 영상의 스케일러블 부호화 과정에서 공간축 방향으로 부분 부호화된 비트스트림을 나타낸 것이다. 도 23에서는 상기 도 21의 S0, S1, S2, S4, S6 카메라로부터 입력되는 영상만을 처리하는 경우를 도시하였다. 도 21 및 도 23을 참조하면, S0, S1, S2, S4, S6 카메라로부터 입력되는 영상만을 부호화하여 공간적 1/2 해상도를 갖는 비트스트림을 구성하는 경우, 시간적 저주파수 영상 및 고주파수 영상인 { L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14}에 해당하는 비트스트림(2315) 전체가 그대로 비트스트림에 삽입되지만, 공간적 고주파수 영상들은 모두 비트스트림에 삽입되지 않고, 상기 S0, S1, S2, S4, S6 카메라에 입력된 영상에 대응되는 공간적 고주파수 영상의 비트스트림들(2320, 2325, 2330, 2335, 2340, 2345, 2350, 2355)만이 삽입된다. 이러한 부분 비트스트림은 상기 공간적 영상 스케일러블 부호화부(1540)에서 요구되는 공간적 해상도에 따라서 생성될 수도 있고, 복호화단에서 풀 비트스트림으로부터 추출하여 재구성함으로써 생성 될 수도 있다.
도 24는 본 발명에 따른 다시점 영상의 스케일러블 부호화 과정에서 시간축 방향으로 부분 부호화된 비트스트림을 나타낸 것이다. 도 24에서는 풀 시간적 해상도에서 1/2 시간적 해상도로 축소하여 부분 부호화된 비트스트림을 생성한 경우를 나타내었다. 도 21 및 도 24를 참조하면, 시간적 필터링 결과 생성된 시간적 저주파수 영상 및 고주파수 영상에 해당하는 { L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14}중에서 { L8T 0, H4T 3, H2T 21, H6T 22}(2415)에 해당하는 시간적 저주파수 영상 및 고주파수 영상의 비트스트림만이 삽입된다. 또한,시간적 저주파수 영상 및 고주파수 영상에 대응되는 공간적 고주파수 영상들의 비트스트림(2420,2425,2430,2435)이 삽입된다.
도 25는 본 발명에 따른 다시점 영상의 스케일러블 부호화 과정에서 시간축 및 공간축 방향으로 부분 부호화된 비트스트림을 나타낸 것이다. 도 25에서는 1/2 시간적 해상도 및 S0, S1, S2, S4, S6 카메라의 입력 영상만을 처리하는 경우의 부분 부호화된 비트스트림을 나타내었다.
이와 같이 본 발명에 따른 다시점 영상의 스케일러블 부호화 방법에서는 시간축과 공간축에 대한 공간적-시간적 해상도의 스케일러빌리티가 가능하다. 해상도의 범위는 M×N(M=2m, N=2n)로 구성되는 2차원 영상군의 크기에 반비례한다. 즉, 본 발명에 따르면 공간적 해상도는 1/M, 시간적 해상도는 1/N까지 제공될 수 있다.
이하, 본 발명에 따른 다시점 영상의 스케일러블 복호화 방법 및 장치에 대하여 설명한다.
도 26은 본 발명에 따른 다시점 영상의 스케일러블 복호화 장치의 구성을 나타낸 도면이고, 도 27은 본 발명에 따른 다시점 영상의 스케일러블 복호화 방법을 나타낸 플로우 차트이다.
도 26을 참조하면, 본 발명에 따른 다시점 영상의 스케일러블 복호화 장치는 시간적 영상 복호화부(2610), 시간적 역 필터링부(2620), 공간적 영상 복호화부(2630) 및 공간적 역 필터링부(2640)를 포함한다.
시간적 영상 복호화부(2610)는 전술한 다시점 영상의 스케일러블 부호화 방법에 따라 부호화된 비트스트림을 수신한다(단계 2710). 다음 시간적 영상 복호화부(2710)은 수신된 비트스트림을 복호화하여 상기 비트스트림에 구비된 시간적 저주파수 영상 및 고주파수 영상을 생성한다(단계 2720). 복호화 과정에는 일반적인 영상 복호화와 마찬가지로 IDCT(Inverse Discrete Cosine Transform), 텍스처 정보 및 모션 정보가 생성된다.
시간적 역 필터링부(2620)는 복호화된 시간적 저주파수 영상 및 시간적 고주파수 영상에 대해 MCTF 또는 계층적 B 픽처를 이용한 역필터링, 즉 합성(composition) 과정을 수행하여 공간축 상의 대응되는 공간적 저주파수 영상들을 복원한다(단계 2730).
공간적 영상 복호화부(2630)는 요구되는 시공간적 해상도에 따라서 비트스트림에 구비된 공간적 고주파수 영상들을 복호화한다(단계 2740).
공간적 역 필터링부(2640)는 상기 시간적 역 필터링부(2620)에서 복원된 공간적 저주파수 영상 및 공간적 영상 복호호부(2630)에서 복호화된 공간적 고주파수 영상에 대해 MCTF 또는 계층적 B 픽처를 이용한 역필터링을 수행하여 공간축 상의 영상을 복원한다(단계 2750).
도 28은 본 발명에 따른 다시점 영상의 스케일러블 복호화 과정에서 역필터링 과정을 설명하기 위한 도면이다. 전술한 바와 같이, 상기 도 26의 시간적 역필터링부(2620) 및 공간적 역필터링부(2640)는 각각 비트스트림에 구비된 시간적 필터링된 영상 및 공간적 필터링된 영상을 역필터링하는 과정을 수행한다. 상기 역 필터링 과정은 기본 계층인 저주파 영상(L3)을 생성한 다음, 제 1 향상 계층의 고주파 영상(H3)과 저주파 영상(L3)을 이용하여 다음 계층의 저주파 영상(L2)을 생성한다. 또한, 제 2 향상 계층인 고주파 영상(H2)과 생성된 저주파 영상(L2)을 이용하여 다음 계층의 저주파 영상(L1)을 생성하고, 제 3 향상 계층의 고주파 영상(H1)과 상기 생성된 저주파 영상(L1)을 이용하여 필터링되기 전의 원영상(L0)을 복원하게 된다. 이와 같은 역필터링 과정을 통해 상기 시간적 역필터링부(2620) 및 공간적 역필터링부(2640)는 MCTF를 통해 분해되기 이전의 원영상을 복원하게 된다. 상기 역필터링 과정은 일반적인 역 MCTF 과정과 동일하므로 상세한 설명은 생략한다.
이하, 상기 도 22 내지 도 25에 도시된 본 발명에 따른 다시점 영상의 스케일러블 부호화 방법에 의하여 생성된 비트스트림을 복호화하는 과정을 설명한다.
다시 도 21 및 도 22를 참조하면, {L0I 0, H0S 3, H0S 21, H0S 22, H0S 11, H0S 12, H0S 13, H0S 14}(2200,2210)에 해당하는 비트스트림은 8개의 카메라에서 입력된 첫 번째 공간축 방향의 영상군이다. 공간축 상의 복호화를 수행하여 {L0I 0, H0S 3, H0S 21, H0S 22, H0S 11, H0S 12, H0S 13, H0S 14}(2200,2210)에 해당하는 비트스트림을 저주파 영상(L0I 0)과 고주파 영상(H0S 3, H0S 21, H0S 22, H0S 11, H0S 12, H0S 13, H0S 14)으로 복호한 후, MCTF 합성 과정을 통해 공간 축 방향의 첫 번째 프레임 영상에 해당하는 8개의 영상이 복원된다. 첫 번째 공간적 영상군에 해당하는 비트스트림의 복호화가 완료된 후, 2차원 영상군 단위의 영상 복호화 과정이 수행된다. 먼저, { L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14}(2215)에 해당하는 비트스트림에 대해 시간축 상의 복호화를 수행하여 저주파 영상(L8T 0)과 고주파 영상(H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14)을 생성한다. 다음, MCTF 합성을 수행하여 8×8 2차원 영상군의 시간축 상에 해당하는 8개의 영상인 { L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14}이 복원된다. 복원된 고주파 영상(H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14)은 공간축 상에서의 i 번째(HiT)영상군의 저주파 영상에 해당된다. 즉, 상기 고주파 영상(H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14)은 저주파 영상(L4S 0, L2S 0, L6S 0, L1S 0, L3S 0, L5T 0, L7T 0)에 대응된다. 또한 시간축 상의 저주파 영상(L8T 0) 및 상기 복원된 고주파 영상을 이용하여 공간적 고주파수 영상군에 대한 복호화가 수행된다. 공간축 상의 i번째 고주파 영상군의 비트스트림은 다음의 과정을 반복하여 복호화된다.
Array[8] = {8, 4, 2, 6, 1, 3, 5, 7}
For (index = 0; I < 8; index++) {
i == Array[index];
{HiS 3, HiS 21, HiS 22, HiS 11, HiS 12, HiS 13, HiS 14}에 해당하는 비트스트림을 복호화하고, 해당 저주파 영상(LiS 0)과 MCTF 합성을 수행하여 공간축 상의 i 번째 영상군 복원
}
전술한 과정은 2차원 영상군 단위로 영상 시퀀스가 끝날때까지 반복된다.
다시 도 21 및 도 23을 참조하면, 2차원 영상군 내에서 공간적 부분 디코딩(spatial partial decoding)을 사용하여 공간축 상의 S0/S1/S2/S4/S6 카메라에 입력된 영상정보를 구비하는 비트스트림을 복호화하는 경우, 상기 S0/S1/S2/S4/S6 카메라에 입력된 첫 번째 공간축 방향의 영상군인 {L0I 0, H0S 3, H0S 21, H0S 22, H0S 11}(2300,2310)에 해당하는 비트스트림을 저주파 영상(L0I 0)과 고주파 영상(H0S 3, H0S 21, H0S 22, H0S 11)으로 복호한 후, MCTF 합성 과정을 통해 공간 축 방향의 첫 번째 프레임 영상에 해당하는 5개의 영상이 복원된다.
첫 번째 공간적 영상군에 해당하는 비트스트림의 복호화가 완료된 후, { L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14}(2315)에 해당하는 비트스트림에 대해 시간축 상의 복호화를 수행하여 시간축 방향의 저주파 영상(L8T 0)과 고주파 영상(H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14)을 생성한다. 다음, MCTF 합성을 수행하여 8×8 2차원 영상군의 시간축 상에 해당하는 8개의 영상인 { L8T 0, H4T 3, H2T 21, H6T 22, H1T 11, H3T 12, H5T 13, H7T 14}이 복원된다. 공간적 부분 복호화를 수행할 때 시간축 방향의 영상은 모두 복호화될 필요가 있기 때문에 부호화된 비트스트림에는 시간축 방향으로 필터링된 시간적 저주파수 영상 및 고주파수 영상이 모두 포함된다. 다음 상기 S0/S1/S2/S4/S6 카메라의 입력 영상은 공간적 고주파수 영상들(2320,2325,2330,2335,2340,2345,2350,2355)을 순차적으로 복호화 및 MCTF 합성하여 복원된다. 이러한 과정을 통해 S0/S1/S2/S4/S6 카메라의 입력 영상이 복원된다.
다시 도 21 및 도 24를 참조하면, 2차원 영상군 내에서 시간축 상의 시간영역에 분포하고 있는 데이터를 부분적 시간적 디코딩(partial temporal decoding)을 사용하여 풀 시간적 해상도에서 1/2 시간적 해상도로 축소된 비트스트림을 복호화하는 경우, 8×8 2차원 영상군의 시간축 상에 해당하는 8개의 영상 중에서 선택된 { L8T 0, H4T 3, H2T 21, H6T 22}(2415)에 해당되는 비트스트림이 복호화 및 MCTF 역필터링 과정을 통해 시간축 방향의 공간적 저주파수 영상들{ L8T 0, H4T 3, H2T 21, H6T 22}이 복원되고, 복원된 공간적 저주파수 영상들에 대응되는 공간적 고주파수 영상들의 부호화된 비트스트림들(2420,2425,2430,2435)이 순차적으로 복호화 및 MCTF 역필터링 과정을 통해 복원된다.
다시 도 21 및 도 25를 참조하면, 2차원 영상군 내에서 시간축 상의 시간영역에 분포하고 있는 데이터를 부분적 시간적 디코딩(partial temporal decoding)을 사용하여 풀 시간적 해상도에서 1/2 시간적 해상도로 축소하고, 공간축 상의 공간적 부분 디코딩(spatial partial decoding)을 사용하여 공간영역에 분포하고 있는S0/S1/S2/S4/S6 카메라 입력만을 처리하는 경우의 비트스트림을 복호화하는 경우, 8×8 2차원 영상군의 시간축 상에 해당하는 8개의 영상 중에서 선택된 { L8T 0, H4T 3, H2T 21, H6T 22}(2515)에 해당되는 비트스트림이 복호화 및 MCTF 역필터링 과정을 통해 시간축 방향의 공간적 저주파수 영상들인 { L8T 0, H4T 3, H2T 21, H6T 22}이 복원되고, 상기 S0/S1/S2/S4/S6 카메라의 입력 영상을 공간적 필터링한 공간적 고주파수 영상들(2520,2525,2530,2535)이 순차적으로 복호화 및 MCTF 합성 과정을 통해 복원된다.
한편, 본 발명에 따른 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치는 SVC 코덱 구조처럼 2차원 영상군 구조를 기본 계층으로 하는 계층적 구조와 FGS 방식을 사용하여 스케일러블의 구현이 가능하다. 본 발명에 따른 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치에 의하면 시간적 스케일러빌리티 (Temporal Scalability), 뷰(카메라) 공간적 스케일러빌리티, 영상의 크기에 따른 공간적 스케일러빌러티(Size-dependent Spatial Scalability) 및 SNR 스케일러빌터리를 제공할 수 있다.
도 29는 본 발명에 따른 다시점 영상의 스케일러블 부호화 방법을 계층적으로 확장하는 경우를 설명하기 위한 도면이다.
전술한 시간적 스케일러빌터리와 선택된 카메라의 입력 영상을 선택할 수 있는 공간적 스케일러빌러티는 전술한 부분적 시간적 복호화와 부분적 공간적 복호화를 이용하여 구현할 수 있다. 영상의 크기에 따른 공간적 스케일러빌러티는 종래 스케일러블 비디오 코딩에서 적용되는 계층적인 방법을 그대로 사용하고, 2차원 데시메이션 필터(2D Decimation Filter), 2차원 업샘플링 필터(2D Up-sampling Filter) 및 2차원 영상군 기본 계층의 공간적 정보를 이용하여 제공할 수 있다. 이 때, 제공할 수 있는 영상의 크기에 따른 공간적 스케일러빌러티는 QCIF, CIF, 4CIF로 확장될 수 있다.
SNR 스케일러빌리티는 기존의 SVC에서 사용하는 블록 단위의 FGS(Fine Granular Scalability) 방식을 이용한 비트플래인 코딩 방법을 이용하여 구현될 수 있으며, 이 경우 기본 계층 위에 FGS 강화 비트스트림을 임의의 점에서 잘라 붙여 줌으로 향상 계층의 영상을 제공한다.
도 30은 본 발명에 따라 QCIF 크기를 기반으로 하는 2차원 QCIF 코어로부터 CIF 및 4CIF까지의 계층적인 구조를 갖는 전체 비트스트림의 구성을 나타낸 것이다. 본 발명에서 제공되는 각 스케일러빌리티는 혼합적으로 제공될 수 있다. 도 30을 참조하면, 먼저 QCIF 기반의 다시점 카메라의 첫 번째 프레임 영상에 해당하는 비트스트림이 배치된 다음 2차원 영상군의 코어(core) 비트스트림에 해당하는 시간적 영상의 비트스트림 및 2차원 영상군 내의 공간적 QCIF의 비트스트림이 배치된다. 그 다음 CIF 기반의 2차원 영상군의 비트스트림, 4CIF 기반의 2차원 영상군의 비트스트림에 영상의 크기에 따른 코어에 해당하는 비트스트림이 배치된다
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 본 발명에 따르면 다시점 영상군을 공간축 방향과 시간적 방향으로 필터링한 후 공간적, 시간적으로 인접한 영상 사이의 상관 관계를 이용함으로써 다시점 영상의 코딩 효율을 향상시킬 수 있다. 또한, 본 발명에 따르면 시간적 스케일러빌리티 (Temporal Scalability), 뷰(카메라) 공간적 스케일러빌리티, 영상의 크기에 따른 공간적 스케일러빌러티(Size-dependent Spatial Scalability) 및 SNR 스케일러빌터리를 제공할 수 있다.

Claims (14)

  1. 다시점 영상의 스케일러블 부호화 방법에 있어서,
    (a) M개의 카메라로부터 입력되는 공간축 상의 M개의 영상들에 대해 공간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 공간적 저주파수 영상과 (M-1)개의 공간적 고주파수 영상을 생성하는 단계;
    (b) 소정의 N 시간 단위 동안 생성된 N개의 상기 공간적 저주파수 영상들에 대해 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 시간적 저주파수 영상과 (N-1)개의 시간적 고주파수 영상을 생성하는 단계;
    (c) 상기 M×N개의 입력 2차원 영상군들에 할당된 전송비트율에 따라서 상기 생성된 시간적 저주파수 영상 및 고주파수 영상을 스케일러블 부호화하는 단계; 및
    (d) 상기 시간적 저주파수 영상 및 고주파수 영상에 할당된 전송비트율을 참조하여 상기 공간적 고주파수 영상을 스케일러블 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 영상의 스케일러블 부호화 방법.
  2. 제 1항에 있어서, 상기 공간적 움직임 보상 시간 필터링은
    상기 복수의 M개의 카메라부터 입력되는 M개의 영상만을 이용하는 페루프(closed-loop) 구조인 것을 특징으로 하는 다시점 영상의 스케일러블 부호화 방법.
  3. 제 1항에 있어서, 상기 시간적 움직임 보상 시간 필터링은
    이전에 처리된 상기 2차원 영상군에 대한 시간적 움직임 보상 시간 필터링에 의하여 생성된 시간적 저주파수 영상을 이용하는 오픈루프(open-loop) 구조인 것을 특징으로 하는 다시점 영상의 스케일러블 부호화 방법.
  4. 제 1항에 있어서, 상기 (c) 단계는
    (c-1) 상기 할당된 전송비트율 및 시간적 해상도에 따라서 상기 생성된 시간적 고주파수 영상 중에서 부호화할 시간적 고주파수 영상을 결정하는 단계; 및
    (c-2) 상기 생성된 시간적 저주파수 영상 및 상기 결정된 부호화할 시간적 고주파수 영상을 스케일러블 부호화하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상의 스케일러블 부호화 방법.
  5. 제 1항에 있어서, 상기 (d) 단계는
    (d-1) 상기 시간적 저주파수 영상 및 고주파수 영상에 할당된 전송비트율 및 공간적 해상도에 따라서 상기 M개의 카메라로부터 동일 시간에 입력되어 생성된 공간적 고주파수 영상 중에서 부호화할 공간적 고주파수 영상을 결정하는 단계; 및
    (d-2) 상기 결정된 공간적 고주파수 영상을 스케일러블 부호화하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상의 스케일러블 부호화 방법.
  6. 다시점 영상의 스케일러블 부호화 장치에 있어서,
    M개의 카메라로부터 입력되는 공간축 상의 M개의 영상들에 대해 공간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 공간적 저주파수 영상과 (M-1)개의 공간적 고주파수 영상을 생성하는 공간적 영상 필터링부;
    소정의 N 시간 단위 동안 생성된 N개의 상기 공간적 저주파수 영상들에 대해 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 시간적 저주파수 영상과 (N-1)개의 시간적 고주파수 영상을 생성하는 시간적 영상 필터링부;
    상기 M×N개의 입력 2차원 영상군들에 할당된 전송비트율에 따라서 상기 생성된 시간적 저주파수 영상 및 고주파수 영상을 스케일러블 부호화하는 시간적 영상 스케일러블 부호화부; 및
    상기 시간적 저주파수 영상 및 고주파수 영상에 할당된 전송비트율을 참조하여 상기 공간적 저주파수 영상 및 고주파수 영상을 스케일러블 부호화하는 공간적 영상 스케일러블 부호화부를 포함하는 것을 특징으로 하는 다시점 영상의 스케일러블 부호화 장치.
  7. 제 6항에 있어서, 상기 공간적 영상 필터링부는
    상기 복수의 M개의 카메라부터 입력되는 M개의 영상만을 이용하는 페루프(closed-loop) 구조인 것을 특징으로 하는 다시점 영상의 스케일러블 부호화 장치.
  8. 제 6항에 있어서, 상기 시간적 영상 필터링부는
    이전에 처리된 상기 2차원 영상군에 대한 시간적 움직임 보상 시간 필터링에 의하여 생성된 시간적 저주파수 영상을 이용하는 오픈루프(open-loop) 구조인 것을 특징으로 하는 다시점 영상의 스케일러블 부호화 장치.
  9. 제 6항에 있어서, 상기 시간적 영상 스케일러블 부호화부는
    상기 할당된 전송비트율 및 시간적 해상도에 따라서 상기 생성된 시간적 고주파수 영상 중에서 부호화할 시간적 고주파수 영상을 결정하고, 상기 생성된 시간적 저주파수 영상 및 상기 결정된 부호화할 시간적 고주파수 영상을 스케일러블 부호화하는 것을 특징으로 하는 다시점 영상의 스케일러블 부호화 장치.
  10. 제 6항에 있어서, 상기 공간적 영상 스케일러블 부호화부는
    상기 시간적 저주파수 영상 및 고주파수 영상에 할당된 전송비트율 및 공간적 해상도에 따라서 상기 M개의 카메라로부터 동일 시간에 입력되어 생성된 공간적 고주파수 영상 중에서 부호화할 공간적 고주파수 영상을 결정하고, 상기 결정된 공간적 고주파수 영상을 스케일러블 부호화하는 것을 특징으로 하는 다시점 영상의 스케일러블 부호화 장치.
  11. 다시점 영상의 스케일러블 복호화 방법에 있어서,
    (a) M개의 카메라로부터 소정의 N 시간 단위 동안 입력된 2차원 영상군에 대 해 시공간적으로 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행함으로써 생성된 시공간적 저주파수 영상 및 고주파수 영상을 스케일러블 부호화한 비트스트림을 수신하는 단계;
    (b) 상기 비트스트림에 구비된 스케일러블 부호화된 시간적 저주파수 영상 및 고주파수 영상을 복호화하는 단계;
    (c) 상기 복호화된 시간적 저주파수 영상 및 고주파수 영상에 대해 역 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 역필터링을 수행하여 공간적 저주파수 영상들을 복원하는 단계;
    (d) 상기 비트스트림에 구비된 스케일러블 부호화된 공간적 고주파수 영상을 복호화하는 단계; 및
    (e) 상기 복원된 공간적 저주파수 영상 및 복호화된 공간적 고주파수 영상에 대해 역 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 역필터링을 수행하여 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 다시점 영상의 스케일러블 복호화 방법.
  12. 제 11항에 있어서, 상기 스케일러블 부호화된 비트스트림은
    상기 M개의 카메라로부터 입력되는 공간축 상의 M개의 영상들에 대해 공간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 공간적 저주파수 영상과 (M-1)개의 공간적 고주파수 영상을 생성하는 단계;
    소정의 N 시간 단위 동안 생성된 N개의 상기 공간적 저주파수 영상들에 대해 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 시간적 저주파수 영상과 (N-1)개의 시간적 고주파수 영상을 생성하는 단계;
    상기 M×N개의 입력 2차원 영상군들에 할당된 전송비트율에 따라서 시간적 저주파수 영상 및 고주파수 영상을 스케일러블 부호화하는 단계; 및
    상기 시간적 저주파수 영상 및 고주파수 영상에 할당된 전송비트율을 참조하여 공간적 고주파수 영상을 스케일러블 부호화하는 단계를 통해서 생성되는 것을 특징으로 하는 다시점 영상의 스케일러블 복호화 방법.
  13. 다시점 영상의 스케일러블 복호화 장치에 있어서,
    M개의 카메라로부터 소정의 N 시간 단위 동안 입력된 2차원 영상군에 대해 시공간적으로 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행함으로써 생성된 시공간적 저주파수 영상 및 고주파수 영상을 스케일러블 부호화한 비트스트림을 수신하고, 상기 비트스트림에 구비된 스케일러블 부호화된 시간적 저주파수 영상 및 고주파수 영상을 복호화하는 시간적 영상 복호화부;
    상기 복호화된 시간적 저주파수 영상 및 고주파수 영상에 대해 역 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 역필터링을 수행하여 공간적 저주파수 영상들을 복원하는 시간적 역필터링부;
    상기 비트스트림에 구비된 스케일러블 부호화된 공간적 고주파수 영상을 복호화하는 공간적 영상 복호화부; 및
    상기 복원된 공간적 저주파수 영상 및 복호화된 공간적 고주파수 영상에 대 해 역 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 역필터링을 수행하여 영상을 복원하는 공간적 역필터링부를 포함하는 것을 특징으로 하는 다시점 영상의 스케일러블 복호화 장치.
  14. 제 13항에 있어서, 상기 스케일러블 부호화된 비트스트림은
    상기 M개의 카메라로부터 입력되는 공간축 상의 M개의 영상들에 대해 공간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 공간적 저주파수 영상과 (M-1)개의 공간적 고주파수 영상을 생성하는 단계;
    소정의 N 시간 단위 동안 생성된 N개의 상기 공간적 저주파수 영상들에 대해 시간적 움직임 보상 시간 필터링 또는 계층적 B 픽처를 이용한 필터링을 수행하여 하나의 시간적 저주파수 영상과 (N-1)개의 시간적 고주파수 영상을 생성하는 단계;
    상기 M×N개의 입력 2차원 영상군들에 할당된 전송비트율에 따라서 시간적 저주파수 영상 및 고주파수 영상을 스케일러블 부호화하는 단계; 및
    상기 시간적 저주파수 영상 및 고주파수 영상에 할당된 전송비트율을 참조하여 공간적 고주파수 영상을 스케일러블 부호화하는 단계를 통해서 생성되는 것을 특징으로 하는 다시점 영상의 스케일러블 복호화 장치.
KR20060025680A 2005-04-01 2006-03-21 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치 Expired - Fee Related KR100732961B1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR20060025680A KR100732961B1 (ko) 2005-04-01 2006-03-21 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
US11/392,817 US8040952B2 (en) 2005-04-01 2006-03-30 Scalable multi-view image encoding and decoding apparatuses and methods
JP2007542933A JP4611386B2 (ja) 2005-04-01 2006-03-31 多視点映像のスケーラブル符号化、復号化方法及び装置
EP06732683.5A EP1864498B1 (en) 2005-04-01 2006-03-31 Scalable multi-view image encoding and decoding apparatuses and methods
CA2588639A CA2588639C (en) 2005-04-01 2006-03-31 Scalable multi-view image encoding and decoding apparatuses and methods
AU2006229490A AU2006229490B2 (en) 2005-04-01 2006-03-31 Scalable multi-view image encoding and decoding apparatus and methods
PCT/KR2006/001080 WO2006104326A1 (en) 2005-04-01 2006-03-31 Scalable multi-view image encoding and decoding apparatuses and methods
CN2006800012708A CN101069430B (zh) 2005-04-01 2006-03-31 分级多视角图像编码和解码装置及方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020050027729 2005-04-01
KR20050027729 2005-04-01
KR20060025680A KR100732961B1 (ko) 2005-04-01 2006-03-21 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20060105449A KR20060105449A (ko) 2006-10-11
KR100732961B1 true KR100732961B1 (ko) 2007-06-27

Family

ID=37053564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20060025680A Expired - Fee Related KR100732961B1 (ko) 2005-04-01 2006-03-21 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치

Country Status (8)

Country Link
US (1) US8040952B2 (ko)
EP (1) EP1864498B1 (ko)
JP (1) JP4611386B2 (ko)
KR (1) KR100732961B1 (ko)
CN (1) CN101069430B (ko)
AU (1) AU2006229490B2 (ko)
CA (1) CA2588639C (ko)
WO (1) WO2006104326A1 (ko)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8589315B2 (en) * 2004-08-14 2013-11-19 Hrl Laboratories, Llc Behavior recognition using cognitive swarms and fuzzy graphs
KR100668345B1 (ko) * 2004-10-05 2007-01-12 삼성전자주식회사 움직임 보상된 계층 생성장치 및 방법
BRPI0616745A2 (pt) 2005-10-19 2011-06-28 Thomson Licensing codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável
KR101245251B1 (ko) * 2006-03-09 2013-03-19 삼성전자주식회사 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
US8044994B2 (en) * 2006-04-04 2011-10-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for decoding and displaying 3D light fields
US7912296B1 (en) 2006-05-02 2011-03-22 Google Inc. Coverage mask generation for large images
US7965902B1 (en) 2006-05-19 2011-06-21 Google Inc. Large-scale image processing using mass parallelization techniques
US8762493B1 (en) * 2006-06-22 2014-06-24 Google Inc. Hierarchical spatial data structure and 3D index data versioning for generating packet data
KR101366092B1 (ko) 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
FR2907575B1 (fr) * 2006-10-18 2009-02-13 Canon Res Ct France Soc Par Ac Procede et dispositif de codage d'images representant des vues d'une meme scene
RU2409006C1 (ru) * 2006-10-20 2011-01-10 Нокиа Корпорейшн Маркировка виртуальных декодированных опорных изображений и список опорных изображений
WO2008051041A1 (en) * 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding
US8081680B2 (en) * 2006-11-28 2011-12-20 Microsoft Corporation Selective inter-layer prediction in layered video coding
KR100905723B1 (ko) * 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
CN101601299A (zh) * 2006-12-14 2009-12-09 汤姆逊许可公司 用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备
KR100922275B1 (ko) * 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
KR100968204B1 (ko) * 2007-01-11 2010-07-06 전자부품연구원 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
EP3041195A1 (en) * 2007-01-12 2016-07-06 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format
US8155461B2 (en) * 2007-03-27 2012-04-10 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding multi-view image
JP4861881B2 (ja) * 2007-03-30 2012-01-25 タカタ株式会社 シートベルト巻取装置、シートベルト装置及びシートベルト巻取方法
EP2135456B1 (en) * 2007-04-04 2017-05-03 Thomson Licensing Reference picture list management
KR101301181B1 (ko) * 2007-04-11 2013-08-29 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US8548261B2 (en) * 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
EP2533545B1 (en) * 2007-04-18 2017-05-03 Dolby International AB Coding system using supplemental sequence parameter set for scalable video coding or multi-view coding
US20140072058A1 (en) 2010-03-05 2014-03-13 Thomson Licensing Coding systems
WO2008133910A2 (en) * 2007-04-25 2008-11-06 Thomson Licensing Inter-view prediction with downsampled reference pictures
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
JP4609457B2 (ja) * 2007-06-14 2011-01-12 ソニー株式会社 画像処理装置、及び、画像処理方法
EP2174502A2 (en) * 2007-06-26 2010-04-14 Nokia Corporation System and method for indicating temporal layer switching points
KR101548717B1 (ko) * 2007-06-28 2015-09-01 톰슨 라이센싱 다시점 코딩된 영상의 단일 루프 디코딩
US20090060043A1 (en) * 2007-08-29 2009-03-05 Geert Nuyttens Multiviewer based on merging of output streams of spatio scalable codecs in a compressed domain
JP5144237B2 (ja) * 2007-12-05 2013-02-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム
WO2009130561A1 (en) * 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
US8135238B2 (en) * 2008-06-05 2012-03-13 Kia Sha Managment Liability Company Free view generation in ray-space
CN101321302B (zh) * 2008-07-08 2010-06-09 浙江大学 基于摄像机阵列的三维实时获取系统
WO2012122423A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
KR101012760B1 (ko) * 2008-09-05 2011-02-08 에스케이 텔레콤주식회사 다시점 비디오의 송수신 시스템 및 방법
US20100135395A1 (en) * 2008-12-03 2010-06-03 Marc Paul Servais Efficient spatio-temporal video up-scaling
CN101600099B (zh) * 2009-04-09 2010-12-01 上海交通大学 多视角视频码流的实时传输同步控制方法
EP2425631B1 (en) * 2009-04-27 2015-05-20 LG Electronics Inc. Broadcast receiver and 3d video data processing method thereof
CN102461183B (zh) * 2009-06-16 2015-08-19 Lg电子株式会社 广播发射机、广播接收机及其3d视频处理方法
WO2011005624A1 (en) 2009-07-04 2011-01-13 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3d video delivery
KR101144752B1 (ko) * 2009-08-05 2012-05-09 경희대학교 산학협력단 비디오 인코딩/디코딩 방법 및 그 장치
US20110080948A1 (en) * 2009-10-05 2011-04-07 Xuemin Chen Method and system for 3d video decoding using a tier system framework
US20110157322A1 (en) 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US8854531B2 (en) 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US8823782B2 (en) 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US9247286B2 (en) 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
WO2011094077A1 (en) * 2010-01-26 2011-08-04 Vidyo, Inc. Low complexity, high frame rate video encoder
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
US20130222539A1 (en) * 2010-10-08 2013-08-29 Dolby Laboratories Licensing Corporation Scalable frame compatible multiview encoding and decoding methods
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
US20120229595A1 (en) * 2011-03-11 2012-09-13 Miller Michael L Synthesized spatial panoramic multi-view imaging
KR20120118781A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오를 위한 단일화된 스케일러블 비디오 부호화 방법 및 그 장치, 다시점 비디오를 위한 단일화된 스케일러블 비디오 복호화 방법 및 그 장치
KR20120118779A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 전처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 부호화 방법 및 그 장치, 후처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 복호화 방법 및 그 장치
US9667964B2 (en) 2011-09-29 2017-05-30 Dolby Laboratories Licensing Corporation Reduced complexity motion compensated temporal processing
US9131217B2 (en) * 2011-12-09 2015-09-08 Qualcomm Incorporated Reference picture list modification for view synthesis reference pictures
US20140098880A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
US8976859B2 (en) * 2012-12-07 2015-03-10 Xerox Corporation Processing a video for spatial and temporal magnification with minimized image degradation
WO2014163461A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
JP6463900B2 (ja) 2014-04-17 2019-02-06 キヤノン株式会社 画像符号化装置及びその制御方法
WO2017010230A1 (ja) * 2015-07-16 2017-01-19 日本電信電話株式会社 衛星信号受信装置、衛星信号受信方法及びプログラム
CN106851399B (zh) * 2015-12-03 2021-01-22 阿里巴巴（中国）有限公司 视频分辨率提升方法及装置
KR102789767B1 (ko) * 2016-09-26 2025-04-04 삼성전자주식회사 영상 처리 장치 및 영상 처리 장치의 제어 방법
US10341672B2 (en) 2017-02-03 2019-07-02 Korea Advanced Institute Of Science And Technology Method and system for media synchronization
ES2993082T3 (en) * 2019-03-20 2024-12-20 V Nova Int Ltd Temporal signalling for video coding technology
US12155847B2 (en) * 2019-06-12 2024-11-26 Sony Group Corporation Image processing device and method
WO2021054805A1 (ko) * 2019-09-20 2021-03-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN114710665B (zh) * 2019-09-20 2024-10-25 杭州海康威视数字技术股份有限公司 一种解码、编码方法、装置及其设备
CN112106362A (zh) * 2019-09-30 2020-12-18 深圳市大疆创新科技有限公司 可移动平台的图像处理方法、装置、可移动平台及介质
EP4059221A4 (en) * 2019-11-15 2023-09-13 HFI Innovation Inc. METHOD AND APPARATUS FOR SIGNALING HORIZONTAL LOOP MOTION COMPENSATION IN VR360 VIDEO CODING
WO2021100863A1 (en) * 2019-11-22 2021-05-27 Sharp Kabushiki Kaisha Systems and methods for signaling tiles and slices in video coding
WO2021236059A1 (en) * 2020-05-19 2021-11-25 Google Llc Dynamic parameter selection for quality-normalized video transcoding
US12293449B2 (en) * 2020-07-17 2025-05-06 Sony Group Corporation Image processing device, image processing method, and program
CN113259662B (zh) * 2021-04-16 2022-07-05 西安邮电大学 基于三维小波视频编码的码率控制方法
US12273523B2 (en) * 2022-06-15 2025-04-08 Tencent America LLC Systems and methods for joint signaling of transform coefficient signs
US12373990B2 (en) * 2022-10-11 2025-07-29 Tencent America LLC Method and apparatus for UV attributes coding for symmetry mesh

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020026177A (ko) * 2000-04-11 2002-04-06 요트.게.아. 롤페즈 비디오 엔코딩 및 디코딩 방법
KR20030088541A (ko) * 2002-05-11 2003-11-20 주식회사 케이씨이천일 신용카드 맞춤정보 제공방법 및 이를 실행하기 위한프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
WO2004077834A1 (en) 2003-02-25 2004-09-10 Koninklijke Philips Electronics, N.V. Three-dimensional wavelet video coding using motion-compensated temporal filtering on overcomplete wavelet expansions

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
US6931068B2 (en) * 2000-10-24 2005-08-16 Eyeball Networks Inc. Three-dimensional wavelet-based scalable video compression
US6944225B2 (en) * 2001-07-24 2005-09-13 Sharp Laboratories Of America, Inc. Resolution-scalable video compression
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
US7321625B2 (en) * 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
KR100908422B1 (ko) * 2003-07-24 2009-07-21 니뽄 덴신 덴와 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 기록 매체, 화상 복호 프로그램을 기록한 기록 매체
KR20050022160A (ko) * 2003-08-26 2005-03-07 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 및 스케일러블비디오 엔코더 및 디코더
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
US20050201468A1 (en) * 2004-03-11 2005-09-15 National Chiao Tung University Method and apparatus for interframe wavelet video coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020026177A (ko) * 2000-04-11 2002-04-06 요트.게.아. 롤페즈 비디오 엔코딩 및 디코딩 방법
KR20030088541A (ko) * 2002-05-11 2003-11-20 주식회사 케이씨이천일 신용카드 맞춤정보 제공방법 및 이를 실행하기 위한프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
WO2004077834A1 (en) 2003-02-25 2004-09-10 Koninklijke Philips Electronics, N.V. Three-dimensional wavelet video coding using motion-compensated temporal filtering on overcomplete wavelet expansions

Also Published As

Publication number Publication date
CN101069430B (zh) 2010-05-26
CA2588639C (en) 2012-08-14
WO2006104326A1 (en) 2006-10-05
JP4611386B2 (ja) 2011-01-12
AU2006229490B2 (en) 2009-06-04
JP2008521337A (ja) 2008-06-19
EP1864498B1 (en) 2019-05-01
US20060222079A1 (en) 2006-10-05
CA2588639A1 (en) 2006-10-05
KR20060105449A (ko) 2006-10-11
US8040952B2 (en) 2011-10-18
CN101069430A (zh) 2007-11-07
EP1864498A4 (en) 2012-09-05
EP1864498A1 (en) 2007-12-12
AU2006229490A1 (en) 2006-10-05

Similar Documents

Publication Publication Date Title
KR100732961B1 (ko) 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
US11044454B2 (en) Systems and methods for multi-layered frame compatible video delivery
JP5170786B2 (ja) マルチビュービデオのスケーラブルコーディングおよびデコーディング方法、ならびにコーディングおよびデコーディング装置
KR100760258B1 (ko) 범용적 다시점 동영상 부호화/복호화 장치 및 방법
US20070041443A1 (en) Method and apparatus for encoding multiview video
EP1766998A1 (en) Scalable video coding method and apparatus using base-layer
EP1772022A1 (en) Method of coding and decoding multiview sequence and method of displaying thereof
WO2007024072A1 (en) Method and apparatus for encoding multiview video
US20180302650A1 (en) Moving image decoding apparatus, moving image decoding method, moving image encoding apparatus, moving image encoding method and computer-readable storage medium
US20110268193A1 (en) Encoding and decoding method for single-view video or multi-view video and apparatus thereof
US20160295239A1 (en) Method and apparatus for integrated encoding/decoding of different multilayer video codec
US20060013311A1 (en) Video decoding method using smoothing filter and video decoder therefor
AU2004310917A1 (en) Method and apparatus for scalable video encoding and decoding
KR101285811B1 (ko) 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법
KR100791453B1 (ko) 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화및 복호화 방법 및 장치
Lopez et al. Fully scalable video coding with packed stream
Garbas et al. Enhancing coding efficiency in spatial scalable multiview video coding with wavelets
HK1227199A1 (en) Decoding method for multi-layered frame-compatible video delivery
HK1227199B (en) Decoding method for multi-layered frame-compatible video delivery
HK1227198B (en) Decoding method for multi-layered frame-compatible video delivery
HK1184298B (en) Systems and methods for multi-layered frame-compatible video delivery
HK1184298A (en) Systems and methods for multi-layered frame-compatible video delivery

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20150528

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

FPAY Annual fee payment

Payment date: 20160530

Year of fee payment: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 12

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 13

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 13

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20200622

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20200622

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载