+

KR101752879B1 - 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념 - Google Patents

병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념 Download PDF

Info

Publication number
KR101752879B1
KR101752879B1 KR1020147034587A KR20147034587A KR101752879B1 KR 101752879 B1 KR101752879 B1 KR 101752879B1 KR 1020147034587 A KR1020147034587 A KR 1020147034587A KR 20147034587 A KR20147034587 A KR 20147034587A KR 101752879 B1 KR101752879 B1 KR 101752879B1
Authority
KR
South Korea
Prior art keywords
sub
stream
tiles
streams
abstraction layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020147034587A
Other languages
English (en)
Other versions
KR20150003407A (ko
Inventor
토마스 쉬를
발레리 게오르게
카르스텐 그륀버그
하이너 키르흐호퍼
아나스타샤 헨켈
데트레브 마르페
Original Assignee
지이 비디오 컴프레션, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47594765&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101752879(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 지이 비디오 컴프레션, 엘엘씨 filed Critical 지이 비디오 컴프레션, 엘엘씨
Publication of KR20150003407A publication Critical patent/KR20150003407A/ko
Application granted granted Critical
Publication of KR101752879B1 publication Critical patent/KR101752879B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/4006—Conversion to or from arithmetic code
    • H03M7/4012—Binary arithmetic codes
    • H03M7/4018—Context adapative binary arithmetic codes [CABAC]
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/4031—Fixed length to variable length coding
    • H03M7/4037—Prefix coding
    • H03M7/4043—Adaptive prefix coding
    • H03M7/4068—Parameterized codes
    • H03M7/4075—Golomb codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/97—Matching pursuit coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/99—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals involving fractal coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들 내의 화상을 기술하고 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들의 트랑쉬들 내의 인코더로부터 콘텍스트 적응 이진 산술 코딩을 사용하여 코딩되는 원시 바이트 시퀀스 페이로드는 트랑쉬 경계들을 가로질러 콘텍스트-적응적 이진 산술 코딩 확률 적응의 지속과 함께 트랑쉬들로 분할되거나 또는 초핑된다. 이러한 측정에 의해, 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들 내에 부가적으로 도입된 트랑쉬 경계들은 이러한 요소들의 엔트로피 코딩 효율의 감소에 이르지 않는다. 그러나, 다른 한편으로는, 트랑쉬들은 원래의 슬라이스들,파면 병렬 처리 서브스트림들 또는 타일들보다 작으며 따라서 그것들은 초핑되지 않은 원래 엔티티들, 즉, 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들보다 낮은 지연으로 일찍 전송된다. 첫 번째 양상과 결합될 수 있는, 또 다른 양상에 따르면, 상응하는 서브스트림들 또는 타일들을 갖는 멀티-스레드 디코더의 역할을 병렬로 할 수 있도록 전송 디멀티플렉서가 네트워크 추상 계층 유닛들 내의 슬라이스들의 데이터를 상응하는 서브스트림들 또는 타일들에 할당하는 것을 가능하게 하기 위하여, 서브스트림 마커 네트워크 추상 계층 유닛들이 비디오 비트스트림의 네트워크 추상 계층 유닛들의 시퀀스 내에 사용된다.

Description

병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념{CODING CONCEPT ALLOWING PARALLEL PROCESSING, TRANSPORT DEMULTIPLEXER AND VIDEO BITSTREAM}
본 발명은 진화하는 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)에서와 같이 병렬 처리(Parallel processing), 전송 디멀티플렉서(transport demultiplexer) 및 비디오 비트스트림을 허용하는 코딩 개념에 관한 것이다.
인코더와 디코더의 병렬화는 고효율 비디오 코딩 표준뿐만 아니라 비디오 해상도의 예상되는 증가에 의한 증가하는 처리 필요 조건 대문에 매우 중요하다. 다중-코어 아키텍쳐(multi-core architecture)들이 다양한 범위의 현대 전자 장치들에서 이용가능하게 되었다. 그 결과, 다중-코어 아키텍쳐들의 사용을 가능하게 하는 효율적인 방법들이 필요하다.
최대 코딩 유닛(largest coding unit, LCU)의 인코딩 또는 디코딩은 콘텍스트 적응 이진 산술 코딩(CABAC) 확률들이 각각의 이미지의 특이성들에 적용되는, 래스터 스캔(raster scan)에서 발생한다. 인접한 최대 코딩 유닛들 사이에 공간 의존도가 존재한다. 각각의 최대 코딩 유닛은 예를 들면, 모션-벡터, 예측, 인트라 예측 등의 서로 다른 컴포넌트들 때문에, 그것의 왼쪽, 위, 위-왼쪽 및 위-오른쪽 이웃 최대 코딩 유닛들에 의존한다. 디코딩에서의 병렬화를 가능하도록 하기 위하여, 이러한 의존성들은 일반적으로 최신 적용들에서 인터럽트될(interrupted) 필요가 있거나 또는 인터럽트된다.
일부 병렬화 개념, 주로 엔트로피 슬라이스를 사용하는 파면(wavefront) 처리[3], 서브스트림들[2], [4], [11], 또는 타일(tile)들[5]을 사용하는 파면 병렬 처리(wavefront parallel processing, WPP) 운영들이 제안되어 왔다. 후자는 디코더 또는 인코더에서 병렬화를 허용하기 위하여 반드시 파면 처리와 결합될 필요는 없다. 이러한 관점에서 보면, 타일들이 파면 병렬 처리와 유사하다. 엔트로피 슬라이스의 뒤따르는 연구를 위한 본 발명자들의 초기 동기요인은 코딩 효율 손실을 낮추고 따라서 인코더와 디코더에서의 병렬화 접근법을 위한 비트스트림에 대한 부담을 감소시키는, 기술을 실행하는 것이다.
특히 최대 코딩 유닛들의 사용의 더 나은 이해를 제공하기 위하여, 먼저 H.264/AVC의 구조를 볼 수 있다[1].
H.264/AVC에서의 코딩된 비디오 시퀀스는 네트워크 추상 계층(network abstract layer, NAL) 유닛 스트림 내에 수집되는 일련의 액세스 유닛들로 구성되며 그것들은 단지 하나의 시퀀스 파라미터 세트를 사용한다. 각각의 비디오 시퀀스는 독립적으로 디코딩될 수 있다. 코딩된 시퀀스는 코딩된 화상(picture)들의 시퀀스로 구성된다. 코딩된 프레임은 전체 프레임 또는 단일 필드일 수 있다. 각각의 화상은 고정된 크기의 매크로블록(macroblock, 고효율 비디오 코딩에서 최대 코딩 유닛들)으로 분할된다. 일부 매크로블록들 또는 최대 코딩 유닛들은 하나의 슬라이스로 함께 병합될 수 있다. 따라서 화상은 하나 또는 그 이상의 슬라이스의 수집이다. 이러한 데이터 분리의 목적은 다른 슬라이스들로부터의 데이터의 사용 없이 슬라이스에 의해 표현되는, 화상의 영역 내의 샘플들의 독립적인 디코딩을 허용하는 것이다.
종종 "엔트로피 슬라이스"로서 언급되는 기술[3]은 종래의 슬라이스를 부가적인 서브-슬라이스들로 분할하는 것이다. 특히, 이는 단일 슬라이스의 엔트로피 코딩된 데이터의 슬라이싱을 의미한다. 슬라이스 내의 엔트로피 슬라이스들의 배치는 서로 다른 다양성을 가질 수 있다. 가장 간단한 것은 프레임 내의 최대 코딩 유닛들/매크로블록들의 각각의 열(row)을 하나의 엔트로피 슬라이스로서 사용하는 것이다. 엔트로피 슬라이스들로서 대안의, 칼럼들 또는 개별 영역들이 사용될 수 있는데, 이는 인터럽트되고 서로, 예를 들면 도 1의 슬라이스 1에 대하여 토글될(toggled) 수 있다.
엔트로피 슬라이스 개념의 명백한 목적은 디코딩 처리의 시간을 향상시키기 위하여, 즉, 처리 속도를 올리기 위하여 병렬 중앙처리유닛(CPU)/그래픽처리유닛(GPU) 및 다중-코어 아키텍쳐들의 사용을 가능하게 하는 것이다. 현재의 슬라이스는 다른 슬라이스 데이터의 참조 없이 파스되거나(parsed) 또는 재구성될 수 있는 파티션들로 분할될 수 있다. 비록 엔트로피 슬라이스 접근법으로 몇 가지 장점들이 달성될 수 있으나, 그렇게 함으로써 일부 불이익이 나타난다.
엔트로피 슬라이스 개념은 [2], [10], [11]에서 제안된 것과 같이 서브스트림 파면 처리로 더 확대되었으며 부분적으로 [5]와 통합되었다. 여기서 서브스트림들의 반복 전략이 엔트로피 슬라이스와 비교하여 라인당 향상된 엔트로피 상태 초기화를 갖는 것을 정의된다.
타일 개념은 코딩되려는 화상 정보의 분리를 허용하며, 각각이 타일은 고유의 래스터 스캔 순서를 갖는다. 타일은 프레임 내에 반복되는, 공통 구조에 의해 정의된다. 타일은 또한 최대 코딩 유닛들 또는 코딩 유닛들과 관련하여 특정 칼럼 폭 및 라인 높이를 가질 수 있다. 타일들은 또한 독립적으로 인코딩될 수 있으며 또한 디코더 스레드(decoder thread)들이 액세스 유닛의 타일들을 완전히 또는 독립적인 방법으로 일부 코딩 운영 단계, 즉, 엔트로피 코딩 및 변환 코딩을 위하여 처리할 수 있는 같이, 그것들이 다른 타일들과의 공동 처리를 필요로 하지 않는 방법으로 인코딩될 수 있다.
따라서 타일은 후자의 경우에 있어서, 예를 들면, 고효율 비디오 코딩 코덱의 필터링 단계에서 타일 인코더들뿐만 아니라 디코더들을 완전히 또는 병렬 방법과 독립적으로 실행하도록 허용한다.
비디오 통신 시스템 또는 유사시스템들의 캡쳐링(capturing), 인코딩, 전송, 디코딩 및 프레젠테이션 체인에서의 병렬화 기술을 완전히 사용하기 위하여, 통신 참여자 사이의 전송 및 액세스는 전체 종단 간 지연 인젝션(end-to-end delay injection)을 위한 중요하고 시간 소비적 단계이다. 만일 타일들, 서브스트림들 또는 엔트로피 슬라이스들과 같은, 병렬화 기술들을 사용하면, 이는 특히 문제가 된다.
파면 병렬 처리 서브스트림들의 데이터 접근법들은 파티션들의 코딩된 데이터가 만일 처리되면, 데이터 지역성(data locality)을 갖지 않는다는 사실을 나타내는데, 즉 액세스 유닛의 단일 스레드 디코딩(single threaded decodong)은 그 다음의 파면 병렬 처리 서브스트림 라인의 액세스하기 위하여 잠재적으로 큰 메모리 부분들을 넘어 점프할 필요가 있다. 멀티-스레드 디코딩 시스템은 완전한 병렬 방법으로 작업하기 위하여, 특정 데이터, 즉, 파면 병렬 처리 서브스트림들 상에서 전송을 기다릴 필요가 있으며, 따라서 파면 처리를 이용한다.
비디오-스트리밍(video-streaming)에 있어서, 높은 해상도(풀(full)-HD, 쿼드-HD 등)는 전송되어야만 하는 높은 데이터 양에 이르게 한다. 영상 회의(＜145 ms), 또는 게임 애플리케이션(＜145 ms)과 같은, 이른바 저-지연 사용의 경우인, 분초를 다투는 시나리오들을 위하여, 매우 낮은 종단 간 지연들이 필요하다. 따라서, 전송 시간은 임계 인자가 된다. 영상 회의 적용을 위하여, ASDL의 업-로드 링크(up-load link)가 고려된다. 여기서, 대개 I-프레임들을 언급하는, 이른바 스트림의 랜덤 액세스 지점들이 전송 동안에 장애를 야기하는 후보군들일 것이다.
고효율 비디오 코딩은 디코더에서뿐만 아니라 디코더 면에서 이른바 파면 처리뿐만 아니라 타일 처리를 허용한다. 이는 엔트로피 슬라이스들, 파면 병렬 처리 서브스트림들, 또는 심지어 그것들의 조합의 사용에 의해 이용가능해진다. 병렬 처리는 또한 병렬 타일 인코딩 및 디코딩에 의해 허용된다.
"비-병렬화 표적화(non-parallelization targeting)"의 경우에 있어서, 전체 슬라이스의 데이터는 즉시 전달될 수 있으며, 따라서 슬라이스들의 마지막 코딩 유닛(CU)은 만일 전송되었으면, 디코더에 의해 액세스 가능하다. 만일 단일 스레드 디코더가 존재하면, 이는 문제가 되지 않는다.
멀티-스레드(multi-threaded)의 경우에 있어서, 만일 다중 중앙 처리 유닛 또는 코어가 사용될 수 있으면, 인코딩된 데이터가 파면-디코더 또는 타일-디코더 스레드들에 도착하자마자 디코딩 과정이 시작하고 싶을 수 있다.
따라서, 코딩 효율의 덜 심각한 감소를 갖는 병렬 처리 환경들에서의 코딩 지연의 감소를 가능하게 하는 개념들을 갖는 것이 바람직할 수 있다.
따라서, 병렬 처리 환경에서 그러한 더 효율적이고 낮은 지연 코딩을 가능하게 하는 코딩 개념, 전송 디멀티플렉싱 개념 및 비디오 비트스트림을 제공하는 것이 본 발명의 목적이다.
이러한 목적은 첨부된 독립항들의 주제에 의해 달성된다.
본 발명의 첫 번째 양상에 따르면, 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들 내의 화상을 설명하고 콘텍스트-적응 이진 산술 코딩을 사용하여 코딩된 원시 바이트 시퀀스 페이로드(raw byte sequence payload, RBSP)는 트랑쉬(tranche) 경계들을 가로질러 콘텍스트-적응적 이진 산술 코딩 확률 적응의 지속과 함께 트랑쉬들로 분할되거나 또는 초핑된다(chopped). 이러한 측정에 의해, 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들 내에 부가적으로 도입된 트랑쉬 경계들은 이러한 요소들의 엔트로피 코딩 효율의 감소에 이르지 않는다. 그러나, 다른 한편으로는, 트랑쉬들은 원래의 슬라이스들,파면 병렬 처리 서브스트림들 또는 타일들보다 작으며 따라서 그것들은 초핑되지 않은 원래 엔티티들, 즉, 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들보다 낮은 지연으로 일찍 전송된다.
첫 번째 양상과 결합될 수 있는, 또 다른 양상에 따르면, 상응하는 서브스트림들 또는 타일들을 갖는 멀티-스레드(multi-threaded) 디코더의 역할을 병렬로 할 수 있도록 전송 디멀티플렉서가 네트워크 추상 계층 유닛들 내의 슬라이스들의 데이터를 상응하는 서브스트림들 또는 타일들에 할당하는 것을 가능하게 하기 위하여, 서브스트림 마커 네트워크 추상 계층 유닛들이 비디오 비트스트림의 네트워크 추상 계층 유닛들의 시퀀스 내에 사용된다.
본 발명의 구현들은 종속항들의 주제이다. 또한, 본 발명의 바람직한 실시 예들이 도면들과 관련하여 아래에 더 상세히 설명된다.
도 1은 엔트로피 슬라이스들의 가능한 콤파운드를 개략적으로 도시한다.
도 2는 세 개의 슬라이스에 확산된 세 개의 타일을 개략적으로 도시한다.
도 3은 4개의 가변 길이 트랑쉬 순환 인터리빙(interleaving) 전략의 트랑쉬들의 인터리빙 실시 예를 개략적으로 도시한다.
도 4는 엔트로피 슬라이스 데이터의 인코딩, 세그멘테이션(segmentation), 인터리빙 및 디코딩을 개략적으로 도시한다.
도 5는 항상 마커 코드들을 사용하고 실제 슬라이스 데이터를 다중 네트워크 추상 계층 유닛들로 확산하는 4개의 가변 길이 트랑쉬 순환 인터리빙 전략의 트랑쉬들의 인터리빙 실시 예를 개략적으로 도시한다. 파티션이 존재하지 않더라도 마커들이 사용된다. 이는 트랑쉬 식별자(tranche identifier)를 사용하고, 그 뒤에 트랑쉬 수를 나타내는, 마커를 사용하여 더 향상될 수 있다. 이는 순환 방식을 위하여 필요한 것과 같이, 항상 마커를 보내는 필요성을 쓸모없게 한다.
도 6은 네트워크 추상 계층 유닛 구문을 나타내는 슈도코드(pseudocode)의 테이블을 도시한다.
도 7은 시퀀스 파라미터 세트 구문을 나타내는 슈도코드의 테이블을 도시한다.
도 8은 저 지연 슬라이스 계층(low delay slice layer) 원시 바이트 시퀀스 페이로드를 나타내는 슈도코드의 테이블을 도시한다.
도 9는 슬라이스 헤더 구문을 나타내는 슈도코드의 테이블을 도시한다.
도 10은 서브스트림 마커 구문을 나타내는 슈도코드의 테이블을 도시한다.
도 11은 엔트로피 슬라이스 데이터의 간단한 캡슐화를 위한 일 실시 예를 개략적으로 도시한다(AF는 MPEG-2 전송 스트림(Transport Stream, TS) 적응 필드(Adaptation Field)이다).
도 12는 엔트로피 슬라이스 데이터의 단일 기본 스트림 캡슐화를 위한 또 다른 실시 예를 개략적으로 도시한다.
도 13은 엔트로피 슬라이스 데이터의 패킹된(packed) 다중-기본 스트림 캡슐화를 개략적으로 도시한다.
도 14는 단일 기본 스트림을 위한 전송 디멀티플렉서를 나타내는 개략적인 블록 다이어그램을 도시한다.
도 15는 다중-기본 스트림을 위한 전송 디멀티플렉서를 나타내는 개략적인 블록 다이어그램을 도시한다.
도 16은 인코더를 나타내는 개략적인 블록 다이어그램을 도시한다.
도 17은 디코더를 나타내는 개략적인 블록 다이어그램을 도시한다.
도 18은 디코더에 의해 실행되는 단계들의 플로차트를 도시한다.
도 19는 실시간 전송 프로토콜(Real-time Transport Protocol, RTP)을 사용하는 다중-기본 스트림을 위한 일 실시 예를 개략적으로 도시한다.
병렬 디코더 스레드가 프레임이 데이터를 시작하고 종료하는 시간을 감소시키기 위하여, 아래의 실시 예들은 저 지연 인터리빙 접근법에 의한 작은 트랑쉬(tranche) 내로의 하나 또는 그 이상의 타일의 데이터 혹은 하나 또는 그 이상의 파면 병렬 처리 서브스트림의 데이터와 같은, 병렬화를 위하여 구조화된, 데이터의 세그멘테이션을 사용한다.
따라서 인코더는 최대 코딩 유닛 혹은 인코더로부터 디코더로의 전송 경로를 거쳐 디코더에 대한 트랑쉬 형태의 그것들의 서브스트림 또는 타일 또는 부분의 적어도 바이드 정렬 부분에 상응하는, 데이터를 전송할 수 있다.
트랑쉬들이 완전한 파면 병렬 처리 서브스트림 또는 타일보다 작거나 및/또는 전송 경로의 실제 최대 전송 유닛(MTU)에 적용될 수 있기 때문에, 다중 파면 병렬 처리 서브스트림 또는 타일의 트랑쉬들은 디코더 면에서의 디코딩하는, 완전한 액세스 유닛의 완결 이전에, 인코더와 디코더 사이의 전송 유닛 내에 배치되도록 하기 위하여, 액세스 유닛의 완전한 파면 병렬 처리 서브스트림들 또는 타일들의 순차적 전송을 사용할 때보다 상당히 일찍 시작할 수 있다.
이는 확실히 트랑쉬들의 빠른 전송 및 디코더에서 병렬 디코딩 과정의 이른 시작을 야기한다. 이러한 접근법은 또한 만일 그 다음 프레임의 슬라이스(들) 또는 엔트로피 슬라이스(들)가 프레임 간 참조들의 이용가능성 때문에 그 다음의 프레임의 엔트로피 슬라이스의 디코딩을 위하여 필요한 정보를 기초로 하여 예를 들면, 파면 방식으로 이미 디코딩될 수 있으면, 프레임 경계들을 넘어 적용될 수 있다. 디코딩 순서에 성공한 프레임의 이미 디코딩할 수 있는 데이터는 최대 허용/신호전달 움직임 벡터 길이 혹은 선행 프레임(들)에 대한 데이터 부분들의 의존성을 나타내는 스트림, 또는 파라미터 세트와 같은, 시퀀스-고정 위치 내에 신호전달되도록 사용된 위치를 나타내는 고정 참조 전략 내의 부가적인 정보로부터 유래될 수 있다.
화상은 최대 코딩 유닛-열(들) 당 하나의 엔트로피 슬라이스로, 혹은 파면 병렬 처리 서브스트림 또는, 엔트로피 슬라이스 내에 더 포함될 수 있는 열 당 하나의 파면 병렬 처리 서브시스템과 같은 조합을 사용하여 인코딩될 수 있다. 그러한 데이터 구조들은 디코더 면에서 파면 병렬 처리 기술의 사용에 필요하다. 그렇지 않으면 타일들이 병렬 처리를 허용하도록 사용될 수 있다.
인코딩 과정 동안에, 파면 병렬 처리 스트림들 또는 타일들을 포함하는, 각각의 슬라이스의 비트스트림은 인코더와 디코더 사이의 최대 전송 유닛 크기를 일치시키기 위하여 다양한 크기의 트랑쉬들로 분할될 수 있다. 그리고 나서 결과로서 생긴 트랑쉬들은 인터리빙되고 전송을 통과할 수 있으며 최대 전송 유닛의 패킷들에 들어갈 수 있다.
디코더 면에서의 처리를 허용하기 위하여, 각각의 트랑쉬 앞과 뒤에, 마커 코드(marker code)가 삽입될 수 있다. 고효율 비디오 코딩에 적절한 마커 코드는 "0x00 00 02"일 수 있으며, 이는 시작 코드 에뮬레이션(emulation) 방지도 통과할 수 있다. 다중 트랑쉬를 포함하는 패킷의 수용 후에, 수신기 또는 디코더는 부가적인 파싱(parsing) 단계를 필요로 하지 않도록 하기 위하여 시작 코드 에뮬레이션 방지 과정 동안에 실제 포함된 비트스트림을 파싱할 수 있다. 예를 들면, 트랑쉬 식별을 위한 두 가지 방식이 존재할 수 있다. 1과 동일한 tranche_id를 갖는 트랑쉬부터 n과 동일한 tranche_id를 갖는 트랑쉬까지, 항상 트랑쉬들의 순환(cyclic) 배치가 존재할 수 있다. 이는 두 번째 일반적인 방법에 대한 안전한 신호전송 데이터일 수 있다. 대안의 방법은 예를 들면, 8 비트 값으로서, tranche_id를 나타내는, 마커 다음의 특정 헤더일 수 있다.
저 지연 캡슐화을 위한 인터리빙 전략의 사용 상에서 디코더에 정보를 전송하기 위하여, 네트워크 추상 계층 유닛 헤더 내에 low_delay_flaf가 존재할 수 있다.
또 다른 방식은 전송 계층 상의 인토리빙 및 디인터리빙(deinterleaving)일 수 있는데, 즉, 디코딩 과정 외부에 실시간 전송 프로토콜[8][9][13] 또는 MPEG-2 전송 스트림[7] 계층이 존재할 수 있다.
따라서, 헤더는 존재하는 트랑쉬 당 바이트들에서의 크기 정보를 포함하는 플래그에 의해 트랑쉬의 존재를 나타내는, 패킷의 앞쪽에 놓일 수 있다. 전송 계층이 디코딩 과정으로부터 분리되기 때문에 마커 코드를 통합할 필요가 없을 수도 있는데, 그 이유는 전송 계층의 부가적인 정보가 그러한 데이터를 디코더를 통과시키기 전에 그래도 제거될 필요가 있기 때문이다. 전송 계층은 그리고 나서 또한 디코더로의 비트스트림 전송을 위하여 데이터를 재정렬한다.
가변 길이 헤더는 추가의 멀티플렉싱 계층 상에서 사용될 수 있다. 이러한 멀티플렉싱 계층은 또한 코덱의 부분일 수 있으며 디코더 내의 실제 원시 바이트 시퀀스 데이터(RBSP) 액세스 전에 도입될 수 있다. 한 가지 헤더 전략을 도 3에서 찾을 수 있다. 그러나 또한 길이뿐만 아니라 그것의 표시기(indicator)를 나타내는 각각의 트랑쉬 앞에 직접적으로 헤더가 존재할 수 있다. 위에서 이미 설명된 것과 같이 표시기를 비트스트림 구조들에 매핑하는 필요성이 여전히 존재한다.
트랑쉬 크기는 또한 일정한 크기, 예를 들면, 트랑쉬 당 x 바이트일 수 있다. 이는 도 4에 도시된 것과 같은, 단순한 멀티플렉싱 전략을 야기한다.
세크먼트들의 일정한 크기는 그것의 가변 길이 때문에 비트스트림의 끝에서 문제를 야기한다.
두 가지의 일반적인 가능한 해결책이 존재한다. 한 가자는 순환 x-바이트 세크먼트들의 발생(일반적으로 슬라이스의 비트스트림 표현은 바이트-정렬된다) 및 각각의 디코더-엔진에 의한 바이트들의 소비의 제어인데, 즉, 디코더는 엔트로피 슬라이스의 완성 또는 마커 코드의 포함을 발견한다.
두 번째 방법은 트랑쉬들이 도면에 도시된 것과 같이 헤더에서 가변 길이일 때, 트랑쉬 길이들의 신호전송이다.
*세그먼트의 크기와 인터리빙 방식은 하나의 SEI-메시지 또는 SPS 내에 신호전송될 수 있다.
전송 전략이 도 4에 도시된다.
또 다른 흥미 있는 방법은 네트워크 추상 계층 또는 슬라이스 패킷과 같은 패킷 내의 트랑쉬들의 세트의 끝에서의 완결 코드(finalizing code)들 또는 마커 코드들의 사용이다. 이러한 경우에 있어서, 가변 길이 세그먼트들이 가능하며, 따라서 비트스트림의 완전한 파싱이 필요하다. 여기서 메모리 액세스를 제한하기 위하여, 멀티플렉싱을 위한 이러한 부가적인 파싱 과정은 네트워크 추상 계층 내에 포함된 원시 바이트 시퀀스 페이로드 데이터를 액세스하기 전에 첫 번째 단계로서 필요한, 시작 코드 에뮬레이션 방지 파싱과 결합될 수 있다. 그러한 마커 개요가 도 5에 도시된다.
여기서의 개념은 데이터를 트랑쉬 내로 삽입하는 동안에, 인터리빙 방식으로 실제 슬라이스, 엔트로피 슬라이스 또는 이와 유사한 것과 같은 높은 레벨 구조를 파면 병렬 처리 서브스트림들 또는 타일들과 같은, 그것이 포함된 낮은 레벨 데이터 구조로 분할하는 것이다. 각각 낮은 레벨 구조에 속하는, 이러한 트랑쉬들은 특정 네트워크 추상 계층 유닛, 도면에 "NAL 유닛 #1"을 도시된 것과 같이, 플래그 또는 슬라이스 형태에 의한 저 지연 인터리빙 접근법을 나타내는 저 지연 인터리빙 플래그 또는 슬라이스 또는 경량 슬라이스 헤더에 의한 부가적인 시그널링을 갖는 네트워크 추상 계층 유닛일 수 있는, 저 지연 패킷 내로 삽입되며, 따라서 디코더는 디코더에서 오리지널/탈-인터리빙된 순서로 트랑쉬들의 순차적 처리를 사용하는, "단일" 스레드 디코더를 위하여 레코딩 기능을 적용하도록 알려진다. 저 지연 특징을 얻도록 다증 패킷들에 대하여 인터리빙된 트랑쉬들로서 실제 슬라이스의 데이터를 분할하기 위하여, 전송 계층은 저 지연 인터리빙된 데이터를 포함하는 네트워크 추상 계층 유닛을 최대 전송 유닛 크기의 네트워크 패킷들에 단편화할 수 있다. 실제 슬라이스 데이터의 다중 네트워크 추상 계층 유닛들로의 단편화(fragmentation)는 또한 코딩 계층에 의해 직접적으로 적용될 수 있으며, 따라서 "NAL 유닛 #2"를 위하여 도 5에 도시된 것과 같이, 슬라이스의 연속을 포함하는 그러한 형태의 네트워크 추상 계층 유닛에 신호를 보내기 위한 필요성이 존재한다. 네트워크 추상 계층 유닛들과 같은, 다중 패킷 내의 인터리빙된 데이터의 완결을 검출하기 위하여, 또한 도면에 "NAL 유닛 #2"를 위하여 도시된 것과 같이 특정 완결 코드 또는 슬라이드 또는 네트워크 추상 계층 헤더에서의 완료를 나타내는 플래그의 필요성이 존재할 수 있다.
네트워크 추상 계층 패킷들을 손실하는 경우에 있어서, 또한 손실들을 검출하는 필요성이 존재한다. 이는 헤더, 예를 들면, 포함된 트랑쉬들, 또는 단지 특정 트랑쉬(#1)의 제 1 멀티플렉스 버퍼(MB)들과 같은, 경량 슬라이스 헤더 내의 부가적인 정보에 의해 적용될 수 있다. 파면 병렬 처리 서브스트림들을 위한 오프셋들 또는 트랑쉬의 실제 크기와 같은 정보를 가질 때, 누군가는 또한 완료 코드를 갖는 네트워크 추상 계층 유닛 및 선행 네트워크 추상 계층 유닛들을 수신한 후에 온전성 검사(sanity check)를 수행하기 위하여 이러한 크기 값들(특정 파면 병렬 처리 서브스트림 또는 타일의 오프셋 값들)을 사용할 수 있다.
즉, 설명된 것과 같이, 각각의 패킷(300)이 파면 병렬 처리 서브스트림들 또는 타일들 중에서 정의된 순서(#)로 배치되는, 화상의 각각의 파면 병렬 처리 서브스트림 또는 타일, 혹은 화상의 각각의 파면 병렬 처리 서브스트림 또는 타일의 서브셋의 하나의 트랑쉬(T#)를 포함하는 것과 같은 방식으로(그 이유는 예를 들면, 특정 파면 병렬 처리 서브스트림 또는 타일이 선행 패킷들에 의해 이미 완전히 전달되었기 때문에), 트랑쉬들이 패킷들(300) 내로 패킷화될 수 있으며, 각각의 패킷은 각각의 패킷(300) 내로 패킹된 트랑쉬들(T#)의 위치들 및/또는 길이들을 나타내는 정보를 포함하는 헤더(302), 또는 서로 각각의 패킷(300) 내의 트랑쉬들(T#)을 분리하는 마커들(304)을 포함하며, 디코더는 원시 바이트 시퀀스 패이로드를 수신하는데 있어서, 트랑쉬들을 패킷들 내에 액세스하기 위하여 헤더들(302) 또는 마커들(304)에 의해 포함되는 정보를 사용하도록 구성될 수 있다. 첫 번째(파면 병렬 처리 서브스트림들 또는 타일들 중에서 정의된 순서에 따라) 트랑쉬들을 포함하는 패킷들(300a)은 저 지연 특징 표시기(306)를 포함할 수 있으며, 화상의 파면 병렬 처리 서브스트림들 또는 타일들의 두 번째 또는 뒤따르는(파면 병렬 처리 서브스트림들 또는 타일들 중에서 정의된 순서에 따라) 트랑쉬들(T#)은 연속 표시기(continuation indicator, 308)를 포함할 수 있다. 패킷(300)은 네트워크 추상 계층 유닛들 또는 슬라이스들일 수 있다.
다음에서, 트랑쉬들 내로의 저 지연 인터리빙을 위한 구문 및 의미(semantic)를 신호전달하기 위한 일 실시 예가 제공된다.
그럼에도 불구하고, 파면 병렬 처리 서브스트림 또는 타일의 데이터와 같은, 트랑쉬 데이터의 분할이 또한 위에 설명된 것과 같이 슬라이스 레벨 상에 또는 아래에 적용될 수 있다.
이제, 부가적인 처리 단계들을 감소시키기 위하여 시작 코드 에뮬레이션 방지를 위한 파싱과 결합될 수 있는, 접근법이 도시된다. 따라서, 고효율 비디오 코딩 코덱의 원시 바이트 시퀀스 페이로드 레벨에서 인터리빙이 적용된다.
트랑쉬는 저 지연 데이터 액세스를 위하여 네트워크 추상 계층 유닛 페이로드 섹션 내에 인터리빙되려는 섹션으로의 원시 바이트 시퀀스 페이로드 데이터의 분할로서 알 수 있다. 트랑쉬의 완결은 코드 0x000002에 의해 표시될 수 있으며 8비트 트랑쉬 식별자 tranche_id가 뒤따를 수 있다. 트랑쉬들을 순환 방식으로 인터리빙될 수 있으며, 따라서 트랑쉬 종료 코드(end code)는 분명하게 유래되는, tranhe_id이 뒤따르지 않는다. 단일 트랑쉬 내의 원시 바이트 시퀀스 페이로드 데이터는 타일의 데이터, 서브스트림의 데이터, 슬라이스의 데이터 또는 엔트로피 슬라이스의 데이터와 상응한다.
네트워크 추상 계층 유닛 구문에서, 트랑쉬들의 순환 배치인, "low delay encapsulation_flag"뿐만 아니라 부가적인 식별자 "tranche_id"를 거쳐 트랑쉬의 표시 그 다음에 네트워크 추상 계층 유닛 헤더 내의 "low delay cyclic_flag"와 같은 플래그를 거쳐 마커 코더에 의해 표시되는 것과 같은 저 지연 인터리빙을 위하여 두 가지 방식이 허용될 수 있다. 이러한 두 가지 플래그는 또한 시퀀스 파라미터 세트들, 또는 APS에 존재할 수 있다. 순환 트랑쉬 배치를 위하여, "num_low_delay_tranches"로서 SPS 내에 제공되는 것과 같은, 파싱 동안에 트랑쉬들의 수를 알기 위한 필요성이 여전히 존재한다.
네트워크 추상 계층 유닛에서 인터리빙된 "LD_rbsp_byte"는 파서(parser)와 레코더에 의해 네트워크 추상 계층 구문 내의 마지막 포-루프(for-loop)에서의 실제 순차적 원시 바이트 시퀀스 페이로드 순서에 판독된다.
for(i=0,i++,i＜num_low_delay_tranches){
for(j=0,J++,J＜NumBytesInRBSP[i]){
rbsp_byte[NumBytesInRBSP++]=LD_rbsp_byte[j][i]
}
또한 "low_delay_tranche_lenght_minus"에서 표시된 것과 같이 순환 배치된 트랑쉬들의 고정된 크기를 위하여 SPS 또는 APS 내의 분명한 신호전달의 존재할 수 있다. 후자는 네트워크 추상 계층 유닛 구문 실시 예에서 사용되지 않았으나, 만일 도 4에 도시된 것과 같이 패킷화를 염두에 두면 바로 전달된다. 도 6의 네트워크 추상 계층 유닛 구문에서, 도 5에 도시되고 위에 설명된 것과 같은 패킷화가 기본이었다.
슬라이스 및/또는 네트워크 추상 계층 유닛들과 같은, 다중 패킷들에 대한 트랑쉬들의 이러한 인터리빙을 허용하도록 하기 위하여, 이미 수신된 네트워크 추상 계층 유닛들의 원시 바이트 시퀀스 페이로드 데이터로의 반복 액세스를 갖도록 트랑쉬들을 위한 LD_rbsp_byte의 어레이와 같은, 글로벌 버퍼(global buffer)를 위한 필요 조건이 존재할 수 있다.
완결 코드를 수신한 후에 오류 내성(error resilience)을 허용하도록 하기 위하여, 또는 만일 트랑쉬를 위하여 수신된 바이트들의 수의 합이 트랑쉬 크기와 동일하면, 이는 포함된 트랑쉬 데이터를 위하여 제공된 것과 같은 오프셋 값으로부터, 즉, 문제의 트랑쉬가 일부인 각각의 파면 병렬 처리 서브스트림 또는 터일에 대한 데이터로부터 유래될 수 있다.
인터리빙된 저 지연 트랑쉬들 내에 배치되는 파면 병렬 처리 서브스트림들의 중요한 필요 조건은 트랑쉬(n+1)에 의해 트랑쉬(n)로부터의 데이터만이 액세스되는 것인데, 이는 이미 트랑쉬(n) 내에 제공되고 디코더에서 이미 저장되었거나 이용가능하다는 것이다. 슬라이스 레벨 상의 재정렬/탈-인터리빙을 위한 저 지연 슬라이스 계층 원시 바이트 시퀀스 페이로드 구문은 다음과 같이 디자인될 수 있다. 특히, 그러한 경우에 있어서 구문은 네트워크 추상 계층 유닛 층 상에서와 거의 동일한 행동을 가져야만 하나, 재정렬은 슬라이스 레벨 상에서 정의되어야만 한다. 도 8은 저 지연 슬라이스 계층 원시 바이트 시퀀스 페이로드 구문을 도시한다.
인터리빙된 트랑쉬들을 패킷화하기 위하여 슬라이스 헤더를 사용하는 경우에, 만일 콘텍스트 적응 이진 산술 코딩 상태를 재설정하지 않고, 새로운 슬라이스를 수신하면, 코덱 레벨에서 표시하기 위한 필요 조건이 존재할 수 있는데, 그 이유는 트랑쉬들의 엔트로피 코딩, 예를 들면, 파면 병렬 처리 서브스트림이 중단되어서는 안 되기 때문이다. 슬라이스 내에 콘텍스트 적응 이진 산술 코딩을 재설정하지 않는 것은 슬라이스 헤더 내에 "no_cabac_reset_flag"로서 표시된다. 도시된 슬라이스 헤더는 저 지연 슬라이스들에 적합하며, 따라서 또한 entropy_slice 특징들이 존재하여야만 한다. 상응하는 슬라이스 헤더 구문이 도 9에 도시된다.
전송 계층은 코딩 계층 내의 다수의 서브스트림/타일/트랑쉬(전송 계층 상에서, 본 발명의 발명자들은 서브스트림, 타일, 서브스트림 또는 타일의 부분, 혹은 유사한 기능을 갖는 비트스트림의 일부분에 의해 표현될 수 있는 추상적 엔티티(abstract entity)를 추정하는데, 병렬 디코딩 또는 점진적 디코더 리프레시(gradual decoder refresh)를 허용한다)가 서로에 관계없이 독립적으로 처리될 수 있는지의 사실을 기초로 하여 디코더 유닛(들)으로 전달되는 데이터의 스케줄링의 최적화를 가능하게 한다. 한 가지 가능성은 트랑쉬들을 병렬로 최소 지연을 갖는 일부 디코딩 유닛들에 보내기 시작하는 것이다. 비트스트림은 전송 계층 상에서 개별적으로 처리될 수 있는 가장 작은 아이템들인 네트워크 추상 계층 유닛들의 시퀀스로 구성된다. 결론적으로, 전송 계층 상의 다음의 처리 방법들은 개별 슬라이스 또는 엔트로피 슬라이스 네트워크 추상 계층 유닛들 내에 포함된 서브스트림들/타일들/트랑쉬들을 기초로 한다.
전송 계층은 또한 만일 코딩 계층이 점진적 디코더 리프레시를 사용하는지의 사실을 기초로 하여 디코더 성능 및 오류 내성을 최적화하여야만 한다. 한 가지 옵션은 예를 들면, 전송 오류들 때문에 비트스트림의 이전 부분들이 올바르게 수신되지 않았거나 또는 예를 들면, 전송 채널들 사이의 스위치 때문에 전혀 수신되지 않았으면 비트스트림의 무관한 부분들을 드로핑(dropping)하는 것이다.
그러한 이용/최적화를 허용하기 위하여 서로 다른 정보가 전송 계층 상에 신호가 보내진다.
일반적인 부가 정보는 기술자(descriptor)를 사용하여 신호가 보내진다:
- 서브스트림들/타일들의 수, "1"은 전체 비디오 프레임을 포함하는 단지 하나의 스트림/타일을 의미한다.
- 모든 서브스트림/타일에 공통적인 정보, 예를 들면, 만일 모든 서브스트림/타일이 동일한 크기이거나 버퍼 요구량이 동일할 때
- 각각의 서브스트림/타일에 관한 개별 정보,
- 점진적 디코더 리프레시 단계들의 수, "1"은 점진적 디코더 리프레시가 사용되지 않는 것을 의미한다
- 이러한 서브스트림들/타일들이 저 지연 병렬 처리를 허용하는지를 나타내는 플래그.
만일 서브스트림들/타일들의 수가 ＞1이면, 구문 요소들은 특정 서브스트림/타일을 포함하는 각각의 데이터 블록 앞의 스트림 내에 삽입된다. 이러한 구문 요소들은 네트워크 추상 계층 유닛 구문을 후속하게 하나, 아래에서 서브스트림 마커들로서 언급되는, 코딩 계층에 의해 사용되지 않는 독특한 유닛 형태(예를 들면, nal_unit_type=0x19 또는 nal_unit_type=0x1F)를 사용한다.
이러한 구문 요소들은 마커들로서 사용되고 서브스트림/타일을 식별하는 적어도 하나의 데이터 필드를 후속하게 하는 데이터 블록에 관한 정보를 지닌다.
만일 점진적 디코더 리프레시 단계들의 수가 ＞1이면, 이러한 구문 요소들은 또한 서브스트림/타일이 인트라 코딩된지를 나타내는(점진적 디코더 리프레시를 허용하는) 플래그를 지닌다.
상응하는 구문이 도 10에 도시된다. 다음의 제약이 적용될 수 있다:
forbidden _ zero _ bit는 0과 동일하여야만 한다.
nal _ ref _ flag는 0과 동일하여야만 한다.
nal _ unit _ type은 0x19와 동일하여야만 한다.
substream _ ID : 동일한 화상에 속하는 각각의 또 다른 슬라이스 또는 엔트로피 슬라이스에 의해 증가되는, 화상에 속하는 제 1 슬라이스를 위하여 0으로 시작하는 카운터 값(counter value)
is _ intra : 만일 '1'이면, 그 다음의 네트워크 추상 계층 유닛은 인트라 코딩된 슬라이스 또는 인트라 코딩된 엔트로피 슬라이스를 포함한다.
전송 멀티플렉스 내의 비디오 스트림의 캡슐화를 위한 방법이 도 11에 도시되는데, 각각의 슬라이스 또는 엔트로피 슬라이스는 전송 스트림 패킷들의 정수 내에 개별적으로 전송된다. 만일 페이로드의 크기가 고정된 크기의 전송 스트림 패킷들 내의 이용가능한 바이트들과 정확하게 맞지 않으면, 마지막 전송 스트림 패킷은 적응 필드를 포함한다.
MPEG-2 전송 스트림의 기본 스트림의 유사한 행동이 또한 도 19에 도시된 것과 같이 실시간 전송 프로토콜의 실시간 전송 프로토콜 세션 또는 실시간 전송 프로토콜 스트림에 의해 제공된다는 것을 이해하여야 한다. 실시간 전송 프로토콜[8]에서, 실시간 전송 프로토콜 스트림에 표시된 것과 같이 미디어 형태 또는 페이로드 형태에 의해 식별되는[12])는 그것의 고유의 실시간 전송 프로토콜 세션 내에 포함될 수 있으며, 실시간 전송 프로토콜 세션은 (IP) 네트워크 주소, (UDP) 포트뿐만 아니라, 소스 식별자(source identifier, SSRC)에 의해 식별된다. SDP 내에 표시되는 것과 같은 미디어 세션은 각각 서로 다른 미디어 형태를 포함하는, 다중 실시간 전송 프로토콜 세션을 포함할 수 있다. 그러나, 서로 다른 실시간 전송 프로토콜 스트림들 내에 동일한 미디어 스트림(예를 들면, 비디오)을 전송하는 것이 가능한데, 실시간 전송 프로토콜 스트림들은 동일한 실시간 전송 프로토콜 세션(아래의 1과 유사한) 내에 포함될 수 있거나 또는 그들 고유의 실시간 전송 프로토콜 세션들(아래의 2와 유사한) 내에 포함될 수 있다. 도 19는 2의 경우를 도시한다.
실시간 전송 프로토콜 페이로드 포맷들[9][13]은 [9][13]에서 설명된 것과 같이 오류 내성 목적을 위하여 고의로 디코딩 순서를 벗어나 전송되는 경우에 수신기에서 네트워크 추상 계층 유닛들의 디코딩 순서를 복구하도록 허용하는, 디코딩 순서 번호((decoding order number, DON)를 갖는다. 따라서, 부가적인 마커들(MKR)은 필요하지 않다. 파면 병렬 처리 서브스트림들 또는 타일들의 트랑쉬들이 인코딩 과정으로부터 이용가능하게 될 때 파면 병렬 처리 서브스트림들 또는 타일들의 트랑쉬들을 순서대로 전송하는 경우에, 그것들을 단일 디코더에 제공하기 전에 트랑쉬들의 디코딩 순서를 복구하기 위하여 디코딩 순서 번호가 또한 사용될 수 있다. 그러나 이러한 경우에 있어서, 디코딩 과정 전의 개별 탈-인터리빙 과정 때문에 디코더에서 부가적인 지연이 도입될 수 있다. 여기에 설명되는 시스템은 인코딩된 트랑쉬들을 서로 다른 파면 병렬 처리 서브스트림들 또는 타일들의 디코딩 과정에 직접적으로 제공할 수 있으며 데이터는 수신기에 도달한다. 파면 병렬 처리 서브스트림들 또는 타일들과 관련된 트랑쉬들의 식별은 슬라이스 세그먼트의 슬라이스 세그먼트 헤드 내의 슬라이스 주소 및 실시간 전송 프로토콜 헤더 내의 실시간 전송 프로토콜 시퀀스 번호에 의해 표시된 것과 같이 패킷들의 전송 순서에 의해 유래될 수 있다. 이러한 시나리오에서, 디코딩 순서 번호는 단지 하위 호환성(backward compatibility)을 위하여, 즉, 그것들이 도착할 때 디코딩 순서를 벗어나 보내진 파면 병렬 처리 서브스트림들 또는 타일들의 트랑쉬들을 디코딩하는 향상된 능력을 제공하지 않는 디코더들을 위하여 사용된다. 디코딩 순서를 벗어나 트랑쉬 데이터를 송신하는 것은 단지 파면 병렬 처리 서브스트림 및 타일들 레벨과 관련하여, 즉, 전송된 데이터 내에 적용되며, 단일 파면 병렬 처리 서브스트림 또는 타일의 트랑쉬들은 디코딩 순서로 전송되며, 서로 다른 파면 병렬 처리 서브스트림들 또는 타일들의 트랑쉬들은 인터리빙된다.
두 가지 가능한 옵션이 존재한다:
1. 모든 슬라이스 및 엔트로피 슬라이스들이 동일한 기본 스트림 내에 포함되는데, 즉, 동일한 패킷 식별자(PID)가 그러한 비디오 스트림의 모든 전송 스트림 패킷에 할당된다; 뒤의 내용에서 이러한 방법은 단일 기본 스트림 캡슐화에 언급된다.
2. 서로 다른 패킷 식별자들이 동일한 비디오 비트스트림의 슬라이스들 및 엔트로피 슬라이스들에 할당된다; 뒤의 내용에서 이러한 방법은 다중-기본 스트림 캡슐화에 언급된다.
도 11은 만일 첫 번째 옵션이 모든 기본 스트림을 위하여 동일한 패킷 식별자의 설정에 의한 더 일반적인 구조의 특별한 경우로 간주되면 두 옵션 모두에 유효하다.
단일 기본 스트림 내의 캡슐화를 위한 더 효율적인 방법이 도 12에 도시된다. 여기서, 화상 당 최대한 하나의 적응 필드가 필요하다.
다중-기본 스트림 내의 캡슐화를 위한 더 효율적인 방법이 도 13에 도시된다. 여기서, 적응 필드가 방지되며, 그 대신에 또 다른 슬라이스, 예를 들면 그 다음 화상의 병치 타일(collocated tile)이 동일한 전송 스트림 패킷 내에서 즉시 시작한다.
멀티-스레드 디코더를 표적화하는 하나의 단일 기본 스트림으로의 캡슐화를 위한 전송 디멀티플렉서의 가능한 구조가 도 14에 도시된다. 도면의 엔트로피 슬라이스는 특정 파면 병렬 처리 서브스트림 또는 타일의 데이터를 포함할 수 있다.
전송 버퍼(TB)는 전송 패킷에 속하는 데이터를 수집하고 이를 멀티플렉스 버퍼(MB)에 전달한다. 멀티플렉스 버퍼의 출력에서, 네트워크 추상 계층 유닛 헤더들이 평가되고 서브스트림 마커들이 드로핑되며, 서브스트림 마커 내에 전달된 데이터가 저장된다. 각각의 슬라이스 또는 엔트로피 슬라이스의 데이터는, 일단 디코더 스레드가 이용가능하면 멀티-스레드 디코더에 의해 당겨지는 개별 슬라이스 버퍼(SB) 내에 저장된다.
멀티-스레드 디코더를 표적화하는 다수의 기본 스트림들로의 캡슐화를 위한 전송 디멀티플렉서의 가능한 구조가 도 15에 도시된다.
다시 말하면 위에 설명된 개념들이 아래에 다시 설명된다. 따라서, 아래의 설명은 위의 설명의 부가적인 상세내용과 개별적으로 조합가능하다.
도 16은 본 발명의 일 실시 예에 따른 인코더의 일반적인 구조를 도시한다. 인코더(10)는 멀티-스레드 방식으로 또는 그렇지 않으면 단지 단일-스레드로 운영할 수 있도록 구현될 수 있다. 즉, 인코더(10)는 예를 들면, 다수의 중앙 처리 유닛 커널을 사용하여 구현될 수 있다. 바꾸어 말하면, 인코더(10)는 병렬 처리를 제공할 수 있으나, 반드시 그럴 필요는 없다. 본 발명의 코딩 개념은 병렬 처리 인코더들이 압축 효율을 위해하지(compromising) 않고 병렬 처리를 효율적으로 적용하는 것을 가능하게 한다. 병렬 처리 능력과 관련하여, 유사한 문(statement)들이 디코더를 위하여 유효하며, 이는 도 17과 관련하여 뒤에 설명된다.
인코더(10)는 비디오 인코더이나, 일반적으로 인코더(10)는 또한 화상 인코더일 수 있다. 비디오(14)의 화상(14)은 입력(16)에서 인코더(10)로 들어가는 것으로 도시된다.
인코더는 하이브리드 인코더일 수 있는데, 즉, 감산기(subtractor)와 같은, 잔여 결정기(residual determiner, 22)에 의해 획득된 것과 같은 예측 잔여(20)는 변환/탈양자화 모듈(24) 내의 이산 코사인 변환(DCT)과 같은 스펙트럼 분해와 같은 변환 및 양자화의 대상이 된다. 이에 따라 획득된 양자화된 잔여(26)는 엔트로피 코더(28) 내의 엔트로피 코딩, 주로 콘텍스트 적응 이진 산술 코딩의 대상이 된다. 디코더를 위하여 이용가능한 것과 같은 잔여의 재구성가능한 버전, 즉, 탈양자화되고 재변환된 잔여 신호(30)는 변환 및 탈양자화 모듈(31)에 의해 복구되고, 결합기(combiner, 33)에 의해 예측기(predictor, 18)의 예측 신호(32)와 결합되며, 그렇게 함으로써 화상(12)의 재구성을 야기한다. 그러나 인코더(10)는 블록 기반으로 운영된다. 따라서, 재구성된 신호(34)는 블록 경계들에서의 불연속성으로 고통받으며, 따라서 어떠한 예측기(18)가 실질적으로 인코딩된 화상들을 예측하는지를 기초로 하여 참조 화상(reference picture, 38)을 생성하기 위하여 필터(36)가 재구성된 신호(34)에 적용될 수 있다. 도 16의 쇄선에 의해 도시된 것과 같이, 그러나 예측기(18)는 또한 필터(36) 없이 직접적으로 재구성된 신호(34)를 이용하거나 또는 중간 버전을 이용할 수 있다. 화상 코딩의 경우에 있어서, 필터(36)는 제외될 수 있다.
예측기(18)는 화상(12)의 특정 블록들을 예측하기 위하여 서로 다른 예측 방식들 중에서 선택할 수 있다. 이전에 코딩된 화상들을 기초로 하여 어떠한 블록이 예측되는가에 따른 시간적 예측 방식, 동일한 화상의 이전에 코딩된 블록들을 기초로 하여 어떠한 블록이 예측되는가에 따른 공간적 예측 방식, 낮은 공간 해상도 또는 또 다른 시점(view point)에서와 같은, 낮은 계층에서 이러한 신을 나타내는 상응하는 화상을 기초로 하여 높은 공간 해상도 또는 또 다른 시점에서와 같은, 높은 계층에서의 신(scene)을 나타내는 화상의 어떠한 블록이 예측되는가에 따른 계층-간 예측 방식이 존재할 수 있다.
양자화된 잔여 데이터, 즉, 변환 계수 레벨들 및 다른 잔여 데이터뿐만 아니라, 예를 들면, 예측기(18)에 의해 결정된 것과 같은 화상(12)의 개별 블록들을 위한 예측 방식들과 예측 파라미터들을 포함하는 코딩 방식을 컴파일(compile)하기 위하여 특정 구문이 사용되며 이러한 구문 요소들은 엔트로피 코더(28)에 의한 엔트로피 코딩의 대상이 된다. 엔트로피 코더(28)에 의한 출력으로서 이에 따라 획득된 데이터 스트림은 원시 바이트 시퀀스 페이로드(40)로 불린다.
도 16의 인코더(10)의 요소들은 도 16에 도시된 것과 같이 상호연결된다.
도 17은 도 17의 인코더에 곡 맞는, 즉, 원시 바이트 시퀀스 페이로드를 디코딩할 수 있는 디코더를 도시한다. 도 17의 디코더는 일반적으로 참조 번호 (50)으로 표시되고 엔트로피 디코더(52), 재변환/탈양자화 모듈(54), 결합기(56), 필터(58) 및 예측기(predictor, 60)를 포함한다. 엔트로피 디코더(52)는 원시 바이트 시퀀스 페이로드(40)를 수신하며 잔여 신호(62) 및 코딩 파라미터들(64)을 복구하기 위하여 콘텍스트-적용 이진 산술 디코딩을 사용하여 엔트로피 디코딩을 실행한다. 재변환/탈양자화 모듈(64)은 잔여 데이터(62)를 탈양자화하고 재변환하며 이에 따라 획득된 잔여 신호를 결합기(56)에 전달한다. 결합기(56)는 또한 차례로, 예측 신호(66)와 잔여 신호(65)를 결합함으로써 결합기(56)에 의해 결정된 재구성된 신호(68)를 기초로 하는 코딩 파라미터들(64)을 사용하여 예측 신호(66)를 형성하는 예측기(60)로부터 예측 신호를 수신한다. 도 16과 관련하여 위에서 이미 설명된 것과 같이, 예측기(60)는 대안으로서 또는 부가적으로, 재구성된 신호(68)의 필터링된 버전 또는 그것의 일부 중간 버전을 사용할 수 있다. 디코더(50)의 출력(70)에서 최종적으로 재생산되고 출력되는 화상은 유사하게 조합 신호(68)의 필터링되지 않은 버전 또는 그것의 일부 필터링된 버전 상에서 결정될 수 있다.
타일 개념에 따르면, 화상(12)은 타일들로 분할되고 적어도 이러한 타일들 내의 블록들의 예측들은 공간적 예측을 위한 기본으로서, 동일한 타일과 관련된 데이터만을 사용하도록 제한된다. 이러한 측정에 의해 적어도 예측은 각각의 타일을 위하여 병렬로 개별적으로 실행될 수 있다. 단지 설명의 목적을 위하여, 도 16은 화상(12)을 9개의 타일로 분할된 것으로 도시한다. 도 16에 도시된 것과 같이 각각의 타일의 9개 블록으로의 분할은 또한 단지 바람직한 일례이다. 또한, 완전성을 위하여, 타일들을 개별적으로 코딩하는 방법은 공간적 예측(인트라 예측)에 한정되지 않을 수 있다는 것에 유의하여야 한다. 오히려, 타일의 경계들을 가로지른 각각의 타일의 코딩 파라미터들의 어떠한 예측 및 각각의 타일의 경계들을 가로질러 각각의 타일의 엔트로피 코딩에서의 콘텍스트 선택의 어떠한 의존성은 또한 동일한 타일의 데이터에만 의존하도록 제한하기 위하여 금지될 수 있다. 따라서, 디코더는 방금 언급된 운영들을 주로 타일들의 유닛 내에서 병렬로 실행할 수 있다.
일부 전송 채널을 거쳐 전송되도록 하기 위하여, 구문 요소들은 엔트로피 코더(28)에 의해 슬라이스-방식으로 엔트로피 코딩되어야만 한다. 이를 위하여, 엔트로피 코더(28)는 우선 제 1 타일의 블록들의 횡단을 갖는 타일들의 블록들을 스캔하고, 그리고 나서 타일 순서에서 그 다음 타일의 블록들보다 선행한다. 래스터 스캔 순서는 예를 들면, 각각 타일들 내의 블록들 및 타일들을 스캔하도록 사용될 수 있다. 슬라이스들은 그리고 나서 전송을 위하여 가장 작은 유닛들인 네트워크 추상 계층 유닛들로 패킹된다. 슬라이스를 엔트로피 코딩하기 전에, 엔트로피 코더(28)는 그것의 콘텍스트 적응 이진 산술 코딩 확률들, 즉, 그러한 슬라이스의 구문 요소를 산술적으로 코딩하도록 사용되는 확률들을 초기화한다. 엔트로피 디코더(52)는 동일하게 수행하는데, 즉 슬라이스 시작에서 그것의 확률들을 초기화한다. 그러나, 각각의 초기화는 엔트로피 코딩 효율에 부정적으로 영향을 미치는데 그 이유는 확률들이 다양한 콘텍스트의 실제 부호 확률 통계에 연속적으로 적용되고 따라서 콘텍스트 적응 이진 산술 코딩 확률들의 재설정이 적용된 상태로부터의 편차를 나타내기 때문이다. 통상의 지식을 가진 자들에 알려진 것과 같이, 엔트로피 코딩은 확률들은 실제 부호 확률 통계들과 일치할 때만 최적 압축에 이른다.
따라서, 본 발명의 일 실시 예에 따른 디코더는 도 18에 도시된 것과 같이 운영된다. 디코더는 단계 80에서 타일들의 트랑쉬들에서, 타일들(82) 내의 화상(12)을 설명하는 원시 바이트 시퀀스 페이로드를 수신한다. 도 18에서, 타일 순서(84) 내의 제 1 타일(82)은 바람직하게는, 각각 바람직하게는 그러한 타일 내의 블록들의 시퀀스의 서브-시퀀스를 덮는 두 개의 트랑쉬(86a 및 86b)로 절단되거나 또는 분할되도록 도시된다. 그리고 나서, 단계 82에서, 트랑쉬(86a 및 86b)들은 엔트로피 디코딩된다. 그러나, 트랑쉬들(86a 및 86b)를 엔트로피 디코딩하는데 있어서, 콘텍스트 적응 이진 산술 코딩 확률 적응이 트랑쉬 경계들을 가로질러 계속된다. 즉, 트랑쉬(86a)를 디코딩하는 동안에, 콘텍스트 적응 이진 산술 코딩 확률들이 실제 부호 통계들에 연속적으로 적용되고 트랑쉬(86a)를 엔트로피 디코딩하는 말미에서의 상태는 트랑시(86a)를 엔트로피 디코딩하기 시작할 때 적용된다. 단계 90에서, 화상(12)을 획득하기 위하여 이에 따라 엔트로피 디코딩된 원시 바이트 시퀀스 페이로드가 디코딩된다.
타일들(82) 내부에 위치되는 트랑쉬 경계들(92)을 가로질러 연속적인 콘텍스트 적응 이진 산술 코딩 확률 적응 때문에, 이러한 트랑쉬 경계들은 타일들(82)로의 화상(12)의 분할을 넘어 엔트로피 코딩 효율에 부정적으로 영향을 미치지 않는다. 다른 한편으로는, 타일 병렬 처리가 여전히 가능하다. 그밖에, 트랑쉬들을 개별적으로 전송하는 것이 가능하며, 트랑쉬들이 완전한 타일들(82)보다 작기 때문에 각각의 타일의 제 1 트랑쉬가 수신되고 엔트로피 디코딩되자마자 단계 90에서 각각의 타일의 디코딩을 시작하는 것이 가능하다.
도 16 내지 18의 설명은 주로 타일들의 사용에 관한 것이었다. 위에 설명된 것과 같이, 타일들은 화상의 공간적 분할을 야기한다. 타일들과 유사하게, 슬라이스들이 또한 화상을 공간적으로 분할한다. 따라서, 슬라이스들은 또한 병렬 인코딩/디코딩을 가능하게 하기 위한 수단이다. 타일들과 유사하게, 슬라이스들이 개별적으로 디코딩할 수 있도록 예측 등은 금지된다. 따라서, 도 16 내지 18의 설명은 또한 슬라이스들의 트랑쉬들로의 분할에 유효하다.
파면 병렬 처리를 사용할 때에도 동일하게 적용된다. 파면 병렬 처리 서브스트림들은 또한 주로 파면 병렬 처리로의, 화상(12)의 공간적 분할을 나타낸다. 타일들 및 슬라이스들과 대조적으로, 파면 병렬 처리 서브스트림들은 예측들 상에 제한들을 부과하지 않으며 파면 병렬 처리 서브스트림을 가로질러 선택들을 접촉한다.
파면 병렬 처리 서브스트림들은 도 4에 도시된 것과 같이, 최대 코딩 유닛 열들과 같은 블록 열들을 따라 확장하고, 병렬 처리를 가능하도록 하기 위하여 파면 병렬 처리 서브스트림들(도 4 참조) 중에서 정의된 것과 같은 순서로 콘텍스트 적응 이진 산술 코딩 엔트로피 코딩과 관련하여 단지 하나의 절충이 만들어지며, 첫 번째 파면 병렬 처리 서브스트림을 제외하고 각각의 파면 병렬 처리 서브스트림(92)을 위하여 콘텍스트 적응 이진 산술 코딩 확률들은 완전히 재설정되지 않고 채택되거나, 혹은 각각의 파면 병렬 처리 서브스트림을 위하여, 도 4에 도시된 것과 같이 왼쪽 면에서와 같은 화상(12)의 동일한 면에서 시작하는 최대 코딩 유닛 순서로, 그것들의 두 번째 최대 코딩 유닛까지 바로 앞의 파면 병렬 처리 서브스트림을 엔트로피 디코딩한 후에 결과로서 생기는 콘텍스트 적응 이진 산술 코딩과 동일하도록 설정된다. 따라서, 파면 병렬 처리 서브스트림들 사이의 일부 코딩 지연을 따름으로써, 이러한 파면 병렬 처리 서브스트림들(92)은 병렬로 디코딩될 수 있으며 따라서 화상(12)이 병렬로, 즉, 동시에 디코딩된 부분들은 왼쪽으로부터 오른쪽으로 경사진 방식으로 화상을 가로질러 이동하는 일종의 파면(92)을 형성한다.
즉, 도 16 내지 18의 설명을 파면 병렬 처리 서브스트림들에 전달하는데 있어서, 어떠한 파면 병렬 처리 서브스트림(92, 도 4)도 또한 각각의 파면 병렬 처리 서브스트림(92)의 내부에 이러한 트랑쉬들(98a 및 98b) 사이의 경계(100)에서 콘텍스트 적응 이진 산술 코딩 확률 적응을 방해하지 않고 트랑쉬들(98a 및 98b)로 분할될 수 있으며, 그렇게 함으로써 두 트랑쉬(98a 및 98b)의 개별 전송가능성에 기인하는 엔트로피 코딩 효율과 관련하여 불이익을 방지하고 파면 병렬 처리를 사용하는 능력을 유지하며 트랑쉬들이 완전한 파면 병렬 처리 서브스트림들(92)보다 작기 때문에 이러한 파면 병렬 처리를 일찍 시작하는 것을 가능하게 한다.
도 1 내지 15와 관련하여 위에 설명된 것과 같이, 네트워크 추상 계층 유닛들로 패킷화된 트랑쉬들을 전송하기 위한 일부 가능성이 존재한다. 그러한 트랑쉬들 또는 서브스트림들의 타일들 또는 서브스트림들 또는 슬라이스들이 각각의 서브스트림 또는 타일의 n번 째 트랑쉬를 선행하고 트랑쉬 경계들에 국한하도록 허용하는 정보를 나타내는 헤더를 갖는 산술적으로 코딩된 도메인 내의 트랑쉬들로 분할된 도 3이 참조된다. 또 다른 실시 예는 도 9에 나타내었다. 도 9에서, 타일들 또는 파면 병렬 처리 서브스트림들의 트랑쉬들로의 분할은 타일 또는 파면 병렬 처리 서브스트림 경계에서 시작하는, 즉, 타일 또는 파면 병렬 처리 서브스트림의 시작에서 시작하는 슬라이스 구조를 약간 변경함으로써 수행되었으며, 그렇게 함으로써 일반적인 콘텍스트 적응 이진 산술 코딩 확률 초기화/재설정을 야기한다. 그러나, 타일 또는 파면 병렬 처리 서브스트림의 내부에서 시작하는 트랑쉬들을 지니는 슬라이스들은 1로 설정되는 no_cabac_reset_flag를 가지며, 그렇게 함으로써 앞서 설명된 콘텍스트 적응 이진 산술 코딩 확률 적응의 지속을 야기한다.
수신 단계(80)에서 발생하는, 탈-인터리빙이 관련되는 한, 각각의 트랑쉬를 위하여 어떠한 파면 병렬 처리 서브스트림 또는 타일에 각각의 트랑쉬가 속하는지가 결정된다. 예를 들면, 현재 화상의 파면 병렬 처리 서브스트림 또는 타일의 수를 통한 라운드-로빈(round-robin) 순환과 같이 서로 다른 가능성들이 위에 설명되었다. 대안으로서, 트랑쉬들을 전송하기 위하여 슬라이스 헤더들을 사용하는 경우에, 슬라이스 헤더들은 현재 화상(12) 내의 각각의 슬라이스의 시작을 국한하도록 허용하는 표시를 포함할 수 있다.
이와 관련하여, 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들의 트랑쉬들로의 분해는 각각의 슬라이스, 파면 병렬 처리 서브스트림 또는 타일 내의 정의되는 디코딩 순서를 따라 실행되는 것으로 알려져 있는데; 즉, 각각의 슬라이스, 파면 병렬 처리 서브스트림 또는 타일 내에, 각각의 슬라이스, 파면 병렬 처리 서브스트림 또는 타일에 의해 공간적으로 덮여진 화상의 부분은 각각의 슬라이스, 파면 병렬 처리 서브스트림 또는 타일 내로 코딩되거나, 또는 그러한 디코딩 순서로 이들로부터 디코딩되며, 각각의 슬라이스, 파면 병렬 처리 서브스트림 또는 타일의 각각의 트랑쉬는 디코딩 순서를 따라 각각의 슬라이스, 파면 병렬 처리 서브스트림 또는 타일의 연속적인 부분을 덮는다. 이러한 방식에 의해, 동일한 슬라이스, 파면 병렬 처리 서브스트림 또는 타일에 속하는 트랑쉬들 중에서, 순서, 주로 코딩/디코딩의 순서가 정의되고, 각각의 트랑쉬는 그러한 순서 내에 순위(rank)를 갖는다. 화상의 파면 병렬 처리 서브스트림들 또는 타일들로의 분할이 디코더로 신호전달되기 때문에, 디코더는 분할에 대하여 알고 있다. 따라서, 각각의 트랑쉬를 예를 들면, 각각의 파면 병렬 처리 서브스트림 또는 타일과 연관시키기 위하여, 만일 각각의 트랑쉬가 각각의 트랑쉬가, 각각의 트랑쉬가 이들의 일부분인 타일/파면 병렬 처리 서브스트림의 코딩/디코딩 순서를 사용하여 연속적으로 화상을 덮는 위치 상에 시작 위치를 식별하는 시작 주소를 가지면 이는 충분할 수 있다. 예를 들면, 특정 타일 또는 파면 병렬 처리 서브스트림에 속하는 트랑쉬들 중에서의 순서도 전송 디멀티플렉서에서, 또는 시작 위치를 사용하는 디코더에 의해 재구성될 수 있다. 그러나, 재분류(resorting)를 위하여, 실시간 전송 프로토콜 전송과 관련하여 위에 설명된 것과 같이 하부 개방형 시스템 간 상호 접속(Open Systems Interconnection, OSI) 계층들의 전송 패킷 헤더들의 정보가 또한 디코딩 순서 번호, 즉 디코딩 순서 번호와 같이 사용될 수 있다. 방금 언급된 형태의 전송 디멀티플렉서는 동일한 파면 병렬 처리 서브스트림 또는 타일의 트랑쉬들의 데이터를 하나의 슬라이스 버퍼 내에 저장하고 서로 다른 파면 병렬 처리 서브스트림들 또는 타일들과 관련된 트랑쉬들의 데이터를 서로 다른 슬라이스 버퍼들 내에 저장하기 위하여 위에 논의된 전송 디멀티플렉서와 유사하게 구성될 수 있다. 위에 언급된 것과 같이, 슬라이스 구조, 즉, 슬라이스 헤더는 트랑쉬들을 전달하도록 사용될 수 있다.
그 다음에, 다시 말해서 그것들을 다시 설명하기 위하여 도 11 내지 15의 실시 예들이 참조된다. 이러한 도면들에서 설명된 것과 같이, 슬라이스들(Si)은 네트워크 추상 계층 유닛 헤더(112)를 포함하는 각각의 네트워크 추상 계층 유닛(110, 도 11 참조)을 갖는 네트워크 추상 계층 유닛들로 패킷화된다. 슬라이스들(Si)은 정상 슬라이스들 또는 도 9에 따른 트랑쉬들을 지니는 슬라이스들일 수 있다는 것을 이해하여야 한다. 따라서, 이러한 슬라이스들은 현재 화상의 하나의 파면 병렬 처리 서브스트림 또는 타일과 관련된 데이터만을, 주로 각각, i번 째 파면 병렬 처리 서브스트림 또는 타일만을 지닌다. 단편화를 거쳐, 네트워크 추상 계층 유닛들(110)은 전송 스트림 패킷들(114), 주로 그것들의 페이로드 섹션(116)을 거쳐 전송된다. 그렇게 함으로써, 각각의 네트워크 추상 계층 유닛(110)과 상응하는 슬라이스(Si)는 즉, 네트워크 추상 계층 유닛(110) 바로 다음의 슬라이스 바로 다음의 파면 병렬 처리 서브스트림 또는 타일이 속하는, i를 나타내는 각각의 서브스트림 마커(MKR)에 의해 선행된다.
서로 다른 파면 병렬 처리 서브스트림들 또는 타일들에 속하는 슬라이스들을 지니는 네트워크 추상 계층 유닛들(110)은 도 11 내지 13에 설명된 것과 같이 하나 이상의 기본 스트림(ES) 또는 동일한 기본 스트림 상에 분포될 수 있다. 위에 언급된 것과 같이, "기본 스트림"은 또한 고유의 실시간 전송 프로토콜 세션 내의 개별 실시간 전송 프로토콜 스트림을 식별할 수 있다.
도 14 및 15와 관련하여 설명된 것과 같이, 전송 디멀티플렉서는 멀티플렉스 버퍼(MB), 슬라이스 버퍼(SB) 및 전송 버퍼(TB)를 포함할 수 있다. 슬라이스 버퍼들(SB)들은 WPP 서브스트림들 또는 타일들 내의 화상의 병렬 디코딩을 허용하는 멀티-스레드 디코더(MTD)에 의해 당겨진다. 전송 버퍼(TB)는 비디오 비트 스트림의 미리 결정된 기본 스트림의 전송 스트림 패킷에 속하는 데이터를 수집하고 데이터를 멀티플렉스 버퍼(MB)에 전달하도록 구성된다. 전송 디멀티플럭서는 그리고 나서 멀티플렉스 버퍼(MB)의 출력에서 전송 스트림 패킷들로 패킷화된 네트워크 추상 계층 유닛 시퀀스의 네트워크 추상 계층 유닛들의 네트워크 추상 계층 유닛 헤더들을 평가하고, 서브스트림 마커 네트워크 추상 계층 유닛들 내에 운반된 서브스트림 마커 데이터의 저장과 함께 서브스트림 마커 네트워크 추상 계층 유닛들(MKR)을 드로핑하며, 이들의 데이터 필드가 하나의, 즉, 동일한 슬라이스 버퍼(SB) 내의 동일한 파면 병렬 처리 서브스트림 또는 타일을 식별하는 서브스트림 마커 네트워크 추상 계층 유닛들을 후속하게 하는 네트워크 추상 계층 유닛들 내의 서브스트림들 또는 타일들의 슬라이스들의 데이터, 및 이들의 데이터 필드가 서로 다른 슬라이스 버퍼들 내의 서로 다른 파면 병렬 처리 서브스트림들 또는 타일들을 식별하는 서브스트림 마커 네트워크 추상 계층 유닛들을 후속하게 하는 네트워크 추상 계층 유닛들 내의 파면 병렬 처리 서브스트림들 또는 타일들의 슬라이스들의 데이터를 저장한다. 도 15에 도시된 것과 같이, 전송 디멀티플렉서는 도 15에서 TS demux라 불리는 디멀티플렉서를 포함하며, 비디오 비트 스트림을 수신하고 비디오 비트 스트림의 전송 스트림 패킷들을 서로 다른 기본 스트림들로 분할하도록, 즉, 비디오 비트 스트림의 전송 스트림 패킷을 서로 다른 기본 스트림들에 분배하도록 구성된다. 디멀티플렉서는 각각의 기본 스트림이 다른 기본 스트림들의 전송 스트림 패킷들의 프로그램 관련 데이터(Program Associated Data, PAD)들과 다른 프로그램 관련 데이터의 전송 스트림 패킷들로 구성되도록 전송 스트림 패킷의 전송 스트림 헤더 내에 포함된 패킷 식별자들에 따라 이러한 분할 또는 분배를 실행한다.
즉, 만일 도 9의 실시 예의 의미에서 슬라이스들이 트랑쉬들과 상응하면, 각각의 WPP 서브스트림 또는 타일의 상응하는 슬라이스 버퍼(SB)가 그 안에 포함된 데이터를 갖자마자 멀티-스레드 디코더는 현재 화상의 하나 이상의 WPP 서브스트림 또는 타일을 처리하기 시작할 수 있으며, 그렇게 함으로써 지연을 감소시킨다.
장치의 맥락에서 일부 양상들이 설명되었으나, 이러한 양상들은 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 특징과 상응하는, 상응하는 방법의 설명을 나타내는 것은 자명하다. 바람직하게는, 방법 단계의 맥락에서 설명된 양상들은 또한 상응하는 장치의 상응하는 블록 또는 아이템 또는 특징의 설명을 나타낸다. 방법 단계들의 일부 또는 모두는 예를 들면, 마이크로프로세서, 프로그램가능 컴퓨터 또는 전자 회로 같은 하드웨어 장치에 의해(또는 장치를 사용하여) 실행될 수 있다. 일부 실시 예들에서, 강장 중요한 방법 단계들 중 일부 또는 그 이상이 그러한 장치에 의해 실행될 수 있다.
본 발명의 인코딩된 비트스트림은 디지털 저장 매체 상에 저장될 수 있거나 또는 무선 전송 매체 또는 인터넷과 같은 유선 전송 매체와 같은 전송 매체 상에 전송될 수 있다.
따라서 위의 내용들은 그중에서도, 타일들, 파면 병력 처리 서브스트림들, 슬라이스들 또는 엔트로피 슬라이스들 내에 구조화된 것과 같이, 새로운 고효율 비디오 코딩에 의해 제공되는 것과 같은 구조화 비디오 데이터의 저 지연 캡슐화 및 전송을 위한 방법들을 설명한다. 그중에서도 엔트로피 슬라이스들/슬라이스들/타일들/서브스트림들의 인터리빙된 전송을 통한 병렬화된 인코더-트랜스미터-수신기-디코더 환경 내의 저 지연 전송을 허용하는 기술이 제시되었다. 본 명세서의 도입부에 나타낸 애로사항을 해결하고 전송과 디코딩 시간의 지연, 즉 종단 간 지연을 최소화하기 위하여, 그중에서도 병렬 전송과 처리를 위하여 인터리빙된 엔트로피 슬라이스 전략을 위한 기술이 제시되었다.
특정 구현 필요 조건에 따라, 본 발명의 실시 예들은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 디지털 저장 매체, 예를 들면, 그 안에 저장되는 전자적으로 판독가능한 제어 신호들을 갖는, 플로피 디스크, DVD, 블루-레이, CD, RON, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 실행될 수 있으며, 이는 각각의 방법이 실행되는 것과 같이 프로그램가능 컴퓨터 시스템과 협력한다(또는 협력할 수 있다). 따라서, 디지털 저장 매체는 컴퓨터로 판독가능할 수 있다.
본 발명에 따른 일부 실시 예들은 여기에 설명된 방법들 중 어느 하나가 실행되는 것과 같이, 프로그램가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동할 때 방법들 중 어느 하나를 실행하도록 운영될 수 있다. 프로그램 코드는 예를 들면, 기계 판독가능 캐리어 상에 저장될 수 있다.
다른 실시 예들은 기계 판독가능 캐리어 상에 저장되는, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.
바꾸어 말하면, 본 발명의 일 실시 예는 따라서 컴퓨터 프로그램이 컴퓨터 상에 구동할 때, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함하는, 그 안에 기록되는 데이터 캐리어(또는 데이터 저장 매체,또는 컴퓨터 판독가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 일반적으로 유형(tangible) 및/또는 비-전이형이다.
본 발명의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들면 데이터 통신 연결, 예를 들면 인터넷을 거쳐 전송되도록 구성될 수 있다.
또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하도록 구성되거나 또는 적용되는, 처리 수단, 예를 들면 컴퓨터, 또는 프로그램가능 논리 장치를 포함한다.
또 다른 실시 예는 그 안에 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 수신기로 전송하도록(예를 들면, 전자적으로 또는 선택적으로) 구성되는 장치 또는 시스템을 포함한다. 수신기는 예를 들면, 컴퓨터, 이동 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들면, 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함한다.
일부 실시 예들에서, 여기에 설명된 방법들 중 일부 또는 모두를 실행하기 위하여 프로그램가능 논리 장치(예를 들면, 필드 프로그램가능 게이트 어레이)가 사용될 수 있다. 일부 실시 예들에서, 필드 프로그램가능 게이트 어레이는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해 실행된다.
이에 설명된 실시 예들은 단지 본 발명의 원리들을 위한 설명이다. 여기에 설명된 배치들과 상세내용들의 변형과 변경은 통상의 지식을 가진 자들에 자명할 것이라는 것을 이해할 것이다. 따라서, 본 발명은 여기에 설명된 실시 예들의 설명에 의해 표현된 특정 상세내용이 아닌 특허 청구항의 범위에 의해서만 한정되는 것으로 의도된다.
참고문헌
[1] Thomas Wiegand, Gary J. Sullivan, Gisle Bjontegaard, Ajay Luthra, "Overview of the H.264/AVC Video Coding Standard", IEEE Trans. Circuits Syst. Video Technol., vol. 13, N7, July 2003.
[2] JCTVC-E196, "Wavefront Parallel Processing", 5th JCT-VC Meeting, Geneva 2011.
[3] JCTVC-D070, "Lightweight slicing for entropy coding", 4th Meeting, Daegu, 2011.
[4] JCTVC-D073, "Periodic initialization for wavefront coding functionality", 4th Meeting, Daegu, 2011.
[5] HEVC WD5: Working Draft 5 of High-Efficiency Video Coding JTCVC-G1103, 5th JCT-VC Meeting, Geneva Meeting November 2011.
[6] JTCVC-D243, "Analysis of entropy slices approaches", 4th Meeting, Daegu, 2011.
[7] ISO/IEC 13818-1/2011, MPEG-2 Transport Stream including AMDs 1-6.
[8] IETF Real-time transport protocol, RTP RFC 3550.
[9] IETF RTP Payload Format, IETF RFC 6184.
[10] JCTVC-F275, Wavefront and Cabac Flush: Different Degrees of Parallelism Without Transcoding, Torino Meeting
[11] JCT-VC-F724, Wavefront Parallel Processing for HEVC Encoding and Decoding, Torino Meeting** at end of description
[12] IETF Session Description Protocol (SDP), RFC 4566
[13] IETF RTP Payload Format for High Efficiency Video Coding, draft-schierl-payload-h265
10 : 인코더
12 : 화상
14 : 비디오
18 : 예측기
20 : 예측 잔여
22 : 잔여 결정기
24 : 변환/탈양자화 모듈
26 : 양자화된 잔여
28 : 엔트로피 코더
30 : 잔여 신호
31 : 변환 및 탈양자화 모듈
32 : 예측 신호
33 : 결합기
34 : 재구성된 신호
36 : 필터
38 : 참조 화상
40 : 원시 바이트 시퀀스 페이로드
50 : 디코더
52 : 엔트로피 디코더
54 : 재변환/탈양자화 모듈
56 : 결합기
58 : 필터
60 : 예측기
62 : 잔여 신호
64 : 코딩 파라미터
66 : 예측 신호
68 : 재구성된 신호
82 : 타일
86a, 86b : 트랑쉬
92 : 트랑쉬 경계
92 : 파면 병렬 처리 서브스트림
98a, 98b : 트랑쉬
100 : 경계
110 : 네트워크 추상 계층 유닛
112 : 네트워크 추상 계층 유닛 헤더
114 : 전송 스트림 패킷
116 : 페이로드 섹션
300 : 패킷
302 : 헤더
304 : 마커
306 : 저 지연 특징 표시기
308 : 연속 표시기

Claims (14)

  1. 멀티플렉스 버퍼;
    파면 병렬 처리 서브스트림들 또는 타일들 내의 화상의 병렬 디코딩을 허용하는 멀티-스레드 디코더에 의해 당겨지기 위한 슬라이스 버퍼들;
    비디오 비트스트림의 미리 결정된 기본 스트림 전송 스트림 패킷에 속하는 데이터를 수집하고, 상기 데이터를 상기 멀티플렉스 버퍼로 전달하도록 구성되는 전송 버퍼;를 포함하되,
    상기 멀티플렉스 버퍼의 출력에서 전송 스트림 패킷들로 패킷화된 네트워크 추상 계층 유닛 시퀀스의 네트워크 추상 계층 유닛들의 네트워크 추상 계층 유닛 헤더들을 평가하고, 서브스트림 마커들 내에 운반된 상기 서브스트림 마커 데이터의 저장과 함께 상기 네트워크 추상 계층 유닛 시퀀스 내로 삽입된 상기 서브스트림 마커들을 드로핑하며, 이들의 데이터 필드가 하나의 슬라이스 버퍼 내의 동일한 파면 병렬 처리 서브스트림 또는 타일을 식별하는 서브스트림 마커들을 후속하게 하는 네트워크 추상 계층 유닛들 내의 서브스트림들 또는 타일들의 슬라이스들의 데이터 및 이들의 데이터 필드가 서로 다른 슬라이스 버퍼들 내의 서로 다른 파면 병렬 처리 서브스트림들 또는 타일들을 식별하는 서브스트림 마커들을 후속하게 하는 네트워크 추상 계층 유닛들 내의 파면 병렬 처리 서브스트림들 또는 타일들의 슬라이스들의 데이터를 저장하도록 구성되는 것을 특징으로 하는 전송 디멀티플렉서.
  2. 제 1항에 있어서, 상기 서브스트림 마커들은 그 안에 상기 서브스트림들 또는 타일들의 상기 슬라이스들의 데이터가 존재하는 네트워크 추상 계층 유닛들과는 다른 네트워크 추상 계층 유닛 형태를 갖는 서브스트림 마커 네트워크 추상 계층 유닛들인 것을 특징으로 하는 전송 디멀티플렉서.
  3. 제 1항 또는 2항에 있어서, 각각의 기본 스트림이 다른 기본 스트림들의 전송 스트림 패킷들의 패킷 식별자(PID)들과 다른 패킷 식별자의 전송 스트림 패킷들로 구성되도록 하기 위하여 상기 전송 스트림 패킷들의 전송 스트림 헤더들 내에 포함된 패킷 식별자들에 따라 상기 비디오 비트스트림을 수신하고 상기 비디오 비트스트림의 전송 스트림 패킷들을 서로 다른 기본 스트림들로 분할하도록 구성되는 것을 특징으로 하는 전송 디멀티플렉서.
  4. 삭제
  5. 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들 내의 화상을 기술하고 콘텍스트 적응 이진 산술 코딩을 사용하여 코딩되는 원시 바이트 시퀀스 페이로드를 포함하는 비디오 스트림을 수신하도록 구성되고, 상기 비디오 스트림은 트랑쉬 경계들을 가로질러 지속적인 콘텍스트 적응 이진 산술 코딩 확률 적응과 함께 상기 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들의 트랑쉬들로 분해되며, 각각의 트랑쉬는 각각의 상기 트랑쉬를 위하여, 각각의 상기 트랑쉬가 어떠한 파면 병렬 처리 서브스트림 또는 타일에 속하는지에 대하여 식별하는 정보를 포함하며, 상기 정보를 사용하여 상기 트랑쉬들을 상기 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들에 연관시키도록 구성되며,
    각각의 트랑쉬를 위하여, 상기 각각의 트랑쉬에 의해 포함되는 상기 정보는 상기 각각의 트랑쉬가 상기 각각의 트랑쉬가 속하는 상기 슬라이스, 파면 병렬 처리 서브스트림 또는 타일의 일부를 연속적으로 덮는 위치로부터 시작하는, 상기 화상 내의 시작 위치의 주소를 포함하는 것을 특징으로 하는 전송 디멀티플렉서.
  6. 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들 내의 화상을 기술하고 콘텍스트 적응 이진 산술 코딩을 사용하여 코딩되는 원시 바이트 시퀀스 페이로드를 포함하는 비디오 스트림을 수신하도록 구성되고, 상기 비디오 스트림은 트랑쉬 경계들을 가로질러 지속적인 콘텍스트 적응 이진 산술 코딩 확률 적응과 함께 상기 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들의 트랑쉬들로 분해되며, 각각의 트랑쉬는 각각의 상기 트랑쉬를 위하여, 각각의 상기 트랑쉬가 어떠한 파면 병렬 처리 서브스트림 또는 타일에 속하는지에 대하여 식별하는 정보를 포함하며, 상기 정보를 사용하여 상기 트랑쉬들을 상기 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들에 연관시키도록 구성되는 전송 디멀티플렉서에 있어서,
    상기 전송 디멀티플렉서는 각각의 슬라이스, 파면 병렬 처리 서브스트림 또는 타일을 위하여, 트랑쉬들이 패킹되는 패킷들의 패킷 헤더들 내에 디코딩 순서 번호를 사용하여 그것들의 상기 트랑쉬들을 정렬하도록 구성되는 것을 특징으로 하는 전송 디멀티플렉서.
  7. 전송 디멀티플렉서를 포함하는 시스템에 있어서,
    상기 디멀티플렉서는,
    멀티플렉스 버퍼;
    파면 병렬 처리 서브스트림들 또는 타일들 내의 화상의 병렬 디코딩을 허용하는 멀티-스레드 디코더에 의해 당겨지기 위한 슬라이스 버퍼들;
    비디오 비트스트림의 미리 결정된 기본 스트림 전송 스트림 패킷에 속하는 데이터를 수집하고, 상기 데이터를 상기 멀티플렉스 버퍼로 전달하도록 구성되는 전송 버퍼;를 포함하되,
    상기 멀티플렉스 버퍼의 출력에서 전송 스트림 패킷들로 패킷화된 네트워크 추상 계층 유닛 시퀀스의 네트워크 추상 계층 유닛들의 네트워크 추상 계층 유닛 헤더들을 평가하고, 서브스트림 마커들 내에 운반된 상기 서브스트림 마커 데이터의 저장과 함께 상기 네트워크 추상 계층 유닛 시퀀스 내로 삽입된 상기 서브스트림 마커들을 드로핑하며, 이들의 데이터 필드가 하나의 슬라이스 버퍼 내의 동일한 파면 병렬 처리 서브스트림 또는 타일을 식별하는 서브스트림 마커들을 후속하게 하는 네트워크 추상 계층 유닛들 내의 서브스트림들 또는 타일들의 슬라이스들의 데이터 및 이들의 데이터 필드가 서로 다른 슬라이스 버퍼들 내의 서로 다른 파면 병렬 처리 서브스트림들 또는 타일들을 식별하는 서브스트림 마커들을 후속하게 하는 네트워크 추상 계층 유닛들 내의 파면 병렬 처리 서브스트림들 또는 타일들의 슬라이스들의 데이터를 저장하도록 구성되며,

    상기 시스템은 멀티-스레드 디코더를 더 포함하며,
    상기 멀티-스레드 디코더는,
    인코더로부터 콘텍스트 적응 이진 산술 코딩을 사용하여 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들 내의 트랑쉬들로 코딩되며 슬라이스들, 파면 병렬 처리 서브스트림들 또는 타일들 내의 화상을 기술하는 원시 바이트 시퀀스 페이로드를 수신하고,
    트랑쉬 경계들을 가로질러 지속적인 콘텍스트 적응 이진 산술 코딩 확률 적응과 함께 상기 트랑쉬들을 엔트로피 디코딩하며,
    상기 화상을 얻기 위해 상기 원시 바이트 시퀀스 페이로드를 디코딩하고,
    콘텍스트 적응 이진 산술 코딩(CABAC) 확률 적응을 지속하기 위해 또는 콘텍스트 적응 이진 산술 코딩 확률을 재설정하여 콘텍스트 적응 이진 산술 코딩 확률 적응을 인터럽트하기 위해, 상기 트랑쉬들은 슬라이스 헤더들을 사용하여 패킷으로 패킷화되며, 상기 디코더는 상기 트랑쉬들을 검색하는데 있어서, 새로운 슬라이스의 수신 상에서, 새로운 슬라이스, 새로운 슬라이스의 슬라이스 형태 또는 새로운 슬라이스를 포함하는 네트워크 추상 계층(NAL) 유닛의 네트워크 추상 계층 유닛 형태의 상기 슬라이스 헤더 내의 플래그에 반응하도록 구성되는 것을 특징으로 하는 시스템.
  8. 네트워크 추상 계층 유닛 헤더들을 포함하는 네트워크 추상 계층 유닛들의 시퀀스를 전송하고, 상기 네트워크 추상 계층 유닛들의 시퀀스는 그 안에 서브스트림 마커들을 삽입하며, 상기 네트워크 추상 계층 유닛들은 이들의 데이터 필드가 동일한 서브스트림 또는 타일을 식별하는 서브스트림 마커들을 후속하게 하고, 서로 다른 서브스트림들 또는 타일들의 슬라이스들의 데이터는 이들의 데이터 필드가 서로 다른 서브스트림 또는 타일을 식별하는 서브스트림 마커들을 후속하게 하는 것을 특징으로 하는 비디오 비트스트림을 저장한 디지털 저장 매체.
  9. 멀티플렉스 버퍼, 파면 병렬 처리 서브스트림들 또는 타일들 내의 화상의 병렬 디코딩을 허용하는 멀티-스레드 디코더에 의해 당겨지도록 하기 위한 슬라이스 버퍼들, 및 비디오 비트스트림의 미리 결정된 기본 스트림의 전송 스트림 패킷에 속하는 데이터를 수집하고 상기 데이터를 상기 멀티플렉스 버퍼에 전달하도록 구성되는 전송 버퍼를 사용하여 전송 디멀티플렉싱하기 위한 방법에 있어서,
    상기 멀티플렉스 버퍼의 출력에서 상기 전송 스트림 패킷들로 패킷화된 네트워크 추상 계층 유닛 시퀀스의 네트워크 추상 계층 유닛들의 네트워크 추상 계층 유닛 헤더들을 평가하는 단계;
    서브스트림 마커 네트워크 추상 계층 유닛들 내에 운반된(지닌) 상기 서브스트림 마커의 저장과 함께 상기 서브스트림 마커 네트워크 추상 계층 유닛들을 드로핑하는 단계; 및
    이들의 데이터 필드가 하나의 슬라이스 버퍼 내의 동일한 파면 병렬 처리 서브스트림 또는 타일을 식별하는 서브스트림 마커들을 후속하게 하는 네트워크 추상 계층 유닛들 내의 서브스트림들 또는 타일들의 슬라이스들의 데이터, 및 이들의 데이터 필드가 서로 다른 슬라이스 버퍼들 내의 서로 다른 파면 병렬 처리 서브스트림 또는 타일을 식별하는 서브스트림 마커 네트워크 추상 계층 유닛들을 후속하게 하는 네트워크 추상 계층 유닛들 내의 파면 병렬 처리 서브스트림들 또는 타일들의 슬라이스들의 데이터를 저장하는 단계;를 포함하는 것을 특징으로 하는 전송 버퍼를 사용하여 전송 디멀티플렉싱하기 위한 방법.
  10. 컴퓨터 상에 구동될 때, 제 9항에 따른 방법을 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 매체.
  11. 제 1항, 제 2항, 제 5항 또는 제 6항 중 어느 한 항에 있어서,
    상기 비디오 비트스트림은 상이한 시점에 대응하는 계층들(layers)의 신(scene)을 인코딩한 것을 특징으로 하는 전송 디멀티플렉서.
  12. 제 1항, 제 2항, 제 5항 또는 제 6항 중 어느 한 항에 있어서,
    상기 비디오 비트스트림은 그 안에 상기 화상을 계층들로 인코딩한 것을 특징으로 하는 전송 디멀티플렉서.
  13. 제 8항에 있어서,
    상기 비디오 비트스트림은 상이한 시점에 대응하는 계층들의 신을 인코딩한 것을 특징으로 하는 디지털 저장 매체.
  14. 제 8항에 있어서,
    상기 비디오 비트스트림은 그 안에 화상을 계층들로 인코딩한 것을 특징으로 하는 디지털 저장 매체.
KR1020147034587A 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념 Active KR101752879B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261588849P 2012-01-20 2012-01-20
US61/588,849 2012-01-20
PCT/EP2013/051043 WO2013107906A2 (en) 2012-01-20 2013-01-21 Coding concept allowing parallel processing, transport demultiplexer and video bitstream

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147023129A Division KR101718488B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념

Related Child Applications (4)

Application Number Title Priority Date Filing Date
KR1020177017594A Division KR101863181B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020177017593A Division KR101863179B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020177017591A Division KR101862329B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020177017592A Division KR101863177B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념

Publications (2)

Publication Number Publication Date
KR20150003407A KR20150003407A (ko) 2015-01-08
KR101752879B1 true KR101752879B1 (ko) 2017-06-30

Family

ID=47594765

Family Applications (12)

Application Number Title Priority Date Filing Date
KR1020207002056A Active KR102210228B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020177017592A Active KR101863177B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020147023129A Active KR101718488B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020177017593A Active KR101863179B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020217002608A Active KR102365958B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020187014596A Active KR102070887B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020237008552A Active KR102781409B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020227005363A Active KR102510411B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020177017591A Active KR101862329B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020257007943A Pending KR20250040749A (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020177017594A Active KR101863181B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020147034587A Active KR101752879B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념

Family Applications Before (11)

Application Number Title Priority Date Filing Date
KR1020207002056A Active KR102210228B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020177017592A Active KR101863177B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020147023129A Active KR101718488B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020177017593A Active KR101863179B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020217002608A Active KR102365958B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020187014596A Active KR102070887B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020237008552A Active KR102781409B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020227005363A Active KR102510411B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020177017591A Active KR101862329B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020257007943A Pending KR20250040749A (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR1020177017594A Active KR101863181B1 (ko) 2012-01-20 2013-01-21 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념

Country Status (22)

Country Link
US (9) US9930368B2 (ko)
EP (2) EP2805491B1 (ko)
JP (6) JP2015507899A (ko)
KR (12) KR102210228B1 (ko)
CN (5) CN109729350B (ko)
AU (7) AU2013211002B2 (ko)
BR (2) BR112014017915B1 (ko)
CA (2) CA3081964A1 (ko)
CL (1) CL2014001886A1 (ko)
ES (1) ES2886119T3 (ko)
HU (1) HUE055964T2 (ko)
IL (9) IL310411B2 (ko)
IN (1) IN2014KN01699A (ko)
MX (5) MX376754B (ko)
MY (1) MY167465A (ko)
PH (5) PH12014501660B1 (ko)
RU (2) RU2610291C2 (ko)
SG (3) SG10201606621XA (ko)
TW (8) TWI804390B (ko)
UA (2) UA124569C2 (ko)
WO (1) WO2013107906A2 (ko)
ZA (1) ZA201406040B (ko)

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2972588A1 (fr) 2011-03-07 2012-09-14 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2977111A1 (fr) 2011-06-24 2012-12-28 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
KR102210228B1 (ko) * 2012-01-20 2021-02-01 지이 비디오 컴프레션, 엘엘씨 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR102489001B1 (ko) * 2012-03-22 2023-01-18 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
US20150117538A1 (en) * 2012-04-16 2015-04-30 Telefonaktiebolaget L M Ericsson (Publ) Fixed tile structure flag indicating parallel processing possibility for a sequence of compressed video
JP6080405B2 (ja) * 2012-06-29 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9621905B2 (en) * 2012-06-29 2017-04-11 Qualcomm Incorporated Tiles and wavefront parallel processing
PL4002850T3 (pl) 2012-08-09 2023-05-08 Sun Patent Trust Sposób dekodowania obrazów, sposób kodowania obrazów, urządzenie do dekodowania obrazów, urządzenie do kodowania obrazów, oraz urządzenie do kodowania/dekodowania obrazów
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
BR122015024096B1 (pt) 2013-01-04 2020-09-24 Samsung Electronics Co., Ltd. Aparelho de decodificação de vídeo
US9924165B1 (en) * 2013-07-03 2018-03-20 Ambarella, Inc. Interleaved video coding pipeline
US9628792B2 (en) 2013-07-15 2017-04-18 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
JP6445552B2 (ja) 2013-07-15 2018-12-26 ジーイー ビデオ コンプレッション エルエルシー 拡張機構を使用している層ｉｄの信号
JP6268066B2 (ja) * 2013-09-20 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
US9270999B2 (en) 2013-09-25 2016-02-23 Apple Inc. Delayed chroma processing in block processing pipelines
US9299122B2 (en) 2013-09-25 2016-03-29 Apple Inc. Neighbor context processing in block processing pipelines
US9305325B2 (en) 2013-09-25 2016-04-05 Apple Inc. Neighbor context caching in block processing pipelines
US9578372B2 (en) * 2013-09-27 2017-02-21 Cisco Technology, Inc. Delay tolerant decoder
US9596470B1 (en) 2013-09-27 2017-03-14 Ambarella, Inc. Tree-coded video compression with coupled pipelines
US9215472B2 (en) 2013-09-27 2015-12-15 Apple Inc. Parallel hardware and software block processing pipelines
US9218639B2 (en) 2013-09-27 2015-12-22 Apple Inc. Processing order in block processing pipelines
US9571846B2 (en) 2013-09-27 2017-02-14 Apple Inc. Data storage and access in block processing pipelines
US10582213B2 (en) 2013-10-14 2020-03-03 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
JP6336058B2 (ja) 2013-10-14 2018-06-06 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能
BR112016015080A2 (pt) 2014-01-03 2017-08-08 Microsoft Technology Licensing Llc Predição de vetor de bloco em codificação / decodificação de vídeo e imagem
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
WO2015122549A1 (ko) * 2014-02-12 2015-08-20 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
RU2657210C2 (ru) 2014-03-04 2018-06-08 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Зеркальное отображение блоков и режим пропуска в интра-основанном на копии блока предсказании
WO2015184067A1 (en) * 2014-05-28 2015-12-03 Arris Enterprises, Inc. Content aware scheduling in a hevc decoder operating on a multi-core processor platform
KR102780333B1 (ko) 2014-06-19 2025-03-12 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
US9807410B2 (en) 2014-07-02 2017-10-31 Apple Inc. Late-stage mode conversions in pipelined video encoders
WO2016049839A1 (en) 2014-09-30 2016-04-07 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US10027989B2 (en) * 2015-05-06 2018-07-17 Integrated Device Technology, Inc. Method and apparatus for parallel decoding
EP3308540B1 (en) 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
US10003811B2 (en) 2015-09-01 2018-06-19 Microsoft Technology Licensing, Llc Parallel processing of a video frame
US20170105010A1 (en) * 2015-10-09 2017-04-13 Microsoft Technology Licensing, Llc Receiver-side modifications for reduced video latency
US10230948B2 (en) * 2016-02-03 2019-03-12 Mediatek Inc. Video transmitting system with on-the-fly encoding and on-the-fly delivering and associated video receiving system
CN108885527B (zh) * 2016-02-19 2021-07-16 华为技术有限公司 在压力触控屏上操作多个对象的方法及装置
WO2017195267A1 (ja) * 2016-05-10 2017-11-16 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR102350620B1 (ko) * 2016-05-26 2022-01-11 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 상호작용을 하는 클라이언트를 위한 파노라마 비디오 브로드캐스트 스트리밍
CN107483950A (zh) * 2016-06-07 2017-12-15 北京大学 图片并行编码方法及系统
US20180020228A1 (en) * 2016-07-12 2018-01-18 Mediatek Inc. Video processing system with multiple syntax parsing circuits and/or multiple post decoding circuits
EP4436174A3 (en) * 2017-03-20 2024-12-25 GE Video Compression, LLC Advanced video data stream extraction and multi-resolution video transmission
WO2018207956A1 (ko) * 2017-05-10 2018-11-15 엘지전자(주) 비디오 신호를 엔트로피 인코딩, 디코딩하는 방법 및 장치
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
GB2569269B (en) 2017-10-20 2020-07-15 Graphcore Ltd Synchronization in a multi-tile processing arrangement
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
GB2569645B (en) * 2017-12-22 2022-02-23 Displaylink Uk Ltd Managing data for transportation
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US11252429B2 (en) * 2018-04-27 2022-02-15 Ati Technologies Ulc Low-latency consumption of an encoded video bitstream
JP7137008B2 (ja) 2018-06-29 2022-09-13 北京字節跳動網絡技術有限公司 １つまたは複数のルックアップテーブルを使用して、以前コーディングされた動き情報を順に記憶させてそれらを後続のブロックのコーディングに使用する概念
SG11202011714RA (en) 2018-06-29 2020-12-30 Beijing Bytedance Network Technology Co Ltd Partial/full pruning when adding a hmvp candidate to merge/amvp
CN114125450B (zh) 2018-06-29 2023-11-17 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
WO2020003270A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
TWI723443B (zh) * 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 每條帶/片/lcu行的查找表的重置
JP7256265B2 (ja) 2018-06-29 2023-04-11 北京字節跳動網絡技術有限公司 ルックアップテーブルの更新：ｆｉｆｏ、制限されたｆｉｆｏ
EP4322533A3 (en) 2018-06-29 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in lut
WO2020003269A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Selection of coded motion information for lut updating
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
EP4307679A3 (en) 2018-07-02 2024-06-19 Beijing Bytedance Network Technology Co., Ltd. Luts with intra prediction modes and intra mode prediction from non-adjacent blocks
TW202006659A (zh) * 2018-07-03 2020-02-01 財團法人工業技術研究院 點雲拼貼處理方法及裝置
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
CN111064961B (zh) 2018-09-12 2023-06-09 北京字节跳动网络技术有限公司 视频处理方法和装置
KR20240091111A (ko) 2018-09-28 2024-06-21 지티이 코포레이션 비디오 인코딩 및 디코딩 방법 및 장치
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
US11206244B2 (en) * 2018-12-21 2021-12-21 ARRIS Enterprise LLC Method to preserve video data obfuscation for video frames
WO2020143741A1 (en) 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Invoke of lut updating
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
CN113302937B (zh) 2019-01-16 2024-08-02 北京字节跳动网络技术有限公司 运动候选推导
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
US20220182681A1 (en) * 2019-03-24 2022-06-09 Lg Electronics Inc. Image or video coding based on sub-picture handling structure
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
CN118646884A (zh) 2019-05-15 2024-09-13 现代自动车株式会社 用于运动图像数据的并行编码和解码的方法
WO2020231220A1 (ko) * 2019-05-15 2020-11-19 현대자동차주식회사 동영상 데이터의 병렬 부호화 및 복호화를 위한 방법 및 장치
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
KR20220058960A (ko) 2019-09-24 2022-05-10 후아웨이 테크놀러지 컴퍼니 리미티드 다중 레이어 비디오 비트스트림의 액세스 유닛 내 혼합 irap 및 비-irap 픽처 지원
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11865434B2 (en) * 2019-10-01 2024-01-09 Sony Interactive Entertainment Inc. Reducing latency in cloud gaming applications by overlapping receive and decode of video frames and their display at the client
US11020661B2 (en) * 2019-10-01 2021-06-01 Sony Interactive Entertainment Inc. Reducing latency in cloud gaming applications by overlapping reception and decoding of video frames and their display
US11398833B2 (en) * 2019-10-02 2022-07-26 Apple Inc. Low-latency encoding using a bypass sub-stream and an entropy encoded sub-stream
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US12354358B2 (en) * 2020-06-10 2025-07-08 Nokia Technologies Oy System and signalling of video splitter and merger for parallel network based media processing
WO2021252973A1 (en) 2020-06-12 2021-12-16 Bytedance Inc. Picture header constraints for multi-layer video coding
CN111726626B (zh) * 2020-06-18 2022-05-03 格兰菲智能科技有限公司 集成电路及用于视频解码的概率表存储方法
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
TWI774233B (zh) * 2020-09-23 2022-08-11 瑞昱半導體股份有限公司 訊號傳輸系統與發射端編碼裝置
WO2022125985A1 (en) * 2020-12-10 2022-06-16 Apple Inc. Concatenation of chunked entropy streams
US11375242B1 (en) * 2021-01-27 2022-06-28 Qualcomm Incorporated Compression of bitstream indexes for parallel entropy coding
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
JP7629677B2 (ja) * 2021-04-26 2025-02-14 華為技術有限公司 並列エントロピー・コーディング
KR20230141842A (ko) 2021-04-26 2023-10-10 후아웨이 테크놀러지 컴퍼니 리미티드 산술 인코딩 및 디코딩에서의 트레일링 비트 처리
CN112995237B (zh) * 2021-05-21 2021-10-08 杭州博雅鸿图视频技术有限公司 一种用于处理视频数据流的方法、装置、设备及存储介质
KR20230022061A (ko) 2021-08-06 2023-02-14 삼성전자주식회사 디코딩 장치 및 그의 동작 방법
CN114339349B (zh) * 2021-12-10 2025-04-01 海信视像科技股份有限公司 一种显示设备、数据传输方法及存储介质
WO2023242590A1 (en) * 2022-06-16 2023-12-21 Mbda Uk Limited Method for image encoding
KR20250020913A (ko) 2023-08-04 2025-02-11 주식회사 엘지에너지솔루션 롤 맵을 저장하는 방법 및 롤 맵을 추출하는 방법
KR20250036591A (ko) 2023-09-07 2025-03-14 주식회사 엘지에너지솔루션 이차 전지 제조 시스템 및 이차 전지를 제조하는 방법
KR20250037372A (ko) 2023-09-08 2025-03-17 주식회사 엘지에너지솔루션 이차 전지 제조 시스템 및 이차 전지를 제조하는 방법

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7095783B1 (en) 1992-06-30 2006-08-22 Discovision Associates Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto
US5926205A (en) 1994-10-19 1999-07-20 Imedia Corporation Method and apparatus for encoding and formatting data representing a video program to provide multiple overlapping presentations of the video program
US6683909B1 (en) * 2000-03-16 2004-01-27 Ezenial Inc. Macroblock parsing without processing overhead
JP4480119B2 (ja) 2000-03-30 2010-06-16 キヤノン株式会社 画像処理装置及び画像処理方法
US7099387B2 (en) 2002-03-22 2006-08-29 Realnetorks, Inc. Context-adaptive VLC video transform coefficients encoding/decoding methods and apparatuses
DE10218812A1 (de) 2002-04-26 2003-11-20 Siemens Ag Generische Datenstrombeschreibung
US7016547B1 (en) 2002-06-28 2006-03-21 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
CN100553339C (zh) 2002-07-15 2009-10-21 株式会社日立制作所 动态图像解码方法
CN1871800A (zh) 2003-01-09 2006-11-29 汤姆森许可贸易公司 将mpeg传输流映射到ip分组上进行wlan广播的方法和设备
US6900748B2 (en) 2003-07-17 2005-05-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for binarization and arithmetic coding of a data value
US7688895B2 (en) * 2003-07-22 2010-03-30 Lsi Corporation Method and/or circuit for binary arithmetic decoding decisions before termination
US7558954B2 (en) 2003-10-31 2009-07-07 Hewlett-Packard Development Company, L.P. Method and apparatus for ensuring the integrity of data
JP4931034B2 (ja) * 2004-06-10 2012-05-16 株式会社ソニー・コンピュータエンタテインメント 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体
US20060002479A1 (en) 2004-06-22 2006-01-05 Fernandes Felix C A Decoder for H.264/AVC video
KR100648258B1 (ko) 2004-08-02 2006-11-23 삼성전자주식회사 고속의 디코딩을 수행하는 파이프라인 구조의 내용 기반적응적 이진 산술 디코더
US20060062312A1 (en) 2004-09-22 2006-03-23 Yen-Chi Lee Video demultiplexer and decoder with efficient data recovery
US7675872B2 (en) 2004-11-30 2010-03-09 Broadcom Corporation System, method, and apparatus for displaying pictures
DE102005025225A1 (de) 2005-06-01 2006-12-07 Sanofi-Aventis Deutschland Gmbh Verfahren zur Herstellung von 2-(2-Amino-pyrimidin-4-yl)-1H-indol-5-carbonsäure-derivaten
CN100403801C (zh) 2005-09-23 2008-07-16 联合信源数字音视频技术（北京）有限公司 一种基于上下文的自适应熵编/解码方法
RU2374786C1 (ru) * 2006-01-05 2009-11-27 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и способ декодирования видео, устройство, программа и носители данных для хранения программ
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
JP2007214998A (ja) * 2006-02-10 2007-08-23 Fuji Xerox Co Ltd 符号化装置、復号化装置、符号化方法、復号化方法、及びプログラム
US8848789B2 (en) 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
JP5715756B2 (ja) 2006-07-05 2015-05-13 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ マルチビュー・ビデオを符号化し、復号化する方法及び装置
US8275045B2 (en) 2006-07-12 2012-09-25 Qualcomm Incorporated Video compression using adaptive variable length codes
US20080040498A1 (en) 2006-08-10 2008-02-14 Nokia Corporation System and method of XML based content fragmentation for rich media streaming
US7460725B2 (en) 2006-11-09 2008-12-02 Calista Technologies, Inc. System and method for effectively encoding and decoding electronic information
JP2008141483A (ja) * 2006-12-01 2008-06-19 Brother Ind Ltd ツリー型配信システム、ノード装置、情報処理プログラム及び情報配信方法
KR100849495B1 (ko) 2006-12-04 2008-07-31 한국전자통신연구원 Ｒｔｐ 패킷화 모드별 비트율 생성 방법
CN101198051B (zh) * 2006-12-07 2011-10-05 深圳艾科创新微电子有限公司 基于h.264的熵解码器的实现方法及装置
US20080162432A1 (en) 2006-12-29 2008-07-03 Wen-Shan Wang Search table for unary k-th order exp-golomb decoder
US8428133B2 (en) 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
WO2009025357A1 (ja) * 2007-08-22 2009-02-26 Nippon Telegraph And Telephone Corporation 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体
CN100562114C (zh) 2007-08-30 2009-11-18 上海交通大学 视频解码方法与解码装置
US8938009B2 (en) 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
US7777654B2 (en) 2007-10-16 2010-08-17 Industrial Technology Research Institute System and method for context-based adaptive binary arithematic encoding and decoding
CN101170688B (zh) * 2007-11-26 2010-12-01 电子科技大学 一种宏块模式的快速选择方法
CN101925925B (zh) 2008-01-21 2013-05-01 艾利森电话股份有限公司 基于预测的图像处理
CN101933328B (zh) 2008-01-22 2014-11-19 杜比实验室特许公司 利用动态查询表更新的自适应运动信息成本估计
US8542748B2 (en) 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
US8179974B2 (en) 2008-05-02 2012-05-15 Microsoft Corporation Multi-level representation of reordered transform coefficients
JP4875024B2 (ja) * 2008-05-09 2012-02-15 株式会社東芝 画像情報伝送装置
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US7932843B2 (en) * 2008-10-17 2011-04-26 Texas Instruments Incorporated Parallel CABAC decoding for video decompression
US9467699B2 (en) * 2008-12-03 2016-10-11 Hfi Innovation Inc. Method for performing parallel coding with ordered entropy slices, and associated apparatus
CA2745314A1 (en) 2008-12-03 2010-06-10 Nokia Corporation Switching between dct coefficient coding modes
KR101063424B1 (ko) 2009-02-02 2011-09-07 주식회사 코아로직 비디오 데이터 처리 장치 및 방법
TWI387314B (zh) 2009-03-10 2013-02-21 Univ Nat Central Image processing apparatus and method thereof
CN101883280B (zh) 2009-05-07 2014-08-27 香港科技大学 一种恢复噪声的视频编解码方法和系统
JP2010278668A (ja) * 2009-05-27 2010-12-09 Sony Corp 符号化装置及び符号化方法、並びに復号装置及び復号方法
JP5369973B2 (ja) 2009-08-03 2013-12-18 日本電気株式会社 データ符号化／復号方法および装置
JP2011035681A (ja) 2009-08-03 2011-02-17 Alpine Electronics Inc 磁気結合型スピーカ
JP5212319B2 (ja) * 2009-09-08 2013-06-19 ブラザー工業株式会社 符号化装置、符号化方法、および符号化プログラム
KR101457894B1 (ko) 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
JP2011114369A (ja) 2009-11-24 2011-06-09 Mitsubishi Electric Corp 画像符号化復号装置
US20110194613A1 (en) * 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
ES2952881T3 (es) 2010-04-13 2023-11-06 Ge Video Compression Llc Codificación de mapas de significado y bloques de coeficiente de transformada
EP2559166B1 (en) 2010-04-13 2017-11-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Probability interval partioning encoder and decoder
US20130058410A1 (en) 2010-05-13 2013-03-07 Sharp Kabushiki Kaisha Encoding device, decoding device, and data structure
TWI403170B (zh) * 2010-05-21 2013-07-21 Univ Nat Chiao Tung 背景調適性二進制算術解碼裝置及其解碼方法
US20110310976A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
CA2804939C (en) 2010-07-09 2016-05-10 Samsung Electronic Co., Ltd. Method and apparatus for entropy encoding/decoding a transform coefficient
US9591320B2 (en) 2010-07-15 2017-03-07 Texas Instruments Incorporated Context and bypass encoding video
US9154801B2 (en) 2010-09-30 2015-10-06 Texas Instruments Incorporated Method and apparatus for diagonal scan and simplified coding of transform coefficients
US8344917B2 (en) * 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
US9497472B2 (en) 2010-11-16 2016-11-15 Qualcomm Incorporated Parallel context calculation in video coding
US20120163457A1 (en) * 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
JP2012147127A (ja) * 2011-01-07 2012-08-02 Sony Corp 画像処理装置および方法
CN107317586B (zh) 2011-01-14 2020-11-06 Ge视频压缩有限责任公司 熵编码设备和方法、熵解码设备和方法、及存储介质
US9106913B2 (en) 2011-03-08 2015-08-11 Qualcomm Incorporated Coding of transform coefficients for video coding
US9338449B2 (en) 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
US9370647B2 (en) 2011-07-14 2016-06-21 W. L. Gore & Associates, Inc. Expandable medical devices
MY198882A (en) * 2011-07-15 2023-10-02 Ge Video Compression Llc Sample array coding for low-delay
GB201119180D0 (en) 2011-11-07 2011-12-21 Sony Corp Data encoding and decoding
WO2013079081A1 (de) 2011-12-02 2013-06-06 Sms Logistiksysteme Gmbh Vorrichtung zum umsetzen von zu bunden gewickelten metallbändern
CN108900839B (zh) 2011-12-28 2022-05-31 夏普株式会社 图像解码装置及方法、图像编码装置及方法
KR102210228B1 (ko) 2012-01-20 2021-02-01 지이 비디오 컴프레션, 엘엘씨 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
IL308621A (en) 2012-01-20 2024-01-01 Ge Video Compression Llc transform coefficient coding
JP5547304B2 (ja) 2012-02-27 2014-07-09 シナノケンシ株式会社 圧縮機及び真空機
TWI784916B (zh) 2012-03-26 2022-11-21 日商Ｊｖｃ建伍股份有限公司 影像解碼裝置、影像解碼方法、儲存有影像解碼程式之記錄媒體、影像編碼裝置、影像編碼方法、及儲存有影像編碼程式之記錄媒體
JP2013223051A (ja) 2012-04-13 2013-10-28 Sharp Corp 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
HUE033604T2 (en) * 2012-04-13 2017-12-28 Ge Video Compression Llc Low delay picture coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Gordon Clare et al., ‘Wavefront Parallel Processing for HEVC Encoding and Decoding’, JCTVC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 6th Meeting: Torino, IT, F274, (2011.07.14.-22.)*
RADE KUTIL, ‘OPTIMIZATION OF BITSTREAM ASSEMBLY IN PARALLEL MULTIMEDIA COMPRESSION’, Scalable Computing: Practice and Experience, 2001

Also Published As

Publication number Publication date
TWI753214B (zh) 2022-01-21
IN2014KN01699A (ko) 2015-10-23
KR102781409B1 (ko) 2025-03-17
AU2017210565A1 (en) 2017-08-24
IL262644A (en) 2018-12-31
IL284595B (en) 2022-03-01
JP2022165992A (ja) 2022-11-01
TWI835639B (zh) 2024-03-11
BR112014017915B1 (pt) 2021-03-16
MX376757B (es) 2025-03-07
US20180167640A1 (en) 2018-06-14
IL262644B (en) 2019-07-31
AU2021290315A1 (en) 2022-01-27
CA2861951A1 (en) 2013-07-25
IL267776A (en) 2019-08-29
KR102210228B1 (ko) 2021-02-01
US20180167641A1 (en) 2018-06-14
JP2018198447A (ja) 2018-12-13
TWI804390B (zh) 2023-06-01
IL310411A (en) 2024-03-01
KR20230038817A (ko) 2023-03-21
AU2016202208A1 (en) 2016-05-05
TW202433929A (zh) 2024-08-16
IL310411B2 (en) 2025-02-01
KR101863179B1 (ko) 2018-05-31
AU2013211002B2 (en) 2016-01-14
RU2019102609A (ru) 2020-07-30
US11997319B2 (en) 2024-05-28
IL290402B1 (en) 2023-01-01
AU2019226180B2 (en) 2020-07-02
CN109729355B (zh) 2022-07-26
KR101862329B1 (ko) 2018-05-29
UA114618C2 (uk) 2017-07-10
AU2021290315B2 (en) 2023-08-17
TW202315404A (zh) 2023-04-01
PH12018500344A1 (en) 2018-07-09
US10880577B2 (en) 2020-12-29
JP2015507899A (ja) 2015-03-12
JP2025020160A (ja) 2025-02-12
US10880579B2 (en) 2020-12-29
CN109729357B (zh) 2022-07-26
TW201728174A (zh) 2017-08-01
RU2014134041A (ru) 2016-03-20
PH12014501660A1 (en) 2014-10-13
PH12018500345B1 (en) 2019-09-13
IL290402B2 (en) 2023-05-01
ZA201406040B (en) 2015-12-23
US20140334557A1 (en) 2014-11-13
TW202218426A (zh) 2022-05-01
AU2019226180A1 (en) 2019-09-26
RU2017103637A (ru) 2019-01-18
IL298776B2 (en) 2024-07-01
PH12018500347A1 (en) 2018-07-09
MY167465A (en) 2018-08-29
IL290402A (en) 2022-04-01
US20190124365A1 (en) 2019-04-25
KR20170078852A (ko) 2017-07-07
BR112014017915A2 (pt) 2019-10-08
KR102510411B1 (ko) 2023-03-16
US10887625B2 (en) 2021-01-05
RU2679551C2 (ru) 2019-02-11
CN109729356B (zh) 2022-07-08
UA124569C2 (uk) 2021-10-13
MX376756B (es) 2025-03-07
KR20220025288A (ko) 2022-03-03
TWI645715B (zh) 2018-12-21
US20210044835A1 (en) 2021-02-11
PH12018500346B1 (en) 2018-07-09
IL298776B1 (en) 2024-03-01
IL310411B1 (en) 2024-10-01
AU2016202208B2 (en) 2017-05-04
CN109729356A (zh) 2019-05-07
PH12014501660B1 (en) 2014-10-13
EP2805491A2 (en) 2014-11-26
PH12018500344B1 (en) 2018-07-09
WO2013107906A3 (en) 2013-09-26
EP3923578A1 (en) 2021-12-15
IL251266B (en) 2018-10-31
BR122020007529B1 (pt) 2021-09-21
EP2805491B1 (en) 2021-05-12
US20240305822A1 (en) 2024-09-12
MX2014008695A (es) 2014-11-21
PH12018500345A1 (en) 2018-07-09
US20240373071A1 (en) 2024-11-07
WO2013107906A2 (en) 2013-07-25
TW201921939A (zh) 2019-06-01
CN109729357A (zh) 2019-05-07
KR20200010606A (ko) 2020-01-30
PH12018500346A1 (en) 2018-07-09
KR102365958B1 (ko) 2022-02-23
IL284595A (en) 2021-08-31
JP7111771B2 (ja) 2022-08-02
JP2020167719A (ja) 2020-10-08
TW202510571A (zh) 2025-03-01
JP7575429B2 (ja) 2024-10-29
IL233699A0 (en) 2014-09-30
KR102070887B1 (ko) 2020-01-29
MX350507B (es) 2017-09-08
MX376754B (es) 2025-03-07
KR20150003407A (ko) 2015-01-08
JP6721638B2 (ja) 2020-07-15
CN104081781A (zh) 2014-10-01
TW202339503A (zh) 2023-10-01
TWI860940B (zh) 2024-11-01
US10873766B2 (en) 2020-12-22
CN109729350A (zh) 2019-05-07
KR20210012066A (ko) 2021-02-02
PH12018500347B1 (en) 2019-09-20
KR20250040749A (ko) 2025-03-24
KR20170078850A (ko) 2017-07-07
IL267776B (en) 2021-07-29
RU2019102609A3 (ko) 2021-11-23
CN109729355A (zh) 2019-05-07
IL233699A (en) 2017-04-30
AU2020244429B2 (en) 2021-09-30
TWI882914B (zh) 2025-05-01
HK1204182A1 (en) 2015-11-06
HUE055964T2 (hu) 2022-01-28
SG10201606621XA (en) 2016-09-29
SG10202001107WA (en) 2020-04-29
CN104081781B (zh) 2018-11-02
US20190306537A1 (en) 2019-10-03
AU2023266237A1 (en) 2024-02-08
CA3081964A1 (en) 2013-07-25
US9930368B2 (en) 2018-03-27
US10880578B2 (en) 2020-12-29
ES2886119T3 (es) 2021-12-16
JP6808341B2 (ja) 2021-01-06
IL251266A0 (en) 2017-05-29
AU2013211002A1 (en) 2014-09-18
CL2014001886A1 (es) 2014-11-21
RU2017103637A3 (ko) 2019-01-18
TWI559744B (zh) 2016-11-21
KR101863177B1 (ko) 2018-05-31
KR20180059571A (ko) 2018-06-04
JP2016158267A (ja) 2016-09-01
AU2020244429A1 (en) 2020-10-29
SG11201404251QA (en) 2014-08-28
IL298776A (en) 2023-02-01
KR101863181B1 (ko) 2018-05-31
MX378216B (es) 2025-03-10
KR20170077295A (ko) 2017-07-05
TWI775701B (zh) 2022-08-21
CN109729350B (zh) 2023-04-07
KR20140131926A (ko) 2014-11-14
KR101718488B1 (ko) 2017-03-21
US12375716B2 (en) 2025-07-29
RU2610291C2 (ru) 2017-02-08
IL315382A (en) 2024-11-01
AU2017210565B2 (en) 2019-06-20
CA2861951C (en) 2020-08-11
KR20170078851A (ko) 2017-07-07
US20190124364A1 (en) 2019-04-25
TW201336314A (zh) 2013-09-01

Similar Documents

Publication Publication Date Title
AU2021290315B2 (en) Coding concept allowing parallel processing, transport demultiplexer and video bitstream
HK40064575A (en) Coding concept allowing parallel processing, transport demultiplexer and video bitstream

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20141209

Application number text: 1020147023129

Filing date: 20140819

PA0201 Request for examination
PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20150729

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151102

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20160722

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170328

A107 Divisional application of patent
GRNT Written decision to grant
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20170626

Application number text: 1020147023129

Filing date: 20140819

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170626

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170627

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210525

Start annual number: 5

End annual number: 5

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载