+

KR102722939B1 - 파티션 기반 인트라 코딩 개념 - Google Patents

파티션 기반 인트라 코딩 개념 Download PDF

Info

Publication number
KR102722939B1
KR102722939B1 KR1020237006368A KR20237006368A KR102722939B1 KR 102722939 B1 KR102722939 B1 KR 102722939B1 KR 1020237006368 A KR1020237006368 A KR 1020237006368A KR 20237006368 A KR20237006368 A KR 20237006368A KR 102722939 B1 KR102722939 B1 KR 102722939B1
Authority
KR
South Korea
Prior art keywords
partition
current
block
coded
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020237006368A
Other languages
English (en)
Other versions
KR20230030054A (ko
Inventor
산티아고 드 루산 에르난데스
하이코 슈바르츠
데트레브 마르페
토마스 비간트
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority to KR1020247035398A priority Critical patent/KR20240159015A/ko
Publication of KR20230030054A publication Critical patent/KR20230030054A/ko
Application granted granted Critical
Publication of KR102722939B1 publication Critical patent/KR102722939B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Seasonings (AREA)

Abstract

인트라 예측 코딩 개념을 제공하여 픽처의 블록 기반 코딩을 보다 효과적으로 제공할 수 있는데, 이에 따르면, 픽처의 특정 블록은 2보다 큰 파티션의 수를 갖는 특정 차원을 따라 미리 결정된 블록을 파티션으로 파티셔닝함으로써 특정 인트라 코딩 모드를 사용하여 인트라 예측 코딩되고/되거나, 파티션은 특정 차원을 따라 하나의 샘플 너비이고, 파티션은 재구성 목적을 위해 특정 블록에 대해 시그널링된 인트라 예측 코딩 모드를 사용하여 순차적으로 공간 예측을 거친 후 예측 잔차를 사용하여 이렇게 획득된 예측자를 수정하여, 이전 파티션의 경우 다음 파티션을 처리한 다음 현재 파티션을 처리할 때 디코더에서 샘플의 재구성을 사용할 수 있다. 파티셔닝과 관련된 시그널링 오버헤드는 생략되거나 낮게 유지될 수 있다. 파티셔닝을 통해 데이터 스트림에서 인트라 예측 모드가 시그널링되는 미리 결정된 블록의 시그널링 오버헤드를 낮게 유지할 수 있으며, 그럼에도 불구하고 이미 재구성/인코딩된 인접한 참조 샘플에서 미리 결정된 블록의 샘플들의 평균 거리를 낮출 수 있는 기회를 인코더 및 디코더에 제공한다. 후자는 적어도 부분적으로 미리 결정된 블록 자체 내에, 즉 그들이 위치하는 파티션에 사용되는 예측자의 수정에 이용 가능하도록 예측 잔차가 이미 결정된 이전에 처리된 파티션 내에 있다.

Description

파티션 기반 인트라 코딩 개념{PARTITION-BASED INTRA CODING CONCEPT}
본 출원은 예를 들어 하이브리드 비디오 코덱과 같은 블록 기반 코덱에서 사용하기 위한 인트라 코딩 개념에 관한 것이다.
어떤 블록이 주어지면, 인트라 예측은 특정 패턴, 즉 33개의 각 모드와 DC 및 평면 모드에 따라 인접한 블록의 디코딩된 경계 샘플을 외삽함으로써 HEVC에서 수행된다 [1]. 그런 다음 레이트 왜곡 비용을 최소화하는 하나의 인트라 예측 모드가 디코더에 시그널링된다. 많은 인트라 예측 모드(Intra Prediction Mode, IPM)를 지원하는 알려진 코덱에도 불구하고,이를 통해 달성된 인트라 예측은 더 높은 코딩 효율성으로 이어지는 더 나은 인트라 예측자를 찾기 위한 개발 대상이다. 이것은 HEVC뿐만 아니라 인트라 예측을 사용하는 다른 블록 기반 코덱에도 적용된다. 블록 내부를 효율적으로 코딩하기에 적합한 인트라 예측 모드 세트를 찾기 위해서는 시그널링 오버헤드 측면에서 인트라 예측 모드를 시그널링하기 위한 오버헤드 및 보다 정확한 예측자가 예측 잔차를 감소시키기 때문에 이러한 내부 예측 모드에서 획득한 예측자의 결과 품질을 고려해야 하며, 그렇게 함으로써 예측 잔차를 코딩하는 것과 관련된 시그널링 오버헤드를 감소시킨다. 인트라 예측 모드와 관련된 시그널링 오버헤드를 낮게 유지하기 위해, 인트라 예측 블록은 커야 하는데, 즉 인트라 예측 모드가 시그널링되는 입도는 거칠게(coarse) 유지되어야 하고, 반면에, 더 큰 블록의 공간 예측은 이 블록에 인접한 이미 디코딩/인코딩된 샘플, 즉 참조 샘플에 대한 인트라 예측 블록의 내부, 즉 예측할 샘플의 평균 샘플 거리가 더 높기 때문에 정확도가 떨어지는 경향이 있다. HEVC는 변환 잔차 블록이 코딩 단위(coding unit)가 멀티 트리 세분화에 의해 세분화되는 리프 블록을 형성하는 해당 코딩 단위의 인트라 예측 모드를 변환 잔차 블록이 상속하도록 허용함으로써 이 곤경을 약간 완화한다. 그러나, 이것은 인코더로부터 디코더로의 시그널링을 위한 시그널링 오버헤드를 필요로 하며, 각각의 인트라 코딩된 코딩 단위의 하위 파티션을 변환 블록으로 파티셔닝한다.
따라서, 인트라 코딩의 코딩 효율을 더욱 증가시키는 개념을 가지고 있는 것이 유리할 것이다.
따라서 본 발명의 목적은 보다 효율적인 인트라 코딩 개념을 제공하는 것이다.
이 목적은 본 출원의 독립 청구항의 주제에 의해 달성된다.
본 발명은 다음과 같은 발견을 기반으로 한다: 인트라 예측 코딩 개념을 제공하여 픽처의 블록 기반 코딩을 보다 효과적으로 제공할 수 있는데, 상기 개념에 따르면, 픽처의 특정 블록은 2보다 큰 파티션의 수를 갖는 특정 차원을 따라 미리 결정된 블록을 파티션으로 파티셔닝함으로써 특정 인트라 코딩 모드를 사용하여 인트라 예측 코딩되고/되거나, 파티션은 특정 차원을 따라 하나의 샘플 너비이고, 파티션은 재구성 목적을 위해 특정 블록에 대해 시그널링된 인트라 예측 코딩 모드를 사용하여 순차적으로 공간 예측을 거친 후 예측 잔차를 사용하여 이렇게 획득된 예측자를 수정하여, 이전 파티션의 경우 다음 파티션을 처리한 다음 현재 파티션을 처리할 때 디코더에서 샘플의 재구성을 사용할 수 있다. 파티셔닝과 관련된 시그널링 오버헤드는 생략되거나 낮게 유지될 수 있다. 예를 들어, 파티션 차원에 대한 시그널링은 수직축을 따라 파티셔닝하여 미리 결정된 블록을 미리 결정된 블록의 폭을 갖는 미리 결정된 블록의 수평 슬라이스로의 파티셔닝과, 수평축을 따라 파티셔닝하여 미리 결정된 블록을 미리 결정된 블록의 높이를 갖는 미리 결정된 블록의 수직 슬라이스로의 파티셔닝을 구별하는 것과 같이 데이터 스트림에서 소비될 수 있다. 파티션의 수는 예를 들어 인코더와 디코더 사이에 합의된 파티션의 수를 가지게 함으로써, 또는 미리 결정된 블록이 미리 결정된 차원을 따라 샘플 단위로 차원화되는 만큼의 파티션으로 미리 결정된 블록을 파티셔닝함으로써 본질적으로 명확할 수 있으며, 인코더와 디코더는 미리 결정된 블록을 이 파티션의 수로 파티셔닝되어, 각각의 파티션은 파티션 차원을 따라 하나의 샘플 너비이다, 즉 하나의 샘플 너비 파티션으로 파티셔닝한다. 따라서, 파티셔닝을 통해 데이터 스트림에서 인트라 예측 모드가 시그널링되는 미리 결정된 블록의 시그널링 오버헤드를 낮게 유지할 수 있으며, 그럼에도 불구하고 이미 재구성/인코딩된 인접한 참조 샘플에서 미리 결정된 블록의 샘플들의 평균 거리를 낮출 수 있는 기회를 인코더 및 디코더에 제공한다. 후자는 적어도 부분적으로 미리 결정된 블록 자체 내에, 즉 그들이 위치하는 파티션에 사용되는 예측자의 수정에 이용 가능하도록 예측 잔차가 이미 결정된 이전에 처리된 파티션 내에 있다.
본 발명의 유리한 양태는 종속항의 주제이다. 본 출원의 바람직한 실시예는 도면과 관련하여 하에서 설명되며:
도 1은 본 출원의 실시예들에 따른 인트라 예측 개념이 구현될 수 있는 인코더에 대한 예로서 픽처를 예측 코딩하기 위한 장치의 블록도를 도시한다;
도 2는 본 출원의 실시예들에 따른 인트라 예측 개념이 구현될 수 있는 디코더의 예로서, 도 1의 장치에 적합한 픽처를 예측 디코딩하기 위한 장치의 블록도를 도시한다;
도 3은 각각 코딩 모드 선택, 변환 선택 및 변환 성능을 위한 세분화 설정 가능성을 설명하기 위해 예측 잔차 신호, 예측 신호, 및 재구성된 신호 사이의 관계에 대한 예를 나타내는 개략도를 도시한다;
도 4는 상이한 파티셔닝 차원, 즉 수평 및 수직 파티셔닝 사이의 선택을 허용하는 실시예에 따른 인트라 코딩된 블록의 파티셔닝 처리를 예시하는 개략도를 도시한다;
도 5는 파티셔닝 옵션에 따라 처리되는 인트라 코딩된 블록의 파티셔닝의 순차적 처리를 나타내는 개략도를 도시한다;
도 6은 파티션에 대한 충전 프로세스의 예측된 도출을 설명하는 개략도를 도시한다;
도 7은 인트라 예측 블록과 관련된 인트라 예측 모드에서 파티션 순서의 의존적 결정을 제공할 가능성을 설명하기 위해, 각각 수평 및 수직 파티셔닝 모드에 따라 파티셔닝된 파티셔닝된 인트라 예측 블록에 대한 예를 나타내며, 각각 연관된 2개의 다른 인트라 예측 모드를 갖는다;
도 8은 파티션 옵션을 사용하여 처리된 인트라 예측된 블록(80)에 대해 소비된 가능한 시그널링을 예시하는 개략도를 도시한다;
도 9는 일 실시예에 따라 파티션의 예측 잔차를 송신하는 가능한 방법을 예시하는 개략도를 도시한다;
도 10은 정상 인트라 예측 모드보다 더 나아지지 않을 것이 분명한 경우 테스트를 중단할 수 있도록 인트라 예측 모드의 파티셔닝과 관련된 코딩 비용에 대한 부분 합계 결정을 설명하는 개략도를 도시한다;
도 11은 일 실시예에 따른 파티션 모드 테스트를 수행하기 위한 인코더의 모드 또는 동작의 흐름도를 도시한다; 그리고
도 12a 및 도 12b는 인트라 코딩된 블록의 대안적인 파티셔닝에 대한 예를 도시하며 추가 실시예로서 도 12a 및 예시적인 비교 실시예로서 도 12b를 도시한다.
도면의 다음 설명은 인트라 예측 코덱에 대한 실시예가 내장되어 있을 수 있는 코딩 프레임워크에 대한 예를 형성하기 위해 비디오의 픽처를 코딩하기 위한 블록 기반 예측 코덱의 인코더 및 디코더에 대한 설명으로 시작한다. 이전의 인코더 및 디코더는 도 1 내지 도 3과 관련하여 설명된다. 이하, 본 출원의 인트라 예측 개념의 실시예에 대한 설명이 이러한 개념이 각각 도 1 및 도 2의 인코더 및 디코더에 구축될 수 있는 방법에 대한 설명과 함께 제공되며, 이후의 도 4 및 다음에서 설명되는 실시예는 도 1 및 2의 인코더 및 디코더의 기본이 되는 코딩 프레임워크에 따라 작동하지 않는 인코더 및 디코더를 형성하는 데에도 사용될 수 있다.
도 1은 예시적으로 변환 기반 잔차 코딩을 사용하여 픽처(12)를 데이터 스트림(14)으로 예측 코딩하기 위한 장치를 도시한다. 장치 또는 인코더는 참조 부호 10을 사용하여 표시된다. 도 2는 대응하는 디코더(20), 즉 변환 기반 잔차 디코딩을 사용하여 데이터 스트림(14)으로부터 픽처(12')를 예측적으로 디코딩하도록 구성된 장치(20)를 도시하며, 여기서 아포스트로피(apostrophe)는 디코더(20)에 의해 재구성된 픽처(12')가 예측 잔차 신호의 양자화에 의해 도입된 코딩 손실 측면에서 장치(10)에 의해 원래 인코딩된 픽처(12)로부터 벗어남을 나타내기 위해 사용되었다. 도 1 및 도 2는 본 출원의 실시예가 이러한 종류의 예측 잔차 코딩에 제한되지 않지만, 변환 기반 예측 잔차 코딩을 예시적으로 사용한다. 이는 이후에 설명되는 것처럼 도 1 및 2와 관련하여 설명된 다른 세부 사항에 대해서도 마찬가지이다.
인코더(10)는 예측 잔차 신호를 공간-스펙트럼 변환하고, 그 다음에 획득된 예측 잔차 신호를 데이터 스트림(14)으로 인코딩하도록 구성된다. 마찬가지로, 디코더(20)는 데이터 스트림(14)으로부터의 예측 잔차 신호를 디코딩하고, 이렇게 획득된 예측 잔차 신호를 스펙트럼-공간 변환하도록 구성된다.
내부적으로, 인코더(10)는 원래의 신호, 즉 픽처(12)으로부터 예측 신호(26)의 편차를 측정하기 위해 예측 잔차 신호(24)를 생성하는 예측 잔차 신호 형성기(22)를 포함할 수 있다. 예측 잔차 신호 형성기(22)는 예를 들어 원래의 신호, 즉 픽처(12)로부터 예측 신호를 감산하는 감산기일 수 있다. 인코더(10)는 그 다음에 예측 잔차 신호(24)가 공간-스펙트럼 변환되게 하여 스펙트럼 도메인 예측 잔차 신호(24')를 획득하는 변환기(28)를 더 포함하며, 스펙트럼 도메인 예측 잔차 신호(24')는 그 다음에 역시 인코더(10)에 포함된 양자화기(32)에 의해 양자화된다. 이렇게 양자화된 예측 잔차 신호(24")는 비트스트림(14)으로 코딩된다. 이를 위해, 인코더(10)는 선택적으로 엔트로피 코더(34)를 포함할 수 있으며, 엔트로피 코더(34)는 변환 및 양자화된 예측 잔차 신호를 데이터 스트림(14)으로 엔트로피 코딩한다. 예측 잔차(26)는 데이터 스트림(14)으로 디코딩되고 데이터 스트림(14)으로부터 디코딩 가능한 예측 잔차 신호(24")에 기초하여 인코더(10)의 예측 스테이지(36)에 의해 생성된다. 이를 위해, 도 1에 도시된 바와 같이, 예측 스테이지(36)는 내부적으로 양자화해제기(38)를 포함하며, 양자화해제기(38)는 예측 잔차 신호(24'')를 양자화해제하여 스펙트럼 도메인 예측 잔차 신호(24''')를 얻고, 스펙트럼 도메인 예측 잔차 신호(24''')는 양자화 손실을 제외하고 신호(24')에 대응하고, 양자화해제기에 뒤이어 역변환기(40)가 오며, 역변환기(40)은 후자의 예측 잔차 신호(24''')를 역변환되게 하여, 즉 스펙트럼-공간 변환하여, 예측 잔차 신호(24'''')를 획득하고, 예측 잔차 신호(24'''')는 양자화 손실을 제외하고 원래의 예측 잔차 신호(24)에 대응한다. 그 다음, 예측 스테이지(36)의 결합기(42)는 예컨대 예측 신호(26) 및 예측 잔차 신호(24'''')를 가산함으로써 재결합하여 재구성된 신호(46), 즉 원래의 신호(12)의 재구성을 획득한다. 재구성된 신호(46)는 신호(12')에 대응할 수 있다. 예측 스테이지(36)의 예측 모듈(44)은 예를 들어 공간 예측, 즉 인트라 예측 및/또는 시간적 예측, 즉 인터 예측을 사용하여 신호(46)에 기초하여 예측 신호(26)를 생성한다.
마찬가지로, 디코더(20)는 내부적으로 예측 스테이지(36)에 대응하는 구성 요소로 구성되며, 예측 스테이지(36)에 대응하는 방식으로 상호 접속될 수 있다. 특히, 디코더(20)의 엔트로피 디코더(50)는 데이터 스트림으로부터 양자화된 스펙트럼 도메인 예측 잔차 신호(24'')를 엔트로피 디코딩할 수 있으며, 예측 스테이지(36)의 모듈과 관련하여 전술한 방식으로 상호 접속되고 협력하는 양자화해제기(52), 역변환기(54), 결합기(56), 및 예측 모듈(58)은 예측 잔차 신호(24'')에 기초하여 재구성된 신호를 복원하고, 도 2에 도시된 바와 같이, 결합기(56)의 출력은 재구성된 신호, 즉 픽처(12')이다.
상기에서 구체적으로 기술되지는 않았지만, 인코더(10)가 예를 들어 어떤 레이트 및 왜곡 관련 기준을 최적화하는 방식과 같은 몇몇 최적화 체계에 따라, 예를 들어, 예측 모드, 모션 파라미터 등을 포함하는 일부 코딩 파라미터를 설정할 수 있음이 명백하다. 예를 들어, 인코더(10) 및 디코더(20) 및 대응하는 모듈(44, 58) 각각은 인트라 코딩 모드 및 인터 코딩 모드와 같은 상이한 예측 모드를 지원할 수 있다. 인코더 및 디코더가 이들 예측 모드 유형들 사이에서 전환하는 입도는 각각 픽처 블록(12 및 12')의 코딩 세그먼트 또는 코딩 블록으로의 세분에 대응할 수 있다. 예를 들어, 이러한 코딩 세그먼트의 단위로, 픽처는 인트라 코딩된 블록 및 인터 코딩된 블록으로 세분될 수 있다. 인트라 코딩된 블록은 아래에 더 자세히 설명된 것처럼 각각의 블록의 공간적이고 이미 코딩/디코딩된 이웃을 기반으로 예측된다. 몇몇 인트라 코딩 모드가 존재할 수도 있고, 방향성 인트라 코딩 모드를 포함하는 각각의 인트라 코딩된 세그먼트에 대해 선택될 수 있으며, 방향성 인트라 코딩 모드에 따라, 각각의 방향성 인트라 코딩 모드에 대해 특정한 특정 방향을 따라 이웃의 샘플 값을 각각의 인트라 코딩된 세그먼트로 외삽하여 각각의 세그먼트가 채워진다. 인트라 코딩 모드는 또한 각각의 인트라 코딩된 블록에 대한 예측은 각각의 인트라 코딩된 블록 내의 모든 샘플에 DC 값을 할당하는 DC 코딩 모드, 및/또는 각각의 블록의 예측은 인접한 샘플을 기반으로 한 2차원 선형 함수에 의해 정의된 평면의 기울기 및 오프셋을 구동하는 각각의 인트라 코딩된 세그먼트의 샘플 위치에 대해 2차원 선형 함수에 의해 설명된 샘플 값의 공간 분포인 것으로 추정되거나 결정되는 평면 인트라 코딩 모드와 같은 하나 이상의 추가 모드를 포함할 수 있다. 와 비교하여, 인터 코딩된 블록은 예를 들어 시간적으로 예측될 수 있다. 인터 코딩된 블록에 대해, 모션 벡터가 데이터 스트림 내에서 시그널링될 수 있으며, 모션 벡터들은 픽처(12)이 속하는 비디오의 이전에 코딩된 픽처의 부분의 공간적 변위를 나타내며, 여기서 이전에 코딩된/디코딩된 픽처는 각각의 인터 코딩된 블록에 대한 예측 신호를 획득하기 위해 샘플링된다. 이는 양자화된 스펙트럼 도메인 예측 잔차 신호(24'')를 나타내는 엔트로피 코딩된 변환 계수 레벨과 같은 데이터 스트림(14)에 의해 포함된 잔차 신호 코딩에 더해, 데이터 스트림(14)이 코딩 모드를 다양한 블록을 할당하기 위한 인코딩된 코딩 모드 파라미터, 인터 코딩된 세그먼트에 대한 모션 파라미터와 같은 블록 중 일부에 대한 예측 파라미터, 및 각각 픽처(12 및 12')의 세분을 제어하고 시그널링하는 파라미터와 같은 선택적인 추가적 파라미터를 세그먼트로 가질 수 있다. 디코더(20)는 이들 파라미터를 사용하여 인코더와 동일한 방식으로 픽처를 세분하고, 동일한 예측 모드를 세그먼트에 할당하고, 동일한 예측을 수행하여 동일한 예측 신호를 얻는다.
도 3은 한편으로는 재구성된 신호, 즉 재구성된 픽처(12')과, 다른 한편으로는 데이터 스트림에서 시그널링된 예측 잔차 신호(24''')와 예측 신호(26)의 조합을 도시한다. 이미 위에서 언급한 바와 같이, 그 조합은 추가일 수 있다. 예측 신호(26)는도 3에 예시적으로 해칭을 사용하여 도시된 인트라 코딩된 블록으로의 픽처 영역과 예시적으로 해칭을 사용하지 않고 도시된 인터 코딩된 블록으로의 세분으로서 도시된다. 세분은 임의의 세분, 예컨대 블록 또는 블록의 행 및 열로의 픽처 영역의 규칙적인 세분, 또는 쿼드 트리 세분 등과 같은 가변 크기의 리프 블록으로의 픽처(12)의 멀티 트리 세분으로의 세분일 수 있으며, 여기서 픽처 영역은 우선 트리 루트 블록의 행과 열로 세분되며, 트리 루트 블록은 그 다음에 재귀적 멀티 트리 세분에 따라 더 세분된다. 다시, 데이터 스트림(14)은 인트라 코딩된 블록(80)에 대해 인트라 코딩된 모드를 가질 수 있으며, 인트라 코딩된 블록(80)는 몇몇 인트라 코딩된 모드들 중 하나를 각각의 인트라 코딩된 블록에 할당한다. 자세한 내용은 아래에 설명되어 있다. 인터 코딩된 블록(82)에 있어서, 데이터 스트림(14)은 그 안에 코딩된 하나 이상의 모션 파라미터를 가질 수 있다. 일반적으로 말하면, 인터 코딩된 블록(82)은 시간적으로 코딩되는 것에 제한되지 않는다. 대안적으로, 인터 코딩된 블록(82)은 예를 들어 픽처(12)이 속하는 비디오의 이전에 코딩된 픽처, 또는 인코더 및 디코더가 각각 스케일링 가능한 인코더 및 디코더일 경우 픽처(12)이 속하는 픽처 뷰의 다른 픽처 또는 계층적 하위 픽처와 같이 현재 픽처(12) 자체를 넘어 이전에 코딩된 부분으로부터 예측된 임의의 블록일 수 있다. 도 3의 예측 잔차 신호(24'''')는 또한 픽처 영역을 블록(84)으로 세분하는 것으로 도시되어 있다. 이러한 블록은 코딩 블록(80 및 82)과 동일한 것을 구별하기 위해 변환 블록이라고 불릴 수 있다. 사실상, 도 3은 인코더(10) 및 디코더(20)가 각각 픽처(12) 및 픽처(12')가 블록으로의, 2개의 상이한 세분, 즉 각각 코딩 블록(80 및 82)로 세분하고 블록(84)로 다른 세분은 블록(84)으로의 세분을 사용할 수 있음을 도시한다. 세분 양자 모두는 동일할 수 있다, 즉 각각의 코딩 블록(80 및 82)는 변환 블록(84)를 동시에 형성할 수 있다, 그러나 도 3은 예를 들어 블록(80 및 82)의 2개의 블록 사이의 임의의 경계가 2개의 블록(84) 사이의 경계에 중첩하도록 변환 블록(84)으로의 세분이 코딩 블록(80/82)로의 세분의 확장을 형성하는 경우, 또는 달리 말하면, 각각의 블록(80/82)이 변환 블록(84) 중 하나와 일치하거나 변환 블록(84)의 클러스터와 일치하는 경우를 도시한다. 그러나, 세분은 또한 서로 독립적으로 결정되거나 선택될 수 있어서, 변환 블록(84)은 대안적으로 블록(80/82) 사이의 블록 경계를 횡단할(traverse) 수 있다. 변환 블록(84) 로의 세분에 관한 한, 블록(80/82)으로의 세분과 관련하여 앞서 제시된 것과 유사하다, 즉 블록(84)은 재귀적인 멀티 트리의 결과가 픽처 영역을 세분하는, 픽처 영역을 행 및 열로 배열된 블록 /블록, 또는 그의 조합이나 임의의 다른 종류의 블록으로 규칙적으로 세분한 결과일 수 있다. 마찬가지로, 블록(80, 82, 및 84)은 2차, 직사각형, 또는 임의의 다른 형상으로 제한되지 않음에 유의한다.
도 3은 예측 신호(26)와 예측 잔차 신호(24'''')의 조합이 재구성된 신호(12')를 직접 도출하는 것을 도시한다. 그러나, 대안적인 실시예에 따르면 하나를 초과하는 예측 신호(26)가 예측 잔차 신호(24'''')와 결합되어 픽처(12')를 생성할 수 있음에 있음에 유의해야 한다.
도 3에서, 변환 세그먼트(84)는 이하의 의미를 가질 수 있다. 변환기(28) 및 역변환기(54)는 이들 변환 세그먼트(84) 단위로 변환을 수행한다. 예를 들어, 많은 코덱은 모든 변환 블록(84)에 대해 일종의 DST 또는 DCT를 사용할 수 있다. 일부 코덱은 변환 세그먼트(84)의 일부에 대해 예측 잔차 신호가 공간 도메인에서 직접 코딩되도록 변환을 스킵할 수 있게 한다. 그러나, 후술되는 실시예에 따르면, 인코더(10) 및 디코더(20)는 몇몇 변환을 지원하는 방식으로 구성된다. 예를 들어, 인코더(10) 및 디코더(20c)에 의해 지원되는 변환은 다음을 포함할 수 있다:
° DCT-II(또는 DCT-III), 여기서 DCT는 Discrete Cosine Transform을 의미함
° DST-IV, 여기서 DST는 Discrete Sine Transform을 의미함
° DCT-IV
° DST-VII
° 항등 변환(Identity Transformation, IT)
당연히, 변환기(28)는 이들 변환의 모든 순방향 변환 버전을 지원하지만, 디코더(20) 또는 역변환기(54)는 대응하는 역방향 또는 역버전을 지원할 것이다:
° 역 DCT-II(또는 역 DCT-III)
° 역 DST-IV
° 역 DCT-IV
° 역 DST-VII
° 항등 변환(Identity Transformation, IT)
후속 설명은 인코더(10) 및 디코더(20)에 의해 지원될 수 있는 변환에 대한 더 많은 세부 사항을 제공한다. 임의의 경우에, 지원되는 변환 세트는 하나의 스펙트럼-공간 또는 공간-스펙트럼 변환과 같은 변환만을 포함할 수 있다는 점에 유의해야 한다.
위에서 이미 설명된 바와 같이, 도 1 내지 도 3은 본 출원에 따른 인코더 및 디코더에 대한 특정 예를 형성하기 위해 아래에서 추가로 설명되는 인트라 예측 개념이 구현될 수 있는 예로서 제시되었다. 지금까지, 도 1 및 도 2의 인코더 및 디코더는 각각 아래에서 설명되는 인코더 및 디코더의 가능한 구현을 나타낸다. 아래에서 더 상세히 설명되는 바와 같이, 본 출원에 따른 인트라 예측을 위한 후속 설명 실시예가 도 1 및 도 2의 인코더 및 디코더에 내장된 경우, 도 1의 인코더 및 도 2의 디코더는 적어도 하나의 옵션으로서 아래에 더 상세히 설명된 방식으로 인트라 예측 블록(80)을 처리하도록 지원한다. 따라서, 이하에서 설명되는 실시예는 아래에 더 상세히 설명된 방식으로 인트라 코딩된 블록(80)을 처리하는 도 1의 인코더(10)와 동일한 인코더를 참조하고, 도 2의 디코더에 대해서도 동일하게 적용되며, 따라서, 인트라 코딩된 블록이 아래에서 더 상세히 설명되는 방식으로 처리되는 실시예에 따른 디코더에 대한 예를 나타낸다. 그러나, 도 1과 2는 특정 예일 뿐이다. 그러나, 본 출원의 실시예들에 따른 인코더는 아래에 더 상세히 설명되고 예를 들어, 동일한 비디오 인코더가 없고, 인터 예측을 지원하지 않고, 또는 블록(80)으로의 세분화는 도 3에 예시된 것과 다른 방식으로 수행되고, 또는 심지어 이 인코더는 예를 들어 공간 도메인에서 직접적으로 예측 잔차를 코딩하는 변환 예측 잔차 코딩을 사용하지 않는다는 점에서 도 1의 인코더와 다른 개념을 사용하여 픽처(12)의 블록 기반 인코딩을 수행할 수 있다. 마찬가지로, 본 출원의 실시예에 따른 디코더는 아래에서 추가로 설명되는 인트라 예측 코딩 개념을 사용하여 데이터 스트림(14)으로부터 픽처(12')의 블록 기반 디코딩을 수행할 수 있으나, 예를 들어, 비디오 디코더는 없지만 스틸 픽처 디코더는 동일하거나, 내부 예측을 지원하지 않거나, 도 3과 관련하여 설명된 것과 다른 방식으로 픽처(12')를 블록으로 세분화하거나, 및/또는 예를 들어 변환 도메인에서 데이터 스트림(14)으로부터 예측 잔차를 도출하지 않지만, 공간 도메인에서는 도출한다는 점에서 도 2의 인코더(20)와 상이할 수 있다.
그러나, 이하의 설명은 본 출원의 실시예에 따른 인트라 예측에 대한 설명에 집중한다. 여기에 제시된 인트라 예측에 따르면, 도 4의 블록(80)과 같은 인트라 예측 블록은 1차원 수평 파티션 또는 1차원 수직 파티션으로 나눠질 수 있다. 이러한 방식으로 블록을 처리할 수 있는 가능성은 임의의 크기의 예측된 블록(80)에 대해 제공되거나 특정 크기보다 큰 블록과 같이 미리 정의된 블록 크기 범위 내의 블록(80)으로 제한될 수 있다. "1차원"은 파티션이 파티션의 결과인 경우 파티션이 파티션 차원을 따라 하나의 샘플 너비에 불과하다는 사실을 나타낸다. 그러나, 여기에서 논의된 파티셔닝 모드의 1차원성은 파티셔닝이 특정 차원을 따라 발생한다는 사실을 의미하며, 결과적인 파티셔닝은 파티셔닝 방향을 횡단하는 방향으로 블록 위로 완전히 확장되는 스트라이프(stripe)와 같다. 예를 들어, 도 4를 참조한다. 도 4는 좌측에 있는 인트라 예측 블록(80), 즉 디코딩될 블록 또는 인코딩될 블록을 도시한다. 차원은 W x H이다. 즉, W x H 차원 블록으로, 여기서 H는 높이이고 W는 각각 샘플로 측정된 블록(80)의 너비이다. 도 4에 따르면, 2개의 나뉘는 또는 파티셔닝 옵션, 즉 블록(80)이 수직 축, 즉 파티셔닝 차원(104)을 따라 다수의 파티셔닝 영역(1021, 1022, 1023 및 1024)으로 나뉘거나 파티셔닝되는 수평 파티셔닝(100)이 있다. 이하의 설명에서 적용되는 예인 도 4의 예에 따르면, 각 파티션(1021 내지 1024)은 양방향 화살표(106)로 나타낸 바와 같이 하나의 샘플 너비이어서, 블록(80)에서 발생하는 파티션(1021 내지 1024)의 수는 H, 즉 블록(80)의 샘플(108) 단위로 블록(80)의 높이와 같으나, 파티셔닝은 인코더와 디코더 사이에 합의된 다른 방식에 따라 인코더와 디코더에 의해 수행될 수 있음이 분명할 것이며, 예를 들어 차원(104)을 따른 블록(80)의 파티셔닝은 미리 정의된 수의 파티셔닝(102i)로 이어지는 방식으로 수행될 수 있으며, 예를 들어, 미리 정의된 수는 2보다 크거나 이들의 혼합이고, 파티셔닝 차원을 따라 블록(80)의 크기를 미리 정의된 파티셔닝 수에 균등하게 분배한다.
도 4에 도시되고 참조 부호 110으로 표시된 다른 코딩 옵션은 블록(80)을 수직 파티션(1121, 1122, ... 1128)으로 파티셔닝하는 것에 대응한다. 즉, 옵션(110)에 따르면, 블록(80)은 수평 축, 즉 수평 파티션 차원(104)를 따라 파티션(112i)으로 파티셔닝된다. 옵션(100)의 경우, 각각의 파티션(102i)은 블록(80)만큼 넓다, 즉 블록의 너비 W를 가지며, 반면 파티션(112i)은 블록(80)의 높이(H)를 채택하고, 즉 높이(H)를 갖는다. 요약하면, 옵션 100의 설명과 유사한 방식으로, 수직 나눔(110)은 블록(80)을 샘플(108)에서 측정된 블록(80)의 수평 폭을 나타내는 W를 갖는 다수의 파티션(112i)으로 나눌 수 있어, 각각의 파티션(112i)은 수평 방향으로 하나의 샘플 너비이며, 여기서, 그러나, 옵션(110)에 따른 파티셔닝은 또한 인코더와 디코더 사이에 합의된 다른 방식으로 수행될 수 있다.
따라서, 도 4에 따르면, 인코더는 수평 나눔 옵션(100)에 따라 블록(80)을 H Wx1 파티션(102i) 또는 수직 나눔 옵션(110)에 따라 W 1xH 파티션(112i)으로 자유롭게 파티셔닝할 수 있고, 블록(80)에 대해 인코더에 의해 선택된 나눔 옵션은 예를 들어 데이터 스트림(14)의 대응하는 파티션 차원 플래그(114)를 통해 블록(80)에 대한 데이터 스트림(14)에서 시그널링될 수 있다. 그러나, 본 출원의 실시예는 또한 기본적으로 데이터 스트림에서 플래그(114)를 필요로 하지 않고 옵션 100 및 110 중 하나를 사용하는 인코더 및 디코더를 포함함이 명백할 것이다. 더욱이, 플래그(114)는 인코더로부터 디코더로 블록(80)에 대해 데이터 스트림(14)에서 시그널링되는 인트라 코딩 모드(116)에 따라 다른 예들에서 데이터 스트림(80)으로 전달될 수 있다. 인트라 코딩 모드는 위에서 설명된 바와 같이, 예를 들어 각도 모드 및 선택적으로 DC 모드 또는 평면 모드와 같은 하나 이상의 비각도 모드를 포함하는 이용 가능한/지원되는 인트라 코딩 모드 세트 중 하나를 나타낼 수 있다. 즉, 플래그(114)는 이하에서 더 논의되지 않는 대안적인 실시예에 따라 인트라 코딩 모드(116)에 따라 조건부 방식으로 데이터 스트림(14)에서 전달될 수 있다. 이하에서 설명되는 실시예들에 따르면, 플래그(114)는 데이터 스트림(14)에서 블록(80)에 대해 시그널링된 인트라 코딩 모드(116)와 독립적인 블록(80)에 대한 데이터 스트림(14)에 존재한다. 그러나, 방금 논의된 인트라 코딩된 블록(80)의 파티셔닝 처리와 이후에 개략적으로 설명되는 블록(80)의 인트라 코딩을 처리하는 다른 방식 사이의 플래그 전환에 대해 종속성이 존재할 수 있다.
본 출원의 실시예에 따르면, 파티션(102/112) 각각은 이러한 방식으로 순차적으로 파티션을 처리하면서 개별적으로 예측, 변환, 양자화 및 코딩된다. 따라서, 특정 파티션의 재구성된 샘플은 블록(80)이 파티셔닝된 파티션들 사이에서 파티션 순서로 다음 파티션(102/112)을 예측하는 데 사용될 수 있으며, 이러한 방식으로, 인트라 예측 프로세스는 블록(80)이 파티셔닝된 파티션(102/112)을 통해 순환한다. 도 5는 옵션(100)에 따라 파티셔닝된 인트라 예측 블록(80)을 예시적으로 도시한다. 블록(80)의 각각의 파티션(1021 내지 1024)은 예측, 즉 각각의 파티션(102i)의 예측자의 도출 및 예측 잔차 관련 작업, 즉 예측 잔차를 사용하는 예측자의 수정을 받는다. 후자의 작업은 예측 잔차와 예측자를 결합하여 수행할 수 있다. 이것은 재구성을 위해 디코더에서 수행된다. 인코더는 예를 들어, 변환 및 양자화를 포함하는 예측 잔차의 결정뿐만 아니라, 즉, 인코더의 디코딩된 픽처 버퍼를 픽처의 재구성으로 채움으로써 예측 루프를 디코더에 동기화된 상태로 유지하기 위해, 예측 잔차를 사용하는 예측자의 수정을 예측 잔차 관련 작업으로 수행한다. 방금 언급한 작업, 즉 예측 및 잔차 처리는 파티션 1021 내지 1024에 대해 개별적으로, 그리고 파티션 간에 순차적으로 수행된다. 현재 처리된 파티션에 대한 이러한 두 단계 후에, 파티션 순서에 따른 다음 파티션(102i)이 동일한 방식으로 처리된다. 파티션 순서는 3개의 화살표(126)를 사용하여 도 5에 예시적으로 도시되어 있다.
도 5는 블록(80)의 가장 왼쪽 상단 픽셀을 포함하는 파티션이 도 5의 파티션(1021 내지 1024)에 대한 인덱스 할당에 대응하는 바로 아래 이웃 파티션(1022) 등으로 진행하기 전에 먼저 처리될 것임을 예시하나, 이 순서는 단지 예일 뿐이고, 다음의 설명에서 명백하게 제공될 바와 같이, 이 파티션 순서는 인트라 코딩 모드 및/또는 블록(80)의 크기와 같은 다른 설정에 의존하는 방식으로 선택될 수 있으며, 이전 종속성은 이후에 논의된다.
아래에서 추가로 논의되는 예들에서, 파티션 순서(126)는 바로 후속하는 파티션이 서로 바로 이웃하도록 하는 방식으로 파티션(102/112)을 횡단하는 것들 사이에서 단지 변하여, 파티셔닝 유형 100의 경우 파티션 순서는 위에서 아래로 또는 아래에서 위로, 파티셔닝 유형 110의 경우에는 각각 왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽으로 이어진다. 그러나, 다른 예도 상상할 수 있음에 유의한다. 예를 들어, 파티션 순서는 파티션은 첫 번째 스캔에서 위에서 아래로, 아래에서 위로, 왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽으로 모든 두 번째 파티션을 처리하는 두 번의 스캔에서 그냥 윤곽선이 있는 인접 순서로, 순서의 방향 또는 반대 방향으로, 그 사이의 나머지 파티션이 스캔되고 적용되는 모든 작업이 동일하게 처리는 방식으로 선택될 수 있다.
어쨌든, 도 5는 먼저 처리되고 현재 처리되는 파티션이 될 제1 파티션(1021)을 예시한다. 제1 파티션(여기서는 예시적으로 1021)에 대해, 파티션(1021)에 대한 예측자를 형성하는 데 사용되는 인접한 샘플 세트(1181)는 블록의 제1 파티션을 처리할 때와 같이 블록(80)의 경계 외부에 있는 샘플에 기초하여 선택될 수 있으며, 블록(80)의 샘플은 아직 처리되지 않았으며, 즉 재구성되거나 인코딩되지 않았다. 즉, 세트(1181)의 샘플은 데이터 스트림에서 송신된 예측 잔차를 사용하여 대응하는 예측자의 임의의 예측 및 수정을 사용하여 인코더에서 이미 재구성된다. 이들은 이전에 코딩된/디코딩된 픽처 블록에 속하며 인터 코딩되거나 인트라 코딩되거나 다른 코딩된 블록일 수 있다. 제1 파티션(1021)의 예측자를 형성하기 위해 사용되는 인접한 샘플들의 세트(1181)의 샘플들의 수 및 정확한 위치에 관해서는 블록(80)에 할당된 인트라 코딩 모드에 따라 동일하다. 이 인트라 코딩 모드는 이하에서 논의되는 바와 같이 블록(80)의 모든 파티션의 처리를 위해 공동으로 또는 동등하게 사용된다. 제1 파티션(1021)의 처리를 완료하기 위해, 이 파티션(1021)에 대한 예측자는 세트(1181)에서 이미 재구성된/인코딩된 하나 이상의 샘플에 따라 이 파티션(1021)을 채움으로써 디코더 및 인코더에서 도출되며, 그것의 예측 잔차는 인코더가 관련된 한, 즉 위에 설명된 변환 및 양자화에 의해 결정되고, 그 다음에 이 예측 잔차는 데이터 스트림(14)의 예측 잔차를 사용하여 예측자를 수정함으로써 이 파티션(1021)의 재구성에 사용되는 데이터 스트림에서 송신된 버전, 즉 양자화 손실을 포함한다. 예를 들어, 도 5는 1201에서 예시적으로 파티션(1021)에 대한 예측 잔차를 보여준다. 즉, 1201은 파티션(1021)의 예측 잔차의 변환에 대응하는 변환 계수를 포함하며, 데이터(1201)의 설명은 아래에서 더 자세히 설명된다.
이제 파티션 순서의 다음 파티션, 즉 도 5의 예에서 파티션 1022로 넘어간다. 파티션(1022)에 대한 예측자를 도출하는 데 사용되는 인접한 이미 재구성/인코딩된 샘플 세트가 이제 블록(80) 외부에 위치한 샘플 및/또는 블록(80) 내의 샘플로 구성될 수 있는 한 상황은 변경되었다, 즉 이미 처리된 임의의 파티션, 여기서는 현재도 5의 예에서 파티션(1021)에 위치한 것들. 이러한 샘플들에 대해서는 예측 잔차가 이미 결정되었고 데이터 스트림(14)에서 이미 이용 가능하다. 즉, 인코더 및 디코더는 이 파티션(1022)에 대한 예측자를 도출한 다음, 인코더에서의 예측 잔차 결정 및 인코더 및 디코더에서의 예측자의 수정을 위한 예측 잔차 사용을 각각 도출한다. 이 프로세스는 라인의 다음 파티션, 즉 파티션 순서의 다음 파티션으로 계속되어 블록(80)의 모든 파티션을 순차적으로 처리한다.
이미 위에서 언급한 바와 같이, 파티션 순서(126)는 파티션을 횡단하는 것과는 다른 방식으로 선택되어 즉시 연속적인 파티션이 바로 인접한 파티션이 되도록 할 수 있다. 즉, 파티션 순서가 한 파티션에서 다음 파티션으로 이동할 수 있다. 이것은 각각의 파티셔닝(102i)을 채움으로써 각각의 예측자를 도출하기 위해 사용되는 인접한 샘플들의 세트(118i)가 도 5에 예시된 바와 같이 각각의 파티션의 인접한 샘플 이웃들로 제한되지 않음을 의미한다. 이것은 또한 파티션 순서(126)의 시작 선택과 관련된다. 예를 들어, 파티션 1024가 파티션 순서의 제1 파티션이라고 상상한다. 그런 다음, 그 예측자는 블록(80)의 왼쪽과 블록(80)의 상단에 위치한 샘플을 수집하는, 도 5에 도시되지 않은 인접한 샘플 세트(1184)에 따라 동일하게 채움으로써 도출될 수 있다. 세트(1184)의 일부 샘플은 파티션(1024)에 바로 인접하지 않는다. 그런데, 이것은 블록(80) 전체의 일반적인 내부 예측 채우기에서 마지막 샘플 행을 채우는 상황에 해당한다. 방금 언급 가능성은 이후에 처리되는 파티션, 즉 파티션 순서의 제2 및 추가 파티션에 대해서도 마찬가지이다. 즉, 그들의 인접한 샘플 세트(118i)는 또한 각각의 파티션(102i)에 바로 인접하지 않는 샘플들을 포함할 수 있다. 또한, 파티션 순서를 제한하지 않는 경우에는 연속적인 파티션이 서로 인접해 있는 방식으로 파티션을 횡단하며, 그러면 임의의 제2 또는 후속 처리된 파티션(102i)의 기준 샘플 세트(118i)는 각각의 파티션(102i)의 왼쪽 및 상단에 있는 샘플을 수집할뿐만 아니라, 그러나 블록(80)의 임의의 파티션이 파티션 순서에 따라 파티션(1021)보다 일찍 처리되었는지 여부에 따라 각각의 파티션(1021) 아래에 있는 샘플일 수도 있다. 즉, 세트(180i)는 파티션(102i)의 2개 이상의 측면에 위치한 샘플을 포함할 수 있다.
간단히 요약하면, 도 5는 여기서 예시적으로 수평 파티션에 대한 블록(80)의 파티션(102/112)의 순차적 처리를 보여 주었지만, 동일한 설명이 수직 파티션(112i)에 대한 수직 모드(110)에도 적용된다. 각각의 파티션(102i)에 대해, 대응하는 예측 잔차(102i)는 데이터 스트림(14)에 포함된다. 데이터(1201 내지 1204)는 블록(80), 즉 120에 대한 예측 잔차를 함께 형성한다. 변환 잔차 코딩은 본 출원의 대안적인 실시예에 따라 사용되지 않을 수 있으며, 즉 블록(80)의 예측 잔차(120)는 데이터 스트림(14)에서, 예를 들어 공간 도메인에서 직접 시그널링될 수 있음을 상기해야 한다. 이 경우, 다양한 파티션(1021 내지 1024)에 대한 데이터(1201 내지 1204)는 도 5에 도시된 바와 같이 데이터 스트림(14)에 파티션 개별 필드를 포함하지 않을 수 있으며, 여기서 각 데이터 부분(120i)은 각각의 파티션(102i)의 특정 변환에 대한 시그널링을 나타낸다. 오히려, 블록(80)에 대한 예측 잔차(120)는 그 경우에 데이터(14)의 한 필드를 형성할 수 있다. 디코더는 특정 파티션(102i)을 처리할 때 이 대안적인 실시예에서 필드(120)로부터 이 파티션(102i)에 대한 예측 잔차에 대한 정보를 수집할 것이다. 이 절차는 양자화가 공간 도메인에서 수행될 수 있도록 변환의 정확히 가역 버전을 사용할 때도 적용될 수 있다.
따라서, 도 5는 인코더 및 디코더에서 각각의 파티션(102i)에 대해 2개의 작업이 수행됨을 도시하였다, 즉: 1) 각각의 파티션(1021)에 대한 예측 또는 예측자, 즉 각각의 파티션(102i)의 각 샘플에 대한 예측된 샘플 값을 산출하는 예측 도출 작업(122), 및 2) 이후에 수행되는 예측 잔차 관련 작업, 즉 데이터 스트림(14)으로의 입력을 위한 예측 잔차의 양자화를 포함하는 인코더에서의 예측 잔차 도출, 및 이 파티션(102i)에 대한 재구성된 샘플을 획득하기 위해 예측 잔차 및 예측자를 결합 또는 수정함으로써 각각의 파티션(102i)의 샘플의 재구성. 후자의 재구성된 샘플은 예측 도출 작업을 위해 파티션 순서(126)에 따라 후속 처리된 파티션(102j)의 인접한 샘플 세트(118j)에 대한 저장소 역할을 할 수 있다.
본 출원의 실시예들의 세부 사항에 대한 추가 설명을 진행하기 전에, 도 6은 현재 처리된 파티션(102i)을 채움으로써 예측 도출(122)의 프로세스를 예시하며, 여기서 수평 파티션(102)에 대한 예시는 단지 예시적으로 선택되었으며 동일한 설명이 수직 파티션(112)에도 관련된다는 것을 상기해야 한다. 도 6은 현재 처리된 파티션(102i) 및 이미 재구성/인코딩된 인접한 샘플의 대응하는 세트(118i)를 도시한다. 도 5와 관련하여 위에서 이미 나타낸 바와 같이, 세트(118i)는 파티션(102i)에 직접 인접하거나 근접한 샘플(128)로 제한되지 않을 수 있다. 그러나, 파티셔닝으로 인해, 블록(80)의 전체 샘플을 평균화했을 때 파티션(102i)의 샘플과 세트(118i)의 샘플(128) 사이의 평균 거리(130)는 예를 들어, H.264 또는 HEVC에서 알려진 블록(80)의 인트라 예측을 수행한 것과 비교하여 낮다. 도 5와 관련하여 설명된 바와 같이, 예측자 도출 또는 채우기(122)는 블록(80)과 연관된 인트라 예측 모드를 사용하여 각각의 파티션(102i)에 대해 수행되며, 이 모드는 이용 가능한 인트라 예측 모드 세트 중 하나를 나타낸다. 이 세트는 인접한 샘플 세트(118i)의 샘플 컨텐츠가 파티션(102i)의 샘플(134)로 복사되는 각도 또는 방향(132)에서 서로 다른 각도 또는 방향 모드를 포함할 수 있다. 이 복사를 수행하기 위해, 파티션(102i)의 각각의 샘플(134)의 예측은 방향(132)과 반대 방향으로 샘플(134)에 대해 위치된 세트(118i) 중 다수의 인접한 샘플(134)에 기초하여 도출될 수 있다. 예를 들어, 그 수는 샘플 세트(118i)의 샘플들(128) 사이의 픽셀 간 위치를 도출하기 위해 사용되는 보간 필터의 커널에 의해 정의된다. 예를 들어, 도 6은 세트(118i) 중 3개의 샘플(128)이 현재 프로세싱된 파티션(102i) 중 하나의 샘플(134)의 예측을 계산하는 데 사용된다는 것을 예시한다. 상대적으로 작은 평균 거리(130)로 인해, 파티션(102i)의 샘플(134)당 기준 샘플(134)의 수는 낮게 유지될 수 있다. 자세한 내용은 아래에서 설명한다. 그러나, 완전성을 위해, 이용 가능한 인트라 예측 모드의 세트는 또한 파티션(102i)의 모든 샘플(134)에 하나의 DC 값이 할당되는 DC 모드를 포함할 수 있다는 점에 유의해야 하며, 이 DC 값을 도출하는 것은 인접한 샘플 세트(118i)에 대해 평균을 내는 것을 수행하는 것이다. 또한, 샘플(134)에 대한 예측 값이 인접한 샘플(118i)에 기초하여 이 선형 함수의 기울기 및 오프셋을 도출하는 파티션(102i) 내의 샘플 위치에 대한 선형 함수에 의해 정의되는 평면 모드가 존재할 수 있다. 또한, 이웃 세트(118i)는 블록(80)에 대해 선택된 인트라 예측 모드에 따라 상이할 수 있고, 예를 들어 특히 각도 모드와 비각도 모드 DC/평면 사이에서 상이할 수 있다는 점에 유의해야 한다.
예를 들어, 최첨단 JEM 디코더에는 67개의 인트라 예측 모드를 사용할 수 있다. 그 중 65개는 각도 모드이고 두 가지(DC 및 평면형)는 비방향성 텍스처를 모델링한다. 1D 파티셔닝(간단히 1D 파티셔닝 모드라고 함) 모드, 즉, 블록(80)이 차원 104를 따라 파티션으로 파티셔닝/파티셔닝되는 파티션(102/112)에 대해 수행되는 예측자 도출(122) 하나의 샘플 너비 또는 방향(104)을 따른 하나 이상의 샘플 너비인 차원(104)를 횡단하는 블록의 전체 너비는 이들 중 임의의 것과 결합될 수 있거나 다르게 말하면 이들 중 임의의 것을 사용하여 구현될 수 있다. 도 5와 관련하여 이미 설명된 바와 같이, 코딩 단위 CU와 같은 하나의 블록(80)의 모든 파티션(102/112)은 블록(80)의 동일한 연관된 인트라 예측 모드를 사용함으로써, 인트라 예측 모드(116)가 블록(80)에 대해 단 한번 데이터 스트림(14)에서 송신될 필요가 있기 때문에 시그널라이제이션에서 과도한 오버헤드를 피한다.
즉, 예측(122)은 JEM 디코더에 설명된 2차원 경우와 동일한 방식으로 수행될 수 있다. 그러나, 현재 프로세싱된 파티션(102/112)에 대해 단지 하나의 라인, 수평 또는 수직이 계산되어 JEM과 비교하여 예측 프로세스(122)가 그에 따라 조정될 것이다. 연속된 파티션이 서로 바로 인접하는 방식으로 파티션을 횡단하는 파티션 순서를 선택한 경우, 예측 프로세스(122)는 JEM의 2차원 경우에 해당할 수 있지만 단지 제1 라인, 즉, 하나는 이미 재구성/인코딩된 이웃에 가장 가깝다. 일부 경우에, HEVC 및 JEM은 기준 샘플(128) 또는 그 결과로 생성된 예측자에 적용된 특정 필터의 사용을 허용한다. 이것은 경계 불연속성을 감소시키기 위해 기준 샘플(128)에서 멀리 떨어진 예측 블록(80) 내의 샘플을 더 잘 예측하는 2차원 경우에 유용하다. 그러나, 파티션(102/112)으로의 파티셔닝을 사용함으로써, 주변 픽셀 사이의 높은 상관 관계를 이용하는 것이 가능하며 그 목표가 되어야 한다.
즉, 감소된 평균 거리(130)가 이용되어야 한다. 과도한 평활화는 이 품질을 저하시킨다. 따라서, 인코더 또는 디코더가 두 종류의 내부 예측, 즉 도 4 내지 6과 관련하여 다음과 같이 파티셔닝을 사용하여 내부 예측을 수행할 수 있다면 내부 필터, 즉 예측자 도출에 관련된 필터(122)는 블록(80)에 대한 인트라 예측이 블록에서 수행되거나 이에 따라 수행되는 2차원 경우에서 하나의 샘플에 기여하는 샘플의 수에 비해 파티션 샘플(134)당 적어도 기여 샘플(134)의 수가 감소되거나 즉, 블록(80)을 직사각형 블록으로 파티셔닝하는 계층적 쿼드 트리의 리프 블록으로 분해된다.
위에서 논의된 논의에서 분명해진 바와 같이, 예측 잔차 관련 작업(124)을 수행하기 위해, 디코더는 예를 들어 데이터 스트림(14)으로부터 현재 처리된 파티션의 각각의 예측 잔차의 변환을 디코딩하고, 이 변환에 대한 스펙트럼-공간 변환과 같은 역변환을 수행하여 조합/추가에 의해 122에서 획득한 예측자를 수정하는 데 사용되는 예측 잔차를 산출한다. 예측 루프를 디코더와 동기화 상태로 유지하기 위해 인코더에서도 동일하게 수행된다. 또한, 인코더는 현재 프로세싱된 파티션에 대해 122를 사용하여 결정된 예측자의 예측 오차에 대한 변환을 수행하고, 동일한 대상은 공간-스펙트럼 변환과 같은 변환을 수행한 후 코딩을 통해 변환 계수의 양자화를 수행하며, 데이터 스트림(14)으로의 변환은 현재 프로세싱된 파티션(102i)의 대응하는 데이터(120i)를 산출한다. 변환에 관하여, 블록(80) 내의 모든 파티션(102/112)은 이 동일한 변환을 사용하여 처리될 수 있다. DST-VII가 사용될 수 있는 평면 모드의 경우를 제외하고는 DCT-II일 수 있다. 이러한 이유로, 변환 건너 뛰기처럼, 즉 공간 도메인에서의 코딩, EMT(EMT=명시적 다중 코어 변환), NSST(NSST=모드 의존적 분리 불가능한 2차 변환) 또는 다른 것들처럼, 인코더와 디코더가 다른 블록에 사용할 수 있는 변환 및 역변환과 관련된 모든 도구들은 불필요한 오버헤드 비트를 피하기 위해 지금까지 도 4 내지 7과 관련하여 설명되고 아래에 추가로 설명된 파티셔닝 방식으로 블록(80)이 인트라 예측 모드를 사용하여 코딩되면 비활성화될 수 있다. 대안적으로, 변환은 인트라 예측 모드, 전용 구문 요소 및 미리 결정된 파티션 순서 중 하나 이상에 기초하여 유형이 선택되는 선형 변환일 수 있다.
현재 프로세싱된 블록(80)의 파티션(102/112)이 순차적으로 프로세싱되는 파티션 순서(126)와 관련하여 일부 단어가 이미 소비되었다. 이 실시예는 단지 예일 뿐이고, 그 파티션 순서는 대안적인 실시예에 따라 정적일 수 있거나, 예가 아래에 설명된 다른 실시예에 따라 다른 방식으로 변경될 수 있음이 강조되어야 한다. 도 7은 도 5의 화살표 126을 사용하여 설명된 가능한 파티션/프로세싱 순서를 내재된 번호로 나타낸다. 여기서, 이 순서는 내재된 숫자를 오름차순으로 따른다. 도 5는 순서(126)가 블록(80)의 왼쪽 상단 픽셀/샘플(140)을 포함하는 파티션으로 시작하여 가장 낮은 파티션으로 내려가는 예를 나타낸다. 마찬가지로, 파티셔닝 유형이 수직 인 경우 프로세싱 순서는 맨 위 왼쪽 픽셀/샘플을 포함하는 가장 왼쪽 파티션에서 시작하고 오른쪽으로 시작한다. 그러나, 이것은 기존의 모든 인트라 예측 모드에 대한 최적의 경우는 아니다. 이것은 대각선 모드에 대한 블록(80)의 수직 및 수평 파티셔닝을 보여주는 도 7에 예시되어 있다, 즉 복사 각도/방향(132)은 왼쪽 하단에서 오른쪽 상단까지 45°지점, 즉 34, 즉, 복사 각도/방향(132)은 왼쪽 상단에서 오른쪽 하단으로 -45°를 가리킨다. 전자의 경우, 나눔이 수평이면 블록(80)의 왼쪽 상단 모서리에서 시작하여 재구성된 샘플이 다음 파티션의 예측에 영향을 미치지 않는 파티션을 생성한다. 따라서, 각각의 파티션의 재구성된 샘플을 사용하여 파티션 순서로 다음 파티션을 예측할 수 있도록 블록의 왼쪽 하단 모서리에서 시작하는 것이 더 합리적이다. 그럼에도 불구하고, 수직 나눔에서는 앞서 언급한 도면에서 볼 수 있으므로 필요하지 않다. 반면에, 모드 34는 샘플이 양쪽에서 수평 및 수직 파티셔닝으로 나뉘어져 있기 때문에 이러한 문제가 없다. 따라서, 정상적인 프로세싱 순서가 두 나눔에서 모두에서 사용될 수 있다.
표 I은 인트라 예측 모드 및 파티셔닝 유형에 따른 프로세싱 순서의 전체 목록을 보여준다.
표 I: 인트라 모드 및 나눔 유형에 따른 프로세싱 순서. HOR_DIR 및 VER_DIR은 각각 수평 및 수직 모드이고 VDIA_DIR은 수직 대각선 모드이다.
시그널라이제이션 오버헤드와 관련하여 지금까지 설명된 실시예를 요약하면,도 8을 참조한다. 도 8은 본 출원의 일 실시예에 따라 블록(80)에 대해 송신되는 것에 대해 예시한다. 특히, 블록(80)에 적용될 인트라 예측 모드에 대해 시그널링하는 인트라 예측 모드 시그널라이제이션(116)이 있다. 따라서, 시그널라이제이션(116)는 예를 들어 각도 모드 중 하나, 또는 각도 모드 및 DC 및 평면과 같은 비각도 모드(들)를 포함하는 이용 가능한 모드 중 하나를 나타낸다. 이 시그널라이제이션(116)에 추가하여, 인코더에 의해 데이터 스트림(14)으로 코딩되고 디코더에 의해 블록(80)에 대해 디코딩된 파티셔닝 플래그(160)가 있으며, 이는 도 4 내지 7에 따른 파티셔닝 처리가 블록(80)에 적용되는지 여부, 또는 블록으로(en block) 또는 하나의 조각 또는 2차원적으로 동일한 것이 "정상적으로(normally)" 처리되는지 여부, 즉 블록(80) 내의 각각의 샘플을 예측하기 위해 블록(80) 외부의 샘플이 참조 샘플 저장소(118)를 형성하는 데 사용되는지 여부를 나타낸다. 대안적으로, 플래그(160)는 한편으로는 도 4 내지 7과 관련하여 논의된 파티셔닝 처리와, 변환 블록으로의 쿼드 트리 세분화를 사용하는 블록(80)의 분해 사이를 전환할 수 있으며, 이는 이후 순차적으로 처리되지만 데이트 스트림(14)으로 분해 신호를 보내야 한다는 단점이 있다. 파티셔닝 플래그(160)가 도 4에 따른 파티셔닝을 나타내는 경우, 데이터 스트림(14)은 블록(80)에 대해 도 4와 관련하여 논의된 파티셔닝 유형(100 및 110) 사이에서 전환하는 파티셔닝 차원 플래그(114)를 포함한다. 그리고 나서, 파티셔닝 플래그(160)가이 파티셔닝 옵션을 나타내는 경우 블록(80)이 세분화/파티셔닝되는 블록(80)의 각 파티션에 대해, 전술된 바와 같이, 변환 도메인에서, 데이터 스트림(14)은 다음과 같이 인코딩된 각각의 파티션의 예측 잔차를 갖는 시그널링/데이터(1201)를 포함한다.
도 8과 관련하여, 예측 잔차 데이터(1201, 1202 …)는 파티션/코딩 순서(126)에 대응하는 순서로 데이터 스트림(14)으로 코딩될 수 있다는 점에 유의해야 한다. 후자는 위에서 논의된 바와 같이 시그널라이제이션(116)에 의해 표시되는 인트라 예측 모드에 의해 고유하게 결정될 수 있다. 그러나, 대안적인 실시예는 파티션 순서(126)가 데이터 스트림(14)에서의 선택적 추가 시그널라이제이션에 기초하여 적어도 부분적으로 결정되는 것일 것이다.
여기에 제시된 설명에 대한 또 다른 대안은 파티셔닝 옵션이 사용되는지 여부를 나타내기 위해 시그널라이제이션(116)가 대안적으로 사용될 수 있다는 사실이다. 다시 말해, 하나의 구문 요소는 일반적으로 116 및 160의 시그널라이제이션을 담당할 수 있다. 이러한 구문 요소는 인트라 예측 모드와 블록 파티셔닝 사용 여부 표시의 조합에 각각 해당하는 값 범위 중 하나를 가정한다. 이러한 경우에, 예측 내 모드의 하위 세트에 대해서만 파티셔닝 옵션을 제공할 수도 있다. 그리고 마지막으로, 파티셔닝 플래그(160)는 시그널라이제이션(116)에 의해 표시된 인트라 예측 모드가 이용 가능한 인트라 예측 모드로부터 특정 하위 세트를 가정하는 경우에만 조건부로 데이터 스트림(14)으로 전달될 수 있다는 점에 유의해야 한다.
도 9는 특정 파티션(102/112i)의 예측 잔차를 갖는 데이터(120i)가 어떻게 보일 수 있는지에 대해 예시적으로 도시한다. 도 9의 실시예에 따르면, 예측 잔차는 변환 도메인에서 데이터 스트림(14)으로 코딩된다. 즉, 인코더는 역변환(184)을 통해 예측 잔차 및 공간 도메인을 도출하는 디코더와 함께 변환(180)에 의해 예측 잔차의 변환(182)을 생성한다. 도 9는 예를 들어 상이한 스펙트럼 주파수(f)에 대응하는 변환(182)의 변환 계수(186)를 도시한다. 데이터(120i)는 코딩된 블록 플래그를 포함할 수 있으며, CBF 데이터(120i)는 변환(182)이 임의의 중요한 변환 계수(186)를 포함하는지, 즉 변환(182)이 완전히 0인지 아닌지를 나타내는 코딩된 블록 플래그 CBF(188)를 포함할 수 있다. CBF(188)가 설정되면, 변환(182)은 0이 아니고, 데이터(120i)는 중요한 변환 계수의 증가하는 스펙트럼 주파수(축(194) 참조)를 따라 마지막 위치를 나타내는 마지막 위치(LP) 구문 요소(190), 즉, 최저 또는 DC 계수(196)로부터 시작하는 0이 아닌 변환 계수(186)를 포함할 수 있다. 그 후, 데이터(120i)는 196에서 192까지의 변환 계수를 시그널링하는 시그널링(198)을 포함한다.
즉, 도 9는 각각의 파티션(102i/112i)이 CBF(188), LP(190), 및 변환 계수 데이터(198)를 통해 데이터 스트림(14)으로 코딩된 예측 잔차를 가질 수 있음을 예시한다. 즉, n개의 파티션(102/112)을 갖는 블록(80)에 대해 n개의 CBF(188) 및 0이 아닌 CBF(188)를 갖는 각각의 파티션에 대해 하나의 LP(190)가 있을 것이고, 변환 계수 데이터(198)는 단지 그와 연관된 0이 아닌 CBF(188)를 갖는 이들 파티션에 대한 것이다. 계수 데이터(198)는 정상적으로 처리된 인트라 예측 블록, 즉 파티셔닝 플래그(160)가 비파티셔닝 옵션을 나타내는 블록(80)에 대해 수행되는 것과 동일한 방식으로 코딩될 수 있으며, 다음의 예외를 갖는다: 각각 LP(190)는 파티션이 1-샘플 너비인 경우(그렇지 않으면 평상시처럼 2개의 좌표가 필요함) 하나의 좌표, 즉 수평 파티셔닝(100)의 경우 x, 수직 파티셔닝(110)의 경우 y만 필요하다. 그러나 2차원 파티션의 경우, LP(190)는 순위 표시를 사용하거나 x 및 y 좌표를 사용하여 스캔 방향 또는 경로를 따라 마지막 위치를 나타낸다. 각 CBF(188)의 컨텍스트는 이전에 코딩된 CBF의 값, 즉 파티션 순서(126)에서 이전 파티션의 CBF가되도록 선택될 수 있다. 또한, 파티셔닝으로 인해 변환 계수 데이터(198)는 다른 형상에 관련된다. 즉, 변환(182)도 다른 형태를 갖는다. 변환(182)은 도 4와 관련하여 논의된 바와 같이 파티션이 1차원 파티션인 경우의 1차원 변환이다. 즉, 변환(182)은 나눔 유형(100 또는 110)에 따라 변환 계수(186)의 W/H 길이 벡터일 수 있다.
도 8의 플래그(160 및 114) 및 그 코딩과 관련하여 다음이 주목된다. 블록(80)이 파티션(102/112)으로 분할되는지 여부를 나타내는 플래그(160)는 플래그(114)가 블록(80)에 대한 데이터 스트림(14)에서 전달되는지 여부를 검사할 조건을 정의한다. 특히, 플래그(160)가 파티션(102/112)으로의 파티셔닝을 나타내는 경우, 플래그(114)는 데이터 스트림(14)에 존재하고 어떤 유형의 나눔(100/110), 즉 수평 혹은 수직이 수행되어야 하는지를 신호하기 위해 디코더로 전송된다. 플래그 CBF와 마찬가지로, 플래그(114)도 컨텍스트 의존 엔트로피 코딩/디코딩을 사용하여 코딩 될 수 있다. 플래그(114)의 컨텍스트는 블록(80)의 인트라 예측 모드에 따라 세 가지 가능성을 가질 수 있다: 비각도 모드의 경우 0, 수평 모드의 경우 1, 수직 모드의 경우 2.
도 9는 CBF(188)가 현재 블록(80)의 파티션 i당 한 번 존재할 수 있음을 보여 주었지만, 추가적으로 또는 대안적으로, 현재 블록의 파티션(120i)의 변환(182)은 각각 하나 이상의 하위 블록으로 파티셔닝될 수 있으며, 그 하위 블록 내의 변환 계수(186)가 모두인지 여부를 나타내는 데이터(120i) 내의 하위 블록당 시그널링되는 코딩된 하위 블록 플래그를 사용하여 하나 이상의 하위 블록으로 파티셔닝될 수 있으며, 0 또는 적어도 하나의 계수는 0이 아니다. 따라서, 코딩된 하위 블록 플래그가 0이 아닌 계수의 존재를 시그널링하는 하위 블록 내의 계수(186)만이 코딩될 것이다. 코딩된 하위 블록 플래그가 0이 아닌 계수의 부재를 신호하는 하위 블록 내의 다른 계수는 디코더 측에서 0으로 추론될 것이다. 각각의 파티션(120i)이 개별적으로 변환되므로, 하나의 파티션에 속하는 하위 블록은 그 파티션의 변환(182)의 스펙트럼 성분이 다르고, 그 변환에서 구성하는 변환 계수(186)가 다르다는 것에 유의한다. 예를 들어, 하위 블록은 각각의 파티션(102i/112i)이 4개의 샘플(140)보다 크거나 같은 x(파티션 너비) 및 y(파티션 높이)의 차원을 갖는 한, 그리고 결과적으로, 각각의 파티션(102i/112i)의 변환(180)이 4개의 계수(186)보다 크거나 같은 x 및 y의 차원을 갖는 한 4x4 계수 블록인 방식으로 설정될 수 있다. 4xN 파티션의 경우, 하위 블록은 m*4=N이고 m이 정수인 m개의 4x4 하위 블록의 열을 형성한다. Nx4 파티션의 경우, 하위 블록은 m*4=N이고 m이 정수인 m개의 4x4 하위 블록의 행을 형성한다. 더 넓은 파티션의 경우 행과 열로 배열된 4x4 하위 블록 배열이 생성될 수 있다. 그러나, 실시예에 따라 이러한 파티션, 즉 4개 이상의 샘플 및/또는 4개의 샘플과 같은 범위가 발생하지 않을 수 있다. 발생 여부에 관계없이 파티션이 더 좁아지는 경우, 즉 차원 중 하나가 4개 샘플 미만인 경우, 즉 적어도 하나의 차원 x 또는 y에서 4개 샘플 너비 미만인 경우 변환의 하위 블록 파티셔닝 그 변환(180)의 상이한 계수들의 그룹들을 각각 수집하는 하위 블록들로(180)는 수행될 수 있어서, 하위 블록들은 현재 블록의 크기에 대해 가능한 모든 경우에서 최소 개수 M의 계수들을 가질 수 있다. 즉, 파티션은 한 차원을 따라 블록 너비 N만큼 크게 설정될 수 있으며, 파티셔닝은 다른 차원(104)을 따라 발생한다. 따라서, 각각의 파티션의 변환(180)은 크기가 1xN, 2xN, Nx1 또는 Nx2일 수 있다. 사실, 특정 파티션의 변환(180)은 이 파티션의 샘플 수와 동일한 계수를 가질 수 있다. 1xN 파티셔닝/변환의 경우, 하위 블록은 m*M=N이고 m이 정수인 m개의 1xM 하위 블록의 열을 형성할 수 있다. Nx1 파티션의 경우, 하위 블록은 m*M=N이고 m이 정수인 m개의 Mx1 하위 블록의 행을 형성한다. 2xN 파티셔닝/변환의 경우, 하위 블록은 m*(M/2)=N이고 m이 정수인 m개의 2x(M/2) 하위 블록의 열을 형성할 수 있다. Nx2 파티션의 경우, 하위 블록은 m*(M/2)=N이고 m이 정수인 m개의 (M/2)x2 하위 블록의 행을 형성할 수 있다. 이것은 최소 계수 수에 대해 M=16의 예시적인 경우에 대해 표 1에 예시적으로 도시되어 있다.
표 1: 엔트로피 코딩 계수 그룹 크기
도 9는 CBF(188)가 현재 블록(80)의 파티션 i당 한 번 존재할 수 있음을 보여 주었지만, 현재 블록(80)에 대한 파티션들 중 n개의 파티션 중 적어도 하나가 0이 아닌 CBF(188)를 갖는다는 것은 디코더와 인코더 사이에 합의될 수 있다. 이러한 이유로 n이 하위 파티션의 수이고 코딩 순서에서 제1 n-1 하위 파티션이 0 CBF를 생성한 경우 n번째 파티션의 CBF는 1로 추론된다. 따라서, 디코딩 필요가 없으며 인코딩되지 않는다. 따라서, 데이터(120n)의 CBF는 누락될 것이고 데이터(1201 내지 120n-1)의 CBF 신호가 0이고 디코더는 이 CBF를 추론하여 적어도 하나의 0이 아닌 계수가 그 파티션의 변환에 존재한다고 시그널링할 것이다.
인트라 코딩 모드 시그널라이제이션(116)에 관한 한, 다음이 참일 수 있다. 코딩 모드 시그널라이제이션(116)는 가장 가능성 있는 모드(most probable mode, MPM) 목록 중 하나를 가리키는 포인터 또는 인덱스로 전송될 수 있다. 후자의 MPM 목록은 공간적으로 및/또는 시간적으로 인접한 인트라 예측 모드와 같은 이전에 코딩된/디코딩된 인트라 예측된 블록에 사용되는 인트라 예측 모드에 기초하여 동일한 방식으로 인코더 및 인코더에 의해 결정될 수 있다. 따라서, MPM 목록은 이용 가능/지원되는 인트라 예측 모드의 적절한 하위 세트, 즉 앞서 언급한 각도 모드 및/또는 DC 및 평면 모드 중 하나 이상을 나타낼 수 있다. 위에서 언급했듯이, 도면의 블록(80)과 같은 LIP 또는 ISP 방식을 사용하는 내부 예측 블록이 있을 수 있으며, 기존에 인트라 예측되는 블록, 즉 블록으로(en block) 또는 변환 블록 단위로 인트라 예측된 블록은 재귀적 쿼드 트리 파티셔닝을 사용하여 파티셔닝된다. 두 유형의 인트라 예측 블록은 동일한 사용 가능/지원되는 인트라 예측 모드 세트를 지원할 수 있다. 추후의 일반/고전적인 내부 예측 블록의 경우, MPM 플래그는 데이터 스트림에서 시그널링될 수 있으며 - 디코더가 그것을 디코딩하고 인코더가 그것을 인코딩함 -, 이 플래그는 해당 블록의 모드가 MPM 목록에서 선택되었는지 여부를 나타내며, 이 경우 이 MPM 목록에 대한 포인터/인덱스가 송신되며 - 디코더가 그것을 디코딩하고 인코더가 그것을 인코딩함 -, MPM 플래그는 블록(80)과 같은 LIP 또는 ISP 체계를 사용하는 내부 예측 블록의 경우 MPM 목록 제한을 시그널링하기 위해 추론된다. 특정 정상/클래식 내부 예측 블록에 대해 MPM 플래그가 MPM 모드가 사용되지 않는다고 시그널링하는 경우, 데이터 스트림의 해당 블록에 대한 인덱스/포인터가 존재하지 않으며, 인트라 예측 모드의 나머지 목록에 대한 대체 포인터/인덱스는 대신 해당 블록의 데이터 스트림에서 송신된다. 나머지 목록은 사용 가능한/지원되는 인트라 예측 모드 세트의 적절한 하위 세트일 수 있고, 특히, 사용 가능한/지원되는 인트라 예측 모드 세트와 비교하여 MPM 목록의 보완 세트일 수 있는데, 즉 사용 가능한/지원되는 인트라 예측 모드 세트의 모든 멤버는 MPM 목록 또는 나머지 세트의 멤버가 된다. MPM 목록에 대한 포인터/인덱스는 VLC로 코딩될 수 있는 반면 나머지 세트에 대한 포인터/인덱스는 고정 길이 코드를 사용하여 코딩될 수 있다. 당연히, LIP 또는 ISP 체계의 내부 예측 블록에 대해서도, MPM 플래그가 송신되고 인코더는 선택한 모드가 MPM 목록 또는 나머지 세트 중 얇은 지 여부에 따라 MPM 플래그를 설정하여 사용 가능한/지원되는 인트라 예측 모드 세트 중에서 원하는 모드를 자유롭게 선택할 수 있다.
MPM 목록은 동일할 수 있는데, 즉 정상/고전적인 내부 예측 블록 및 ISP/LIP 내부 예측 블록에 대해 인코더와 인코더에 의해 동일한 방식으로 결정될 수 있다. 그러나, ISP/LIP 인트라 예측 블록에 대한 MPM목록 사용을 시그널링하기 위해 MPM목록에 대한 제한 및 MPM 플래그의 추론 적용 여부에 관계없이, 대안적으로, MPM 목록은 ISP/LIP 모드의 통계에 적응하기 위해 ISP/LIP 인트라 예측 블록에 대해 다르게 결정될 수 있다. 예를 들어, MP 목록에서 DC 인트라 모드를 제외하고 ISP 수평 나눔, 즉 수평 방향(104)에 대한 수평 인트라 모드 및 수직 나눔, 즉 수직 방향(104)에 대한 수직 인트라 모드의 우선 순위를 지정하도록 변경할 수 있다. 즉, 일반/고전적인 인트라 예측 블록의 경우 MPM 목록은 사용 가능한/지원되는 인트라 예측 모드 세트의 적절한 하위 세트를 형성할 수 있으며, 모드는 특정 개념에 따라 선택되고 정렬된다. ISP/LIP 내부 예측 블록(80)의 경우, MPM 인덱스는 플래그(114)에 의해 시그널링되는 파티셔닝 방향(104)에 의존하고 및/또는 DC 모드 또는 DC 및 평면 모드보다 적은 이용 가능한/지원되는 인트라 예측 모드 세트의 적절한 하위 세트를 형성하는 MPM 목록을 가리킬 수 있으며, 즉, 사용 가능한/지원되는 인트라 예측 모드 세트에서 각도 모드의 적절한 하위 세트이다. 이전에 코딩/디코딩된 이전에 사용된 인트라 예측 모드에 기초한 MPM 목록 구성은 파티셔닝 방향(104)을 나타내는 플래그(114)가 수평인 경우 수평 차원에 더 가까운 각도 인트라 예측 방향의 각도 모드를 선호할 수 있고, 파티셔닝 방향(104)을 수직으로 표시하는 플래그(114)의 경우 각도 인트라 예측 방향의 각도 모드가 수직 차원에 더 가까운 것을 선호할 수 있다.
방금 제시된 설명과 관련하여, 정상적으로 처리되는 인트라 예측 모드와 본 명세서에 설명된 파티셔닝을 사용하여 처리되는 인트라 예측 모드 사이의 병치가 그럴 필요가 없다는 것이 다시 주목된다. 즉, 인코더 및 디코더는 예를 들어, 쓸모 없게 되는 파티셔닝 플래그(160)와 함께 여기에 제시된 파티셔닝을 사용하여 필연적으로 인트라 예측 블록(80)을 처리할 수 있다. 그러나, 플래그 160에 의해 시그널링된 파티셔닝 옵션이 인코더에 대한 하나의 결정으로 이용 가능하다면, 다음 설명은 인코더가 결정을 수행하는 방법에 대한 가능성을 나타내거나 파티션 모드가 특정 블록(80)에 대해 사용되어야 하는지 여부와 어떤 나눔 유형, 즉 수평 또는 수직이 가장 좋은지 알아낸다. 이를 수행하기 위해 인코더는 각각의 블록에 대해 서로 다른 인트라 예측 모드에 대해 두 옵션을 모두 테스트해야 한다. 인코더에 일반 옵션과 같은 옵션이 하나만 있는 경우에 비해 인코더는 더 많은 옵션을 테스트해야 하므로 속도가 느려진다. 이러한 영향을 줄이기 위해, 플래그(160)에 의해 시그널링된 파티션 모드는 다음 전략에 따라 인코딩에 의해 테스트될 수 있으며, 여기서 도 10 및 11을 참조한다.
1) 1D 파티션 모드는 테스트할 마지막 인트라 모드이다.
2) 1D 파티션 모드를 테스트할 때 지금까지 Cmin을 최소 비용이라고 하자.
3) 테스트할 인트라 모드와 나눔 유형의 조합을 선택한다.
4) 블록은 N개의 1D 파티션으로 파티셔닝되고 i가 각각의 파티션의 인덱스를 나타내도록 하며, 여기서 i=[1, N]이다.
5) 모든 파티션이 코딩된 후 하위 비용 Ji가 계산된다. 따라서 파티션 i가 코딩된 후 사용할 수 있는 모든 하위 비용의 합을 알 수 있으며, 이는 이다. 이 절차는 전체 블록의 최종 비용을 획득하기 위해 1D 파티션 하위 비용의 누적을 보여주는 도 10에 설명되어 있다.
6) 모든 파티션이 프로세싱된 후, 식 Si < Cmin이 평가된다. 참이면, 끝까지 파티션 코딩을 계속한다. 그렇지 않으면, 이 테스트 모드는 Cmin보다 낮은 RD 비용을 산출하지 않을 것이므로 프로세스가 중단되고 다음 인트라 모드 및 파티셔닝 유형 조합으로 이동하는 것이 보장된다.
7) 모든 1D 파티션이 코딩된 경우, 테스트 모드가 최상의 모드이고 그에 따라 Cmin이 업데이트된다.
이 절차의 장점은 1D 파티션 모드가 기존의 최소 비용보다 더 나은 비용을 산출하지 않는다는 것을 이미 알 수 있기 때문에 필요하지 않은 1D 파티션을 프로세싱하지 않는다는 것이다. 또한, RD 손실 측면에서 단점이 없다. 전체 프로세스는 도 11의 흐름도로 설명되어 있다.
방향(104)을 횡단하는 하나의 샘플 와이드 스트라이프(sample wide stripe)로 파티셔닝되는 것을 예시하는 위의 모든 실시예에서, 실시예 설명의 특정 세부 사항이 1차원 성을 활용하지 않는 한, 파티셔닝은 대안적으로 파티셔닝 더 넓어지는 방식으로 만들어져 2차원 파티션으로 이어질 수 있다는 것에 다시 유의한다. 파티셔닝과 관련된 추가 대안은 아래에 설명되어 있다.
즉, 위의 설명에서는 내부 예측 WxH 블록(80)이 1-D 파티션(102/112) 또는 라인으로 분할되는 라인 기반 인트라 예측(Line-based Intra Prediction, LIP) 코딩 모드 도구를 포함하는 것으로 간략하게 설명될 수 있는 실시예가 설명되었다. 그 후, 각각의 결과 라인(102/112)이 예측되고 잔차 신호가 생성되어 변환, 양자화 및 엔트로피 코딩되고 마지막으로 계수가 디코더로 전송되도록 설명되었다. 이러한 라인의 재구성된 샘플은 다음 라인 등을 예측하는 데 사용할 수 있다. 이 프로세스는 원래 블록 내의 모든 1-D 파티션이 코딩될 때까지 반복된다.
그러나, 이 LIP 개념과 관련하여 수정이 가능하다. 도 4를 논의할 때, 본 출원의 실시예는 파티셔닝하는/나누는 방향(104)을 따라 한 샘플 너비의 파티션(102/112)을 갖도록 제한되지 않는다는 것이 이미 언급되어 있다. 다음에 설명되는 실시예에서, 나누는 방향(104)을 따르는 너비는 1) 인트라 예측 모드가 각도 또는 비각도 모드인지 여부 및 2) 그 방향(104)을 따르는 인트라 예측 블록의 폭에 기초하여 정의된다.
1) WxH(W 및 H가 2의 거듭 제곱인 것으로 가정 됨) 블록(80)은 수평 또는 수직으로(예를 들어, 디코더로 전송되는 구문 요소(114)로 표시됨) wxh 차원의 K개의 동일한 파티션(102/112)으로 분할될 수 있으며, 그 값은 표 II에 설명되어 있다. 표 II에 따르면, 비각도 인트라 모드를 사용하여 예측되고 수직 파티셔닝(즉, 방향 104가 수직임)을 받는 W=16, H=8인 블록은 예를 들어 4개의 파티션(102)으로 나눠지는 것이며, 파티션 모두는 w=16 및 h=2인 차원을 가질 것이다. 이 예는 도 12a에 설명되어 있다. 각도 인트라 모드를 사용하여 동일한 블록(80)이 예측된다면, 그것은 각각 w=16 및 h=1차원을 갖는 8개의 파티션(102)으로 나눠질 것이다.
표 II: 추가 레이아웃 예 1에 대한 w, h 및 K 값
2) AW × H(W와 H가 2의 거듭 제곱이라고 가정하는 경우) 블록(80)은 대안적으로 수평 또는 수직으로(예를 들어, 디코더로 전송되는 구문 요소(114)로 표시됨) w × h 차원을 갖는 K개의 동일한 파티션으로 분할될 수 있으며, 여기서 K의 값은 고정되지 않고(따라서 구문 요소와 함께 디코더로 송신됨), 그 범위는 2와 S 사이의 2의 거듭 제곱일 수 있으며 여기서 S는 파티셔닝되는 차원이다. w 및 h의 값은 표 III에 설명된대로 획득된다.
표 III: 추가 레이아웃 예 2에 대한 w 및 h 값
대신, 차원(104)을 따른 파티션의 너비는 블록(80)에 대해 직접 시그널링될 수 있다.
3) WxH(W 및 H가 2의 거듭 제곱이라고 가정하는 경우) 블록(80)은 대안적으로 수평 또는 수직으로(예를 들어 디코더로 전송되는 구문 요소(114)로 표시됨) K개의 파티션(K는 W 및 H에 의존함)으로 분할될 수 있으며, wi×hi 차원이고, i=1,2,…이다. 나눔이 수평인 경우 S=H, si=hi, 수직인 경우 S=W, si=wi라고 하자). si 값의 다양한 옵션은 차원(104)를 따라 블록(80)의 폭을 측정하고 si는 차원(104)을 따라 파티션 i의 폭을 측정하는 S의 다른 값에 대해 표 IV에 설명되어 있다.
표 IV: 상이한 파티션 레이아웃에 대한 si 값
디코더에서 사용하는 옵션은 고정되어 있거나 디코더 측의 기존 파라미터 값에 따라 암시 적으로 결정될 수 있다.
4) WxH(W 및 H가 2의 거듭 제곱이라고 가정하는 경우) 블록(80)은 대안적으로 수평 또는 수직으로(예를 들어 디코더로 전송되는 구문 요소(114)로 표시됨) K개의 파티션(K는 W 및 H에 의존함)으로 분할될 수 있으며, wi×hi 차원이고, i=1,2,…이다. 나눔이 수평인 경우 S=H, si=hi, 수직인 경우 S=W, si=wi라고 하자). si의 값은 예 3)에 제시된 세 가지 옵션 중 블록을 하위 파티션으로 분할하는 데 사용되는 구문 요소를 통해 결정된다.
따라서, 위의 예들 1 내지 4에서 예시된 바와 같이, 파티셔닝은 하나의 차원(104)을 따라 수행될 수 있어, 파티션은 미리 결정된 차원에 수직인 미리 결정된 블록만큼 넓고, 미리 결정된 차원(104)을 따라 측정된 파티셔닝의 너비는 적어도 2개의 상이한 너비 설정 또는 옵션 중에서 선택된다. 인코더와 디코더 사이에서 선택을 동기적으로 유지하기 위해 명시적 또는 암시적 시그널링 개념이 사용될 수 있다. 따라서, 선택은 파티셔닝이 동일한 크기 및 모양의 블록 사이에서 변경될 수 있지만, 이 변경과 관련된 오버헤드는 상당히 낮게 유지되는 것을 가능하게 한다. 예를 들어, 선택은 미리 결정된 블록에 대한 인트라 코딩 모드가 각도 모드인지 아닌지에 따라 미리 결정된 블록에 대한 인트라 코딩 모드에 따라 행해질 수 있다. 선택은 또한 예 4에 도시된 바와 같이 적어도 2개의 상이한 너비 설정 중 미리 결정된 블록인덱싱에 대한 데이터 스트림의 인덱스에 따라 이루어질 수 있다. 파티션은 파티션 차원을 따라 하나 이상의 샘플 너비가 될 수 있다. 한 블록 내에서 파티셔닝/미리 결정된 방향을 따라 파티션 너비가 달라질 수 있다. 하나는 하나의 샘플 너비일 수 있는데, 즉 1차원 스트라이프이고 다른 하나는 하나 이상의 샘플 너비이며 2차원 샘플 필드이다.
또한, 위에서 제시된 LIP 개념 실시예 중 일부의 경우, 두 가지 유형의 프로세싱 순서(위 설명에서 파티션 순서 126이라고 함)가 각 블록(80)에 대해 사용 가능하도록 제안되었으며, 최종적으로 적용되는 순서는 블록(80)에 대해 사용된 인트라 모드에 따라 선택된다. 그러나 위에서 이미 언급했듯이, 파티션 순서(126)를 결정하기 위한 대안이 있다. 프로세싱 순서(126)는 하위 파티션(102/112)이 프로세싱될 순서를 나타낸다. 가능한 프로세싱 순서(126)는 왼쪽 상단 하위 파티션에서 시작하여 수평 파티셔닝의 경우 아래쪽으로, 수직 파티셔닝의 경우 오른쪽으로 또는 다른 경우에는 다른 파티셔닝이 파티션으로 사용될 래스터 스캔 방식과 같은 다른 순서와 같은 미리 결정된 순서로 계속되는 것으로 구성된다. 일반적으로, 프로세싱 순서(126)는 각각의 하위 파티션이 디코딩/프로세싱될 시간에 디코더 측에서 이용 가능한 기존 파라미터에 의해 결정될 수 있다. 즉, 디코더의 경우, 프로세싱 순서(126)는 즉석에서 결정되는 것, 즉 다양한 하위 파티션(102/112)을 예측하는 것과 교대로 결정될 수 있다. 이러한 기존 파라미터에는 인트라 모드, 하위 파티션 인덱스, 원본 블록의 크기, 하위 파티션의 크기, 현재 파티션의 CBF 플래그 등이 포함될 수 있다. 순서(126)는 또한 디코더에 직접 시그널링될 수 있다.
파티션(102/112)으로의 동일한 파티션을 사용하여 파티셔닝된 인트라 예측의 대상이 되는 블록(80)에 대해서도 파티션 순서를 변경하려는 동기는 도 5와 관련하여 위에서 이미 논의된 생각에서 비롯될 수 있다: 파티션(102/112)이 프로세싱되는 순서(126)를 변경하면 다양한 파티션(102/112) 사이에 예측 정확도를 분배할 수 있다. 예를 들어, 위에서 예시한 바와 같이, 파티션 순서(126)에 따라 먼저 프로세싱될 인접한 샘플 세트(118)로부터 더 멀리 위치한 파티션(102/112)을 선택하는 경우, 그 내부 예측은 그 파티션이 파티션 순서(126)에 따라 마지막으로 처리되는 경우보다 더 나빠질 것이며, 후자의 경우 해당 파티션을 채우는 데 사용되는 참조가 더 가깝다, 즉 즉, 기준 샘플 세트(118)를 향하는 측면에서 해당 파티션에 접하는 파티션에 있다는 것을 의미할 것이다. 도 5의 경우, 예를 들어, 파티션(1024)에 대해 획득된 인트라 예측 결과는 파티션 순서(126)에 따라 마지막으로 프로세싱되는 경우(이 경우 파티션(1024)은 파티션(1024)에 대해 바로 인접한 샘플을 포함하고 예를 들어 파티션(1023)의 샘플을 포함하는 인접한 샘플 세트에 기초한 예측을 산출할 것이다)에 비해 (블록(80) 외부의 인접한 샘플을 기반으로 예측이 획득되도록) 파티션 순서(126)에 따라 첫 번째인 경우 더 큰 예측 잔차를 유발할 것임이 명백하다. 그러나, 나머지 파티션에 대해서는 그 반대이다. 파티션 1024를 먼저 프로세싱하는 경우, 파티션(1024)에 대한 예측 잔차를 사용하는 그것의 재구성은 파티션 순서(126)에 따라 임의의 후속 처리된 파티션의 인접한 샘플 세트(118i)에 포함될 수 있으며, 그렇게 함으로써, 예를 들어 이들 파티션의 양측으로부터 블록(80)에 대한 인트라 예측 모드를 사용하여 도 5의 각각의 파티션(1021 내지 1023)의 내부를 예측하는 것을 가능하게 한다. 파티션 1024를 프로세싱하는 경우, 인접한 샘플 세트(118i)는 파티션(102i) 각각에 대한 각 파티션의 한 면에만 위치하며, 여기서 i=1…4이다. 즉, 파티션 1021 내지 1023과 관련하여 상황은 반대가 된다. 이러한 파티션의 경우, 파티션(1024)을 먼저 프로세싱하는 경우에 예측 잔차는 마지막 파티션(1024)을 프로세싱하는 것과 비교하여 더 낮을 것이다. 앞서 이미 언급한 것, 즉 순서는 파티셔닝 영역을 나란히 횡단하는 두 가지 옵션 사이에서 전환될뿐만 아니라, 여기서는 또한 미리 결정된 순서에 따라 모든 제2 파티션을 먼저 프로세싱한 다음 나머지 파티션을 동일한 순서로 또는 반대의 미리 결정된 순서로 프로세싱하는 것과 같은 추가 파티션 순서(126)를 허용할 수 있다는 사실이 고려되어야 할 것이다. 어떤 옵션이 가장 좋은지는 데이터 스트림의 블록(80)에 대한 순서(126)에 대한 각각의 추가 시그널라이제이션을 송신하여 인코더 측에서 다양한 순서 옵션을 테스트함으로써 결정될 수 있거나, 순서(126)는 동일한 크기 및 모양의 블록(80)이 동일한 방식으로 파티션(102/112)으로 파티셔닝되는 경우에도 순서(126)는 동일하지 않지만 이들 블록(80) 사이에서 다양한 방식으로 선택될 수 있다.
따라서, 블록(80)의 파티션이 프로세싱되는 파티션 순서는 적어도 2개의 다른 순서 중에서 선택될 수 있다. 인코더와 디코더 사이에서 선택을 동기적으로 유지하기 위해 명시적 또는 암시적 시그널링 개념이 사용될 수 있다. 따라서, 이 선택은 파티션 순서에서 미리 결정된 블록에 적용되는 동안 다른 순서가 다른 블록에 적용될 수 있으며, 또한 파티셔닝된 인트라 예측 개념을 사용하여 코딩되고 크기와 모양이 같고 동일한 파티션으로 파티셔닝된다. 인코더에 대한 파티션 프로세싱 순서를 선택하거나 크기, 모양 및 파티셔닝 이외의 다른 파라미터에 따라 파티셔닝 프로세싱 순서에 의존하는 제공의 자유는 파티셔닝된 내부 예측 모드의 효율성을 높이는 데 효과적이다. 적어도 2개의 상이한 순서 중에서 미리 결정된 블록에 대한 미리 결정된 파티션 순서(126)의 선택에 의존하는 방식으로, 특정 파티션(102i)의 예측자의 도출을 위해, 참조 샘플(118i)을 모집할 때 그 효과는 더 클 수 있다. 특히, 도시된 바와 같이, 모집된 참조 샘플(118i)은 하나의 이용 가능하거나 선택 가능한 파티션 순서의 경우 현재 파티션의 두 반대편에 위치할 수 있으며, 한편 다른 선택 가능한 파티션 순서의 경우, 파티션(120i)의 두 대향 측면 중 하나에만 위치할 수 있다. 차원(104)를 따라 파티션하는 경우, "측면"은 수직 방향(104)의 경우 상부 및 하부와 같은 방향을 따라 향하는 파티션(120i)의 측면에 의해, 수평 방향의 경우 좌측 및 우측에 의해 형성될 수 있지만, 아래에서 간략히 논의되는 또 다른 파티셔닝의 경우, "측면"은 블록(80) 외부에 위치한 참조 샘플 세트(118i)의 샘플을 마주 보는 파티셔닝의 한면과 파티셔닝의 한면으로 간단히 정의될 수 있으며, 블록(80) 내부, 즉 이전에 프로세싱된 파티션 중 하나에 위치한 참조 샘플 세트(118i)로부터 이러한 샘플을 마주 보게 된다. 예를 들어, 적어도 2개의 다른 선택 가능한 순서 중 하나가 미리 결정된 블록의 왼쪽 상단 모서리에서 가장 멀리 떨어진 파티션에서 시작하여 파티션을 횡단할 수 있고, 반면 적어도 2개의 상이한 선택 가능 순서 중 다른 하나는 미리 결정된 블록의 좌측 상단 코너에 가장 가까운 파티션으로부터 시작하여 파티션을 횡단할 수 있다.
해결해야 할 또 다른 문제는 잔차 코딩과 관련이 있다. 전술한 바와 같이, 변환 코딩을 사용하여 동일하게 수행될 수 있다. 각각의 하위 파티션(102/112)은 데이터 스트림에서 자신의 CBF(Coded Block Flag)(188), LP(Last Position) 구문 요소(190) 및 디코더로 송신될 변환 계수(198)를 가질 수 있다. 따라서, K개의 하위 파티션(102/112)을 갖는 CU와 같은 블록(80)에 대해, 0이 아닌 CBF를 갖는 각각의 파티션(102/112)에 대해 K개의 CBF(188) 및 하나의 LP(190)가 있을 것이다. 각각의 CBF(188)를 코딩하는 데 사용되는 컨텍스트는 예를 들어 순서(126)를 따라 동일한 블록 내에서 이전에 코딩된 하위 파티션의 CBF 값에 의존할 수 있다. 추가로, 설명된 개념이 모든 블록에서 사용되는지 여부를 나타내거나 전체 데이터 스트림 또는 특정 픽처의 슬라이스에 해당하는 범위에 있는지 여부를 나타내기 위해, 예를 들어, 여기에 설명된 파티셔닝된 인트라 예측 개념은 해당 범위 내의 모든 인트라 예측 블록(80)에서 사용되는지 여부 또는 일부가 하나의 조각으로 취급되도록 신호를 받았는지 여부, 즉 하나의 파티션으로만 파티셔닝되는지 여부를 나타내기 위해, 아직 언급되지 않은 추가 구문 요소가 데이터 스트림의 디코더로 송신될 수 있다.
마찬가지로, 각각의 하위 파티션이 하나의 변환을 사용하여 개별적으로 변환될 수 있고, 이에 의해 모두 0으로 양자화되지 않은 각각의 파티션(102/112)에 대해 하나의 변환이 생성될 수 있다는 것이 위에서 설명되었다. 특정 파티션(102/112)에 대한 변환으로서, 그 파티션(102/112)의 차원 중 하나가 1 인 경우를 제외하고는 2D 변환이 사용될 수 있으며,이 경우 1D 변환이 적용될 것이다. 변환 코어는 DCT-II 또는 하위 파티션이 디코딩될 때 디코더 측의 기존 파라미터에 의해 결정된 다른 변환일 수 있다. 예를 들어, 변환은 인트라 모드, 하위 파티션 인덱스 및 하위 파티션 차원 또는 후자의 일부 하위 세트의 조합에 따라 선택될 수 있다. 이는 또한 디코더에 직접 시그널링되거나 다르게 말하면, 예를 들어 블록(80) 내의 모든 파티션에 대해 또는 하나의 블록(80)의 각각의 파티션(102/112)에 대해 개별적으로 전송되는 추가 구문 요소의 형태로 시그널링될 수 있다.
하나의 양태는 또한 위에서 이미 논의된 양태와 관련이 있는데, 블록(80)의 파티션(102/112)의 잔차는 공간적 또는 일부 중간 변환 도메인에서의 양자화 후에 각 파티션 파티션의 예측 잔차를 개별적으로 변환에 적용함으로써 도달할 수 있으며, 그 후 양자화되는 변환 계수는 손실이 없거나 가역적 인 추가 변환의 대상이 된다는 사실이다. 따라서, 디코더는 예측으로부터 공간 도메인 또는 중간 변환 도메인의 각 파티션(102/112)에 대한 예측 잔차를 획득하기 위해 역 무손실 변환에 따라 전체 블록(80)에 대한 변환의 변환 계수 레벨을 획득할 수 있으며, 공간 도메인의 잔차는 각 파티션(102/112)에 대한 재변환에 의해 획득된다.
전술한 실시예의 변형에 따르면, 파티셔닝은 차원(104)을 따른 파티셔닝의 형태와는 다르게 수행될 수 있다는 것에 유의해야 한다. 이러한 변형을 사용하는 예측 내 코딩에는 유연한 인트라 예측 하위 파티셔닝(Flexible Intra Prediction Sub-partitioning, FIPS)과 같은 이름이 지정될 수 있다. 스트라이프(102/112)로 파티셔닝하는 대신, 블록(80)의 분할/파티셔닝은 블록(80)의 임의의 직사각형 하위 파티션을 초래할 수 있다. FIPS(Flexible Intra Prediction Sub-partitioning)는 WxH 인트라 예측 블록(80)을 wixhi 크기의 K 직사각형 비 중첩 하위 파티션으로 분할되며, 여기서 i=1,2,…이다. 하위 파티션의 결과 레이아웃은 완벽하게 압축되며, 이는 하위 파티션의 면적의 합이 원래 블록의 면적과 동일함을 의미하는데, 즉 이다. 도 12b는 참조 부호(102)가 파티션을 위해 재사용된 블록(80)의 이러한 일반화된 분할의 예를 도시한다. 이 경우, 16x8 블록(80)은 K=7 하위 파티션(102)으로 분할되며, 그 차원은 표 V에 정의되어 있다.
표 V: 도 12b에 도시된 하위 파티션의 크기
지금까지, 위에서 설명된 실시예는 방금 언급된 파티셔닝의 예시적인 파티셔닝을 산출한다. 예를 들어, 도 4는 블록(80)의 FIPS 분할에 대한 두 가지 예를 보여준다. 그러나, 이 경우 모든 하위 파티션(102/112)은 동일한 크기를 갖는다. 특히, 차원(104)에 수직인 이들은 블록의 너비를 갖는 반면, 차원(104)을 따라서는 차원(104)을 따른 블록의 폭의 특정 부분에 대응하는 동일한 너비를 갖는다. 상기 파티션(102/112) 중 임의의 것과 마찬가지로, FIPS에서 생성된 하위 파티션(102) 각각이 예측되고 결과적인 잔차 신호가 예를 들어 개별적으로 변환, 양자화 및 코딩된다. 따라서, 그것의 재구성된 값은 아직 코딩/디코딩되지 않은 다른 하위 파티션(102)을 예측하는 데 사용될 수 있다. 예를 들어, 도 12b에 도시된 블록(80)의 경우, 하위 파티션 번호 1이 먼저 예측될 수 있고 그 다음 재구성된 샘플이 하위 파티션 번호 2 및 3을 예측하는 데 사용될 수 있다. 이 프로세스는 모든 하위 파티션이 코딩/디코딩될 때까지 반복된다.
FIPS 일반화를 요약하면, 예측된 블록(80)을 파티션(102/112)으로 파티셔닝하는 것은 예를 들어, 블록(80)을 다양한 크기의 직사각형 파티션으로 재귀적 멀티 트리 세분화를 사용하거나 파티션을 정의할 수 있는 다른 가능성을 사용하는 것과 같이 위에서 논의된 것과 다른 방식으로 데이터 스트림을 통해 정의되고 시그널링될 수 있다. 예를 들어, 파티셔닝은 블록(80)의 파티셔닝이 수평 스트라이프(102)인지 수직 스트라이프(112)인지를 결정하기 위해 위에서 논의된 바와 같이 차원(104)의 도출에 의해, 그리고 인트라 예측 모드에 따라 스트라이프의 가로 너비, 즉 가로 스트라이프(102)의 높이와 세로 스트라이프(112)의 너비에 의존하여 정의될 수 있다. 예를 들어, 위에서 논의된 바와 같이, 블록(80)에 대한 데이터 스트림에서 전송되는 일부 구문 요소에 따라 또는 인트라 예측 모드 파라미터에 추가하여 또는 다양한 파티션에 대한 데이터 스트림에서 전송된 예측 잔차로부터 도출 가능한 정보와 같은 데이터 스트림으로 전송된 일부 다른 정보에 따라 달라질 수 있는 프로세싱/파티션 순서(126)를 변경할 수 있는 가능성과 같이, 위에서 논의된 다른 모든 가능성이 남아있다.
또한, 블록(80)의 다양한 파티션에 대한 예측 잔차가 이들 파티션의 개별적인 인트라 예측과 관련하여 교대 방식으로 파티션별로 순차적으로 데이터 스트림으로 양자화되고 코딩된다는 것이 위에서 이미 논의되었다. 이것은 도 5와 도10 및 도 11과 관련하여 설명되었다. 그러나, 디코더는 한편으로는 잔차 디코딩과 한편으로는 인트라 예측과 다른 한편으로는 예측 잔차를 결합하여 다양한 파티션의 재구성을 번갈아 가며 디코딩을 수행할 필요가 없다. 즉, 특정 블록(80)을 디코딩할 때, 디코더는 다양한 파티션의 개별 인트라 예측을 포함하는 실제 재구성 절차로부터 다양한 파티션에 대한 예측 잔차(120)의 디코딩을 분리할 수 있다. 도 5 참조: 디코더는 데이터 스트림(14)으로부터 모든 파티션의 예측 잔차(120), 즉 하나의 프로세싱 작업에 따라 블록(80)에 대한 예측 잔차(1201 내지 1204)를 디코딩할 수 있고, 디코더는 다른 작업에 따라, 파티션 순서(126)에 따라 파티션별로 블록(80)의 내부를 재구성하기 위해 파티션(102i)의 예측 잔차(120i)를 사용할 수 있다. 이를 위해 디코더는 제2 작업에서 블록(80)의 인트라 예측 모드를 사용하여 파티션(120i)별로 인트라 예측을 수행하고, 그 다음에 제1 작업에서 획득한 예측 잔차(120i)를 추가하고, 그 다음에 공간 예측을 수행하기 위해 파티션 순서(126)에서 다음 파티션(120i+1)으로 스텝핑함으로써 블록(80)의 재구성을 계속하고, 이어서 인트라 예측 결과를 수정하기 위해 그 파티션의 예측 잔차를 사용하여 재구성을 수행한다. 디코더는 예측 잔차를 사용하여 예측 및 예측 수정을 수행하는 제2 작업을 시작하기 전에 데이터 스트림(14)으로부터 예측 잔차(120)를 완전히 도출하는 제1 작업을 수행할 수 있고, 또는 디코더는 특정 파티션(102i)의 예측 잔차(120i)가 필요한 시간에 준비된다는 것을 보장하기 위한 측정을 제공하는 것과 병렬로, 즉 해당 파티션(102i)에 대한 예측 결과가 블록의 인트라 예측 모드를 사용하여 얻어지고 수정되어야 할 때에 2개의 작업을 수행할 수 있다. 특히, 제1 작업 또는 단계 동안, 디코더는 모든 0이 아닌 파티션, 즉 예측 잔차(120i)가 0이 아닌 것으로 시그널링되는 모든 파티션(102)에 대해 모든 역변환을 병렬로 수행할 수 있다.
측면과 마찬가지로, 파티션 i의 잔차(120i)가 변환 도메인에서 양자화되는 위의 실시예에 따르면, 이러한 파티션의 재구성된 샘플이 특정 허용된 샘플 값 범위를 벗어나거나, 즉 초과하거나 성공할 수 있음을 알 수 있다. 위에서 논의된 바와 같이, 이들은 순서(126)를 따르는 파티션 j에 대한 참조 샘플(118j)의 멤버로서 작용할 수 있다. 일 실시예에 따르면, 이들 샘플은 전체 블록(80)에 대한 최종 클리핑 단계로서 블록(80)의 이들 샘플의 클리핑을 수행하면서 순서(126)에 따르는 파티션 j를 예측하기 위한 목적으로 남겨져, 예를 들어 디코더 측면에서 구현 편의성을 높인다. 따라서, 파티션(102i)에 대한 예측자를 도출할 때, 현재 파티션에 대한 참조 역할을 하는 하나 이상의 이미 재구성된 샘플(118i) 중 하나 인 파티션 순서(126)에 따라 이 파티션(102i)을 선행하는 파티션의 재구성된 샘플이 아직 클리핑된(clipped) 상태가 아니며, 여기서 재구성된 샘플을 아직 클리핑되지 않은 상태에서 허용된 샘플 값 범위로 클리핑된 상태로 클리핑하는 것은 순차 재구성을 수행한 후 최종적으로 미리 결정된 블록을 재구성하기 위해 마지막에 발생한다. 인코더 측에서, 클리핑은 디코더와의 참조 동기화를 유지하기 위해 후속 인코딩된 블록에 대한 예측 참조 역할을 하는 그러한 샘플의 재구성된 버전을 획득하기 위해 단순히 수행된다. 그러나, 이러한 최종 정리 종류의 클리핑은 단지 예일 뿐이며, 클리핑은 즉시, 즉 파티셔닝 i의 재구성된 샘플이 후속 프로세싱된 파티셔닝 j에 대한 참조 샘플(118j) 역할을 하기 전에 즉시 수행될 수 있다.
지금까지 논의된 실시예 중 구체적인 예를 사용하여 이하에 설명한다. 특히,이 실시예에 따르면, 데이터 스트림(14)은 동일한 것이 LIP 또는 ISP 방식을 사용하여 코딩되는지 여부를 나눔 모드 플래그(160)를 통해 인트라 코딩된 블록(80)에 대해 시그널링한다. 데이터 스트림(14)의 대응하는 구문 요소는 intra_subpartitions_mode_flag로 명명될 수 있다. 예를 들어, 이 플래그가 하나이면, 인트라 코딩된 블록(80)은 LIP 또는 ISP 방식을 사용하여 코딩될 수 있고, 블록(80)은 정상적인 인트라 예측을 사용하여 코딩될 수 있고, 그렇지 않으면 블록(80)이 코딩된다. 예를 들어, LIP 또는 ISP 방식은 특정 하나 이상의 조건이 충족되는 경우에만 현재 인트라 코딩된 블록(80)에 대해 이용 가능할 수 있다. 예를 들어, 하나 이상의 조건은 다음을 포함할 수 있다: 인트라 코딩된 블록(80)은 예를 들어 블록(80)의 샘플 수와 관련하여 어떤 최소 크기보다 클 필요가 있고, 및/또는 인트라 코딩된 블록(80)은 예를 들어 너무 큰 변환 크기로 이어지지 않기 위해 적어도 수평 및 수직 둘 다에서 특정 차원을 초과하도록 허용되지 않을 수 있다. 더 정확하게 말하면, LSP 또는 ISP 모드는 블록(80)이 적어도 하나의 방향, 즉 수평 또는 수직으로 방금 언급한 최대 변환 관련 크기보다 작거나 같은 경우에만 사용 가능할 수 있다. 따라서, intra_subpartitions_mode_flag는 블록(80)이 방금 언급한 조건을 충족하는 경우에만 데이터 스트림에 존재할 수 있다. 그렇지 않으면, 디코더는 인트라 코딩된 블록(80)이 정상적으로 인트라 코딩되는 것으로 추론할 수 있다. 파티션 차원 플래그(114)는, 나눔 모드 플래그의 경우, 인트라 코딩된 블록(80)에 대해 시그널링될 수 있으며, intra_subpartitions_mode_flag은 인트라 코딩된 블록(80)이 LSP 또는 ISP 코딩된 블록임을 나타낸다. 그러나,이 intra_subpartitions_mode_flag는 불가피하게 명시적으로 시그널링되지 않고 특정 상황에서 특정 파티션 차원(104)을 표시하도록 추론될 수 있다. 예를 들어, 전술 한 최대 변환 크기를 초과하는(그러나 높이가 없는) 너비를 갖는 인트라 코딩된 블록(80)의 경우, 파티션 차원(104)은 수평이어야 하고, 블록(80)의 높이가 방금 언급된 최대 변환 크기를 초과하는 경우(그러나 너비는 동일을 초과하지 않음), 차원(104)은 수직이어야 할 수 있다. 두 경우 모두 intra_subpartitions_split_flag는 데이터 스트림에서 명시적으로 시그널링되지 않고 디코더에 의해 그에 따라 추론된다. 인트라 코딩 모드(116)는 위에서 설명된 바와 같이, 즉 인코더 및 디코더 측에서 구성되는 가장 가능성 있는 인트라 예측 모드의 목록을 사용하여 데이터 스트림에서 시그널링될 수 있다. LIP 또는 ISP 인트라 코딩된 블록(80)의 경우, 데이터 스트림(14)은 필연적으로, 예를 들어 intra_luma_mpm_IDX라고 불리는 아마도 인트라 예측 모드의 목록을 가리키는 MPM 목록 포인터를 통해 인트라 코딩 모드를 시그널링할 수 있으며, 이 포인터는 인트라 코딩된 블록이 LIP 또는 ISP 방식으로 코딩되지 않는 경우 MPM 플래그가 데이터 스트림(14)에서 선행될 수 있다. 예를 들어 intra_luma_mpm_flag라는 MPM 플래그에 특정 플래그 상태가 있는 경우, 가장 가능성 있는 예측 내 모드 목록에 대한 포인터 대신, 인트라 예측 모드의 리마인더(reminder) 목록에 대한 포인터는 데이터 스트림에서 시그널링된다. 그러나 위에서 언급했듯이 이것은 단지 예일 뿐이고, 시그널링 가능한 인트라 예측 모드 세트는 동일할 수 있는데, 즉 정상적으로 코딩된 인트라 예측 블록과 LIP 또는 ISP 인트라 예측 블록 모두에 대해 지원되는 모든 인트라 예측 모드를 포함할 수 있다. 예를 들어, intra_luma_mpm_flag는 두 유형의 인트라 코딩된 블록 모두에 대해 전송될 수 있다. 대안적으로, 두 유형의 인트라 예측 블록에 대해 전송된 포인터는 두 유형의 인트라 코딩된 블록에 대해 MPM 플래그 없이 지원되는 인트라 예측 모드의 전체 목록을 직접 가리킬 수 있다. 인트라 코딩된 블록(80)이 LIP 또는 ISP 방식을 사용하여 코딩되는 경우, 파티션(102/112)의 수는 다음과 같이 정의 수 있다. 특히 인코더와 디코더는 블록(80)의 크기에 따라 파티션의 수를 결정할 수 있다. 데이터 스트림에서 신호가 소비되지 않을 것이다. 작은 블록 크기의 경우 개수는 2개가 될 수 있지만 파티션(102/112)의 개수는 그렇지 않으면 4개이다. 파티션의 인트라 예측 및 데이터 스트림에서 예측 잔차의 코딩이 수행되는 파티션 순서는 수평 방향(n14)의 경우 최 좌측 파티션에서 가장 먼 파티션까지 순차적으로 수직 파티션 방향의 경우 최상 파티션에서 파티션 방향(104)을 따라 이어질 수 있다. 이것에도 신호가 소비되지 않을 것이다. 잔차 변환은 전술한 바와 같이 파티션(102/112)마다 수행될 수 있다. 즉, 각각의 파티션을 개별적으로 변환될 수 있다. 이에 비해, 정상적으로 인트라 코딩된 블록(80)의 경우, 변환의 수는 다음과 같이 인트라 코딩된 블록(80)의 크기에 따라 달라질 수 있다: 인트라 코딩된 블록이 앞서 언급한 수평 및 수직 최대 변환 크기보다 작은 경우, 인트라 코딩된 블록의 80 잔차는 하나의 변환을 사용하여 코딩되는데, 즉 블록의 80 잔차는 완전히 하나의 변환에 종속된다. 가로로 최대 변환 크기를 초과하는 경우, 인트라 코딩된 블록(80)은 절반이 되도록 수평으로 2개의 절반 또는 상응하는 수의 변환 블록으로 나뉘고, 또는 변환 블록은 최대 변환 크기를 충족하고 블록(80)의 잔차물은 절반/변환 블록당 하나의 변환을 받는다. 수직으로 최대 변환 크기를 초과하는 블록(80)의 경우에도 동일하게 적용된다. 수직 및 수평 모두 최대 변환 크기를 초과하는 경우, 4개 또는 대응하는 수의 변환이 이 블록(80)의 4개 사분면에서 블록(80)의 잔차물 또는 블록(80)의 정규 2차원 세분화를 대응하는 수의 변환 블록으로 변환하는 데 사용된다. 게다가, 정상 인트라 코딩된 블록(80)의 처리는 일반적으로 인트라 코딩된 블록이 블록으로(en block) 인트라 예측된다는 점에서 LIP 또는 ISP 코딩된 인트라 코딩된 블록(80)의 처리에서 벗어날 수 있다. 즉, 하위 파티션이 아니다. 추가 차이는 블록(80)의 예측 잔차를 코딩하기 위한 변환의 코딩과 관련될 수 있다. 각각의 변환에 대해, tu_cbf_luma와 같은 코딩된 블록 플래그(188)가 송신될 수 있으나, 일반적으로 인트라 코딩된 블록(80)의 경우에는, 이 플래그는 블록(80) 내의 각 변환에 대해 필연적으로 코딩 될 수 있으며, 이 플래그는 블록(80)이 LIP 또는 ISB 코딩되고 이전 변환에 대한 모든 이전 CBF가 0인 경우 블록(80)의 마지막 변환에 대해 1인 것으로 추론될 수 있다. 또한, 각각의 변환 내의 하위 블록의 차원의 선택은 한편으로는 일반적으로 인트라 코딩된 블록(80)과 다른 한편으로는 LIP 또는 ISP 코딩된 블록(80) 사이에서 상이할 수 있다. 자세한 내용은 위에 설명되어 있다. 그러나, 대안적으로, 변환(182)을 하위 블록으로 세분화하는 것은 일반적으로 인트라 코딩된 블록 및 LIP 또는 ISP 코딩된 블록에 대해 동일하게 수행될 수 있다. 예를 들어, log2SbW 및 log2SbH를 하위 블록의 너비와 높이의 로그 이중으로 하고 log2TbWidth 및 log2TbHeight를 변환의 너비와 높이로 각각 지정한다. 그런 다음 하위 블록 차원을 다음과 같이 결정할 수 있다:
위의 의사 코드는 표 1에 명시된 크기의 하위 블록을 생성한다. 인트라 코딩된 블록(80)의 고유 한 최소 크기 및 일반적으로 인트라 코딩된 블록의 비세분화로 인해, 단지 4x4 계수의 하위 블록만이 정상적으로 인트라 코딩된 블록(80)에 대해 생성되는 것일 수 있다. 방금 설명한 예는 2개의 파티션(102/112)으로만 파티셔닝된 블록을 포함하여 다양한 크기의 LIP 또는 ISP 내부 예측 블록으로 이어질 수 있고, 이러한 LIP 또는 ISP 내부 예측 블록이 존재하는지 여부에 관계없이, 2개 이상의 파티션으로 파티셔닝된 LIP 또는 ISP 내부 예측 블록이 있다는 것에 마지막으로 유의해야 한다.
일부 양태가 장치의 맥락에서 설명되었지만, 이러한 양태가 또한 대응하는 방법의 설명을 나타내는 것이 명백하며, 여기서 블록 및 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계의 문맥에서 설명된 양태은 또한 대응하는 블록 또는 아이템의 설명 또는 대응하는 장치의 특징을 나타낸다. 방법 단계의 일부 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시예에서, 가장 중요한 방법 단계 중 하나 이상이 그러한 장치에 의해 실행될 수 있다.
본 발명의 데이터 스트림은 디지털 저장 매체에 저장될 수 있거나 인터넷과 같은 유선 송신 매체 또는 무선 송신 매체와 같은 송신 매체를 통해 송신될 수 있다.
특정 구현 요건에 따라, 본 발명의 실시예는 하드웨어로 또는 소프트웨어로 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그래밍 가능한 컴퓨터 시스템과 협력하는(또는 협력할 수 있는) 전기적으로 판독 가능한 제어 신호가 저장된, 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루 레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.
본 발명에 따른 일부 실시예는 본원에 설명된 방법 중 하나가 수행되도록 프로그래밍 가능 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행되는 경우 방법들 중 하나를 수행하도록 동작하는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 프로그램 코드는 예를 들어 머신 판독 가능 캐리어에 저장될 수 있다.
다른 실시예는 기계 판독 가능 캐리어 상에 저장된, 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다시 말해, 본 발명의 방법의 실시예는, 따라서, 컴퓨터 프로그램이 컴퓨터 상에서 실행되는 경우, 본원에 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 다른 실시예는 그 위에 기록된, 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터 판독 가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 통상적으로 유형 및/또는 비일시적이다.
따라서, 본 발명의 방법의 다른 실시예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호의 시퀀스이다. 데이터 스트림 또는 신호의 시퀀스는 데이터 통신 접속을 통해, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.
다른 실시예는 본원에 설명된 방법 중 하나를 수행하도록 구성되거나 적응된 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그램 가능 논리 디바이스를 포함한다.
다른 실시예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 다른 실시예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에(예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수 있다.
일부 실시예에서, 프로그램 가능 논리 디바이스(예를 들어, 필드 프로그램 가능 게이트 어레이)는 본원에 설명된 방법의 기능 중 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 실시예에서, 필드 프로그램 가능 게이트 어레이는 본원에 설명된 방법 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.
본원에 설명된 장치는 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본 명세서에 기재된 장치 또는 본 명세서에 설명된 장치의 임의의 구성 요소는 적어도 부분적으로 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
본원에 설명된 방법은 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.
본 명세서에 설명된 방법 또는 본 명세서에 설명된 장치의 임의의 구성 요소는 적어도 부분적으로 하드웨어 및/또는 소프트웨어에 의해 수행될 수 있다.
위에서 설명된 실시예는 본 발명의 원리를 예시하기 위한 것일 뿐이다. 본원에 설명된 구성 및 세부사항의 수정 및 변형은 당업자에게 명백할 것임을 이해한다. 따라서, 곧 있을 청구범위의 범위에 의해서만 제한되고 본원의 실시예에 대한 기술 및 설명에 의해 제공된 특정 세부사항에 의해서만 한정되는 것은 아니다.

Claims (16)

  1. 데이터 스트림으로부터 픽처를 블록 기반 디코딩하기 위한 디코더에 있어서, 상기 픽처는 디코딩될 복수의 블록을 포함하고, 상기 디코더는:
    프로세서; 및
    상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    상기 복수의 블록 중 현재 블록에 대한 인트라 코딩 모드를 결정하고 - 상기 현재 블록은 파티션 차원을 따라 다수의 파티션으로 파티셔닝되고, 상기 파티션의 개수는 2보다 큼 - ;
    상기 현재 블록의 현재 파티션에 대해;
    상기 현재 파티션에 이웃하는 하나 이상의 이미 재구성된 샘플에 기초하여 상기 현재 블록의 상기 인트라 코딩 모드를 사용하여 상기 현재 블록의 상기 현재 파티션에 대한 예측자를 도출함으로써;
    상기 현재 파티션에 대한 예측 잔차를 결정함으로써,
    - 상기 현재 파티션이 상기 현재 블록의 마지막 파티션이 아닌 경우, 미리 결정된 파티션 순서에 따라 상기 데이터 스트림으로부터 코딩된 파티션 플래그를 디코딩하고,
    상기 현재 파티션이 상기 미리 결정된 파티션 순서에 따라 상기 현재 블록의 상기 마지막 파티션이고, 상기 현재 블록에서 이전에 재구성된 각 파티션에 대한 각 코딩된 파티션 플래그가 0이면, 상기 현재 파티션에 대한 상기 코딩된 파티션 플래그가 1이라고 추론하고,
    상기 코딩된 파티션 플래그가 1이거나 1로 추론되는 경우, 상기 데이터 스트림으로부터 상기 현재 파티션의 변환 계수를 디코딩하고, 상기 현재 파티션에 대한 상기 예측 잔차를 얻기 위해 상기 현재 파티션에 대한 상기 변환 계수의 역변환을 수행하고;
    상기 코딩된 파티션 플래그가 0이면, 상기 현재 파티션에 대한 상기 예측 잔차를 0이라고 추론함 - ;
    상기 현재 파티션에 대한 상기 예측자와 예측 잔차를 결합함으로써,
    상기 파티션 차원을 따라 미리 결정된 파티션 순서로 상기 현재 블록의 각 파티션을 순차적으로 재구성하도록
    하는 명령어를 저장하는 메모리
    를 포함하는, 디코더.
  2. 제1항에 있어서, 상기 데이터 스트림으로부터 상기 코딩된 파티션 플래그를 디코딩하는 것은 상기 미리 결정된 파티션 순서에서 상기 현재 파티션에 선행하는 선행 파티션에 대해 디코딩된 상기 코딩된 파티션 플래그에 의존하는 컨텍스트를 사용하여 컨텍스트 종속 엔트로피 디코딩을 사용하여 수행되는, 디코더.
  3. 제1항에 있어서, 상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    상기 코딩된 파티션 플래그가 1이거나 1로 추론되는 경우,
    상기 변환 계수를 스캐닝하는 미리 결정된 스캔 순서를 따라 마지막 변환 계수 위치를 나타내는 마지막 위치 표시를 상기 데이터 스트림으로부터 디코딩함으로써; 및
    상기 데이터 스트림으로부터 상기 미리 결정된 스캔 순서를 따라 상기 마지막 변환 계수 위치까지 변환 계수를 디코딩하고 상기 미리 결정된 스캔 순서를 따라 상기 마지막 변환 계수 위치를 넘어선 변환 계수를 0이라고 추론함으로써
    상기 데이터 스트림으로부터 상기 현재 파티션의 상기 변환 계수를 디코딩하도록
    하는 명령어를 더 저장하는, 디코더.
  4. 제1항에 있어서, 상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 상기 픽처의 상기 현재 블록에 대한 파티션 차원 플래그를 상기 데이터 스트림으로부터 디코딩하고 상기 파티션 차원 플래그에 따라 상기 파티션 차원을 수평 또는 수직으로 설정하게 하는 명령어를 더 저장하는, 디코더
  5. 제1항에 있어서, 상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금: 상기 인트라 코딩 모드가 각도 모드인 경우, 상기 인트라 코딩 모드에 의존하는 방식으로 상기 현재 파티션에 이웃하는 하나 이상의 이미 재구성된 샘플에 의존하여 상기 현재 파티션에 대한 예측자를 유도할 때, 상기 이미 재구성된 샘플에 사전 필터링 없이 상기 각도 모드에 따라 달라지는 필터를 적용하도록 하는 명령어를 더 저장하는, 디코더.
  6. 제1항에 있어서, 상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    상기 파티션 차원을 따른 상기 현재 블록의 크기;
    상기 현재 블록에 대한 상기 인트라 코딩 모드;
    상기 현재 블록에 대한 상기 인트라 코딩 모드가 각도 모드인지 여부; 또는
    파티션의 수를 나타내거나 너비를 나타내는 데이터 스트림의 상기 현재 블록에 대한 구문 요소
    중 적어도 하나에 따라, 상기 파티션 차원을 따라 측정된 상기 파티션의 너비를 설정하도록 하는 명령어를 더 저장하는, 디코더.
  7. 데이터 스트림에 픽처를 블록 기반 인코딩하기 위한 인코더에 있어서, 상기 픽처는 인코딩될 복수의 블록을 포함하고, 상기 인코더는:
    프로세서; 및
    상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    상기 복수의 블록 중 현재 블록에 대한 인트라 코딩 모드를 결정하고;
    파티션 차원을 따라, 상기 현재 블록을 다수의 파티션으로 파티셔닝하고, - 상기 파티션의 개수는 2보다 큼 - ;
    상기 현재 블록의 현재 파티션에 대해,
    상기 현재 파티션에 이웃하는 하나 이상의 이미 인코딩된 샘플에 기초하여 상기 현재 블록의 상기 인트라 코딩 모드를 사용하여 상기 현재 블록의 상기 현재 파티션에 대한 예측자를 도출함으로써,
    상기 파티션 차원을 따라 미리 결정된 파티션 순서에 따라 상기 현재 블록의 각 파티션을 순차적으로 처리하고;
    상기 현재 파티션에 대한 예측 잔차를 결정하도록
    - 상기 현재 파티션이 상기 현재 블록의 마지막 파티션이 아닌 경우, 상기 미리 결정된 파티션 순서에 따라 코딩된 파티션 플래그를 상기 데이터 스트림에 인코딩하고, 상기 코딩된 파티션 플래그가 1이면, 상기 현재 파티션의 변환 계수를 상기 데이터 스트림에 인코딩하고, 상기 코딩된 파티션 플래그가 0이면, 상기 현재 파티션에 대한 변환 계수 인코딩을 건너뛰고;
    상기 현재 파티션이 상기 미리 결정된 파티션 순서에 따라 상기 현재 블록의 상기 마지막 파티션이고, 상기 현재 블록에서 이전에 재구성된 각 파티션에 대한 각 코딩된 파티션 플래그가 0이면, 상기 현재 파티션에 대한 상기 코딩된 파티션 플래그의 인코딩을 건너뛰고 상기 현재 파티션의 변환 계수를 데이터 스트림에 인코딩함 -
    하는 명령어를 저장하는 메모리
    를 포함하는, 인코더.
  8. 제7항에 있어서, 상기 현재 파티션에 대한 상기 코딩된 파티션 플래그를 상기 데이터 스트림에 인코딩하는 것은 상기 미리 결정된 파티션 순서에서 상기 현재 파티션에 선행하는 이전 파티션에 대해 인코딩된 상기 코딩된 파티션 플래그에 의존하는 컨텍스트를 사용하여 컨텍스트 종속 엔트로피 인코딩을 사용하여 수행되는, 인코더.
  9. 제7항에 있어서, 상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    상기 코딩된 파티션 플래그가 1이거나 상기 현재 파티션이 상기 미리 결정된 파티션 순서를 기반으로 상기 파티션 순서의 마지막 파티션이고 상기 미리 결정된 파티션 순서에서 상기 현재 파티션에 선행하는 각 파티션에 대한 각 코딩된 파티션 플래그가 설정되지 않은 경우,
    미리 결정된 스캔 순서 스캐닝 변환 계수를 따라 마지막 변환 계수 위치를 나타내는 마지막 위치 표시를 상기 데이터 스트림에 인코딩함으로써; 및
    상기 미리 결정된 스캔 순서를 따른 상기 마지막 변환 계수 위치까지의 변환 계수를 상기 데이터 스트림에 인코딩함으로써 - 상기 미리 결정된 스캔 순서를 따른 상기 마지막 변환 계수 위치를 넘어선 변환 계수는 0으로 설정됨 - ,
    상기 현재 파티션의 상기 변환 계수를 상기 데이터 스트림에 인코딩하도록
    하는 명령어를 더 저장하는, 인코더.
  10. 제7항에 있어서, 상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    상기 파티션 차원을 수평 또는 수직으로 결정하고,
    상기 파티션 차원이 수평인지 수직인지를 나타내는 상기 픽처의 상기 현재 블록에 대한 파티션 차원 플래그를 상기 데이터 스트림에 인코딩하도록
    하는 명령어를 더 저장하는, 인코더.
  11. 제7항에 있어서, 상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금: 상기 인트라 코딩 모드가 각도 모드인 경우,
    상기 인트라 코딩 모드에 의존하는 방식으로 상기 현재 파티션에 이웃하는 하나 이상의 이미 인코딩된 샘플에 의존하여 상기 현재 파티션에 대한 예측자를 유도할 때, 상기 이미 인코딩된 샘플에 사전 필터링 없이 상기 각도 모드에 따라 달라지는 필터를 적용하도록
    하는 명령어를 더 저장하는, 인코더.
  12. 제7항에 있어서, 상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    상기 파티션 차원을 따른 상기 현재 블록의 크기;
    상기 현재 블록에 대한 상기 인트라 코딩 모드;
    상기 현재 블록에 대한 상기 인트라 코딩 모드가 각도 모드인지 여부; 또는
    파티션의 수를 나타내거나 너비를 나타내는 데이터 스트림내의 상기 현재 블록에 대한 구문 요소
    중 적어도 하나에 따라, 상기 파티션 차원을 따라 측정된 상기 파티션의 너비를 설정하도록 하는 명령어를 더 저장하는, 인코더.
  13. 데이터 스트림으로부터 픽처를 블록 기반 디코딩하기 위한 방법에 있어서, 상기 픽처는 디코딩될 복수의 블록을 포함하고, 상기 방법은:
    상기 복수의 블록 중 현재 블록에 대한 인트라 코딩 모드를 결정하는 단계 - 상기 현재 블록은 파티션 차원을 따라 다수의 파티션으로 파티셔닝되고, 상기 파티션의 개수는 2보다 큼 - ; 및
    상기 현재 블록의 현재 파티션에 대해;
    상기 현재 파티션에 이웃하는 하나 이상의 이미 재구성된 샘플에 기초하여 상기 현재 블록의 상기 인트라 코딩 모드를 사용하여 상기 현재 블록의 상기 현재 파티션에 대한 예측자를 도출하는 단계;
    상기 현재 파티션에 대한 예측 잔차를 결정하는 단계,
    - 상기 현재 파티션이 상기 현재 블록의 마지막 파티션이 아닌 경우, 상기 미리 결정된 파티션 순서에 따라 상기 데이터 스트림으로부터 코딩된 파티션 플래그를 디코딩하고,
    상기 현재 파티션이 상기 미리 결정된 파티션 순서에 따라 상기 현재 블록의 상기 마지막 파티션이고, 상기 현재 블록에서 이전에 재구성된 각 파티션에 대한 각 코딩된 파티션 플래그가 0이면, 상기 현재 파티션에 대한 상기 코딩된 파티션 플래그가 1이라고 추론하고,
    상기 코딩된 파티션 플래그가 1이거나 1로 추론되는 경우, 상기 데이터 스트림으로부터 상기 현재 파티션의 변환 계수를 디코딩하고, 상기 현재 파티션에 대한 상기 예측 잔차를 얻기 위해 상기 현재 파티션에 대한 상기 변환 계수의 역변환을 수행하고;
    상기 코딩된 파티션 플래그가 0이면, 상기 현재 파티션에 대한 상기 예측 잔차를 0이라고 추론함 -
    상기 현재 파티션에 대한 상기 예측자와 예측 잔차를 결합하는 단계
    에 의해 상기 파티션 차원을 따라 미리 결정된 파티션 순서로 상기 현재 블록의 각 파티션을 순차적으로 재구성하는 단계
    를 포함하는, 방법.
  14. 데이터 스트림에 픽처를 블록 기반 인코딩하기 위한 방법에 있어서, 상기 픽처는 인코딩될 복수의 블록을 포함하고, 상기 방법은:
    상기 복수의 블록 중 현재 블록에 대한 인트라 코딩 모드를 결정하는 단계;
    파티션 차원을 따라, 상기 현재 블록을 다수의 파티션으로 파티셔닝하는 단계 - 상기 파티션의 개수는 2보다 큼 - ;
    상기 현재 블록의 현재 파티션에 대해,
    상기 현재 파티션에 이웃하는 하나 이상의 이미 인코딩된 샘플에 기초하여 상기 현재 블록의 상기 인트라 코딩 모드를 사용하여 상기 현재 블록의 상기 현재 파티션에 대한 예측자를 도출하는 단계
    에 의해 상기 파티션 차원을 따라 미리 결정된 파티션 순서에 따라 상기 현재 블록의 각 파티션을 순차적으로 처리하는 단계; 및
    상기 현재 파티션에 대한 예측 잔차를 결정하는 단계
    - 상기 현재 파티션이 상기 현재 블록의 마지막 파티션이 아닌 경우, 상기 미리 결정된 파티션 순서에 따라 코딩된 파티션 플래그를 상기 데이터 스트림에 인코딩하고, 상기 코딩된 파티션 플래그가 1이면, 상기 현재 파티션의 변환 계수를 상기 데이터 스트림에 인코딩하고, 상기 코딩된 파티션 플래그가 0이면, 상기 현재 파티션에 대한 변환 계수 인코딩을 건너뛰고;
    상기 현재 파티션이 상기 미리 결정된 파티션 순서에 따라 상기 현재 블록의 상기 마지막 파티션이고, 상기 현재 블록에서 이전에 재구성된 각 파티션에 대한 각 코딩된 파티션 플래그가 0이면, 상기 현재 파티션에 대한 상기 코딩된 파티션 플래그의 인코딩을 건너뛰고 상기 현재 파티션의 변환 계수를 데이터 스트림에 인코딩함 -
    를 포함하는, 방법.
  15. 프로세서에 의해 실행될 때, 디코딩 장치로 하여금:
    복수의 블록 중 현재 블록에 대한 인트라 코딩 모드를 결정하고 - 상기 현재 블록은 파티션 차원을 따라 다수의 파티션으로 파티셔닝되고, 상기 파티션의 개수는 2보다 큼 - ;
    상기 현재 블록의 현재 파티션에 대해;
    상기 현재 파티션에 이웃하는 하나 이상의 이미 재구성된 샘플에 기초하여 상기 현재 블록의 상기 인트라 코딩 모드를 사용하여 상기 현재 블록의 상기 현재 파티션에 대한 예측자를 도출함으로써;
    상기 현재 파티션에 대한 예측 잔차를 결정함으로써,
    - 상기 현재 파티션이 상기 현재 블록의 마지막 파티션이 아닌 경우, 상기 미리 결정된 파티션 순서에 따라 데이터 스트림으로부터 코딩된 파티션 플래그를 디코딩하고,
    상기 현재 파티션이 상기 미리 결정된 파티션 순서에 따라 상기 현재 블록의 상기 마지막 파티션이고, 상기 현재 블록에서 이전에 재구성된 각 파티션에 대한 각 코딩된 파티션 플래그가 0이면, 상기 현재 파티션에 대한 상기 코딩된 파티션 플래그가 1이라고 추론하고,
    상기 코딩된 파티션 플래그가 1이거나 1로 추론되는 경우, 상기 데이터 스트림으로부터 상기 현재 파티션의 변환 계수를 디코딩하고, 상기 현재 파티션에 대한 상기 예측 잔차를 얻기 위해 상기 현재 파티션에 대한 상기 변환 계수의 역변환을 수행하고;
    상기 코딩된 파티션 플래그가 0이면, 상기 현재 파티션에 대한 상기 예측 잔차를 0이라고 추론함 - ;
    상기 현재 파티션에 대한 상기 예측자와 예측 잔차를 결합함으로써,
    상기 파티션 차원을 따라 미리 결정된 파티션 순서로 상기 현재 블록의 각 파티션을 순차적으로 재구성하도록
    하는 컴퓨터 프로그램을 저장하고 있는 비일시적 디지털 저장 매체.
  16. 프로세서에 의해 실행될 때, 인코딩 장치로 하여금:
    복수의 블록 중 현재 블록에 대한 인트라 코딩 모드를 결정하고;
    파티션 차원을 따라, 상기 현재 블록을 다수의 파티션으로 파티셔닝하고, - 상기 파티션의 개수는 2보다 큼 - ;
    상기 현재 블록의 현재 파티션에 대해,
    상기 현재 파티션에 이웃하는 하나 이상의 이미 인코딩된 샘플에 기초하여 상기 현재 블록의 상기 인트라 코딩 모드를 사용하여 상기 현재 블록의 상기 현재 파티션에 대한 예측자를 도출함으로써,
    상기 파티션 차원을 따라 미리 결정된 파티션 순서에 따라 상기 현재 블록의 각 파티션을 순차적으로 처리하고;
    상기 현재 파티션에 대한 예측 잔차를 결정하도록
    - 상기 현재 파티션이 상기 현재 블록의 마지막 파티션이 아닌 경우, 상기 미리 결정된 파티션 순서에 따라 코딩된 파티션 플래그를 데이터 스트림에 인코딩하고, 상기 코딩된 파티션 플래그가 1이면, 상기 현재 파티션의 변환 계수를 상기 데이터 스트림에 인코딩하고, 상기 코딩된 파티션 플래그가 0이면, 상기 현재 파티션에 대한 변환 계수 인코딩을 건너뛰고;
    상기 현재 파티션이 상기 미리 결정된 파티션 순서에 따라 상기 현재 블록의 상기 마지막 파티션이고, 상기 현재 블록에서 이전에 재구성된 각 파티션에 대한 각 코딩된 파티션 플래그가 0이면, 상기 현재 파티션에 대한 상기 코딩된 파티션 플래그의 인코딩을 건너뛰고 상기 현재 파티션의 변환 계수를 상기 데이터 스트림에 인코딩함 -
    하는 컴퓨터 프로그램을 저장하고 있는 비일시적 디지털 저장 매체.
KR1020237006368A 2018-02-09 2019-02-07 파티션 기반 인트라 코딩 개념 Active KR102722939B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247035398A KR20240159015A (ko) 2018-02-09 2019-02-07 파티션 기반 인트라 코딩 개념

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
EP18156169 2018-02-09
EP18156169.7 2018-02-09
EP18183571 2018-07-13
EP18183571.1 2018-07-13
EP19150108 2019-01-02
EP19150108.9 2019-01-02
KR1020207025263A KR102504298B1 (ko) 2018-02-09 2019-02-07 파티션 기반 인트라 코딩 개념
PCT/EP2019/053058 WO2019154936A1 (en) 2018-02-09 2019-02-07 Partition-based intra coding concept

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207025263A Division KR102504298B1 (ko) 2018-02-09 2019-02-07 파티션 기반 인트라 코딩 개념

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247035398A Division KR20240159015A (ko) 2018-02-09 2019-02-07 파티션 기반 인트라 코딩 개념

Publications (2)

Publication Number Publication Date
KR20230030054A KR20230030054A (ko) 2023-03-03
KR102722939B1 true KR102722939B1 (ko) 2024-10-29

Family

ID=65243601

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020237006368A Active KR102722939B1 (ko) 2018-02-09 2019-02-07 파티션 기반 인트라 코딩 개념
KR1020207025263A Active KR102504298B1 (ko) 2018-02-09 2019-02-07 파티션 기반 인트라 코딩 개념
KR1020247035398A Pending KR20240159015A (ko) 2018-02-09 2019-02-07 파티션 기반 인트라 코딩 개념

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020207025263A Active KR102504298B1 (ko) 2018-02-09 2019-02-07 파티션 기반 인트라 코딩 개념
KR1020247035398A Pending KR20240159015A (ko) 2018-02-09 2019-02-07 파티션 기반 인트라 코딩 개념

Country Status (7)

Country Link
US (2) US11956429B2 (ko)
EP (1) EP3750306A1 (ko)
JP (4) JP7187566B2 (ko)
KR (3) KR102722939B1 (ko)
CN (2) CN111971959B (ko)
TW (2) TWI767105B (ko)
WO (1) WO2019154936A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105407997B (zh) 2013-06-26 2019-05-07 滨特尔民用水处理有限责任公司 水过滤系统和方法
KR102722939B1 (ko) * 2018-02-09 2024-10-29 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 파티션 기반 인트라 코딩 개념
GB2577056B (en) * 2018-09-11 2022-12-14 British Broadcasting Corp Bitstream decoder
US11272198B2 (en) * 2019-01-30 2022-03-08 Tencent America LLC Method and apparatus for improved sub-block partitioning intra sub-partitions coding mode
CN113366845B (zh) 2019-01-31 2024-08-16 寰发股份有限公司 视频编码中结合帧间和帧内预测的方法和装置
US11595663B2 (en) * 2019-02-01 2023-02-28 Qualcomm Incorporated Secondary transform designs for partitioned transform units in video coding
JP7564111B2 (ja) 2019-02-05 2024-10-08 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド ビデオ復号化方法、ビデオ復号化装置、及び非一時的コンピュータ可読記憶媒体
CN113875236A (zh) 2019-03-11 2021-12-31 Vid拓展公司 视频译码中的帧内子分区
BR112021017901A2 (pt) * 2019-03-12 2021-12-07 Fraunhofer Ges Forschung Decodificador, codificador, métodos para decodificação e codificação, e fluxo de dados
CN120302040A (zh) * 2019-03-12 2025-07-11 现代自动车株式会社 视频解码方法、视频编码方法以及提供包含视频数据的比特流的方法
WO2020184637A1 (en) * 2019-03-12 2020-09-17 Sharp Kabushiki Kaisha Systems and methods for performing intra prediction coding in video coding
US11539952B2 (en) 2019-03-12 2022-12-27 Qualcomm Incorporated Implicit transform selection in video coding
EP4459992A1 (en) * 2019-03-15 2024-11-06 Samsung Electronics Co., Ltd. Image encoding method and device, and image decoding method and device
US11277637B2 (en) * 2019-05-09 2022-03-15 Qualcomm Incorporated Reference sampling for matrix intra prediction mode
US11206417B2 (en) * 2019-05-30 2021-12-21 Tencent America LLC Method and apparatus for video coding
US11438616B2 (en) * 2019-08-27 2022-09-06 Tencent America LLC Method and apparatus for video coding
CN114303383B (zh) * 2019-08-30 2024-07-05 北京字节跳动网络技术有限公司 帧内编解码中的子分割
JP7372450B2 (ja) 2019-09-01 2023-10-31 北京字節跳動網絡技術有限公司 ビデオコーディングにおける予測重みの調整
US12132898B2 (en) * 2019-09-17 2024-10-29 Interdigital Vc Holdings, Inc. Intra sub-partitions related intra coding
US11310511B2 (en) 2019-10-09 2022-04-19 Tencent America LLC Method and apparatus for video coding
CN114556953B (zh) 2019-10-10 2024-07-05 北京字节跳动网络技术有限公司 视频编解码中非矩形分割的使用
WO2022108422A1 (ko) * 2020-11-23 2022-05-27 현대자동차주식회사 적응적 참조화소 선택을 이용한 영상 부호화 및 복호화 방법
US11601257B2 (en) * 2020-12-04 2023-03-07 International Business Machines Corporation Creating deterministic ciphertext using wide-block encryption
CN114286108B (zh) * 2021-12-31 2025-03-18 展讯通信（上海）有限公司 确定帧内编码模式的方法、装置、电子设备及存储介质
CN119137939A (zh) * 2022-05-03 2024-12-13 现代自动车株式会社 基于块位置的帧内模式的自适应编码方法及设备
EP4550779A1 (en) * 2022-06-29 2025-05-07 LG Electronics Inc. Isp mode-based image encoding/decoding method and device, and recording medium for storing bitstream
US12355985B1 (en) * 2022-07-26 2025-07-08 Meta Platforms, Inc. Systems and methods for efficient video encoding
US12277097B2 (en) 2023-07-20 2025-04-15 International Business Machines Corporation Using ciphertext to deduplicate data using wide-block encryption

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013040370A1 (en) 2011-09-16 2013-03-21 Qualcomm Incorporated Line buffer reduction for short distance intra - prediction in video coding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010116869A1 (ja) 2009-04-08 2010-10-14 シャープ株式会社 動画像符号化装置および動画像復号装置
KR101793857B1 (ko) * 2010-04-13 2017-11-03 지이 비디오 컴프레션, 엘엘씨 샘플 배열 멀티트리 세부분할에서 계승
US9532058B2 (en) * 2011-06-03 2016-12-27 Qualcomm Incorporated Intra prediction mode coding with directional partitions
AU2012200345B2 (en) * 2012-01-20 2014-05-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map residual coefficients of a transform unit
US9185405B2 (en) * 2012-03-23 2015-11-10 Qualcomm Incorporated Coded block flag inference in video coding
ES2770609T3 (es) 2012-07-02 2020-07-02 Samsung Electronics Co Ltd Codificación por entropía de un vídeo y decodificación por entropía de un vídeo
JP6788346B2 (ja) * 2012-10-01 2020-11-25 ジーイー ビデオ コンプレッション エルエルシー ベース層からの予測のための副ブロックの副分割の派生を使用するスケーラブルビデオ符号化
US9813737B2 (en) * 2013-09-19 2017-11-07 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
RU2657210C2 (ru) * 2014-03-04 2018-06-08 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Зеркальное отображение блоков и режим пропуска в интра-основанном на копии блока предсказании
US10218975B2 (en) * 2015-09-29 2019-02-26 Qualcomm Incorporated Transform precision manipulation in video coding
US10390026B2 (en) * 2016-03-25 2019-08-20 Google Llc Smart reordering in recursive block partitioning for advanced intra prediction in video coding
US20170374369A1 (en) * 2016-06-24 2017-12-28 Mediatek Inc. Methods and Apparatuses of Decoder Side Intra Mode Derivation
US10764587B2 (en) 2017-06-30 2020-09-01 Qualcomm Incorporated Intra prediction in video coding
US20190045198A1 (en) * 2017-12-28 2019-02-07 Intel Corporation Region adaptive data-efficient generation of partitioning and mode decisions for video encoding
KR102722939B1 (ko) * 2018-02-09 2024-10-29 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 파티션 기반 인트라 코딩 개념

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013040370A1 (en) 2011-09-16 2013-03-21 Qualcomm Incorporated Line buffer reduction for short distance intra - prediction in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C. Lai et al., "New intra prediction using the correlation between pixels and lines", JCTVC-B040,2012-03-19.

Also Published As

Publication number Publication date
JP7690661B2 (ja) 2025-06-10
EP3750306A1 (en) 2020-12-16
WO2019154936A1 (en) 2019-08-15
TW201941604A (zh) 2019-10-16
TWI767105B (zh) 2022-06-11
JP7187566B2 (ja) 2022-12-12
JP2021513296A (ja) 2021-05-20
JP2023022221A (ja) 2023-02-14
JP2025122181A (ja) 2025-08-20
JP2024153913A (ja) 2024-10-29
US11956429B2 (en) 2024-04-09
JP7536851B2 (ja) 2024-08-20
US20240155126A1 (en) 2024-05-09
KR20240159015A (ko) 2024-11-05
KR102504298B1 (ko) 2023-02-28
CN111971959B (zh) 2024-06-14
CN118450120A (zh) 2024-08-06
TW202249485A (zh) 2022-12-16
TWI834167B (zh) 2024-03-01
KR20200128020A (ko) 2020-11-11
KR20230030054A (ko) 2023-03-03
CN111971959A (zh) 2020-11-20
US20200366895A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
KR102722939B1 (ko) 파티션 기반 인트라 코딩 개념
KR102718946B1 (ko) 분할 인트라 코딩 개념
KR20210135314A (ko) 효율적인 파티션-기반 인트라 코딩 개념의 구현
HK40064282A (en) Implementation efficient partition-based intra coding concept

Legal Events

Date Code Title Description
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20230222

Application number text: 1020207025263

Filing date: 20200901

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20231006

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240724

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20241023

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20241024

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载