+

WO2018163857A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2018163857A1
WO2018163857A1 PCT/JP2018/006635 JP2018006635W WO2018163857A1 WO 2018163857 A1 WO2018163857 A1 WO 2018163857A1 JP 2018006635 W JP2018006635 W JP 2018006635W WO 2018163857 A1 WO2018163857 A1 WO 2018163857A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
block
unit
prediction
mode
Prior art date
Application number
PCT/JP2018/006635
Other languages
English (en)
French (fr)
Inventor
健治 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18763157.7A priority Critical patent/EP3595312A4/en
Priority to CN201880015702.3A priority patent/CN110383840A/zh
Priority to US16/482,469 priority patent/US20200007885A1/en
Priority to JP2019504470A priority patent/JPWO2018163857A1/ja
Publication of WO2018163857A1 publication Critical patent/WO2018163857A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Definitions

  • the present technology relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method capable of further improving encoding efficiency.
  • FRUC Full Rate Up Conversion
  • JVET Joint Video Exploration Team
  • block matching processing is performed by a template matching method or a bilateral matching method in a decoder, and motion information is derived. If the motion information is derived in the decoder as described above, it is possible to reduce information regarding the motion information stored in the bit stream.
  • JVET Joint Video Exploration Team
  • the decoder always adds information indicating that the template matching method is used to the bitstream, but sending such information results in useless transmission of codes, Encoding efficiency will be deteriorated.
  • the present technology has been made in view of such a situation, and is intended to further improve the encoding efficiency.
  • An image processing apparatus derives a motion vector of a block by block matching using the reference image when generating a predicted image from a block to be encoded using the reference image.
  • a prediction unit is provided that determines whether bilateral matching based on the reference images at different times can be used.
  • the image processing method according to one aspect of the present technology corresponds to the image processing apparatus according to one aspect of the present technology.
  • the encoding efficiency can be further improved.
  • inter prediction mode It is a figure which shows the structural example of an image coding apparatus. It is a figure explaining bilateral matching. It is a figure explaining bilateral matching. It is a figure explaining template matching. It is a figure explaining template matching. It is a flowchart explaining an image coding process. It is a flowchart explaining the inter prediction process mode setting process. It is a flowchart explaining a FRUC merge mode encoding process. It is a figure which shows the structural example of an image decoding apparatus. It is a flowchart explaining an image decoding process. It is a flowchart explaining a FRUC merge mode decoding process. It is a figure which shows the example of the syntax of a slice header.
  • a moving image to be processed is encoded and decoded in an inter prediction mode or an intra prediction mode.
  • a picture corresponding to a frame constituting the moving image is encoded and decoded in a processing unit (coding unit) called CU (Coding Unit).
  • coding unit processing unit
  • CU Coding Unit
  • CU is a block having a variable size formed by recursively dividing a CTU (Coding Tree Unit) that is a maximum coding unit.
  • CTU Coding Tree Unit
  • the CTU is simply referred to as a CU
  • a CU obtained by dividing the CTU is referred to as a sub-block.
  • a block when it is not necessary to distinguish between the CU and the sub-block, they are also simply referred to as a block.
  • the inter prediction mode includes a plurality of modes as shown in FIG. 1, for example, and encoding and decoding are performed according to any one of the plurality of modes.
  • the inter prediction mode is divided into a skip mode and a non-skip mode.
  • the bit stream obtained by encoding stores, for a block in a picture, a prediction residual that is an image difference between the block and a reference block of a reference picture that is a reference destination.
  • the prediction residual is not stored in the bitstream.
  • the non-skip mode is further divided into a merge mode and a non-merge mode.
  • a difference motion vector indicating an error of a predicted motion vector obtained for a block in a picture is stored in the bit stream obtained by encoding.
  • the difference motion vector is not stored in the bit stream in the merge mode.
  • the non-merge mode in the non-skip mode includes an affine AMVP (Advanced Motion Vector Prediction) mode indicated by an arrow A11, a Non-FRUC mode indicated by an arrow A12, that is, a normal AMVP mode, and an FRUC mode indicated by an arrow A13. There is.
  • affine AMVP Advanced Motion Vector Prediction
  • Affine AMVP mode is a mode for deriving motion information using affine transformation.
  • the AMVP mode is a mode in which a prediction residual, a prediction motion vector candidate for obtaining a prediction motion vector, and a difference motion vector are stored in a bitstream for a block in a picture. That is, a motion vector predictor motion vector candidate and a differential motion vector are stored in the bitstream.
  • an index indicating one peripheral region of a plurality of peripheral regions around the block to be processed is stored in the bitstream.
  • a vector obtained by adding the difference motion vector to the predicted motion vector of the surrounding area that is a predicted motion vector candidate is used as the motion vector of the block to be processed.
  • the FRUC mode indicated by the arrow A13 includes an FRUC_Mode_flag indicating whether motion information is derived by a template matching method or a bilateral matching method for a block in a picture, a prediction residual, and a difference motion vector. Is stored in the mode.
  • This FRUC mode is a mode for deriving motion information on the decoder side based on the AMVP mode.
  • the FRUC mode indicated by the arrow A13 is particularly referred to as FRUC AMVP mode.
  • the merge mode in the non-skip mode includes an FRUC mode indicated by an arrow A14, an AMVP merge mode indicated by an arrow A15, and an affine merge mode indicated by an arrow A16.
  • the FRUC mode indicated by the arrow A14 is a mode in which FRUC_Mode_flag and the prediction residual are stored in the bitstream for the block in the picture.
  • the FRUC mode indicated by the arrow A14 is particularly referred to as a FRUC merge mode.
  • the AMVP merge mode indicated by the arrow A15 is a mode in which prediction residuals and motion vector predictor candidates are stored in the bitstream for blocks in a picture.
  • this merge mode is also referred to as an AMVP merge mode.
  • the affine merge mode indicated by arrow A16 is different from the affine AMVP mode indicated by arrow A11 in that the differential motion vector is not stored in the bitstream.
  • skip mode is divided into FRUC mode and Non-FRUC mode. That is, the skip mode includes an FRUC mode indicated by an arrow A17, a merge mode indicated by an arrow A18, and an affine merge mode indicated by an arrow A19.
  • the FRUC mode indicated by the arrow A17 is a mode in which FRUC_Mode_flag is stored in the bitstream for the block in the picture.
  • the FRUC mode indicated by the arrow A17 is particularly referred to as a skip FRUC mode.
  • the merge mode indicated by the arrow A18 is a mode in which prediction motion vector candidates are stored in a bitstream for a block in a picture.
  • this merge mode is also referred to as a skip merge mode.
  • the affine merge mode indicated by arrow A19 is different from the affine merge mode indicated by arrow A16 in that the prediction residual is not stored in the bitstream.
  • one of the modes indicated by arrows A11 to A19 in FIG. 1 is selected on the encoder side, and a block on a picture is encoded.
  • skip mode and affine transformation mode are not selected, and the block encoding mode is selected from AMVP mode, FRUCFRAMVP mode, AMVP merge mode, and FRUC merge mode. The explanation will be continued.
  • FIG. 2 is a diagram illustrating a configuration example of an embodiment of an image encoding device to which the present technology is applied.
  • the image encoding device 11 is implemented with the HEVC technology or the technology proposed by JVET.
  • FIG. 2 shows main components such as a processing unit and a data flow, and the ones shown in FIG. 2 are not all. That is, in the image encoding device 11, there may be a processing unit that is not shown as a block in FIG. 2, or there may be a process or data flow that is not shown as an arrow or the like in FIG.
  • the image encoding device 11 includes a control unit 21, an operation unit 22, a conversion unit 23, a quantization unit 24, an encoding unit 25, an inverse quantization unit 26, an inverse conversion unit 27, an operation unit 28, a frame memory 29, and a prediction Part 30.
  • the image encoding device 11 encodes a picture, which is a moving image in units of frames, for each CU or each sub-block.
  • control unit 21 of the image encoding device 11 sets encoding parameters including header information Hinfo, prediction information Pinfo, conversion information Tinfo, and the like based on external input and the like.
  • the header information Hinfo includes, for example, a video parameter set (VPS (Video Parameter Set)), a sequence parameter set (SPS (Sequence Parameter Set)), a picture parameter set (PPS (Picture Parameter Set)), a slice header (SH), etc. Contains information.
  • VPS Video Parameter Set
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • SH slice header
  • the prediction information Pinfo includes, for example, a split flag indicating whether or not there is a horizontal or vertical division in each division layer at the time of formation of a sub-block (PU (Prediction Unit)). Further, the prediction information Pinfo includes mode information pred_mode_flag indicating whether the prediction process of the block is an intra prediction process or an inter prediction process for each block.
  • PU Prediction Unit
  • the prediction information Pinfo includes Merge_flag, FRUC_flag, FRUC_Mode_flag, motion vector information, reference image specifying information for specifying a reference image (reference picture), and the like.
  • Merge_flag is flag information indicating whether or not the mode of the inter prediction process is the merge mode. For example, the value of Merge_flag is 1 when the mode is the merge mode, and the value of Merge_flag is 0 when the mode is not the merge mode.
  • FRUC_flag is flag information indicating whether or not the FRUC mode is used. For example, the FRUC_flag value is 1 when the FRUC mode is set, and the FRUC_flag value is 0 when the FRUC mode is not set.
  • FRUC_Mode_flag is flag information indicating whether the motion information is derived by the template matching method or the bilateral matching method in the FRUC mode. For example, when the motion information is derived by bilateral matching, the value of FRUC_Mode_flag is 1, and when the motion information is derived by template matching, the value of FRUC_Mode_flag is 0.
  • the motion vector information is information including at least one of the predicted motion vector candidates and the difference motion vector described above.
  • the prediction information Pinfo includes intra prediction mode information indicating an intra prediction mode that is a mode of the intra prediction processing.
  • intra prediction mode information indicating an intra prediction mode that is a mode of the intra prediction processing.
  • the content of the prediction information Pinfo is arbitrary, and any information other than the example described above may be included in the prediction information Pinfo.
  • the conversion information Tinfo includes TBSize indicating the size of a processing unit (transform block) called TB (Transform block).
  • the TB for each luminance (Y) and color difference (Cb, Cr) constitutes a TU (Transform Unit) that is a processing unit of orthogonal transform processing.
  • the TU is assumed to be the same as the sub-block.
  • a picture of a moving image to be encoded (hereinafter also referred to as an original image) is supplied to the calculation unit 22 and the prediction unit 30.
  • the calculation unit 22 sequentially sets the input pictures as pictures to be coded, and sets a block to be coded, that is, a CU or a subblock, for the picture to be coded based on the split flag of the prediction information Pinfo. .
  • the calculation unit 22 subtracts the block-unit predicted image P supplied from the prediction unit 30 from the image I of the block to be encoded (hereinafter also referred to as a current block) to obtain a prediction residual D, and the conversion unit 23 To supply.
  • the conversion unit 23 Based on the conversion information Tinfo supplied from the control unit 21, the conversion unit 23 performs orthogonal transformation or the like on the prediction residual D supplied from the calculation unit 22, derives the conversion coefficient Coeff, and the quantization unit 24 To supply.
  • the quantization unit 24 scales (quantizes) the transform coefficient Coeff supplied from the transform unit 23 based on the transform information Tinfo supplied from the control unit 21 to derive a quantized transform coefficient level level.
  • the quantization unit 24 supplies the quantized transform coefficient level level to the encoding unit 25 and the inverse quantization unit 26.
  • the encoding unit 25 encodes the quantized transform coefficient level level and the like supplied from the quantizing unit 24 by a predetermined method.
  • the encoding unit 25 is supplied from the quantization unit 24 with the encoding parameters (header information Hinfo, prediction information Pinfo, conversion information Tinfo, etc.) supplied from the control unit 21 in accordance with the definition of the syntax table.
  • the quantized transform coefficient level level is converted to the syntax value of each syntax element.
  • the encoding unit 25 encodes each syntax value by arithmetic coding or the like.
  • the encoding unit 25 multiplexes encoded data that is a bit string of each syntax element obtained as a result of encoding, for example, and outputs the encoded stream as an encoded stream.
  • the inverse quantization unit 26 scales (inversely quantizes) the value of the quantized transform coefficient level level supplied from the quantization unit 24 based on the transform information Tinfo supplied from the control unit 21, and after the inverse quantization
  • the conversion coefficient Coeff_IQ is derived.
  • the inverse quantization unit 26 supplies the transform coefficient Coeff_IQ to the inverse transform unit 27.
  • the inverse quantization performed by the inverse quantization unit 26 is an inverse process of the quantization performed by the quantization unit 24, and is the same process as the inverse quantization performed in the image decoding apparatus described later.
  • the inverse transform unit 27 performs inverse orthogonal transform or the like on the transform coefficient Coeff_IQ supplied from the inverse quantization unit 26 based on the transform information Tinfo supplied from the control unit 21 to derive the prediction residual D ′. .
  • the inverse transform unit 27 supplies the prediction residual D ′ to the calculation unit 28.
  • the inverse orthogonal transform performed by the inverse transform unit 27 is an inverse process of the orthogonal transform performed by the transform unit 23, and is the same process as the inverse orthogonal transform performed in the image decoding apparatus described later.
  • the calculation unit 28 adds the prediction residual D ′ supplied from the inverse conversion unit 27 and the prediction image P corresponding to the prediction residual D ′ supplied from the prediction unit 30 to add a local decoded image. Derive Rec.
  • the calculation unit 28 supplies the local decoded image Rec to the frame memory 29.
  • the frame memory 29 reconstructs a decoded image in units of pictures using the local decoded image Rec supplied from the calculation unit 28 and stores it in a buffer in the frame memory 29.
  • the frame memory 29 reads the decoded image specified by the prediction unit 30 from the buffer as a reference image (reference picture), and supplies the read image to the prediction unit 30. Further, the frame memory 29 may store header information Hinfo, prediction information Pinfo, conversion information Tinfo, and the like related to generation of a decoded image in a buffer in the frame memory 29.
  • the prediction unit 30 acquires, as a reference image, a decoded image at the same time as the block to be encoded, stored in the frame memory 29, based on the mode information pred_mode_flag of the prediction information Pinfo. And the prediction part 30 performs the intra prediction process of the intra prediction mode which intra prediction mode information shows with respect to the block of an encoding target using a reference image.
  • the prediction unit 30 acquires, as a reference image, a decoded image at a time different from that of the block to be encoded, stored in the frame memory 29, based on the mode information pred_mode_flag of the prediction information Pinfo and the reference image specifying information. Based on Merge_flag, FRUC_flag, FRUC_Mode_flag, motion vector information, and the like, the prediction unit 30 performs inter prediction processing in a mode determined by Merge_flag and FRUC_flag on the reference image. In the inter prediction process, the supplied original image is also used as necessary.
  • the prediction unit 30 supplies the prediction image P of the block to be encoded generated as a result of the intra prediction process or the inter prediction process to the calculation unit 22 and the calculation unit 28.
  • the prediction unit 30 determines whether or not the bilateral matching method can be used in deriving the motion information using the FRUC technique. If it is determined that the template cannot be used, the template matching method is automatically used.
  • the FRUC AMVP mode indicated by the arrow A13, the FRUC merge mode indicated by the arrow A14, and the skip FRUC mode indicated by the arrow A17 indicate the motion information using the FRUC technique. This is the mode to derive. In each of these modes, either the bilateral matching method or the template matching method is selected. If the image I, that is, the current block is a P slice block, the bilateral matching method may be used. Can not.
  • bilateral matching a picture PIC11 that is a picture (frame) to be encoded, and a picture PIC12 and a picture PIC13 that are reference pictures are used as described later with reference to FIG.
  • bilateral matching requires two reference frames at different times as the search target for matching. Therefore, when the search target for matching is only one frame, the bilateral matching method is used. I can't.
  • the prediction unit 30 determines whether there is only one reference frame referred to by the picture to be encoded or 2 reference frames according to a POC (Picture Order Count: picture order count) number indicating the output order of the reference frames. It is checked whether there are any images (hereinafter referred to as the reference relationship of the picture to be encoded as appropriate), and it is determined from the reference relationship whether the bilateral matching method can be used.
  • POC Picture Order Count: picture order count
  • the prediction unit 30 confirms that there is only one reference frame for the reference relationship of the picture to be encoded, and determines that the bilateral matching method cannot be used. Therefore, in this case, the template matching method is automatically adopted (selected) as the motion information derivation method, and the prediction unit 30 derives the motion information by the template matching method and generates a predicted image based on the motion information. To do.
  • the prediction unit 30 confirms that there are two reference frames for the reference relationship of the picture to be encoded, and determines that the bilateral matching method can be used. Therefore, in this case, the prediction unit 30 is first derived by the cost calculated from the motion information derived by the bilateral matching method and the template matching method, as will be described with reference to the flowchart of FIG. 9 described later. The cost calculated from the motion information is calculated. For example, the cost obtained for the difference calculation block is made smaller as the difference for the difference calculation block is smaller.
  • the prediction unit 30 determines to use the bilateral matching method if the cost of using the bilateral matching method is less than the cost of using the template matching method, and based on the motion information derived from the bilateral matching method. A prediction image is generated. On the other hand, even if the bilateral matching method can be used, the prediction unit 30 determines to use the template matching method if the cost of using the bilateral matching method is not less than the cost of using the template matching method. A predicted image is generated based on motion information derived by the matching method.
  • the prediction unit 30 can determine whether or not the bilateral matching method can be used based on the reference relationship of the picture to be encoded.
  • the template matching method is automatically adopted as a motion information derivation method. Therefore, for example, the image encoding device 11 can avoid unnecessary transmission of a code that adds information indicating that the template matching method is used, and can further improve the encoding efficiency.
  • motion information such as a prediction motion vector and a reference index is required on the decoder side in order to perform motion compensation.
  • the motion vector predictor is included in the encoded stream in the form of differential motion vector information with the motion vector predictor candidate, and the decoder reconstructs the motion vector predictor based on the motion vector predictor candidate and the motion vector difference information.
  • the encoding amount of the encoded stream increases, and the encoding efficiency deteriorates.
  • FRUC technology is one of the methods of motion information prediction, that is, motion information derivation. If motion information is derived on the decoder side by FRUC technology, not only can the motion vector be predicted with high accuracy but also motion The code amount of information can be reduced, and encoding efficiency can be improved. In particular, since no motion information is required in the skip FRUC mode, the coding efficiency can be greatly improved.
  • either the bilateral matching method or the template matching method can be selected on the encoder side, and the decoder side derives motion information by the method specified on the encoder side. .
  • a picture PIC11 that is a picture (frame) to be encoded and pictures PIC12 and PIC13 that are reference pictures are used to predict the current block CB11 on the picture PIC11.
  • a motion vector is derived.
  • the horizontal direction indicates time.
  • the picture PIC12 has a frame with an older time in the display order than the picture PIC11
  • the picture PIC13 has a newer time in the display order than the picture PIC11. It has become a frame.
  • the picture PIC12 is a picture (frame) indicated as a reference picture by a reference list Ref0 as reference image specifying information.
  • the picture PIC13 is a picture (frame) indicated as a reference picture by the reference list Ref1 as reference image specifying information.
  • the reference list Ref0 is basically a list indicating frames older than the picture to be encoded PIC11 as reference pictures, and the reference list Ref0 specifies a plurality of pictures including the pictures to be encoded as reference pictures. can do.
  • the reference list Ref1 is basically a list indicating frames that are newer than the picture PIC11 to be encoded as reference pictures, and the reference list Ref1 specifies a plurality of pictures including the pictures to be encoded as reference pictures. can do.
  • TD0 indicates a time distance between the picture PIC11 and the picture PIC12
  • TD1 indicates a time distance between the picture PIC11 and the picture PIC13.
  • the time distance TD0 and the time distance TD1 are equal distances.
  • a straight line L11 passing through the center of the current block CB11, a block BL11 centered at the intersection with the straight line L11 in the picture PIC12, and a straight line L11 in the picture PIC13 And the block BL12 centering on the intersection of the two are selected. Then, the difference between the block BL11 and the block BL12 is calculated.
  • each block is selected so that a straight line connecting the center of the block BL11 and the center of the block BL12 always passes through the center of the current block CB11. That is, the difference between the block BL11 and the block BL12 that linearly connect the current block CB11 is calculated.
  • a motion vector MV0 and a motion vector MV1 represented by arrows in the figure are obtained as the predicted motion vectors of the current block CB11.
  • the motion vector MV0 is a vector having a position on the picture PIC12 having the same positional relationship as the center position of the current block CB11 as a start point and a center position of the block BL11 as an end point.
  • the motion vector MV1 is a vector having a position on the picture PIC13 having the same positional relationship as the center position of the current block CB11 as a start point and a center position of the block BL12 as an end point.
  • bilateral matching assumes a model in which the texture moves linearly between the picture PIC12 and the picture PIC13, and an object that moves (moves) at a constant speed applies to this model.
  • FIG. 4 is a diagram in which each picture is expressed one-dimensionally in order to make it easy to understand that blocks on two reference pictures are linearly connected to the current block in bilateral matching.
  • the same reference numerals are given to the portions corresponding to those in FIG. 3, and description thereof will be omitted as appropriate.
  • the current block CB11, the block BL21 on the picture PIC12, and the block BL22 on the picture PIC13 are linearly connected. That is, the current block CB11, the block BL21, and the block BL22 are located on the straight line L21, and the difference between the block BL21 and the block BL22 is calculated to derive the predicted motion vector.
  • the block for which the difference is calculated changes by changing the angle (slope) of the straight line L21.
  • bilateral matching is performed by block matching using two reference pictures having different display times and different display times from the encoding target picture while changing the block for which the difference is calculated.
  • a predicted motion vector is derived.
  • the motion vector predictor can be derived (predicted) with high accuracy not only on the encoder side but also on the decoder side.
  • template matching for example, as shown in FIG. 5, block matching is performed between a picture to be encoded and a reference picture having a different display time from the picture to be encoded.
  • FIG. 5 parts corresponding to those in FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the current block CB11 of the picture PIC11 is to be encoded, and block matching is performed between the picture PIC11 and the picture PIC12.
  • a region TM11-1 and a region TM11-2 adjacent to the current block CB11 on the picture PIC11 are used as a template which is a region used for block matching, that is, a difference calculation.
  • a region TM11-1 and a region TM11-2 adjacent to the current block CB11 on the picture PIC11 are used as a template which is a region used for block matching, that is, a difference calculation.
  • TM11-1 and TM11-2 adjacent to the current block CB11 on the picture PIC11 are used as a template which is a region used for block matching, that is, a difference calculation.
  • This area TM11 is an area that has already been encoded or decoded when the current block CB11 is processed.
  • the region TM12-1 and the region TM12-2 having the same size and shape as the region TM11-1 and the region TM11-2 are used as templates.
  • the shape and size of the region TM12-1 are the same as the shape and size of the region TM11-1, and the shape and size of the region TM12-2 are the same as the shape and size of the region TM11-2. Further, the relative positional relationship between the region TM12-1 and the region TM12-2 is the same as the relative positional relationship between the region TM11-1 and the region TM11-2.
  • the difference between the area TM11-1 and the area TM12-1 and the difference between the area TM11-2 and the area TM12-2 are calculated.
  • the vector indicating the position of the region TM12 when the difference is the smallest is the predicted motion vector to be obtained.
  • a motion vector MV0 represented by an arrow in the figure is obtained as the predicted motion vector of the current block CB11.
  • a block having the same shape and size as the current block CB11 and having the same relative positional relationship with the region TM12 in the picture PIC12 as the relative positional relationship between the region TM11 and the current block CB11 is referred to as a block BL31. Further, it is assumed that the difference between the area TM11 and the area TM12 is minimized when the positions of the area TM12 and the block BL31 are the positions shown in FIG.
  • a motion vector MV0 is a vector starting from a position on the picture PIC12 having the same positional relationship as the center position of the current block CB11 and having an end position at the center position of the block BL31.
  • FIG. 6 is a diagram in which each picture is expressed one-dimensionally in order to make it easy to understand the relationship between the template of the reference picture and the template adjacent to the current block in template matching.
  • portions corresponding to those in FIG. 3 or 5 are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
  • the template area TM11 adjacent to the current block CB11 and the template area TM12 on the picture PIC12 that is the reference picture are drawn by a straight line, and the area TM11 is used to derive a predicted motion vector. And the difference between the area TM12 and the area TM12.
  • the area above the current block CB11 in the drawing is encoded or decoded, but the current block CB11 In the drawing, the region below CB11 is not encoded or decoded.
  • the area TM11 is an encoded or decoded area.
  • the motion vector is the same in the current block CB11 and the region TM11 that is a template adjacent to the current block CB11. Then, an area similar to the area TM11, that is, an area TM12 having a small difference is searched from the picture PIC12, and the motion vector indicated by the search result is assumed to be the predicted motion vector of the current block CB11.
  • a predicted motion vector is obtained by block matching using one reference picture having a display time different from that of a picture to be encoded while changing the template position on the reference picture to be subjected to difference calculation. Is derived.
  • the motion vector predictor can be derived (predicted) with high accuracy not only on the encoder side but also on the decoder side.
  • This image encoding process is performed in units of CUs or sub-blocks.
  • step S11 the control unit 21 sets encoding parameters based on external input and the like, and supplies each set encoding parameter to each unit of the image encoding device 11.
  • step S11 for example, the header information Hinfo, the prediction information Pinfo, the conversion information Tinfo, and the like described above are set as encoding parameters.
  • step S12 the prediction unit 30 determines whether or not to perform inter prediction processing based on the mode information pred_mode_flag of the prediction information Pinfo supplied from the control unit 21. For example, when the value of the mode information pred_mode_flag indicates the inter prediction process, it is determined in step S12 that the inter prediction process is performed.
  • each unit of the image encoding device 11 performs an encoding process for encoding the image I (current block) to be encoded in the FRUC merge mode, and the image encoding process ends.
  • motion information is derived in the FRUC mode, and an encoded stream in which the prediction information Pinfo, the quantized transform coefficient level level, and the like are stored is generated.
  • the prediction information Pinfo generated at this time includes, for example, Merge_flag, FRUC_flag, FRUC_Mode_flag, and reference image specifying information, and does not include motion vector information. Also, when the image I, that is, the current block is a block of P slice, the prediction information Pinfo does not include FRUC_Mode_flag.
  • the same processing as the encoding processing in the FRUC merge mode performed in step S15 is performed, and an encoded stream is generated and output.
  • the quantized transform coefficient level level is not stored in the encoded stream.
  • step S16 each unit of the image encoding device 11 performs an encoding process for encoding the image I to be encoded in the AMVP merge mode, and the image encoding process ends.
  • the prediction unit 30 performs motion compensation in the AMVP mode and performs the inter prediction process. Then, the current block is encoded using the prediction image P obtained by the inter prediction process, and an encoded stream in which the prediction information Pinfo, the quantization transform coefficient level level, and the like are stored is generated.
  • each unit of the image encoding device 11 performs an encoding process for encoding the image I to be encoded in the FRUC AMVP mode, and the image encoding process ends.
  • the same process as the encoding process in the FRUC merge mode is performed to generate an encoded stream.
  • motion information is derived in the FRUC mode, and an encoded stream in which the prediction information Pinfo, the quantized transform coefficient level level, and the like are stored is generated.
  • the prediction information Pinfo includes, for example, Merge_flag, FRUC_flag, FRUC_Mode_flag, a differential motion vector as motion vector information, and reference image specifying information.
  • the prediction information Pinfo does not include FRUC_Mode_flag.
  • step S19 each unit of the image encoding device 11 performs an encoding process for encoding the image I to be encoded in the AMVP mode, and the image encoding process ends.
  • the prediction unit 30 performs motion compensation in the AMVP mode and performs the inter prediction process. Then, the current block is encoded using the prediction image P obtained by the inter prediction process, and an encoded stream in which the prediction information Pinfo, the quantization transform coefficient level level, the motion vector information, and the like are stored is generated.
  • step S12 If it is determined in step S12 that the inter prediction process is not performed, that is, if it is determined that the intra prediction process is performed, the process proceeds to step S20.
  • each unit of the image encoding device 11 performs an intra encoding process for encoding the image I to be encoded in the intra prediction mode, and the image encoding process ends.
  • the prediction unit 30 In the intra coding process, the prediction unit 30 generates a predicted image P in the intra prediction mode. Then, the current block is encoded using the predicted image P, and an encoded stream storing the prediction information Pinfo, the quantized transform coefficient level level, and the like is generated.
  • the image encoding device 11 encodes an input image according to the encoding parameter, and outputs an encoded stream obtained by encoding.
  • encoding efficiency can be improved by encoding an image in an appropriate mode.
  • This inter prediction process mode setting process is a process related to the inter prediction process mode in the process of step S11 of FIG. That is, the inter prediction process mode setting process is a process in which values of Merge_flag and FRUC_flag are determined.
  • the inter prediction processing mode setting process is performed in units of CUs or sub-blocks.
  • step S51 the control unit 21 controls each unit of the image encoding device 11 to perform the encoding process in the FRUC merge mode for the block to be encoded, and calculate the RD cost J FRUC_MRG .
  • the RD cost is calculated based on the amount of generated bits (code amount) obtained as a result of encoding, SSE (Error (Sum of Squares) of the decoded image, and the like.
  • step S52 the control unit 21 controls each unit of the image encoding device 11 to perform the encoding process in the AMVP merge mode for the encoding target block, and calculate the RD cost J MRG .
  • step S53 the control unit 21 controls each unit of the image encoding device 11 to perform the encoding process in the FRUC AMVP mode for the block to be encoded, and calculates the RD cost J FRUC_AMVP .
  • step S54 the control unit 21 controls each unit of the image encoding device 11 to perform encoding processing in the AMVP mode for the block to be encoded, and calculate the RD cost J AMVP .
  • step S55 the control unit 21, RD cost J FRUC_MRG obtained in the processing in step S51 to step S54, RD cost J MRG, RD cost J FRUC_AMVP, and RD of the cost J AMVP, RD cost J FRUC_MRG minimum It is determined whether or not.
  • step S55 If it is determined in step S55 that the RD cost J FRUC_MRG is the minimum, the process proceeds to step S56.
  • the FRUC merge mode is selected as the inter prediction mode of the current block, and in the image encoding process described with reference to FIG. 7, the encoding process of step S15 is performed and the encoded stream is Will be generated.
  • step S57 the control unit 21 generates FRUC_Mode_flag based on the motion information derivation result in the FRUC mode, and the inter prediction processing mode setting process ends.
  • the process of step S57 is not performed and FRUC_Mode_flag is not generated.
  • the RD cost J BiLateral when the bilateral matching method is used for derivation of motion information is higher than the RD cost J Template when the template matching method is used for derivation of motion information. If it is smaller, the value of FRUC_Mode_flag is 1. That is, in step S57, FRUC_Mode_flag having a value of 1 is generated.
  • the value of FRUC_Mode_flag is 0.
  • step S55 If it is determined in step S55 that the RD cost J FRUC_MRG is not the minimum, the process proceeds to step S58.
  • step S58 the control unit 21 determines whether or not the RD cost J MRG is the minimum among the RD cost J FRUC_MRG , the RD cost J MRG , the RD cost J FRUC_AMVP , and the RD cost J AMVP .
  • step S58 If it is determined in step S58 that the RD cost J MRG is the minimum, the process proceeds to step S59.
  • the AMVP merge mode is selected as the inter prediction mode of the current block, and in the image encoding process described with reference to FIG. 7, the encoding process of step S16 is performed and the encoded stream is Will be generated.
  • step S58 when it is determined in step S58 that the RD cost J MRG is not the minimum, the process proceeds to step S60.
  • step S60 determines the control unit 21 RD cost J FRUC_MRG, RD cost J MRG, RD cost J FRUC_AMVP, and among the RD cost J AMVP, whether RD cost J FRUC_AMVP is minimal.
  • the FRUC AMVP mode is selected as the inter prediction mode of the current block, and in the image encoding process described with reference to FIG. 7, the encoding process of step S ⁇ b> 18 is performed to generate the encoded stream. Will be generated.
  • step S62 the control unit 21 generates FRUC_Mode_flag based on the motion information derivation result in the FRUC mode, and the inter prediction process mode setting process ends.
  • the process of step S62 is not performed, and FRUC_Mode_flag is not generated.
  • step S62 processing similar to that in step S57 is performed.
  • step S60 If it is determined in step S60 that the RD cost J FRUC_AMVP is not the minimum, that is, if it is determined that the RD cost J AMVP is the minimum, the process proceeds to step S63.
  • the AMVP mode is selected as the inter prediction mode of the current block, and in the image encoding process described with reference to FIG. 7, the encoding process in step S19 is performed to generate an encoded stream. Will be.
  • the image encoding device 11 calculates the RD cost of each mode, selects a mode that minimizes the RD cost, and generates Merge_flag and FRUC_flag according to the selection result. Thereby, encoding efficiency can be improved.
  • step S91 based on the prediction information Pinfo and the like supplied from the control unit 21, the prediction unit 30 is a current block to be processed, that is, a CU or sub-block that is an image I to be encoded is a block of a P slice. It is determined whether or not.
  • step S91 If it is determined in step S91 that the block is a P slice, the process proceeds to step S92. If the current block is a P-slice block, there is only one reference picture for the P-slice, and bilateral matching cannot be performed when deriving motion information, so template matching is automatically used as a method for deriving motion information. Adopted (selected).
  • step S92 the prediction unit 30 derives the motion information of the current block by the template matching method.
  • the prediction unit 30 reads out the encoding target picture (frame) and the reference picture indicated by the reference image specifying information from the frame memory 29 based on the prediction information Pinfo and the like supplied from the control unit 21, The motion information of the current block is derived by the template matching method using these pictures.
  • step S92 When the process of step S92 is performed and the motion information is derived, the process proceeds to step S99.
  • step S91 If it is determined in step S91 that the block is not a P slice, the process proceeds to step S93.
  • step S93 the prediction unit 30 confirms the reference relationship of the encoding target picture.
  • step S94 the prediction unit 30 determines whether or not the bilateral matching method can be used from the reference relationship based on the result of confirming the reference relationship of the encoding target picture in step S93. For example, the prediction unit 30 determines that the bilateral matching method cannot be used when the reference frame has only the same POC number, and determines that the bilateral matching method can be used when there is a different POC number in the reference frame.
  • step S94 If it is determined in step S94 that the bilateral matching method cannot be used, the process proceeds to step S92, and as described above, the prediction unit 30 derives motion information of the current block by the template matching method.
  • step S94 If it is determined in step S94 that the bilateral matching method can be used, the process proceeds to step S95.
  • step S95 the prediction unit 30 derives the motion information of the current block by the template matching method, and calculates the RD cost J Template when the template matching method is adopted.
  • the prediction unit 30 reads out the picture (frame) to be encoded and the reference picture indicated by the reference image specifying information from the frame memory 29 based on the prediction information Pinfo supplied from the control unit 21. Further, the prediction unit 30 derives the motion information of the current block by the template matching method using the read picture, and also calculates the RD cost J Template .
  • step S96 the prediction unit 30 derives the motion information of the current block by the bilateral matching method, and calculates the RD cost J BiLateral when the bilateral matching method is adopted.
  • the prediction unit 30 reads two reference pictures indicated by the reference image specifying information of the prediction information Pinfo supplied from the control unit 21 from the frame memory 29. Further, the prediction unit 30 derives the motion information of the current block by the bilateral matching method using the read reference picture, and also calculates the RD cost J BiLateral .
  • step S97 the prediction unit 30 determines whether the RD cost J BiLateral is less than the RD cost J Template .
  • step S98 the prediction unit 30 generates a prediction image based on the motion information derived by the bilateral matching method, and the calculation unit 22 and the arithmetic unit 28.
  • the prediction unit 30 sets an image generated by motion compensation using each of the blocks indicated by the motion information (predicted motion vector) in each of the two reference pictures as the predicted image P.
  • step S100 When the predicted image is generated, the process proceeds to step S100.
  • step S97 If it is determined in step S97 that the RD cost J BiLateral is not less than the RD cost J Template , or if the process of step S92 is performed, then the process of step S99 is performed.
  • the prediction unit 30 generates a prediction image based on the motion information derived by the template matching method, and supplies the prediction image to the calculation unit 22 and the calculation unit 28. For example, the prediction unit 30 sets the image of the block indicated by the motion information (predicted motion vector) in the reference picture as the predicted image P.
  • step S100 When the predicted image is generated, the process proceeds to step S100.
  • step S98 or step S99 When the process of step S98 or step S99 is performed and the predicted image P is generated, the process of step S100 is performed thereafter.
  • step S100 the calculation unit 22 calculates a difference between the supplied image I and the predicted image P supplied from the prediction unit 30 as a prediction residual D, and supplies the difference to the conversion unit 23.
  • step S101 the conversion unit 23 performs orthogonal transformation or the like on the prediction residual D supplied from the calculation unit 22 based on the conversion information Tinfo supplied from the control unit 21, and the conversion coefficient obtained as a result thereof.
  • Coeff is supplied to the quantization unit 24.
  • step S102 the quantization unit 24 scales (quantizes) the transform coefficient Coeff supplied from the transform unit 23 based on the transform information Tinfo supplied from the control unit 21, and derives a quantized transform coefficient level level. To do.
  • the quantization unit 24 supplies the quantized transform coefficient level level to the encoding unit 25 and the inverse quantization unit 26.
  • step S103 the inverse quantization unit 26 uses the quantization transform coefficient level level supplied from the quantization unit 24 based on the transform information Tinfo supplied from the control unit 21, corresponding to the quantization characteristics in step S102. Inverse quantization with the characteristic to be.
  • the inverse quantization unit 26 supplies the transform coefficient Coeff_IQ obtained by the inverse quantization to the inverse transform unit 27.
  • step S104 the inverse transform unit 27 corresponds to the orthogonal transform or the like in step S101 on the transform coefficient Coeff_IQ supplied from the inverse quantization unit 26 based on the transform information Tinfo supplied from the control unit 21. Then, an inverse orthogonal transform or the like is performed to derive a prediction residual D ′. The inverse transform unit 27 supplies the obtained prediction residual D ′ to the calculation unit 28.
  • step S105 the calculation unit 28 generates a local decoded image Rec by adding the prediction residual D ′ supplied from the inverse conversion unit 27 and the prediction image P supplied from the prediction unit 30. To the frame memory 29.
  • step S106 the frame memory 29 reconstructs a decoded image in units of pictures using the local decoded image Rec supplied from the arithmetic unit 28, and holds it in a buffer in the frame memory 29.
  • step S107 the encoding unit 25 is set in the process of step S11 in FIG. 7, and the encoding parameter supplied from the control unit 21 and the quantized transform coefficient supplied from the quantizing unit 24 in the process of step S102.
  • the level level is encoded by a predetermined method.
  • the encoding unit 25 multiplexes encoded data obtained by encoding into an encoded stream (bit stream), and outputs the encoded stream (bit stream) to the outside of the image encoding device 11 to complete the FRUC merge mode encoding process.
  • the encoded stream stores, for example, data obtained by encoding Merge_flag, FRUC_flag, FRUC_Mode_flag, reference image specifying information, and the like, data obtained by encoding the quantization transform coefficient level level, and the like. Yes.
  • the encoded stream obtained in this way is transmitted to the decoding side via, for example, a transmission path or a recording medium.
  • step S15 whether template matching or bilateral matching is already performed is determined. Therefore, motion information is derived according to the method indicated by the prediction information Pinfo, and the predicted image P is generated in step S98 or step S99 based on the obtained motion information.
  • step S 9 corresponds to the process of step S11 of FIG. 7, particularly the process of step S51 of FIG. 8 in the process of step S11.
  • the control unit 21 instructs the prediction unit 30 to calculate the RD cost J FRUC_MRG in step S51 of FIG. 8, the processing of steps S91 to S97 is performed.
  • the prediction unit 30 outputs the smaller one of the RD cost J Template and the RD cost J BiLateral to the control unit 21 as the RD cost J FRUC_MRG .
  • the current block is a P slice block, the RD cost J BiLateral is not calculated, and the RD cost J Template is output as the RD cost J FRUC_MRG .
  • step S15 in FIG. 7 the same processing as the FRUC merge mode encoding processing described with reference to FIG. 9 is performed in step S18 in FIG. That is, the encoding parameter encoded in step S107 of FIG. 9 differs between the case in step S15 and the case in step S18.
  • the image encoding device 11 derives motion information in the FRUC mode and encodes a block to be encoded.
  • motion vector information motion information stored in the encoded stream can be reduced, and encoding efficiency can be improved. Can do.
  • the image encoding device 11 determines whether or not the bilateral matching method can be used from the reference relationship of the picture to be encoded, and when the bilateral matching method cannot be used, as the motion information derivation method.
  • a template matching method can be automatically adopted. As a result, useless transmission of codes as described above is avoided, and further improvement in coding efficiency can be achieved.
  • FIG. 10 is a diagram illustrating a configuration example of an embodiment of an image decoding device to which the present technology is applied.
  • the image decoding apparatus 201 illustrated in FIG. 10 decodes the encoded stream generated by the image encoding apparatus 11 using a decoding method corresponding to the encoding method in the image encoding apparatus 11.
  • the image decoding apparatus 201 is equipped with a technique proposed for HEVC or a technique proposed for JVET.
  • FIG. 10 shows the main components such as the processing unit and the flow of data, and the ones shown in FIG. 10 are not all. That is, in the image decoding apparatus 201, there may be a processing unit that is not shown as a block in FIG. 10, or there may be a process or data flow that is not shown as an arrow or the like in FIG.
  • the image decoding apparatus 201 includes a decoding unit 211, an inverse quantization unit 212, an inverse conversion unit 213, a calculation unit 214, a frame memory 215, and a prediction unit 216.
  • the image decoding apparatus 201 decodes the input encoded stream for each CU or each sub-block.
  • the decoding unit 211 decodes the supplied encoded stream by a predetermined decoding method corresponding to the encoding method in the encoding unit 25. For example, the decoding unit 211 decodes the encoding parameters such as header information Hinfo, prediction information Pinfo, and conversion information Tinfo, and the quantized transform coefficient level level from the bit stream of the encoded stream according to the definition of the syntax table. .
  • the decoding unit 211 divides the CU based on the split flag included in the encoding parameter, and sequentially sets the CU and sub-block corresponding to each quantized transform coefficient level level as a decoding target block.
  • the decoding unit 211 supplies the encoding parameters obtained by decoding to each block of the image decoding device 201.
  • the decoding unit 211 supplies the prediction information Pinfo to the prediction unit 216, supplies the transform information Tinfo to the inverse quantization unit 212 and the inverse transform unit 213, and supplies the header information Hinfo to each block.
  • the decoding unit 211 supplies the quantized transform coefficient level level to the inverse quantization unit 212.
  • the inverse quantization unit 212 Based on the transform information Tinfo supplied from the decoding unit 211, the inverse quantization unit 212 scales (inversely quantizes) the value of the quantized transform coefficient level level supplied from the decoding unit 211 to derive the transform coefficient Coeff_IQ. To do.
  • This inverse quantization is an inverse process of quantization performed by the quantization unit 24 of the image encoding device 11. Note that the inverse quantization unit 26 performs the same inverse quantization as the inverse quantization unit 212.
  • the inverse quantization unit 212 supplies the obtained transform coefficient Coeff_IQ to the inverse transform unit 213.
  • the inverse transform unit 213 Based on the transform information Tinfo and the like supplied from the decoding unit 211, the inverse transform unit 213 performs inverse orthogonal transform and the like on the transform coefficient Coeff_IQ supplied from the inverse quantization unit 212, and obtains the prediction residual obtained as a result.
  • the difference D ′ is supplied to the calculation unit 214.
  • the inverse orthogonal transform performed by the inverse transform unit 213 is an inverse process of the orthogonal transform performed by the transform unit 23 of the image encoding device 11. Note that the inverse transform unit 27 performs inverse orthogonal transform similar to the inverse transform unit 213.
  • the calculation unit 214 derives a local decoded image Rec by adding the prediction residual D ′ supplied from the inverse transformation unit 213 and the prediction image P corresponding to the prediction residual D ′.
  • the calculation unit 214 reconstructs a decoded image for each picture unit using the obtained local decoded image Rec, and outputs the obtained decoded image to the outside.
  • the arithmetic unit 214 also supplies the local decoded image Rec to the frame memory 215.
  • the frame memory 215 reconstructs a decoded image for each picture unit using the local decoded image Rec supplied from the calculation unit 214 and stores the decoded image in a buffer in the frame memory 215.
  • the frame memory 215 reads the decoded image specified by the prediction unit 216 from the buffer as a reference image (reference picture), and supplies the read image to the prediction unit 216. Further, the frame memory 215 may store header information Hinfo, prediction information Pinfo, conversion information Tinfo, and the like related to generation of the decoded image in a buffer in the frame memory 215.
  • the prediction unit 216 acquires, as a reference image, a decoded image at the same time as the decoding target block stored in the frame memory 215 based on the mode information pred_mode_flag of the prediction information Pinfo. And the prediction part 216 performs the intra prediction process of the intra prediction mode which intra prediction mode information shows with respect to the block of decoding object using a reference image.
  • the prediction unit 216 acquires a decoded image at the same time as the decoding target block stored in the frame memory 215 based on the mode information pred_mode_flag of the prediction information Pinfo and the reference image specifying information, Obtains decoded images at different times as reference images.
  • the prediction unit 216 uses the image acquired from the frame memory 215 based on Merge_flag, FRUC_flag, FRUC_Mode_flag, motion vector information, and the like in a mode determined by Merge_flag and FRUC_flag. Perform inter prediction processing.
  • the prediction unit 216 supplies the prediction image P of the decoding target block generated as a result of the intra prediction process or the inter prediction process to the calculation unit 214.
  • the prediction unit 216 determines whether or not the bilateral matching method can be used based on the reference relationship of the encoding target picture, and determines that the bilateral matching method cannot be used. If this happens, the template matching method is automatically used.
  • the prediction unit 216 confirms that there is only one reference frame for the reference relationship of the picture to be encoded, and determines that the bilateral matching method cannot be used. Therefore, in this case, the template matching method is automatically adopted (selected) as the motion information derivation method, and the prediction unit 216 derives the motion information by the template matching method and generates a predicted image based on the motion information. To do.
  • the prediction unit 216 confirms that there are two reference frames for the reference relationship of the picture to be encoded, and determines that the bilateral matching method can be used. In this case, the prediction unit 216 reads FRUC_MERGE_MODE_FLAG1 transmitted from the image encoding device 11 from the bit stream.
  • step S211 the decoding unit 211 decodes the encoded stream supplied to the image decoding apparatus 201, and obtains an encoding parameter and a quantized transform coefficient level level.
  • the decoding unit 211 supplies the encoding parameters to each unit of the image decoding device 201 and also supplies the quantization transform coefficient level level to the inverse quantization unit 212.
  • step S212 the decoding unit 211 divides the CTU based on the split flag included in the encoding parameter, and sets a block corresponding to each quantized transform coefficient level level, that is, a CU or a sub-block, as a decoding target block. Note that the subsequent processing from step S213 to step S221 is performed for each block to be decoded.
  • the prediction unit 216 When the decoding target block is determined, the prediction unit 216 performs the processing from step S213 to step S215 based on the prediction information Pinfo output from the decoding unit 211, and determines the decoding mode. Note that the processing in steps S213 to S215 is the same as the processing in steps S12 to S14 in FIG. 7 except that the processing is performed by the prediction unit 216 instead of the prediction unit 30, and thus the description thereof is omitted. .
  • each unit of the image decoding apparatus 201 performs a decoding process for decoding an image of a block to be decoded (current block) in the FRUC merge mode, and the image decoding process ends.
  • motion information is derived in the FRUC mode, and the prediction image P generated by performing the inter prediction process using the obtained motion information is used to generate an image of the block to be decoded. Generated.
  • step S217 each unit of the image decoding device 201 performs a decoding process for decoding an image of a block to be decoded in the AMVP merge mode, and the image decoding process is ended.
  • the prediction unit 216 performs motion compensation in the AMVP mode and performs the inter prediction process. Then, the prediction image P obtained as a result and the prediction residual D ′ are added to obtain an image of a decoding target block.
  • each unit of the image decoding apparatus 201 performs a decoding process for decoding the image of the block to be decoded in the FRUC AMVP mode, and the image decoding process ends.
  • the same processing as the decoding process in the FRUC merge mode is performed to derive motion information, and an image of the decoding target block is generated.
  • the differential motion vector is stored in the encoded stream, the differential motion vector is used to derive the prediction motion vector of the decoding target block.
  • each unit of the image decoding apparatus 201 performs a decoding process for decoding an image of a block to be decoded in the AMVP mode, and the image decoding process ends.
  • the prediction unit 216 performs motion compensation in the AMVP mode and performs the inter prediction process. Then, the prediction image P obtained by the inter prediction process and the prediction residual D ′ are added to obtain an image of a block to be decoded.
  • step S213 If it is determined in step S213 that the inter prediction process is not performed, that is, if it is determined that the intra prediction process is performed, the process proceeds to step S221.
  • each unit of the image decoding device 201 performs an intra decoding process for decoding an image of a block to be decoded in the intra prediction mode, and the image decoding process is ended.
  • the prediction unit 216 In the intra decoding process, the prediction unit 216 generates a prediction image P in the intra prediction mode, and the prediction image P and the prediction residual D ′ are added to obtain an image of a block to be decoded.
  • the image decoding apparatus 201 decodes the decoding target block according to the encoding parameter. By decoding an image in an appropriate mode in this way, it is possible to obtain a high-quality image even with an encoded stream with a small code amount.
  • step S251 the inverse quantization unit 212 derives a transform coefficient Coeff_IQ by dequantizing the quantized transform coefficient level level obtained by the process in step S211 in FIG. 11 and supplies the transform coefficient Coeff_IQ to the inverse transform unit 213.
  • step S252 the inverse transform unit 213 performs inverse orthogonal transform or the like on the transform coefficient Coeff_IQ supplied from the inverse quantization unit 212, and supplies the prediction residual D ′ obtained as a result to the calculation unit 214.
  • step S253 the prediction unit 216 determines whether the decoding target block is a P slice block based on the prediction information Pinfo supplied from the decoding unit 211 or the like.
  • step S253 If it is determined in step S253 that the block is not a P-slice block, the process proceeds to step S254.
  • step S254 the prediction unit 216 confirms the reference relationship of the encoding target picture.
  • step S255 the prediction unit 216 determines whether or not the bilateral matching method can be used from the reference relation based on the result of confirming the reference relation of the encoding target picture in step SS254. For example, the prediction unit 216 determines that the bilateral matching method cannot be used when the reference frame has only the same POC number, and determines that the bilateral matching method can be used when the reference frame has a different POC number.
  • step S255 If it is determined in step S255 that the bilateral matching method can be used, the process proceeds to step S256.
  • step S256 the prediction unit 216 acquires FRUC_Mode_flag.
  • step S211 in FIG. 11 FRUC_Mode_flag is read from the encoded stream by the decoding unit 211, and prediction information Pinfo including the read FRUC_Mode_flag is received from the decoding unit 211. This is supplied to the prediction unit 216.
  • the prediction unit 216 acquires FRUC_Mode_flag from the prediction information Pinfo supplied in this way.
  • step S257 the prediction unit 216 determines whether or not to perform bilateral matching based on FRUC_Mode_flag. For example, when the value of FRUC_Mode_flag is 1, it is determined that bilateral matching is performed.
  • step S258 the prediction unit 216 derives motion information by the bilateral matching method. Thereby, a prediction motion vector is obtained as motion information of the block to be decoded.
  • step S259 the prediction unit 216 generates a predicted image P by performing motion compensation based on the motion information derived by the processing in step S258, that is, the predicted motion vector, and supplies the predicted image P to the calculation unit 214.
  • the prediction unit 216 reads two decoded images indicated by the reference image specifying information from the frame memory 215 as reference pictures, and generates a prediction image P by motion compensation using a block indicated by a prediction motion vector in each reference picture. To do.
  • step S257 if it is determined in step S257 that bilateral matching is not performed, it is determined in step S255 that the bilateral matching method cannot be used, or if it is determined in step S253 that the block is a P slice, The process of step S260 is performed.
  • step S260 the prediction unit 216 derives motion information by the template matching method. Thereby, a prediction motion vector is obtained as motion information of the block to be decoded.
  • step S261 the prediction unit 216 generates a predicted image P by performing motion compensation based on the motion information derived by the processing in step S260, that is, the predicted motion vector, and supplies the predicted image P to the calculation unit 214.
  • the prediction unit 216 reads one decoded image indicated by the reference image specifying information from the frame memory 215 as a reference picture, and sets the image of the block indicated by the prediction motion vector in the reference picture as the prediction image P.
  • step S262 When the predicted image P is generated by performing the process of step S259 or step S261, the process of step S262 is performed.
  • step S262 the calculation unit 214 adds the prediction residual D ′ supplied from the inverse conversion unit 213 and the prediction image P supplied from the prediction unit 216 to derive a local decoded image Rec.
  • the calculation unit 214 reconstructs a decoded image in units of pictures using the obtained local decoded image Rec, and outputs the obtained decoded image to the outside of the image decoding device 201.
  • the calculation unit 214 supplies the local decoded image Rec to the frame memory 215.
  • step S263 the frame memory 215 reconstructs a decoded image in units of pictures using the local decoded image Rec supplied from the calculation unit 214, and holds the decoded image in a buffer in the frame memory 215.
  • the FRUC merge mode decoding process ends.
  • the image decoding apparatus 201 derives motion information in the FRUC mode and decodes a block to be decoded. In this way, by using the FRUC mode and deriving motion information on the decoding side, the code amount of the encoded stream can be reduced, and the encoding efficiency can be improved.
  • step S219 in FIG. 11 the same processing as the FRUC merge mode decoding processing described with reference to FIG. 12 is performed. However, in the FRUC AMVP mode, since the differential motion vector is stored in the encoded stream, the differential motion vector is used to derive the prediction motion vector of the decoding target block.
  • the image decoding apparatus 201 determines whether or not the bilateral matching method can be used from the reference relationship of the picture to be encoded.
  • a template is used as a motion information derivation method.
  • a matching method can be automatically adopted. As a result, useless transmission of codes as described above is avoided, and further improvement in coding efficiency can be achieved.
  • the bilateral matching method when the bilateral matching method cannot be used, it is not necessary to try the bilateral matching method and calculate the RD cost. That is, conventionally, when the FRUC Merge mode is encoded, if it is not a P slice, the RD cost is calculated in order to determine whether to use the template matching method or the bilateral matching method.
  • the image decoding apparatus 201 can reduce the amount of processing by the amount that does not perform the process of calculating the RD cost.
  • the decoder cannot perform the bilateral matching method, so there is a concern that the decoding process may become ambiguous. Therefore, in this case, it is assumed that the processing results differ among the decoders.
  • the image encoding device 11 and the image decoding device 201 determine whether or not the bilateral matching method can be used based on the reference relationship between the encoding target pictures. In addition, it is possible to prevent the processing results from being different in each decoder and to ensure that accurate decoding is performed.
  • step S94 in FIG. 9 and step S255 in FIG. 12 whether or not the bilateral matching method can be used is determined based on the reference relationship of the picture to be encoded.
  • the present invention is not limited to those based on the reference relationship of the picture to be encoded. That is, it may be determined whether or not the bilateral matching method can be used based on a reference relationship other than the encoding target picture.
  • FIG. 13 shows an example of the syntax of the slice header. In FIG. 13, only a part necessary for explaining the determination as to whether or not the bilateral matching method can be used is extracted, and the numbers at the left end of each row are row numbers given for convenience of explanation. .
  • the third line indicates that the slice type is determined (for example, corresponding to step S91 in FIG. 9 and step S253 in FIG. 12).
  • a flag num_ref_idx_active_override_flag for transmitting the number of reference frames as shown in the fourth row is included.
  • num_ref_idx_l0_active_minus1 shown in the sixth line means the number obtained by subtracting 1 from the maximum number of reference indexes in list 0, and it is determined whether or not the bilateral matching method can be used according to whether this is 0 or not. Is done.
  • the details of num_ref_idx_l0_active_minus1 are as shown in FIG.
  • num_ref_idx_l1_active_minus1 shown in the eighth line means the number obtained by subtracting 1 from the maximum number of reference indexes in list 1, and whether or not the bilateral matching method can be used according to whether or not this is 0. Is done.
  • the details of num_ref_idx_l1_active_minus1 are as shown in FIG.
  • the POC of the reference frame it is necessary to know the POC of the reference frame, and the POC is described in the HEVC standard document 8.3.1 Decoding process for picture count count.
  • the function PicOrderCnt (picX) is specified as shown in the second line of FIG.
  • the function DiffPicOrderCnt (picA, picB) calculates the difference between the POCs of picA and picB, as shown in the fourth line of FIG. Also, as shown in the fifth line of FIG. 16, the difference between the POC of index 0 in list 0 and the POC of index 1 in list 1 is calculated.
  • ⁇ Syntax of coding unit> 17 to 21 show examples of the coding unit syntax.
  • the number at the left end of each row is a row number given for convenience of explanation.
  • the coding unit and the prediction unit (PU (Prediction Unit)) have different sizes, but integration of these sizes (PART_2Nx2N only) is being considered.
  • the mode is the skip mode.
  • the 49th line in FIG. 18 is read out.
  • the 49th line in FIG. 18 is read according to the prediction_unit (unitx0, y0, nCbS, nCbS) on the 35th row in FIG.
  • CRP Current Reference Picture
  • IBC Intra Block Copy
  • condition for not transmitting fruc_merge_mode_flag1 a condition as shown in line 54 of FIG. That is, the condition is that the number of reference pictures is 1 for both list 0 and list 1 in the B slice, and the difference between their POC numbers is zero.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 23 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU 501 In the computer, a CPU 501, a ROM (Read Only Memory) 502, and a RAM (Random Access Memory) 503 are connected to each other by a bus 504.
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker array, and the like.
  • the recording unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in a removable recording medium 511 as a package medium or the like, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable recording medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in advance in the ROM 502 or the recording unit 508.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can be configured as follows.
  • An image processing apparatus including a prediction unit that determines whether bilateral matching can be used.
  • the prediction unit determines whether the bilateral matching can be used based on a reference relationship of whether there is only one reference image referred to by the block to be encoded or two reference images.
  • the prediction unit determines that the bilateral matching cannot be used when only one reference image is referred to by the encoding target block, and template matching based on the image including the block and the reference image
  • the image processing apparatus according to any one of (1) to (3), wherein the motion vector is derived by: (5)
  • the prediction unit determines that the bilateral matching can be used when there are two reference images referred to by the block to be encoded, and the cost calculated from the motion vector derived by the bilateral matching is high.
  • the cost calculated from the motion vector derived by the bilateral matching is calculated from the motion vector derived by the template matching.
  • Image coding device 21 control unit, 30 prediction unit, 51 candidate acquisition unit, 52 bilateral matching processing unit, 53 sub-block candidate acquisition unit, 54 bilateral matching processing unit, 91 candidate acquisition unit, 92 template matching processing unit , 93 sub-block candidate acquisition unit, 94 template matching processing unit, 201 image decoding device, 211 decoding unit, 216 prediction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技術は、さらなる符号化効率の向上を図ることができるようにする画像処理装置および方法に関する。 画像処理装置は、参照画像を用いて符号化対象のブロックから予測画像を生成する処理を行う際に、参照画像を用いたブロックマッチングによりブロックの動きベクトルを導出するにあたって、互いに異なる時刻の参照画像に基づくバイラテラルマッチングが使えるか否かの判定を行う予測部を備える。本技術は、例えば、画像符号化装置および画像復号装置に適用することができる。

Description

画像処理装置および方法
　本技術は画像処理装置および方法に関し、特に、さらなる符号化効率の向上を図ることができるようにした画像処理装置および方法に関する。
　例えば、画像の符号化や復号に関する技術としてFRUC（Frame Rate Up Conversion）と呼ばれる技術が提案されている。このFRUC技術はJVET（Joint Video Exploration Team）で提案されている技術であり、FRUC技術ではインター予測の際にデコーダ側で動き情報の予測が行われる（例えば、非特許文献１参照）。
　FRUC技術では、デコーダにおいてテンプレートマッチング法またはバイラテラルマッチング法によってブロックマッチング処理が行われ、動き情報が導出される。このようにデコーダにおいて動き情報を導出すれば、ビットストリームに格納する動き情報に関する情報を削減することができるようになる。
Joint Video Exploration Team (JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, "Algorithm Description of Joint Exploration Test Model 4" , JVET-D1001_v3, 4th Meeting: Chengdu, CN, 15-21 October 2016
　ところで、FRUC技術を用いた場合、マッチングの探索対象が１フレームだけであった場合、バイラテラルマッチング法によってブロックマッチング処理を用いることができない。従って、この場合、デコーダが、例えば、ビットストリームに常にテンプレートマッチング法を用いることを示す情報を付加することが想定されるが、そのような情報の送付は無駄な符号の送信になってしまい、符号化効率を悪化させることになってしまう。
　そのため、このような無駄な符号の送信を回避して、符号化効率の向上を図ることができるようにする技術が求められている。
　本技術は、このような状況に鑑みてなされたものであり、さらなる符号化効率の向上を図ることができるようにするものである。
　本技術の一側面の画像処理装置は、参照画像を用いて符号化対象のブロックから予測画像を生成する処理を行う際に、前記参照画像を用いたブロックマッチングにより前記ブロックの動きベクトルを導出するにあたって、互いに異なる時刻の前記参照画像に基づくバイラテラルマッチングが使えるか否かの判定を行う予測部を備える。
　本技術の一側面の画像処理方法は、本技術の一側面の画像処理装置に対応する。
　本技術の一側面においては、参照画像を用いて符号化対象のブロックから予測画像を生成する処理を行う際に、前記参照画像を用いたブロックマッチングにより前記ブロックの動きベクトルを導出するにあたって、互いに異なる時刻の前記参照画像に基づくバイラテラルマッチングが使えるか否かの判定が行われる。
　本技術の一側面によれば、さらなる符号化効率の向上を図ることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
インター予測モードについて説明する図である。 画像符号化装置の構成例を示す図である。 バイラテラルマッチングについて説明する図である。 バイラテラルマッチングについて説明する図である。 テンプレートマッチングについて説明する図である。 テンプレートマッチングについて説明する図である。 画像符号化処理を説明するフローチャートである。 インター予測処理モード設定処理を説明するフローチャートである。 FRUCマージモード符号化処理を説明するフローチャートである。 画像復号装置の構成例を示す図である。 画像復号処理を説明するフローチャートである。 FRUCマージモード復号処理を説明するフローチャートである。 スライスヘッダのシンタックスの例を示す図である。 num_ref_idx_l0_active_minus1の詳細を示す図である。 num_ref_idx_l1_active_minus1の詳細を示す図である。 POCについて説明する図である。 コーディングユニットのシンタックスの例を示す図である。 コーディングユニットのシンタックスの例を示す図である。 コーディングユニットのシンタックスの例を示す図である。 コーディングユニットのシンタックスの例を示す図である。 コーディングユニットのシンタックスの例を示す図である。 fruc_merge_mode_flag1を送信しない条件について説明する図である。 コンピュータの構成例を示す図である。
　以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈インター予測モードの種類について〉
　本技術では、処理対象となる動画像がインター予測モードまたはイントラ予測モードにより符号化および復号される。
　動画像の符号化時や復号時には、動画像を構成するフレームに対応するピクチャがCU（Coding Unit）と呼ばれる処理単位（符号化単位）で符号化および復号される。
　CUは、最大符号化単位であるCTU(Coding Tree Unit)を再帰的に分割することにより形成される、可変的なサイズを有するブロックである。以下では、特に断りのない場合には、CTUを単にCUと称し、CTUを分割して得られたCUをサブブロックと称することとする。また、以下ではCUとサブブロックを特に区別する必要がないときには、単にブロックとも称することとする。
　さらに、インター予測モードには、例えば図１に示すように複数のモードがあり、それらの複数のモードのうちの何れかのモードに従って符号化および復号が行われる。
　図１に示す例では、インター予測モードはスキップモードとノンスキップモードとに分けられる。
　ノンスキップモードでは、符号化により得られたビットストリームには、ピクチャ内のブロックについて、そのブロックと参照先となる参照ピクチャの参照ブロックとの画像の差分である予測残差が格納される。これに対して、スキップモードでは、予測残差がビットストリーム内には格納されない。
　また、ノンスキップモードは、さらにマージモードとノンマージモードとに分けられる。ノンマージモードでは、符号化により得られたビットストリームには、ピクチャ内のブロックについて、そのブロックについて求められた予測動きベクトルの誤差を示す差分動きベクトルが格納される。これに対して、マージモードではビットストリームには差分動きベクトルは格納されない。
　さらに、ノンスキップモードでのノンマージモードには、矢印Ａ１１に示すアフィンAMVP（Advanced Motion Vector Prediction）モードと、矢印Ａ１２に示すNon-FRUCモード、つまり通常のAMVPモードと、矢印Ａ１３に示すFRUCモードとがある。
　アフィンAMVPモードは、アフィン変換を利用して動き情報を導出するモードである。AMVPモードは、ピクチャ内のブロックについて、予測残差、予測動きベクトルを得るための予測動きベクトルの候補、および差分動きベクトルがビットストリームに格納されるモードである。すなわち、動き情報として予測動きベクトルの候補と差分動きベクトルがビットストリームに格納される。
　ここでは予測動きベクトルの候補を示す情報として、処理対象のブロックの周囲にある複数の周辺領域のうちの１つの周辺領域を示すインデックス等がビットストリームに格納されている。AMVPモードでは、復号時には、予測動きベクトルの候補とされた周辺領域の予測動きベクトルに対して差分動きベクトルを加算して得られるベクトルが処理対象のブロックの動きベクトルとして用いられる。
　また、矢印Ａ１３に示すFRUCモードは、ピクチャ内のブロックについて、テンプレートマッチング法とバイラテラルマッチング法の何れにより動き情報を導出するかを示すFRUC_Mode_flagと、予測残差と、差分動きベクトルとがビットストリームに格納されるモードである。このFRUCモードは、AMVPモードを基本としてデコーダ側で動き情報を導出するモードである。以下では、矢印Ａ１３に示すFRUCモードを、特にFRUC AMVPモードとも称することとする。
　さらに、ノンスキップモードでのマージモードには、矢印Ａ１４に示すFRUCモードと、矢印Ａ１５に示すAMVPでのマージモードと、矢印Ａ１６に示すアフィンマージモードとがある。
　矢印Ａ１４に示すFRUCモードは、ピクチャ内のブロックについて、FRUC_Mode_flagと、予測残差とがビットストリームに格納されるモードである。以下では、矢印Ａ１４に示すFRUCモードを、特にFRUCマージモードとも称することとする。
　矢印Ａ１５に示すAMVPでのマージモードは、ピクチャ内のブロックについて、予測残差および予測動きベクトルの候補がビットストリームに格納されるモードであり、以下ではこのマージモードを特にAMVPマージモードとも称することとする。
　矢印Ａ１６に示すアフィンマージモードは、差分動きベクトルがビットストリームに格納されない点で、矢印Ａ１１に示したアフィンAMVPモードと異なる。
　さらに、スキップモードは、FRUCモードとNon-FRUCモードとに分けられる。すなわち、スキップモードには、矢印Ａ１７に示すFRUCモードと、矢印Ａ１８に示すマージモードと、矢印Ａ１９に示すアフィンマージモードとがある。
　矢印Ａ１７に示すFRUCモードは、ピクチャ内のブロックについて、FRUC_Mode_flagがビットストリームに格納されるモードである。以下では、矢印Ａ１７に示すFRUCモードを、特にスキップFRUCモードとも称することとする。
　矢印Ａ１８に示すマージモードは、ピクチャ内のブロックについて、予測動きベクトルの候補がビットストリームに格納されるモードであり、以下ではこのマージモードを特にスキップマージモードとも称することとする。
　矢印Ａ１９に示すアフィンマージモードは、予測残差がビットストリームに格納されない点で、矢印Ａ１６に示したアフィンマージモードと異なる。
　本技術では、図１の矢印Ａ１１乃至矢印Ａ１９に示すモードのうちの何れかのモードがエンコーダ側で選択されてピクチャ上のブロックが符号化される。なお、以下では説明を簡単にするためスキップモードやアフィン変換に関するモードは選択されず、AMVPモード、FRUC AMVPモード、AMVPマージモード、およびFRUCマージモードのなかからブロックの符号化時のモードが選択されるものとして説明を続ける。
〈画像符号化装置の構成例〉
　次に、本技術を適用した画像処理装置としての画像符号化装置について説明する。
　図２は、本技術を適用した画像符号化装置の一実施の形態の構成例を示す図である。
　図２に示す画像符号化装置１１は、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）のように、画像とその予測画像との予測残差を符号化するエンコーダである。例えば、画像符号化装置１１は、HEVCの技術やJVETにて提案された技術を実装している。
　なお、図２においては、処理部やデータの流れ等の主なものを示しており、図２に示されるものが全てとは限らない。つまり、画像符号化装置１１において、図２においてブロックとして示されていない処理部が存在したり、図２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　画像符号化装置１１は、制御部２１、演算部２２、変換部２３、量子化部２４、符号化部２５、逆量子化部２６、逆変換部２７、演算部２８、フレームメモリ２９、および予測部３０を有する。画像符号化装置１１は、入力されるフレーム単位の動画像であるピクチャに対してCUごとまたはサブブロックごとに符号化を行う。
　具体的には、画像符号化装置１１の制御部２１は、外部からの入力等に基づいて、ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等からなる符号化パラメータを設定する。
　ヘッダ情報Hinfoは、例えば、ビデオパラメータセット（VPS（Video Parameter Set））、シーケンスパラメータセット（SPS（Sequence Parameter Set））、ピクチャパラメータセット（PPS（Picture Parameter Set））、スライスヘッダ（SH）等の情報を含む。
　予測情報Pinfoには、例えば、サブブロック（PU（Prediction Unit））の形成時の各分割階層における水平方向または垂直方向の分割の有無を示すsplit flagが含まれる。また、予測情報Pinfoには、ブロックごとに、そのブロックの予測処理がイントラ予測処理であるか、またはインター予測処理であるかを示すモード情報pred_mode_flagが含まれる。
　モード情報pred_mode_flagがインター予測処理を示す場合、予測情報Pinfoには、Merge_flag、FRUC_flag、FRUC_Mode_flag、動きベクトル情報、参照画像（参照ピクチャ）を特定する参照画像特定情報などが含まれる。
　Merge_flagは、インター予測処理のモードがマージモードであるか否かを示すフラグ情報である。例えばマージモードである場合にはMerge_flagの値は１とされ、マージモードでない場合にはMerge_flagの値は０とされる。
　FRUC_flagは、FRUCモードであるか否かを示すフラグ情報であり、例えばFRUCモードである場合にはFRUC_flagの値は１とされ、FRUCモードでない場合にはFRUC_flagの値は０とされる。
　FRUC_Mode_flagは、FRUCモードである場合に、テンプレートマッチング法またはバイラテラルマッチング法の何れにより動き情報を導出するかを示すフラグ情報である。例えばバイラテラルマッチングにより動き情報を導出する場合にはFRUC_Mode_flagの値は１とされ、テンプレートマッチングにより動き情報を導出する場合にはFRUC_Mode_flagの値は０とされる。
　動きベクトル情報は、上述した予測動きベクトルの候補と差分動きベクトルのうちの少なくとも何れか一方からなる情報である。
　モード情報pred_mode_flagがイントラ予測処理を示す場合、予測情報Pinfoには、そのイントラ予測処理のモードであるイントラ予測モードを示すイントラ予測モード情報などが含まれる。もちろん、予測情報Pinfoの内容は任意であり、上述した例以外のどのような情報がこの予測情報Pinfoに含まれるようにしてもよい。
　変換情報Tinfoには、TB(Transform Block)と呼ばれる処理単位（変換ブロック）のサイズを示すTBSizeなどが含まれる。輝度（Ｙ）および色差（Cb,Cr）ごとのTBにより、直交変換処理の処理単位であるTU（Transform Unit）が構成されるが、ここではTUはサブブロックと同じであるとされる。
　また、画像符号化装置１１では、符号化対象となる動画像のピクチャ（以下、原画像とも称する）が演算部２２および予測部３０に供給される。
　演算部２２は、入力されるピクチャを順に符号化対象のピクチャとし、予測情報Pinfoのsplit flagに基づいて、符号化対象のピクチャに対して符号化対象のブロック、すなわちCUまたはサブブロックを設定する。演算部２２は、符号化対象のブロックの画像Ｉ（以下、カレントブロックとも称する）から、予測部３０から供給されたブロック単位の予測画像Ｐを減算して予測残差Ｄを求め、変換部２３に供給する。
　変換部２３は、制御部２１から供給された変換情報Tinfoに基づいて、演算部２２から供給された予測残差Ｄに対して直交変換等を行い、変換係数Coeffを導出し、量子化部２４に供給する。
　量子化部２４は、制御部２１から供給された変換情報Tinfoに基づいて、変換部２３から供給された変換係数Coeffをスケーリング（量子化）し、量子化変換係数レベルlevelを導出する。量子化部２４は、量子化変換係数レベルlevelを符号化部２５および逆量子化部２６に供給する。
　符号化部２５は、量子化部２４から供給された量子化変換係数レベルlevel等を所定の方法で符号化する。例えば、符号化部２５は、シンタックステーブルの定義に沿って、制御部２１から供給された符号化パラメータ（ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等）と、量子化部２４から供給された量子化変換係数レベルlevelを、各シンタックス要素のシンタックス値へ変換する。そして、符号化部２５は、各シンタックス値を算術符号化等により符号化する。
　符号化部２５は、例えば符号化の結果得られた各シンタックス要素のビット列である符号化データを多重化し、符号化ストリームとして出力する。
　逆量子化部２６は、制御部２１から供給された変換情報Tinfoに基づいて、量子化部２４から供給された量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、逆量子化後の変換係数Coeff_IQを導出する。逆量子化部２６は、変換係数Coeff_IQを逆変換部２７に供給する。この逆量子化部２６により行われる逆量子化は、量子化部２４により行われる量子化の逆処理であり、後述する画像復号装置において行われる逆量子化と同様の処理である。
　逆変換部２７は、制御部２１から供給された変換情報Tinfoに基づいて、逆量子化部２６から供給された変換係数Coeff_IQに対して逆直交変換等を行い、予測残差Ｄ’を導出する。逆変換部２７は、予測残差Ｄ’を演算部２８に供給する。
　この逆変換部２７により行われる逆直交変換は、変換部２３により行われる直交変換の逆処理であり、後述する画像復号装置において行われる逆直交変換と同様の処理である。
　演算部２８は、逆変換部２７から供給された予測残差Ｄ’と、予測部３０から供給された、その予測残差Ｄ’に対応する予測画像Ｐとを加算して局所的な復号画像Recを導出する。演算部２８は、局所的な復号画像Recをフレームメモリ２９に供給する。
　フレームメモリ２９は、演算部２８から供給された局所的な復号画像Recを用いてピクチャ単位の復号画像を再構築し、フレームメモリ２９内のバッファへ格納する。
　フレームメモリ２９は、予測部３０により指定される復号画像を参照画像（参照ピクチャ）としてバッファより読み出し、予測部３０に供給する。また、フレームメモリ２９は、復号画像の生成に係るヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfoなどを、フレームメモリ２９内のバッファに格納するようにしてもよい。
　予測部３０は、予測情報Pinfoのモード情報pred_mode_flagに基づいて、フレームメモリ２９に格納された、符号化対象のブロックと同一時刻の復号画像を参照画像として取得する。そして、予測部３０は、参照画像を用いて符号化対象のブロックに対して、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。
　また、予測部３０は、予測情報Pinfoのモード情報pred_mode_flagと参照画像特定情報に基づいて、フレームメモリ２９に格納された、符号化対象のブロックとは異なる時刻の復号画像を参照画像として取得する。予測部３０は、Merge_flagやFRUC_flag、FRUC_Mode_flag、動きベクトル情報等に基づいて、参照画像に対してMerge_flagおよびFRUC_flagにより定まるモードでのインター予測処理を行う。なお、インター予測処理時には、供給された原画像も必要に応じて用いられる。
　予測部３０は、イントラ予測処理またはインター予測処理の結果生成された符号化対象のブロックの予測画像Ｐを演算部２２および演算部２８に供給する。
　さらに、予測部３０は、イントラ予測処理またはインター予測処理を行う際に、FRUC技術を用いて動き情報を導出するにあたって、バイラテラルマッチング法が使えるか否かを判定して、バイラテラルマッチング法が使えないと判定された場合には、自動的に、テンプレートマッチング法を用いることとする。
　即ち、上述の図１を参照して説明したように、矢印Ａ１３に示すFRUC AMVPモード、矢印Ａ１４に示すFRUCマージモード、および、矢印Ａ１７に示すスキップFRUCモードは、FRUC技術を用いた動き情報を導出するモードである。そして、これらの各モードでは、バイラテラルマッチング法とテンプレートマッチング法の何れかが選択されるが、画像Ｉ、すなわちカレントブロックがＰスライスのブロックである場合には、バイラテラルマッチング法を用いることができない。
　例えば、バイラテラルマッチングでは、後述の図３を参照して説明するように、符号化対象のピクチャ（フレーム）であるピクチャPIC11と、参照ピクチャであるピクチャPIC12およびピクチャPIC13とが用いられる。このように、バイラテラルマッチングでは、マッチングの探索対象として、異なる時間の２つの参照フレームが必要になることより、マッチングの探索対象が１フレームだけであった場合には、バイラテラルマッチング法を用いることができない。
　そこで、予測部３０は、参照フレームの出力順を示すPOC（Picture Order Count：ピクチャオーダカウント）番号に従って、符号化対象のピクチャが参照する参照フレームが１枚だけなのか、または、参照フレームが２枚あるのか（以下適宜、符号化対象のピクチャの参照関係と称する）を確認し、その参照関係よりバイラテラルマッチング法が使えるか否かを判定する。
　例えば、予測部３０は、参照フレームが同じPOC番号しかない場合、符号化対象のピクチャの参照関係について、参照フレームが１枚だけであると確認し、バイラテラルマッチング法が使えないと判定する。従って、この場合、動き情報の導出方法としてテンプレートマッチング法が自動的に採用（選択）され、予測部３０は、テンプレートマッチング法により動き情報を導出して、その動き情報に基づいて予測画像を生成する。
　また、予測部３０は、参照フレームに異なるPOC番号がある場合、符号化対象のピクチャの参照関係について、参照フレームが２枚あると確認し、バイラテラルマッチング法が使えると判定する。従って、この場合、予測部３０は、まず、後述の図９のフローチャートを参照して説明するように、バイラテラルマッチング法により導出された動き情報から算出されるコストと、テンプレートマッチング法により導出された動き情報から算出されるコストとを算出する。例えば、差分計算ブロックについて求まるコストは、差分計算ブロックについての差分が小さいほど小さくなるようにされる。
　そして、予測部３０は、バイラテラルマッチング法を用いるコストが、テンプレートマッチング法を用いるコスト未満であれば、バイラテラルマッチング法を用いることを決定し、バイラテラルマッチング法より導出した動き情報に基づいて予測画像を生成する。一方、予測部３０は、バイラテラルマッチング法が使える場合であっても、バイラテラルマッチング法を用いるコストが、テンプレートマッチング法を用いるコスト未満でなければ、テンプレートマッチング法を用いることを決定し、テンプレートマッチング法により導出した動き情報に基づいて予測画像を生成する。
　このように、画像符号化装置１１では、予測部３０が、符号化対象のピクチャの参照関係に基づいてバイラテラルマッチング法が使えるか否かの判定を行うことができる。これにより、画像符号化装置１１では、バイラテラルマッチング法が使えない場合には、動き情報の導出方法としてテンプレートマッチング法が自動的に採用される。従って、画像符号化装置１１は、例えば、テンプレートマッチング法を用いることを示す情報を付加するような無駄な符号の送信を回避して、さらなる符号化効率の向上を図ることができる。
〈FRUCモードについて〉
　ここで、FRUCモードについて説明する。
　例えばインター予測では、動き補償を行うためにデコーダ側において予測動きベクトルや参照インデックスといった動き情報が必要となる。
　通常、予測動きベクトルは、予測動きベクトルの候補との差分動きベクトル情報といった形で符号化ストリームに含められ、デコーダは予測動きベクトルの候補と差分動きベクトル情報に基づいて予測動きベクトルを再構成する。
　符号化ストリームに差分動きベクトルを格納すると、符号化ストリームの符号量が増加することになるため、符号化効率が悪化することになる。
　FRUC技術は動き情報の予測、すなわち動き情報の導出の方法の１つであり、FRUC技術によりデコーダ側で動き情報を導出すれば、高精度に予測動きベクトルを予測できるようになるだけでなく動き情報の符号量を削減することができ、符号化効率を向上させることができる。特に、スキップFRUCモードでは動き情報が不要であるため、符号化効率を大幅に向上させることができる。
　上述したようにFRUCモードでは、エンコーダ側においてバイラテラルマッチング法とテンプレートマッチング法のうちの何れかを選択することができ、デコーダ側ではエンコーダ側で指定された方法により動き情報を導出することになる。
　例えばバイラテラルマッチングでは、図３に示すように符号化対象のピクチャ（フレーム）であるピクチャPIC11と、参照ピクチャであるピクチャPIC12およびピクチャPIC13とが用いられて、ピクチャPIC11上のカレントブロックCB11の予測動きベクトルが導出される。
　なお、図３において横方向は時間を示しており、この例ではピクチャPIC12は、ピクチャPIC11よりも表示順で古い時刻のフレームとなっており、ピクチャPIC13は、ピクチャPIC11よりも表示順で新しい時刻のフレームとなっている。
　特に、ピクチャPIC12は参照画像特定情報としてのリファレンスリストRef0により参照ピクチャとして示されるピクチャ（フレーム）である。これに対してピクチャPIC13は参照画像特定情報としてのリファレンスリストRef1により参照ピクチャとして示されるピクチャ（フレーム）である。
　ここで、リファレンスリストRef0は、基本的には符号化対象のピクチャPIC11よりも古いフレームを参照ピクチャとして示すリストであり、リファレンスリストRef0では符号化対象のピクチャを含む複数のピクチャを参照ピクチャとして指定することができる。
　同様に、リファレンスリストRef1は、基本的には符号化対象のピクチャPIC11よりも新しいフレームを参照ピクチャとして示すリストであり、リファレンスリストRef1では符号化対象のピクチャを含む複数のピクチャを参照ピクチャとして指定することができる。
　また、図３に示す例では、TD0はピクチャPIC11とピクチャPIC12との間の時間距離を示しており、TD1はピクチャPIC11とピクチャPIC13との間の時間距離を示している。ここでは、例えば時間距離TD0と時間距離TD1は等しい距離とされる。
　例えば符号化対象であるカレントブロックCB11の予測動きベクトルの導出時には、カレントブロックCB11の中心を通る直線L11について、ピクチャPIC12における直線L11との交点を中心とするブロックBL11と、ピクチャPIC13における直線L11との交点を中心とするブロックBL12とが選択される。そして、ブロックBL11とブロックBL12との差分が算出される。
　さらに、サーチレンジ内において、ブロックBL11とブロックBL12の位置がずらされながら、全てのブロックBL11とブロックBL12の組み合わせについて差分が計算され、差分が最も小さくなる組み合わせが探索される。そして、最も差分が小さくなる組み合わせのブロックを示すベクトルが求めたい予測動きベクトルとされる。
　なお、このとき、ブロックBL11の中心とブロックBL12の中心とを結ぶ直線が、必ずカレントブロックCB11の中心を通るように各ブロックが選択される。つまり、カレントブロックCB11を直線的に結ぶブロックBL11およびブロックBL12の差分が計算される。
　この例では、カレントブロックCB11の予測動きベクトルとして、図中、矢印により表される動きベクトルMV0と動きベクトルMV1とが得られている。
　動きベクトルMV0は、カレントブロックCB11の中心位置と同じ位置関係のピクチャPIC12上の位置を始点とし、ブロックBL11の中心の位置を終点とするベクトルである。同様に、動きベクトルMV1は、カレントブロックCB11の中心位置と同じ位置関係のピクチャPIC13上の位置を始点とし、ブロックBL12の中心の位置を終点とするベクトルである。
　このようにバイラテラルマッチングでは、ピクチャPIC12とピクチャPIC13との間ではテクスチャが直線状に動くというモデルを仮定しており、等速で運動（移動）する物体がこのモデルに当てはまる。
　図４は、バイラテラルマッチングにおいて、２つの参照ピクチャ上のブロックがカレントブロックと直線的に結ばれていることを分かり易くするために各ピクチャを１次元的に表現した図である。なお、図４において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　この例では、カレントブロックCB11と、ピクチャPIC12上のブロックBL21と、ピクチャPIC13上のブロックBL22とが直線的に結ばれている。すなわち、カレントブロックCB11、ブロックBL21、およびブロックBL22が直線L21上に位置しており、予測動きベクトルを導出するためにブロックBL21とブロックBL22との差分が計算される。
　ここで、参照ピクチャであるピクチャPIC12とピクチャPIC13については、カレントブロックCB11が符号化対象または復号対象となった時点で、それらのピクチャPIC12およびピクチャPIC13の全領域が符号化済みまたは復号済みとなっている。
　これに対して、ピクチャPIC11については、カレントブロックCB11が符号化対象または復号対象となった時点において、カレントブロックCB11よりも図中、上側の領域は符号化済みまたは復号済みであるが、カレントブロックCB11よりも図中、下側の領域は符号化または復号がされていない状態となっている。
　カレントブロックCB11の予測動きベクトルの導出時には、直線L21の角度（傾き）を変化させることで、差分の計算対象となるブロックが変化する。
　以上のようにしてバイラテラルマッチングでは、差分の計算対象となるブロックを変化させながら、符号化対象のピクチャとは表示時刻が異なり、かつ互いに表示時刻が異なる２つの参照ピクチャを用いたブロックマッチングにより予測動きベクトルが導出される。これにより、エンコーダ側だけでなくデコーダ側においても高精度に予測動きベクトルを導出（予測）することができる。
　また、テンプレートマッチングでは、例えば図５に示すように符号化対象のピクチャと、符号化対象のピクチャとは表示時刻の異なる参照ピクチャとの間でブロックマッチングが行われる。なお、図５において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図５に示す例では、ピクチャPIC11のカレントブロックCB11が符号化対象となっており、このピクチャPIC11と、ピクチャPIC12との間でブロックマッチングが行われる。
　ブロックマッチングでは、ピクチャPIC11上のカレントブロックCB11に隣接する領域TM11-1および領域TM11-2がブロックマッチング、つまり差分の計算に用いられる領域であるテンプレートとされる。なお、以下、領域TM11-1および領域TM11-2を特に区別する必要のない場合、単に領域TM11とも称することとする。
　この領域TM11は、カレントブロックCB11が処理対象となった時点で、既に符号化済みまたは復号済みとなっている領域である。
　また、参照ピクチャであるピクチャPIC12では、領域TM11-1および領域TM11-2と同じ大きさおよび形状である領域TM12-1および領域TM12-2がテンプレートとされる。
　なお、領域TM12-1の形状および大きさは、領域TM11-1の形状および大きさと同じであり、領域TM12-2の形状および大きさは、領域TM11-2の形状および大きさと同じである。さらに、領域TM12-1と領域TM12-2の相対的な位置関係は、領域TM11-1と領域TM11-2の相対的な位置関係と同じとなっている。
　以下、領域TM12-1および領域TM12-2を特に区別する必要のない場合、単に領域TM12とも称することとする。
　テンプレートマッチングでは、所定のサーチレンジ内で領域TM12の位置をずらしながら、各位置について同じ形状の領域TM11と領域TM12との差分を計算し、差分が最も小さくなる領域TM12の位置が探索される。
　この例では、差分の計算時には領域TM11-1と領域TM12-1の差分、および領域TM11-2と領域TM12-2の差分が計算されることになる。
　そして、差分が最も小さくなるときの領域TM12の位置を示すベクトルが求めたい予測動きベクトルとされる。この例では、カレントブロックCB11の予測動きベクトルとして、図中、矢印により表される動きベクトルMV0が得られている。
　例えばカレントブロックCB11と同じ形状および大きさであり、ピクチャPIC12における領域TM12との相対的な位置関係が領域TM11とカレントブロックCB11の相対的な位置関係と同じであるブロックをブロックBL31とする。また、領域TM12およびブロックBL31の位置が図５に示されている位置となっているときに領域TM11と領域TM12の差分が最小となるとする。
　この場合、カレントブロックCB11の中心位置と同じ位置関係のピクチャPIC12上の位置を始点とし、ブロックBL31の中心の位置を終点とするベクトルが動きベクトルMV0となる。
　図６は、テンプレートマッチングにおける、参照ピクチャのテンプレートと、カレントブロックに隣接するテンプレートとの関係を分かり易くするために各ピクチャを１次元的に表現した図である。なお、図６において図３または図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　この例では、カレントブロックCB11に隣接するテンプレートの領域TM11と、参照ピクチャであるピクチャPIC12上のテンプレートの領域TM12とが直線により結ばれて描かれており、予測動きベクトルを導出するために領域TM11と領域TM12との差分が計算される。
　ここで、参照ピクチャであるピクチャPIC12とピクチャPIC13については、カレントブロックCB11が符号化対象または復号対象となった時点で、それらのピクチャPIC12およびピクチャPIC13の全領域が符号化済みまたは復号済みとなっている。
　これに対して、ピクチャPIC11については、カレントブロックCB11が符号化対象または復号対象となった時点において、カレントブロックCB11よりも図中、上側の領域は符号化済みまたは復号済みであるが、カレントブロックCB11よりも図中、下側の領域は符号化または復号がされていない状態となっている。この例では、領域TM11は符号化済みまたは復号済みの領域となっている。
　テンプレートマッチングでは、カレントブロックCB11と、そのカレントブロックCB11に隣接するテンプレートである領域TM11とでは動きベクトルは同じであると仮定される。そして、ピクチャPIC12から領域TM11と類似する領域、つまり差分の小さい領域TM12が探索され、その探索結果により示される動きベクトルが、カレントブロックCB11の予測動きベクトルであるとされる。
　以上のようにしてテンプレートマッチングでは、差分の計算対象となる参照ピクチャ上のテンプレート位置を変化させながら、符号化対象のピクチャとは表示時刻が異なる１つの参照ピクチャを用いたブロックマッチングにより予測動きベクトルが導出される。これにより、エンコーダ側だけでなくデコーダ側においても高精度に予測動きベクトルを導出（予測）することができる。
〈画像符号化処理の説明〉
　次に、以上において説明した画像符号化装置１１の動作について説明する。
　まず、図７のフローチャートを参照して、画像符号化装置１１による画像符号化処理について説明する。なお、この画像符号化処理は、CU単位またはサブブロック単位で行われる。
　ステップＳ１１において、制御部２１は、外部からの入力等に基づいて符号化パラメータを設定し、設定した各符号化パラメータを画像符号化装置１１の各部に供給する。
　ステップＳ１１では、例えば上述したヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等が符号化パラメータとして設定される。
　ステップＳ１２において、予測部３０は制御部２１から供給された予測情報Pinfoのモード情報pred_mode_flagに基づいて、インター予測処理を行うか否かを判定する。例えばモード情報pred_mode_flagの値がインター予測処理を示している場合、ステップＳ１２においてインター予測処理を行うと判定される。
　ステップＳ１２においてインター予測処理を行うと判定された場合、ステップＳ１３において、予測部３０は制御部２１から供給された予測情報PinfoのMerge_flagの値が１であるか否か、すなわちMerge_flag＝１であるか否かを判定する。
　ステップＳ１３においてMerge_flag＝１であると判定された場合、すなわちマージモードであると判定された場合、ステップＳ１４において、予測部３０は制御部２１から供給された予測情報PinfoのFRUC_flagの値が１であるか否か、すなわちFRUC_flag＝１であるか否かを判定する。
　ステップＳ１４においてFRUC_flag＝１であると判定された場合、すなわちFRUCモードであると判定された場合、処理はステップＳ１５へと進む。
　ステップＳ１５において、画像符号化装置１１の各部はFRUCマージモードで符号化対象の画像Ｉ（カレントブロック）を符号化する符号化処理を行い、画像符号化処理は終了する。
　FRUCマージモードでの符号化処理では、FRUCモードにより動き情報が導出されて予測情報Pinfoや量子化変換係数レベルlevel等が格納された符号化ストリームが生成される。
　このとき生成される予測情報Pinfoには、例えばMerge_flagやFRUC_flag、FRUC_Mode_flag、参照画像特定情報が含まれており、動きベクトル情報は含まれていない。また、画像Ｉ、すなわちカレントブロックがＰスライスのブロックであるときには、予測情報PinfoにはFRUC_Mode_flagが含まれていないようにされる。
　さらに、ここでは説明を省略したが、スキップFRUCモードである場合にはステップＳ１５で行われるFRUCマージモードでの符号化処理と同様の処理が行われ、符号化ストリームが生成されて出力される。但し、スキップFRUCモードでは、符号化ストリームには量子化変換係数レベルlevelは格納されない。
　一方、ステップＳ１４においてFRUC_flag＝１でないと判定された場合、すなわちFRUC_flag＝０であり、FRUCモードではないと判定された場合、処理はステップＳ１６へと進む。
　ステップＳ１６において、画像符号化装置１１の各部はAMVPマージモードで符号化対象の画像Ｉを符号化する符号化処理を行い、画像符号化処理は終了する。
　なお、AMVPマージモードでの符号化処理では、予測部３０においてAMVPモードにより動き補償が行われてインター予測処理が行われる。そして、インター予測処理により得られた予測画像Ｐが用いられてカレントブロックが符号化され、予測情報Pinfoや量子化変換係数レベルlevel等が格納された符号化ストリームが生成される。
　また、ステップＳ１３において、Merge_flag＝１でないと判定された場合、すなわちMerge_flag＝０であり、ノンマージモードであると判定された場合、処理はステップＳ１７へと進む。
　ステップＳ１７において、予測部３０は制御部２１から供給された予測情報PinfoのFRUC_flagの値が１であるか否か、すなわちFRUC_flag＝１であるか否かを判定する。
　ステップＳ１７において、FRUC_flag＝１であると判定された場合、すなわちFRUCモードであると判定された場合、処理はステップＳ１８へと進む。
　ステップＳ１８において、画像符号化装置１１の各部はFRUC AMVPモードで符号化対象の画像Ｉを符号化する符号化処理を行い、画像符号化処理は終了する。
　なお、FRUC AMVPモードでの符号化処理では、FRUCマージモードでの符号化処理と同様の処理が行われて符号化ストリームが生成される。この場合、FRUCモードにより動き情報が導出されて予測情報Pinfoや量子化変換係数レベルlevel等が格納された符号化ストリームが生成される。
　また、予測情報Pinfoには、例えばMerge_flagやFRUC_flag、FRUC_Mode_flag、動きベクトル情報としての差分動きベクトル、参照画像特定情報が含まれている。但し、カレントブロックがＰスライスのブロックであるときには、予測情報PinfoにはFRUC_Mode_flagが含まれていないようにされる。
　これに対して、ステップＳ１７においてFRUC_flag＝１でないと判定された場合、すなわちFRUC_flag＝０であり、FRUCモードではないと判定された場合、処理はステップＳ１９へと進む。
　ステップＳ１９において、画像符号化装置１１の各部はAMVPモードで符号化対象の画像Ｉを符号化する符号化処理を行い、画像符号化処理は終了する。
　なお、AMVPモードでの符号化処理では、予測部３０においてAMVPモードにより動き補償が行われてインター予測処理が行われる。そして、インター予測処理により得られた予測画像Ｐが用いられてカレントブロックが符号化され、予測情報Pinfoや量子化変換係数レベルlevel、動きベクトル情報等が格納された符号化ストリームが生成される。
　また、ステップＳ１２においてインター予測処理を行わないと判定された場合、すなわちイントラ予測処理を行うと判定された場合、処理はステップＳ２０へと進む。
　ステップＳ２０において、画像符号化装置１１の各部はイントラ予測モードで符号化対象の画像Ｉを符号化するイントラ符号化処理を行い、画像符号化処理は終了する。
　イントラ符号化処理では、予測部３０においてイントラ予測モードにより予測画像Ｐが生成される。そして、予測画像Ｐが用いられてカレントブロックが符号化されて、予測情報Pinfoや量子化変換係数レベルlevel等が格納された符号化ストリームが生成される。
　以上のようにして、画像符号化装置１１は、符号化パラメータに応じて入力された画像を符号化し、符号化により得られた符号化ストリームを出力する。このように適切なモードで画像を符号化することにより、符号化効率を向上させることができる。
〈インター予測処理モード設定処理の説明〉
　次に、図８のフローチャートを参照して、図７のステップＳ１１の処理に対応するインター予測処理モード設定処理について説明する。
　このインター予測処理モード設定処理は、図７のステップＳ１１の処理のうちのインター予測処理モードに関する部分の処理である。すなわち、インター予測処理モード設定処理は、Merge_flagとFRUC_flagの値が決定される部分の処理である。また、インター予測処理モード設定処理は、CU単位またはサブブロック単位で行われる。
　ステップＳ５１において、制御部２１は画像符号化装置１１の各部を制御して、符号化対象のブロックについてFRUCマージモードでの符号化処理を行わせ、RDコストJFRUC_MRGを算出させる。
　なお、RDコストは符号化の結果得られる発生ビット量（符号量）や復号画像のSSE（Error Sum of Squares）などに基づいて算出される。
　ステップＳ５２において、制御部２１は画像符号化装置１１の各部を制御して、符号化対象のブロックについてAMVPマージモードでの符号化処理を行わせ、RDコストJMRGを算出させる。
　ステップＳ５３において、制御部２１は画像符号化装置１１の各部を制御して、符号化対象のブロックについてFRUC AMVPモードでの符号化処理を行わせ、RDコストJFRUC_AMVPを算出させる。
　ステップＳ５４において、制御部２１は画像符号化装置１１の各部を制御して、符号化対象のブロックについてAMVPモードでの符号化処理を行わせ、RDコストJAMVPを算出させる。
　ステップＳ５５において、制御部２１は、ステップＳ５１乃至ステップＳ５４の各処理で得られたRDコストJFRUC_MRG、RDコストJMRG、RDコストJFRUC_AMVP、およびRDコストJAMVPのうち、RDコストJFRUC_MRGが最小であるか否かを判定する。
　ステップＳ５５において、RDコストJFRUC_MRGが最小であると判定された場合、処理はステップＳ５６へと進む。この場合、カレントブロックのインター予測モードとして、FRUCマージモードが選択されたことになり、図７を参照して説明した画像符号化処理では、ステップＳ１５の符号化処理が行われて符号化ストリームが生成されることになる。
　ステップＳ５６において、制御部２１はMerge_flag＝１およびFRUC_flag＝１とする。すなわち、制御部２１は、予測情報PinfoとしてのMerge_flagの値を１とするとともにFRUC_flagの値を１とする。
　ステップＳ５７において、制御部２１はFRUCモードでの動き情報の導出結果に基づいて、FRUC_Mode_flagを生成し、インター予測処理モード設定処理は終了する。但し、カレントブロックがＰスライスのブロックであるときには、ステップＳ５７の処理は行われず、FRUC_Mode_flagは生成されない。
　例えば、FRUCモードでの符号化時において、動き情報の導出にテンプレートマッチング法を採用したときのRDコストJTemplateよりも、動き情報の導出にバイラテラルマッチング法を採用したときのRDコストJBiLateralが小さい場合、FRUC_Mode_flagの値は１とされる。すなわち、ステップＳ５７では値が１であるFRUC_Mode_flagが生成される。これに対して、RDコストJBiLateralがRDコストJTemplate以上である場合、FRUC_Mode_flagの値は０とされる。
　また、ステップＳ５５において、RDコストJFRUC_MRGが最小でないと判定された場合、処理はステップＳ５８へと進む。ステップＳ５８において、制御部２１はRDコストJFRUC_MRG、RDコストJMRG、RDコストJFRUC_AMVP、およびRDコストJAMVPのうち、RDコストJMRGが最小であるか否かを判定する。
　ステップＳ５８においてRDコストJMRGが最小であると判定された場合、処理はステップＳ５９へと進む。この場合、カレントブロックのインター予測モードとして、AMVPマージモードが選択されたことになり、図７を参照して説明した画像符号化処理では、ステップＳ１６の符号化処理が行われて符号化ストリームが生成されることになる。
　ステップＳ５９において、制御部２１はMerge_flag＝１およびFRUC_flag＝０として、インター予測処理モード設定処理は終了する。
　さらに、ステップＳ５８においてRDコストJMRGが最小でないと判定された場合、処理はステップＳ６０へと進む。
　ステップＳ６０において、制御部２１はRDコストJFRUC_MRG、RDコストJMRG、RDコストJFRUC_AMVP、およびRDコストJAMVPのうち、RDコストJFRUC_AMVPが最小であるか否かを判定する。
　ステップＳ６０においてRDコストJFRUC_AMVPが最小であると判定された場合、ステップＳ６１において、制御部２１はMerge_flag＝０およびFRUC_flag＝１とする。
　この場合、カレントブロックのインター予測モードとして、FRUC AMVPモードが選択されたことになり、図７を参照して説明した画像符号化処理では、ステップＳ１８の符号化処理が行われて符号化ストリームが生成されることになる。
　ステップＳ６２において、制御部２１はFRUCモードでの動き情報の導出結果に基づいて、FRUC_Mode_flagを生成し、インター予測処理モード設定処理は終了する。但し、カレントブロックがＰスライスのブロックであるときには、ステップＳ６２の処理は行われず、FRUC_Mode_flagは生成されない。
　なお、ステップＳ６２ではステップＳ５７と同様の処理が行われる。
　また、ステップＳ６０において、RDコストJFRUC_AMVPが最小でないと判定された場合、すなわちRDコストJAMVPが最小であると判定された場合、処理はステップＳ６３へと進む。この場合、カレントブロックのインター予測モードとして、AMVPモードが選択されたことになり、図７を参照して説明した画像符号化処理では、ステップＳ１９の符号化処理が行われて符号化ストリームが生成されることになる。
　ステップＳ６３において、制御部２１はMerge_flag＝０およびFRUC_flag＝０として、インター予測処理モード設定処理は終了する。
　以上のようにして画像符号化装置１１は、各モードのRDコストを算出し、RDコストが最小となるモードを選択して、その選択結果に応じてMerge_flagやFRUC_flagを生成する。これにより、符号化効率を向上させることができる。
〈FRUCマージモード符号化処理の説明〉
　続いて、図９のフローチャートを参照して、画像符号化装置１１によるFRUCマージモード符号化処理について説明する。なお、このFRUCマージモード符号化処理は、CU単位またはサブブロック単位で行われる。
　ステップＳ９１において、予測部３０は、制御部２１から供給された予測情報Pinfo等に基づいて、処理対象のカレントブロック、すなわち符号化対象の画像ＩであるCUまたはサブブロックがＰスライスのブロックであるか否かを判定する。
　ステップＳ９１においてＰスライスのブロックであると判定された場合、処理はステップＳ９２へと進む。カレントブロックがＰスライスのブロックである場合、Ｐスライスに対しては参照ピクチャが１つしかなく、動き情報の導出時にバイラテラルマッチングを行うことができないので、動き情報の導出方法としてテンプレートマッチングが自動的に採用（選択）される。
　ステップＳ９２において、予測部３０は、テンプレートマッチング法によりカレントブロックの動き情報を導出する。例えば予測部３０は、制御部２１から供給された予測情報Pinfo等に基づいて、フレームメモリ２９から符号化対象のピクチャ（フレーム）と、参照画像特定情報により示される参照ピクチャとを読み出して、それらのピクチャを用いてテンプレートマッチング法によりカレントブロックの動き情報を導出する。
　ステップＳ９２の処理が行われて動き情報が導出されると、その後、処理はステップＳ９９へと進む。
　また、ステップＳ９１においてＰスライスのブロックでないと判定された場合、処理はステップＳ９３へと進む。
　ステップＳ９３において、予測部３０は、符号化対象のピクチャの参照関係を確認する。
　ステップＳ９４において、予測部３０は、ステップＳ９３で符号化対象のピクチャの参照関係を確認した結果に基づいて、その参照関係からバイラテラルマッチング法が使えるか否かを判定する。例えば、予測部３０は、参照フレームが同じPOC番号しかない場合、バイラテラルマッチング法が使えないと判定し、参照フレームに異なるPOC番号がある場合、バイラテラルマッチング法が使えると判定する。
　ステップＳ９４においてバイラテラルマッチング法が使えないと判定された場合、処理はステップＳ９２へと進み、上述したように、予測部３０は、テンプレートマッチング法によりカレントブロックの動き情報を導出する。
　また、ステップＳ９４においてバイラテラルマッチング法が使えると判定された場合、処理はステップＳ９５へと進む。
　ステップＳ９５において、予測部３０は、テンプレートマッチング法によりカレントブロックの動き情報を導出し、テンプレートマッチング法を採用したときのRDコストJTemplateを算出する。
　例えば予測部３０は、制御部２１から供給された予測情報Pinfo等に基づいて、フレームメモリ２９から符号化対象のピクチャ（フレーム）と、参照画像特定情報により示される参照ピクチャとを読み出す。また、予測部３０は読み出したピクチャを用いてテンプレートマッチング法によりカレントブロックの動き情報を導出するとともに、RDコストJTemplateも算出する。
　ステップＳ９６において、予測部３０は、バイラテラルマッチング法によりカレントブロックの動き情報を導出し、バイラテラルマッチング法を採用したときのRDコストJBiLateralを算出する。
　例えば予測部３０は、制御部２１から供給された予測情報Pinfoの参照画像特定情報により示される２つの参照ピクチャをフレームメモリ２９から読み出す。また、予測部３０は読み出した参照ピクチャを用いてバイラテラルマッチング法によりカレントブロックの動き情報を導出するとともに、RDコストJBiLateralも算出する。
　ステップＳ９７において、予測部３０はRDコストJBiLateralがRDコストJTemplate未満であるか否かを判定する。
　ステップＳ９７において、RDコストJBiLateralがRDコストJTemplate未満であると判定された場合、ステップＳ９８において、予測部３０はバイラテラルマッチング法により導出した動き情報に基づいて予測画像を生成し、演算部２２および演算部２８に供給する。
　例えば予測部３０は、２つの各参照ピクチャのそれぞれにおける動き情報（予測動きベクトル）により示されるブロックのそれぞれを用いた動き補償により生成された画像を予測画像Ｐとする。
　予測画像が生成されると、その後、処理はステップＳ１００へと進む。
　また、ステップＳ９７においてRDコストJBiLateralがRDコストJTemplate未満でないと判定されたか、またはステップＳ９２の処理が行われると、その後、ステップＳ９９の処理が行われる。
　すなわち、ステップＳ９９において、予測部３０はテンプレートマッチング法により導出した動き情報に基づいて予測画像を生成し、演算部２２および演算部２８に供給する。例えば予測部３０は、参照ピクチャにおける動き情報（予測動きベクトル）により示されるブロックの画像を予測画像Ｐとする。
　予測画像が生成されると、その後、処理はステップＳ１００へと進む。
　ステップＳ９８またはステップＳ９９の処理が行われて予測画像Ｐが生成されると、その後、ステップＳ１００の処理が行われる。
　ステップＳ１００において、演算部２２は、供給された画像Ｉと、予測部３０から供給された予測画像Ｐとの差分を予測残差Ｄとして演算し、変換部２３に供給する。
　ステップＳ１０１において、変換部２３は、制御部２１から供給された変換情報Tinfoに基づいて、演算部２２から供給された予測残差Ｄに対して直交変換等を行い、その結果得られた変換係数Coeffを量子化部２４に供給する。
　ステップＳ１０２において、量子化部２４は、制御部２１から供給された変換情報Tinfoに基づいて、変換部２３から供給された変換係数Coeffをスケーリング（量子化）し、量子化変換係数レベルlevelを導出する。量子化部２４は、量子化変換係数レベルlevelを符号化部２５および逆量子化部２６に供給する。
　ステップＳ１０３において、逆量子化部２６は、制御部２１から供給された変換情報Tinfoに基づいて、量子化部２４から供給された量子化変換係数レベルlevelを、ステップＳ１０２の量子化の特性に対応する特性で逆量子化する。逆量子化部２６は、逆量子化により得られた変換係数Coeff_IQを逆変換部２７に供給する。
　ステップＳ１０４において、逆変換部２７は、制御部２１から供給された変換情報Tinfoに基づいて、逆量子化部２６から供給された変換係数Coeff_IQに対して、ステップＳ１０１の直交変換等に対応する方法で逆直交変換等を行い、予測残差Ｄ’を導出する。逆変換部２７は、得られた予測残差Ｄ’を演算部２８に供給する。
　ステップＳ１０５において、演算部２８は、逆変換部２７から供給された予測残差Ｄ’と、予測部３０から供給された予測画像Ｐとを加算することにより、局所的な復号画像Recを生成し、フレームメモリ２９に供給する。
　ステップＳ１０６において、フレームメモリ２９は、演算部２８から供給された局所的な復号画像Recを用いてピクチャ単位の復号画像を再構築し、フレームメモリ２９内のバッファで保持する。
　ステップＳ１０７において、符号化部２５は、図７のステップＳ１１の処理において設定され、制御部２１から供給された符号化パラメータと、ステップＳ１０２の処理で量子化部２４から供給された量子化変換係数レベルlevelとを所定の方法で符号化する。
　符号化部２５は、符号化により得られた符号化データを多重化して符号化ストリーム（ビットストリーム）とし、画像符号化装置１１の外部に出力してFRUCマージモード符号化処理は終了する。
　この場合、符号化ストリームには、例えばMerge_flagやFRUC_flag、FRUC_Mode_flag、参照画像特定情報等を符号化して得られたデータと、量子化変換係数レベルlevelを符号化して得られたデータなどが格納されている。このようにして得られた符号化ストリームは、例えば伝送路や記録媒体を介して復号側に伝送される。
　なお、以上において説明したFRUCマージモード符号化処理は、基本的には図７のステップＳ１５の処理に対応する。但し、より詳細には、ステップＳ１５の時点では、既にテンプレートマッチングを行うか、またはバイラテラルマッチングが行われるかは定められている。そのため、予測情報Pinfoにより示される方法にしたがって動き情報が導出され、得られた動き情報に基づいてステップＳ９８やステップＳ９９で予測画像Ｐが生成される。
　また、図９におけるステップＳ９１乃至ステップＳ９７の処理は、図７のステップＳ１１の処理、特にステップＳ１１の処理のうちの図８のステップＳ５１の処理に対応する。
　すなわち、図８のステップＳ５１において制御部２１から予測部３０に対してRDコストJFRUC_MRGの算出の指示がなされると、ステップＳ９１乃至ステップＳ９７の処理が行われる。そして、例えば予測部３０は、RDコストJTemplateとRDコストJBiLateralのうちのより小さい方をRDコストJFRUC_MRGとして制御部２１に出力する。なお、カレントブロックがＰスライスのブロックであるときには、RDコストJBiLateralの算出は行われず、RDコストJTemplateがRDコストJFRUC_MRGとして出力される。
　さらに、図７のステップＳ１５における場合と同様に、図７のステップＳ１８においても図９を参照して説明したFRUCマージモード符号化処理と同様の処理が行われる。すなわち、ステップＳ１５における場合とステップＳ１８における場合とでは、図９のステップＳ１０７において符号化される符号化パラメータが異なる。
　以上のようにして、画像符号化装置１１は、FRUCモードにより動き情報を導出し、符号化対象となるブロックを符号化する。このようにFRUCモードを利用し、復号側において動き情報を導出するようにすることで、符号化ストリームに格納する動きベクトル情報（動き情報）を削減することができ、符号化効率を向上させることができる。
　そして、画像符号化装置１１は、符号化対象のピクチャの参照関係からバイラテラルマッチング法が使えるか否かの判定を行って、バイラテラルマッチング法が使えない場合には、動き情報の導出方法としてテンプレートマッチング法を自動的に採用することができる。これにより、上述したような無駄な符号の送信が回避されて、さらなる符号化効率の向上を図ることができる。
〈画像復号装置の説明〉
　次に、図２に示した画像符号化装置１１から出力された符号化ストリームを復号する、本技術を適用した画像処理装置としての画像復号装置について説明する。
　図１０は、本技術を適用した画像復号装置の一実施の形態の構成例を示す図である。
　図１０に示す画像復号装置２０１は、画像符号化装置１１により生成された符号化ストリームを、画像符号化装置１１における符号化方法に対応する復号方法で復号する。例えば、画像復号装置２０１は、HEVCに提案された技術やJVETにて提案された技術を実装している。
　なお、図１０においては、処理部やデータの流れ等の主なものを示しており、図１０に示されるものが全てとは限らない。つまり、画像復号装置２０１において、図１０においてブロックとして示されていない処理部が存在したり、図１０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　画像復号装置２０１は復号部２１１、逆量子化部２１２、逆変換部２１３、演算部２１４、フレームメモリ２１５、および予測部２１６を有している。
　画像復号装置２０１は、入力された符号化ストリームに対して、CUごとまたはサブブロックごとに復号を行う。
　復号部２１１は、供給された符号化ストリームを、符号化部２５における符号化方法に対応する所定の復号方法で復号する。例えば、復号部２１１は、シンタックステーブルの定義に沿って、符号化ストリームのビット列からヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等の符号化パラメータと、量子化変換係数レベルlevelとを復号する。
　例えば復号部２１１は、符号化パラメータに含まれるsplit flagに基づいてCUを分割し、各量子化変換係数レベルlevelに対応するCUやサブブロックを順に復号対象のブロックに設定する。
　また、復号部２１１は、復号により得られた符号化パラメータを画像復号装置２０１の各ブロックに供給する。例えば、復号部２１１は予測情報Pinfoを予測部２１６に供給し、変換情報Tinfoを逆量子化部２１２と逆変換部２１３に供給し、ヘッダ情報Hinfoを各ブロックに供給する。また、復号部２１１は、量子化変換係数レベルlevelを逆量子化部２１２に供給する。
　逆量子化部２１２は、復号部２１１から供給された変換情報Tinfoに基づいて、復号部２１１から供給された量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、変換係数Coeff_IQを導出する。この逆量子化は、画像符号化装置１１の量子化部２４により行われる量子化の逆処理である。なお、逆量子化部２６は、この逆量子化部２１２と同様の逆量子化を行う。逆量子化部２１２は、得られた変換係数Coeff_IQを逆変換部２１３に供給する。
　逆変換部２１３は、復号部２１１から供給された変換情報Tinfo等に基づいて、逆量子化部２１２から供給された変換係数Coeff_IQに対して逆直交変換等を行い、その結果得られた予測残差Ｄ’を演算部２１４に供給する。
　逆変換部２１３で行われる逆直交変換は、画像符号化装置１１の変換部２３により行われる直交変換の逆処理である。なお、逆変換部２７は、この逆変換部２１３と同様の逆直交変換を行う。
　演算部２１４は、逆変換部２１３から供給された予測残差Ｄ’と、その予測残差Ｄ’に対応する予測画像Ｐとを加算して局所的な復号画像Recを導出する。
　演算部２１４は、得られた局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、得られた復号画像を外部に出力する。また、演算部２１４は、局所的な復号画像Recをフレームメモリ２１５にも供給する。
　フレームメモリ２１５は、演算部２１４から供給された局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、フレームメモリ２１５内のバッファに格納する。
　また、フレームメモリ２１５は予測部２１６により指定される復号画像を参照画像（参照ピクチャ）としてバッファより読み出し、予測部２１６に供給する。さらにフレームメモリ２１５は、その復号画像の生成に係るヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfoなどをフレームメモリ２１５内のバッファに格納するようにしてもよい。
　予測部２１６は、予測情報Pinfoのモード情報pred_mode_flagに基づいて、フレームメモリ２１５に格納された、復号対象のブロックと同一時刻の復号画像を参照画像として取得する。そして、予測部２１６は、参照画像を用いて復号対象のブロックに対して、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。
　また、予測部２１６は、予測情報Pinfoのモード情報pred_mode_flagと参照画像特定情報に基づいてフレームメモリ２１５に格納された、復号対象のブロックと同一時刻の復号画像を取得するとともに、復号対象のブロックとは異なる時刻の復号画像を参照画像として取得する。
　予測部２１６は、画像符号化装置１１の予測部３０と同様に、Merge_flagやFRUC_flag、FRUC_Mode_flag、動きベクトル情報等に基づいて、フレームメモリ２１５から取得した画像を用いてMerge_flagおよびFRUC_flagにより定まるモードでのインター予測処理を行う。
　予測部２１６は、イントラ予測処理またはインター予測処理の結果生成された復号対象のブロックの予測画像Ｐを演算部２１４に供給する。
　さらに、予測部２１６は、予測部３０と同様に、符号化対象のピクチャの参照関係に基づいて、バイラテラルマッチング法が使えるか否かを判定して、バイラテラルマッチング法が使えないと判定された場合には、自動的に、テンプレートマッチング法を用いることとする。
　例えば、予測部２１６は、参照フレームが同じPOC番号しかない場合、符号化対象のピクチャの参照関係について、参照フレームが１枚だけであると確認し、バイラテラルマッチング法が使えないと判定する。従って、この場合、動き情報の導出方法としてテンプレートマッチング法が自動的に採用（選択）され、予測部２１６は、テンプレートマッチング法により動き情報を導出して、その動き情報に基づいて予測画像を生成する。
　また、予測部２１６は、参照フレームに異なるPOC番号がある場合、符号化対象のピクチャの参照関係について、参照フレームが２枚あると確認し、バイラテラルマッチング法が使えると判定する。この場合、予測部２１６は、画像符号化装置１１から送信されてくるFRUC_MERGE_MODE_FLAG1をビットストリームから読み出す。
〈画像復号処理の説明〉
　次に、画像復号装置２０１の動作について説明する。
　まず、図１１のフローチャートを参照して、画像復号装置２０１による画像復号処理について説明する。
　ステップＳ２１１において、復号部２１１は、画像復号装置２０１に供給された符号化ストリームを復号し、符号化パラメータと量子化変換係数レベルlevelを得る。
　復号部２１１は、符号化パラメータを画像復号装置２０１の各部に供給するとともに、量子化変換係数レベルlevelを逆量子化部２１２に供給する。
　ステップＳ２１２において、復号部２１１は符号化パラメータに含まれるsplit flagに基づいてCTUを分割し、各量子化変換係数レベルlevelに対応するブロック、すなわちCUまたはサブブロックを復号対象のブロックに設定する。なお、以降のステップＳ２１３乃至ステップＳ２２１の処理は復号対象のブロックごとに行われる。
　復号対象のブロックが定められると、その後、復号部２１１から出力された予測情報Pinfoに基づいて、予測部２１６によりステップＳ２１３乃至ステップＳ２１５の処理が行われて復号時のモードが決定される。なお、これらのステップＳ２１３乃至ステップＳ２１５の処理は、予測部３０ではなく予測部２１６により行われる点を除いて、図７のステップＳ１２乃至ステップＳ１４の処理と同様であるので、その説明は省略する。
　ステップＳ２１５においてFRUC_flag＝１であると判定された場合、すなわちFRUCモードであると判定された場合、処理はステップＳ２１６へと進む。
　ステップＳ２１６において、画像復号装置２０１の各部はFRUCマージモードで復号対象のブロック（カレントブロック）の画像を復号する復号処理を行い、画像復号処理は終了する。
　FRUCマージモードでの復号処理では、FRUCモードにより動き情報が導出され、得られた動き情報を用いたインター予測処理を行うことにより生成された予測画像Ｐが用いられて復号対象のブロックの画像が生成される。
　これに対して、ステップＳ２１５においてFRUC_flag＝１でないと判定された場合、すなわちFRUC_flag＝０であり、FRUCモードではないと判定された場合、処理はステップＳ２１７へと進む。
　ステップＳ２１７において、画像復号装置２０１の各部はAMVPマージモードで復号対象のブロックの画像を復号する復号処理を行い、画像復号処理は終了する。
　なお、AMVPマージモードでの復号処理では、予測部２１６においてAMVPモードにより動き補償が行われてインター予測処理が行われる。そして、その結果得られた予測画像Ｐと、予測残差Ｄ’とが加算されて復号対象のブロックの画像とされる。
　また、ステップＳ２１４においてMerge_flag＝１でないと判定された場合、すなわちMerge_flag＝０であり、ノンマージモードであると判定された場合、処理はステップＳ２１８へと進む。
　ステップＳ２１８において、予測部２１６は復号部２１１から供給された予測情報PinfoのFRUC_flagの値が１であるか否か、すなわちFRUC_flag＝１であるか否かを判定する。
　ステップＳ２１８において、FRUC_flag＝１であると判定された場合、すなわちFRUCモードであると判定された場合、処理はステップＳ２１９へと進む。
　ステップＳ２１９において、画像復号装置２０１の各部はFRUC AMVPモードで復号対象のブロックの画像を復号する復号処理を行い、画像復号処理は終了する。
　なお、FRUC AMVPモードでの復号処理では、FRUCマージモードでの復号処理と同様の処理が行われて動き情報が導出され、復号対象のブロックの画像が生成される。但し、FRUC AMVPモードでは、符号化ストリームには差分動きベクトルが格納されているため、その差分動きベクトルが用いられて復号対象のブロックの予測動きベクトルが導出される。
　これに対して、ステップＳ２１８においてFRUC_flag＝１でないと判定された場合、すなわちFRUC_flag＝０であり、FRUCモードではないと判定された場合、処理はステップＳ２２０へと進む。
　ステップＳ２２０において、画像復号装置２０１の各部はAMVPモードで復号対象のブロックの画像を復号する復号処理を行い、画像復号処理は終了する。
　なお、AMVPモードでの復号処理では、予測部２１６においてAMVPモードにより動き補償が行われてインター予測処理が行われる。そして、インター予測処理により得られた予測画像Ｐと予測残差Ｄ’とが加算されて復号対象のブロックの画像とされる。
　また、ステップＳ２１３においてインター予測処理を行わないと判定された場合、すなわちイントラ予測処理を行うと判定された場合、処理はステップＳ２２１へと進む。
　ステップＳ２２１において、画像復号装置２０１の各部はイントラ予測モードで復号対象のブロックの画像を復号するイントラ復号処理を行い、画像復号処理は終了する。
　イントラ復号処理では、予測部２１６においてイントラ予測モードにより予測画像Ｐが生成され、予測画像Ｐと予測残差Ｄ’とが加算されて復号対象のブロックの画像とされる。
　以上のようにして画像復号装置２０１は、符号化パラメータに応じて復号対象のブロックを復号する。このように適切なモードで画像を復号することにより、少ない符号量の符号化ストリームでも品質のよい画像を得ることができる。
〈FRUCマージモード復号処理の説明〉
　続いて、図１１のステップＳ２１６の処理に対応するFRUCマージモード復号処理について説明する。すなわち、以下、図１２のフローチャートを参照して、画像復号装置２０１により行われるFRUCマージモード復号処理について説明する。なお、このFRUCマージモード復号処理は、復号対象のブロックごとに行われる。
　ステップＳ２５１において、逆量子化部２１２は、図１１のステップＳ２１１の処理により得られた量子化変換係数レベルlevelを逆量子化して変換係数Coeff_IQを導出し、逆変換部２１３に供給する。
　ステップＳ２５２において、逆変換部２１３は、逆量子化部２１２から供給された変換係数Coeff_IQに対して逆直交変換等を行い、その結果得られた予測残差Ｄ’を演算部２１４に供給する。
　ステップＳ２５３において、予測部２１６は、復号部２１１から供給された予測情報Pinfo等に基づいて、復号対象のブロックがＰスライスのブロックであるか否かを判定する。
　ステップＳ２５３においてＰスライスのブロックでないと判定された場合、処理はステップＳ２５４へと進む。
　ステップＳ２５４において、予測部２１６は、符号化対象のピクチャの参照関係を確認する。
　ステップＳ２５５において、予測部２１６は、ステップＳＳ２５４で符号化対象のピクチャの参照関係を確認した結果に基づいて、その参照関係からバイラテラルマッチング法が使えるか否かを判定する。例えば、予測部２１６は、参照フレームが同じPOC番号しかない場合、バイラテラルマッチング法が使えないと判定し、参照フレームに異なるPOC番号がある場合、バイラテラルマッチング法が使えると判定する。
　ステップＳ２５５においてバイラテラルマッチング法が使えると判定された場合、処理はステップＳ２５６へと進む。
　ステップＳ２５６において、予測部２１６はFRUC_Mode_flagを取得する。
　すなわち、復号対象のブロックがＰスライスのブロックでない場合、図１１のステップＳ２１１では、復号部２１１によって符号化ストリームからFRUC_Mode_flagが読み出され、読み出されたFRUC_Mode_flagを含む予測情報Pinfoが復号部２１１から予測部２１６へと供給される。予測部２１６は、このようにして供給された予測情報PinfoからFRUC_Mode_flagを取得する。
　ステップＳ２５７において、予測部２１６はFRUC_Mode_flagに基づいて、バイラテラルマッチングを行うか否かを判定する。例えばFRUC_Mode_flagの値が１である場合、バイラテラルマッチングを行うと判定される。
　ステップＳ２５７においてバイラテラルマッチングを行うと判定された場合、ステップＳ２５８において予測部２１６はバイラテラルマッチング法により動き情報を導出する。これにより、復号対象のブロックの動き情報として、予測動きベクトルが得られる。
　ステップＳ２５９において、予測部２１６は、ステップＳ２５８の処理により導出した動き情報、すなわち予測動きベクトルに基づいて動き補償を行って予測画像Ｐを生成し、演算部２１４に供給する。
　例えば予測部２１６は、フレームメモリ２１５から参照画像特定情報により示される２つの復号画像を参照ピクチャとして読み出すとともに、各参照ピクチャにおける予測動きベクトルにより示されるブロックを用いた動き補償により予測画像Ｐを生成する。
　このようにして予測画像Ｐが得られると、その後、処理はステップＳ２６２へと進む。
　これに対して、ステップＳ２５７においてバイラテラルマッチングを行わないと判定されたか、ステップＳ２５５においてバイラテラルマッチング方が使えないと判定されたか、またはステップＳ２５３においてＰスライスのブロックであると判定された場合、ステップＳ２６０の処理が行われる。
　ステップＳ２６０において予測部２１６はテンプレートマッチング法により動き情報を導出する。これにより、復号対象のブロックの動き情報として予測動きベクトルが得られる。
　ステップＳ２６１において、予測部２１６は、ステップＳ２６０の処理により導出した動き情報、すなわち予測動きベクトルに基づいて動き補償を行って予測画像Ｐを生成し、演算部２１４に供給する。
　例えば予測部２１６は、フレームメモリ２１５から参照画像特定情報により示される１つの復号画像を参照ピクチャとして読み出すとともに、参照ピクチャにおける予測動きベクトルにより示されるブロックの画像を予測画像Ｐとする。
　このようにして予測画像Ｐが得られると、その後、処理はステップＳ２６２へと進む。
　ステップＳ２５９またはステップＳ２６１の処理が行われて予測画像Ｐが生成されると、ステップＳ２６２の処理が行われる。
　ステップＳ２６２において、演算部２１４は逆変換部２１３から供給された予測残差Ｄ’と、予測部２１６から供給された予測画像Ｐとを加算し、局所的な復号画像Recを導出する。演算部２１４は、得られた局所的な復号画像Recを用いてピクチャ単位の復号画像を再構築し、得られた復号画像を画像復号装置２０１の外部に出力する。また、演算部２１４は、その局所的な復号画像Recをフレームメモリ２１５に供給する。
　ステップＳ２６３において、フレームメモリ２１５は演算部２１４から供給された局所的な復号画像Recを用いてピクチャ単位の復号画像を再構築し、フレームメモリ２１５内のバッファに保持する。このようにして復号画像が得られると、FRUCマージモード復号処理は終了する。
　以上のようにして画像復号装置２０１は、FRUCモードにより動き情報を導出し、復号対象となるブロックを復号する。このようにFRUCモードを利用し、復号側において動き情報を導出することで、符号化ストリームの符号量を削減することができ、符号化効率を向上させることができる。
　なお、図１１のステップＳ２１９においても、図１２を参照して説明したFRUCマージモード復号処理と同様の処理が行われる。但し、FRUC AMVPモードでは、符号化ストリームには差分動きベクトルが格納されているため、その差分動きベクトルが用いられて復号対象のブロックの予測動きベクトルが導出される。
　そして、画像復号装置２０１は、符号化対象のピクチャの参照関係からバイラテラルマッチング法が使えるか否かの判定を行って、バイラテラルマッチング法が使えない場合には、動き情報の導出方法としてテンプレートマッチング法を自動的に採用することができる。これにより、上述したような無駄な符号の送信が回避されて、さらなる符号化効率の向上を図ることができる。
　さらに、画像復号装置２０１では、バイラテラルマッチング法が使えない場合には、バイラテラルマッチング法を試してRDコストを計算する必要がない。即ち、従来では、FRUC Mergeモードを符号化する際、Ｐスライスでない場合、テンプレートマッチング法およびバイラテラルマッチング法のどちらを用いるかを判断するために、RDコストを計算するようにしていた。
　これに対し、画像復号装置２０１は、図１２に示したFRUCマージモード復号処理のように、バイラテラルマッチング法が使えるか否かを判定することで、バイラテラルマッチング法が使えない場合には、RDコストを算出する処理を行わないようにすることができる。従って、画像復号装置２０１は、RDコストを算出する処理を行わない分だけ、処理量を削減することができる。
　ところで、仮に、バイラテラルマッチング法を行うことを示す情報がビットストリームにあった場合、デコーダはバイラテラルマッチング法を行うことができないため、デコード処理で曖昧になることが懸念される。従って、この場合、各デコーダで処理結果が異なってしまうことが想定される。
　これに対し、本実施の形態の画像符号化装置１１および画像復号装置２０１は、符号化対象のピクチャの参照関係に基づいて、バイラテラルマッチング法が使えるか否かを判定することによって、このように各デコーダで処理結果が異なってしまうことを回避し、確実に正確なデコードが行われるようにすることができる。
　なお、上述したように、図９のステップＳ９４および図１２のステップＳ２５５では、符号化対象のピクチャの参照関係に基づいてバイラテラルマッチング法が使えるか否かを判定していたが、この判定は、符号化対象のピクチャの参照関係に基づくものに限定されることはない。即ち、符号化対象のピクチャの参照関係以外に基づいて、バイラテラルマッチング法が使えるか否かを判定してもよい。
〈スライスヘッダのシンタックス〉
　図１３に、スライスヘッダのシンタックスの例を示す。なお、図１３においては、バイラテラルマッチング法が使えるか否かの判定について説明するのに必要な一部分のみが抜き出されており、各行の左端の数字は、説明の便宜上付した行番号である。
　例えば、３行目には、スライスタイプの判定を行うこと（例えば、図９のステップＳ９１および図１２のステップＳ２５３に対応）が示されている。例えば、ＰスライスまたはＢスライスであれば、４行目に示すようなリファレンスフレーム数を伝えるためのフラグnum_ref_idx_active_override_flagが含まれている。
　また、６行目に示すnum_ref_idx_l0_active_minus1は、リスト０の参照インデックス数の最大に１を引いた数を意味しており、これが０であるか否かに従って、バイラテラルマッチング法が使えるか否かの判定が行われる。また、このnum_ref_idx_l0_active_minus1の詳細については、図１４に示す通りである。
　また、８行目に示すnum_ref_idx_l1_active_minus1は、リスト１の参照インデックス数の最大に１を引いた数を意味しており、これが０であるか否かに従って、バイラテラルマッチング法が使えるか否かの判定が行われる。また、このnum_ref_idx_l1_active_minus1の詳細については、図１５に示す通りである。
　なお、この判定には、参照フレームのPOCを知る必要があり、POCについては、HEVCの規格書 8.3.1 Decoding process for picture order countに記述されている。例えば、関数PicOrderCnt( picX )は、図１６の２行目に示すように指定される。また、関数DiffPicOrderCnt( picA , picB )は、図１６の４行目に示すように、picAとpicBのPOCの差を計算する。また、図１６の５行目に示すように、リスト０のインデックス０のPOCと、リスト１のインデックス１のPOCの差を計算する。
〈コーディングユニットのシンタックス〉
　図１７乃至図２１に、コーディングユニットのシンタックスの例を示す。なお、図１７乃至図２１において、各行の左端の数字は、説明の便宜上付した行番号である。なお、HEVCではコーディングユニットとプリディクションユニット（PU（Prediction Unit））が異なったサイズであったのに対し、それらのサイズを統合すること（PART_2Nx2Nだけ）が検討されている。
　例えば、図１７の７行目に示すように、スキップモードであるか否かが判定され、スキップモードである場合には、図１７の８行目のprediction_unit( x0, y0, nCbS, nCbS )に従って、図１８の４９行目が読み出される。一方、スキップモードでない場合には、図１８の３５行目のprediction_unit( x0, y0, nCbS, nCbS )に従って、図１８の４９行目が読み出される。
　そして、図１９の５１行目から６４行目に示すような条件に従って、バイラテラルマッチング法が使えるか否かの判定が行われる。また、同様に、マージモードの場合には、図１９の７１行目から８４行目に示すような条件に従って、バイラテラルマッチング法が使えるか否かの判定が行われる。
　ここで、Current Reference Picture (CRP)またはIntra Block Copy (IBC) と呼ばれる技術がある。従来、参照ピクチャのPOC番号は、カレント・ピクチャとは異なっていたが、CRPまたはIBCを適用する際、カレント・ピクチャと同じPOC番号の参照ピクチャを参照できる。
　例えば、上述したシンタックスではfruc_merge_mode_flag1を送信しない条件として、図１９の５４行目に示すような条件が挙げられていた。すなわち、Ｂスライスで、参照ピクチャ数がリスト０およびリスト１ともに１で、それらのPOC番号の差がゼロであることを条件としている。
　しかし、CRPまたはIBCが適用されるならば、参照ピクチャ数が１追加されることより、図１９の５４行目に示すような条件は、図２２に示すように変更されることが検討される。即ち、図２２に示すRefPicList0[0]およびRefPicList1[0]には、カレント・ピクチャとは異なるPOC番号の参照ピクチャが格納されており、RefPicList0[0]およびRefPicList1[0]には、カレント・ピクチャと同じPOCの参照ピクチャが格納されている。なお、ここで説明した以外にも、必要に応じて、バイラテラルマッチング法が使えるか否かを判定するための条件を、適宜、変更してもよい。
〈コンピュータの構成例〉
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
　図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、ＣＰＵ５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカアレイなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本技術は、以下の構成とすることも可能である。
（１）
　参照画像を用いて符号化対象のブロックから予測画像を生成する処理を行う際に、前記参照画像を用いたブロックマッチングにより前記ブロックの動きベクトルを導出するにあたって、互いに異なる時刻の前記参照画像に基づくバイラテラルマッチングが使えるか否かの判定を行う予測部を備える
　画像処理装置。
（２）
　前記予測部は、前記符号化対象のブロックが参照する前記参照画像が１枚だけなのか、または、前記参照画像が２枚あるのかという参照関係に基づいて、前記バイラテラルマッチングが使えるか否かの判定を行う
　上記（１）に記載の画像処理装置。
（３）
　前記予測部は、前記参照画像についてピクチャの出力順を示すピクチャオーダカウントに従って、前記参照関係を確認する
　上記（２）に記載の画像処理装置。
（４）
　前記予測部は、前記符号化対象のブロックが参照する前記参照画像が１枚だけである場合、前記バイラテラルマッチングが使えないと判定し、前記ブロックを含む画像と前記参照画像とに基づくテンプレートマッチングにより前記動きベクトルを導出する
　上記（１）から（３）までのいずれかに記載の画像処理装置。
（５）
　前記予測部は、前記符号化対象のブロックが参照する前記参照画像が２枚ある場合、前記バイラテラルマッチングが使えると判定し、前記バイラテラルマッチングにより導出された前記動きベクトルから算出されるコストが、前記テンプレートマッチングにより導出された前記動きベクトルから算出されるコスト未満であれば、前記バイラテラルマッチングにより前記動きベクトルを導出する
　上記（４）に記載の画像処理装置。
（６）
　前記予測部は、前記バイラテラルマッチングが使えると判定した場合であっても、前記バイラテラルマッチングにより導出された前記動きベクトルから算出されるコストが、前記テンプレートマッチングにより導出された前記動きベクトルから算出されるコスト未満でなければ、前記テンプレートマッチングにより前記動きベクトルを導出する
　上記（５）に記載の画像処理装置。
（７）
　前記予測部は、前記動きベクトルに基づいて前記ブロックの予測画像を生成する
　上記（１）から（６）までのいずれかに記載の画像処理装置。
（８）
　参照画像を用いて符号化対象のブロックから予測画像を生成する処理を行う際に、前記参照画像を用いたブロックマッチングにより前記ブロックの動きベクトルを導出するにあたって、互いに異なる時刻の前記参照画像に基づくバイラテラルマッチングが使えるか否かの判定を行う
　ステップを含む画像処理方法。
　１１　画像符号化装置，　２１　制御部，　３０　予測部，　５１　候補取得部，　５２　バイラテラルマッチング処理部，　５３　サブブロック候補取得部，　５４　バイラテラルマッチング処理部，　９１　候補取得部，　９２　テンプレートマッチング処理部，　９３　サブブロック候補取得部，　９４　テンプレートマッチング処理部，　２０１　画像復号装置，　２１１　復号部，　２１６　予測部

Claims (8)

  1. 　参照画像を用いて符号化対象のブロックから予測画像を生成する処理を行う際に、前記参照画像を用いたブロックマッチングにより前記ブロックの動きベクトルを導出するにあたって、互いに異なる時刻の前記参照画像に基づくバイラテラルマッチングが使えるか否かの判定を行う予測部を備える
    　画像処理装置。
  2. 　前記予測部は、前記符号化対象のブロックが参照する前記参照画像が１枚だけなのか、または、前記参照画像が２枚あるのかという参照関係に基づいて、前記バイラテラルマッチングが使えるか否かの判定を行う
    　請求項１に記載の画像処理装置。
  3. 　前記予測部は、前記参照画像についてピクチャの出力順を示すピクチャオーダカウントに従って、前記参照関係を確認する
    　請求項２に記載の画像処理装置。
  4. 　前記予測部は、前記符号化対象のブロックが参照する前記参照画像が１枚だけである場合、前記バイラテラルマッチングが使えないと判定し、前記ブロックを含む画像と前記参照画像とに基づくテンプレートマッチングにより前記動きベクトルを導出する
    　請求項２に記載の画像処理装置。
  5. 　前記予測部は、前記符号化対象のブロックが参照する前記参照画像が２枚ある場合、前記バイラテラルマッチングが使えると判定し、前記バイラテラルマッチングにより導出された前記動きベクトルから算出されるコストが、前記テンプレートマッチングにより導出された前記動きベクトルから算出されるコスト未満であれば、前記バイラテラルマッチングを用いることを決定する
    　請求項４に記載の画像処理装置。
  6. 　前記予測部は、前記バイラテラルマッチングが使えると判定した場合であっても、前記バイラテラルマッチングにより導出された前記動きベクトルから算出されるコストが、前記テンプレートマッチングにより導出された前記動きベクトルから算出されるコスト未満でなければ、前記テンプレートマッチングにより前記動きベクトルを導出する
    　請求項５に記載の画像処理装置。
  7. 　前記予測部は、前記動きベクトルに基づいて前記ブロックの予測画像を生成する
    　請求項１に記載の画像処理装置。
  8. 　参照画像を用いて符号化対象のブロックから予測画像を生成する処理を行う際に、前記参照画像を用いたブロックマッチングにより前記ブロックの動きベクトルを導出するにあたって、互いに異なる時刻の前記参照画像に基づくバイラテラルマッチングが使えるか否かの判定を行う
    　ステップを含む画像処理方法。
PCT/JP2018/006635 2017-03-10 2018-02-23 画像処理装置および方法 WO2018163857A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18763157.7A EP3595312A4 (en) 2017-03-10 2018-02-23 IMAGE PROCESSING DEVICE AND METHOD
CN201880015702.3A CN110383840A (zh) 2017-03-10 2018-02-23 图像处理装置和方法
US16/482,469 US20200007885A1 (en) 2017-03-10 2018-02-23 Image processing apparatus and method
JP2019504470A JPWO2018163857A1 (ja) 2017-03-10 2018-02-23 画像処理装置および方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017045769 2017-03-10
JP2017-045769 2017-03-10

Publications (1)

Publication Number Publication Date
WO2018163857A1 true WO2018163857A1 (ja) 2018-09-13

Family

ID=63447653

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006635 WO2018163857A1 (ja) 2017-03-10 2018-02-23 画像処理装置および方法

Country Status (5)

Country Link
US (1) US20200007885A1 (ja)
EP (1) EP3595312A4 (ja)
JP (1) JPWO2018163857A1 (ja)
CN (1) CN110383840A (ja)
WO (1) WO2018163857A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112913240A (zh) * 2018-10-22 2021-06-04 北京字节跳动网络技术有限公司 解码器侧运动矢量推导和其他编解码工具之间的并置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11463736B2 (en) * 2018-09-21 2022-10-04 Sharp Kabushiki Kaisha Systems and methods for signaling reference pictures in video coding
CN113742288B (zh) * 2020-05-29 2024-09-24 伊姆西Ip控股有限责任公司 用于数据索引的方法、电子设备和计算机程序产品
WO2024074094A1 (en) * 2022-10-05 2024-04-11 Mediatek Inc. Inter prediction in video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009076466A1 (en) * 2007-12-10 2009-06-18 Qualcomm Incorporated Reference selection for video interpolation or extrapolation
WO2016160608A1 (en) * 2015-03-27 2016-10-06 Qualcomm Incorporated Motion vector derivation in video coding
WO2017036414A1 (en) * 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of decoder side motion derivation for video coding

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10491917B2 (en) * 2017-03-22 2019-11-26 Qualcomm Incorporated Decoder-side motion vector derivation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009076466A1 (en) * 2007-12-10 2009-06-18 Qualcomm Incorporated Reference selection for video interpolation or extrapolation
WO2016160608A1 (en) * 2015-03-27 2016-10-06 Qualcomm Incorporated Motion vector derivation in video coding
WO2017036414A1 (en) * 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of decoder side motion derivation for video coding

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Algorithm Description of Joint Exploration Test Model 4", JVET-D1001_V3, 4TH MEETING, 15 October 2016 (2016-10-15)
CHEN, JIANLE ET AL.: "Algorithm Description of Joint Exploration Test Model 4", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC1/SC29/WG11, JVET- D100L_V3, November 2016 (2016-11-01), Chengdu, CN, pages 1 - 3 , 18-19, XP055544255 *
CHEN, XU: "Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-D0029, 1 October 2016 (2016-10-01), Chengdu, CN, pages 1 - 4, XP030150254 *
LIN, YONGBING ET AL.: "Enhanced Template Matching in FRUC Mode", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC1/SC29/WG11 , JVET-E0035_V1, 12 January 2017 (2017-01-12), Geneva, CH, pages 1 - 3, XP055615329 *
See also references of EP3595312A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112913240A (zh) * 2018-10-22 2021-06-04 北京字节跳动网络技术有限公司 解码器侧运动矢量推导和其他编解码工具之间的并置

Also Published As

Publication number Publication date
EP3595312A4 (en) 2020-02-19
JPWO2018163857A1 (ja) 2020-01-09
EP3595312A1 (en) 2020-01-15
US20200007885A1 (en) 2020-01-02
CN110383840A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
US10841609B1 (en) Modification of motion vector with adaptive motion vector resolution
US12278985B2 (en) Syntax reuse for affine mode with adaptive motion vector resolution
US11166031B2 (en) Signaling of side information for inter prediction with geometric partitioning
JP7104188B2 (ja) Ｄｍｖｒのためのブロックサイズ制限
US11128860B2 (en) Affine mode calculations for different video block sizes
US11082693B2 (en) Coefficient dependent coding of transform matrix selection
CN110786012B (zh) 用于图像运动补偿的方法和装置
TWI696384B (zh) 在視頻寫碼中用於仿射運動模型之運動向量預測
WO2019192491A1 (en) Video processing methods and apparatuses for sub-block motion compensation in video coding systems
WO2018163857A1 (ja) 画像処理装置および方法
WO2020177682A1 (en) Motion vector management for decoder side motion vector refinement
US11956448B2 (en) Affine prediction improvements for video coding
US20220303571A1 (en) Merge with motion vector differencing in affine mode
US20220116657A1 (en) Moving picture coding device, moving picture coding method, moving picture coding program, moving picture decoding device, moving picture decoding method, and moving picture decoding program
US20220368891A1 (en) Image encoding/decoding method and apparatus, and method of transmitting bitstream using sequence parameter set including information on maximum number of merge candidates
KR20200136407A (ko) 가중화된 왜곡에 기초한 디코더 측 예측을 위한 방법 및 장치
US20230412793A1 (en) Inter-prediction on non-dyadic blocks
US20230098057A1 (en) Template Matching Based Decoder Side Intra Mode Prediction
WO2018163858A1 (ja) 画像処理装置および方法
WO2020063598A1 (en) A video encoder, a video decoder and corresponding methods
WO2019049684A1 (ja) 画像処理装置および方法
US20240348811A1 (en) Systems and methods for candidate list construction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18763157

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019504470

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018763157

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018763157

Country of ref document: EP

Effective date: 20191010

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载