+

WO2011089972A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2011089972A1
WO2011089972A1 PCT/JP2011/050493 JP2011050493W WO2011089972A1 WO 2011089972 A1 WO2011089972 A1 WO 2011089972A1 JP 2011050493 W JP2011050493 W JP 2011050493W WO 2011089972 A1 WO2011089972 A1 WO 2011089972A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
intra prediction
pixels
predicted
Prior art date
Application number
PCT/JP2011/050493
Other languages
English (en)
French (fr)
Inventor
佐藤　数史
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN2011800060990A priority Critical patent/CN102714734A/zh
Priority to US13/521,729 priority patent/US20120287998A1/en
Publication of WO2011089972A1 publication Critical patent/WO2011089972A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method capable of improving coding efficiency in intra prediction even when the block size is large.
  • MPEG2 (ISO / IEC 13818-2) is defined as a general-purpose image encoding system, and is a standard that covers both interlaced scanning images and progressive scanning images, as well as standard resolution images and high-definition images.
  • MPEG2 is currently widely used in a wide range of applications for professional and consumer applications.
  • a code amount (bit rate) of 4 to 8 Mbps is assigned to an interlaced scanned image having a standard resolution of 720 ⁇ 480 pixels.
  • a high resolution interlaced scanned image having 1920 ⁇ 1088 pixels is assigned a code amount (bit rate) of 18 to 22 Mbps.
  • bit rate code amount
  • MPEG2 was mainly intended for high-quality encoding suitable for broadcasting, but it did not support encoding methods with a lower code amount (bit rate) than MPEG1, that is, a higher compression rate. With the widespread use of mobile terminals, the need for such an encoding system is expected to increase in the future, and the MPEG4 encoding system has been standardized accordingly. Regarding the image coding system, the standard was approved as an international standard in December 1998 as ISO / IEC 14496-2.
  • H. The standardization of 26L (ITU-T Q6 / 16 ⁇ VCEG) is in progress.
  • H. 26L is known to achieve higher encoding efficiency than the conventional encoding schemes such as MPEG2 and MPEG4, although a large amount of calculation is required for encoding and decoding.
  • this H. Based on 26L, H. Standardization to achieve higher coding efficiency by incorporating functions that are not supported by 26L is performed as JointJModel of Enhanced-Compression Video Coding.
  • H. H.264 and MPEG-4 Part 10 Advanced Video Coding, hereinafter referred to as H.264 / AVC).
  • the intra prediction method nine types of 4 ⁇ 4 pixel and 8 ⁇ 8 pixel block units and four types of 16 ⁇ 16 pixel macroblock unit intra prediction modes are defined for luminance signals.
  • For color difference signals four types of 8 ⁇ 8 pixel block-unit intra prediction modes are defined.
  • the color difference signal intra prediction mode can be set independently of the luminance signal intra prediction mode.
  • the macroblock size is 16 ⁇ 16 pixels.
  • the macroblock size of 16 ⁇ 16 pixels is not optimal for a large image frame such as UHD (Ultra High Definition: 4000 ⁇ 2000 pixels) that is the target of the next-generation encoding method.
  • Non-Patent Document 1 it is also proposed to expand the macroblock size to a size of 32 ⁇ 32 pixels, for example.
  • Non-Patent Document 1 is a proposal to apply an extended macroblock to an inter slice, but Non-Patent Document 2 proposes to apply an extended macroblock to an intra slice. Yes.
  • FIG. 1A shows a case where the block is 4 ⁇ 4 pixels
  • FIG. 1B shows a case where the block is 8 ⁇ 8 pixels.
  • 1A and 1B represent pixels
  • white circles represent pixels in the block
  • hatched circles represent pixels used for prediction.
  • the alphabet in the circle represents the pixel value of each pixel.
  • the pixel value A is used as a predicted value for the pixels having the pixel values a to d as shown in FIG.
  • the pixel value A is used as the predicted value for the pixels having the pixel values a to h.
  • the present invention has been made in view of such a situation, and improves the encoding efficiency in intra prediction.
  • An image processing apparatus includes a receiving unit that receives adjacent pixels of a plurality of lines of a target block, and extrapolation processing by polynomial approximation using the adjacent pixels of the plurality of lines received by the receiving unit. And performing intra prediction means for generating an intra prediction pixel value of the target block, and encoding means for encoding an image of the target block based on the generated intra prediction pixel value of the target block. .
  • the intra prediction means uses a parameter calculation means for calculating an interpolation parameter by polynomial approximation using adjacent pixels of the plurality of lines, and an intra prediction pixel of the target block using the interpolation parameter calculated by the parameter calculation means.
  • Predictive image generation means for generating a value.
  • the intra prediction means can perform extrapolation processing by N-1 degree polynomial approximation when using adjacent pixels of N (N ⁇ 1) lines received by the receiving means.
  • the parameter calculating means calculates N constants of the N ⁇ 1th order polynomial by solving Nth order simultaneous equations using adjacent pixels of the N line, and the predicted image generating means
  • the intra prediction pixel value of the target block can be generated by the N ⁇ 1 order polynomial using the N constants calculated by the calculation unit.
  • the predicted image generation means can clip the generated intra predicted pixel value to a value in the range of 0 to 2 N ⁇ 1.
  • the intra-prediction means can perform extrapolation processing by polynomial approximation of the order according to the detection result of detecting whether or not an object boundary is included in adjacent pixels of the N line received by the receiving means. .
  • the intra prediction means can determine whether or not the object boundary is based on difference information between pixels in adjacent pixels.
  • the intra prediction means can determine whether or not the object boundary is based on difference information between adjacent pixels using a threshold value determined according to a quantization parameter.
  • the threshold is set larger for a larger quantization parameter.
  • the intra prediction means can use a number of adjacent pixels of the plurality of lines according to the block size of the target block.
  • the receiving unit of the image processing apparatus receives adjacent pixels of a plurality of lines of the target block, and the intra prediction unit of the image processing apparatus receives the plurality of received target blocks.
  • An intra prediction pixel value of the target block is generated by performing extrapolation processing by polynomial approximation using adjacent pixels of the line, and the encoding unit of the image processing device generates the intra prediction pixel of the target block thus generated. Based on the value, the image of the target block is encoded.
  • adjacent pixels of a plurality of lines of the target block are received, and extrapolation processing by polynomial approximation is performed using the received adjacent pixels of the plurality of lines of the target block.
  • An intra prediction pixel value of a block is generated, and an image of the target block is encoded based on the generated intra prediction pixel value of the target block.
  • An image processing apparatus includes a decoding unit that decodes encoded information in which an image of a target block is encoded to acquire an intra prediction mode, and the target block corresponding to the intra prediction mode.
  • a receiving unit that receives adjacent pixels of a plurality of lines, and an intra that generates an intra-predicted pixel value of the target block by performing extrapolation processing by polynomial approximation using the adjacent pixels of the plurality of lines received by the receiving unit. Prediction means.
  • the decoding means of the image processing device acquires the intra prediction mode by decoding the encoded information obtained by encoding the image of the target block, and receives the image processing device.
  • Means receives adjacent pixels of a plurality of lines of the target block according to the intra prediction mode, and the intra prediction means of the image processing device uses polynomial approximation by using the received adjacent pixels of the plurality of lines of the target block An intra prediction pixel value of the target block is generated by performing extrapolation processing.
  • encoded information obtained by encoding an image of a target block is decoded to obtain an intra prediction mode, and adjacent pixels of a plurality of lines of the target block corresponding to the intra prediction mode are obtained.
  • An intra prediction pixel value of the target block is generated by performing extrapolation processing by polynomial approximation using the received neighboring pixels of the plurality of lines.
  • the above-described image processing apparatus may be an independent apparatus, or may be an internal block constituting one image encoding apparatus or image decoding apparatus.
  • encoding efficiency in intra prediction can be improved. According to the present invention, it is possible to improve coding efficiency particularly in intra prediction with a large block size.
  • FIG. 3 is a flowchart for describing an encoding process of the image encoding device in FIG. 2. It is a flowchart explaining the intra prediction process of FIG.19 S21. It is a flowchart explaining the inter motion prediction process of step S22 of FIG. 4 is a flowchart for explaining a polynomial approximation order determination process of the image encoding device in FIG. 2. It is a block diagram which shows the structure of one Embodiment of the image decoding apparatus to which this invention is applied. It is a block diagram which shows the structural example of the intra estimation part of FIG. 23, and a spline interpolation part.
  • FIG. 2 shows a configuration of an embodiment of an image encoding apparatus as an image processing apparatus to which the present invention is applied.
  • This image encoding device 51 is, for example, H.264.
  • the image is compression-encoded by an encoding method based on H.264 and MPEG-4 Part 10 (Advanced Video Coding) (hereinafter referred to as H.264 / AVC).
  • the image encoding device 51 includes an A / D conversion unit 61, a screen rearrangement buffer 62, a calculation unit 63, an orthogonal transformation unit 64, a quantization unit 65, a lossless encoding unit 66, a storage buffer 67, Inverse quantization unit 68, inverse orthogonal transform unit 69, operation unit 70, deblock filter 71, frame memory 72, intra prediction unit 73, line buffer 74, spline interpolation unit 75, motion prediction / compensation unit 76, prediction image selection unit 77 and a rate control unit 78.
  • the A / D converter 61 A / D converts the input image, outputs it to the screen rearrangement buffer 62, and stores it.
  • the screen rearrangement buffer 62 rearranges the stored frame images in the display order in the order of frames for encoding in accordance with GOP (Group of Picture).
  • the calculation unit 63 subtracts the prediction image from the intra prediction unit 73 or the prediction image from the motion prediction / compensation unit 76 selected by the prediction image selection unit 77 from the image read from the screen rearrangement buffer 62, The difference information is output to the orthogonal transform unit 64.
  • the orthogonal transform unit 64 subjects the difference information from the calculation unit 63 to orthogonal transform such as discrete cosine transform and Karhunen-Loeve transform, and outputs the transform coefficient.
  • the quantization unit 65 quantizes the transform coefficient output from the orthogonal transform unit 64.
  • the quantized transform coefficient that is the output of the quantization unit 65 is input to the lossless encoding unit 66, where lossless encoding such as variable length encoding and arithmetic encoding is performed and compressed.
  • the lossless encoding unit 66 acquires information indicating intra prediction from the intra prediction unit 73 and acquires information indicating inter prediction mode from the motion prediction / compensation unit 76.
  • information indicating intra prediction is hereinafter also referred to as intra prediction mode information.
  • information indicating an information mode indicating inter prediction is hereinafter also referred to as inter prediction mode information.
  • the lossless encoding unit 66 encodes the quantized transform coefficient, encodes information indicating intra prediction, information indicating inter prediction mode, a quantization parameter, and the like. To do.
  • the lossless encoding unit 66 supplies the encoded data to the accumulation buffer 67 for accumulation.
  • lossless encoding processing such as variable length encoding or arithmetic encoding is performed.
  • variable length coding include H.264.
  • CAVLC Context-Adaptive Variable Length Coding
  • arithmetic coding include CABAC (Context-Adaptive Binary Arithmetic Coding).
  • the accumulation buffer 67 converts the data supplied from the lossless encoding unit 66 to H.264. As a compressed image encoded by the H.264 / AVC format, for example, it is output to a recording device or a transmission path (not shown) in the subsequent stage.
  • the quantized transform coefficient output from the quantization unit 65 is also input to the inverse quantization unit 68, and after inverse quantization, the inverse orthogonal transform unit 69 further performs inverse orthogonal transform.
  • the output subjected to the inverse orthogonal transform is added to the predicted image supplied from the predicted image selection unit 77 by the calculation unit 70, and becomes a locally decoded image.
  • the deblocking filter 71 removes block distortion from the decoded image, and then supplies the deblocking filter 71 to the frame memory 72 for accumulation.
  • the image before the deblocking filter processing by the deblocking filter 71 is also supplied to the frame memory 72 and accumulated.
  • an I picture, a B picture, and a P picture from the screen rearrangement buffer 62 are supplied to the intra prediction unit 73 as images for intra prediction (also referred to as intra processing). Further, the B picture and the P picture read from the screen rearrangement buffer 62 are supplied to the motion prediction / compensation unit 76 as an image to be inter predicted (also referred to as inter processing).
  • the intra prediction unit 73 performs intra prediction processing of all candidate intra prediction modes on the image to be intra predicted read from the screen rearrangement buffer 62, and generates a prediction image.
  • the intra prediction unit 73 generates an intra prediction pixel value of the target block by performing extrapolation processing by polynomial approximation using adjacent pixels of a plurality of lines stored in the line buffer 74 together with the spline interpolation unit 75. To do.
  • the intra prediction unit 73 supplies information on candidate intra prediction modes to the spline interpolation unit 75.
  • the spline interpolation unit 75 supplies polynomial parameters (interpolation parameters) for approximating adjacent pixels and pixels of the target block for intra prediction using adjacent pixel values corresponding to the intra prediction mode.
  • the intra prediction unit 73 generates an intra prediction image of a candidate intra prediction mode using a polynomial using the parameter from the spline interpolation unit 75.
  • the intra prediction unit 73 calculates a cost function value for the intra prediction mode in which the predicted image is generated, and selects an intra prediction mode in which the calculated cost function value gives the minimum value as the optimal intra prediction mode.
  • the intra prediction unit 73 supplies the predicted image generated in the optimal intra prediction mode and the cost function value calculated for the corresponding optimal intra prediction mode to the predicted image selection unit 77.
  • the intra prediction unit 73 supplies information indicating the optimal intra prediction mode to the lossless encoding unit 66.
  • the lossless encoding unit 66 encodes this information and uses it as a part of header information in the compressed image.
  • the line buffer 74 stores the pixel values of the reference image from the frame memory 72.
  • the line buffer 74 is supplied from the spline interpolation unit 75 with the address of the adjacent pixel corresponding to the intra prediction mode.
  • the line buffer 74 supplies the pixel value of the adjacent pixel corresponding to the address to the spline interpolation unit 75.
  • the spline interpolation unit 75 uses the adjacent pixel value supplied from the line buffer 74 corresponding to the address of the adjacent pixel corresponding to the intra prediction mode from the intra prediction unit 73, and calculates a polynomial interpolation parameter for intra prediction. Calculation is performed by polynomial approximation, and the calculated interpolation parameter is supplied to the intra prediction unit 73.
  • the motion prediction / compensation unit 76 performs motion prediction / compensation processing for all candidate inter prediction modes. That is, the inter prediction image read from the screen rearrangement buffer 62 and the reference image from the frame memory 72 are supplied to the motion prediction / compensation unit 76.
  • the motion prediction / compensation unit 76 detects motion vectors of all candidate inter prediction modes based on the inter-processed image and the reference image, performs compensation processing on the reference image based on the motion vector, and obtains the predicted image. Generate.
  • the motion prediction / compensation unit 76 calculates cost function values for all candidate inter prediction modes.
  • the motion prediction / compensation unit 76 determines the prediction mode that gives the minimum value among the calculated cost function values as the optimal inter prediction mode.
  • the motion prediction / compensation unit 76 supplies the predicted image generated in the optimal inter prediction mode and its cost function value to the predicted image selection unit 77.
  • the motion prediction / compensation unit 76 transmits information indicating the optimal inter prediction mode (inter prediction mode information) to the lossless encoding unit 66. Output.
  • the lossless encoding unit 66 performs lossless encoding processing such as variable length encoding and arithmetic encoding on the information from the motion prediction / compensation unit 76 and inserts the information into the header portion of the compressed image.
  • the predicted image selection unit 77 determines an optimal prediction mode from the optimal intra prediction mode and the optimal inter prediction mode based on each cost function value output from the intra prediction unit 73 or the motion prediction / compensation unit 76. Then, the predicted image selection unit 77 selects a predicted image in the determined optimal prediction mode and supplies the selected predicted image to the calculation units 63 and 70. At this time, the predicted image selection unit 77 supplies the prediction image selection information to the intra prediction unit 73 or the motion prediction / compensation unit 76.
  • the rate control unit 78 controls the quantization operation rate of the quantization unit 65 based on the compression parameters stored in the storage buffer 67 using the quantization parameter so that overflow or underflow does not occur.
  • the intra prediction mode for luminance signals will be described.
  • three methods are defined: an intra 4 ⁇ 4 prediction mode, an intra 8 ⁇ 8 prediction mode, and an intra 16 ⁇ 16 prediction mode.
  • This is a mode for determining a block unit, and is set for each macroblock.
  • an intra prediction mode independent of the luminance signal can be set for each macroblock.
  • one prediction mode can be set from nine types of prediction modes for each target block of 4 ⁇ 4 pixels.
  • one prediction mode can be set from nine types of prediction modes for each target block of 8 ⁇ 8 pixels.
  • one prediction mode can be set from four types of prediction modes for a target macroblock of 16 ⁇ 16 pixels.
  • the intra 4 ⁇ 4 prediction mode, the intra 8 ⁇ 8 prediction mode, and the intra 16 ⁇ 16 prediction mode will be referred to as 4 ⁇ 4 pixel intra prediction mode, 8 ⁇ 8 pixel intra prediction mode, and 16 ⁇ , respectively. It is also referred to as 16-pixel intra prediction mode as appropriate.
  • numerals -1 to 25 attached to each block indicate the bit stream order (processing order on the decoding side) of each block.
  • the macroblock is divided into 4 ⁇ 4 pixels, and DCT of 4 ⁇ 4 pixels is performed. Only in the case of the intra 16 ⁇ 16 prediction mode, as shown in the block of ⁇ 1, the DC components of each block are collected to generate a 4 ⁇ 4 matrix, and further, orthogonal transformation is performed on this. Is done.
  • the color difference signal after the macroblock is divided into 4 ⁇ 4 pixels and the DCT of 4 ⁇ 4 pixels is performed, the DC components of each block are collected as shown in the blocks 16 and 17. A 2 ⁇ 2 matrix is generated, and is further subjected to orthogonal transformation.
  • FIG. 4 and 5 are diagrams showing 9 types of luminance signal 4 ⁇ 4 pixel intra prediction modes (Intra — 4 ⁇ 4_pred_mode).
  • Each of the eight types of modes other than mode 2 indicating average value (DC) prediction corresponds to the directions indicated by the numbers 0, 1, 3 to 8 in FIG.
  • the pixels a to p represent the pixels of the target block to be intra-processed
  • the pixel values A to M represent the pixel values of the pixels belonging to the adjacent blocks. That is, the pixels a to p are images to be processed that are read from the screen rearrangement buffer 62, and the pixel values A to M are pixel values of a decoded image that is read from the frame memory 72 and referred to. It is.
  • the prediction pixel values of the pixels a to p are generated as follows using the pixel values A to M of the pixels belonging to the adjacent blocks.
  • the pixel value “available” indicates that the pixel value can be used without any reason such as being at the end of the image frame or not yet encoded.
  • the pixel value “unavailable” indicates that the pixel value is not usable because it is at the end of the image frame or has not been encoded yet.
  • Mode 0 is the Vertical Prediction mode, and is applied only when the pixel values A to D are “available”.
  • the predicted pixel values of the pixels a to p are generated as in the following formula (1).
  • Mode 1 is a horizontal prediction mode and is applied only when the pixel values I to L are “available”.
  • the predicted pixel values of the pixels a to p are generated as in the following Expression (2).
  • Predicted pixel value of pixels a, b, c, d I
  • Predicted pixel value of pixels e, f, g, h J
  • Predicted pixel value of pixels i, j, k, l K
  • Predicted pixel value of pixels m, n, o, p L (2)
  • Mode 2 is a DC Prediction mode, and when the pixel values A, B, C, D, I, J, K, and L are all “available”, the predicted pixel value is generated as shown in Expression (3). (A + B + C + D + I + J + K + L + 4) >> 3 (3)
  • Mode 3 is a Diagonal_Down_Left Prediction mode, and is applied only when the pixel values A, B, C, D, I, J, K, L, and M are “available”. In this case, the predicted pixel values of the pixels a to p are generated as in the following Expression (6).
  • Mode 4 is a Diagonal_Down_Right Prediction mode, and is applied only when the pixel values A, B, C, D, I, J, K, L, and M are “available”. In this case, the predicted pixel values of the pixels a to p are generated as in the following Expression (7).
  • Mode 5 is a Diagonal_Vertical_Right Prediction mode, and is applied only when the pixel values A, B, C, D, I, J, K, L, and M are “available”. In this case, the predicted pixel values of the pixels a to p are generated as in the following Expression (8).
  • Mode 6 is a Horizontal_Down Prediction mode, and is applied only when the pixel values A, B, C, D, I, J, K, L, and M are “available”.
  • the predicted pixel values of the pixels a to p are generated as in the following Expression (9).
  • Mode 7 is Vertical_Left Prediction mode, and is applied only when the pixel values A, B, C, D, I, J, K, L, and M are “available”.
  • the predicted pixel values of the pixels a to p are generated as in the following Expression (10).
  • Mode 8 is a Horizontal_Up Prediction mode, and is applied only when the pixel values A, B, C, D, I, J, K, L, and M are “available”. In this case, the predicted pixel values of the pixels a to p are generated as in the following Expression (11).
  • a 4 ⁇ 4 pixel intra prediction mode (Intra_4x4_pred_mode) encoding method for luminance signals will be described with reference to FIG.
  • a target block C that is 4 ⁇ 4 pixels and is an encoding target is illustrated, and a block A and a block B that are 4 ⁇ 4 pixels adjacent to the target block C are illustrated.
  • Intra_4x4_pred_mode in the target block C and Intra_4x4_pred_mode in the block A and the block B are highly correlated.
  • Intra_4x4_pred_mode in the block A and the block B are respectively Intra_4x4_pred_modeA and Intra_4x4_pred_modeB, and MostProbableMode is defined as the following equation (12).
  • MostProbableMode Min (Intra_4x4_pred_modeA, Intra_4x4_pred_modeB) (12)
  • MostProbableMode the one to which a smaller mode_number is assigned is referred to as MostProbableMode.
  • prev_intra4x4_pred_mode_flag [luma4x4BlkIdx]
  • rem_intra4x4_pred_mode [luma4x4BlkIdx]
  • Intra_4x4_pred_mode and Intra4x4PredMode [luma4x4BlkIdx] for the target block C can be obtained.
  • FIG. 9 and FIG. 10 are diagrams illustrating nine kinds of luminance signal 8 ⁇ 8 pixel intra prediction modes (Intra_8 ⁇ 8_pred_mode).
  • the pixel value in the target 8 ⁇ 8 block is p [x, y] (0 ⁇ x ⁇ 7; 0 ⁇ y ⁇ 7), and the pixel value of the adjacent block is p [-1, -1],. [-1,15], p [-1,0], ..., [p-1,7].
  • a low-pass filtering process is performed on adjacent pixels prior to generating a prediction value.
  • the pixel values before the low-pass filtering process are p [-1, -1], ..., p [-1,15], p [-1,0], ... p [-1,7], and after the process Are represented as p ′ [ ⁇ 1, ⁇ 1],..., P ′ [ ⁇ 1,15], p ′ [ ⁇ 1,0],... P ′ [ ⁇ 1,7].
  • p ′ [0, -1] is calculated as in the following equation (14) when p [-1, -1] is “available”, and when “not available” Is calculated as in the following equation (15).
  • p '[0, -1] (p [-1, -1] + 2 * p [0, -1] + p [1, -1] + 2) >> 2
  • p '[0, -1] (3 * p [0, -1] + p [1, -1] + 2) >> 2 ...
  • p '[x, -1] (p [x-1, -1] + 2 * p [x, -1] + p [x + 1, -1] + 2) >> 2 ...
  • p '[x, -1] (p [x-1, -1] + 2 * p [x, -1] + p [x + 1, -1] + 2) >> 2
  • p '[15, -1] (p [14, -1] + 3 * p [15, -1] + 2) >> 2 ... (17)
  • p '[-1, -1] is calculated as follows when p [-1, -1] is "available”. That is, p ′ [ ⁇ 1, ⁇ 1] is calculated as in Expression (18) when both p [0, ⁇ 1] and p [ ⁇ 1,0] are available, and p [ -1,0] is “unavailable”, it is calculated as in equation (19). Further, p ′ [ ⁇ 1, ⁇ 1] is calculated as in Expression (20) when p [0, ⁇ 1] is “unavailable”.
  • p '[-1, -1] (p [0, -1] + 2 * p [-1, -1] + p [-1,0] + 2) >> 2 ...
  • p '[-1,0] (p [-1, -1] + 2 * p [-1,0] + p [-1,1] + 2) >> 2 ...
  • p '[-1,0] (3 * p [-1,0] + p [-1,1] + 2) >> 2 (22)
  • p [-1, y] (p [-1, y-1] + 2 * p [-1, y] + p [-1, y + 1] + 2) >> 2
  • p '[-1,7] (p [-1,6] + 3 * p [-1,7] + 2) >> 2 ... (24)
  • the predicted value pred8x8 L [x, y] is generated as in the following Expression (25).
  • pred8x8 L [x, y] (p '[14, -1] + 3 * p [15, -1] + 2) >> 2 ...
  • red8x8 L [x, y] (p '[x + y, -1] + 2 * p' [x + y + 1, -1] + p '[x + y + 2, -1] + 2) >> 2 ... (32)
  • pred8x8 L [x, y] (p '[x + (y >> 1),-1] + p' [x + (y >> 1) + 1, -1] + 1) >> 1 ...
  • 11 and 12 are diagrams illustrating 16 ⁇ 16 pixel intra prediction modes (Intra — 16 ⁇ 16_pred_mode) of four types of luminance signals.
  • the predicted pixel value Pred (x, y) of each pixel of the target macroblock A is generated as in the following Expression (53).
  • the predicted pixel value Pred (x, y) of each pixel of the target macroblock A is generated as in the following equation (54).
  • the predicted pixel value Pred (x, y) of each pixel is generated as in the following equation (55).
  • the predicted pixel value Pred (x, y) of each pixel of the target macroblock A is generated as in the following Expression (58).
  • FIG. 14 is a diagram illustrating four types of color difference signal intra prediction modes (Intra_chroma_pred_mode).
  • the color difference signal intra prediction mode can be set independently of the luminance signal intra prediction mode.
  • the intra prediction mode for the color difference signal is in accordance with the 16 ⁇ 16 pixel intra prediction mode of the luminance signal described above.
  • the 16 ⁇ 16 pixel intra prediction mode of the luminance signal is intended for a block of 16 ⁇ 16 pixels
  • the intra prediction mode for the color difference signal is intended for a block of 8 ⁇ 8 pixels.
  • the mode numbers do not correspond to each other.
  • the predicted pixel value Pred (x, y) of each pixel is generated as in the following equation (59).
  • the predicted pixel value Pred (x, y) of each pixel of the target macroblock A is generated as in the following Expression (62).
  • the predicted pixel value Pred (x, y) of each pixel of the target macroblock A is generated as in the following Expression (63).
  • the predicted pixel value Pred (x, y) of each pixel of the target macroblock A is generated as in the following Expression (64).
  • the luminance signal intra prediction modes include nine types of 4 ⁇ 4 pixel and 8 ⁇ 8 pixel block units, and four types of 16 ⁇ 16 pixel macroblock unit prediction modes. This block unit mode is set for each macroblock unit.
  • the color difference signal intra prediction modes include four types of prediction modes in units of 8 ⁇ 8 pixel blocks. This color difference signal intra prediction mode can be set independently of the luminance signal intra prediction mode.
  • the 4 ⁇ 4 pixel intra prediction mode (intra 4 ⁇ 4 prediction mode) and the 8 ⁇ 8 pixel intra prediction mode (intra 8 ⁇ 8 prediction mode) of the luminance signal are 4 ⁇ 4 pixels and 8 ⁇ 8 pixels.
  • One intra prediction mode is set for each block of luminance signals.
  • 16 ⁇ 16 pixel intra prediction mode for luminance signals (intra 16 ⁇ 16 prediction mode) and the intra prediction mode for color difference signals one prediction mode is set for one macroblock.
  • Prediction mode 2 is average value prediction.
  • FIG. 15A illustrates a Vertical Prediction method when the block size is 8 ⁇ 8 pixels.
  • White circles represent the block pixels, and hatched circles represent adjacent pixels used for Vertical Prediction.
  • H. In the case of the H.264 / AVC format, only adjacent pixels for one line are used for intra prediction, but in the image encoding device 51, adjacent pixels for a plurality of lines (four lines in the example of FIG. 15A). Pixels are used.
  • FIG. 15B shows an example in which each vertical line in FIG. 15A is viewed in the direction of the arrow.
  • P (x) related to the pixel value of the adjacent pixel is a known value
  • the pixel value of the block pixel is a predicted value, that is, an unknown value. In the image encoding device 51, an unknown value is obtained from a known value.
  • the predicted pixel value for the block is obtained. . That is, in this case, when four lines of adjacent pixels are used, four constants of a third-order polynomial are calculated by solving a fourth-order simultaneous equation, and a third-order polynomial using the four constants. Thus, an intra predicted image is generated. That is, a cubic polynomial using the calculated four constants can be said to be a polynomial that approximates four lines of adjacent pixels and eight corresponding block pixels as shown in FIG. 15B.
  • P (0) to P (7) are pixel values, if the input image signal is N bits, it is necessary to perform clipping processing to a value in the range of 0 to 2 N ⁇ 1.
  • the parameters a, b, c, and d can be calculated with the same processing on the decoding side, so there is no need to add them to the header of the compressed image.
  • an intra prediction image is generated by performing extrapolation processing by polynomial approximation using adjacent pixels of a plurality of lines.
  • This extrapolation processing by polynomial approximation is processing performed by the intra prediction unit 73 and the spline interpolation unit 75, and is also referred to as spline interpolation.
  • the parameters a, b, c, and d are also referred to as spline parameters or interpolation parameters.
  • the accuracy of intra prediction is improved, and the coding efficiency can be improved.
  • the pixels used for intra prediction are an example of pixels for four lines has been described, but it may be two lines or more, and is not limited to four lines. That is, when adjacent pixels for N lines are used, N constants of an N ⁇ 1 order polynomial are calculated by solving an Nth order simultaneous equation, and N ⁇ 1 order polynomials using N constants are calculated. An intra prediction image is generated by the polynomial. Further, for example, a larger number of lines may be used according to the block size.
  • the prediction accuracy is higher when approximation is performed using a higher-order polynomial using all the pixels in the k columns.
  • the following method determines how much of the k columns of line buffers secured in the line buffer 74 are to be used. That is, first, the difference values
  • the prediction efficiency is higher when the second-order polynomial approximation using n 0 , n 1 , and n 2 is used than when the polynomial approximation using pixel values after n 3 is performed.
  • ⁇ is set to a larger value for a larger quantization parameter. This is because when encoding is performed with a larger quantization parameter, the value of
  • the accuracy can be improved by increasing the number of lines.
  • the number of lines in the line memory increases accordingly, the cost also increases.
  • an 8 ⁇ 8 pixel block has been described as an example, but the scope of application of the present invention is not limited to this, and the present invention can be applied to pixel blocks of any size. That is, the present invention can also be applied to an extended macroblock as shown in FIG.
  • FIG. 17 is a diagram showing an example of the block size proposed in Non-Patent Document 1 or 2.
  • the macroblock size is expanded to 32 ⁇ 32 pixels.
  • a macro block composed of 32 ⁇ 32 pixels divided into blocks (partitions) of 32 ⁇ 32 pixels, 32 ⁇ 16 pixels, 16 ⁇ 32 pixels, and 16 ⁇ 16 pixels from the left. They are shown in order.
  • blocks from 16 ⁇ 16 pixels divided into 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, and 8 ⁇ 8 pixel blocks are sequentially shown from the left. Yes.
  • an 8 ⁇ 8 pixel block divided into 8 ⁇ 8 pixel, 8 ⁇ 4 pixel, 4 ⁇ 8 pixel, and 4 ⁇ 4 pixel blocks is sequentially shown from the left. .
  • the 32 ⁇ 32 pixel macroblock can be processed in the 32 ⁇ 32 pixel, 32 ⁇ 16 pixel, 16 ⁇ 32 pixel, and 16 ⁇ 16 pixel blocks shown in the upper part of FIG.
  • the 16 ⁇ 16 pixel block shown on the right side of the upper row is H.264. Similar to the H.264 / AVC format, processing in blocks of 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, and 8 ⁇ 8 pixels shown in the middle stage is possible.
  • the 8 ⁇ 8 pixel block shown on the right side of the middle row Similar to the H.264 / AVC format, processing in blocks of 8 ⁇ 8 pixels, 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, and 4 ⁇ 4 pixels shown in the lower stage is possible.
  • a block of 32 ⁇ 32 pixels, 32 ⁇ 16 pixels, and 16 ⁇ 32 pixels shown in the upper part of FIG. 17 is referred to as a first layer.
  • the block of 16 ⁇ 16 pixels shown on the right side of the upper stage and the block of 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, and 8 ⁇ 16 pixels shown in the middle stage are called a second hierarchy.
  • the 8 ⁇ 8 pixel block shown on the right side of the middle row and the 8 ⁇ 8 pixel, 8 ⁇ 4 pixel, 4 ⁇ 8 pixel, and 4 ⁇ 4 pixel blocks shown on the lower row are called the third layer.
  • a larger block is defined as a superset thereof while maintaining compatibility with a macroblock in the current AVC.
  • FIG. 18 is a block diagram illustrating a detailed configuration example of the intra prediction unit 73 and the spline interpolation unit 75 that perform the intra prediction described above.
  • the intra prediction unit 73 includes a candidate mode determination unit 81, a predicted image generation unit 82, a cost function calculation unit 83, and a mode determination unit 84.
  • the spline interpolation unit 75 includes an adjacent pixel selection unit 91 and a spline parameter generation unit 92.
  • Candidate mode discriminating unit 81 selects all available intra prediction modes defined in the encoding scheme, or a part of them, and becomes a candidate mode in the block, from among available modes, adjacent pixel selecting unit 91. And supplied to the predicted image generation unit 82. Note that “available” indicates that adjacent pixels used in the mode are available.
  • the predicted image generation unit 82 uses the spline parameters from the spline parameter generation unit 92 to generate an intra prediction mode predicted image from the candidate mode determination unit 81. That is, the predicted image generation unit 82 calculates P (0) to P (7) using the N spline parameters obtained by the above equation (66) as the N ⁇ 1 order polynomial of the equation (65). By calculating, a predicted image is generated. The generated predicted image is supplied to the cost function calculation unit 83.
  • the cost function calculation unit 83 receives the pixel value of the input image from the screen rearrangement buffer 62, and calculates cost function values for all candidate modes using this and the prediction image from the prediction image generation unit 82. The cost function calculation unit 83 supplies the prediction image and cost function value for each candidate mode to the mode determination unit 84.
  • the mode determination unit 84 sets the candidate prediction mode having the smallest cost function value as the optimum prediction mode for the block, and supplies the prediction image and the cost function value to the prediction image selection unit 77.
  • the mode determination unit 84 supplies information on the optimal prediction mode to the lossless encoding unit 66. To do.
  • the line buffer 74 is supplied with and stored from the frame memory 72 all adjacent pixels that may be used for intra prediction.
  • the adjacent pixel selection unit 91 selects which adjacent pixel is to be used according to the candidate intra prediction mode from the candidate mode determination unit 81 and supplies the address to the line buffer 74. Since this address is used and the value of the adjacent pixel is supplied from the line buffer 74 to the adjacent pixel selection unit 91, the adjacent pixel selection unit 91 supplies the supplied value of the adjacent pixel to the spline parameter generation unit 92. Supply.
  • the spline parameter generation unit 92 uses the adjacent pixel values for N lines to solve the Nth order simultaneous equations according to the above-described equation (66), thereby obtaining N pieces of N ⁇ 1 order polynomials for intra prediction.
  • the spline parameters are calculated, and the calculated N spline parameters are supplied to the predicted image generation unit 82.
  • step S11 the A / D converter 61 A / D converts the input image.
  • step S12 the screen rearrangement buffer 62 stores the images supplied from the A / D conversion unit 61, and rearranges the pictures from the display order to the encoding order.
  • step S13 the calculation unit 63 calculates the difference between the image rearranged in step S12 and the predicted image.
  • the predicted image is supplied from the motion prediction / compensation unit 76 in the case of inter prediction and from the intra prediction unit 73 in the case of intra prediction to the calculation unit 63 via the predicted image selection unit 77.
  • ⁇ Difference data has a smaller data volume than the original image data. Therefore, the data amount can be compressed as compared with the case where the image is encoded as it is.
  • step S14 the orthogonal transformation unit 64 orthogonally transforms the difference information supplied from the calculation unit 63. Specifically, orthogonal transformation such as discrete cosine transformation and Karhunen-Loeve transformation is performed, and transformation coefficients are output.
  • step S15 the quantization unit 65 quantizes the transform coefficient. At the time of this quantization, the rate is controlled as described in the process of step S25 described later.
  • step S ⁇ b> 16 the inverse quantization unit 68 inversely quantizes the transform coefficient quantized by the quantization unit 65 with characteristics corresponding to the characteristics of the quantization unit 65.
  • step S ⁇ b> 17 the inverse orthogonal transform unit 69 performs inverse orthogonal transform on the transform coefficient inversely quantized by the inverse quantization unit 68 with characteristics corresponding to the characteristics of the orthogonal transform unit 64.
  • step S18 the calculation unit 70 adds the predicted image input via the predicted image selection unit 77 to the locally decoded difference information, and outputs the locally decoded image (for input to the calculation unit 63). Corresponding image).
  • step S ⁇ b> 19 the deblock filter 71 filters the image output from the calculation unit 70. Thereby, block distortion is removed.
  • step S20 the frame memory 72 stores the filtered image. Note that an image that has not been filtered by the deblocking filter 71 is also supplied to the frame memory 72 from the computing unit 70 and stored therein.
  • the decoded image to be referenced is read from the frame memory 72 and supplied to the line buffer 74.
  • step S21 the intra prediction unit 73 and the spline interpolation unit 75 become candidates for the pixels of the block to be processed by extrapolation processing using polynomial approximation (ie, spline interpolation processing). Intra prediction is performed in all intra prediction modes. Note that pixels that have not been deblocked filtered by the deblocking filter 71 are used as decoded pixels that are referred to.
  • intra prediction is performed in all candidate intra prediction modes, and for all candidate intra prediction modes.
  • a cost function value is calculated.
  • the optimal intra prediction mode is selected, and the predicted image generated by the intra prediction in the optimal intra prediction mode and its cost function value are supplied to the predicted image selection unit 77.
  • the processing target image supplied from the screen rearrangement buffer 62 is an image to be inter-processed
  • the referenced image is read from the frame memory 72 and supplied to the motion prediction / compensation unit 76. Based on these images, in step S22, the motion prediction / compensation unit 76 performs an inter motion prediction process.
  • step S22 Details of the inter motion prediction process in step S22 will be described later with reference to FIG.
  • motion search processing is performed in all candidate inter prediction modes, cost function values are calculated for all candidate inter prediction modes, and optimal inter prediction is performed based on the calculated cost function values.
  • the mode is determined.
  • the predicted image generated in the optimal inter prediction mode and its cost function value are supplied to the predicted image selection unit 77.
  • step S ⁇ b> 23 the predicted image selection unit 77 optimizes one of the optimal intra prediction mode and the optimal inter prediction mode based on the cost function values output from the intra prediction unit 73 and the motion prediction / compensation unit 76. Determine the prediction mode. Then, the predicted image selection unit 77 selects the predicted image in the determined optimal prediction mode and supplies it to the calculation units 63 and 70. As described above, this predicted image is used for the calculations in steps S13 and S18.
  • the prediction image selection information is supplied to the intra prediction unit 73 or the motion prediction / compensation unit 76.
  • the intra prediction unit 73 supplies information indicating the optimal intra prediction mode (that is, intra prediction mode information) to the lossless encoding unit 66.
  • the motion prediction / compensation unit 76 When the prediction image in the optimal inter prediction mode is selected, the motion prediction / compensation unit 76 generates information indicating the optimal inter prediction mode and, if necessary, information corresponding to the optimal inter prediction mode as a lossless encoding unit. 66.
  • Information according to the optimal inter prediction mode includes motion vector information and reference frame information.
  • step S24 the lossless encoding unit 66 encodes the quantized transform coefficient output from the quantization unit 65. That is, the difference image is subjected to lossless encoding such as variable length encoding and arithmetic encoding, and is compressed.
  • lossless encoding such as variable length encoding and arithmetic encoding
  • Information and the like are also encoded and added to the header information.
  • information indicating the intra prediction mode and information indicating the inter prediction mode are encoded for each macroblock.
  • Motion vector information and reference frame information are encoded for each target block.
  • step S25 the accumulation buffer 67 accumulates the difference image as a compressed image.
  • the compressed image stored in the storage buffer 67 is appropriately read and transmitted to the decoding side via the transmission path.
  • step S26 the rate control unit 78 controls the rate of the quantization operation of the quantization unit 65 based on the compressed image stored in the storage buffer 67 so that overflow or underflow does not occur.
  • a decoded image to be referred to for intra prediction is read from the frame memory 72 and stored in the line buffer 74. Supplied.
  • step S41 the line buffer 74 stores the supplied adjacent pixel value for intra prediction.
  • Candidate mode discriminating unit 81 selects all available intra prediction modes defined in the encoding scheme, or a part of them, and becomes a candidate mode in the block, from among available modes, adjacent pixel selecting unit 91. And supplied to the predicted image generation unit 82. For example, the 4 ⁇ 4 pixel, 8 ⁇ 8 pixel, and 16 ⁇ 16 pixel intra prediction modes described above with reference to FIGS. 4 to 14 are set as candidate modes.
  • the adjacent pixel selection unit 91 selects which adjacent pixel is to be used according to the candidate intra prediction mode from the candidate mode determination unit 81, and sets the address to the line buffer 74. To supply. Since this address is used and the value of the adjacent pixel is supplied from the line buffer 74 to the adjacent pixel selection unit 91, the adjacent pixel selection unit 91 uses the supplied value of the adjacent pixel as the spline parameter generation unit 92. To supply.
  • step S43 the spline parameter generation unit 92 calculates N spline parameters in the (N ⁇ 1) th order polynomial for each prediction mode by solving the Nth order simultaneous equations shown in the equation (66). The calculated spline parameters are supplied to the predicted image generation unit 82.
  • step S44 the predicted image generation unit 82 generates a predicted image for each mode using the spline parameters from the spline parameter generation unit 92. That is, a predicted image is generated by calculating P (0) to P (7) using the N spline parameters for the N ⁇ 1 order polynomial represented by the above-described equation (65). The generated predicted image is supplied to the cost function calculation unit 83.
  • step S ⁇ b> 45 the cost function calculation unit 83 inputs the pixel value of the input image from the screen rearrangement buffer 62, and uses this and the prediction image from the prediction image generation unit 82 to calculate the cost function value for each prediction mode. calculate.
  • the cost function calculation unit 83 supplies the prediction image and cost function value for each candidate mode to the mode determination unit 84.
  • the cost function value is based on either High ⁇ Complexity Mode or Low Complexity Mode.
  • H. In the H.264 / AVC format, for example, a method of selecting two mode determination methods of High Complexity Mode and Low Complexity Mode defined in JM is used. In both cases, the cost function value for each prediction mode is calculated, and the prediction mode that minimizes the cost function value is selected as the optimum mode for the block or macroblock.
  • the cost function value in High Complexity Mode can be obtained as in the following formula (69).
  • Equation (69) ⁇ is the entire set of candidate modes for encoding the block or macroblock.
  • D is the difference energy between the decoded image and the input image when encoded in the prediction mode Mode.
  • ⁇ is a Lagrange undetermined multiplier given as a function of the quantization parameter.
  • R is a total code amount when encoding is performed in the mode Mode, including orthogonal transform coefficients.
  • the cost function value in the Low Complexity Mode can be obtained as in the following formula (70).
  • D is the difference energy between the predicted image and the input image, unlike the case of High Complexity Mode.
  • QP2Quant QP
  • HeaderBit is a code amount related to information belonging to Header, such as a motion vector and a mode, which does not include an orthogonal transform coefficient.
  • step S46 the mode determination unit 84 selects a prediction mode that minimizes the cost function value from the candidate prediction modes as an optimal prediction mode for the block, and uses the prediction image and the cost function value as the prediction image. This is supplied to the selector 77.
  • step S61 the motion prediction / compensation unit 76 determines a motion vector and a reference image for each of eight types of inter prediction modes including 16 ⁇ 16 pixels to 4 ⁇ 4 pixels. That is, a motion vector and a reference image are determined for each block to be processed in each inter prediction mode.
  • step S62 the motion prediction / compensation unit 76 performs motion prediction on the reference image based on the motion vector determined in step S61 for each of the eight types of inter prediction modes including 16 ⁇ 16 pixels to 4 ⁇ 4 pixels. Perform compensation processing. By this motion prediction and compensation processing, a prediction image in each inter prediction mode is generated.
  • step S63 the motion prediction / compensation unit 76 adds motion vector information for adding to the compressed image the motion vectors determined for each of the eight types of inter prediction modes including 16 ⁇ 16 pixels to 4 ⁇ 4 pixels. Is generated.
  • the generated motion vector information is also used when calculating the cost function value in the next step S64.
  • the prediction mode information and reference It is output to the lossless encoding unit 66 together with the frame information.
  • step S64 the motion prediction / compensation unit 76 performs the cost function represented by the above-described equation (69) or equation (70) for each of the eight types of inter prediction modes including 16 ⁇ 16 pixels to 4 ⁇ 4 pixels. Calculate the value.
  • step S65 the motion prediction / compensation unit 76 compares the cost function value for the inter prediction mode calculated in step S64, and determines the prediction mode that gives the minimum value as the optimal inter prediction mode. Then, the optimal inter mode determination unit 84 supplies the predicted image generated in the optimal inter prediction mode and its cost function value to the predicted image selection unit 77.
  • the motion prediction / compensation unit 76 displays information or motion indicating the optimal inter prediction mode.
  • Vector information, reference image information, and the like are supplied to the lossless encoding unit 66. Then, it is encoded by the lossless encoding unit 66 and added to the header information of the compressed image (step S24 in FIG. 19 described above).
  • this processing is also processing for obtaining the number of adjacent pixel lines to be used as described above with reference to FIG. 16.
  • the adjacent pixel selection unit 91 in FIG. 18 and the adjacent pixel selection unit in FIG. This process is executed before selecting an adjacent pixel according to 191.
  • the adjacent pixel selection unit 91 determines the threshold ⁇ in step S81.
  • k represents the number of lines of adjacent pixels stored in the line buffer 74.
  • step S84 the adjacent pixel selection unit 91 determines whether or not
  • + ⁇ is satisfied. If it is determined that the determination formula in step S84 is satisfied, the process proceeds to step S85.
  • step S85 it is determined whether or not
  • + ⁇ is satisfied. If it is determined that the determination formula in step S84 is not satisfied, or if it is determined that the determination formula in step S85 is not satisfied, the process proceeds to step S86.
  • step S85 the adjacent pixel selection unit 91 determines the order of polynomial approximation to be h ⁇ 1 order. In this case, a line buffer (adjacent pixel value) of h columns is used.
  • step S83 determines whether h is the same as k. If it is determined in step S83 that h is the same as k, the process proceeds to step S87.
  • step S87 the degree of polynomial approximation is determined to be k ⁇ 1 order, and k-line line buffers (adjacent pixel values) are used.
  • an intra-predicted image is generated by performing extrapolation processing by polynomial approximation using adjacent pixels of a plurality of lines.
  • the accuracy of intra prediction is improved and coding efficiency can be improved. This is particularly effective for large block sizes.
  • the prediction efficiency can be further improved.
  • the encoded compressed image is transmitted via a predetermined transmission path and decoded by an image decoding device.
  • FIG. 23 shows a configuration of an embodiment of an image decoding apparatus as an image processing apparatus to which the present invention is applied.
  • the image decoding device 151 includes a storage buffer 161, a lossless decoding unit 162, an inverse quantization unit 163, an inverse orthogonal transform unit 164, an operation unit 165, a deblock filter 166, a screen rearrangement buffer 167, a D / A conversion unit 168, a frame
  • the memory 169, the intra prediction unit 170, the line buffer 171, the spline interpolation unit 172, the motion prediction / compensation unit 173, and the switch 174 are included.
  • the accumulation buffer 161 accumulates the transmitted compressed image.
  • the lossless decoding unit 162 decodes the information supplied from the accumulation buffer 161 and encoded by the lossless encoding unit 66 in FIG. 2 by a method corresponding to the encoding method of the lossless encoding unit 66.
  • the inverse quantization unit 163 inversely quantizes the image decoded by the lossless decoding unit 162 by a method corresponding to the quantization method of the quantization unit 65 in FIG.
  • the inverse orthogonal transform unit 164 performs inverse orthogonal transform on the output of the inverse quantization unit 163 by a method corresponding to the orthogonal transform method of the orthogonal transform unit 64 in FIG.
  • the output subjected to the inverse orthogonal transform is added to the prediction image supplied from the switch 174 by the arithmetic unit 165 and decoded.
  • the deblocking filter 166 removes block distortion of the decoded image, and then supplies the frame to the frame memory 169 for accumulation and outputs it to the screen rearrangement buffer 167.
  • the screen rearrangement buffer 167 rearranges images. That is, the order of frames rearranged for the encoding order by the screen rearrangement buffer 62 in FIG. 2 is rearranged in the original display order.
  • the D / A conversion unit 168 D / A converts the image supplied from the screen rearrangement buffer 167, and outputs and displays the image on a display (not shown).
  • the inter-processed image from the frame memory 169 and the image referred to are output to the motion prediction / compensation unit 173.
  • An image used for intra prediction from the frame memory 169 is output to the line buffer 171.
  • the information indicating the intra prediction mode obtained by decoding the header information is supplied from the lossless decoding unit 162 to the intra prediction unit 170.
  • the intra prediction unit 170 generates the intra prediction pixel value of the target block by performing extrapolation processing by polynomial approximation using adjacent pixels of a plurality of lines stored in the line buffer 171 together with the spline interpolation unit 172.
  • the intra prediction unit 170 supplies information on the intra prediction mode to the spline interpolation unit 172.
  • the spline interpolation unit 172 supplies polynomial interpolation parameters for approximating adjacent pixels and pixels of the target block for intra prediction using adjacent pixel values corresponding to the intra prediction mode.
  • the intra prediction unit 170 generates an intra prediction image of the intra prediction mode selected on the encoding side by a polynomial using the interpolation parameter from the spline interpolation unit 172.
  • the line buffer 171 stores the pixel values of the reference image from the frame memory 169.
  • the line buffer 171 is supplied with addresses of adjacent pixels according to the intra prediction mode from the spline interpolation unit 172.
  • the line buffer 171 supplies the pixel value of the adjacent pixel corresponding to the address to the spline interpolation unit 172.
  • the spline interpolation unit 172 uses the adjacent pixel value supplied from the line buffer 171 corresponding to the address of the adjacent pixel corresponding to the intra prediction mode from the intra prediction unit 170, and calculates a polynomial interpolation parameter for intra prediction. Calculation is performed by polynomial approximation, and the calculated interpolation parameter is supplied to the intra prediction unit 170.
  • the information (prediction mode information, motion vector information, reference frame information) obtained by decoding the header information is supplied from the lossless decoding unit 162 to the motion prediction / compensation unit 173.
  • the motion prediction / compensation unit 173 performs motion prediction and compensation processing on the image based on the motion vector information and the reference frame information, and generates a predicted image.
  • the motion prediction / compensation unit 173 outputs the prediction image generated in the inter prediction mode to the switch 174.
  • the switch 174 selects the prediction image generated by the motion prediction / compensation unit 173 or the intra prediction unit 170, and supplies the selected prediction image to the calculation unit 165.
  • intra prediction processing is performed for all intra prediction modes in order to determine a prediction mode based on a cost function.
  • this image decoding apparatus 151 an intra prediction process is performed only based on the information of the intra prediction mode transmitted by encoding.
  • FIG. 24 is a block diagram illustrating a detailed configuration example of the intra prediction unit 170 and the spline interpolation unit 172.
  • the intra prediction unit 170 includes a prediction mode buffer 181 and a prediction image generation unit 182.
  • the spline interpolation unit 172 includes an adjacent pixel selection unit 191 and a spline parameter generation unit 192.
  • Information on the intra prediction mode for the block is supplied from the lossless decoding unit 162 to the prediction mode buffer 181.
  • the information on the intra prediction mode is further supplied to the adjacent pixel selection unit 191.
  • the predicted image generation unit 182 generates a predicted image in the intra prediction mode from the prediction mode buffer 181 using the spline parameters from the spline parameter generation unit 192.
  • the predicted image generation unit 182 uses the N spline parameters obtained by the above equation (66) to the N ⁇ 1 order polynomial of the equation (65), and P (0) to P (7). By calculating, a predicted image is generated. The generated predicted image is supplied to the switch 174.
  • the line buffer 171 is supplied with and stored from the frame memory 169 all adjacent pixels that may be used for intra prediction.
  • the adjacent pixel selection unit 191 selects which adjacent pixel is used according to the intra prediction mode from the prediction mode buffer 181, and supplies the address to the line buffer 171. Since this address is used and the value of the adjacent pixel is supplied from the line buffer 171 to the adjacent pixel selector 191, the adjacent pixel selector 191 sends the supplied adjacent pixel value to the spline parameter generator 192. Supply.
  • the spline parameter generation unit 192 uses the adjacent pixel values for N lines to solve the Nth order simultaneous equations according to the above-described equation (66), so that N pieces of N ⁇ 1 order polynomials for intra prediction are obtained.
  • the spline parameters are calculated, and the calculated N spline parameters are supplied to the predicted image generation unit 182.
  • step S131 the storage buffer 161 stores the transmitted image.
  • step S132 the lossless decoding unit 162 decodes the compressed image supplied from the accumulation buffer 161. That is, the I picture, P picture, and B picture encoded by the lossless encoding unit 66 in FIG. 2 are decoded.
  • motion vector information reference frame information
  • prediction mode information information indicating an intra prediction mode or an inter prediction mode
  • the prediction mode information is intra prediction mode information
  • the prediction mode information is supplied to the intra prediction unit 170.
  • the prediction mode information is inter prediction mode information
  • motion vector information and reference frame information corresponding to the prediction mode information are supplied to the motion prediction / compensation unit 173.
  • step S133 the inverse quantization unit 163 inversely quantizes the transform coefficient decoded by the lossless decoding unit 162 with characteristics corresponding to the characteristics of the quantization unit 65 in FIG.
  • step S134 the inverse orthogonal transform unit 164 performs inverse orthogonal transform on the transform coefficient inversely quantized by the inverse quantization unit 163 with characteristics corresponding to the characteristics of the orthogonal transform unit 64 in FIG. As a result, the difference information corresponding to the input of the orthogonal transform unit 64 of FIG. 2 (the output of the calculation unit 63) is decoded.
  • step S135 the calculation unit 165 adds the prediction image selected in the process of step S139 described later and input via the switch 174 to the difference information. As a result, the original image is decoded.
  • step S136 the deblocking filter 166 filters the image output from the calculation unit 165. Thereby, block distortion is removed.
  • step S137 the frame memory 169 stores the filtered image.
  • step S138 the intra prediction unit 170 and the motion prediction / compensation unit 173 perform image prediction processing corresponding to the prediction mode information supplied from the lossless decoding unit 162, respectively.
  • the intra prediction unit 170 and the spline interpolation unit 172 perform extrapolation processing using polynomial approximation (that is, spline interpolation processing) of the block to be processed.
  • the pixels are intra-predicted in the intra-prediction mode from the lossless decoding unit 162.
  • the motion prediction / compensation unit 173 uses the motion vector from the lossless decoding unit 162 in the inter prediction mode from the lossless decoding unit 162. Compensation processing is performed.
  • step S138 the prediction image generated by the intra prediction unit 170 or the prediction image generated by the motion prediction / compensation unit 173 is switched to the switch 174. To be supplied.
  • step S139 the switch 174 selects a predicted image. That is, a prediction image generated by the intra prediction unit 170 or a prediction image generated by the motion prediction / compensation unit 173 is supplied. Therefore, the supplied prediction image is selected and supplied to the calculation unit 165, and is added to the output of the inverse orthogonal transform unit 164 in step S135 as described above.
  • step S140 the screen rearrangement buffer 167 performs rearrangement. That is, the order of frames rearranged for encoding by the screen rearrangement buffer 62 of the image encoding device 51 is rearranged to the original display order.
  • step S141 the D / A converter 168 D / A converts the image from the screen rearrangement buffer 167. This image is output to a display (not shown), and the image is displayed.
  • the predicted image generation unit 182 and the adjacent pixel selection unit 191 determine whether or not the target block is intra-coded in step S171.
  • the intra prediction mode information is supplied from the lossless decoding unit 162 to the prediction image generation unit 182 and the adjacent pixel selection unit 191 via the prediction mode buffer 181, the prediction image generation unit 182 and the adjacent pixel selection unit 191 perform step S171.
  • step S172 it is determined that the target block is intra-coded, and the process proceeds to step S172.
  • the prediction image generation unit 182 and the adjacent pixel selection unit 191 acquire prediction mode information in step S172.
  • a decoded image to be referred to for intra prediction is read from the frame memory 169 and stored.
  • step S173 the adjacent pixel selection unit 191 selects an adjacent pixel value necessary for the intra prediction mode, and supplies the address to the line buffer 171. Since the address is used to supply the adjacent pixel value from the line buffer 171 to the adjacent pixel selection unit 191, the adjacent pixel selection unit 191 uses the supplied adjacent pixel value as the spline parameter generation unit 192. To supply.
  • step S174 the spline parameter generation unit 192 solves the Nth order simultaneous equations shown in the above equation (66), so that N splines in the N ⁇ 1 order polynomial for the prediction mode from the prediction mode buffer 181 are obtained.
  • the parameters are calculated, and the calculated spline parameters are supplied to the predicted image generation unit 182.
  • step S175 the predicted image generation unit 182 generates a predicted image for the prediction mode from the prediction mode buffer 181 using the spline parameters from the spline parameter generation unit 192. That is, a predicted image is generated by calculating P (0) to P (7) using the N spline parameters for the N ⁇ 1 order polynomial represented by the above-described equation (65). The generated predicted image is supplied to the cost function calculation unit 83. The voltage is supplied to the calculation unit 165 via the switch 174.
  • step S171 determines whether the intra encoding has been performed. If it is determined in step S171 that the intra encoding has not been performed, the process proceeds to step S176.
  • the inter prediction mode information, reference frame information, and motion vector information are supplied from the lossless decoding unit 162 to the motion prediction / compensation unit 173.
  • the motion prediction / compensation unit 173 acquires inter prediction mode information, reference frame information, motion vector information, and the like from the lossless decoding unit 162.
  • the motion prediction / compensation unit 173 performs inter motion prediction in step S177. That is, when the image to be processed is an image subjected to inter prediction processing, a necessary image is read from the frame memory 169 and supplied to the motion prediction / compensation unit 173 via the switch 170. In step S177, the motion prediction / compensation unit 173 performs compensation processing in the inter prediction mode based on the motion vector acquired in step S176, and generates a predicted image. The generated predicted image is output to the switch 174.
  • intra prediction images are generated by performing extrapolation processing by polynomial approximation using adjacent pixels of a plurality of lines. Thereby, the accuracy of intra prediction is improved and coding efficiency can be improved. This is particularly effective for large block sizes.
  • JCTVC Joint ⁇ Collaboration Team Video Coding
  • the CodingCoUnit defined in the HEVC encoding method will be described.
  • Coding Unit is also called Coding Block (CTB). It plays the same role as the macroblock in H.264 / AVC, but the latter is fixed to a size of 16 ⁇ 16 pixels, whereas the size of the former is not fixed. It will be specified in the compression information.
  • the CU having the largest size is called LCU (Largest Coding Unit), and the CU having the smallest size is called SCU (Smallest Coding Unit).
  • LCU Large Coding Unit
  • SCU Smallest Coding Unit
  • FIG. 32 shows an example of Coding Unit defined in the HEVC encoding method.
  • the LCU size is 128 and the maximum hierarchical depth is 5.
  • split_flag is 1, the 2N ⁇ 2N size CU is divided into N ⁇ N size CUs which are one layer below.
  • the CU is divided into a Prediction Unit (PU) that is a unit of intra or inter prediction, and is further divided into a Transform Unit (TU) that is a unit of orthogonal transformation.
  • PU Prediction Unit
  • TU Transform Unit
  • Coding Unit is further divided into PU (Prediction Unit) which is a unit of intra or inter prediction, and is further divided into TU (Transform Unit) which is a unit of orthogonal transformation, and prediction processing and orthogonal transformation processing are performed.
  • PU Prediction Unit
  • TU Transform Unit
  • blocks and macroblocks include the concepts of Coding Unit (CU), Prediction Unit (PU), and Transform Unit (TU) as described above, and are not limited to blocks having a fixed size.
  • H.264 / AVC format is used as a base
  • the present invention is not limited to this, and other encoding / decoding schemes that perform prediction using adjacent pixels in the screen can be applied.
  • the present invention includes, for example, MPEG, H.264, and the like.
  • image information bitstream
  • orthogonal transformation such as discrete cosine transformation and motion compensation, such as 26x
  • network media such as satellite broadcasting, cable television, the Internet, or mobile phones.
  • the present invention can be applied to an image encoding device and an image decoding device used in the above. Further, the present invention can be applied to an image encoding device and an image decoding device used when processing on a storage medium such as an optical, magnetic disk, and flash memory. Furthermore, the present invention can also be applied to motion prediction / compensation devices included in such image encoding devices and image decoding devices.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • FIG. 27 is a block diagram illustrating a hardware configuration example of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes it, thereby executing the above-described series of processing. Is done.
  • the program executed by the computer (CPU 201) can be provided by being recorded in the removable medium 211 as a package medium or the like, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the image encoding device 51 and the image decoding device 151 described above can be applied to any electronic device. Examples thereof will be described below.
  • FIG. 28 is a block diagram illustrating a main configuration example of a television receiver using an image decoding device to which the present invention has been applied.
  • the terrestrial tuner 313 receives a broadcast wave signal of terrestrial analog broadcast via an antenna, demodulates it, acquires a video signal, and supplies it to the video decoder 315.
  • the video decoder 315 performs a decoding process on the video signal supplied from the terrestrial tuner 313 and supplies the obtained digital component signal to the video signal processing circuit 318.
  • the video signal processing circuit 318 performs predetermined processing such as noise removal on the video data supplied from the video decoder 315, and supplies the obtained video data to the graphic generation circuit 319.
  • the graphic generation circuit 319 generates video data of a program to be displayed on the display panel 321, image data based on processing based on an application supplied via a network, and the generated video data and image data to the panel drive circuit 320. Supply.
  • the graphic generation circuit 319 generates video data (graphic) for displaying a screen used by the user for selecting an item, and superimposing the video data on the video data of the program.
  • a process of supplying data to the panel drive circuit 320 is also performed as appropriate.
  • the panel drive circuit 320 drives the display panel 321 based on the data supplied from the graphic generation circuit 319, and causes the display panel 321 to display the video of the program and the various screens described above.
  • the display panel 321 includes an LCD (Liquid Crystal Display) or the like, and displays a program video or the like according to control by the panel drive circuit 320.
  • LCD Liquid Crystal Display
  • the television receiver 300 also includes an audio A / D (Analog / Digital) conversion circuit 314, an audio signal processing circuit 322, an echo cancellation / audio synthesis circuit 323, an audio amplification circuit 324, and a speaker 325.
  • an audio A / D (Analog / Digital) conversion circuit 3144 an audio signal processing circuit 322, an echo cancellation / audio synthesis circuit 323, an audio amplification circuit 324, and a speaker 325.
  • the terrestrial tuner 313 acquires not only the video signal but also the audio signal by demodulating the received broadcast wave signal.
  • the terrestrial tuner 313 supplies the acquired audio signal to the audio A / D conversion circuit 314.
  • the audio A / D conversion circuit 314 performs A / D conversion processing on the audio signal supplied from the terrestrial tuner 313, and supplies the obtained digital audio signal to the audio signal processing circuit 322.
  • the audio signal processing circuit 322 performs predetermined processing such as noise removal on the audio data supplied from the audio A / D conversion circuit 314 and supplies the obtained audio data to the echo cancellation / audio synthesis circuit 323.
  • the echo cancellation / voice synthesis circuit 323 supplies the voice data supplied from the voice signal processing circuit 322 to the voice amplification circuit 324.
  • the audio amplification circuit 324 performs D / A conversion processing and amplification processing on the audio data supplied from the echo cancellation / audio synthesis circuit 323, adjusts to a predetermined volume, and then outputs the audio from the speaker 325.
  • the television receiver 300 also has a digital tuner 316 and an MPEG decoder 317.
  • the digital tuner 316 receives a broadcast wave signal of digital broadcasting (terrestrial digital broadcasting, BS (Broadcasting Satellite) / CS (Communications Satellite) digital broadcasting) via an antenna, demodulates, and MPEG-TS (Moving Picture Experts Group). -Transport Stream) and supply it to the MPEG decoder 317.
  • digital broadcasting terrestrial digital broadcasting, BS (Broadcasting Satellite) / CS (Communications Satellite) digital broadcasting
  • MPEG-TS Motion Picture Experts Group
  • the MPEG decoder 317 releases the scramble applied to the MPEG-TS supplied from the digital tuner 316, and extracts a stream including program data to be played (viewing target).
  • the MPEG decoder 317 decodes the audio packet constituting the extracted stream, supplies the obtained audio data to the audio signal processing circuit 322, decodes the video packet constituting the stream, and converts the obtained video data into the video
  • the signal processing circuit 318 is supplied.
  • the MPEG decoder 317 supplies EPG (Electronic Program Guide) data extracted from the MPEG-TS to the CPU 332 via a path (not shown).
  • the television receiver 300 uses the above-described image decoding device 151 as the MPEG decoder 317 for decoding video packets in this way. Therefore, the MPEG decoder 317 can improve the encoding efficiency in the intra prediction as in the case of the image decoding device 151.
  • the video data supplied from the MPEG decoder 317 is subjected to predetermined processing in the video signal processing circuit 318 as in the case of the video data supplied from the video decoder 315.
  • the video data that has been subjected to the predetermined processing is appropriately superposed on the generated video data in the graphic generation circuit 319 and supplied to the display panel 321 via the panel drive circuit 320 to display the image. .
  • the audio data supplied from the MPEG decoder 317 is subjected to predetermined processing in the audio signal processing circuit 322 as in the case of the audio data supplied from the audio A / D conversion circuit 314.
  • the audio data that has been subjected to the predetermined processing is supplied to the audio amplifying circuit 324 via the echo cancel / audio synthesizing circuit 323, and subjected to D / A conversion processing and amplification processing.
  • sound adjusted to a predetermined volume is output from the speaker 325.
  • the television receiver 300 also has a microphone 326 and an A / D conversion circuit 327.
  • the A / D conversion circuit 327 receives the user's voice signal captured by the microphone 326 provided in the television receiver 300 for voice conversation.
  • the A / D conversion circuit 327 performs A / D conversion processing on the received audio signal, and supplies the obtained digital audio data to the echo cancellation / audio synthesis circuit 323.
  • the echo cancellation / audio synthesis circuit 323 When the audio data of the user (user A) of the television receiver 300 is supplied from the A / D conversion circuit 327, the echo cancellation / audio synthesis circuit 323 performs echo cancellation on the audio data of the user A. . The echo cancellation / speech synthesis circuit 323 then outputs voice data obtained by synthesizing with other voice data after echo cancellation from the speaker 325 via the voice amplification circuit 324.
  • the television receiver 300 also includes an audio codec 328, an internal bus 329, an SDRAM (Synchronous Dynamic Random Access Memory) 330, a flash memory 331, a CPU 332, a USB (Universal Serial Bus) I / F 333, and a network I / F 334.
  • SDRAM Serial Dynamic Random Access Memory
  • USB Universal Serial Bus
  • the A / D conversion circuit 327 receives the user's voice signal captured by the microphone 326 provided in the television receiver 300 for voice conversation.
  • the A / D conversion circuit 327 performs A / D conversion processing on the received audio signal, and supplies the obtained digital audio data to the audio codec 328.
  • the audio codec 328 converts the audio data supplied from the A / D conversion circuit 327 into data of a predetermined format for transmission via the network, and supplies the data to the network I / F 334 via the internal bus 329.
  • the network I / F 334 is connected to the network via a cable attached to the network terminal 335.
  • the network I / F 334 transmits the audio data supplied from the audio codec 328 to another device connected to the network.
  • the network I / F 334 receives, for example, audio data transmitted from another device connected via the network via the network terminal 335, and receives it via the internal bus 329 to the audio codec 328. Supply.
  • the voice codec 328 converts the voice data supplied from the network I / F 334 into data of a predetermined format and supplies it to the echo cancellation / voice synthesis circuit 323.
  • the echo cancellation / speech synthesis circuit 323 performs echo cancellation on the voice data supplied from the voice codec 328 and synthesizes voice data obtained by synthesizing with other voice data via the voice amplification circuit 324. And output from the speaker 325.
  • the SDRAM 330 stores various data necessary for the CPU 332 to perform processing.
  • the flash memory 331 stores a program executed by the CPU 332.
  • the program stored in the flash memory 331 is read out by the CPU 332 at a predetermined timing such as when the television receiver 300 is activated.
  • the flash memory 331 also stores EPG data acquired via digital broadcasting, data acquired from a predetermined server via a network, and the like.
  • the flash memory 331 stores MPEG-TS including content data acquired from a predetermined server via a network under the control of the CPU 332.
  • the flash memory 331 supplies the MPEG-TS to the MPEG decoder 317 via the internal bus 329 under the control of the CPU 332, for example.
  • the MPEG decoder 317 processes the MPEG-TS similarly to the MPEG-TS supplied from the digital tuner 316. In this way, the television receiver 300 receives content data including video and audio via the network, decodes it using the MPEG decoder 317, displays the video, and outputs audio. Can do.
  • the television receiver 300 also includes a light receiving unit 337 that receives an infrared signal transmitted from the remote controller 351.
  • the light receiving unit 337 receives infrared rays from the remote controller 351 and outputs a control code representing the contents of the user operation obtained by demodulation to the CPU 332.
  • the CPU 332 executes a program stored in the flash memory 331, and controls the overall operation of the television receiver 300 according to a control code supplied from the light receiving unit 337.
  • the CPU 332 and each part of the television receiver 300 are connected via a path (not shown).
  • the USB I / F 333 transmits and receives data to and from an external device of the television receiver 300 connected via a USB cable attached to the USB terminal 336.
  • the network I / F 334 is connected to the network via a cable attached to the network terminal 335, and transmits / receives data other than audio data to / from various devices connected to the network.
  • the television receiver 300 can improve the encoding efficiency by using the image decoding device 151 as the MPEG decoder 317. As a result, the television receiver 300 can obtain and display a higher-definition decoded image from a broadcast wave signal received via an antenna or content data obtained via a network.
  • FIG. 29 is a block diagram illustrating a main configuration example of a mobile phone using an image encoding device and an image decoding device to which the present invention is applied.
  • a cellular phone 400 shown in FIG. 29 includes a main control unit 450, a power supply circuit unit 451, an operation input control unit 452, an image encoder 453, a camera I / F unit 454, an LCD control, which are configured to control each unit in an integrated manner.
  • the mobile phone 400 includes an operation key 419, a CCD (Charge Coupled Devices) camera 416, a liquid crystal display 418, a storage unit 423, a transmission / reception circuit unit 463, an antenna 414, a microphone (microphone) 421, and a speaker 417.
  • CCD Charge Coupled Devices
  • the power supply circuit unit 451 starts up the mobile phone 400 to an operable state by supplying power from the battery pack to each unit.
  • the mobile phone 400 transmits / receives voice signals, sends / receives e-mails and image data in various modes such as a voice call mode and a data communication mode based on the control of the main control unit 450 including a CPU, a ROM, a RAM, and the like. Various operations such as shooting or data recording are performed.
  • the cellular phone 400 converts a voice signal collected by the microphone (microphone) 421 into digital voice data by the voice codec 459, performs a spectrum spread process by the modulation / demodulation circuit unit 458, and transmits and receives
  • the unit 463 performs digital / analog conversion processing and frequency conversion processing.
  • the cellular phone 400 transmits the transmission signal obtained by the conversion process to a base station (not shown) via the antenna 414.
  • the transmission signal (voice signal) transmitted to the base station is supplied to the mobile phone of the other party via the public telephone line network.
  • the cellular phone 400 amplifies the received signal received by the antenna 414 by the transmission / reception circuit unit 463, further performs frequency conversion processing and analog-digital conversion processing, and performs spectrum despreading processing by the modulation / demodulation circuit unit 458. Then, the audio codec 459 converts it into an analog audio signal. The cellular phone 400 outputs an analog audio signal obtained by the conversion from the speaker 417.
  • the mobile phone 400 when transmitting an e-mail in the data communication mode, receives the text data of the e-mail input by operating the operation key 419 in the operation input control unit 452.
  • the cellular phone 400 processes the text data in the main control unit 450 and displays it on the liquid crystal display 418 as an image via the LCD control unit 455.
  • the cellular phone 400 generates e-mail data in the main control unit 450 based on text data received by the operation input control unit 452, user instructions, and the like.
  • the cellular phone 400 subjects the electronic mail data to spread spectrum processing by the modulation / demodulation circuit unit 458 and performs digital / analog conversion processing and frequency conversion processing by the transmission / reception circuit unit 463.
  • the cellular phone 400 transmits the transmission signal obtained by the conversion process to a base station (not shown) via the antenna 414.
  • the transmission signal (e-mail) transmitted to the base station is supplied to a predetermined destination via a network and a mail server.
  • the mobile phone 400 when receiving an e-mail in the data communication mode, receives and amplifies the signal transmitted from the base station by the transmission / reception circuit unit 463 via the antenna 414, and further performs frequency conversion processing and Analog-digital conversion processing.
  • the mobile phone 400 performs spectrum despreading processing on the received signal by the modulation / demodulation circuit unit 458 to restore the original e-mail data.
  • the cellular phone 400 displays the restored e-mail data on the liquid crystal display 418 via the LCD control unit 455.
  • the mobile phone 400 can record (store) the received e-mail data in the storage unit 423 via the recording / playback unit 462.
  • the storage unit 423 is an arbitrary rewritable storage medium.
  • the storage unit 423 may be a semiconductor memory such as a RAM or a built-in flash memory, a hard disk, or a removable disk such as a magnetic disk, a magneto-optical disk, an optical disk, a USB memory, or a memory card. It may be media. Of course, other than these may be used.
  • the mobile phone 400 when transmitting image data in the data communication mode, the mobile phone 400 generates image data with the CCD camera 416 by imaging.
  • the CCD camera 416 includes an optical device such as a lens and a diaphragm and a CCD as a photoelectric conversion element, images a subject, converts the intensity of received light into an electrical signal, and generates image data of the subject image.
  • the image data is converted into encoded image data by compression encoding with a predetermined encoding method such as MPEG2 or MPEG4 by the image encoder 453 via the camera I / F unit 454.
  • the cellular phone 400 uses the above-described image encoding device 51 as the image encoder 453 that performs such processing. Therefore, the image encoder 453 can improve the encoding efficiency in the intra prediction as in the case of the image encoding device 51.
  • the mobile phone 400 converts the sound collected by the microphone (microphone) 421 during imaging by the CCD camera 416 from analog to digital by the audio codec 459 and further encodes it.
  • the cellular phone 400 multiplexes the encoded image data supplied from the image encoder 453 and the digital audio data supplied from the audio codec 459 by a predetermined method.
  • the cellular phone 400 performs spread spectrum processing on the multiplexed data obtained as a result by the modulation / demodulation circuit unit 458 and digital / analog conversion processing and frequency conversion processing by the transmission / reception circuit unit 463.
  • the cellular phone 400 transmits the transmission signal obtained by the conversion process to a base station (not shown) via the antenna 414.
  • a transmission signal (image data) transmitted to the base station is supplied to a communication partner via a network or the like.
  • the mobile phone 400 can also display the image data generated by the CCD camera 416 on the liquid crystal display 418 via the LCD control unit 455 without passing through the image encoder 453.
  • the cellular phone 400 when receiving data of a moving image file linked to a simple homepage or the like, transmits a signal transmitted from the base station via the antenna 414 to the transmission / reception circuit unit 463. Receive, amplify, and further perform frequency conversion processing and analog-digital conversion processing. The cellular phone 400 performs spectrum despreading processing on the received signal by the modulation / demodulation circuit unit 458 to restore the original multiplexed data. In the cellular phone 400, the demultiplexing unit 457 separates the multiplexed data and divides it into encoded image data and audio data.
  • the cellular phone 400 In the image decoder 456, the cellular phone 400 generates reproduction moving image data by decoding the encoded image data with a decoding method corresponding to a predetermined encoding method such as MPEG2 or MPEG4, and this is controlled by the LCD control.
  • the image is displayed on the liquid crystal display 418 via the unit 455.
  • the moving image data included in the moving image file linked to the simple homepage is displayed on the liquid crystal display 418.
  • the cellular phone 400 uses the above-described image decoding device 151 as the image decoder 456 that performs such processing. Therefore, the image decoder 456 can improve the encoding efficiency in the intra prediction as in the case of the image decoding device 151.
  • the cellular phone 400 simultaneously converts the digital audio data into an analog audio signal in the audio codec 459 and causes the speaker 417 to output it.
  • audio data included in the moving image file linked to the simple homepage is reproduced.
  • the mobile phone 400 can record (store) the data linked to the received simplified home page or the like in the storage unit 423 via the recording / playback unit 462. .
  • the mobile phone 400 can analyze the two-dimensional code obtained by the CCD camera 416 by the main control unit 450 and acquire information recorded in the two-dimensional code.
  • the mobile phone 400 can communicate with an external device by infrared rays at the infrared communication unit 481.
  • the cellular phone 400 can improve the encoding efficiency by using the image encoding device 51 as the image encoder 453. As a result, the mobile phone 400 can provide encoded data (image data) with high encoding efficiency to other devices.
  • the cellular phone 400 can improve the encoding efficiency by using the image decoding device 151 as the image decoder 456. As a result, the mobile phone 400 can obtain and display a higher-definition decoded image from a moving image file linked to a simple homepage, for example.
  • the cellular phone 400 uses the CCD camera 416, but instead of the CCD camera 416, an image sensor (CMOS image sensor) using CMOS (Complementary Metal Metal Oxide Semiconductor) is used. May be. Also in this case, the mobile phone 400 can capture the subject and generate image data of the subject image, as in the case where the CCD camera 416 is used.
  • CMOS image sensor Complementary Metal Metal Oxide Semiconductor
  • the mobile phone 400 has been described.
  • an imaging function similar to that of the mobile phone 400 such as a PDA (Personal Digital Assistant), a smartphone, an UMPC (Ultra Mobile Personal Computer), a netbook, a notebook personal computer, or the like.
  • the image encoding device 51 and the image decoding device 151 can be applied to any device as long as the device has a communication function as in the case of the mobile phone 400.
  • FIG. 30 is a block diagram showing a main configuration example of a hard disk recorder using the image encoding device and the image decoding device to which the present invention is applied.
  • a hard disk recorder 500 shown in FIG. 30 receives audio data and video data of a broadcast program included in a broadcast wave signal (television signal) transmitted from a satellite or a ground antenna received by a tuner.
  • This is an apparatus for storing in a built-in hard disk and providing the stored data to the user at a timing according to the user's instruction.
  • the hard disk recorder 500 can, for example, extract audio data and video data from broadcast wave signals, decode them as appropriate, and store them in a built-in hard disk.
  • the hard disk recorder 500 can also acquire audio data and video data from other devices via a network, for example, decode them as appropriate, and store them in a built-in hard disk.
  • the hard disk recorder 500 decodes audio data and video data recorded in the built-in hard disk, supplies the decoded data to the monitor 560, and displays the image on the screen of the monitor 560. Further, the hard disk recorder 500 can output the sound from the speaker of the monitor 560.
  • the hard disk recorder 500 decodes, for example, audio data and video data extracted from a broadcast wave signal acquired via a tuner, or audio data and video data acquired from another device via a network, and monitors 560. And the image is displayed on the screen of the monitor 560.
  • the hard disk recorder 500 can also output the sound from the speaker of the monitor 560.
  • the hard disk recorder 500 includes a reception unit 521, a demodulation unit 522, a demultiplexer 523, an audio decoder 524, a video decoder 525, and a recorder control unit 526.
  • the hard disk recorder 500 further includes an EPG data memory 527, a program memory 528, a work memory 529, a display converter 530, an OSD (On Screen Display) control unit 531, a display control unit 532, a recording / playback unit 533, a D / A converter 534, And a communication unit 535.
  • the display converter 530 has a video encoder 541.
  • the recording / playback unit 533 includes an encoder 551 and a decoder 552.
  • the receiving unit 521 receives an infrared signal from a remote controller (not shown), converts it into an electrical signal, and outputs it to the recorder control unit 526.
  • the recorder control unit 526 is constituted by, for example, a microprocessor and executes various processes according to a program stored in the program memory 528. At this time, the recorder control unit 526 uses the work memory 529 as necessary.
  • the communication unit 535 is connected to the network and performs communication processing with other devices via the network.
  • the communication unit 535 is controlled by the recorder control unit 526, communicates with a tuner (not shown), and mainly outputs a channel selection control signal to the tuner.
  • the demodulator 522 demodulates the signal supplied from the tuner and outputs the demodulated signal to the demultiplexer 523.
  • the demultiplexer 523 separates the data supplied from the demodulation unit 522 into audio data, video data, and EPG data, and outputs them to the audio decoder 524, the video decoder 525, or the recorder control unit 526, respectively.
  • the audio decoder 524 decodes the input audio data by, for example, the MPEG system, and outputs it to the recording / playback unit 533.
  • the video decoder 525 decodes the input video data using, for example, the MPEG system, and outputs the decoded video data to the display converter 530.
  • the recorder control unit 526 supplies the input EPG data to the EPG data memory 527 for storage.
  • the display converter 530 encodes the video data supplied from the video decoder 525 or the recorder control unit 526 into video data of, for example, NTSC (National Television Standards Committee) using the video encoder 541 and outputs the video data to the recording / reproducing unit 533.
  • the display converter 530 converts the screen size of the video data supplied from the video decoder 525 or the recorder control unit 526 into a size corresponding to the size of the monitor 560.
  • the display converter 530 further converts the video data whose screen size is converted into NTSC video data by the video encoder 541, converts the video data into an analog signal, and outputs the analog signal to the display control unit 532.
  • the display control unit 532 superimposes the OSD signal output from the OSD (On Screen Display) control unit 531 on the video signal input from the display converter 530 under the control of the recorder control unit 526 and displays the OSD signal on the display of the monitor 560. Output and display.
  • OSD On Screen Display
  • the monitor 560 is also supplied with the audio data output from the audio decoder 524 after being converted into an analog signal by the D / A converter 534.
  • the monitor 560 outputs this audio signal from a built-in speaker.
  • the recording / playback unit 533 has a hard disk as a storage medium for recording video data, audio data, and the like.
  • the recording / playback unit 533 encodes the audio data supplied from the audio decoder 524 by the encoder 551 in the MPEG system. Further, the recording / reproducing unit 533 encodes the video data supplied from the video encoder 541 of the display converter 530 by the MPEG method using the encoder 551. The recording / playback unit 533 combines the encoded data of the audio data and the encoded data of the video data by a multiplexer. The recording / reproducing unit 533 amplifies the synthesized data by channel coding, and writes the data to the hard disk via the recording head.
  • the recording / playback unit 533 plays back the data recorded on the hard disk via the playback head, amplifies it, and separates it into audio data and video data by a demultiplexer.
  • the recording / playback unit 533 uses the decoder 552 to decode the audio data and video data using the MPEG system.
  • the recording / playback unit 533 performs D / A conversion on the decoded audio data and outputs it to the speaker of the monitor 560.
  • the recording / playback unit 533 performs D / A conversion on the decoded video data and outputs it to the display of the monitor 560.
  • the recorder control unit 526 reads the latest EPG data from the EPG data memory 527 based on the user instruction indicated by the infrared signal from the remote controller received via the receiving unit 521, and supplies it to the OSD control unit 531. To do.
  • the OSD control unit 531 generates image data corresponding to the input EPG data, and outputs the image data to the display control unit 532.
  • the display control unit 532 outputs the video data input from the OSD control unit 531 to the display of the monitor 560 for display. As a result, an EPG (electronic program guide) is displayed on the display of the monitor 560.
  • the hard disk recorder 500 can acquire various data such as video data, audio data, or EPG data supplied from other devices via a network such as the Internet.
  • the communication unit 535 is controlled by the recorder control unit 526, acquires encoded data such as video data, audio data, and EPG data transmitted from another device via the network, and supplies it to the recorder control unit 526. To do.
  • the recorder control unit 526 supplies the encoded data of the acquired video data and audio data to the recording / reproducing unit 533 and stores the data in the hard disk.
  • the recorder control unit 526 and the recording / playback unit 533 may perform processing such as re-encoding as necessary.
  • the recorder control unit 526 decodes the acquired encoded data of video data and audio data, and supplies the obtained video data to the display converter 530.
  • the display converter 530 processes the video data supplied from the recorder control unit 526 in the same manner as the video data supplied from the video decoder 525, supplies the processed video data to the monitor 560 via the display control unit 532, and displays the image. .
  • the recorder control unit 526 may supply the decoded audio data to the monitor 560 via the D / A converter 534 and output the sound from the speaker.
  • the recorder control unit 526 decodes the encoded data of the acquired EPG data, and supplies the decoded EPG data to the EPG data memory 527.
  • the hard disk recorder 500 as described above uses the image decoding device 151 as a decoder incorporated in the video decoder 525, the decoder 552, and the recorder control unit 526. Therefore, the decoder incorporated in the video decoder 525, the decoder 552, and the recorder control unit 526 can improve the encoding efficiency in the intra prediction as in the case of the image decoding device 151.
  • the hard disk recorder 500 can generate a predicted image with high accuracy.
  • the hard disk recorder 500 acquires, for example, encoded data of video data received via a tuner, encoded data of video data read from the hard disk of the recording / playback unit 533, or via a network. From the encoded data of the video data, a higher-definition decoded image can be obtained and displayed on the monitor 560.
  • the hard disk recorder 500 uses the image encoding device 51 as the encoder 551. Therefore, the encoder 551 can improve the encoding efficiency in the intra prediction as in the case of the image encoding device 51.
  • the hard disk recorder 500 can improve the encoding efficiency of the encoded data recorded on the hard disk, for example. As a result, the hard disk recorder 500 can use the storage area of the hard disk more efficiently.
  • the hard disk recorder 500 that records video data and audio data on the hard disk has been described.
  • any recording medium may be used.
  • the image encoding device 51 and the image decoding device 151 are applied as in the case of the hard disk recorder 500 described above. Can do.
  • FIG. 31 is a block diagram illustrating a main configuration example of a camera using an image decoding device and an image encoding device to which the present invention has been applied.
  • the camera 600 shown in FIG. 31 captures a subject, displays an image of the subject on the LCD 616, and records it on the recording medium 633 as image data.
  • the lens block 611 causes light (that is, an image of the subject) to enter the CCD / CMOS 612.
  • the CCD / CMOS 612 is an image sensor using CCD or CMOS, converts the intensity of received light into an electric signal, and supplies it to the camera signal processing unit 613.
  • the camera signal processing unit 613 converts the electrical signal supplied from the CCD / CMOS 612 into Y, Cr, and Cb color difference signals and supplies them to the image signal processing unit 614.
  • the image signal processing unit 614 performs predetermined image processing on the image signal supplied from the camera signal processing unit 613 under the control of the controller 621, and encodes the image signal by the encoder 641 using, for example, the MPEG method. To do.
  • the image signal processing unit 614 supplies encoded data generated by encoding the image signal to the decoder 615. Further, the image signal processing unit 614 acquires display data generated in the on-screen display (OSD) 620 and supplies it to the decoder 615.
  • OSD on-screen display
  • the camera signal processing unit 613 appropriately uses DRAM (Dynamic Random Access Memory) 618 connected via the bus 617, and image data or a code obtained by encoding the image data as necessary.
  • DRAM Dynamic Random Access Memory
  • the digitized data is held in the DRAM 618.
  • the decoder 615 decodes the encoded data supplied from the image signal processing unit 614 and supplies the obtained image data (decoded image data) to the LCD 616. In addition, the decoder 615 supplies the display data supplied from the image signal processing unit 614 to the LCD 616. The LCD 616 appropriately synthesizes the image of the decoded image data supplied from the decoder 615 and the image of the display data, and displays the synthesized image.
  • the on-screen display 620 outputs display data such as menu screens and icons composed of symbols, characters, or figures to the image signal processing unit 614 via the bus 617 under the control of the controller 621.
  • the controller 621 executes various processes based on a signal indicating the content instructed by the user using the operation unit 622, and also via the bus 617, an image signal processing unit 614, a DRAM 618, an external interface 619, an on-screen display. 620, media drive 623, and the like are controlled.
  • the FLASH ROM 624 stores programs and data necessary for the controller 621 to execute various processes.
  • the controller 621 can encode the image data stored in the DRAM 618 or decode the encoded data stored in the DRAM 618 instead of the image signal processing unit 614 or the decoder 615.
  • the controller 621 may perform the encoding / decoding process by a method similar to the encoding / decoding method of the image signal processing unit 614 or the decoder 615, or the image signal processing unit 614 or the decoder 615 can handle this.
  • the encoding / decoding process may be performed by a method that is not performed.
  • the controller 621 reads image data from the DRAM 618 and supplies it to the printer 634 connected to the external interface 619 via the bus 617. Let it print.
  • the controller 621 reads the encoded data from the DRAM 618 and supplies it to the recording medium 633 attached to the media drive 623 via the bus 617.
  • the recording medium 633 is an arbitrary readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory.
  • the recording medium 633 may be of any type as a removable medium, and may be a tape device, a disk, or a memory card.
  • a non-contact IC card or the like may be used.
  • media drive 623 and the recording medium 633 may be integrated and configured by a non-portable storage medium such as a built-in hard disk drive or SSD (Solid State Drive).
  • SSD Solid State Drive
  • the external interface 619 includes, for example, a USB input / output terminal and is connected to the printer 634 when printing an image.
  • a drive 631 is connected to the external interface 619 as necessary, and a removable medium 632 such as a magnetic disk, an optical disk, or a magneto-optical disk is appropriately mounted, and a computer program read from them is loaded as necessary. Installed in the FLASH ROM 624.
  • the external interface 619 has a network interface connected to a predetermined network such as a LAN or the Internet.
  • the controller 621 can read the encoded data from the DRAM 618 in accordance with an instruction from the operation unit 622 and supply the encoded data from the external interface 619 to another device connected via the network. Also, the controller 621 acquires encoded data and image data supplied from other devices via the network via the external interface 619 and holds them in the DRAM 618 or supplies them to the image signal processing unit 614. Can be.
  • the camera 600 as described above uses the image decoding device 151 as the decoder 615. Therefore, the decoder 615 can improve the encoding efficiency in the intra prediction as in the case of the image decoding device 151.
  • the camera 600 can generate a predicted image with high accuracy.
  • the camera 600 encodes, for example, image data generated in the CCD / CMOS 612, encoded data of video data read from the DRAM 618 or the recording medium 633, and encoded video data acquired via the network.
  • a higher-resolution decoded image can be obtained from the data and displayed on the LCD 616.
  • the camera 600 uses the image encoding device 51 as the encoder 641. Therefore, the encoder 641 can improve the encoding efficiency in the intra prediction, as in the case of the image encoding device 51.
  • the camera 600 can improve the encoding efficiency of the encoded data recorded on the hard disk. As a result, the camera 600 can use the storage area of the DRAM 618 and the recording medium 633 more efficiently.
  • the decoding method of the image decoding device 151 may be applied to the decoding process performed by the controller 621.
  • the encoding method of the image encoding device 51 may be applied to the encoding process performed by the controller 621.
  • the image data captured by the camera 600 may be a moving image or a still image.
  • the image encoding device 51 and the image decoding device 151 can also be applied to devices and systems other than the devices described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、イントラ予測における符号化効率を向上させることができるようにする画像処理装置および方法に関する。 スプラインパラメータ生成部９２は、ラインバッファ７４からのＮライン分の隣接画素値を用いて、Ｎ次の連立方程式を解くことで、イントラ予測のためのＮ－１次の多項式のＮ個のスプラインパラメータを算出する。予測画像生成部８２は、Ｎ－１次の多項式に、スプラインパラメータ生成部９２により求められたＮ個のスプラインパラメータを用いて、予測画像を生成する。本発明は、例えば、H．264/AVC方式をベースに符号化する画像符号化装置に適用することができる。

Description

画像処理装置および方法
　本発明は画像処理装置および方法に関し、特に、ブロックサイズが大きい場合にも、イントラ予測における符号化効率を向上させることができるようにした画像処理装置および方法に関する。
　近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。
　特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。
　MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
　さらに、近年、当初テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、2003年3月にはH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）という国際標準となっている。
　さらに、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了している。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。
　しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したいといった、更なる高圧縮率符号化に対するニーズが高まっている。あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEG (=Video Coding Expert Group) において、符号化効率の改善に関する検討が継続され行なわれている。
　ここで、H．264/AVC方式が、従来のMPEG2方式などに比して高い符号化効率を実現する要因の１つとして、イントラ予測方式の採用が挙げられる。
　イントラ予測方式において、輝度信号については、９種類の４×４画素および８×８画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位のイントラ予測モードが定められている。色差信号については、４種類の８×８画素のブロック単位のイントラ予測モードが定められている。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。
　また、H．264/AVC方式において、マクロブロックサイズは１６×１６画素である。しかしながら、マクロブロックサイズを１６×１６画素とするのは、次世代符号化方式の対象となるようなUHD(Ultra High Definition;4000×2000画素)といった大きな画枠に対しては最適ではない。
　そこで、非特許文献１などにおいては、マクロブロックサイズを、例えば、３２×３２画素といった大きさに拡張することも提案されている。
　なお、非特許文献１は、インタースライスに対して拡張されたマクロブロックを適用する提案であるが、非特許文献２には、拡張されたマクロブロックを、イントラスライスに適用することが提案されている。
"Video Coding Using Extended Block Sizes",VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUP Question 16 - Contribution 123, Jan 2009 "Intra Coding Using Extended Block Sizes",VCEG-AL28, July 2009
　ところで、図１を参照して、当該ブロックが４×４画素と８×８画素の場合のイントラ予測モードの１つであるVertical Predictionについて考える。図１のＡには、当該ブロックが４×４画素の場合が示されており、図１のＢには、当該ブロックが８×８画素の場合が示されている。図１のＡおよび図１のＢにおける丸は画素を表しており、白丸は当該ブロック内の画素、斜線の丸は、予測に用いる画素を表している。また、丸の中のアルファベットは、各画素の画素値を表している。
　当該ブロックが４×４画素の場合、図１のＡに示されるように、画素値a乃至dの画素に対する予測値として、画素値Aが用いられる。また、当該ブロックが８×８画素の場合、図１のＢに示されるように、画素値a乃至hの画素に対する予測値として、画素値Aが用いられる。
　つまり、イントラ予測の単位となるブロックサイズがより大きなものになるほど、より遠くに存在する相関の低いかもしれない画素を予測する必要があることになる。すなわち、一般に、ブロックサイズが大きくなるほど、イントラ予測の効率は低下してしまう恐れがある。
　このことは、特に、非特許文献２で提案されているような拡張されたマクロブロックに対するイントラ予測を行う際にも同様に言える。
　本発明は、このような状況に鑑みてなされたものであり、イントラ予測における符号化効率を向上させるものである。
　本発明の第１の側面の画像処理装置は、対象ブロックの複数ラインの隣接画素を受け取る受け取り手段と、前記受け取り手段により受け取られた前記複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことで、前記対象ブロックのイントラ予測画素値を生成するイントラ予測手段と、生成された前記対象ブロックのイントラ予測画素値に基づいて、前記対象ブロックの画像を符号化する符号化手段とを備える。
　前記イントラ予測手段は、前記複数ラインの隣接画素を用いて多項式近似によって補間パラメータを算出するパラメータ算出手段と、前記パラメータ算出手段により算出された前記補間パラメータを用いて、前記対象ブロックのイントラ予測画素値を生成する予測画像生成手段とを備えることができる。
　前記イントラ予測手段は、前記受け取り手段により受け取られたＮ（Ｎ＜１）ラインの隣接画素を用いる際、Ｎ－１次の多項式近似による外挿処理を行うことができる。
　前記パラメータ算出手段は、前記Ｎラインの隣接画素を用い、Ｎ次の連立方程式を解くことで、前記Ｎ－１次の多項式のＮ個の定数を算出し、前記予測画像生成手段は、前記パラメータ算出手段により算出された前記Ｎ個の定数を用いた前記Ｎ－１次の多項式により、前記対象ブロックのイントラ予測画素値を生成することができる。
　前記予測画像生成手段は、入力信号がＮビットの画像信号である場合、生成された前記イントラ予測画素値を、0～2N-1の範囲の値にクリップすることができる。
　前記イントラ予測手段は、前記受け取り手段により受け取られた前記Ｎラインの隣接画素に、物体境界が含まれるか否かを検出した検出結果に応じた次数の多項式近似による外挿処理を行うことができる。
　前記イントラ予測手段は、隣接画素における画素間の差分情報により、前記物体境界であるか否かを判定することができる。
　前記イントラ予測手段は、量子化パラメータに応じて定められる閾値を用いて、隣接画素における画素間の差分情報により、前記物体境界であるか否かを判定することができる。
　前記閾値は、より大きな量子化パラメータに対してより大きく設定される。
　前記イントラ予測手段は、前記対象ブロックのブロックサイズの大きさに応じた数の前記複数ラインの隣接画素を用いることができる。
　本発明の第１の側面の画像処理方法は、画像処理装置の受け取り手段が、対象ブロックの複数ラインの隣接画素を受け取り、前記画像処理装置のイントラ予測手段が、受け取られた前記対象ブロックの複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことで、前記対象ブロックのイントラ予測画素値を生成し、前記画像処理装置の符号化手段が、生成された前記対象ブロックのイントラ予測画素値に基づいて、前記対象ブロックの画像を符号化する。
　本発明の第１の側面においては、対象ブロックの複数ラインの隣接画素が受け取られ、受け取られた前記対象ブロックの複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことで、前記対象ブロックのイントラ予測画素値が生成され、生成された前記対象ブロックのイントラ予測画素値に基づいて、前記対象ブロックの画像が符号化される。
　本発明の第２の側面の画像処理装置は、対象ブロックの画像が符号化された符号化情報を復号してイントラ予測モードを取得する復号手段と、前記イントラ予測モードに応じた前記対象ブロックの複数ラインの隣接画素を受け取る受け取り手段と、前記受け取り手段により受け取られた前記複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことで、前記対象ブロックのイントラ予測画素値を生成するイントラ予測手段とを備える。
　本発明の第２の側面の画像処理方法は、画像処理装置の復号手段が、対象ブロックの画像が符号化された符号化情報を復号してイントラ予測モードを取得し、前記画像処理装置の受け取り手段が、前記イントラ予測モードに応じた前記対象ブロックの複数ラインの隣接画素を受け取り、前記画像処理装置のイントラ予測手段が、受け取られた前記対象ブロックの複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことで、前記対象ブロックのイントラ予測画素値を生成する。
　本発明の第２の側面においては、対象ブロックの画像が符号化された符号化情報が復号されてイントラ予測モードが取得され、前記イントラ予測モードに応じた前記対象ブロックの複数ラインの隣接画素が受け取られ、受け取られた前記複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことで、前記対象ブロックのイントラ予測画素値が生成される。
　なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
　本発明によれば、イントラ予測における符号化効率を向上させることができる。本発明によれば、特に、大きなブロックサイズのイントラ予測における符号化効率を向上させることができる。
従来のイントラ予測について説明する図である。 本発明を適用した画像符号化装置の一実施の形態の構成を示すブロック図である。 １６×１６画素のイントラ予測モードの場合の処理順序を説明する図である。 輝度信号の４×４画素のイントラ予測モードの種類を示す図である。 輝度信号の４×４画素のイントラ予測モードの種類を示す図である。 ４×４画素のイントラ予測の方向を説明する図である。 ４×４画素のイントラ予測を説明する図である。 輝度信号の４×４画素のイントラ予測モードの符号化を説明する図である。 輝度信号の８×８画素のイントラ予測モードの種類を示す図である。 輝度信号の８×８画素のイントラ予測モードの種類を示す図である。 輝度信号の１６×１６画素のイントラ予測モードの種類を示す図である。 輝度信号の１６×１６画素のイントラ予測モードの種類を示す図である。 １６×１６画素のイントラ予測を説明する図である。 色差信号のイントラ予測モードの種類を示す図である。 図２の画像符号化装置５１におけるイントラ予測について説明する図である。 多項式の次数の決定方法について説明する図である。 マクロブロックの例を示す図である。 図２のイントラ予測部およびスプライン補間部の構成例を示すブロック図である。 図２の画像符号化装置の符号化処理を説明するフローチャートである。 図１９のステップＳ２１のイントラ予測処理を説明するフローチャートである。 図１９のステップＳ２２のインター動き予測処理を説明するフローチャートである。 図２の画像符号化装置の多項式近似の次数の決定処理を説明するフローチャートである。 本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。 図２３のイントラ予測部およびスプライン補間部の構成例を示すブロック図である。 図２３の画像復号装置の復号処理を説明するフローチャートである。 図２５のステップＳ１３８の予測処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。 本発明を適用した携帯電話機の主な構成例を示すブロック図である。 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。 本発明を適用したカメラの主な構成例を示すブロック図である。 HEVC符号化方式のCoding Unitを説明する図である。
　以下、図を参照して本発明の実施の形態について説明する。
［画像符号化装置の構成例］
　図２は、本発明を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
　この画像符号化装置５１は、例えば、H．264及びMPEG-4 Part10（Advanced Video Coding）（以下H．264/AVCと記す）方式をベースとした符号化方式で、画像を圧縮符号化する。
　図２の例において、画像符号化装置５１は、A/D変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、イントラ予測部７３、ラインバッファ７４、スプライン補間部７５、動き予測・補償部７６、予測画像選択部７７、およびレート制御部７８により構成されている。
　A/D変換部６１は、入力された画像をA/D変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。
　演算部６３は、画面並べ替えバッファ６２から読み出された画像から、予測画像選択部７７により選択されたイントラ予測部７３からの予測画像または動き予測・補償部７６からの予測画像を減算し、その差分情報を直交変換部６４に出力する。直交変換部６４は、演算部６３からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部６５は直交変換部６４が出力する変換係数を量子化する。
　量子化部６５の出力となる、量子化された変換係数は、可逆符号化部６６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施され、圧縮される。
　可逆符号化部６６は、イントラ予測を示す情報などをイントラ予測部７３から取得し、インター予測モードを示す情報などを動き予測・補償部７６から取得する。なお、イントラ予測を示す情報は、以下、イントラ予測モード情報とも称する。また、インター予測を示す情報モードを示す情報は、以下、インター予測モード情報とも称する。
　可逆符号化部６６は、量子化された変換係数を符号化するとともに、イントラ予測を示す情報やインター予測モードを示す情報、および量子化パラメータなどを符号化し、圧縮画像におけるヘッダ情報の一部とする。可逆符号化部６６は、符号化したデータを蓄積バッファ６７に供給して蓄積させる。
　例えば、可逆符号化部６６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
　蓄積バッファ６７は、可逆符号化部６６から供給されたデータを、H．264/AVC方式で符号化された圧縮画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
　また、量子化部６５より出力された、量子化された変換係数は、逆量子化部６８にも入力され、逆量子化された後、さらに逆直交変換部６９において逆直交変換される。逆直交変換された出力は演算部７０により予測画像選択部７７から供給される予測画像と加算されて、局部的に復号された画像となる。デブロックフィルタ７１は、復号された画像のブロック歪を除去した後、フレームメモリ７２に供給し、蓄積させる。フレームメモリ７２には、デブロックフィルタ７１によりデブロックフィルタ処理される前の画像も供給され、蓄積される。
　この画像符号化装置５１においては、例えば、画面並べ替えバッファ６２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測（イントラ処理とも称する）する画像として、イントラ予測部７３に供給される。また、画面並べ替えバッファ６２から読み出されたＢピクチャおよびＰピクチャが、インター予測（インター処理とも称する）する画像として、動き予測・補償部７６に供給される。
　イントラ予測部７３は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像について、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。
　その際、イントラ予測部７３は、スプライン補間部７５とともに、ラインバッファ７４に格納された複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことで、対象ブロックのイントラ予測画素値を生成する。
　すなわち、イントラ予測部７３は、候補となるイントラ予測モードの情報を、スプライン補間部７５に供給する。スプライン補間部７５からは、イントラ予測モードに応じた隣接画素値を用いてイントラ予測のための、隣接画素と対象ブロックの画素を近似する多項式のパラメータ（補間パラメータ）が供給される。イントラ予測部７３は、スプライン補間部７５からのパラメータを用いた多項式により、候補となるイントラ予測モードのイントラ予測画像を生成する。
　イントラ予測部７３は、予測画像を生成したイントラ予測モードに対してコスト関数値を算出し、算出したコスト関数値が最小値を与えるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部７３は、最適イントラ予測モードで生成された予測画像と、対応する最適イントラ予測モードについて算出されたコスト関数値を、予測画像選択部７７に供給する。
　イントラ予測部７３は、予測画像選択部７７により最適イントラ予測モードで生成された予測画像が選択された場合、最適イントラ予測モードを示す情報を、可逆符号化部６６に供給する。可逆符号化部６６は、イントラ予測部７３から情報が送られてきた場合には、この情報を符号化し、圧縮画像におけるヘッダ情報の一部とする。
　ラインバッファ７４は、フレームメモリ７２から参照画像の画素値を蓄積している。ラインバッファ７４には、スプライン補間部７５からイントラ予測モードに応じた隣接画素のアドレスが供給される。ラインバッファ７４は、そのアドレスに対応した隣接画素の画素値をスプライン補間部７５に供給する。
　スプライン補間部７５は、イントラ予測部７３からのイントラ予測モードに応じた隣接画素のアドレスに対応してラインバッファ７４から供給される隣接画素値を用いて、イントラ予測のための多項式の補間パラメータを多項式近似により算出し、算出した補間パラメータを、イントラ予測部７３に供給する。
　動き予測・補償部７６は、候補となる全てのインター予測モードの動き予測・補償処理を行う。すなわち、動き予測・補償部７６には、画面並べ替えバッファ６２から読み出されたインター処理する画像と、フレームメモリ７２から参照画像が供給される。動き予測・補償部７６は、インター処理する画像と参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出し、動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
　また、動き予測・補償部７６は、候補となる全てのインター予測モードに対してコスト関数値を算出する。動き予測・補償部７６は、算出したコスト関数値のうち、最小値を与える予測モードを、最適インター予測モードとして決定する。
　動き予測・補償部７６は、最適インター予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７７に供給する。動き予測・補償部７６は、予測画像選択部７７により最適インター予測モードで生成された予測画像が選択された場合、最適インター予測モードを示す情報（インター予測モード情報）を可逆符号化部６６に出力する。
　なお、必要であれば、動きベクトル情報、フラグ情報、参照フレーム情報なども可逆符号化部６６に出力される。可逆符号化部６６は、動き予測・補償部７６からの情報をやはり可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。
　予測画像選択部７７は、イントラ予測部７３または動き予測・補償部７６より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部７７は、決定された最適予測モードの予測画像を選択し、演算部６３，７０に供給する。このとき、予測画像選択部７７は、予測画像の選択情報を、イントラ予測部７３または動き予測・補償部７６に供給する。
　レート制御部７８は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化パラメータにより、量子化部６５の量子化動作のレートを制御する。
［H．264/AVC方式におけるイントラ予測処理の説明］
　はじめに、H．264/AVC方式で定められているイントラ予測の各モードについて説明する。
　まず、輝度信号に対するイントラ予測モードについて説明する。輝度信号のイントラ予測モードには、イントラ４×４予測モード、イントラ８×８予測モード、およびイントラ１６×１６予測モードの３通りの方式が定められている。これは、ブロック単位を定めるモードであり、マクロブロック毎に設定される。また、色差信号に対しては、マクロブロック毎に輝度信号とは独立したイントラ予測モードを設定することが可能である。
　さらに、イントラ４×４予測モードの場合、４×４画素の対象ブロック毎に、９種類の予測モードから１つの予測モードを設定することができる。イントラ８×８予測モードの場合、８×８画素の対象ブロック毎に、９種類の予測モードから１つの予測モードを設定することができる。また、イントラ１６×１６予測モードの場合、１６×１６画素の対象マクロブロックに対して、４種類の予測モードから１つの予測モードを設定することができる。
　なお、以下、イントラ４×４予測モード、イントラ８×８予測モード、およびイントラ１６×１６予測モードは、それぞれ、４×４画素のイントラ予測モード、８×８画素のイントラ予測モード、および１６×１６画素のイントラ予測モードとも適宜称する。
　図３の例において、各ブロックに付されている数字－１乃至２５は、その各ブロックのビットストリーム順（復号側における処理順）を表している。なお、輝度信号については、マクロブロックが４×４画素に分割されて、４×４画素のＤＣＴが行われる。そして、イントラ１６×１６予測モードの場合のみ、－１のブロックに示されるように、各ブロックの直流成分を集めて、４×４行列が生成され、これに対して、さらに、直交変換が施される。
　一方、色差信号については、マクロブロックが４×４画素に分割され、４×４画素のＤＣＴが行われた後に、１６および１７の各ブロックに示されるように、各ブロックの直流成分を集めて、２×２行列が生成され、これに対して、さらに、直交変換が施される。
　なお、このことは、イントラ８×８予測モードに関しては、ハイプロファイルまたはそれ以上のプロファイルで、対象マクロブロックに、８×８直交変換が施される場合についてのみ適用可能である。
　図４および図５は、９種類の輝度信号の４×４画素のイントラ予測モード(Intra_4x4_pred_mode)を示す図である。平均値（ＤＣ）予測を示すモード２以外の８種類の各モードは、それぞれ、図６の番号０，１，３乃至８で示される方向に対応している。
　９種類のIntra_4x4_pred_modeについて、図７を参照して説明する。図７の例において、画素ａ乃至ｐは、イントラ処理される対象ブロックの画素を表し、画素値Ａ乃至Ｍは、隣接ブロックに属する画素の画素値を表している。すなわち、画素ａ乃至ｐは、画面並べ替えバッファ６２から読み出された処理対象の画像であり、画素値Ａ乃至Ｍは、フレームメモリ７２から読み出され、参照される復号済みの画像の画素値である。
　図４および図５に示す各イントラ予測モードの場合、画素ａ乃至ｐの予測画素値は、隣接ブロックに属する画素の画素値Ａ乃至Ｍを用いて、以下のように生成される。なお、画素値が“available”であるとは、画枠の端であったり、あるいは、まだ符号化されていないなどの理由がなく、利用可能であることを表す。これに対して、画素値が“unavailable”であるとは、画枠の端であったり、あるいは、まだ符号化されていないなどの理由により利用可能ではないことを表す。
　モード０はVertical Prediction modeであり、画素値Ａ乃至Ｄが “available” の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１）のように生成される。

　画素ａ, ｅ, ｉ, ｍの予測画素値　＝　Ａ
　画素ｂ, ｆ, ｊ, ｎの予測画素値　＝　Ｂ
　画素ｃ, ｇ, ｋ, ｏの予測画素値　＝　Ｃ
　画素ｄ, ｈ, ｌ, ｐの予測画素値　＝　Ｄ　　　　　　　・・・（１）
　モード１はHorizontal Prediction modeであり、画素値Ｉ乃至Ｌが “available” の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（２）のように生成される。

　画素ａ, ｂ, ｃ, ｄの予測画素値　＝　Ｉ
　画素ｅ, ｆ, ｇ, ｈの予測画素値　＝　Ｊ
　画素ｉ, ｊ, ｋ, ｌの予測画素値　＝　Ｋ
　画素ｍ, ｎ, ｏ, ｐの予測画素値　＝　Ｌ　　　　　　　・・・（２）
　モード２はDC Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌが全て “available” である時、予測画素値は式（３）のように生成される。

　（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｉ＋Ｊ＋Ｋ＋Ｌ＋４）　＞＞　３　　・・・（３）
　また、画素値Ａ,Ｂ,Ｃ,Ｄが全て “unavailable” である時、予測画素値は式（４）のように生成される。

　（Ｉ＋Ｊ＋Ｋ＋Ｌ＋２）　＞＞　２　　　　　　　　　　・・・（４）
　また、画素値Ｉ,Ｊ,Ｋ,Ｌが全て “unavailable” である時、予測画素値は式（５）のように生成される。

　（Ａ＋Ｂ＋Ｃ＋Ｄ＋２）　＞＞　２　　　　　　　　　　・・・（５）
　なお、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌが全て“unavailable” である時、１２８を予測画素値として用いる。
　モード３はDiagonal_Down_Left Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（６）のように生成される。

画素ａの予測画素値　　　　　　＝　（Ａ＋２Ｂ＋Ｃ＋２）　＞＞　２
画素ｂ，ｅの予測画素値　　　　＝　（Ｂ＋２Ｃ＋Ｄ＋２）　＞＞　２
画素ｃ，ｆ，ｉの予測画素値　　＝　（Ｃ＋２Ｄ＋Ｅ＋２）　＞＞　２
画素ｄ，ｇ，ｊ，ｍの予測画素値＝　（Ｄ＋２Ｅ＋Ｆ＋２）　＞＞　２
画素ｈ，ｋ，ｎの予測画素値　　＝　（Ｅ＋２Ｆ＋Ｇ＋２）　＞＞　２
画素ｌ，ｏの予測画素値　　　　＝　（Ｆ＋２Ｇ＋Ｈ＋２）　＞＞　２
画素ｐの予測画素値　　　　　　＝　（Ｇ＋３Ｈ＋２）　　　＞＞　２
　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　モード４はDiagonal_Down_Right Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが “available” の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（７）のように生成される。

画素ｍの予測画素値　　　　　　＝　（Ｊ＋２Ｋ＋Ｌ＋２）　＞＞　２
画素ｉ，ｎの予測画素値　　　　＝　（Ｉ＋２Ｊ＋Ｋ＋２）　＞＞　２
画素ｅ，ｊ，ｏの予測画素値　　＝　（Ｍ＋２Ｉ＋Ｊ＋２）　＞＞　２
画素ａ，ｆ，ｋ，ｐの予測画素値＝　（Ａ＋２Ｍ＋Ｉ＋２）　＞＞　２
画素ｂ，ｇ，ｌの予測画素値　　＝　（Ｍ＋２Ａ＋Ｂ＋２）　＞＞　２
画素ｃ，ｈの予測画素値　　　　＝　（Ａ＋２Ｂ＋Ｃ＋２）　＞＞　２
画素ｄの予測画素値　　　　　　＝　（Ｂ＋２Ｃ＋Ｄ＋２）　＞＞　２
　　　　　　　　　　　　　　　　　　　　　　　　・・・（７）
　モード５はDiagonal_Vertical_Right Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（８）のように生成される。

　画素ａ，ｊの予測画素値　＝　（Ｍ＋Ａ＋１）　　　　＞＞　１
　画素ｂ，ｋの予測画素値　＝　（Ａ＋Ｂ＋１）　　　　＞＞　１
　画素ｃ，ｌの予測画素値　＝　（Ｂ＋Ｃ＋１）　　　　＞＞　１
　画素ｄの予測画素値　　　＝　（Ｃ＋Ｄ＋１）　　　　＞＞　１
　画素ｅ，ｎの予測画素値　＝　（Ｉ＋２Ｍ＋Ａ＋２）　＞＞　２
　画素ｆ，ｏの予測画素値　＝　（Ｍ＋２Ａ＋Ｂ＋２）　＞＞　２
　画素ｇ，ｐの予測画素値　＝　（Ａ＋２Ｂ＋Ｃ＋２）　＞＞　２
　画素ｈの予測画素値　　　＝　（Ｂ＋２Ｃ＋Ｄ＋２）　＞＞　２
　画素ｉの予測画素値　　　＝　（Ｍ＋２Ｉ＋Ｊ＋２）　＞＞　２
　画素ｍの予測画素値　　　＝　（Ｉ＋２Ｊ＋Ｋ＋２）　＞＞　２
　　　　　　　　　　　　　　　　　　　　　　　　・・・（８）
　モード６はHorizontal_Down Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（９）のように生成される。

　画素ａ，ｇの予測画素値　＝　（Ｍ＋Ｉ＋１）　　　　＞＞　１
　画素ｂ，ｈの予測画素値　＝　（Ｉ＋２Ｍ＋Ａ＋２）　＞＞　２
　画素ｃの予測画素値　　　＝　（Ｍ＋２Ａ＋Ｂ＋２）　＞＞　２
　画素ｄの予測画素値　　　＝　（Ａ＋２Ｂ＋Ｃ＋２）　＞＞　２
　画素ｅ，ｋの予測画素値　＝　（Ｉ＋Ｊ＋１）　　　　＞＞　１
　画素ｆ，ｌの予測画素値　＝　（Ｍ＋２Ｉ＋Ｊ＋２）　＞＞　２
　画素ｉ，ｏの予測画素値　＝　（Ｊ＋Ｋ＋１）　　　　＞＞　１
　画素ｊ，ｐの予測画素値　＝　（Ｉ＋２Ｊ＋Ｋ＋２）　＞＞　２
　画素ｍの予測画素値　　　＝　（Ｋ＋Ｌ＋１）　　　　＞＞　１
　画素ｎの予測画素値　　　＝　（Ｊ＋２Ｋ＋Ｌ＋２）　＞＞　２
　　　　　　　　　　　　　　　　　　　　　　　　・・・（９）
　モード７は、Vertical_Left Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１０）のように生成される。

　画素ａの予測画素値　　　＝　（Ａ＋Ｂ＋１）　　　　＞＞　１
　画素ｂ，ｉの予測画素値　＝　（Ｂ＋Ｃ＋１）　　　　＞＞　１
　画素ｃ，ｊの予測画素値　＝　（Ｃ＋Ｄ＋１）　　　　＞＞　１
　画素ｄ，ｋの予測画素値　＝　（Ｄ＋Ｅ＋１）　　　　＞＞　１
　画素ｌの予測画素値　　　＝　（Ｅ＋Ｆ＋１）　　　　＞＞　１
　画素ｅの予測画素値　　　＝　（Ａ＋２Ｂ＋Ｃ＋２）　＞＞　２
　画素ｆ，ｍの予測画素値　＝　（Ｂ＋２Ｃ＋Ｄ＋２）　＞＞　２
　画素ｇ，ｎの予測画素値　＝　（Ｃ＋２Ｄ＋Ｅ＋２）　＞＞　２
　画素ｈ，ｏの予測画素値　＝　（Ｄ＋２Ｅ＋Ｆ＋２）　＞＞　２
　画素ｐの予測画素値　　　＝　（Ｅ＋２Ｆ＋Ｇ＋２）　＞＞　２
　　　　　　　　　　　　　　　　　　　　　　　・・・（１０）
　モード８は、Horizontal_Up Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１１）のように生成される。

　画素ａの予測画素値　　　＝　（Ｉ＋Ｊ＋１）　　　　＞＞　１
　画素ｂの予測画素値　　　＝　（Ｉ＋２Ｊ＋Ｋ＋２）　＞＞　２
　画素ｃ，ｅの予測画素値　＝　（Ｊ＋Ｋ＋１）　　　　＞＞　１
　画素ｄ，ｆの予測画素値　＝　（Ｊ＋２Ｋ＋Ｌ＋２）　＞＞　２
　画素ｇ，ｉの予測画素値　＝　（Ｋ＋Ｌ＋１）　　　　＞＞　１
　画素ｈ，ｊの予測画素値　＝　（Ｋ＋３Ｌ＋２）　　　＞＞　２
　画素ｋ，ｌ，ｍ，ｎ，ｏ，ｐの予測画素値　＝　Ｌ
　　　　　　　　　　　　　　　　　　　　　　　・・・（１１）
　次に、図８を参照して、輝度信号の４×４画素のイントラ予測モード(Intra_4x4_pred_mode)の符号化方式について説明する。図８の例において、４×４画素からなり、符号化対象となる対象ブロックＣが示されており、対象ブロックＣに隣接する４×４画素からなるブロックＡおよびブロックＢが示されている。
　この場合、対象ブロックＣにおけるIntra_4x4_pred_modeと、ブロックＡおよびブロックＢにおけるIntra_4x4_pred_modeとは高い相関があると考えられる。この相関性を用いて、次のように符号化処理を行うことにより、より高い符号化効率を実現することができる。
　すなわち、図８の例において、ブロックＡおよびブロックＢにおけるIntra_4x4_pred_modeを、それぞれ、Intra_4x4_pred_modeAおよびIntra_4x4_pred_modeBとして、MostProbableModeを次の式（１２）と定義する。

　MostProbableMode=Min(Intra_4x4_pred_modeA, Intra_4x4_pred_modeB)
　　　　　　　　　　　　　　　　　　　　　　　・・・（１２）
　すなわち、ブロックＡおよびブロックＢのうち、より小さなmode_numberを割り当てられている方をMostProbableModeとする。
　ビットストリーム中には、対象ブロックＣに対するパラメータとして、prev_intra4x4_pred_mode_flag[luma4x4BlkIdx] および rem_intra4x4_pred_mode[luma4x4BlkIdx] という２つの値が定義されており、次の式（１３）に示される擬似コードに基づく処理により、復号処理が行われ、対象ブロックＣに対するIntra_4x4_pred_mode、Intra4x4PredMode[luma4x4BlkIdx] の値を得ることができる。
　if(prev_intra4x4_pred_mode_flag[luma4x4BlkIdx])
　　　　　　　Intra4x4PredMode[luma4x4BlkIdx] = MostProbableMode
　else
　　if(rem_intra4x4_pred_mode[luma4x4BlkIdx] < MostProbableMode)
　　　Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx]
    else
　　　Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx] + 1
　　　　　　　　　　　　　　　　　　　　　　　・・・（１３）
　次に、８×８画素のイントラ予測モードについて説明する。図９および図１０は、９種類の輝度信号の８×８画素のイントラ予測モード(Intra_8x8_pred_mode)を示す図である。
　対象の８×８ブロックにおける画素値を、p[x,y](0≦x≦7;0≦y≦7)とし、隣接ブロックの画素値をp[-1,-1],…,p[-1,15],p[-1,0],…,[p-1,7]のように表すものとする。
　８×８画素のイントラ予測モードについては、予測値を生成するに先立ち、隣接画素にローパスフィルタリング処理が施される。ここで、ローパスフィルタリング処理前の画素値を、p[-1,-1],…,p[-1,15],p[-1,0],…p[-1,7]、処理後の画素値をp’[-1,-1],…,p’[-1,15],p’[-1,0],…p’[-1,7]と表すとする。
　まず、p’[0,-1]は、p[-1,-1] が “available” である場合には、次の式（１４）のように算出され、“not available” である場合には、次の式（１５）のように算出される。

　p’[0,-1] = (p[-1,-1] + 2*p[0,-1] + p[1,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　・・・（１４）
　p’[0,-1] = (3*p[0,-1] + p[1,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　・・・（１５）
　p’[x,-1] (x=0,…,7)は、次の式（１６）のように算出される。

　p’[x,-1] = (p[x-1,-1] + 2*p[x,-1] + p[x+1,-1] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１６）
　p’[x,-1] (x=8,…,15)は、p[x,-1] (x=8,…,15) が “available” である場合には、次の式（１７）のように算出される。

　p’[x,-1] = (p[x-1,-1] + 2*p[x,-1] + p[x+1,-1] + 2) >>2
　p’[15,-1] = (p[14,-1] + 3*p[15,-1] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１７）
　p’[-1,-1]は、p[-1,-1]が “available” である場合には、以下のように算出される。すなわち、p’[-1,-1]は、p[0,-1]及びp[-1,0]の双方がavailableである場合には、式（１８）のように算出され、p[-1,0] が “unavailable” である場合には、式（１９）のように算出される。また、p’[-1,-1]は、p[0,-1] が “unavailable” である場合には、式（２０）のように算出される。

　p’[-1,-1] = (p[0,-1] + 2*p[-1,-1] + p[-1,0] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１８）
　p’[-1,-1] = (3*p[-1,-1] + p[0,-1] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１９）
　p’[-1,-1] = (3*p[-1,-1] + p[-1,0] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２０）
　p’[-1,y] (y=0, … ,7) は、p[-1,y] (y=0, … ,7) が “available” の時、以下のように算出される。すなわち、まず、p’[-1,0]は、p[-1,-1]が “available” である場合には、次の式（２１）のように算出され、“unavailable” である場合には、式（２２）のように算出される。

　p’[-1,0] = (p[-1,-1] + 2*p[-1,0] + p[-1,1] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２１）
　p’[-1,0] = (3*p[-1,0] + p[-1,1] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２２）
　また、p’[-1,y] (y=1,…,6)は、次の式（２３）のように算出され、p’[-1,7]は、式（２４）のように算出される。

　p[-1,y] = (p[-1,y-1] + 2*p[-1,y] + p[-1,y+1] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２３）
　p’[-1,7] = (p[-1,6] + 3*p[-1,7] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２４）
　このように算出されたp’を用いて、図９および図１０に示される各イントラ予測モードにおける予測値は以下のように生成される。
　モード０はVertical Prediction modeであり、p[x,-1] (x=0, … ,7) が “available” である時のみ適用される。予測値pred8x8L[x,y]は、次の式（２５）のように生成される。

　pred8x8L[x,y] = p’[x,-1] x,y=0,...,7
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２５）
　モード１はHorizontal Prediction modeであり、p[-1,y] (y=0, … ,7) が “available” である時のみ適用される。予測値pred8x8L[x,y]は、次の式（２６）のように生成される。

　pred8x8L[x,y] = p’[-1,y] x,y=0,...,7
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２６）
　モード２はDC Prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、p[x,-1] (x=0, … ,7) および p[-1,y] (y=0, … ,7) の両方が “available” である場合には、予測値pred8x8L[x,y]は、次の式（２７）のように生成される。

Figure JPOXMLDOC01-appb-M000001
　p[x,-1] (x=0, … ,7) は “available” であるが、 p[-1,y] (y=0, … ,7) が “unavailable” である場合には、予測値pred8x8L[x,y]は、次の式（２８）のように生成される。

Figure JPOXMLDOC01-appb-M000002
　p[x,-1] (x=0, … ,7) は “unavailable” であるが、 p[-1,y] (y=0, … ,7) が “available” である場合には、予測値pred8x8L[x,y]は、次の式（２９）のように生成される。

Figure JPOXMLDOC01-appb-M000003
　p[x,-1] (x=0, … ,7) および p[-1,y] (y=0, … ,7) の両方が “unavailable” である場合には、予測値pred8x8L[x,y]は、次の式（３０）のように生成される。

　pred8x8L[x,y] = 128
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３０）
　　ただし、式（３０）は、8ビット入力の場合を表している。
　モード３はDiagonal_Down_Left_prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、Diagonal_Down_Left_prediction modeは、p[x,-1], x=0,…,15が “available” の時のみ適用され、x=7かつy=7である予測画素値は、次の式（３１）のように生成され、その他の予測画素値は、次の式（３２）のように生成される。

　pred8x8L[x,y] = (p’[14,-1] + 3*p[15,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３１）
　red8x8L[x,y] = (p’[x+y,-1] + 2*p’[x+y+1,-1] + p’[x+y+2,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３２）
　モード４はDiagonal_Down_Right_prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、Diagonal_Down_Right_prediction modeは、p[x,-1],x=0,…,7及びp[-1,y],y=0,…,7が “available”の時のみ適用され、x > y である予測画素値は、次の式（３３）のように生成され、x < y である予測画素値は、次の式（３４）のように生成される。また、x = y である予測画素値は、次の式（３５）のように生成される。

　pred8x8L[x,y] = (p’[x-y-2,-1] + 2*p’[x-y-1,-1] + p’[x-y,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３３）
　pred8x8L[x,y] = (p’[-1,y-x-2] + 2*p’[-1,y-x-1] + p’[-1,y-x] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３４）
　pred8x8L[x,y] = (p’[0,-1] + 2*p’[-1,-1] + p’[-1,0] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３５）
　モード５はVertical_Right_prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、Vertical_Right_prediction modeは、p[x,-1],x=0,…,7及びp[-1,y],y=-1,…,7が “available”の時のみ適用される。今、zVRを、次の式（３６）のよ
うに定義する。

　zVR = 2*x - y
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３６）
　この時、zVRが、0,2,4,6,8,10,12,14の場合には、画素予測値は、次の式（３７）のように生成され、zVRが1,3,5,7,9,11,13の場合には、画素予測値は、次の式（３８）のように生成される。

　pred8x8L[x,y] = (p’[x-(y>>1)-1,-1] + p’[x-(y>>1),-1] + 1) >> 1
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３７）
　pred8x8L[x,y]
　　　　　= (p’[x-(y>>1)-2,-1] + 2*p’[x-(y>>1)-1,-1] + p’[x-(y>>1),-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３８）
　また、zVRが-1の場合には、画素予測値は、次の式（３９）のように生成され、これ以外の場合、すなわち、zVRが-2,-3,-4,-5,-6,-7の場合には、画素予測値は、次の式（４０）のように生成される。

　pred8x8L[x,y] = (p’[-1,0] + 2*p’[-1,-1] + p’[0,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３９）
　pred8x8L[x,y] = (p’[-1,y-2*x-1] + 2*p’[-1,y-2*x-2] + p’[-1,y-2*x-3] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４０）
　モード６はHorizontal_Down_prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、Horizontal_Down_prediction modeは、p[x,-1],x=0,…,7及びp[-1,y],y=-1,…,7が “available”の時のみ適用される。今、zVRを次の式（４１）のように定義するものとする。

　zHD = 2*y - x
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４１）
　この時、zHDが0,2,4,6,8,10,12,14の場合には、予測画素値は、次の式（４２）のように生成され、zHDが1,3,5,7,9,11,13の場合には、予測画素値は、次の式（４３）のように生成される。

　pred8x8L[x,y] = (p’[-1,y-(x>>1)-1] + p’[-1,y-(x>>1) + 1] >> 1
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４２）
　pred8x8L[x,y]
　　　　　= (p’[-1,y-(x>>1)-2] + 2*p’[-1,y-(x>>1)-1] + p’[-1,y-(x>>1)] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４３）
　また、zHDが-1の場合には、予測画素値は、次の式（４４）のように生成され、zHDがこれ以外の値の場合、すなわち、-2,-3,-4,-5,-6,-7の場合には、予測画素値は、次の式（４５）のように生成される。

　pred8x8L[x,y] = (p’[-1,0] + 2*p[-1,-1] + p’[0,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４４）
　pred8x8L[x,y] = (p’[x-2*y-1,-1] + 2*p’[x-2*y-2,-1] + p’[x-2*y-3,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４５）
　モード７はVertical_Left_prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、Vertical_Left_prediction modeは、p[x,-1], x=0,…,15が “available” の時のみ適用され、y=0,2,4,6の場合、予測画素値は、次の式（４６）のように生成され、それ以外の場合、すなわち、y=1,3,5,7の場合、予測画素値は、次の式（４７）のように生成される。

　pred8x8L[x,y] = (p’[x+(y>>1),-1] + p’[x+(y>>1)+1,-1] + 1) >> 1
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４６）
　pred8x8L[x,y]
　　　　　= (p’[x+(y>>1),-1] + 2*p’[x+(y>>1)+1,-1] + p’[x+(y>>1)+2,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４７）
　モード８はHorizontal_Up_prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、Horizontal_Up_prediction modeは、p[-1,y], y=0,…,7 が “available” の時のみ適用される。以下では、zHUを次の式（４８）のように定義する。

　zHU = x + 2*y
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４８）
　zHUの値が0,2,4,6,8,10,12の場合、予測画素値は、次の式（４９）のように生成され、zHUの値が1,3,5,7,9,11の場合、予測画素値は、次の式（５０）のように生成される。

　pred8x8L[x,y] = (p’[-1,y+(x>>1)] + p’[-1,y+(x>>1)+1] + 1) >> 1
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４９）
　pred8x8L[x,y] = (p’[-1,y+(x>>1)]
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５０）
　また、zHUの値が13の場合、予測画素値は、次の式（５１）のように生成され、それ以外の場合、すなわち、zHUの値が13より大きい場合、予測画素値は、次の式（５２）のように生成される。

　pred8x8L[x,y] = (p’[-1,6] + 3*p’[-1,7] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５１）
　pred8x8L[x,y] = p’[-1,7]
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５２）
　次に、１６×１６画素のイントラ予測モードについて説明する。図１１および図１２は、４種類の輝度信号の１６×１６画素のイントラ予測モード(Intra_16x16_pred_mode)を示す図である。
　４種類のイントラ予測モードについて、図１３を参照して説明する。図１３の例において、イントラ処理される対象マクロブロックＡが示されており、P(x,y);x,y=-1,0,…,15は、対象マクロブロックＡに隣接する画素の画素値を表している。
　モード０は、Vertical Prediction modeであり、P(x,-1); x,y=-1,0,…,15が “available” である時のみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５３）のように生成される。

　Pred(x,y) = P(x,-1);x,y=0,…,15
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５３）
　モード１はHorizontal Prediction modeであり、P(-1,y); x,y=-1,0,…,15が “available” である時のみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５４）のように生成される。

　Pred(x,y) = P(-1,y);x,y=0,…,15
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５４）
　モード２はDC Prediction modeであり、P(x,-1)およびP(-1,y); x,y=-1,0,…,15が全て “available” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５５）のように生成される。

Figure JPOXMLDOC01-appb-M000004
　また、P(x,-1); x,y=-1,0,…,15が “unavailable” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５６）のように生成される。

Figure JPOXMLDOC01-appb-M000005
　P(-1,y); x,y=-1,0,…,15が “unavailable” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５７）のように生成される。

Figure JPOXMLDOC01-appb-M000006
　P(x,-1)およびP(-1,y); x,y=-1,0,…,15が全て “unavailable” である場合には、予測画素値として１２８を用いる。
　モード３はPlane Prediction modeであり、P(x,-1)及びP(-1,y); x,y=-1,0,…,15が全て “available” の場合のみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５８）のように生成される。

Figure JPOXMLDOC01-appb-M000007
　次に、色差信号に対するイントラ予測モードについて説明する。図１４は、４種類の色差信号のイントラ予測モード(Intra_chroma_pred_mode)を示す図である。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。色差信号に対するイントラ予測モードは、上述した輝度信号の１６×１６画素のイントラ予測モードに順ずる。
　ただし、輝度信号の１６×１６画素のイントラ予測モードが、１６×１６画素のブロックを対象としているのに対し、色差信号に対するイントラ予測モードは、８×８画素のブロックを対象としている。さらに、上述した図１１と図１４に示されるように、両者においてモード番号は対応していない。
　ここで、図１３を参照して上述した輝度信号の１６×１６画素のイントラ予測モードの対象マクロブロックＡの画素値および隣接する画素値の定義に準じる。例えば、イントラ処理される対象マクロブロックＡ（色差信号の場合は、８×８画素）に隣接する画素の画素値をP(x,y);x,y=-1,0,…,7とする。
　モード０はDC Prediction modeであり、P(x,-1)およびP(-1,y); x,y=-1,0,…,7が全て “available” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５９）のように生成される。

Figure JPOXMLDOC01-appb-M000008
　また、P(-1,y) ; x,y=-1,0,…,7が “unavailable” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６０）のように生成される。

Figure JPOXMLDOC01-appb-M000009
　また、P(x,-1) ; x,y=-1,0,…,7が “unavailable”である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６１）のように生成される。

Figure JPOXMLDOC01-appb-M000010
　モード１はHorizontal Prediction modeであり、P(-1,y) ; x,y=-1,0,…,7が “available” の場合にのみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６２）のように生成される。

　Pred(x,y) = P(-1,y);x,y=0,…,7
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６２）
　モード２はVertical Prediction modeであり、P(x,-1) ; x,y=-1,0,…,7が “available” の場合にのみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６３）のように生成される。

　Pred(x,y) = P(x,-1);x,y=0,…,7
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６３）
　モード３はPlane Prediction modeであり、P(x,-1)及びP(-1,y) ; x,y=-1,0,…,7 が “available” の場合にのみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６４）のように生成される。

Figure JPOXMLDOC01-appb-M000011
　以上のように、輝度信号のイントラ予測モードには、９種類の４×４画素および８×８画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位の予測モードがある。このブロック単位のモードは、マクロブロック単位毎に設定される。色差信号のイントラ予測モードには、４種類の８×８画素のブロック単位の予測モードがある。この色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。
　また、輝度信号の４×４画素のイントラ予測モード（イントラ４×４予測モード）および８×８画素のイントラ予測モード（イントラ８×８予測モード）については、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが設定される。輝度信号の１６×１６画素のイントラ予測モード（イントラ１６×１６予測モード）と色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが設定される。
　なお、予測モードの種類は、上述した図５の番号０，１，３乃至８で示される方向に対応している。予測モード２は平均値予測である。
　以上のようにH．264/AVC方式におけるイントラ予測においては、式（１４）乃至式（２４）で上述したように、８×８画素のブロック単位のイントラ予測を行うに先立ってのみ、定められたフィルタ係数で、隣接画素の画素値のフィルタ処理が行われている。
［詳細な構成例］
　図２の画像符号化装置５１においては、イントラ予測を行う際、複数ライン分の隣接画素値をラインバッファに格納し、これを用いてイントラ予測が行われる。
　図１５を参照して、画像符号化装置５１におけるイントラ予測について説明する。図１５のＡには、当該ブロックサイズが８×８画素の場合のVertical Predictionの方法が示されている。白丸が、当該ブロック画素を表し、斜線の丸が、Vertical Predictionに用いられる隣接画素を表している。
　すなわち、H．264/AVC方式の場合、イントラ予測には、１ライン分の隣接画素しか用いられないが、画像符号化装置５１においては、複数ライン（図１５のＡの例の場合、４ライン）分の隣接画素が用いられる。
　図１５のＢには、図１５のＡのそれぞれの縦ラインを、矢印方向に見た例が示されている。ここで、それぞれの位置における画素値を、P(x);x=-4,…,-1,0,…,7とする。すなわち、x=-4乃至-1は、隣接画素の画素値、x=0乃至7は、当該ブロック画素の画素値を示す。隣接画素の画素値に関するP(x)は既知の値、当該ブロック画素の画素値は、予測値、すなわち、未知の値ということになる。画像符号化装置５１においては、既知の値から、未知の値を求めることになる。
　いま、図１５のＢにおけるP(x)が、次の式（６５）なる多項式で近似されるものとする。

Figure JPOXMLDOC01-appb-M000012
　この式（６５）におけるパラメータa,b,c,dの値は、次の式（６６）なる連立方程式を解くことにより算出することができる。
Figure JPOXMLDOC01-appb-M000013
　上述した式（６５）に、式（６６）により求められるパラメータa,b,c,dを用いてP(0)乃至P(7)を算出することで、当該ブロックに対する予測画素値が求められる。すなわち、この場合、４ライン分の隣接画素が用いられる場合、４次の連立方程式を解くことで、３次の多項式の４個の定数が算出され、４個の定数を用いた３次の多項式により、イントラ予測画像が生成される。つまり、算出された４個の定数を用いた３次の多項式は、図１５のＢに示されるように、４ライン分の隣接画素と８個の当該ブロック画素を近似する多項式といえる。
　なお、P(0)乃至P(7)は、画素値であるため、入力となる画像信号がNビットである場合、0乃至2N-1の範囲の値にクリップ処理を行う必要がある。
　また、パラメータa,b,c,dは、復号側においても同様の処理により同一の値を算出することが可能であるため、圧縮画像のヘッダに付加して送る必要がない。
　以上のように、画像符号化装置５１においては、複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことにより、イントラ予測画像が生成される。この多項式近似による外挿処理は、イントラ予測部７３およびスプライン補間部７５により行われる処理であり、スプライン補間とも呼ばれる。以下、パラメータa,b,c,dを、スプラインパラメータまたは補間パラメータとも称する。
　以上により、イントラ予測の精度がよくなり、符号化効率を向上させることができる。
　以上、Vertical Predictionを例に説明してきたが、同様の処理を、上述した図６に示された方向に沿って行うことにより、DC Prediction以外の全てのイントラ予測モードに対して適用することが可能である。また、輝度信号のみならず、色差信号に対しても適用可能である。例えば、輝度信号に用いるライン数に比べて、色差信号に用いるライン数を減らすようにしてもよいし、同じ数のライン数を用いるようにしてもよい。
　さらに、図１５の例においては、イントラ予測に用いられる画素が４ライン分の画素の例である場合を説明したが、２ライン分以上であればよく、４ラインに限らない。すなわち、Ｎライン分の隣接画素が用いられる場合、Ｎ次の連立方程式を解くことで、Ｎ－１次の多項式のＮ個の定数が算出され、Ｎ個の定数を用いたＮ－１次の多項式により、イントラ予測画像が生成される。また、例えば、当該ブロックサイズに応じて、より多いライン数を用いるようにしてもよい。
　ところで、図１６に示されるように、本発明によるイントラ予測を行うため、k列のラインバッファが確保されているとする。
　隣接画素および当該ブロック画素に物体の境界を含まなければ、k列の全ての画素を用いて、より高い次数の多項式により近似を行う方が、予測精度がより高いものになるといえる。
　しかしながら、k列の隣接画素内に、物体の境界を含む場合、その境界を超え、多項式近似処理を行うことは、予測効率の低下を招く恐れがある。
　そこで、本発明においては、次の方法により、ラインバッファ７４に確保されたk列のラインバッファのうち、どこまで用いるのかが決定される。すなわち、まず、隣り合う隣接画素間の差分値｜n0-n1｜,｜n1-n2｜,…の算出が行われる。
　いま、ユーザの定める閾値をΘとして、画素値n3について、次の式（６７）が成り立つ場合、画素n2とn3の間に物体の境界が存在すると考えられる。
Figure JPOXMLDOC01-appb-M000014
　この場合、n0,n1,n2を用いた２次の多項式近似を用いた方が、n3以降の画素値を用いた多項式近似を行うより予測効率が高いと考えられる。
　つまり、h≧3である画素nhについて、次の式（６８）が成り立つか否かの判定を行い、もし、成り立つ場合には、nhより、当該ブロックに近い画素値のみを用いて、k-1次の多項式近似によるイントラ予測が行われる。
Figure JPOXMLDOC01-appb-M000015
　ここで、Θは、より大きな量子化パラメータに対して、より大きな値を設定するものとする。これは、より大きな量子化パラメータにより符号化される場合、｜nh - nh-1｜の値が大きくなるのは、物体の境界であるという要因だけでなく、量子化誤差による要因も考えられるようになるためである。
　以上のように、物体境界を含まないと考えられる場合、ライン数を増やすことにより、精度を向上させることができる。ただし、それに応じてラインメモリのライン数も増える場合には、コストも増えてしまう。
　なお、このような何次の多項式を用いるかを決定する処理は、復号側でも同様の処理であり、同様に求めることができるので、この情報も送る必要がない。
　また、上記説明においては、８×８画素ブロックを例に説明してきたが、本発明の適用範囲はこれに限らず、本発明は、あらゆるサイズの画素ブロックに適用することが可能である。すなわち、本発明は、図１７に示されるような拡張マクロブロックにも適用することが可能である。
　図１７は、非特許文献１または２で提案されているブロックサイズの例を示す図である。非特許文献１または２では、マクロブロックサイズが３２×３２画素に拡張されている。
　図１７の上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。図１７の中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。また、図１７の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。
　すなわち、３２×３２画素のマクロブロックは、図１７の上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。
　上段の右側に示される１６×１６画素のブロックは、H．264/AVC方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。
　中段の右側に示される８×８画素のブロックは、H．264/AVC方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。
　これらのブロックは、以下の３階層に分類することができる。すなわち、図１７の上段に示される３２×３２画素、３２×１６画素、および１６×３２画素のブロックを第１階層と呼ぶ。上段の右側に示される１６×１６画素のブロック、並びに、中段に示される１６×１６画素、１６×８画素、および８×１６画素のブロックを、第２階層と呼ぶ。中段の右側に示される８×８画素のブロック、並びに、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックを、第３階層と呼ぶ。
　図１７のような、階層構造を採用することにより、１６×１６画素ブロック以下に関しては、現在のAVCにおけるマクロブロックと互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。
　したがって、本発明によれば、特に、図１７に示されるような拡張されたマクロブロックにおいて、図１を参照して上述した、より大きなイントラ予測ブロックに対する予測精度を改善することができる。
［イントラ予測部およびスプライン補間部の構成例］
　図１８は、上述したイントラ予測を行うイントラ予測部７３およびスプライン補間部７５の詳細な構成例を示すブロック図である。
　図１８の例の場合、イントラ予測部７３は、候補モード判別部８１、予測画像生成部８２、コスト関数算出部８３、およびモード判定部８４により構成されている。スプライン補間部７５は、隣接画素選択部９１、およびスプラインパラメータ生成部９２により構成されている。
　候補モード判別部８１は、符号化方式に定義されているイントラ予測モードの全て、もしくは、そのうちの一部で、当該ブロックにおいて候補モードとなるもののうち、availableであるモードを、隣接画素選択部９１および予測画像生成部８２に供給する。なお、availableであるとは、そのモードで用いられる隣接画素が利用可能であることを表す。
　予測画像生成部８２は、スプラインパラメータ生成部９２からのスプラインパラメータを用いて、候補モード判別部８１からのイントラ予測モードの予測画像を生成する。すなわち、予測画像生成部８２は、式（６５）のＮ－１次の多項式に、上述した式（６６）により求められたＮ個のスプラインパラメータを用いてP(0)乃至P(7)を算出することにより、予測画像を生成する。生成された予測画像は、コスト関数算出部８３に供給される。
　コスト関数算出部８３は、画面並べ替えバッファ６２から入力画像の画素値を入力し、これと、予測画像生成部８２からの予測画像を用いて、全ての候補モードに対するコスト関数値を算出する。コスト関数算出部８３は、各候補モードに対する予測画像およびコスト関数値をモード判定部８４に供給する。
　モード判定部８４は、候補となる予測モードのうち、コスト関数値が最小のものを、当該ブロックに対する最適な予測モードとし、その予測画像とコスト関数値を予測画像選択部７７に供給する。予測画像選択部７７においてイントラ予測の予測画像が選択された場合、その情報が予測画像選択部７７よりくるので、モード判定部８４は、最適な予測モードの情報を、可逆符号化部６６に供給する。
　ラインバッファ７４には、フレームメモリ７２から、イントラ予測に用いられる可能性のある全ての隣接画素が供給され、格納されている。隣接画素選択部９１は、候補モード判別部８１からの候補となるイントラ予測モードに応じて、どの隣接画素を用いるかを選択し、そのアドレスをラインバッファ７４に供給する。このアドレスが用いられて、ラインバッファ７４から、隣接画素選択部９１に隣接画素の値が供給されるので、隣接画素選択部９１は、供給された隣接画素の値を、スプラインパラメータ生成部９２に供給する。
　スプラインパラメータ生成部９２は、Ｎライン分の隣接画素値を用いて、上述した式（６６）によりＮ次の連立方程式を解くことで、イントラ予測のためのＮ－１次の多項式のＮ個のスプラインパラメータを算出し、算出したＮ個のスプラインパラメータを、予測画像生成部８２に供給する。
［画像符号化装置の符号化処理の説明］
　次に、図１９のフローチャートを参照して、図１の画像符号化装置５１の符号化処理について説明する。
　ステップＳ１１において、A/D変換部６１は入力された画像をA/D変換する。ステップＳ１２において、画面並べ替えバッファ６２は、A/D変換部６１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
　ステップＳ１３において、演算部６３は、ステップＳ１２で並び替えられた画像と予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部７６から、イントラ予測する場合はイントラ予測部７３から、それぞれ予測画像選択部７７を介して演算部６３に供給される。
　差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
　ステップＳ１４において、直交変換部６４は演算部６３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１５において、量子化部６５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２５の処理で説明されるように、レートが制御される。
　以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１６において、逆量子化部６８は量子化部６５により量子化された変換係数を量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１７において、逆直交変換部６９は逆量子化部６８により逆量子化された変換係数を直交変換部６４の特性に対応する特性で逆直交変換する。
　ステップＳ１８において、演算部７０は、予測画像選択部７７を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部６３への入力に対応する画像）を生成する。ステップＳ１９においてデブロックフィルタ７１は、演算部７０より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ２０においてフレームメモリ７２は、フィルタリングされた画像を記憶する。なお、フレームメモリ７２にはデブロックフィルタ７１によりフィルタ処理されていない画像も演算部７０から供給され、記憶される。
　画面並べ替えバッファ６２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ７２から読み出され、ラインバッファ７４に供給される。
　これらの画像に基づいて、ステップＳ２１において、イントラ予測部７３およびスプライン補間部７５は、多項式近似を用いた外挿処理（すなわち、スプライン補間処理）により、処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。
　ステップＳ２１におけるイントラ予測処理の詳細は、図２０を参照して後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部７７に供給される。
　画面並べ替えバッファ６２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ７２から読み出され、動き予測・補償部７６に供給される。これらの画像に基づいて、ステップＳ２２において、動き予測・補償部７６は、インター動き予測処理を行う。
　ステップＳ２２におけるインター動き予測処理の詳細は、図２１を参照して後述する。この処理により、候補となる全てのインター予測モードで動き探索処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出され、算出したコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部７７に供給される。
　ステップＳ２３において、予測画像選択部７７は、イントラ予測部７３および動き予測・補償部７６より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部７７は、決定した最適予測モードの予測画像を選択し、演算部６３，７０に供給する。この予測画像が、上述したように、ステップＳ１３，Ｓ１８の演算に利用される。
　なお、この予測画像の選択情報は、イントラ予測部７３または動き予測・補償部７６に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部７３は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部６６に供給する。
　最適インター予測モードの予測画像が選択された場合、動き予測・補償部７６は、最適インター予測モードを示す情報と、さらに、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部６６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。
　ステップＳ２４において、可逆符号化部６６は量子化部６５より出力された量子化された変換係数を符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。このとき、上述したステップＳ２１において可逆符号化部６６に入力された、イントラ予測部７３からのイントラ予測モード情報、または、ステップＳ２２において、動き予測・補償部７６からの最適インター予測モードに応じた情報なども符号化され、ヘッダ情報に付加される。
　例えば、イントラ予測モードを示す情報やインター予測モードを示す情報は、マクロブロック毎に符号化される。動きベクトル情報や参照フレーム情報は、対象となるブロック毎に符号化される。
　ステップＳ２５において蓄積バッファ６７は差分画像を圧縮画像として蓄積する。蓄積バッファ６７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
　ステップＳ２６においてレート制御部７８は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。
［イントラ予測処理の説明］
　次に、図２０のフローチャートを参照して、図１９のステップＳ２１におけるイントラ予測処理を説明する。なお、図２０の例においては、輝度信号の場合を例として説明する。
　画面並べ替えバッファ６２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、イントラ予測のための参照される復号済みの画像がフレームメモリ７２から読み出され、ラインバッファ７４に供給される。
　ステップＳ４１において、ラインバッファ７４は、供給されたイントラ予測のための隣接画素値を格納する。
　候補モード判別部８１は、符号化方式に定義されているイントラ予測モードの全て、もしくは、そのうちの一部で、当該ブロックにおいて候補モードとなるもののうち、availableであるモードを、隣接画素選択部９１および予測画像生成部８２に供給する。例えば、図４乃至図１４を参照して上述した４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードが候補モードとされる。
　これに対応して、隣接画素選択部９１は、ステップＳ４２において、候補モード判別部８１からの候補となるイントラ予測モードに応じて、どの隣接画素を用いるかを選択し、そのアドレスをラインバッファ７４に供給する。このアドレスが用いられて、ラインバッファ７４から、隣接画素選択部９１に、隣接画素の値が供給されるので、隣接画素選択部９１は、供給された隣接画素の値を、スプラインパラメータ生成部９２に供給する。
　ステップＳ４３において、スプラインパラメータ生成部９２は、上述した式（６６）に示されるＮ次の連立方程式を解くことで、各予測モードに対するＮ－１次の多項式におけるＮ個のスプラインパラメータを算出し、算出したスプラインパラメータを、予測画像生成部８２に供給する。
　ステップＳ４４において、予測画像生成部８２は、スプラインパラメータ生成部９２からのスプラインパラメータを用いて、各モードに対する予測画像を生成する。すなわち、上述した式（６５）であるＮ－１次の多項式に、Ｎ個のスプラインパラメータを用いてP(0)乃至P(7)を算出することにより、予測画像が生成される。生成された予測画像は、コスト関数算出部８３に供給される。
　ステップＳ４５において、コスト関数算出部８３は、画面並べ替えバッファ６２から入力画像の画素値を入力し、これと、予測画像生成部８２からの予測画像を用いて、各予測モードに対するコスト関数値を算出する。コスト関数算出部８３は、各候補モードに対する予測画像およびコスト関数値をモード判定部８４に供給する。
　ここで、コスト関数値としては、High Complexity Modeか、Low Complexity Modeのいずれかの手法に基づいて行う。H．264/AVC方式においては、例えば、JMにおいて定められているHigh Complexity Modeと、Low Complexity Modeの２通りのモード判定方法を選択する方法が用いられている。この方法の場合、どちらも、それぞれの予測モードに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。
　High Complexity Modeにおけるコスト関数値は、以下の式（６９）のように求めることができる。
　Cost（Mode∈Ω）＝Ｄ＋λ×Ｒ　・・・（６９）
　式（６９）において、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合である。また、Ｄは、当該予測モードModeで符号化した場合の、復号画像と入力画像の差分エネルギーである。さらに、λは、量子化パラメータの関数として与えられるLagrange未定乗数である。また、Ｒは、直交変換係数を含んだ、当該モードModeで符号化した場合の総符号量である。
　つまり、High Complexity Modeでの符号化を行なうには、上記パラメータＤ及びＲを算出するため、全ての候補モードModeにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
　これに対してLow Complexity Modeにおけるコスト関数値は、以下の式（７０）のように求めることができる。
　Cost（Mode∈Ω）＝Ｄ＋QP2Quant（QP）×HeaderBit　・・・（７０）
となる。式（７０）において、Ｄは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。また、QP2Quant（QP）は、量子化パラメータQPの関数として与えられる。さらに、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
　すなわち、Low Complexity Modeにおいては、それぞれの候補モードModeに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
　ステップＳ４６において、モード判定部８４は、候補となる予測モードのうち、コスト関数値を最小とする予測モードを、当該ブロックに対する最適な予測モードとして選択し、その予測画像とコスト関数値を予測画像選択部７７に供給する。
　そして、上述した図１９のステップＳ２３において、予測画像選択部７７により最適イントラ予測モードで生成された予測画像が選択された場合、モード判定部８４により、最適イントラ予測モードを示す情報は、可逆符号化部６６に供給される。そして、可逆符号化部６６において、符号化され、圧縮画像のヘッダ情報に付加される（上述した図１９のステップＳ２４）。
［インター動き予測処理の説明］
　次に、図２１のフローチャートを参照して、図１９のステップＳ２２のインター動き予測処理について説明する。
　動き予測・補償部７６は、ステップＳ６１において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して動きベクトルと参照画像をそれぞれ決定する。すなわち、各インター予測モードの処理対象のブロックについて、動きベクトルと参照画像がそれぞれ決定される。
　動き予測・補償部７６は、ステップＳ６２において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードについて、ステップＳ６１で決定された動きベクトルに基づいて、参照画像に動き予測と補償処理を行う。この動き予測と補償処理により、各インター予測モードでの予測画像が生成される。
　動き予測・補償部７６は、ステップＳ６３において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して決定された動きベクトルについて、圧縮画像に付加するための動きベクトル情報を生成する。
　生成された動きベクトル情報は、次のステップＳ６４におけるコスト関数値算出の際にも用いられ、最終的に予測画像選択部７７により対応する予測画像が選択された場合には、予測モード情報および参照フレーム情報とともに、可逆符号化部６６へ出力される。
　動き予測・補償部７６は、ステップＳ６４において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して、上述した式（６９）または式（７０）で示されるコスト関数値を算出する。
　ステップＳ６５において、動き予測・補償部７６は、ステップＳ６４において算出されたインター予測モードに対してのコスト関数値を比較し、最小値を与える予測モードを、最適インター予測モードとして決定する。そして、最適インターモード判定部８４は、最適インター予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７７に供給する。
　そして、上述した図１９のステップＳ２３において、予測画像選択部７７により最適インター予測モードで生成された予測画像が選択された場合、動き予測・補償部７６により、最適インター予測モードを示す情報や動きベクトル情報、参照画像情報などは、可逆符号化部６６に供給される。そして、可逆符号化部６６において、符号化され、圧縮画像のヘッダ情報に付加される（上述した図１９のステップＳ２４）。
　次に、図２２のフローチャートを参照して、図２０のイントラ予測に用いられる多項式近似の次数の決定処理について説明する。なお、この処理は、図１６を参照して上述したように、用いられる隣接画素のライン数を求める処理でもあり、例えば、図１８の隣接画素選択部９１および後述する図２４の隣接画素選択部１９１により、隣接画素を選択する前などに実行される処理である。
　ユーザの操作のもと、図示せぬ操作入力部などから閾値Θの値が入力されるので、ステップＳ８１において、隣接画素選択部９１は、閾値Θを決定する。
　隣接画素選択部９１は、ステップＳ８２において、h=3とし、ステップＳ８３において、hがkより小さいか否かを判定し、小さいと判定した場合、ステップＳ８４に進む。ここで、kは、ラインバッファ７４に格納されている隣接画素のライン数を表す。
　隣接画素選択部９１は、ステップＳ８４において、｜nh - nh-1｜＞｜nh-1 - nh-2｜＋Θを満たすか否かを判定する。ステップＳ８４における判定式を満たすと判定された場合、処理は、ステップＳ８５に進む。
　ステップＳ８５において、｜nh-1 - nh-2｜＞｜nh-2 - nh-3｜＋Θを満たすか否かを判定する。ステップＳ８４における判定式を満たさないと判定された場合、または、ステップＳ８５における判定式を満たさないと判定された場合、処理は、ステップＳ８６に進む。
　ステップＳ８６において、隣接画素選択部９１は、h=h+1とし、ステップＳ８３に戻り、それ以降の処理を繰り返す。
　ステップＳ８５における判定式を満たすと判定された場合、すなわち、上述した式（６８）が成り立つ場合、処理は、ステップＳ８７に進む。ステップＳ８７において、隣接画素選択部９１は、多項式近似の次数をh-1次に決定する。この場合、h列のラインバッファ（隣接画素値）が用いられる。
　一方、ステップＳ８３において、hがkと同じであると判定された場合、処理は、ステップＳ８７に進む。この場合、ステップＳ８７において、多項式近似の次数がk-1次に決定され、k列のラインバッファ（隣接画素値）が用いられる。
　以上のように、画像符号化装置５１においては、複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことにより、イントラ予測画像を生成するようにした。これにより、イントラ予測の精度がよくなり、符号化効率を向上させることができる。これは、大きなブロックサイズの場合に、特に、効果がある。
　また、用いるライン数を、画素差分を比較することで、物体の境界を含むと考えられるか否かにより決めるようにしたので、さらに、予測効率を向上させることができる。
　符号化された圧縮画像は、所定の伝送路を介して伝送され、画像復号装置により復号される。
［画像復号装置の構成例］
　図２３は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。
　画像復号装置１５１は、蓄積バッファ１６１、可逆復号部１６２、逆量子化部１６３、逆直交変換部１６４、演算部１６５、デブロックフィルタ１６６、画面並べ替えバッファ１６７、Ｄ／Ａ変換部１６８、フレームメモリ１６９、イントラ予測部１７０、ラインバッファ１７１、スプライン補間部１７２、動き予測・補償部１７３、およびスイッチ１７４により構成されている。
　蓄積バッファ１６１は伝送されてきた圧縮画像を蓄積する。可逆復号部１６２は、蓄積バッファ１６１より供給された、図２の可逆符号化部６６により符号化された情報を、可逆符号化部６６の符号化方式に対応する方式で復号する。逆量子化部１６３は可逆復号部１６２により復号された画像を、図２の量子化部６５の量子化方式に対応する方式で逆量子化する。逆直交変換部１６４は、図２の直交変換部６４の直交変換方式に対応する方式で逆量子化部１６３の出力を逆直交変換する。
　逆直交変換された出力は演算部１６５によりスイッチ１７４から供給される予測画像と加算されて復号される。デブロックフィルタ１６６は、復号された画像のブロック歪を除去した後、フレームメモリ１６９に供給し、蓄積させるとともに、画面並べ替えバッファ１６７に出力する。
　画面並べ替えバッファ１６７は、画像の並べ替えを行う。すなわち、図２の画面並べ替えバッファ６２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。Ｄ／Ａ変換部１６８は、画面並べ替えバッファ１６７から供給された画像をＤ／Ａ変換し、図示せぬディスプレイに出力し、表示させる。
　フレームメモリ１６９からのインター処理される画像と参照される画像は、動き予測・補償部１７３に出力される。フレームメモリ１６９からのイントラ予測に用いられる画像は、ラインバッファ１７１に出力される。
　イントラ予測部１７０には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報が、可逆復号部１６２から供給される。イントラ予測部１７０は、スプライン補間部１７２とともに、ラインバッファ１７１に格納された複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことで、対象ブロックのイントラ予測画素値を生成する。
　すなわち、イントラ予測部１７０は、そのイントラ予測モードの情報を、スプライン補間部１７２に供給する。スプライン補間部１７２からは、イントラ予測モードに応じた隣接画素値を用いてイントラ予測のための、隣接画素と対象ブロックの画素を近似する多項式の補間パラメータが供給される。イントラ予測部１７０は、スプライン補間部１７２からの補間パラメータを用いた多項式により、符号化側において選択されたイントラ予測モードのイントラ予測画像を生成する。
　ラインバッファ１７１は、フレームメモリ１６９から参照画像の画素値を蓄積している。ラインバッファ１７１には、スプライン補間部１７２からイントラ予測モードに応じた隣接画素のアドレスが供給される。ラインバッファ１７１は、そのアドレスに対応した隣接画素の画素値をスプライン補間部１７２に供給する。
　スプライン補間部１７２は、イントラ予測部１７０からのイントラ予測モードに応じた隣接画素のアドレスに対応してラインバッファ１７１から供給される隣接画素値を用いて、イントラ予測のための多項式の補間パラメータを多項式近似により算出し、算出した補間パラメータを、イントラ予測部１７０に供給する。
　動き予測・補償部１７３には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報）が可逆復号部１６２から供給される。インター予測モードを示す情報が供給された場合、動き予測・補償部１７３は、動きベクトル情報と参照フレーム情報に基づいて画像に動き予測と補償処理を施し、予測画像を生成する。動き予測・補償部１７３は、インター予測モードにより生成された予測画像をスイッチ１７４に出力する。
　スイッチ１７４は、動き予測・補償部１７３またはイントラ予測部１７０により生成された予測画像を選択し、演算部１６５に供給する。
　なお、図２の画像符号化装置５１においては、コスト関数に基づく予測モード判定のため、すべてのイントラ予測モードに対してイントラ予測処理が行われる。これに対して、この画像復号装置１５１においては、符号化されて送られてくるイントラ予測モードの情報に基づいてのみイントラ予測処理が行われる。
［イントラ予測部およびスプライン補間部の構成例］
　図２４は、イントラ予測部１７０およびスプライン補間部１７２の詳細な構成例を示すブロック図である。
　図２４の例の場合、イントラ予測部１７０は、予測モードバッファ１８１、および予測画像生成部１８２により構成されている。スプライン補間部１７２は、隣接画素選択部１９１、およびスプラインパラメータ生成部１９２により構成されている。
　予測モードバッファ１８１には、当該ブロックに対するイントラ予測モードの情報が、可逆復号部１６２から供給される。このイントラ予測モードの情報は、さらに、隣接画素選択部１９１に供給される。
　予測画像生成部１８２は、スプラインパラメータ生成部１９２からのスプラインパラメータを用いて、予測モードバッファ１８１からのイントラ予測モードの予測画像を生成する。すなわち、予測画像生成部１８２は、式（６５）のＮ－１次の多項式に、上述した式（６６）により求められたＮ個のスプラインパラメータを用いてP(0)乃至P(7)を算出することにより、予測画像を生成する。生成された予測画像は、スイッチ１７４に供給される。
　ラインバッファ１７１には、フレームメモリ１６９から、イントラ予測に用いられる可能性のある全ての隣接画素が供給され、格納されている。隣接画素選択部１９１は、予測モードバッファ１８１からのイントラ予測モードに応じて、どの隣接画素を用いるかを選択し、そのアドレスをラインバッファ１７１に供給する。このアドレスが用いられて、ラインバッファ１７１から、隣接画素選択部１９１に隣接画素の値が供給されるので、隣接画素選択部１９１は、供給された隣接画素の値を、スプラインパラメータ生成部１９２に供給する。
　スプラインパラメータ生成部１９２は、Ｎライン分の隣接画素値を用いて、上述した式（６６）によりＮ次の連立方程式を解くことで、イントラ予測のためのＮ－１次の多項式のＮ個のスプラインパラメータを算出し、算出したＮ個のスプラインパラメータを、予測画像生成部１８２に供給する。
［画像復号装置の復号処理の説明］
　次に、図２５のフローチャートを参照して、画像復号装置１５１が実行する復号処理について説明する。
　ステップＳ１３１において、蓄積バッファ１６１は伝送されてきた画像を蓄積する。ステップＳ１３２において、可逆復号部１６２は、蓄積バッファ１６１から供給される圧縮画像を復号する。すなわち、図２の可逆符号化部６６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
　このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モードを示す情報）なども復号される。
　すなわち、予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部１７０に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報および参照フレーム情報は、動き予測・補償部１７３に供給される。
　ステップＳ１３３において、逆量子化部１６３は可逆復号部１６２により復号された変換係数を、図２の量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１３４において逆直交変換部１６４は逆量子化部１６３により逆量子化された変換係数を、図２の直交変換部６４の特性に対応する特性で逆直交変換する。これにより図２の直交変換部６４の入力（演算部６３の出力）に対応する差分情報が復号されたことになる。
　ステップＳ１３５において、演算部１６５は、後述するステップＳ１３９の処理で選択され、スイッチ１７４を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ１３６においてデブロックフィルタ１６６は、演算部１６５より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ１３７においてフレームメモリ１６９は、フィルタリングされた画像を記憶する。
　ステップＳ１３８において、イントラ予測部１７０、および動き予測・補償部１７３は、可逆復号部１６２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。
　すなわち、可逆復号部１６２からイントラ予測モード情報が供給された場合、イントラ予測部１７０およびスプライン補間部１７２は、多項式近似を用いた外挿処理（すなわち、スプライン補間処理）により、処理対象のブロックの画素を、可逆復号部１６２からのイントラ予測モードでイントラ予測する。
　一方、可逆復号部１６２からインター予測モード情報が供給された場合、動き予測・補償部１７３は、可逆復号部１６２からのインター予測モードで、可逆復号部１６２からの動きベクトルを用いて、参照画像に補償処理を行う。
　ステップＳ１３８における予測処理の詳細は、図２６を参照して後述するが、この処理により、イントラ予測部１７０により生成された予測画像、または動き予測・補償部１７３により生成された予測画像がスイッチ１７４に供給される。
　ステップＳ１３９において、スイッチ１７４は予測画像を選択する。すなわち、イントラ予測部１７０により生成された予測画像、または動き予測・補償部１７３により生成された予測画像供給される。したがって、供給された予測画像が選択されて演算部１６５に供給され、上述したように、ステップＳ１３５において逆直交変換部１６４の出力と加算される。
　ステップＳ１４０において、画面並べ替えバッファ１６７は並べ替えを行う。すなわち画像符号化装置５１の画面並べ替えバッファ６２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
　ステップＳ１４１において、Ｄ／Ａ変換部１６８は、画面並べ替えバッファ１６７からの画像をＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
［予測処理の説明］
　次に、図２６のフローチャートを参照して、図２５のステップＳ１３８の予測処理を説明する。
　予測画像生成部１８２および隣接画素選択部１９１は、ステップＳ１７１において、対象ブロックがイントラ符号化されているか否かを判定する。可逆復号部１６２からイントラ予測モード情報が予測モードバッファ１８１を介して、予測画像生成部１８２および隣接画素選択部１９１に供給されると、予測画像生成部１８２および隣接画素選択部１９１は、ステップＳ１７１において、対象ブロックがイントラ符号化されていると判定し、処理は、ステップＳ１７２に進む。
　予測画像生成部１８２および隣接画素選択部１９１は、ステップＳ１７２において、予測モード情報を取得する。
　ラインバッファ１７１には、イントラ予測のための参照される復号済みの画像がフレームメモリ１６９から読み出されて格納されている。
　隣接画素選択部１９１は、ステップＳ１７３において、イントラ予測モードに必要な隣接画素値を選択し、そのアドレスをラインバッファ１７１に供給する。このアドレスが用いられて、ラインバッファ１７１から、隣接画素選択部１９１に、隣接画素の値が供給されるので、隣接画素選択部１９１は、供給された隣接画素の値を、スプラインパラメータ生成部１９２に供給する。
　ステップＳ１７４において、スプラインパラメータ生成部１９２は、上述した式（６６）に示されるＮ次の連立方程式を解くことで、予測モードバッファ１８１からの予測モードに対するＮ－１次の多項式におけるＮ個のスプラインパラメータを算出し、算出したスプラインパラメータを、予測画像生成部１８２に供給する。
　ステップＳ１７５において、予測画像生成部１８２は、スプラインパラメータ生成部１９２からのスプラインパラメータを用いて、予測モードバッファ１８１からの予測モードに対する予測画像を生成する。すなわち、上述した式（６５）であるＮ－１次の多項式に、Ｎ個のスプラインパラメータを用いてP(0)乃至P(7)を算出することにより、予測画像が生成される。生成された予測画像は、コスト関数算出部８３に供給される。スイッチ１７４を介して、演算部１６５に供給される。
　一方、ステップＳ１７１において、イントラ符号化されていないと判定された場合、処理は、ステップＳ１７６に進む。
　処理対象の画像がインター処理される画像である場合、可逆復号部１６２からインター予測モード情報、参照フレーム情報、動きベクトル情報が動き予測・補償部１７３に供給される。ステップＳ１７６において、動き予測・補償部１７３は、可逆復号部１６２からのインター予測モード情報、参照フレーム情報、動きベクトル情報などを取得する。
　そして、動き予測・補償部１７３は、ステップＳ１７７において、インター動き予測を行う。すなわち、処理対象の画像がインター予測処理される画像である場合、必要な画像がフレームメモリ１６９から読み出され、スイッチ１７０を介して動き予測・補償部１７３に供給される。ステップＳ１７７において動き予測・補償部１７３は、ステップＳ１７６で取得した動きベクトルに基づいて、インター予測モードの補償処理をし、予測画像を生成する。生成した予測画像は、スイッチ１７４に出力される。
　以上のように、画像符号化装置５１および画像復号装置１５１においては、複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことにより、イントラ予測画像を生成するようにした。これにより、イントラ予測の精度がよくなり、符号化効率を向上させることができる。これは、大きなブロックサイズの場合に、特に、効果がある。
　また、スプラインパラメータは、復号側においても同様の処理により同一の値を算出することが可能であるため、圧縮画像のヘッダに付加して送る必要がない。
　ところで、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC (Joint Collaboration Team  Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。2010年9月現在、Draftとして、”Test Model under Consideration”, (JCTVC-B205) が発行されている。
　HEVC符号化方式において定められている、Coding Unitについて述べる。
　Coding Unit(CU)は、Coding Tree Block(CTB)とも呼ばれ、H．264/AVCにおけるマクロブロックと同様の役割を果たすが、後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
　特に、最大の大きさを持つCUを、LCU(Largest Coding Unit)と呼び、また、最小の大きさを持つCUをSCU(Smallest Coding Unit)と呼ぶ。画像圧縮情報に含まれるシーケンスパラメータセットにおいて、これらのサイズが指定されることになるが、それぞれ、正方形で、2の冪乗で表される大きさに限定される。
　図３２に、HEVC符号化方式で定義されているCoding Unitの例を示す。図３２の例では、LCUの大きさが１２８であり、最大階層深度が5となる。２N×２Nの大きさのCUは、split_flagの値が1である時、一つ下の階層となる、N×Nの大きさのCUに分割される。
　更に、CUは、イントラ若しくはインター予測の単位であるPrediction Unit(PU)に分割され、また、直交変換の単位である、Transform Unit(TU)に分割される。
　Coding Unitは、更に、イントラ若しくはインター予測の単位であるPU(Prediction Unit)に分割され、また、直交変換の単位であるTU(Transform Unit)に分割され、予測処理及び直交変換処理が行われる。現在、HEVC符号化方式においては、４×４及び８×８に加え、１６×１６及び３２×３２の直交変換を用いることが可能である。
　本明細書において、ブロック、マクロブロックは、上述したようなCoding Unit(CU)、Prediction Unit(PU)、Transform Unit(TU)の概念を含んでおり、大きさが固定されたブロックに限定されない。
　以上においては、符号化方式としてH．264/AVC方式をベースに用いるようにしたが、本発明はこれに限らず、画面内の隣接画素を用いた予測を行う、その他の符号化方式／復号方式を適用することができる。
　なお、本発明は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本発明は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本発明は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
［パーソナルコンピュータの構成例］
　図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した画像符号化装置５１や画像復号装置１５１は、任意の電子機器に適用することができる。以下にその例について説明する。
［テレビジョン受像機の構成例］
　図２８は、本発明を適用した画像復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
　図２８に示されるテレビジョン受像機３００は、地上波チューナ３１３、ビデオデコーダ３１５、映像信号処理回路３１８、グラフィック生成回路３１９、パネル駆動回路３２０、および表示パネル３２１を有する。
　地上波チューナ３１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ３１５に供給する。ビデオデコーダ３１５は、地上波チューナ３１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路３１８に供給する。
　映像信号処理回路３１８は、ビデオデコーダ３１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路３１９に供給する。
　グラフィック生成回路３１９は、表示パネル３２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路３２０に供給する。また、グラフィック生成回路３１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路３２０に供給するといった処理も適宜行う。
　パネル駆動回路３２０は、グラフィック生成回路３１９から供給されたデータに基づいて表示パネル３２１を駆動し、番組の映像や上述した各種の画面を表示パネル３２１に表示させる。
　表示パネル３２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路３２０による制御に従って番組の映像などを表示させる。
　また、テレビジョン受像機３００は、音声A/D（Analog/Digital)変換回路３１４、音声信号処理回路３２２、エコーキャンセル／音声合成回路３２３、音声増幅回路３２４、およびスピーカ３２５も有する。
　地上波チューナ３１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ３１３は、取得した音声信号を音声A/D変換回路３１４に供給する。
　音声A/D変換回路３１４は、地上波チューナ３１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路３２２に供給する。
　音声信号処理回路３２２は、音声A/D変換回路３１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路３２３に供給する。
　エコーキャンセル／音声合成回路３２３は、音声信号処理回路３２２から供給された音声データを音声増幅回路３２４に供給する。
　音声増幅回路３２４は、エコーキャンセル／音声合成回路３２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ３２５から出力させる。
　さらに、テレビジョン受像機３００は、デジタルチューナ３１６およびMPEGデコーダ３１７も有する。
　デジタルチューナ３１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ３１７に供給する。
　MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ３１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路３２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路３１８に供給する。また、MPEGデコーダ３１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU３３２に供給する。
　テレビジョン受像機３００は、このように映像パケットをデコードするMPEGデコーダ３１７として、上述した画像復号装置１５１を用いる。したがって、MPEGデコーダ３１７は、画像復号装置１５１の場合と同様に、イントラ予測における符号化効率を向上させることができる。
　MPEGデコーダ３１７から供給された映像データは、ビデオデコーダ３１５から供給された映像データの場合と同様に、映像信号処理回路３１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路３１９において、生成された映像データ等が適宜重畳され、パネル駆動回路３２０を介して表示パネル３２１に供給され、その画像が表示される。
　MPEGデコーダ３１７から供給された音声データは、音声A/D変換回路３１４から供給された音声データの場合と同様に、音声信号処理回路３２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路３２３を介して音声増幅回路３２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ３２５から出力される。
　また、テレビジョン受像機３００は、マイクロホン３２６、およびA/D変換回路３２７も有する。
　A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路３２３に供給する。
　エコーキャンセル／音声合成回路３２３は、テレビジョン受像機３００のユーザ（ユーザＡ）の音声のデータがA/D変換回路３２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路３２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。
　さらに、テレビジョン受像機３００は、音声コーデック３２８、内部バス３２９、SDRAM（Synchronous Dynamic Random Access Memory)３３０、フラッシュメモリ３３１、CPU３３２、USB（Universal Serial Bus) I/F３３３、およびネットワークI/F３３４も有する。
　A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック３２８に供給する。
　音声コーデック３２８は、A/D変換回路３２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス３２９を介してネットワークI/F３３４に供給する。
　ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F３３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック３２８から供給された音声データを送信する。また、ネットワークI/F３３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子３３５を介して受信し、それを、内部バス３２９を介して音声コーデック３２８に供給する。
　音声コーデック３２８は、ネットワークI/F３３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路３２３に供給する。
　エコーキャンセル／音声合成回路３２３は、音声コーデック３２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。
　SDRAM３３０は、CPU３３２が処理を行う上で必要な各種のデータを記憶する。
　フラッシュメモリ３３１は、CPU３３２により実行されるプログラムを記憶する。フラッシュメモリ３３１に記憶されているプログラムは、テレビジョン受像機３００の起動時などの所定のタイミングでCPU３３２により読み出される。フラッシュメモリ３３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
　例えば、フラッシュメモリ３３１には、CPU３３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ３３１は、例えばCPU３３２の制御により、そのMPEG-TSを、内部バス３２９を介してMPEGデコーダ３１７に供給する。
　MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機３００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ３１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
　また、テレビジョン受像機３００は、リモートコントローラ３５１から送信される赤外線信号を受光する受光部３３７も有する。
　受光部３３７は、リモートコントローラ３５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU３３２に出力する。
　CPU３３２は、フラッシュメモリ３３１に記憶されているプログラムを実行し、受光部３３７から供給される制御コードなどに応じてテレビジョン受像機３００の全体の動作を制御する。CPU３３２とテレビジョン受像機３００の各部は、図示せぬ経路を介して接続されている。
　USB I/F３３３は、USB端子３３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機３００の外部の機器との間でデータの送受信を行う。ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
　テレビジョン受像機３００は、MPEGデコーダ３１７として画像復号装置１５１を用いることにより、符号化効率を向上することができる。その結果として、テレビジョン受像機３００は、アンテナを介して受信した放送波信号や、ネットワークを介して取得したコンテンツデータから、より高精細な復号画像を得て、表示することができる。
［携帯電話機の構成例］
　図２９は、本発明を適用した画像符号化装置および画像復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
　図２９に示される携帯電話機４００は、各部を統括的に制御するようになされた主制御部４５０、電源回路部４５１、操作入力制御部４５２、画像エンコーダ４５３、カメラI/F部４５４、LCD制御部４５５、画像デコーダ４５６、多重分離部４５７、記録再生部４６２、変復調回路部４５８、および音声コーデック４５９を有する。これらは、バス４６０を介して互いに接続されている。
　また、携帯電話機４００は、操作キー４１９、CCD（Charge Coupled Devices）カメラ４１６、液晶ディスプレイ４１８、記憶部４２３、送受信回路部４６３、アンテナ４１４、マイクロホン（マイク）４２１、およびスピーカ４１７を有する。
　電源回路部４５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機４００を動作可能な状態に起動する。
　携帯電話機４００は、CPU、ROMおよびRAM等でなる主制御部４５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
　例えば、音声通話モードにおいて、携帯電話機４００は、マイクロホン（マイク）４２１で集音した音声信号を、音声コーデック４５９によってデジタル音声データに変換し、これを変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
　また、例えば、音声通話モードにおいて、携帯電話機４００は、アンテナ４１４で受信した受信信号を送受信回路部４６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部４５８でスペクトラム逆拡散処理し、音声コーデック４５９によってアナログ音声信号に変換する。携帯電話機４００は、その変換して得られたアナログ音声信号をスピーカ４１７から出力する。
　更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機４００は、操作キー４１９の操作によって入力された電子メールのテキストデータを、操作入力制御部４５２において受け付ける。携帯電話機４００は、そのテキストデータを主制御部４５０において処理し、LCD制御部４５５を介して、画像として液晶ディスプレイ４１８に表示させる。
　また、携帯電話機４００は、主制御部４５０において、操作入力制御部４５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機４００は、その電子メールデータを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
　また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機４００は、復元された電子メールデータを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示する。
　なお、携帯電話機４００は、受信した電子メールデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。
　この記憶部４２３は、書き換え可能な任意の記憶媒体である。記憶部４２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
　さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機４００は、撮像によりCCDカメラ４１６で画像データを生成する。CCDカメラ４１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部４５４を介して、画像エンコーダ４５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。
　携帯電話機４００は、このような処理を行う画像エンコーダ４５３として、上述した画像符号化装置５１を用いる。したがって、画像エンコーダ４５３は、画像符号化装置５１の場合と同様に、イントラ予測における符号化効率を向上させることができる。
　なお、携帯電話機４００は、このとき同時に、CCDカメラ４１６で撮像中にマイクロホン（マイク）４２１で集音した音声を、音声コーデック４５９においてアナログデジタル変換し、さらに符号化する。
　携帯電話機４００は、多重分離部４５７において、画像エンコーダ４５３から供給された符号化画像データと、音声コーデック４５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機４００は、その結果得られる多重化データを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
　なお、画像データを送信しない場合、携帯電話機４００は、CCDカメラ４１６で生成した画像データを、画像エンコーダ４５３を介さずに、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させることもできる。
　また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機４００は、多重分離部４５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
　携帯電話機４００は、画像デコーダ４５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ４１８に表示される。
　携帯電話機４００は、このような処理を行う画像デコーダ４５６として、上述した画像復号装置１５１を用いる。したがって、画像デコーダ４５６は、画像復号装置１５１の場合と同様に、イントラ予測における符号化効率を向上させることができる。
　このとき、携帯電話機４００は、同時に、音声コーデック４５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ４１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
　なお、電子メールの場合と同様に、携帯電話機４００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。
　また、携帯電話機４００は、主制御部４５０において、撮像されてCCDカメラ４１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
　さらに、携帯電話機４００は、赤外線通信部４８１で赤外線により外部の機器と通信することができる。
　携帯電話機４００は、画像エンコーダ４５３として画像符号化装置５１を用いることにより、符号化効率を向上させることができる。結果として、携帯電話機４００は、符号化効率のよい符号化データ（画像データ）を、他の装置に提供することができる。
　また、携帯電話機４００は、画像デコーダ４５６として画像復号装置１５１を用いることにより、符号化効率を向上させることができる。その結果として、携帯電話機４００は、例えば、簡易ホームページにリンクされた動画像ファイルから、より高精細な復号画像を得て、表示することができる。
　なお、以上において、携帯電話機４００が、CCDカメラ４１６を用いるように説明したが、このCCDカメラ４１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機４００は、CCDカメラ４１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
　また、以上においては携帯電話機４００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機４００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機４００の場合と同様に、画像符号化装置５１および画像復号装置１５１を適用することができる。
［ハードディスクレコーダの構成例］
　図３０は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
　図３０に示されるハードディスクレコーダ（HDDレコーダ）５００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
　ハードディスクレコーダ５００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ５００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
　さらに、ハードディスクレコーダ５００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることができる。
　ハードディスクレコーダ５００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることもできる。
　もちろん、この他の動作も可能である。
　図３０に示されるように、ハードディスクレコーダ５００は、受信部５２１、復調部５２２、デマルチプレクサ５２３、オーディオデコーダ５２４、ビデオデコーダ５２５、およびレコーダ制御部５２６を有する。ハードディスクレコーダ５００は、さらに、EPGデータメモリ５２７、プログラムメモリ５２８、ワークメモリ５２９、ディスプレイコンバータ５３０、OSD（On Screen Display）制御部５３１、ディスプレイ制御部５３２、記録再生部５３３、D/Aコンバータ５３４、および通信部５３５を有する。
　また、ディスプレイコンバータ５３０は、ビデオエンコーダ５４１を有する。記録再生部５３３は、エンコーダ５５１およびデコーダ５５２を有する。
　受信部５２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部５２６に出力する。レコーダ制御部５２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ５２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部５２６は、このとき、ワークメモリ５２９を必要に応じて使用する。
　通信部５３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部５３５は、レコーダ制御部５２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
　復調部５２２は、チューナより供給された信号を、復調し、デマルチプレクサ５２３に出力する。デマルチプレクサ５２３は、復調部５２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ５２４、ビデオデコーダ５２５、またはレコーダ制御部５２６に出力する。
　オーディオデコーダ５２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部５３３に出力する。ビデオデコーダ５２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ５３０に出力する。レコーダ制御部５２６は、入力されたEPGデータをEPGデータメモリ５２７に供給し、記憶させる。
　ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されたビデオデータを、ビデオエンコーダ５４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部５３３に出力する。また、ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されるビデオデータの画面のサイズを、モニタ５６０のサイズに対応するサイズに変換する。ディスプレイコンバータ５３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ５４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部５３２に出力する。
　ディスプレイ制御部５３２は、レコーダ制御部５２６の制御のもと、OSD（On Screen Display）制御部５３１が出力したOSD信号を、ディスプレイコンバータ５３０より入力されたビデオ信号に重畳し、モニタ５６０のディスプレイに出力し、表示させる。
　モニタ５６０にはまた、オーディオデコーダ５２４が出力したオーディオデータが、D/Aコンバータ５３４によりアナログ信号に変換されて供給されている。モニタ５６０は、このオーディオ信号を内蔵するスピーカから出力する。
　記録再生部５３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
　記録再生部５３３は、例えば、オーディオデコーダ５２４より供給されるオーディオデータを、エンコーダ５５１によりMPEG方式でエンコードする。また、記録再生部５３３は、ディスプレイコンバータ５３０のビデオエンコーダ５４１より供給されるビデオデータを、エンコーダ５５１によりMPEG方式でエンコードする。記録再生部５３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部５３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
　記録再生部５３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部５３３は、デコーダ５５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部５３３は、復号したオーディオデータをD/A変換し、モニタ５６０のスピーカに出力する。また、記録再生部５３３は、復号したビデオデータをD/A変換し、モニタ５６０のディスプレイに出力する。
　レコーダ制御部５２６は、受信部５２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ５２７から最新のEPGデータを読み出し、それをOSD制御部５３１に供給する。OSD制御部５３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部５３２に出力する。ディスプレイ制御部５３２は、OSD制御部５３１より入力されたビデオデータをモニタ５６０のディスプレイに出力し、表示させる。これにより、モニタ５６０のディスプレイには、EPG（電子番組ガイド）が表示される。
　また、ハードディスクレコーダ５００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
　通信部５３５は、レコーダ制御部５２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部５２６に供給する。レコーダ制御部５２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部５３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部５２６および記録再生部５３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
　また、レコーダ制御部５２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ５３０に供給する。ディスプレイコンバータ５３０は、ビデオデコーダ５２５から供給されるビデオデータと同様に、レコーダ制御部５２６から供給されるビデオデータを処理し、ディスプレイ制御部５３２を介してモニタ５６０に供給し、その画像を表示させる。
　また、この画像表示に合わせて、レコーダ制御部５２６が、復号したオーディオデータを、D/Aコンバータ５３４を介してモニタ５６０に供給し、その音声をスピーカから出力させるようにしてもよい。
　さらに、レコーダ制御部５２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ５２７に供給する。
　以上のようなハードディスクレコーダ５００は、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダとして画像復号装置１５１を用いる。したがって、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダは、画像復号装置１５１の場合と同様に、イントラ予測における符号化効率を向上させることができる。
　したがって、ハードディスクレコーダ５００は、精度の高い予測画像を生成することができる。その結果として、ハードディスクレコーダ５００は、例えば、チューナを介して受信されたビデオデータの符号化データや、記録再生部５３３のハードディスクから読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、モニタ５６０に表示させることができる。
　また、ハードディスクレコーダ５００は、エンコーダ５５１として画像符号化装置５１を用いる。したがって、エンコーダ５５１は、画像符号化装置５１の場合と同様に、イントラ予測における符号化効率を向上させることができる。
　したがって、ハードディスクレコーダ５００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、ハードディスクレコーダ５００は、ハードディスクの記憶領域をより効率よく使用することができる。
　なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ５００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ５００の場合と同様に、画像符号化装置５１および画像復号装置１５１を適用することができる。
［カメラの構成例］
　図３１は、本発明を適用した画像復号装置および画像符号化装置を用いるカメラの主な構成例を示すブロック図である。
　図３１に示されるカメラ６００は、被写体を撮像し、被写体の画像をLCD６１６に表示させたり、それを画像データとして、記録メディア６３３に記録したりする。
　レンズブロック６１１は、光（すなわち、被写体の映像）を、CCD/CMOS６１２に入射させる。CCD/CMOS６１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部６１３に供給する。
　カメラ信号処理部６１３は、CCD/CMOS６１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部６１４に供給する。画像信号処理部６１４は、コントローラ６２１の制御の下、カメラ信号処理部６１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ６４１で例えばMPEG方式により符号化したりする。画像信号処理部６１４は、画像信号を符号化して生成した符号化データを、デコーダ６１５に供給する。さらに、画像信号処理部６１４は、オンスクリーンディスプレイ（OSD）６２０において生成された表示用データを取得し、それをデコーダ６１５に供給する。
　以上の処理において、カメラ信号処理部６１３は、バス６１７を介して接続されるDRAM（Dynamic Random Access Memory）６１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM６１８に保持させる。
　デコーダ６１５は、画像信号処理部６１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD６１６に供給する。また、デコーダ６１５は、画像信号処理部６１４から供給された表示用データをLCD６１６に供給する。LCD６１６は、デコーダ６１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
　オンスクリーンディスプレイ６２０は、コントローラ６２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス６１７を介して画像信号処理部６１４に出力する。
　コントローラ６２１は、ユーザが操作部６２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス６１７を介して、画像信号処理部６１４、DRAM６１８、外部インタフェース６１９、オンスクリーンディスプレイ６２０、およびメディアドライブ６２３等を制御する。FLASH ROM６２４には、コントローラ６２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
　例えば、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５に代わって、DRAM６１８に記憶されている画像データを符号化したり、DRAM６１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部６１４やデコーダ６１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
　また、例えば、操作部６２２から画像印刷の開始が指示された場合、コントローラ６２１は、DRAM６１８から画像データを読み出し、それを、バス６１７を介して外部インタフェース６１９に接続されるプリンタ６３４に供給して印刷させる。
　さらに、例えば、操作部６２２から画像記録が指示された場合、コントローラ６２１は、DRAM６１８から符号化データを読み出し、それを、バス６１７を介してメディアドライブ６２３に装着される記録メディア６３３に供給して記憶させる。
　記録メディア６３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア６３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
　また、メディアドライブ６２３と記録メディア６３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
　外部インタフェース６１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ６３４と接続される。また、外部インタフェース６１９には、必要に応じてドライブ６３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア６３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM６２４にインストールされる。
　さらに、外部インタフェース６１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ６２１は、例えば、操作部６２２からの指示に従って、DRAM６１８から符号化データを読み出し、それを外部インタフェース６１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ６２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース６１９を介して取得し、それをDRAM６１８に保持させたり、画像信号処理部６１４に供給したりすることができる。
　以上のようなカメラ６００は、デコーダ６１５として画像復号装置１５１を用いる。したがって、デコーダ６１５は、画像復号装置１５１の場合と同様に、イントラ予測における符号化効率を向上させることができる。
　したがって、カメラ６００は、精度の高い予測画像を生成することができる。その結果として、カメラ６００は、例えば、CCD/CMOS６１２において生成された画像データや、DRAM６１８または記録メディア６３３から読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、LCD６１６に表示させることができる。
　また、カメラ６００は、エンコーダ６４１として画像符号化装置５１を用いる。したがって、エンコーダ６４１は、画像符号化装置５１の場合と同様に、イントラ予測における符号化効率を向上させることができる。
　したがって、カメラ６００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、カメラ６００は、DRAM６１８や記録メディア６３３の記憶領域をより効率よく使用することができる。
　なお、コントローラ６２１が行う復号処理に画像復号装置１５１の復号方法を適用するようにしてもよい。同様に、コントローラ６２１が行う符号化処理に画像符号化装置５１の符号化方法を適用するようにしてもよい。
　また、カメラ６００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
　もちろん、画像符号化装置５１および画像復号装置１５１は、上述した装置以外の装置やシステムにも適用可能である。
　５１　画像符号化装置，　６６　可逆符号化部，　７３　イントラ予測部，　７４　ラインバッファ，　７５　スプライン補間部，　８１　候補モード判別部，　８２　予測画像生成部，　８３　コスト関数算出部，　８４　モード判定部，　９１　隣接画素選択部，　９２　スプラインパラメータ生成部，１５１　画像復号装置，　１６２　可逆復号部，　１７０　イントラ予測部，　１７１　ラインバッファ，　１７２　スプライン補間部，　１８１　予測モードバッファ，　１８２　予測画像生成部，　１９１　隣接画素選択部，　１９２　スプラインパラメータ生成部

Claims (13)

  1. 　対象ブロックの複数ラインの隣接画素を受け取る受け取り手段と、
    　前記受け取り手段により受け取られた前記複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことで、前記対象ブロックのイントラ予測画素値を生成するイントラ予測手段と、
    　生成された前記対象ブロックのイントラ予測画素値に基づいて、前記対象ブロックの画像を符号化する符号化手段と
    　を備える画像処理装置。
  2. 　前記イントラ予測手段は、
    　　前記複数ラインの隣接画素を用いて多項式近似によって補間パラメータを算出するパラメータ算出手段と、
    　　前記パラメータ算出手段により算出された前記補間パラメータを用いて、前記対象ブロックのイントラ予測画素値を生成する予測画像生成手段と
    　を備える請求項１に記載の画像処理装置。
  3. 　前記イントラ予測手段は、前記受け取り手段により受け取られたＮ（Ｎ＜１）ラインの隣接画素を用いる際、Ｎ－１次の多項式近似による外挿処理を行う
    　請求項２に記載の画像処理装置。
  4. 　前記パラメータ算出手段は、前記Ｎラインの隣接画素を用い、Ｎ次の連立方程式を解くことで、前記Ｎ－１次の多項式のＮ個の定数を算出し、
    　前記予測画像生成手段は、前記パラメータ算出手段により算出された前記Ｎ個の定数を用いた前記Ｎ－１次の多項式により、前記対象ブロックのイントラ予測画素値を生成する
    　請求項３に記載の画像処理装置。
  5. 　前記予測画像生成手段は、入力信号がＮビットの画像信号である場合、生成された前記イントラ予測画素値を、0～2N-1の範囲の値にクリップする
    　請求項４に記載の画像処理装置。
  6. 　前記イントラ予測手段は、前記受け取り手段により受け取られた前記Ｎラインの隣接画素に、物体境界が含まれるか否かを検出した検出結果に応じた次数の多項式近似による外挿処理を行う
    　請求項２に記載の画像処理装置。
  7. 　前記イントラ予測手段は、隣接画素における画素間の差分情報により、前記物体境界であるか否かを判定する
    　請求項６に記載の画像処理装置。
  8. 　前記イントラ予測手段は、量子化パラメータに応じて定められる閾値を用いて、隣接画素における画素間の差分情報により、前記物体境界であるか否かを判定する
    　請求項７に記載の画像処理装置。
  9. 　前記閾値は、より大きな量子化パラメータに対してより大きく設定される
    　請求項８に記載の画像処理装置。
  10. 　前記イントラ予測手段は、前記対象ブロックのブロックサイズの大きさに応じた数の前記複数ラインの隣接画素を用いる
    　請求項２に記載の画像処理装置。
  11. 　画像処理装置の受け取り手段が、
    　対象ブロックの複数ラインの隣接画素を受け取り、
    　前記画像処理装置のイントラ予測手段が、
    　受け取られた前記対象ブロックの複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことで、前記対象ブロックのイントラ予測画素値を生成し、
    　前記画像処理装置の符号化手段が、
    　生成された前記対象ブロックのイントラ予測画素値に基づいて、前記対象ブロックの画像を符号化する
    　画像処理方法。
  12. 　対象ブロックの画像が符号化された符号化情報を復号してイントラ予測モードを取得する復号手段と、
    　前記イントラ予測モードに応じた前記対象ブロックの複数ラインの隣接画素を受け取る受け取り手段と、
    　前記受け取り手段により受け取られた前記複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことで、前記対象ブロックのイントラ予測画素値を生成するイントラ予測手段と
    　を備える画像処理装置。
  13. 　画像処理装置の復号手段が、
    　対象ブロックの画像が符号化された符号化情報を復号してイントラ予測モードを取得し、
    　前記画像処理装置の受け取り手段が、
    　前記イントラ予測モードに応じた前記対象ブロックの複数ラインの隣接画素を受け取り、
    　前記画像処理装置のイントラ予測手段が、
    　受け取られた前記対象ブロックの複数ラインの隣接画素を用いて多項式近似による外挿処理を行うことで、前記対象ブロックのイントラ予測画素値を生成する
    　画像処理方法。
PCT/JP2011/050493 2010-01-22 2011-01-14 画像処理装置および方法 WO2011089972A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2011800060990A CN102714734A (zh) 2010-01-22 2011-01-14 图像处理设备和方法
US13/521,729 US20120287998A1 (en) 2010-01-22 2011-01-14 Image processing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010012514A JP2011151682A (ja) 2010-01-22 2010-01-22 画像処理装置および方法
JP2010-012514 2010-01-22

Publications (1)

Publication Number Publication Date
WO2011089972A1 true WO2011089972A1 (ja) 2011-07-28

Family

ID=44306775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/050493 WO2011089972A1 (ja) 2010-01-22 2011-01-14 画像処理装置および方法

Country Status (4)

Country Link
US (1) US20120287998A1 (ja)
JP (1) JP2011151682A (ja)
CN (1) CN102714734A (ja)
WO (1) WO2011089972A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015526004A (ja) * 2012-07-04 2015-09-07 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 空間予測方法及び空間予測装置
AU2019210516B2 (en) * 2012-09-24 2021-02-11 Ntt Docomo, Inc. Video prediction encoding device, video prediction encoding method, video prediction decoding device and video prediction decoding method

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106933B1 (en) * 2010-05-18 2015-08-11 Google Inc. Apparatus and method for encoding video using different second-stage transform
WO2012134046A2 (ko) 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
US8886648B1 (en) 2012-01-31 2014-11-11 Google Inc. System and method for computation of document similarity
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9978156B2 (en) * 2012-10-03 2018-05-22 Avago Technologies General Ip (Singapore) Pte. Ltd. High-throughput image and video compression
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
KR101466574B1 (ko) * 2013-03-19 2014-12-02 삼성전자주식회사 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
GB2516426B (en) * 2013-07-17 2015-10-07 Gurulogic Microsystems Oy Encoder, decoder and method of operation using interpolation
US9247251B1 (en) * 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
US10223472B2 (en) * 2015-12-15 2019-03-05 Facebook, Inc. Systems and methods for providing progressive images based on data range requests
US10390021B2 (en) * 2016-03-18 2019-08-20 Mediatek Inc. Method and apparatus of video coding
CN112771865B (zh) * 2018-08-23 2024-11-19 交互数字Ce专利控股公司 使用参数化模型对量化矩阵进行编解码
CN113994703A (zh) * 2019-06-11 2022-01-28 索尼集团公司 图像处理装置和图像处理方法
WO2025011499A1 (en) * 2023-07-07 2025-01-16 Mediatek Inc. Extrapolation intra prediction model inheritance

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005107267A1 (ja) * 2004-04-28 2005-11-10 Hitachi, Ltd. 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法
JP2008245088A (ja) * 2007-03-28 2008-10-09 Kddi R & D Laboratories Inc 動画像符号化装置および動画像復号装置のイントラ予測方式
WO2009051091A1 (ja) * 2007-10-15 2009-04-23 Nippon Telegraph And Telephone Corporation 画像符号化装置及び復号装置、画像符号化方法及び復号方法、それらのプログラム並びにプログラムを記録した記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328634A (ja) * 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
US7792188B2 (en) * 2004-06-27 2010-09-07 Apple Inc. Selecting encoding types and predictive modes for encoding video data
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
CN101216541B (zh) * 2008-01-15 2012-06-06 新博医疗技术有限公司 一种磁共振成像系统梯度场球谐系数的获取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005107267A1 (ja) * 2004-04-28 2005-11-10 Hitachi, Ltd. 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法
JP2008245088A (ja) * 2007-03-28 2008-10-09 Kddi R & D Laboratories Inc 動画像符号化装置および動画像復号装置のイントラ予測方式
WO2009051091A1 (ja) * 2007-10-15 2009-04-23 Nippon Telegraph And Telephone Corporation 画像符号化装置及び復号装置、画像符号化方法及び復号方法、それらのプログラム並びにプログラムを記録した記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015526004A (ja) * 2012-07-04 2015-09-07 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 空間予測方法及び空間予測装置
JP2017195638A (ja) * 2012-07-04 2017-10-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 符合化及び復号化のための方法及び装置
US9848204B2 (en) 2012-07-04 2017-12-19 Thomson Licensing Spatial prediction method and device, coding and decoding methods and devices
AU2019210516B2 (en) * 2012-09-24 2021-02-11 Ntt Docomo, Inc. Video prediction encoding device, video prediction encoding method, video prediction decoding device and video prediction decoding method
AU2019210532B2 (en) * 2012-09-24 2021-03-04 Ntt Docomo, Inc. Video prediction encoding device, video prediction encoding method, video prediction decoding device and video prediction decoding method

Also Published As

Publication number Publication date
JP2011151682A (ja) 2011-08-04
CN102714734A (zh) 2012-10-03
US20120287998A1 (en) 2012-11-15

Similar Documents

Publication Publication Date Title
WO2011089972A1 (ja) 画像処理装置および方法
JP5597968B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
WO2011018965A1 (ja) 画像処理装置および方法
WO2011040302A1 (ja) 画像処理装置および方法
WO2010095560A1 (ja) 画像処理装置および方法
WO2011024685A1 (ja) 画像処理装置および方法
WO2011125866A1 (ja) 画像処理装置および方法
WO2012096229A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
WO2011089973A1 (ja) 画像処理装置および方法
WO2010035732A1 (ja) 画像処理装置および方法
WO2011086964A1 (ja) 画像処理装置および方法、並びにプログラム
JP5556996B2 (ja) 画像処理装置および方法
WO2011086963A1 (ja) 画像処理装置および方法
WO2010101063A1 (ja) 画像処理装置および方法
JP2011151431A (ja) 画像処理装置および方法
WO2010035735A1 (ja) 画像処理装置および方法
JP6048774B2 (ja) 画像処理装置および方法
JP2012138884A (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
WO2012081477A1 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180006099.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11734579

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13521729

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11734579

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载