WO2010046990A1 - 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体 - Google Patents
内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- WO2010046990A1 WO2010046990A1 PCT/JP2008/069272 JP2008069272W WO2010046990A1 WO 2010046990 A1 WO2010046990 A1 WO 2010046990A1 JP 2008069272 W JP2008069272 W JP 2008069272W WO 2010046990 A1 WO2010046990 A1 WO 2010046990A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- frame
- character
- input
- interpolation
- vector
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 40
- 239000013598 vector Substances 0.000 claims abstract description 247
- 238000001514 detection method Methods 0.000 claims abstract description 101
- 238000006243 chemical reaction Methods 0.000 claims description 71
- 230000015572 biosynthetic process Effects 0.000 claims description 50
- 238000003786 synthesis reaction Methods 0.000 claims description 50
- 230000003247 decreasing effect Effects 0.000 claims description 19
- 230000002194 synthesizing effect Effects 0.000 claims description 18
- 230000007423 decrease Effects 0.000 claims description 12
- 238000004519 manufacturing process Methods 0.000 claims description 10
- 238000003780 insertion Methods 0.000 claims description 6
- 230000037431 insertion Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 20
- 239000003086 colorant Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Definitions
- the present invention relates to an interpolation frame generation device, a frame rate conversion device, a display device, an interpolation frame generation method, a program thereof, and a recording medium on which the program is recorded.
- Patent Document 1 a configuration for converting a frame rate of an input video composed of a plurality of frames is known (see, for example, Patent Document 1).
- an interpolation frame is generated using a motion vector for a character area to be scrolled.
- any processing other than a character region can be applied, in which no interpolation frame is generated, linear interpolation processing, or replacement processing using a neighboring frame is performed.
- An object of the present invention is to record an interpolation frame generation device, a frame rate conversion device, a display device, an interpolation frame generation method, a program thereof, and a program thereof that can appropriately generate an interpolation frame with guaranteed quality. It is to provide a recording medium.
- the interpolated frame generation apparatus outputs an input video composed of a plurality of input frames that can be considered to be input at an input synchronization timing based on an input image signal having a predetermined input frequency as an output image signal having a predetermined output frequency.
- An interpolated frame generating device that generates the interpolated frame when converting the frame rate to an output video composed of the input frame output at an output synchronization timing based on the output frame and an interpolated frame interpolated between the input frames.
- a character detection unit that detects a character scroll area that moves in a predetermined direction included in the input frame, a vector acquisition unit that acquires a motion in the input frame for each input frame as a motion vector, and the interpolation frame Used to generate the output synchronization timing and the interpolation frame.
- An interpolation distance detection unit that detects an interval of the input synchronization timing of the input frame as an interpolation distance, and a non-character scroll area based on the interpolation distance and a non-character partial gain set to a predetermined value
- a non-character partial vector is set by adjusting the size of the first motion vector corresponding to the non-character part vector, a non-character combining frame corresponding to the motion based on the non-character partial vector is generated, and the interpolation Based on the character part gain set to a value equal to or greater than the distance and the part gain other than the character, a character part vector is set by adjusting the size of the second motion vector corresponding to the character scroll area,
- a vector frame rate conversion processing unit for generating a character synthesis frame corresponding to a motion based on a character partial vector;
- An interpolation frame generation unit that generates the interpolation frame by synthesizing a portion other than the character scroll area in the outer synthesis frame and the character scroll area in the character synthesis frame
- the interpolated frame generation apparatus outputs an input video composed of a plurality of input frames that can be considered to be input at an input synchronization timing based on an input image signal having a predetermined input frequency as an output image signal having a predetermined output frequency.
- An interpolated frame generating device that generates the interpolated frame when converting the frame rate to an output video composed of the input frame output at an output synchronization timing based on the output frame and an interpolated frame interpolated between the input frames.
- a character detection unit that detects a character scroll area that moves in a predetermined direction included in the input frame, a vector acquisition unit that acquires a motion in the input frame for each input frame as a motion vector, and the interpolation frame Used to generate the output synchronization timing and the interpolation frame.
- An interpolation distance detector that detects an interval of the input synchronization timing of the input frame as an interpolation distance, and each of the input frame used for generating the interpolation frame and the input frame adjacent to the input frame.
- a continuity of the first motion vector corresponding to a portion other than the character scroll area in the vector, and a vector acquisition accuracy determination unit for determining whether or not the continuity of the first motion vector is higher than a predetermined level.
- a non-character partial vector is set by adjusting the size of the motion vector, and the character is based on the non-character partial vector.
- a vector frame rate for adjusting a size of the second motion vector corresponding to the character scroll area to set a character part vector and generating a character composition frame in which the character scroll area is moved based on the character part vector A weighted average for generating a weighted average synthesis frame by executing a linear interpolation process of a conversion processing unit and a pair of input frames corresponding to the input synchronization timing before and after the output synchronization timing at which the interpolation distance is detected When it is determined that the continuity between the frame rate conversion processing unit and the first motion vector is high When the interpolation frame is generated by synthesizing the part other than the character scroll area in the non-character composition frame and the character scroll area in the character composition frame, and it is determined that the continuity is low An interpolation frame generation unit that
- a frame rate conversion apparatus interpolates between the input frames the interpolation frame generation apparatus described above and the interpolation frame generated by the interpolation frame generation apparatus, and outputs an output video obtained by frame rate conversion. And an interpolation control unit to be displayed on the display unit.
- an input video composed of a plurality of input frames that can be considered to be input at an input synchronization timing based on an input image signal having a predetermined input frequency is calculated by a calculation means with a predetermined output frequency.
- the calculation means detects a character scroll area that moves in a predetermined direction included in the input frame, and acquires a motion in the input frame as a motion vector for each input frame.
- the size of the first motion vector corresponding to a portion other than the character scroll area is adjusted to set a non-character partial vector, and the non-character corresponding to the motion based on the non-character partial vector
- a frame for composition is generated, and the magnitude of the second motion vector corresponding to the character scroll area is determined based on the interpolation distance and a character partial gain set to a value greater than or equal to the non-character partial gain.
- a vector that generates a character composition frame corresponding to movement based on this character part vector by adjusting and setting a character part vector A frame rate conversion processing step, and an interpolation frame generation step of generating the interpolation frame by synthesizing a portion other than the character scroll area in the non-character synthesis frame and the character scroll area in the character synthesis frame. And performing the above.
- an input video composed of a plurality of input frames that can be considered to be input at an input synchronization timing based on an input image signal having a predetermined input frequency is calculated by a calculation means.
- a frame generation method a character detection step of detecting a character scroll region moving in a predetermined direction included in the input frame, a vector acquisition step of acquiring a motion in the input frame as a motion vector for each input frame, The output synchronization timing at which the interpolation frame is output, and the interpolation
- An interpolation distance detecting step for detecting an interval of the input synchronization timing of the input frame used for generating a frame as an interpolation distance; the input frame used for generating the interpolation frame; and an adjacent to the input frame.
- a vector frame rate conversion processing step for generating a pair of input frames corresponding to the input synchronization timing before and after the output synchronization timing at which the interpolation distance is detected.
- a weighted average frame rate conversion process for generating a frame, and the first motion vector The interpolated frame is generated by synthesizing the part other than the character scroll area in the non-character composition frame and the character scroll area in the character composition frame.
- the interpolation frame is generated by synthesizing a portion other than the character scroll area in the weighted average synthesis frame and the character scroll area in the character synthesis frame.
- an interpolation frame generation step is performed by synthesizing a portion other than the character scroll area in the weighted average synthesis frame and the character scroll area in the character synthesis frame.
- the interpolated frame generation program of the present invention is characterized by causing an arithmetic means to execute the above-described interpolated frame generation method.
- the interpolation frame generation program according to the present invention is characterized in that the calculation means functions as the above-described interpolation frame generation device.
- the recording medium on which the interpolation frame generation program of the present invention is recorded is characterized in that the above-described interpolation frame generation program is recorded so as to be readable by the calculation means.
- FIG. 1 is a block diagram illustrating a schematic configuration of a display device according to a first embodiment of the present invention. It is a schematic diagram which shows the input image
- FIG. 1 is a block diagram illustrating a schematic configuration of a display device.
- FIG. 2 is a schematic diagram showing an input video.
- FIG. 3 is a schematic diagram illustrating a generation state of a non-character composition frame.
- FIG. 4 is a schematic diagram showing a generation state of a character composition frame.
- the display device 100 includes a display unit 110 and a frame rate conversion device 120.
- the display unit 110 is connected to the frame rate conversion device 120.
- the display unit 110 displays the output video with the frame rate converted under the control of the frame rate conversion device 120.
- Examples of the display unit 110 include a PDP (Plasma Display Panel), a liquid crystal panel, an organic EL (Electro Luminescence) panel, a CRT (Cathode-Ray Tube), an FED (Field Emission Display), and an electrophoretic display panel.
- the frame rate conversion apparatus 120 has an input video N composed of an input frame F (hereinafter, the a-th input frame is referred to as an input frame Fa as appropriate) input based on a 24 Hz input vertical synchronization signal. Is frame rate converted into an output image composed of a plurality of output frames output based on the 60 Hz output vertical synchronization signal.
- the frame rate conversion apparatus 120 includes an interpolation frame generation apparatus 130 as an arithmetic unit and an interpolation control unit 140.
- the interpolated frame generation apparatus 130 includes a frame memory 131, a character detection unit 132, a vector acquisition unit 133, a gain control unit 134 that also functions as a vector acquisition accuracy determination unit, An interpolation distance ratio recognition unit 135 as an insertion distance detection unit, a vector frame rate conversion processing unit 136, and an interpolation frame generation unit 138 are provided.
- the frame memory 131 acquires the image signal from the image signal output unit 10, temporarily accumulates the input frame F based on the image signal, and appropriately transmits it to the vector acquisition unit 133 and the vector frame rate conversion processing unit 136. Output.
- the character detection unit 132 for example, a character scroll area C that scrolls from the right side to the left side in the input frame F (hereinafter, the character scroll area of the c-th input frame F is referred to as a character scroll area Cc as appropriate). ) Is detected. Then, scroll position information specifying the position of the character scroll area C is output to the vector acquisition unit 133.
- the vector acquisition unit 133 acquires the input frame F (a + 1) based on the image signal from the image signal output unit 10 and the input frame Fa temporarily stored in the frame memory 131. Then, as shown in FIG. 3, the movement of the portions other than the character scroll area C in the input frames F (a + 1) and Fa is represented by the first input video detection vector V (a + 1) and not shown. Get as a local area vector. In FIG. 3, only the object Z in the input frame F in which the character scroll area C and the object Z exist is illustrated.
- the vector acquisition unit 133 when acquiring the first input video detection vector V (a + 1), the vector acquisition unit 133 except for the portion inside the input frame F (a + 1) by a predetermined distance from the outer edge (not shown).
- One motion detection block composed of parts is set. This motion detection block is composed of a plurality of local areas divided into a plurality. That is, the motion detection block has a first block size composed of pixels not shown.
- the vector acquisition unit 133 converts the motion in the motion detection block, that is, the motion in almost the entire input frame F (a + 1), to one first input video detection vector. Obtained as V (a + 1) and output to the gain controller 134.
- a method for obtaining the first input video detection vector V (a + 1) for example, a method as described in Japanese Patent Publication No. Sho 62-62109 (hereinafter referred to as a pattern matching method) or Japanese Patent Laid-Open No. Sho 62.
- Examples include the method described in JP-A-206980 (hereinafter referred to as iterative gradient method). That is, when the pattern matching method is used, a plurality of blocks (hereinafter referred to as the following) having the same number of pixels as the motion detection block of the input frame F (a + 1) and shifted in different directions with respect to the input frame Fa. Set as “Past block”.
- the one having the highest correlation with the motion detection block is detected from the plurality of past blocks, and the first input video detection vector V (a + 1) is obtained based on the detected past block and motion detection block.
- An optimal one for detecting the first input video detection vector V (a + 1) is selected as the initial displacement vector. Then, the calculation is started from a value close to the true first input video detection vector V (a + 1) of the motion detection block, thereby reducing the number of times of the gradient method calculation and the second true input video.
- a detection vector V (a + 1) is detected.
- the vector acquisition unit 133 acquires the motion in each local area as a local area vector, and outputs it to the gain control unit 134. That is, the motion in the local area composed of the second number of pixels smaller than the first number is detected.
- the same processing as that for acquiring the first input video detection vector V (a + 1) is performed. Note that, as the local area vector acquisition process, a process different from that at the time of acquiring the first input video detection vector V (a + 1) may be applied.
- the vector acquisition unit 133 acquires the movement of the character scroll area C in the input frames F (a + 1) and Fa as the second input video detection vector B (a + 1). . 4 and FIG. 13 to be described later, only the character scroll area C in the input frame F in which the character scroll area C and the object Z exist are illustrated. In order to facilitate understanding of the contents of the present invention, a description will be given using a schematic diagram in which the character scroll area C that is actually scrolling to the left is scrolled from the lower side to the upper side. Specifically, when acquiring the second input video detection vector B (a + 1), the vector acquisition unit 133 includes one character scroll area C in the input frame F (a + 1). Set the motion detection block.
- This motion detection block is composed of a plurality of local areas divided into a plurality. That is, the motion detection block has a second block size made up of pixels not shown. Then, for each input frame F (a + 1), the vector acquisition unit 133 uses the motion in the motion detection block, that is, the motion in the character scroll area C as one second input video detection vector B (a + 1). Obtained and output to the vector frame rate conversion processing unit 136.
- the gain control unit 134 Based on the continuity of the first input image detection vector V acquired by the vector acquisition unit 133, the gain control unit 134, as shown in FIG. Increase or decrease the partial gain except for the character set to.
- the gain control unit 134 has no continuity of the first input video detection vector V, that is, lower than a predetermined level. to decide.
- the first input video detection vector V can be acquired and the number of local area vectors matching the first input video detection vector V is equal to or greater than a threshold, the continuity of the first input video detection vector V It is determined that there is, that is, higher than a predetermined level. If the number of local area vectors that match the first input video detection vector V is less than the threshold, it is determined that the first input video detection vector V is not continuous.
- the gain control unit 134 may determine the acquisition accuracy of the first input video detection vector V as follows.
- the vector acquisition unit 133 cannot acquire the first input video detection vector V, it is determined that the first input video detection vector V is not continuous and the acquisition accuracy is low. Further, when the first input video detection vector V can be acquired, the variance of the local area vector is calculated. If the variance is less than or equal to the threshold value, it is determined that the first input video detection vector V is continuous and the acquisition accuracy is high. If the variance is greater than the threshold value, the first input video detection vector V is not continuous. It may be determined that the acquisition accuracy is low.
- the gain control unit 134 performs a process of increasing the non-character partial gain by a predetermined value, for example, a process of increasing by 0.25.
- a predetermined value for example, a process of increasing by 0.25.
- the first input video detection vector V8 is acquired and determined to be continuous, and the non-character partial gain at the output synchronization timing of the input frame F7 is set to 0.25. If this is the case, processing for sequentially increasing the non-character partial gain corresponding to the non-character combining frames L14 and L15 by 0.25 is performed.
- the gain controller 134 reduces the non-character partial gain by a predetermined value when the first input video detection vector V is not continuous and the non-character partial gain is set to a value larger than 0. Process, for example, reduce by 0.25. For example, as shown in FIG. 3, since the erroneous first input video detection vector V7 is acquired, it is determined that there is no continuity, and the non-character partial gain corresponding to the non-character composition frame L11 is 1. Is set, the non-character partial gains corresponding to the non-character combining frames L12 and L13 and the input frame F7 are sequentially reduced by 0.25.
- the gain controller 134 has the continuity of the first input video detection vector V and the non-character partial gain is set to 1, or there is no continuity and the non-character partial gain.
- the partial gain setting other than this character is maintained.
- the gain control unit 134 increases or decreases the non-character partial gain so as to be 0 or more and 1 or less.
- the partial gain other than the increased / decreased character is output to the vector frame rate conversion processing unit 136.
- the increase / decrease amount of the non-character partial gain is not limited to 0.25, and may be 0.1 or 0.5. Further, the amount to be increased and the amount to be decreased may be increased or decreased.
- the gain control unit 134 always sets the character part gain corresponding to the character scroll area C detected by the character detection unit 132 to 1 and outputs the gain to the vector frame rate conversion processing unit 136. To do.
- the character scroll area C since the moving speed and the moving direction are substantially constant, the motion vector acquisition accuracy is higher than that of the object Z in a portion other than the character scroll area C. For this reason, the character part gain is always set to 1 and the non-character part gain is set within a range equal to or less than the character part gain.
- the interpolation distance ratio recognition unit 135 obtains the input vertical synchronization signal of the input frame F and the output vertical synchronization signal of the non-predetermined synthesis frame L from the synchronization signal output unit 20, and the non-predetermined synthesis frame L In addition to recognizing the input frame F at the input synchronization timing that has the shortest interval with the output synchronization timing, the interval between the output synchronization timing and the input synchronization timing is recognized as the interpolation distance. Further, as shown in FIGS. 3 and 4, a value obtained by dividing the interpolation distance by the interval of the output synchronization timing is calculated as the interpolation distance ratio.
- the interpolation distance ratio is a positive value when the output synchronization timing of the non-character composition frame L is close to the input synchronization timing of the previous input frame F, and is close to the input synchronization timing of the subsequent input frame F. Negative value.
- the interpolation distance ratio is 0 when there is an input frame F having the same output synchronization timing and input synchronization timing. Then, the interpolation distance ratio recognition unit 135 outputs the interpolation distance ratio to the vector frame rate conversion processing unit 136.
- the vector frame rate conversion processing unit 136 generates a non-character composition frame L as shown in FIG. 3 and a character composition frame P as shown in FIG. 4 and outputs them to the interpolation frame generation unit 138.
- the non-c-th character composition frame L and the character composition frame P are referred to as a non-character composition frame Lc and a character composition frame Pc, as appropriate.
- the vector frame rate conversion processing unit 136 multiplies the interpolation distance ratio and the non-character partial gain, Find the unity gain. Then, the first input video use vector Kc (c is a natural number) is set by multiplying the first input video detection vector V (a + 1) by the first gain. For example, as shown in FIG. 3, when the first gain corresponding to the non-character composition frame L15 is -0.375, this -0.375 is multiplied by the first input video detection vector V8. First input video use vector K15 is set.
- the vector frame rate conversion processing unit 136 generates a non-character composition frame L in which the object Z in a portion other than the character scroll area C has moved based on the first input video use vector Kc. For example, as shown in FIG. 3, a frame L15 for composition other than the character in which the object Z8 of the input frame F8 has moved is generated based on the first input video use vector K15. Then, as shown in FIG. 3, the vector frame rate conversion processing unit 136 outputs to the interpolation frame generation unit 138 as a synthesis frame L other than characters used for generation of the interpolation frame at a predetermined output synchronization timing. .
- the non-character composition frame L when the non-character composition frame L is generated, the first input video use vector K generated based on the first gain set to a value equal to or less than the interpolation distance ratio is used. Therefore, the non-character composition frame L, which will be described in detail later, is compared with the character composition frame P generated using the second input video use vector D based on the interpolation distance ratio. The amount of movement may be small.
- the vector frame rate conversion processing unit 136 obtains the second gain by multiplying the interpolation distance ratio and the character part gain. Then, the first input video use vector Dc (c is a natural number) is set by multiplying the second input video detection vector B (a + 1) by the second gain. For example, as shown in FIG. 4, when the second gain corresponding to the character composition frame P15 is -0.50, the -0.50 is multiplied by the second input video detection vector B8, A second input video use vector D15 is set.
- the vector frame rate conversion processing unit 136 generates a character composition frame Pc in which the character scroll area C has moved based on the second input video use vector Dc. For example, as shown in FIG. 4, a character composition frame P15 in which the character scroll area C8 of the input frame F8 is moved is generated based on the second input video use vector D15. Then, as shown in FIG. 4, the vector frame rate conversion processing unit 136 outputs to the interpolation frame generation unit 138 as a character synthesis frame P used for generation of the interpolation frame at a predetermined output synchronization timing.
- the interpolation frame generation unit 138 combines the non-character combining frame L and the character combining frame P from the vector frame rate conversion processing unit 136 to generate an interpolation frame (not shown).
- the interpolated frame generation unit 138 includes a portion other than the character scroll areas C10 to C17 in the non-character composition frames L10 to L17, and the character composition frames P10 to P17 whose output synchronization timing matches that of the non-character composition frames L10 to L17.
- an interpolation frame output at a predetermined output synchronization timing is generated and output to the interpolation control unit 140.
- the interpolation frame generation unit 138 outputs the input frame F corresponding to the timing when the first gain is 0 to the interpolation control unit 140, and the input frame F corresponding to the timing when the first gain is other than 0. Do not output.
- the interpolation control unit 140 acquires the input frame and the interpolation frame from the interpolation frame generation unit 138 and outputs them based on the output synchronization timing, thereby causing the display unit 110 to display the video.
- FIG. 5 is a flowchart showing the operation of the display device.
- step S1 the character scroll area C in the input frame F is detected (step S1), and the first and second input video detection vectors V and B and the local area vector are obtained (step S2). Thereafter, the interpolation distance ratio is recognized based on the input vertical synchronization signal and the output vertical synchronization signal (step S3), and the non-character partial gain and the character partial gain are set (step S4).
- the frame rate conversion apparatus 120 generates a non-character composition frame L corresponding to the non-character partial gain and a character composition frame P corresponding to the character partial gain (step S5). Then, an interpolated frame obtained by synthesizing the non-character synthesizing frame L and the character synthesizing frame P is generated (step S6), and an image is displayed on the display unit 110 (step S7).
- the interpolation frame generation device 130 of the display device 100 detects the character scroll region C included in the input frame F, acquires the movement of the character scroll region C as the second input video detection vector B, and For example, the movement of the object Z existing in a portion other than the character scroll area C is acquired as the first input video detection vector V. Further, the interpolation distance ratio is calculated by dividing the interpolation distance, which is the interval between the predetermined output synchronization timing and the input synchronization timing of the predetermined input frame F, by the output synchronization timing interval. Then, the first input video use vector K is set by multiplying the interpolation distance ratio, the first input video detection vector V, and the non-character partial gain that increases or decreases in the range of 0 to 1.
- a frame L for composition other than a character having a motion amount based on the first input video use vector K is generated.
- the second input video use vector D is set by multiplying the interpolation distance ratio, the second input video detection vector B, and the character partial gain fixed to 1, and this second input video use is set.
- a character synthesis frame P having a motion amount based on the vector D is generated.
- the non-character combining frame L and the character combining frame P are combined to generate an interpolation frame. For this reason, for the portion other than the character scroll area C in the interpolated frame, the image of the non-character composition frame L generated based on the first input video detection vector V corresponding to the movement of the object Z and the non-character partial gain.
- the quality of the portion other than the character scroll area C can be guaranteed. Further, for the character scroll area C in the interpolated frame, the character composition generated based on the second input video detection vector V corresponding to the movement of the character scroll area C and the character partial gain having a value equal to or greater than the non-character partial gain. Since the image of the working frame P is used, the quality of the character scroll area C can be guaranteed.
- the interpolation frame generation device 130 increases the non-character partial gain when the first input video detection vector V is continuous, and decreases the non-character partial gain when there is no continuity. Then, an interpolated frame is generated by synthesizing the non-character synthesis frame L based on the increased / decreased non-character partial gain. For this reason, when the first input video detection vector V has continuity, an interpolation frame in which the object Z exists at a position close to the movement locus of the object Z can be generated. On the other hand, when there is no continuity of the first input video detection vector V, the deviation distance from the movement trajectory of the object Z is minimized by reducing the non-character partial gain as compared with the case where the non-character partial gain is fixed. A limited number of interpolation frames can be generated. Therefore, even when the first input video detection vector V is not continuous, an error in the movement of the object Z can be minimized.
- FIG. 6 is a block diagram illustrating a schematic configuration of the display device.
- FIG. 7 is a schematic diagram showing setting control of the vector correspondence gain and the weighted average correspondence gain.
- FIG. 8 and FIG. 9 are schematic diagrams showing a generation state of a non-character composition frame or a weighted average composition frame.
- the display device 200 includes a display unit 110 and a frame rate conversion device 220. Further, the frame rate conversion device 220 includes an interpolation frame generation device 230 as an arithmetic means and an interpolation control unit 140.
- the interpolation frame generation device 230 includes a frame memory 131, a character detection unit 132, a vector acquisition unit 133, a gain control unit 234 that also functions as a vector acquisition accuracy determination unit, An interpolation distance ratio recognition unit 235 as an insertion distance detection unit, a vector frame rate conversion processing unit 136, a weighted average frame rate conversion processing unit 237, and an interpolation frame generation unit 238 are provided.
- the gain control unit 234 sets the partial gain other than the character set to 0 in advance and 1 as shown in FIG.
- the weighted average corresponding gain is increased or decreased by 0.25 in the range of 0 or more and 1 or less. Further, at the time of this increase / decrease, at least one of the non-character partial gain and the weighted average correspondence gain is increased / decreased so that it is always zero.
- the initial set values of the non-character partial gain and the weighted average correspondence gain are not limited to 1 and may be 0 or 0.5.
- the increase / decrease amount of the partial gain other than characters and the weighted average correspondence gain is not limited to 0.25, and may be 0.1 or 0.5. And you may increase / decrease in the state from which the quantity to increase and the quantity to reduce differ. Further, the amount of increase / decrease may be made different between the non-character partial gain and the weighted average correspondence gain.
- the gain control unit 234 determines the acquisition accuracy of the first input video detection vector V by the same processing as the gain control unit 134 of the first embodiment. Then, when the acquisition accuracy is high, it is determined whether or not the weighted average correspondence gain can be reduced. When it is determined that the weighted average corresponding gain can be reduced because it is greater than 0, the weighted average corresponding gain is decreased by 0.25. On the other hand, if it is determined that the weighted average correspondence gain is 0 and cannot be reduced, the non-character partial gain and the weighted average correspondence gain are maintained at 0 for the synthesis frame L other than one character, and then the other than characters. Increase the partial gain by 0.25.
- the gain control unit 234 determines whether or not the non-character partial gain can be reduced when the acquisition accuracy is low. If the non-character partial gain is larger than 0, the gain control unit 234 determines that the non-character partial gain can be reduced. If it is determined that it cannot be reduced because it is 0, it is reduced by 0.25. After maintaining the state that the non-character partial gain and the weighted average correspondence gain become 0 for the frame L for synthesis other than one character, the weighted average correspondence is maintained. Increase the gain by 0.25. Note that when the non-character partial gain or the weighted average correspondence gain is 1, if it is determined to increase these, the state of 1 is maintained. Then, gain control section 234 outputs a partial gain other than characters to vector frame rate conversion processing section 136 and outputs a weighted average corresponding gain to weighted average frame rate conversion processing section 237.
- the gain control unit 234 also performs vector frame rate conversion when the weighted average corresponding gain becomes 0 by shifting the acquisition accuracy of the first input video detection vector V from a state lower than a predetermined level to a high state.
- An output selection signal for outputting the synthesis frame Lc other than the character generated by the processing unit 136 for generating an interpolation frame is output to the interpolation frame generation unit 238.
- An output selection signal for outputting Mc is output to interpolation frame generation section 238.
- the gain control unit 234 always sets the character part gain corresponding to the character scroll area C to 1 and outputs it to the vector frame rate conversion processing unit 136.
- the interpolation distance ratio recognition unit 235 calculates and recognizes the interpolation distance ratio by the same process as the interpolation distance ratio recognition unit 135 of the first embodiment, and the interpolation distance ratio is a vector frame rate conversion processing unit. 136 and the weighted average frame rate conversion processing unit 237.
- the vector frame rate conversion processing unit 136 generates a non-character composition frame L and a character composition frame P, and outputs them to the interpolation frame generation unit 238.
- the weighted average frame rate conversion processing unit 237 generates a weighted average synthesis frame Mc by executing linear interpolation processing based on the weighted average correspondence gain. Specifically, the weighted average frame rate conversion processing unit 237 calculates the third gain by multiplying the absolute value of the interpolation distance ratio and the weighted average corresponding gain. Then, the reference surface weighted average weight and the target surface weighted average weight are calculated by substituting the third gain into the following equations (1) and (2).
- the weighted average frame rate conversion processing unit 237 has a mixing ratio based on the reference plane weighted average weight and the target plane weighted average weight, and is in each of the corresponding positions in the input frame Fa and the input frame F (a + 1).
- An image in which pixel colors are mixed is generated as a weighted average composition frame Mc.
- the reference plane frame corresponding to the weighted average composition frame Mc is recognized as the past input frame Fa.
- the reference plane frame “P” represents that the reference plane frame has been set to the past input frame Fa
- “U” represents the future input frame F (a + Indicates that it is set in 1).
- the weighted average frame rate conversion processing unit 237 sets the color of each pixel at the corresponding position in the input frame Fa and the input frame F (a + 1) as the color of the predetermined pixel in the weighted average synthesis frame Mc.
- a color mixed at a ratio corresponding to each of the reference surface weighted average weight and the target surface weighted average weight is applied.
- the reference plane frame corresponding to the weighted average combining frame Mc is recognized as the future input frame F (a + 1). Then, as the color of the predetermined pixel in the weighted average composition frame Mc, the color of each pixel at the corresponding position in the input frame F (a + 1) and the input frame Fa is used as the reference plane weighted average weight and the target plane. Apply colors mixed in proportions corresponding to each weighted average weight.
- the weighted average frame rate conversion processing unit 237 generates a weighted average synthesis frame M19 to be inserted at a position close to the input frame F8 between the input frame F8 and the input frame F9.
- the input frame F8 is recognized as a reference plane frame of the weighted average composition frame M19, and the color of the object Z8 and the corresponding position on the input frame F9 are used as the color of the corresponding position of the object Z8 on the weighted average composition frame M19.
- a color mixed at 0.9: 0.1 is applied.
- the mixing ratio of the color of the corresponding position on the input frame F8 and the color of the object Z9 is mixed at 0.9: 0.1. Apply color.
- the input frame F9 is recognized as the reference plane frame of the weighted average composition frame M20
- the color of the corresponding position of the object Z8 is A color obtained by mixing the color of the corresponding position on the input frame F9 with the color of the object Z8 at a ratio of 0.7: 0.3 is applied
- the color of the position corresponding to the object Z9 is A color in which the mixing ratio of the color and the color at the corresponding position on the input frame F8 is 0.7: 0.3 is applied.
- the weighted average frame rate conversion processing unit 237 outputs the weighted average synthesis frame M to the interpolation frame generation unit 238.
- the vector frame rate conversion processing unit 136 and the weighted average frame rate conversion processing unit 237 use the input frame F acquired immediately before as necessary to synthesize a frame Lc other than characters. Then, a weighted average combining frame Mc is generated and output as a non-character combining frame L.
- the interpolation frame generation unit 238 Based on the output selection signal from the gain control unit 234, the interpolation frame generation unit 238 and the weighted average from the weighted average frame rate conversion processing unit 237 and the non-character synthesis frame L from the vector frame rate conversion processing unit 136 One of the combining frames M is combined with the character combining frame P to generate an interpolation frame.
- the interpolated frame generation unit 238 has a weighted average correspondence gain of 0 at the timing between the input frame F5 and the input frame F7.
- An interpolated frame is generated by synthesizing the synthesis frame L and the character synthesis frame P other than the character and the character synthesis frame P having the same output synchronization timing.
- the weighted average synthesis frame M and the character synthesis in which the output synchronization timing coincides with this weighted average synthesis frame M are generated by synthesizing the frame P. Then, the interpolation frame generation unit 238 outputs the generated interpolation frame to the interpolation control unit 140.
- FIG. 10 is a flowchart showing the operation of the display device.
- the interpolation frame generation device 230 of the display device 200 recognizes the interpolation distance ratio (step S11) after performing the processes of steps S1 and S2, and performs a non-character partial gain, a character partial gain, A weighted average correspondence gain is set (step S12). Then, the interpolation frame generation device 230 performs a vector frame rate conversion process (step S13) and also performs a weighted average frame rate conversion process (step S14). That is, in step S13, a non-character composition frame L and a character composition frame P are generated, and in step S14, a weighted average composition frame M is generated.
- the frame rate conversion apparatus 220 recognizes the frame other than the character combining frame L or the weighted average combining frame M as the frame to be combined with the character combining frame P according to the settings of the non-character partial gain and the weighted average correspondence gain. (Step S15). Then, the recognized frame and the character synthesis frame P are synthesized to generate an interpolation frame (step S16), and the process of step S7 is performed.
- the interpolated frame generation device 230 of the display device 200 generates a non-character combining frame L and a character combining frame P, similarly to the interpolated frame generating device 130 of the first embodiment. Further, the interpolation frame generation device 230 calculates the reference plane weighted average weight and the target plane weighted average weight based on the above-described equations (1) and (2), and the input frame Fa and the input frame F (a + 1). A weighted average combining frame M is generated in which the colors of the pixels at the corresponding positions are set to colors obtained by mixing the colors corresponding to the reference surface weighted average weight and the target surface weighted average weight.
- an interpolation frame is generated by synthesizing the non-character synthesis frame L and the character synthesis frame P.
- the weighted average synthesis frame M is generated.
- an interpolation frame is generated by combining the frame P for character synthesis. For this reason, for portions other than the character scroll area C in the interpolated frame, the first input video detection vector V corresponding to the movement of the object Z and the characters other than the characters when the first input video detection vector V is highly accurate. Since the image of the composition frame L other than the character generated based on the partial gain is used, the quality of the portion other than the character scroll area C can be guaranteed.
- the accuracy of obtaining the first input video detection vector V is high, an image of the weighted average composition frame M in which the colors of the two consecutive input frames F are mixed is used, so the composition frame L other than characters is used. Compared to the case, the process of generating a frame to be combined with the character combining frame P can be facilitated. Further, for the character scroll area C in the interpolated frame, the character composition generated based on the second input video detection vector V corresponding to the movement of the character scroll area C and the character partial gain having a value equal to or greater than the non-character partial gain. Since the image of the working frame P is used, the quality of the character scroll area C can be guaranteed.
- the character partial gain may be fixed to 1 as shown in FIG. 4, and the non-character partial gain may be fixed to 0.75 as shown in FIG. Further, the character partial gain may be fixed to 1 as shown in FIG. 4 and the non-character partial gain may be increased or decreased within a range of 0 to 0.75 as shown in FIG.
- a character composition frame P as shown in FIG. 4 is generated based on the character part gain
- a non-character composition frame as shown in FIGS. 11 and 12 based on the non-character part gain.
- L is generated, and an interpolated frame is generated by combining the character combining frame P and the non-character combining frame L that have the same output synchronization timing.
- the character partial gain may be fixed to 0.75 as shown in FIG. 13, and the non-character partial gain may be fixed to 0.25 as shown in FIG.
- a character synthesis frame P as shown in FIG. 13 is generated based on the character partial gain
- a non-character synthesis frame L as shown in FIG. 14 is generated based on the non-character partial gain.
- step S13 may be performed before step S14 or may be performed simultaneously with step S14.
- the interpolated frame generation unit 238 illustrated a configuration in which one of the non-character combining frame L and the weighted average combining frame M is used to generate an interpolated frame based on the vector acquisition accuracy.
- a synthesis frame obtained by taking a weighted average of the non-character synthesis frame L and the weighted average synthesis frame M may be used to generate an interpolation frame. That is, when the vector acquisition accuracy is higher than a predetermined value, the shock of change is reduced by making the weighted average of the non-character composition frame L larger than the weighted average when the vector acquisition accuracy is less than the predetermined value. Can do.
- the image blurring is less in the configuration in which one of the non-character combining frame L and the weighted average combining frame M is used to generate the interpolated frame. Image quality is improved.
- the interpolated frame generation device of the present invention has been exemplified for the configuration applied to the display device, it may be applied to any configuration that converts the frame rate of the input video and displays it.
- the present invention may be applied to a playback device or a recording / playback device.
- each function described above is constructed as a program, but it may be configured by hardware such as a circuit board or an element such as one IC (Integrated Circuit), and can be used in any form.
- IC Integrated Circuit
- the interpolation frame generation device 130 acquires the movement of the character scroll area C included in the input frame F as the second input video detection vector B, and other than the character scroll area C.
- the movement of the object Z is acquired as the first input video detection vector V.
- a non-character combining frame L is generated based on the first input video detection vector V and the non-character partial gain that increases or decreases in the range of 0 to 1.
- a character synthesis frame P is generated based on the second input video detection vector B and the character partial gain fixed to 1. Then, the non-character combining frame L and the character combining frame P are combined to generate an interpolation frame.
- the image of the non-character composition frame L generated based on the first input video detection vector V corresponding to the movement of the object Z and the non-character partial gain. Therefore, the quality of the portion other than the character scroll area C can be guaranteed. Further, for the character scroll area C in the interpolated frame, the character composition generated based on the second input video detection vector V corresponding to the movement of the character scroll area C and the character partial gain having a value equal to or greater than the non-character partial gain. Since the image of the working frame P is used, the quality of the character scroll area C can be guaranteed.
- the interpolation frame generation device 230 generates a non-character composition frame L and a character composition frame P, and at corresponding positions in the input frame Fa and the input frame F (a + 1).
- a weighted average combining frame M is generated in which the colors of certain pixels are set to colors obtained by mixing the colors of the respective pixels at a ratio corresponding to the reference surface weighted average weight and the target surface weighted average weight. Then, when the accuracy of obtaining the first input video detection vector V is high, an interpolation frame is generated by synthesizing the non-character synthesis frame L and the character synthesis frame P. When the acquisition accuracy is low, the weighted average synthesis frame M is generated.
- an interpolation frame is generated by combining the frame P for character synthesis.
- the first input video detection vector V corresponding to the movement of the object Z and the characters other than the characters when the first input video detection vector V is highly accurate. Since the image of the composition frame L other than the character generated based on the partial gain is used, the quality of the portion other than the character scroll area C can be guaranteed.
- an image of the weighted average composition frame M in which the colors of the two consecutive input frames F are mixed is used, so the composition frame L other than characters is used.
- the process of generating a frame to be combined with the character combining frame P can be facilitated. Further, for the character scroll area C in the interpolated frame, the character composition generated based on the second input video detection vector V corresponding to the movement of the character scroll area C and the character partial gain having a value equal to or greater than the non-character partial gain. Since the image of the working frame P is used, the quality of the character scroll area C can be guaranteed.
- the present invention can be used as an interpolation frame generation device, a frame rate conversion device, a display device, an interpolation frame generation method, a program thereof, and a recording medium on which the program is recorded.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
表示装置のフレームレート変換装置は、入力フレームに含まれる文字スクロール領域Cの動きを第2の入力映像検出ベクトルとして取得し、文字スクロール領域C以外の部分に存在するオブジェクトの動きを第1の入力映像検出ベクトルとして取得する。第1の入力映像検出ベクトルと、内挿距離割合と、0以上1以下の範囲で増減する文字以外部分ゲインとを乗じることにより第1の入力映像使用ベクトルを設定し、この第1の入力映像使用ベクトルに基づく文字以外合成用フレームを生成する。第2の入力映像検出ベクトルと、内挿距離割合と、1に固定された文字部分ゲインとを乗じることにより第2の入力映像使用ベクトルを設定し、この第2の入力映像使用ベクトルに基づく文字合成用フレームを生成する。文字以外合成用フレームと文字合成用フレームとを合成して内挿フレームを生成する。
Description
本発明は、内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体に関する。
従来、複数のフレームからなる入力映像のフレームレートを変換する構成が知られている(例えば、特許文献1参照)。
特許文献1に記載のものは、スクロールする文字領域については、動きベクトルを用いて内挿フレームを生成している。また、文字領域以外については、内挿フレームを生成しない、線形補間処理をする、あるいは、近傍フレームによる置換処理をする、のうちいずれかの処理を適用することができる旨が開示されている。
特許文献1に記載のものは、スクロールする文字領域については、動きベクトルを用いて内挿フレームを生成している。また、文字領域以外については、内挿フレームを生成しない、線形補間処理をする、あるいは、近傍フレームによる置換処理をする、のうちいずれかの処理を適用することができる旨が開示されている。
しかしながら、特許文献1のような構成では、文字領域以外については、上述の3通りの方法しか開示されておらず、文字領域以外の部分の品位が保証されていない、例えば出力映像が不自然で滑らかでないという問題点がある。
本発明の目的は、品位が保証された内挿フレームを適切に生成可能な内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体を提供することである。
本発明の内挿フレーム生成装置は、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成装置であって、前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出部と、前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得部と、前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出部と、前記内挿距離および所定値に設定されている文字以外部分ゲインに基づいて、前記文字スクロール領域以外の部分に対応する第1の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づく動きに対応する文字以外合成用フレームを生成するとともに、前記内挿距離および前記文字以外部分ゲイン以上の値に設定されている文字部分ゲインに基づいて、前記文字スクロール領域に対応する第2の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づく動きに対応する文字合成用フレームを生成するベクトルフレームレート変換処理部と、前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成部と、を具備したことを特徴とする。
本発明の内挿フレーム生成装置は、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成装置であって、前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出部と、前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得部と、前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出部と、前記内挿フレームの生成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれにおける前記文字スクロール領域以外の部分に対応する第1の前記動きベクトルの連続性が、所定レベルよりも高いか否かを判断するベクトル取得精度判定部と、前記第1の動きベクトルの連続性に基づいて、所定範囲で増減可能な文字以外部分ゲインおよび所定範囲で増減可能な加重平均対応ゲインを増減させるゲイン制御部と、前記内挿距離および前記文字以外部分ゲインに基づいて、前記第1の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づき前記文字スクロール領域以外の部分を動かした文字以外合成用フレームを生成するとともに、前記文字以外部分ゲインおよび前記加重平均対応ゲイン以上の値に設定されている文字部分ゲインと前記内挿距離とに基づいて、前記文字スクロール領域に対応する第2の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づき前記文字スクロール領域を動かした文字合成用フレームを生成するベクトルフレームレート変換処理部と、前記入力同期タイミングが前記内挿距離が検出された前記出力同期タイミングの前後に対応する一対の入力フレームの線形補間処理を実行することで加重平均合成用フレームを生成する加重平均フレームレート変換処理部と、前記第1の動きベクトルの連続性が高いと判断された場合、前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成し、前記連続性が低いと判断された場合、前記加重平均合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成部と、を具備したことを特徴とする。
本発明のフレームレート変換装置は、上述の内挿フレーム生成装置と、この内挿フレーム生成装置で作成された前記内挿フレームを前記入力フレームの間に内挿して、フレームレート変換した出力映像を表示部で表示させる内挿制御部と、を具備したことを特徴とする。
本発明の内挿フレーム生成方法は、演算手段により、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成方法であって、前記演算手段は、前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出工程と、前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得工程と、前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出工程と、前記内挿距離および所定値に設定されている文字以外部分ゲインに基づいて、前記文字スクロール領域以外の部分に対応する第1の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づく動きに対応する文字以外合成用フレームを生成するとともに、前記内挿距離および前記文字以外部分ゲイン以上の値に設定されている文字部分ゲインに基づいて、前記文字スクロール領域に対応する第2の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づく動きに対応する文字合成用フレームを生成するベクトルフレームレート変換処理工程と、前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成工程と、を実施することを特徴とする。
本発明の内挿フレーム生成方法は、演算手段により、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成方法であって、前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出工程と、前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得工程と、前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出工程と、前記内挿フレームの生成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれにおける前記文字スクロール領域以外の部分に対応する第1の前記動きベクトルの連続性が、所定レベルよりも高いか否かを判断するベクトル取得精度判定工程と、前記第1の動きベクトルの連続性に基づいて、所定範囲で増減可能な文字以外部分ゲインおよび所定範囲で増減可能な加重平均対応ゲインを増減させるゲイン制御工程と、前記内挿距離および前記文字以外部分ゲインに基づいて、前記第1の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づき前記文字スクロール領域以外の部分を動かした文字以外合成用フレームを生成するとともに、前記文字以外部分ゲインおよび前記加重平均に対応ゲイン以上の値に設定されている文字部分ゲインと前記内挿距離とに基づいて、前記文字スクロール領域に対応する第2の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づき前記文字スクロール領域を動かした文字合成用フレームを生成するベクトルフレームレート変換処理工程と、前記入力同期タイミングが前記内挿距離が検出された前記出力同期タイミングの前後に対応する一対の入力フレームの線形補間処理を実行することで加重平均合成用フレームを生成する加重平均フレームレート変換処理工程と、前記第1の動きベクトルの連続性が高いと判断された場合、前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成し、前記連続性が低いと判断された場合、前記加重平均合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成工程と、を実施することを特徴とする。
本発明の内挿フレーム生成プログラムは、上述の内挿フレーム生成方法を演算手段に実行させることを特徴とする。
本発明の内挿フレーム生成プログラムは、演算手段を上述の内挿フレーム生成装置として機能させることを特徴とする。
本発明の内挿フレーム生成プログラムを記録した記録媒体は、上述の内挿フレーム生成プログラムが演算手段にて読取可能に記録されたことを特徴とする。
100,200…表示装置
110…表示部
120,220…フレームレート変換装置
130,230…演算手段としての内挿フレーム生成装置
132…文字検出部
133…ベクトル取得部
134,234…ベクトル取得精度判定部としても機能するゲイン制御部
135,235…内挿距離検出部としての内挿距離割合認識部
136…ベクトルフレームレート変換処理部
237…加重平均フレームレート変換処理部
138,238…内挿フレーム生成部
140…内挿制御部
110…表示部
120,220…フレームレート変換装置
130,230…演算手段としての内挿フレーム生成装置
132…文字検出部
133…ベクトル取得部
134,234…ベクトル取得精度判定部としても機能するゲイン制御部
135,235…内挿距離検出部としての内挿距離割合認識部
136…ベクトルフレームレート変換処理部
237…加重平均フレームレート変換処理部
138,238…内挿フレーム生成部
140…内挿制御部
[第1実施形態]
以下、本発明に係る第1実施形態を図面に基づいて説明する。
この第1実施形態および後述する第2~第5実施形態では、本発明の内挿フレーム生成装置を有するフレームレート変換装置を備えた表示装置であって、外部から入力される複数の入力フレームからなる入力映像のフレームレートを変換した出力映像を表示する構成を例示して説明する。
図1は、表示装置の概略構成を示すブロック図である。図2は、入力映像を示す模式図である。図3は、文字以外合成用フレームの生成状態を示す模式図である。図4は、文字合成用フレームの生成状態を示す模式図である。
以下、本発明に係る第1実施形態を図面に基づいて説明する。
この第1実施形態および後述する第2~第5実施形態では、本発明の内挿フレーム生成装置を有するフレームレート変換装置を備えた表示装置であって、外部から入力される複数の入力フレームからなる入力映像のフレームレートを変換した出力映像を表示する構成を例示して説明する。
図1は、表示装置の概略構成を示すブロック図である。図2は、入力映像を示す模式図である。図3は、文字以外合成用フレームの生成状態を示す模式図である。図4は、文字合成用フレームの生成状態を示す模式図である。
〔表示装置の構成〕
図1に示すように、表示装置100は、表示部110と、フレームレート変換装置120と、を備えている。
表示部110は、フレームレート変換装置120に接続されている。この表示部110は、フレームレート変換装置120の制御により、フレームレートが変換された出力映像を表示させる。この表示部110としては、例えばPDP(Plasma Display Panel)、液晶パネル、有機EL(Electro Luminescence)パネル、CRT(Cathode-Ray Tube)、FED(Field Emission Display)、電気泳動ディスプレイパネルなどが例示できる。
図1に示すように、表示装置100は、表示部110と、フレームレート変換装置120と、を備えている。
表示部110は、フレームレート変換装置120に接続されている。この表示部110は、フレームレート変換装置120の制御により、フレームレートが変換された出力映像を表示させる。この表示部110としては、例えばPDP(Plasma Display Panel)、液晶パネル、有機EL(Electro Luminescence)パネル、CRT(Cathode-Ray Tube)、FED(Field Emission Display)、電気泳動ディスプレイパネルなどが例示できる。
フレームレート変換装置120は、図2に示すような、24Hzの入力垂直同期信号に基づき入力される入力フレームF(以下、適宜、a番目の入力フレームを入力フレームFaと称す)からなる入力映像Nを、60Hzの出力垂直同期信号に基づき出力される複数の出力フレームからなる出力画像にフレームレート変換する。
そして、フレームレート変換装置120は、演算手段としての内挿フレーム生成装置130と、内挿制御部140と、を備えている。
また、内挿フレーム生成装置130は、各種プログラムから構成された、フレームメモリ131と、文字検出部132と、ベクトル取得部133と、ベクトル取得精度判定部としても機能するゲイン制御部134と、内挿距離検出部としての内挿距離割合認識部135と、ベクトルフレームレート変換処理部136と、内挿フレーム生成部138と、を備えている。
そして、フレームレート変換装置120は、演算手段としての内挿フレーム生成装置130と、内挿制御部140と、を備えている。
また、内挿フレーム生成装置130は、各種プログラムから構成された、フレームメモリ131と、文字検出部132と、ベクトル取得部133と、ベクトル取得精度判定部としても機能するゲイン制御部134と、内挿距離検出部としての内挿距離割合認識部135と、ベクトルフレームレート変換処理部136と、内挿フレーム生成部138と、を備えている。
フレームメモリ131は、画像信号出力部10からの画像信号を取得して、この画像信号に基づく入力フレームFを一時的に蓄積し、ベクトル取得部133、および、ベクトルフレームレート変換処理部136へ適宜出力する。
文字検出部132は、図2に示すように、入力フレームFにおける例えば右側から左側へスクロールする文字スクロール領域C(以下、適宜、c番目の入力フレームFの文字スクロール領域を文字スクロール領域Ccと称す)を検出する。そして、この文字スクロール領域Cの位置を特定するスクロール位置情報を、ベクトル取得部133へ出力する。
ベクトル取得部133は、画像信号出力部10からの画像信号に基づく入力フレームF(a+1)と、フレームメモリ131で一時的に蓄積された入力フレームFaと、を取得する。そして、図3に示すように、この入力フレームF(a+1),Faにおける文字スクロール領域C以外の部分の動きを、第1の入力映像検出ベクトルV(a+1)、および、図示しないローカルエリアベクトルとして取得する。なお、図3では、文字スクロール領域CおよびオブジェクトZが存在する入力フレームF中のオブジェクトZのみを図示している。
具体的には、ベクトル取得部133は、第1の入力映像検出ベクトルV(a+1)を取得する場合、入力フレームF(a+1)の図示しない外縁から所定距離だけ内側の部分以外の部分で構成される1個の動き検出ブロックを設定する。この動き検出ブロックは、複数に分割された複数のローカルエリアから構成されている。つまり、動き検出ブロックは、図示しない画素からなる第1のブロックサイズを有している。
そして、ベクトル取得部133は、入力フレームF(a+1)ごとに、動き検出ブロックにおける動き、つまり入力フレームF(a+1)のほぼ全体における動きを1個の第1の入力映像検出ベクトルV(a+1)として取得して、ゲイン制御部134へ出力する。
そして、ベクトル取得部133は、入力フレームF(a+1)ごとに、動き検出ブロックにおける動き、つまり入力フレームF(a+1)のほぼ全体における動きを1個の第1の入力映像検出ベクトルV(a+1)として取得して、ゲイン制御部134へ出力する。
ここで、第1の入力映像検出ベクトルV(a+1)の取得方法としては、例えば特公昭62-62109号公報に記載のような方法(以下、パターンマッチング法と称す)や特開昭62-206980号公報に記載のような方法(以下、反復勾配法と称す)などが例示できる。
すなわち、パターンマッチング法を利用する場合、入力フレームFaに対して、入力フレームF(a+1)の動き検出ブロックと同数の画素を有し互いに異なる方向に位置がずれた複数のブロック(以下、過去ブロックと称す)を設定する。そして、この複数の過去ブロックから動き検出ブロックと最も相関が高いものを検出し、この検出した過去ブロックおよび動き検出ブロックに基づいて、第1の入力映像検出ベクトルV(a+1)を取得する。
また、反復勾配法を利用する場合、動き量を検出する際の初期値として、動き検出ブロックに該当するブロックを含む周辺の複数の過去ブロックにおいてすでに検出されている動きベクトルの候補の中から、第1の入力映像検出ベクトルV(a+1)の検出用として最適なものを初期変位ベクトルとして選択する。そして、動き検出ブロックの真の第1の入力映像検出ベクトルV(a+1)に近い値から演算を開始することにより、勾配法演算の演算回数を少なくして、第2の真の入力映像検出ベクトルV(a+1)を検出する。
すなわち、パターンマッチング法を利用する場合、入力フレームFaに対して、入力フレームF(a+1)の動き検出ブロックと同数の画素を有し互いに異なる方向に位置がずれた複数のブロック(以下、過去ブロックと称す)を設定する。そして、この複数の過去ブロックから動き検出ブロックと最も相関が高いものを検出し、この検出した過去ブロックおよび動き検出ブロックに基づいて、第1の入力映像検出ベクトルV(a+1)を取得する。
また、反復勾配法を利用する場合、動き量を検出する際の初期値として、動き検出ブロックに該当するブロックを含む周辺の複数の過去ブロックにおいてすでに検出されている動きベクトルの候補の中から、第1の入力映像検出ベクトルV(a+1)の検出用として最適なものを初期変位ベクトルとして選択する。そして、動き検出ブロックの真の第1の入力映像検出ベクトルV(a+1)に近い値から演算を開始することにより、勾配法演算の演算回数を少なくして、第2の真の入力映像検出ベクトルV(a+1)を検出する。
また、ベクトル取得部133は、各ローカルエリアにおける動きをローカルエリアベクトルとして取得して、ゲイン制御部134へ出力する。つまり、第1の数よりも小さい第2の数の画素からなるローカルエリアにおける動きを検出する。
ここで、ローカルエリアベクトルを取得する際には、第1の入力映像検出ベクトルV(a+1)の取得時と同様の処理を実施する。なお、ローカルエリアベクトルの取得処理として、第1の入力映像検出ベクトルV(a+1)の取得時とは異なる処理を適用してもよい。
ここで、ローカルエリアベクトルを取得する際には、第1の入力映像検出ベクトルV(a+1)の取得時と同様の処理を実施する。なお、ローカルエリアベクトルの取得処理として、第1の入力映像検出ベクトルV(a+1)の取得時とは異なる処理を適用してもよい。
また、ベクトル取得部133は、図4に示すように、入力フレームF(a+1),Faにおける文字スクロール領域Cの動きを、第2の入力映像検出ベクトルB(a+1)として取得する。なお、図4および後述する図13では、文字スクロール領域CおよびオブジェクトZが存在する入力フレームF中の文字スクロール領域Cのみを図示している。また、本発明の内容を理解しやすくするために、実際には左側にスクロールしている文字スクロール領域Cを、下側から上側にスクロールさせた模式図を用いて説明する。
具体的には、ベクトル取得部133は、第2の入力映像検出ベクトルB(a+1)を取得する場合、入力フレームF(a+1)における文字スクロール領域Cの部分で構成される1個の動き検出ブロックを設定する。この動き検出ブロックは、複数に分割された複数のローカルエリアから構成されている。つまり、動き検出ブロックは、図示しない画素からなる第2のブロックサイズを有している。
そして、ベクトル取得部133は、入力フレームF(a+1)ごとに、動き検出ブロックにおける動き、つまり文字スクロール領域Cにおける動きを1個の第2の入力映像検出ベクトルB(a+1)として取得して、ベクトルフレームレート変換処理部136へ出力する。
具体的には、ベクトル取得部133は、第2の入力映像検出ベクトルB(a+1)を取得する場合、入力フレームF(a+1)における文字スクロール領域Cの部分で構成される1個の動き検出ブロックを設定する。この動き検出ブロックは、複数に分割された複数のローカルエリアから構成されている。つまり、動き検出ブロックは、図示しない画素からなる第2のブロックサイズを有している。
そして、ベクトル取得部133は、入力フレームF(a+1)ごとに、動き検出ブロックにおける動き、つまり文字スクロール領域Cにおける動きを1個の第2の入力映像検出ベクトルB(a+1)として取得して、ベクトルフレームレート変換処理部136へ出力する。
ゲイン制御部134は、ベクトル取得部133で取得した第1の入力映像検出ベクトルVの連続性に基づいて、図3に示すように、あらかじめ所定値に設定された文字以外部分ゲイン、例えばあらかじめ1に設定された文字以外部分ゲインを増減させる。
具体的には、ゲイン制御部134は、ベクトル取得部133で第1の入力映像検出ベクトルVを取得できない場合、第1の入力映像検出ベクトルVの連続性がない、すなわち所定レベルよりも低いと判断する。また、第1の入力映像検出ベクトルVを取得でき、かつ、この第1の入力映像検出ベクトルVと一致するローカルエリアベクトルの数が閾値以上の場合、第1の入力映像検出ベクトルVの連続性がある、すなわち所定レベルよりも高いと判断する。また、第1の入力映像検出ベクトルVと一致するローカルエリアベクトルの数が閾値未満の場合、第1の入力映像検出ベクトルVの連続性がないと判断する。
なお、ゲイン制御部134にて、以下のようにして、第1の入力映像検出ベクトルVの取得精度を判断してもよい。
すなわち、ベクトル取得部133で第1の入力映像検出ベクトルVを取得できない場合、第1の入力映像検出ベクトルVの連続性がなく取得精度が低いと判断する。また、第1の入力映像検出ベクトルVを取得できた場合、ローカルエリアベクトルの分散を算出する。そして、この分散が閾値以下の場合、第1の入力映像検出ベクトルVの連続性があり取得精度が高いと判断し、閾値よりも大きい場合、第1の入力映像検出ベクトルVの連続性がなく取得精度が低いと判断してもよい。
なお、ゲイン制御部134にて、以下のようにして、第1の入力映像検出ベクトルVの取得精度を判断してもよい。
すなわち、ベクトル取得部133で第1の入力映像検出ベクトルVを取得できない場合、第1の入力映像検出ベクトルVの連続性がなく取得精度が低いと判断する。また、第1の入力映像検出ベクトルVを取得できた場合、ローカルエリアベクトルの分散を算出する。そして、この分散が閾値以下の場合、第1の入力映像検出ベクトルVの連続性があり取得精度が高いと判断し、閾値よりも大きい場合、第1の入力映像検出ベクトルVの連続性がなく取得精度が低いと判断してもよい。
そして、ゲイン制御部134は、取得精度が高く、かつ、文字以外部分ゲインが1未満に設定されている場合、文字以外部分ゲインを所定値だけ増やす処理、例えば0.25だけ増やす処理をする。例えば、図3に示すように、第1の入力映像検出ベクトルV8が取得されて連続性があると判断され、かつ、入力フレームF7の出力同期タイミングにおける文字以外部分ゲインが0.25に設定されている場合、文字以外合成用フレームL14,L15に対応する文字以外部分ゲインを0.25ずつ順次増やす処理をする。
また、ゲイン制御部134は、第1の入力映像検出ベクトルVの連続性がなく、かつ、文字以外部分ゲインが0よりも大きい値に設定されている場合、文字以外部分ゲインを所定値だけ減らす処理、例えば0.25だけ減らす処理をする。例えば、図3に示すように、誤った第1の入力映像検出ベクトルV7が取得されているため連続性がないと判断され、かつ、文字以外合成用フレームL11に対応する文字以外部分ゲインが1に設定されている場合、文字以外合成用フレームL12,L13、入力フレームF7に対応する文字以外部分ゲインを0.25ずつ順次減らす処理をする。
さらに、ゲイン制御部134は、第1の入力映像検出ベクトルVの連続性があり、かつ、文字以外部分ゲインが1に設定されている場合、あるいは、連続性がなく、かつ、文字以外部分ゲインが0に設定されている場合、この文字以外部分ゲインの設定を維持する。例えば、図3に示すように、第1の入力映像検出ベクトルV6が取得されて連続性があると判断され、かつ、入力フレームF5に対応する文字以外部分ゲインが1に設定されている場合、文字以外合成用フレームL10,L11に対応する文字以外部分ゲインを1で維持する。
つまり、ゲイン制御部134は、文字以外部分ゲインを0以上、1以下となるように増減させる。そして、この増減させた文字以外部分ゲインを、ベクトルフレームレート変換処理部136へ出力する。
なお、文字以外部分ゲインの増減量としては、0.25に限らず0.1や0.5などとしてもよい。また、増やす量と、減らす量と、が異なる状態で増減させてもよい。
つまり、ゲイン制御部134は、文字以外部分ゲインを0以上、1以下となるように増減させる。そして、この増減させた文字以外部分ゲインを、ベクトルフレームレート変換処理部136へ出力する。
なお、文字以外部分ゲインの増減量としては、0.25に限らず0.1や0.5などとしてもよい。また、増やす量と、減らす量と、が異なる状態で増減させてもよい。
また、ゲイン制御部134は、図4に示すように、文字検出部132で検出された文字スクロール領域Cに対応する文字部分ゲインを常時1に設定して、ベクトルフレームレート変換処理部136へ出力する。
なお、文字スクロール領域Cは、移動速度および移動方向が略一定のため、文字スクロール領域C以外の部分にあるオブジェクトZと比べて、動きベクトルの取得精度が高くなる。このため、文字部分ゲインを常時1に設定するとともに、文字以外部分ゲインを文字部分ゲイン以下の範囲で設定している。
なお、文字スクロール領域Cは、移動速度および移動方向が略一定のため、文字スクロール領域C以外の部分にあるオブジェクトZと比べて、動きベクトルの取得精度が高くなる。このため、文字部分ゲインを常時1に設定するとともに、文字以外部分ゲインを文字部分ゲイン以下の範囲で設定している。
内挿距離割合認識部135は、同期信号出力部20から入力フレームFの入力垂直同期信号および所定の文字以外合成用フレームLの出力垂直同期信号を取得して、所定の文字以外合成用フレームLの出力同期タイミングとの間隔が最も短くなる入力同期タイミングの入力フレームFを認識するとともに、これら出力同期タイミングおよび入力同期タイミングの間隔を内挿距離として認識する。さらに、図3および図4に示すように、この内挿距離を出力同期タイミングの間隔で除した値を、内挿距離割合として算出する。ここで、内挿距離割合は、文字以外合成用フレームLの出力同期タイミングが前の入力フレームFの入力同期タイミングと近い場合に正の値となり、後ろの入力フレームFの入力同期タイミングと近い場合に負の値となる。また、内挿距離割合は、出力同期タイミングと入力同期タイミングが等しい入力フレームFが存在する場合、0となる。そして、内挿距離割合認識部135は、内挿距離割合をベクトルフレームレート変換処理部136へ出力する。
ベクトルフレームレート変換処理部136は、図3に示すような文字以外合成用フレームL、および、図4に示すような文字合成用フレームPを生成して、内挿フレーム生成部138へ出力する。なお、以下において、適宜、c番目の文字以外合成用フレームL、文字合成用フレームPを、文字以外合成用フレームLc、文字合成用フレームPcと称す。
具体的には、ベクトルフレームレート変換処理部136は、文字スクロール領域C以外の部分に対応する文字以外合成用フレームLを生成する場合、内挿距離割合と文字以外部分ゲインとを乗じて、第1のゲインを求める。そして、第1の入力映像検出ベクトルV(a+1)に、第1のゲインを乗じて第1の入力映像使用ベクトルKc(cは自然数)を設定する。例えば、図3に示すように、文字以外合成用フレームL15に対応する第1のゲインが-0.375の場合、この-0.375と、第1の入力映像検出ベクトルV8と、を乗じて、第1の入力映像使用ベクトルK15を設定する。
そして、ベクトルフレームレート変換処理部136は、第1の入力映像使用ベクトルKcに基づいて、文字スクロール領域C以外の部分にあるオブジェクトZが動いた文字以外合成用フレームLを生成する。例えば、図3に示すように、第1の入力映像使用ベクトルK15に基づき入力フレームF8のオブジェクトZ8が動いた文字以外合成用フレームL15を生成する。
そして、ベクトルフレームレート変換処理部136は、図3に示すように、所定の出力同期タイミングにおける内挿フレームの生成に利用される文字以外合成用フレームLとして、内挿フレーム生成部138へ出力する。
そして、ベクトルフレームレート変換処理部136は、図3に示すように、所定の出力同期タイミングにおける内挿フレームの生成に利用される文字以外合成用フレームLとして、内挿フレーム生成部138へ出力する。
ここで、文字以外合成用フレームLを生成する際に、内挿距離割合以下の値に設定された第1のゲインに基づき生成された第1の入力映像使用ベクトルKを使用している。このため、文字以外合成用フレームLは、詳しくは後述するが、内挿距離割合に基づく第2の入力映像使用ベクトルDを利用して生成された文字合成用フレームPと比べて、オブジェクトZの移動量が小さくなることがある。
さらに、ベクトルフレームレート変換処理部136は、文字スクロール領域Cに対応する文字合成用フレームPを生成する場合、内挿距離割合と文字部分ゲインとを乗じて、第2のゲインを求める。そして、第2の入力映像検出ベクトルB(a+1)に、第2のゲインを乗じて第1の入力映像使用ベクトルDc(cは自然数)を設定する。例えば、図4に示すように、文字合成用フレームP15に対応する第2のゲインが-0.50の場合、この-0.50と、第2の入力映像検出ベクトルB8と、を乗じて、第2の入力映像使用ベクトルD15を設定する。
そして、ベクトルフレームレート変換処理部136は、第2の入力映像使用ベクトルDcに基づき文字スクロール領域Cが動いた文字合成用フレームPcを生成する。例えば、図4に示すように、第2の入力映像使用ベクトルD15に基づき入力フレームF8の文字スクロール領域C8が動いた文字合成用フレームP15を生成する。
そして、ベクトルフレームレート変換処理部136は、図4に示すように、所定の出力同期タイミングにおける内挿フレームの生成に利用される文字合成用フレームPとして、内挿フレーム生成部138へ出力する。
そして、ベクトルフレームレート変換処理部136は、図4に示すように、所定の出力同期タイミングにおける内挿フレームの生成に利用される文字合成用フレームPとして、内挿フレーム生成部138へ出力する。
内挿フレーム生成部138は、ベクトルフレームレート変換処理部136からの文字以外合成用フレームLおよび文字合成用フレームPを合成して、図示しない内挿フレームを生成する。
内挿フレーム生成部138は、文字以外合成用フレームL10~L17における文字スクロール領域C10~C17以外の部分と、この文字以外合成用フレームL10~L17と出力同期タイミングが一致する文字合成用フレームP10~P17の文字スクロール領域C10~C17と、を合成することで所定の出力同期タイミングで出力される内挿フレームを生成して、内挿制御部140へ出力する。また、内挿フレーム生成部138は、第1のゲインが0のタイミングに対応する入力フレームFを内挿制御部140へ出力し、第1のゲインが0以外のタイミングに対応する入力フレームFを出力しない。
内挿フレーム生成部138は、文字以外合成用フレームL10~L17における文字スクロール領域C10~C17以外の部分と、この文字以外合成用フレームL10~L17と出力同期タイミングが一致する文字合成用フレームP10~P17の文字スクロール領域C10~C17と、を合成することで所定の出力同期タイミングで出力される内挿フレームを生成して、内挿制御部140へ出力する。また、内挿フレーム生成部138は、第1のゲインが0のタイミングに対応する入力フレームFを内挿制御部140へ出力し、第1のゲインが0以外のタイミングに対応する入力フレームFを出力しない。
内挿制御部140は、内挿フレーム生成部138からの入力フレームおよび内挿フレームを取得して、これらを出力同期タイミングに基づき出力することで、映像を表示部110で表示させる。
〔表示装置の動作〕
次に、表示装置100の動作を説明する。
図5は、表示装置の動作を示すフローチャートである。
次に、表示装置100の動作を説明する。
図5は、表示装置の動作を示すフローチャートである。
表示装置100のフレームレート変換装置120は、画像信号出力部10からの画像信号と、同期信号出力部20からの入力垂直同期信号および出力垂直同期信号と、を取得すると、図5に示すように、入力フレームFにおける文字スクロール領域Cを検出して(ステップS1)、第1,第2の入力映像検出ベクトルV,Bおよびローカルエリアベクトルを取得する(ステップS2)。この後、入力垂直同期信号および出力垂直同期信号などに基づいて、内挿距離割合を認識し(ステップS3)、文字以外部分ゲインおよび文字部分ゲインを設定する(ステップS4)。
この後、フレームレート変換装置120は、文字以外部分ゲインに応じた文字以外合成用フレームLおよび文字部分ゲインに応じた文字合成用フレームPを生成する(ステップS5)。そして、文字以外合成用フレームLおよび文字合成用フレームPを合成した内挿フレームを生成して(ステップS6)、表示部110で映像を表示させる(ステップS7)。
この後、フレームレート変換装置120は、文字以外部分ゲインに応じた文字以外合成用フレームLおよび文字部分ゲインに応じた文字合成用フレームPを生成する(ステップS5)。そして、文字以外合成用フレームLおよび文字合成用フレームPを合成した内挿フレームを生成して(ステップS6)、表示部110で映像を表示させる(ステップS7)。
〔第1実施形態の作用効果〕
上述したように、上記第1実施形態では、以下のような作用効果を奏することができる。
上述したように、上記第1実施形態では、以下のような作用効果を奏することができる。
(1)表示装置100の内挿フレーム生成装置130は、入力フレームFに含まれる文字スクロール領域Cを検出し、この文字スクロール領域Cの動きを第2の入力映像検出ベクトルBとして取得するとともに、文字スクロール領域C以外の部分に存在する例えばオブジェクトZの動きを第1の入力映像検出ベクトルVとして取得する。また、所定の出力同期タイミングおよび所定の入力フレームFの入力同期タイミングの間隔である内挿距離を、出力同期タイミングの間隔で除して内挿距離割合を算出する。そして、この内挿距離割合と、第1の入力映像検出ベクトルVと、0以上1以下の範囲で増減する文字以外部分ゲインとを乗じることにより第1の入力映像使用ベクトルKを設定し、この第1の入力映像使用ベクトルKに基づく動き量の文字以外合成用フレームLを生成する。また、内挿距離割合と、第2の入力映像検出ベクトルBと、1に固定された文字部分ゲインとを乗じることにより第2の入力映像使用ベクトルDを設定し、この第2の入力映像使用ベクトルDに基づく動き量の文字合成用フレームPを生成する。そして、文字以外合成用フレームLと文字合成用フレームPとを合成して内挿フレームを生成する。
このため、内挿フレームにおける文字スクロール領域C以外の部分については、オブジェクトZの動きに対応する第1の入力映像検出ベクトルVおよび文字以外部分ゲインに基づき生成された文字以外合成用フレームLの画像を用いるので、文字スクロール領域C以外の部分の品位を保証できる。さらに、内挿フレームにおける文字スクロール領域Cについては、文字スクロール領域Cの動きに対応する第2の入力映像検出ベクトルVおよび文字以外部分ゲイン以上の値を有する文字部分ゲインに基づき生成された文字合成用フレームPの画像を用いるので、文字スクロール領域Cの品位も保証できる。
このため、内挿フレームにおける文字スクロール領域C以外の部分については、オブジェクトZの動きに対応する第1の入力映像検出ベクトルVおよび文字以外部分ゲインに基づき生成された文字以外合成用フレームLの画像を用いるので、文字スクロール領域C以外の部分の品位を保証できる。さらに、内挿フレームにおける文字スクロール領域Cについては、文字スクロール領域Cの動きに対応する第2の入力映像検出ベクトルVおよび文字以外部分ゲイン以上の値を有する文字部分ゲインに基づき生成された文字合成用フレームPの画像を用いるので、文字スクロール領域Cの品位も保証できる。
(2)文字部分ゲインを1に固定しているため、出力同期タイミングごとに文字部分ゲインを設定する必要がなく、処理を簡略にできる。
(3)内挿フレーム生成装置130は、第1の入力映像検出ベクトルVの連続性がある場合に文字以外部分ゲインを増やし、連続性がない場合に文字以外部分ゲインを減らす。そして、この増減させた文字以外部分ゲインに基づく文字以外合成用フレームLを合成した内挿フレームを生成する。
このため、第1の入力映像検出ベクトルVの連続性がある場合には、オブジェクトZの移動軌跡に近い位置にオブジェクトZが存在する内挿フレームが生成できる。一方、第1の入力映像検出ベクトルVの連続性がない場合には、文字以外部分ゲインを減らすことで、文字以外部分ゲインを固定する場合と比べてオブジェクトZの移動軌跡からの逸脱距離を最小限に抑えた内挿フレームを生成できる。したがって、第1の入力映像検出ベクトルVの連続性がない場合でも、オブジェクトZの動きの誤差を最小限に抑えることができる。
このため、第1の入力映像検出ベクトルVの連続性がある場合には、オブジェクトZの移動軌跡に近い位置にオブジェクトZが存在する内挿フレームが生成できる。一方、第1の入力映像検出ベクトルVの連続性がない場合には、文字以外部分ゲインを減らすことで、文字以外部分ゲインを固定する場合と比べてオブジェクトZの移動軌跡からの逸脱距離を最小限に抑えた内挿フレームを生成できる。したがって、第1の入力映像検出ベクトルVの連続性がない場合でも、オブジェクトZの動きの誤差を最小限に抑えることができる。
[第2実施形態]
次に、本発明に係る第2実施形態を図面に基づいて説明する。
なお、第1実施形態と同一の構成については、同一の名称および符号を付し説明を省略または簡略にする。また、動作については、第1実施形態と同様なので説明を省略する。
図6は、表示装置の概略構成を示すブロック図である。図7は、ベクトル対応ゲインおよび加重平均対応ゲインの設定制御を示す模式図である。図8および図9は、文字以外合成用フレームまたは加重平均合成用フレームの生成状態を示す模式図である。
次に、本発明に係る第2実施形態を図面に基づいて説明する。
なお、第1実施形態と同一の構成については、同一の名称および符号を付し説明を省略または簡略にする。また、動作については、第1実施形態と同様なので説明を省略する。
図6は、表示装置の概略構成を示すブロック図である。図7は、ベクトル対応ゲインおよび加重平均対応ゲインの設定制御を示す模式図である。図8および図9は、文字以外合成用フレームまたは加重平均合成用フレームの生成状態を示す模式図である。
〔表示装置の構成〕
図6に示すように、表示装置200は、表示部110と、フレームレート変換装置220と、を備えている。さらに、フレームレート変換装置220は、演算手段としての内挿フレーム生成装置230と、内挿制御部140と、を備えている。
また、内挿フレーム生成装置230は、各種プログラムから構成された、フレームメモリ131と、文字検出部132と、ベクトル取得部133と、ベクトル取得精度判定部としても機能するゲイン制御部234と、内挿距離検出部としての内挿距離割合認識部235と、ベクトルフレームレート変換処理部136と、加重平均フレームレート変換処理部237と、内挿フレーム生成部238と、を備えている。
図6に示すように、表示装置200は、表示部110と、フレームレート変換装置220と、を備えている。さらに、フレームレート変換装置220は、演算手段としての内挿フレーム生成装置230と、内挿制御部140と、を備えている。
また、内挿フレーム生成装置230は、各種プログラムから構成された、フレームメモリ131と、文字検出部132と、ベクトル取得部133と、ベクトル取得精度判定部としても機能するゲイン制御部234と、内挿距離検出部としての内挿距離割合認識部235と、ベクトルフレームレート変換処理部136と、加重平均フレームレート変換処理部237と、内挿フレーム生成部238と、を備えている。
ゲイン制御部234は、ベクトル取得部133で取得した第1の入力映像検出ベクトルVの連続性に基づいて、図7に示すように、あらかじめ0に設定された文字以外部分ゲインと、1に設定された加重平均対応ゲインとを、0以上、1以下の範囲で0.25ずつ増減させる。また、この増減の際、文字以外部分ゲインと、加重平均対応ゲインとのうち少なくとも一方は、必ず0になるように増減させる。
なお、文字以外部分ゲインおよび加重平均対応ゲインの初期設定値としては、1に限らず0あるいは0.5などとしてもよい。また、文字以外部分ゲインや加重平均対応ゲインの増減量としては、0.25に限らず0.1や0.5などとしてもよい。そして、増やす量と、減らす量と、が異なる状態で増減させてもよい。さらに、文字以外部分ゲインと加重平均対応ゲインとで、増減量を異ならせてもよい。
なお、文字以外部分ゲインおよび加重平均対応ゲインの初期設定値としては、1に限らず0あるいは0.5などとしてもよい。また、文字以外部分ゲインや加重平均対応ゲインの増減量としては、0.25に限らず0.1や0.5などとしてもよい。そして、増やす量と、減らす量と、が異なる状態で増減させてもよい。さらに、文字以外部分ゲインと加重平均対応ゲインとで、増減量を異ならせてもよい。
具体的には、ゲイン制御部234は、第1実施形態のゲイン制御部134と同様の処理により、第1の入力映像検出ベクトルVの取得精度を判定する。そして、取得精度が高い場合、加重平均対応ゲインを減らせるか否かを判断する。そして、加重平均対応ゲインが0よりも大きいため減らせると判断した場合、加重平均対応ゲインを0.25だけ減らす。一方、加重平均対応ゲインが0であるため減らせないと判断した場合、1個の文字以外合成用フレームL分だけ文字以外部分ゲインおよび加重平均対応ゲインが0となる状態を維持した後に、文字以外部分ゲインを0.25だけ増やす。
また、ゲイン制御部234は、取得精度が低い場合、文字以外部分ゲインを減らせるか否かを判断し、文字以外部分ゲインが0よりも大きいため減らせると判断した場合、文字以外部分ゲインを0.25だけ減らし、0であるため減らせないと判断した場合、1個の文字以外合成用フレームL分だけ文字以外部分ゲインおよび加重平均対応ゲインが0となる状態を維持した後に、加重平均対応ゲインを0.25だけ増やす。
なお、文字以外部分ゲインまたは加重平均対応ゲインが1のときに、これらを増やすと判断した場合、1の状態を維持する。
そして、ゲイン制御部234は、文字以外部分ゲインをベクトルフレームレート変換処理部136へ出力し、加重平均対応ゲインを加重平均フレームレート変換処理部237へ出力する。
また、ゲイン制御部234は、取得精度が低い場合、文字以外部分ゲインを減らせるか否かを判断し、文字以外部分ゲインが0よりも大きいため減らせると判断した場合、文字以外部分ゲインを0.25だけ減らし、0であるため減らせないと判断した場合、1個の文字以外合成用フレームL分だけ文字以外部分ゲインおよび加重平均対応ゲインが0となる状態を維持した後に、加重平均対応ゲインを0.25だけ増やす。
なお、文字以外部分ゲインまたは加重平均対応ゲインが1のときに、これらを増やすと判断した場合、1の状態を維持する。
そして、ゲイン制御部234は、文字以外部分ゲインをベクトルフレームレート変換処理部136へ出力し、加重平均対応ゲインを加重平均フレームレート変換処理部237へ出力する。
また、ゲイン制御部234は、第1の入力映像検出ベクトルVの取得精度が所定レベルよりも低い状態から高い状態へ移行することで、加重平均対応ゲインが0になったとき、ベクトルフレームレート変換処理部136で生成された文字以外合成用フレームLcを内挿フレームの生成用に出力する旨の出力選択信号を内挿フレーム生成部238へ出力する。一方、取得精度が所定レベルよりも高い状態から低い状態へ移行することで、加重平均対応ゲインが0よりも大きくなったとき、加重平均フレームレート変換処理部237で生成された加重平均合成用フレームMcを出力する旨の出力選択信号を内挿フレーム生成部238へ出力する。
また、ゲイン制御部234は、図4に示すように、文字スクロール領域Cに対応する文字部分ゲインを常時1に設定して、ベクトルフレームレート変換処理部136へ出力する。
内挿距離割合認識部235は、第1実施形態の内挿距離割合認識部135と同様の処理で内挿距離割合を算出して認識して、この内挿距離割合をベクトルフレームレート変換処理部136および加重平均フレームレート変換処理部237へ出力する。
ベクトルフレームレート変換処理部136は、文字以外合成用フレームLおよび文字合成用フレームPを生成して、内挿フレーム生成部238へ出力する。
加重平均フレームレート変換処理部237は、加重平均対応ゲインに基づいて、線形補間処理を実行することで加重平均合成用フレームMcを生成する。
具体的には、加重平均フレームレート変換処理部237は、内挿距離割合の絶対値と加重平均対応ゲインとを乗じることで第3のゲインを算出する。そして、この第3のゲインを以下の式(1),(2)に代入することで、基準面加重平均重みおよび対象面加重平均重みを算出する。
具体的には、加重平均フレームレート変換処理部237は、内挿距離割合の絶対値と加重平均対応ゲインとを乗じることで第3のゲインを算出する。そして、この第3のゲインを以下の式(1),(2)に代入することで、基準面加重平均重みおよび対象面加重平均重みを算出する。
(数1)
Ik2=((Y1/Y2)-Y3)/(Y1/Y2) … (1)
Im2=Y3/(Y1/Y2) … (2)
Ik2:基準面加重平均重み
Im2:対象面加重平均重み
Y1:出力垂直同期信号の周波数
Y2:入力垂直同期信号の周波数
Y3:第3のゲイン
Ik2=((Y1/Y2)-Y3)/(Y1/Y2) … (1)
Im2=Y3/(Y1/Y2) … (2)
Ik2:基準面加重平均重み
Im2:対象面加重平均重み
Y1:出力垂直同期信号の周波数
Y2:入力垂直同期信号の周波数
Y3:第3のゲイン
そして、加重平均フレームレート変換処理部237は、基準面加重平均重みと対象面加重平均重みとに基づく混合比で、入力フレームFaおよび入力フレームF(a+1)における対応する位置にあるそれぞれの画素の色を混ぜた画像を、加重平均合成用フレームMcとして生成する。具体的には、加重平均合成用フレームMcに対応する内挿距離割合が正の値の場合、この加重平均合成用フレームMcに対応する基準面フレームが過去の入力フレームFaであると認識する。
ここで、図8などにおいて、基準面フレームが「P」とは、基準面フレームが過去の入力フレームFaに設定されている旨を表し、「U」とは、未来の入力フレームF(a+1)に設定されている旨を表す。
そして、加重平均フレームレート変換処理部237は、加重平均合成用フレームMcにおける所定の画素の色として、入力フレームFaおよび入力フレームF(a+1)における対応する位置にあるそれぞれの画素の色を、基準面加重平均重みおよび対象面加重平均重みにそれぞれ対応する割合で混ぜた色を適用する。
また、加重平均合成用フレームMcに対応する内挿距離割合が負の値の場合、この加重平均合成用フレームMcに対応する基準面フレームが未来の入力フレームF(a+1)であると認識して、加重平均合成用フレームMcにおける所定の画素の色として、入力フレームF(a+1)および入力フレームFaにおける対応する位置にあるそれぞれの画素の色を、基準面加重平均重みおよび対象面加重平均重みにそれぞれ対応する割合で混ぜた色を適用する。
ここで、図8などにおいて、基準面フレームが「P」とは、基準面フレームが過去の入力フレームFaに設定されている旨を表し、「U」とは、未来の入力フレームF(a+1)に設定されている旨を表す。
そして、加重平均フレームレート変換処理部237は、加重平均合成用フレームMcにおける所定の画素の色として、入力フレームFaおよび入力フレームF(a+1)における対応する位置にあるそれぞれの画素の色を、基準面加重平均重みおよび対象面加重平均重みにそれぞれ対応する割合で混ぜた色を適用する。
また、加重平均合成用フレームMcに対応する内挿距離割合が負の値の場合、この加重平均合成用フレームMcに対応する基準面フレームが未来の入力フレームF(a+1)であると認識して、加重平均合成用フレームMcにおける所定の画素の色として、入力フレームF(a+1)および入力フレームFaにおける対応する位置にあるそれぞれの画素の色を、基準面加重平均重みおよび対象面加重平均重みにそれぞれ対応する割合で混ぜた色を適用する。
例えば、加重平均フレームレート変換処理部237は、図8に示すように、入力フレームF8と入力フレームF9との間における入力フレームF8に近い位置に挿入する加重平均合成用フレームM19を生成するときには、入力フレームF8を加重平均合成用フレームM19の基準面フレームとして認識して、加重平均合成用フレームM19上のオブジェクトZ8の対応位置の色として、オブジェクトZ8の色と、入力フレームF9上の当該対応位置の色との混合比を0.9:0.1で混ぜた色を適用する。また、加重平均合成用フレームM19におけるオブジェクトZ9に対応する位置の色として、入力フレームF8上の当該対応位置の色と、オブジェクトZ9の色との混合比を0.9:0.1で混ぜた色を適用する。
また、入力フレームF9に近い位置に挿入する加重平均合成用フレームM20を生成するときには、入力フレームF9を加重平均合成用フレームM20の基準面フレームとして認識して、オブジェクトZ8の対応位置の色として、入力フレームF9上の当該対応位置の色と、オブジェクトZ8の色と、の混合比を0.7:0.3で混ぜた色を適用し、オブジェクトZ9に対応する位置の色として、オブジェクトZ9の色と、入力フレームF8上の当該対応位置の色との混合比を0.7:0.3で混ぜた色を適用する。
さらに、加重平均フレームレート変換処理部237は、加重平均合成用フレームMを内挿フレーム生成部238へ出力する。
また、入力フレームF9に近い位置に挿入する加重平均合成用フレームM20を生成するときには、入力フレームF9を加重平均合成用フレームM20の基準面フレームとして認識して、オブジェクトZ8の対応位置の色として、入力フレームF9上の当該対応位置の色と、オブジェクトZ8の色と、の混合比を0.7:0.3で混ぜた色を適用し、オブジェクトZ9に対応する位置の色として、オブジェクトZ9の色と、入力フレームF8上の当該対応位置の色との混合比を0.7:0.3で混ぜた色を適用する。
さらに、加重平均フレームレート変換処理部237は、加重平均合成用フレームMを内挿フレーム生成部238へ出力する。
なお、ベクトルフレームレート変換処理部136および加重平均フレームレート変換処理部237は、入力フレームFを新たに取得すると、必要に応じて直前に取得した入力フレームFを利用して文字以外合成用フレームLcおよび加重平均合成用フレームMcを生成して、文字以外合成用フレームLとして出力する。
内挿フレーム生成部238は、ゲイン制御部234からの出力選択信号に基づいて、ベクトルフレームレート変換処理部136からの文字以外合成用フレームLと、加重平均フレームレート変換処理部237からの加重平均合成用フレームMとのうち一方を、文字合成用フレームPと合成して内挿フレームを生成する。
具体的には、内挿フレーム生成部238は、図8、図9に示すような場合、入力フレームF5と入力フレームF7との間のタイミングでは、加重平均対応ゲインが0であるため、文字以外合成用フレームLと、この文字以外合成用フレームLと出力同期タイミングが一致する文字合成用フレームPとを合成して内挿フレームを生成する。また、入力フレームF7と入力フレームF13との間のタイミングでは、文字以外部分ゲインが0であるため、加重平均合成用フレームMと、この加重平均合成用フレームMと出力同期タイミングが一致する文字合成用フレームPとを合成して内挿フレームを生成する。
そして、内挿フレーム生成部238は、生成した内挿フレームを内挿制御部140へ出力する。
具体的には、内挿フレーム生成部238は、図8、図9に示すような場合、入力フレームF5と入力フレームF7との間のタイミングでは、加重平均対応ゲインが0であるため、文字以外合成用フレームLと、この文字以外合成用フレームLと出力同期タイミングが一致する文字合成用フレームPとを合成して内挿フレームを生成する。また、入力フレームF7と入力フレームF13との間のタイミングでは、文字以外部分ゲインが0であるため、加重平均合成用フレームMと、この加重平均合成用フレームMと出力同期タイミングが一致する文字合成用フレームPとを合成して内挿フレームを生成する。
そして、内挿フレーム生成部238は、生成した内挿フレームを内挿制御部140へ出力する。
〔表示装置の動作〕
次に、表示装置200の動作を説明する。
図10は、表示装置の動作を示すフローチャートである。
次に、表示装置200の動作を説明する。
図10は、表示装置の動作を示すフローチャートである。
表示装置200の内挿フレーム生成装置230は、図10に示すように、ステップS1,S2の処理をすると、内挿距離割合を認識して(ステップS11)、文字以外部分ゲイン、文字部分ゲイン、加重平均対応ゲインを設定する(ステップS12)。そして、内挿フレーム生成装置230は、ベクトルフレームレート変換処理を実施するとともに(ステップS13)、加重平均フレームレート変換処理を実施する(ステップS14)。すなわち、ステップS13では、文字以外合成用フレームLおよび文字合成用フレームPを生成し、ステップS14では、加重平均合成用フレームMを生成する。
この後、フレームレート変換装置220は、文字以外部分ゲインおよび加重平均対応ゲインの設定に応じて、文字以外合成用フレームLまたは加重平均合成用フレームMを文字合成用フレームPと合成するフレームと認識する(ステップS15)。そして、この認識したフレームと文字合成用フレームPとを合成して内挿フレームを生成し(ステップS16)、ステップS7の処理を実施する。
この後、フレームレート変換装置220は、文字以外部分ゲインおよび加重平均対応ゲインの設定に応じて、文字以外合成用フレームLまたは加重平均合成用フレームMを文字合成用フレームPと合成するフレームと認識する(ステップS15)。そして、この認識したフレームと文字合成用フレームPとを合成して内挿フレームを生成し(ステップS16)、ステップS7の処理を実施する。
〔第2実施形態の作用効果〕
上述したように、上記第2実施形態では、第1実施形態の(2)、(3)と同様の作用効果に加え、以下のような作用効果を奏することができる。
上述したように、上記第2実施形態では、第1実施形態の(2)、(3)と同様の作用効果に加え、以下のような作用効果を奏することができる。
(4)表示装置200の内挿フレーム生成装置230は、第1実施形態の内挿フレーム生成装置130と同様に文字以外合成用フレームLおよび文字合成用フレームPを生成する。さらに、内挿フレーム生成装置230は、上述の式(1)、(2)に基づいて基準面加重平均重みおよび対象面加重平均重みを算出し、入力フレームFaおよび入力フレームF(a+1)における対応する位置にあるそれぞれの画素の色を、基準面加重平均重みおよび対象面加重平均重みにそれぞれ対応する割合で混ぜた色に設定した加重平均合成用フレームMを生成する。そして、第1の入力映像検出ベクトルVの取得精度が高い場合に、文字以外合成用フレームLおよび文字合成用フレームPを合成した内挿フレームを生成し、低い場合に、加重平均合成用フレームMおよび文字合成用フレームPを合成した内挿フレームを生成する。
このため、内挿フレームにおける文字スクロール領域C以外の部分については、第1の入力映像検出ベクトルVの取得精度が高い場合、オブジェクトZの動きに対応する第1の入力映像検出ベクトルVおよび文字以外部分ゲインに基づき生成された文字以外合成用フレームLの画像を用いるので、文字スクロール領域C以外の部分の品位を保証できる。また、第1の入力映像検出ベクトルVの取得精度が高い場合、連続する2個の入力フレームFの色を混ぜた加重平均合成用フレームMの画像を用いるので、文字以外合成用フレームLを用いる場合と比べて、文字合成用フレームPに合成するフレームの生成処理を容易にできる。さらに、内挿フレームにおける文字スクロール領域Cについては、文字スクロール領域Cの動きに対応する第2の入力映像検出ベクトルVおよび文字以外部分ゲイン以上の値を有する文字部分ゲインに基づき生成された文字合成用フレームPの画像を用いるので、文字スクロール領域Cの品位も保証できる。
このため、内挿フレームにおける文字スクロール領域C以外の部分については、第1の入力映像検出ベクトルVの取得精度が高い場合、オブジェクトZの動きに対応する第1の入力映像検出ベクトルVおよび文字以外部分ゲインに基づき生成された文字以外合成用フレームLの画像を用いるので、文字スクロール領域C以外の部分の品位を保証できる。また、第1の入力映像検出ベクトルVの取得精度が高い場合、連続する2個の入力フレームFの色を混ぜた加重平均合成用フレームMの画像を用いるので、文字以外合成用フレームLを用いる場合と比べて、文字合成用フレームPに合成するフレームの生成処理を容易にできる。さらに、内挿フレームにおける文字スクロール領域Cについては、文字スクロール領域Cの動きに対応する第2の入力映像検出ベクトルVおよび文字以外部分ゲイン以上の値を有する文字部分ゲインに基づき生成された文字合成用フレームPの画像を用いるので、文字スクロール領域Cの品位も保証できる。
[実施形態の変形]
なお、本発明は、上述した第1,第2実施形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。
なお、本発明は、上述した第1,第2実施形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。
すなわち、図4に示すように文字部分ゲインを1に固定するとともに、図11に示すように文字以外部分ゲインを0.75に固定してもよい。また、図4に示すように文字部分ゲインを1に固定するとともに、図12に示すように文字以外部分ゲインを0以上かつ0.75以下の範囲で増減させてもよい。
これらのような構成の場合、文字部分ゲインに基づいて図4に示すような文字合成用フレームPが生成され、文字以外部分ゲインに基づいて図11や図12に示すような文字以外合成用フレームLが生成されて、互いの出力同期タイミングが一致する文字合成用フレームPおよび文字以外合成用フレームLが合成された内挿フレームが生成される。
これらのような構成の場合、文字部分ゲインに基づいて図4に示すような文字合成用フレームPが生成され、文字以外部分ゲインに基づいて図11や図12に示すような文字以外合成用フレームLが生成されて、互いの出力同期タイミングが一致する文字合成用フレームPおよび文字以外合成用フレームLが合成された内挿フレームが生成される。
さらに、図13に示すように文字部分ゲインを0.75に固定するとともに、図14に示すように文字以外部分ゲインを0.25に固定してもよい。このような構成の場合、文字部分ゲインに基づいて図13に示すような文字合成用フレームPが生成され、文字以外部分ゲインに基づいて図14に示すような文字以外合成用フレームLが生成されて、互いの出力同期タイミングが一致する文字合成用フレームPおよび文字以外合成用フレームLが合成された内挿フレームが生成される。
また、図10において、ステップS13の処理をステップS14の前に実施してもよいし、ステップS14と同時に実施してもよい。
そして、内挿フレーム生成部238において、ベクトルの取得精度に基づいて、文字以外合成用フレームLと、加重平均合成用フレームMとのうち一方を内挿フレームの生成に利用する構成を例示したが、ベクトルの取得精度に基づいて、文字以外合成用フレームLと、加重平均合成用フレームMとの加重平均を取った合成用フレームを内挿フレームの生成に利用してもよい。すなわち、ベクトルの取得精度が所定値より高いときは文字以外合成用フレームLの加重平均を、ベクトルの取得精度が所定値以下のときの加重平均より大きくすることにより、変化のショックは小さくすることができる。しかし、ベクトルの取得精度に基づいて、文字以外合成用フレームLと、加重平均合成用フレームMとのうち一方を内挿フレームの生成に利用する構成の方が映像のぼけは少なくなり、全体の画質は向上する。
そして、内挿フレーム生成部238において、ベクトルの取得精度に基づいて、文字以外合成用フレームLと、加重平均合成用フレームMとのうち一方を内挿フレームの生成に利用する構成を例示したが、ベクトルの取得精度に基づいて、文字以外合成用フレームLと、加重平均合成用フレームMとの加重平均を取った合成用フレームを内挿フレームの生成に利用してもよい。すなわち、ベクトルの取得精度が所定値より高いときは文字以外合成用フレームLの加重平均を、ベクトルの取得精度が所定値以下のときの加重平均より大きくすることにより、変化のショックは小さくすることができる。しかし、ベクトルの取得精度に基づいて、文字以外合成用フレームLと、加重平均合成用フレームMとのうち一方を内挿フレームの生成に利用する構成の方が映像のぼけは少なくなり、全体の画質は向上する。
そして、本発明の内挿フレーム生成装置を、表示装置に適用した構成について例示したが、入力映像のフレームレートを変換して表示させるいかなる構成に適用してもよい。例えば、再生装置や記録再生装置に適用してもよい。
また、上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは1つのIC(Integrated Circuit)などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から読み取らせる構成とすることにより、取扱が容易で、利用の拡大が容易に図れる。
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
[実施形態の効果]
上述したように、上記実施形態では、内挿フレーム生成装置130は、入力フレームFに含まれる文字スクロール領域Cの動きを第2の入力映像検出ベクトルBとして取得するとともに、文字スクロール領域C以外のオブジェクトZの動きを第1の入力映像検出ベクトルVとして取得する。そして、第1の入力映像検出ベクトルVと、0以上1以下の範囲で増減する文字以外部分ゲインとに基づいて文字以外合成用フレームLを生成する。また、第2の入力映像検出ベクトルBと、1に固定された文字部分ゲインとに基づいて文字合成用フレームPを生成する。そして、文字以外合成用フレームLと文字合成用フレームPとを合成して内挿フレームを生成する。
このため、内挿フレームにおける文字スクロール領域C以外の部分については、オブジェクトZの動きに対応する第1の入力映像検出ベクトルVおよび文字以外部分ゲインに基づき生成された文字以外合成用フレームLの画像を用いるので、文字スクロール領域C以外の部分の品位を保証できる。さらに、内挿フレームにおける文字スクロール領域Cについては、文字スクロール領域Cの動きに対応する第2の入力映像検出ベクトルVおよび文字以外部分ゲイン以上の値を有する文字部分ゲインに基づき生成された文字合成用フレームPの画像を用いるので、文字スクロール領域Cの品位も保証できる。
上述したように、上記実施形態では、内挿フレーム生成装置130は、入力フレームFに含まれる文字スクロール領域Cの動きを第2の入力映像検出ベクトルBとして取得するとともに、文字スクロール領域C以外のオブジェクトZの動きを第1の入力映像検出ベクトルVとして取得する。そして、第1の入力映像検出ベクトルVと、0以上1以下の範囲で増減する文字以外部分ゲインとに基づいて文字以外合成用フレームLを生成する。また、第2の入力映像検出ベクトルBと、1に固定された文字部分ゲインとに基づいて文字合成用フレームPを生成する。そして、文字以外合成用フレームLと文字合成用フレームPとを合成して内挿フレームを生成する。
このため、内挿フレームにおける文字スクロール領域C以外の部分については、オブジェクトZの動きに対応する第1の入力映像検出ベクトルVおよび文字以外部分ゲインに基づき生成された文字以外合成用フレームLの画像を用いるので、文字スクロール領域C以外の部分の品位を保証できる。さらに、内挿フレームにおける文字スクロール領域Cについては、文字スクロール領域Cの動きに対応する第2の入力映像検出ベクトルVおよび文字以外部分ゲイン以上の値を有する文字部分ゲインに基づき生成された文字合成用フレームPの画像を用いるので、文字スクロール領域Cの品位も保証できる。
また、他の実施形態では、内挿フレーム生成装置230は、文字以外合成用フレームLおよび文字合成用フレームPを生成するとともに、入力フレームFaおよび入力フレームF(a+1)における対応する位置にあるそれぞれの画素の色を、基準面加重平均重みおよび対象面加重平均重みにそれぞれ対応する割合で混ぜた色に設定した加重平均合成用フレームMを生成する。そして、第1の入力映像検出ベクトルVの取得精度が高い場合に、文字以外合成用フレームLおよび文字合成用フレームPを合成した内挿フレームを生成し、低い場合に、加重平均合成用フレームMおよび文字合成用フレームPを合成した内挿フレームを生成する。
このため、内挿フレームにおける文字スクロール領域C以外の部分については、第1の入力映像検出ベクトルVの取得精度が高い場合、オブジェクトZの動きに対応する第1の入力映像検出ベクトルVおよび文字以外部分ゲインに基づき生成された文字以外合成用フレームLの画像を用いるので、文字スクロール領域C以外の部分の品位を保証できる。また、第1の入力映像検出ベクトルVの取得精度が高い場合、連続する2個の入力フレームFの色を混ぜた加重平均合成用フレームMの画像を用いるので、文字以外合成用フレームLを用いる場合と比べて、文字合成用フレームPに合成するフレームの生成処理を容易にできる。さらに、内挿フレームにおける文字スクロール領域Cについては、文字スクロール領域Cの動きに対応する第2の入力映像検出ベクトルVおよび文字以外部分ゲイン以上の値を有する文字部分ゲインに基づき生成された文字合成用フレームPの画像を用いるので、文字スクロール領域Cの品位も保証できる。
このため、内挿フレームにおける文字スクロール領域C以外の部分については、第1の入力映像検出ベクトルVの取得精度が高い場合、オブジェクトZの動きに対応する第1の入力映像検出ベクトルVおよび文字以外部分ゲインに基づき生成された文字以外合成用フレームLの画像を用いるので、文字スクロール領域C以外の部分の品位を保証できる。また、第1の入力映像検出ベクトルVの取得精度が高い場合、連続する2個の入力フレームFの色を混ぜた加重平均合成用フレームMの画像を用いるので、文字以外合成用フレームLを用いる場合と比べて、文字合成用フレームPに合成するフレームの生成処理を容易にできる。さらに、内挿フレームにおける文字スクロール領域Cについては、文字スクロール領域Cの動きに対応する第2の入力映像検出ベクトルVおよび文字以外部分ゲイン以上の値を有する文字部分ゲインに基づき生成された文字合成用フレームPの画像を用いるので、文字スクロール領域Cの品位も保証できる。
本発明は、内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体として利用できる。
Claims (12)
- 所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成装置であって、
前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出部と、
前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得部と、
前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出部と、
前記内挿距離および所定値に設定されている文字以外部分ゲインに基づいて、前記文字スクロール領域以外の部分に対応する第1の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づく動きに対応する文字以外合成用フレームを生成するとともに、前記内挿距離および前記文字以外部分ゲイン以上の値に設定されている文字部分ゲインに基づいて、前記文字スクロール領域に対応する第2の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づく動きに対応する文字合成用フレームを生成するベクトルフレームレート変換処理部と、
前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成部と、
を具備したことを特徴とする内挿フレーム生成装置。 - 請求項1に記載の内挿フレーム生成装置において、
前記文字部分ゲインは、所定値に固定されている
ことを特徴とする内挿フレーム生成装置。 - 請求項1または請求項2に記載の内挿フレーム生成装置において、
前記内挿フレームの作成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれに対応する前記第1の動きベクトルの連続性が所定レベルよりも高いか否かを判断するベクトル取得精度判定部と、
前記第1の動きベクトルの連続性が所定レベルよりも高い場合、前記文字以外部分ゲインの値を大きくし、前記連続性が前記所定レベルよりも低い場合、前記文字以外部分ゲインの値を小さくするゲイン制御部と、
を具備したことを特徴とする内挿フレーム生成装置。 - 請求項1または請求項2に記載の内挿フレーム生成装置において、
前記文字以外部分ゲインは、前記文字部分ゲインよりも小さい値に固定されている
ことを特徴とする内挿フレーム生成装置。 - 所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成装置であって、
前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出部と、
前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得部と、
前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出部と、
前記内挿フレームの生成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれにおける前記文字スクロール領域以外の部分に対応する第1の前記動きベクトルの連続性が、所定レベルよりも高いか否かを判断するベクトル取得精度判定部と、
前記第1の動きベクトルの連続性に基づいて、所定範囲で増減可能な文字以外部分ゲインおよび所定範囲で増減可能な加重平均対応ゲインを増減させるゲイン制御部と、
前記内挿距離および前記文字以外部分ゲインに基づいて、前記第1の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づき前記文字スクロール領域以外の部分を動かした文字以外合成用フレームを生成するとともに、前記文字以外部分ゲインおよび前記加重平均対応ゲイン以上の値に設定されている文字部分ゲインと前記内挿距離とに基づいて、前記文字スクロール領域に対応する第2の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づき前記文字スクロール領域を動かした文字合成用フレームを生成するベクトルフレームレート変換処理部と、
前記入力同期タイミングが前記内挿距離が検出された前記出力同期タイミングの前後に対応する一対の入力フレームの線形補間処理を実行することで加重平均合成用フレームを生成する加重平均フレームレート変換処理部と、
前記第1の動きベクトルの連続性が高いと判断された場合、前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成し、前記連続性が低いと判断された場合、前記加重平均合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成部と、
を具備したことを特徴とする内挿フレーム生成装置。 - 請求項5に記載の内挿フレーム生成装置において、
前記ゲイン制御部は、
前記第1の動きベクトルの連続性が高いと判断され、かつ、前記加重平均対応ゲインが最低値の場合、前記文字以外部分ゲインを増やし、
前記第1の動きベクトルの連続性が高いと判断され、かつ、前記加重平均対応ゲインが最低値でない場合、前記加重平均対応ゲインを減らし、
前記第1の動きベクトルの連続性が低いと判断され、かつ、前記文字以外部分ゲインが最低値の場合、前記加重平均対応ゲインを増やし、
前記第1の動きベクトルの連続性が低いと判断され、かつ、前記文字以外部分ゲインが最低値でない場合、前記文字以外部分ゲインの値を減らし、
前記内挿フレーム生成部は、前記加重平均対応ゲインが最低値の場合、前記文字以外合成用フレームと前記文字合成用フレームとを合成することで前記内挿フレームを生成し、前記文字以外部分ゲインが最低値の場合、前記加重平均合成用フレームと前記文字合成用フレームとを合成することで前記内挿フレームを生成する
ことを特徴とする内挿フレーム生成装置。 - 請求項1ないし請求項6のいずれかに記載の内挿フレーム生成装置と、
この内挿フレーム生成装置で作成された前記内挿フレームを前記入力フレームの間に内挿して、フレームレート変換した出力映像を表示部で表示させる内挿制御部と、
を具備したことを特徴とするフレームレート変換装置。 - 演算手段により、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成方法であって、
前記演算手段は、
前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出工程と、
前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得工程と、
前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出工程と、
前記内挿距離および所定値に設定されている文字以外部分ゲインに基づいて、前記文字スクロール領域以外の部分に対応する第1の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づく動きに対応する文字以外合成用フレームを生成するとともに、前記内挿距離および前記文字以外部分ゲイン以上の値に設定されている文字部分ゲインに基づいて、前記文字スクロール領域に対応する第2の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づく動きに対応する文字合成用フレームを生成するベクトルフレームレート変換処理工程と、
前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成工程と、
を実施することを特徴とする内挿フレーム生成方法。 - 演算手段により、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成方法であって、
前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出工程と、
前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得工程と、
前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出工程と、
前記内挿フレームの生成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれにおける前記文字スクロール領域以外の部分に対応する第1の前記動きベクトルの連続性が、所定レベルよりも高いか否かを判断するベクトル取得精度判定工程と、
前記第1の動きベクトルの連続性に基づいて、所定範囲で増減可能な文字以外部分ゲインおよび所定範囲で増減可能な加重平均対応ゲインを増減させるゲイン制御工程と、
前記内挿距離および前記文字以外部分ゲインに基づいて、前記第1の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づき前記文字スクロール領域以外の部分を動かした文字以外合成用フレームを生成するとともに、前記文字以外部分ゲインおよび前記加重平均に対応ゲイン以上の値に設定されている文字部分ゲインと前記内挿距離とに基づいて、前記文字スクロール領域に対応する第2の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づき前記文字スクロール領域を動かした文字合成用フレームを生成するベクトルフレームレート変換処理工程と、
前記入力同期タイミングが前記内挿距離が検出された前記出力同期タイミングの前後に対応する一対の入力フレームの線形補間処理を実行することで加重平均合成用フレームを生成する加重平均フレームレート変換処理工程と、
前記第1の動きベクトルの連続性が高いと判断された場合、前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成し、前記連続性が低いと判断された場合、前記加重平均合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成工程と、
を実施することを特徴とする内挿フレーム生成方法。 - 請求項8または請求項9に記載の内挿フレーム生成方法を演算手段に実行させる
ことを特徴とする内挿フレーム生成プログラム。 - 演算手段を請求項1ないし請求項6のいずれかに記載の内挿フレーム生成装置として機能させる
ことを特徴とする内挿フレーム生成プログラム。 - 請求項10または請求項11に記載の内挿フレーム生成プログラムが演算手段にて読取可能に記録された
ことを特徴とする内挿フレーム生成プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2008/069272 WO2010046990A1 (ja) | 2008-10-23 | 2008-10-23 | 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2008/069272 WO2010046990A1 (ja) | 2008-10-23 | 2008-10-23 | 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010046990A1 true WO2010046990A1 (ja) | 2010-04-29 |
Family
ID=42119051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2008/069272 WO2010046990A1 (ja) | 2008-10-23 | 2008-10-23 | 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2010046990A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2553125A (en) * | 2016-08-24 | 2018-02-28 | Snell Advanced Media Ltd | Comparing video sequences using fingerprints |
CN109729298A (zh) * | 2017-10-27 | 2019-05-07 | 联咏科技股份有限公司 | 图像处理方法与图像处理装置 |
WO2022158132A1 (ja) * | 2021-01-22 | 2022-07-28 | ソニーセミコンダクタソリューションズ株式会社 | 映像処理装置、映像処理方法、および映像表示装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6126382A (ja) * | 1984-07-17 | 1986-02-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動き量を用いた動画像フレ−ムレ−ト変換方式 |
JPH10501953A (ja) * | 1995-04-11 | 1998-02-17 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 動き補償されたフィールドレート変換 |
WO2003055211A1 (fr) * | 2001-12-13 | 2003-07-03 | Sony Corporation | Processeur de signaux d'image et procede de traitement |
JP2004023673A (ja) * | 2002-06-19 | 2004-01-22 | Sony Corp | 動きベクトル検出装置及び方法、動き補正装置及び方法 |
JP2007329952A (ja) * | 2006-02-28 | 2007-12-20 | Sharp Corp | 画像表示装置及び方法、画像処理装置及び方法 |
JP2008107753A (ja) * | 2006-09-28 | 2008-05-08 | Sharp Corp | 画像表示装置及び方法、画像処理装置及び方法 |
WO2008136116A1 (ja) * | 2007-04-26 | 2008-11-13 | Pioneer Corporation | 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
-
2008
- 2008-10-23 WO PCT/JP2008/069272 patent/WO2010046990A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6126382A (ja) * | 1984-07-17 | 1986-02-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動き量を用いた動画像フレ−ムレ−ト変換方式 |
JPH10501953A (ja) * | 1995-04-11 | 1998-02-17 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 動き補償されたフィールドレート変換 |
WO2003055211A1 (fr) * | 2001-12-13 | 2003-07-03 | Sony Corporation | Processeur de signaux d'image et procede de traitement |
JP2004023673A (ja) * | 2002-06-19 | 2004-01-22 | Sony Corp | 動きベクトル検出装置及び方法、動き補正装置及び方法 |
JP2007329952A (ja) * | 2006-02-28 | 2007-12-20 | Sharp Corp | 画像表示装置及び方法、画像処理装置及び方法 |
JP2008107753A (ja) * | 2006-09-28 | 2008-05-08 | Sharp Corp | 画像表示装置及び方法、画像処理装置及び方法 |
WO2008136116A1 (ja) * | 2007-04-26 | 2008-11-13 | Pioneer Corporation | 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2553125A (en) * | 2016-08-24 | 2018-02-28 | Snell Advanced Media Ltd | Comparing video sequences using fingerprints |
US10395121B2 (en) | 2016-08-24 | 2019-08-27 | Snell Advanced Media Limited | Comparing video sequences using fingerprints |
GB2553125B (en) * | 2016-08-24 | 2022-03-09 | Grass Valley Ltd | Comparing video sequences using fingerprints |
CN109729298A (zh) * | 2017-10-27 | 2019-05-07 | 联咏科技股份有限公司 | 图像处理方法与图像处理装置 |
CN109729298B (zh) * | 2017-10-27 | 2020-11-06 | 联咏科技股份有限公司 | 图像处理方法与图像处理装置 |
WO2022158132A1 (ja) * | 2021-01-22 | 2022-07-28 | ソニーセミコンダクタソリューションズ株式会社 | 映像処理装置、映像処理方法、および映像表示装置 |
US12198657B2 (en) | 2021-01-22 | 2025-01-14 | Sony Semiconductor Solutions Corporation | Image processing device, image processing method, and image display device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7965303B2 (en) | Image displaying apparatus and method, and image processing apparatus and method | |
JP4157579B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4359223B2 (ja) | 映像補間装置とこれを用いたフレームレート変換装置,映像表示装置 | |
JP4525692B2 (ja) | 画像処理装置、画像処理方法、画像表示装置 | |
US20070097260A1 (en) | Moving image display device and method for moving image display | |
US20100214473A1 (en) | Image display system, image display apparatus, and control method for image display apparatus | |
WO2010046990A1 (ja) | 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体 | |
WO2011155258A1 (ja) | 画像処理装置および方法、画像表示装置および方法 | |
EP1761045A2 (en) | Image signal processing apparatus and interlace-to-progressive conversion method | |
JPWO2008136116A1 (ja) | 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体 | |
CN100401763C (zh) | 运动补偿设备和方法 | |
JP5208381B2 (ja) | 動画像フレームレート変換装置および動画像フレームレート変換方法 | |
JP2009055340A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
WO2010046989A1 (ja) | フレームレート変換装置、画像処理装置、表示装置、フレームレート変換方法、そのプログラム、および、そのプログラムを記録した記録媒体 | |
US20070024608A1 (en) | Apparatus for controlling displaying images and method of doing the same | |
JP2009181067A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP2006154751A (ja) | 動画ボケ改善のための信号処理 | |
JP2008017321A (ja) | 画像処理装置及び画像処理方法 | |
JP4355347B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP5219646B2 (ja) | 映像処理装置及び映像処理装置の制御方法 | |
JP5077037B2 (ja) | 画像処理装置 | |
JP2008193730A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
KR20050039644A (ko) | 데이터 처리 장치 및 데이터 처리 방법, 프로그램, 및기록 매체 | |
JP6218575B2 (ja) | 画像処理装置及びその制御方法 | |
JP4736456B2 (ja) | 走査線補間装置、映像表示装置、映像信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 08877556 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
NENP | Non-entry into the national phase |
Ref country code: JP |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 08877556 Country of ref document: EP Kind code of ref document: A1 |