+

WO2010046990A1 - 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体 - Google Patents

内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2010046990A1
WO2010046990A1 PCT/JP2008/069272 JP2008069272W WO2010046990A1 WO 2010046990 A1 WO2010046990 A1 WO 2010046990A1 JP 2008069272 W JP2008069272 W JP 2008069272W WO 2010046990 A1 WO2010046990 A1 WO 2010046990A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
character
input
interpolation
vector
Prior art date
Application number
PCT/JP2008/069272
Other languages
English (en)
French (fr)
Inventor
篤 松野
完 池田
浩之 吉田
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2008/069272 priority Critical patent/WO2010046990A1/ja
Publication of WO2010046990A1 publication Critical patent/WO2010046990A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Definitions

  • the present invention relates to an interpolation frame generation device, a frame rate conversion device, a display device, an interpolation frame generation method, a program thereof, and a recording medium on which the program is recorded.
  • Patent Document 1 a configuration for converting a frame rate of an input video composed of a plurality of frames is known (see, for example, Patent Document 1).
  • an interpolation frame is generated using a motion vector for a character area to be scrolled.
  • any processing other than a character region can be applied, in which no interpolation frame is generated, linear interpolation processing, or replacement processing using a neighboring frame is performed.
  • An object of the present invention is to record an interpolation frame generation device, a frame rate conversion device, a display device, an interpolation frame generation method, a program thereof, and a program thereof that can appropriately generate an interpolation frame with guaranteed quality. It is to provide a recording medium.
  • the interpolated frame generation apparatus outputs an input video composed of a plurality of input frames that can be considered to be input at an input synchronization timing based on an input image signal having a predetermined input frequency as an output image signal having a predetermined output frequency.
  • An interpolated frame generating device that generates the interpolated frame when converting the frame rate to an output video composed of the input frame output at an output synchronization timing based on the output frame and an interpolated frame interpolated between the input frames.
  • a character detection unit that detects a character scroll area that moves in a predetermined direction included in the input frame, a vector acquisition unit that acquires a motion in the input frame for each input frame as a motion vector, and the interpolation frame Used to generate the output synchronization timing and the interpolation frame.
  • An interpolation distance detection unit that detects an interval of the input synchronization timing of the input frame as an interpolation distance, and a non-character scroll area based on the interpolation distance and a non-character partial gain set to a predetermined value
  • a non-character partial vector is set by adjusting the size of the first motion vector corresponding to the non-character part vector, a non-character combining frame corresponding to the motion based on the non-character partial vector is generated, and the interpolation Based on the character part gain set to a value equal to or greater than the distance and the part gain other than the character, a character part vector is set by adjusting the size of the second motion vector corresponding to the character scroll area,
  • a vector frame rate conversion processing unit for generating a character synthesis frame corresponding to a motion based on a character partial vector;
  • An interpolation frame generation unit that generates the interpolation frame by synthesizing a portion other than the character scroll area in the outer synthesis frame and the character scroll area in the character synthesis frame
  • the interpolated frame generation apparatus outputs an input video composed of a plurality of input frames that can be considered to be input at an input synchronization timing based on an input image signal having a predetermined input frequency as an output image signal having a predetermined output frequency.
  • An interpolated frame generating device that generates the interpolated frame when converting the frame rate to an output video composed of the input frame output at an output synchronization timing based on the output frame and an interpolated frame interpolated between the input frames.
  • a character detection unit that detects a character scroll area that moves in a predetermined direction included in the input frame, a vector acquisition unit that acquires a motion in the input frame for each input frame as a motion vector, and the interpolation frame Used to generate the output synchronization timing and the interpolation frame.
  • An interpolation distance detector that detects an interval of the input synchronization timing of the input frame as an interpolation distance, and each of the input frame used for generating the interpolation frame and the input frame adjacent to the input frame.
  • a continuity of the first motion vector corresponding to a portion other than the character scroll area in the vector, and a vector acquisition accuracy determination unit for determining whether or not the continuity of the first motion vector is higher than a predetermined level.
  • a non-character partial vector is set by adjusting the size of the motion vector, and the character is based on the non-character partial vector.
  • a vector frame rate for adjusting a size of the second motion vector corresponding to the character scroll area to set a character part vector and generating a character composition frame in which the character scroll area is moved based on the character part vector A weighted average for generating a weighted average synthesis frame by executing a linear interpolation process of a conversion processing unit and a pair of input frames corresponding to the input synchronization timing before and after the output synchronization timing at which the interpolation distance is detected When it is determined that the continuity between the frame rate conversion processing unit and the first motion vector is high When the interpolation frame is generated by synthesizing the part other than the character scroll area in the non-character composition frame and the character scroll area in the character composition frame, and it is determined that the continuity is low An interpolation frame generation unit that
  • a frame rate conversion apparatus interpolates between the input frames the interpolation frame generation apparatus described above and the interpolation frame generated by the interpolation frame generation apparatus, and outputs an output video obtained by frame rate conversion. And an interpolation control unit to be displayed on the display unit.
  • an input video composed of a plurality of input frames that can be considered to be input at an input synchronization timing based on an input image signal having a predetermined input frequency is calculated by a calculation means with a predetermined output frequency.
  • the calculation means detects a character scroll area that moves in a predetermined direction included in the input frame, and acquires a motion in the input frame as a motion vector for each input frame.
  • the size of the first motion vector corresponding to a portion other than the character scroll area is adjusted to set a non-character partial vector, and the non-character corresponding to the motion based on the non-character partial vector
  • a frame for composition is generated, and the magnitude of the second motion vector corresponding to the character scroll area is determined based on the interpolation distance and a character partial gain set to a value greater than or equal to the non-character partial gain.
  • a vector that generates a character composition frame corresponding to movement based on this character part vector by adjusting and setting a character part vector A frame rate conversion processing step, and an interpolation frame generation step of generating the interpolation frame by synthesizing a portion other than the character scroll area in the non-character synthesis frame and the character scroll area in the character synthesis frame. And performing the above.
  • an input video composed of a plurality of input frames that can be considered to be input at an input synchronization timing based on an input image signal having a predetermined input frequency is calculated by a calculation means.
  • a frame generation method a character detection step of detecting a character scroll region moving in a predetermined direction included in the input frame, a vector acquisition step of acquiring a motion in the input frame as a motion vector for each input frame, The output synchronization timing at which the interpolation frame is output, and the interpolation
  • An interpolation distance detecting step for detecting an interval of the input synchronization timing of the input frame used for generating a frame as an interpolation distance; the input frame used for generating the interpolation frame; and an adjacent to the input frame.
  • a vector frame rate conversion processing step for generating a pair of input frames corresponding to the input synchronization timing before and after the output synchronization timing at which the interpolation distance is detected.
  • a weighted average frame rate conversion process for generating a frame, and the first motion vector The interpolated frame is generated by synthesizing the part other than the character scroll area in the non-character composition frame and the character scroll area in the character composition frame.
  • the interpolation frame is generated by synthesizing a portion other than the character scroll area in the weighted average synthesis frame and the character scroll area in the character synthesis frame.
  • an interpolation frame generation step is performed by synthesizing a portion other than the character scroll area in the weighted average synthesis frame and the character scroll area in the character synthesis frame.
  • the interpolated frame generation program of the present invention is characterized by causing an arithmetic means to execute the above-described interpolated frame generation method.
  • the interpolation frame generation program according to the present invention is characterized in that the calculation means functions as the above-described interpolation frame generation device.
  • the recording medium on which the interpolation frame generation program of the present invention is recorded is characterized in that the above-described interpolation frame generation program is recorded so as to be readable by the calculation means.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a display device according to a first embodiment of the present invention. It is a schematic diagram which shows the input image
  • FIG. 1 is a block diagram illustrating a schematic configuration of a display device.
  • FIG. 2 is a schematic diagram showing an input video.
  • FIG. 3 is a schematic diagram illustrating a generation state of a non-character composition frame.
  • FIG. 4 is a schematic diagram showing a generation state of a character composition frame.
  • the display device 100 includes a display unit 110 and a frame rate conversion device 120.
  • the display unit 110 is connected to the frame rate conversion device 120.
  • the display unit 110 displays the output video with the frame rate converted under the control of the frame rate conversion device 120.
  • Examples of the display unit 110 include a PDP (Plasma Display Panel), a liquid crystal panel, an organic EL (Electro Luminescence) panel, a CRT (Cathode-Ray Tube), an FED (Field Emission Display), and an electrophoretic display panel.
  • the frame rate conversion apparatus 120 has an input video N composed of an input frame F (hereinafter, the a-th input frame is referred to as an input frame Fa as appropriate) input based on a 24 Hz input vertical synchronization signal. Is frame rate converted into an output image composed of a plurality of output frames output based on the 60 Hz output vertical synchronization signal.
  • the frame rate conversion apparatus 120 includes an interpolation frame generation apparatus 130 as an arithmetic unit and an interpolation control unit 140.
  • the interpolated frame generation apparatus 130 includes a frame memory 131, a character detection unit 132, a vector acquisition unit 133, a gain control unit 134 that also functions as a vector acquisition accuracy determination unit, An interpolation distance ratio recognition unit 135 as an insertion distance detection unit, a vector frame rate conversion processing unit 136, and an interpolation frame generation unit 138 are provided.
  • the frame memory 131 acquires the image signal from the image signal output unit 10, temporarily accumulates the input frame F based on the image signal, and appropriately transmits it to the vector acquisition unit 133 and the vector frame rate conversion processing unit 136. Output.
  • the character detection unit 132 for example, a character scroll area C that scrolls from the right side to the left side in the input frame F (hereinafter, the character scroll area of the c-th input frame F is referred to as a character scroll area Cc as appropriate). ) Is detected. Then, scroll position information specifying the position of the character scroll area C is output to the vector acquisition unit 133.
  • the vector acquisition unit 133 acquires the input frame F (a + 1) based on the image signal from the image signal output unit 10 and the input frame Fa temporarily stored in the frame memory 131. Then, as shown in FIG. 3, the movement of the portions other than the character scroll area C in the input frames F (a + 1) and Fa is represented by the first input video detection vector V (a + 1) and not shown. Get as a local area vector. In FIG. 3, only the object Z in the input frame F in which the character scroll area C and the object Z exist is illustrated.
  • the vector acquisition unit 133 when acquiring the first input video detection vector V (a + 1), the vector acquisition unit 133 except for the portion inside the input frame F (a + 1) by a predetermined distance from the outer edge (not shown).
  • One motion detection block composed of parts is set. This motion detection block is composed of a plurality of local areas divided into a plurality. That is, the motion detection block has a first block size composed of pixels not shown.
  • the vector acquisition unit 133 converts the motion in the motion detection block, that is, the motion in almost the entire input frame F (a + 1), to one first input video detection vector. Obtained as V (a + 1) and output to the gain controller 134.
  • a method for obtaining the first input video detection vector V (a + 1) for example, a method as described in Japanese Patent Publication No. Sho 62-62109 (hereinafter referred to as a pattern matching method) or Japanese Patent Laid-Open No. Sho 62.
  • Examples include the method described in JP-A-206980 (hereinafter referred to as iterative gradient method). That is, when the pattern matching method is used, a plurality of blocks (hereinafter referred to as the following) having the same number of pixels as the motion detection block of the input frame F (a + 1) and shifted in different directions with respect to the input frame Fa. Set as “Past block”.
  • the one having the highest correlation with the motion detection block is detected from the plurality of past blocks, and the first input video detection vector V (a + 1) is obtained based on the detected past block and motion detection block.
  • An optimal one for detecting the first input video detection vector V (a + 1) is selected as the initial displacement vector. Then, the calculation is started from a value close to the true first input video detection vector V (a + 1) of the motion detection block, thereby reducing the number of times of the gradient method calculation and the second true input video.
  • a detection vector V (a + 1) is detected.
  • the vector acquisition unit 133 acquires the motion in each local area as a local area vector, and outputs it to the gain control unit 134. That is, the motion in the local area composed of the second number of pixels smaller than the first number is detected.
  • the same processing as that for acquiring the first input video detection vector V (a + 1) is performed. Note that, as the local area vector acquisition process, a process different from that at the time of acquiring the first input video detection vector V (a + 1) may be applied.
  • the vector acquisition unit 133 acquires the movement of the character scroll area C in the input frames F (a + 1) and Fa as the second input video detection vector B (a + 1). . 4 and FIG. 13 to be described later, only the character scroll area C in the input frame F in which the character scroll area C and the object Z exist are illustrated. In order to facilitate understanding of the contents of the present invention, a description will be given using a schematic diagram in which the character scroll area C that is actually scrolling to the left is scrolled from the lower side to the upper side. Specifically, when acquiring the second input video detection vector B (a + 1), the vector acquisition unit 133 includes one character scroll area C in the input frame F (a + 1). Set the motion detection block.
  • This motion detection block is composed of a plurality of local areas divided into a plurality. That is, the motion detection block has a second block size made up of pixels not shown. Then, for each input frame F (a + 1), the vector acquisition unit 133 uses the motion in the motion detection block, that is, the motion in the character scroll area C as one second input video detection vector B (a + 1). Obtained and output to the vector frame rate conversion processing unit 136.
  • the gain control unit 134 Based on the continuity of the first input image detection vector V acquired by the vector acquisition unit 133, the gain control unit 134, as shown in FIG. Increase or decrease the partial gain except for the character set to.
  • the gain control unit 134 has no continuity of the first input video detection vector V, that is, lower than a predetermined level. to decide.
  • the first input video detection vector V can be acquired and the number of local area vectors matching the first input video detection vector V is equal to or greater than a threshold, the continuity of the first input video detection vector V It is determined that there is, that is, higher than a predetermined level. If the number of local area vectors that match the first input video detection vector V is less than the threshold, it is determined that the first input video detection vector V is not continuous.
  • the gain control unit 134 may determine the acquisition accuracy of the first input video detection vector V as follows.
  • the vector acquisition unit 133 cannot acquire the first input video detection vector V, it is determined that the first input video detection vector V is not continuous and the acquisition accuracy is low. Further, when the first input video detection vector V can be acquired, the variance of the local area vector is calculated. If the variance is less than or equal to the threshold value, it is determined that the first input video detection vector V is continuous and the acquisition accuracy is high. If the variance is greater than the threshold value, the first input video detection vector V is not continuous. It may be determined that the acquisition accuracy is low.
  • the gain control unit 134 performs a process of increasing the non-character partial gain by a predetermined value, for example, a process of increasing by 0.25.
  • a predetermined value for example, a process of increasing by 0.25.
  • the first input video detection vector V8 is acquired and determined to be continuous, and the non-character partial gain at the output synchronization timing of the input frame F7 is set to 0.25. If this is the case, processing for sequentially increasing the non-character partial gain corresponding to the non-character combining frames L14 and L15 by 0.25 is performed.
  • the gain controller 134 reduces the non-character partial gain by a predetermined value when the first input video detection vector V is not continuous and the non-character partial gain is set to a value larger than 0. Process, for example, reduce by 0.25. For example, as shown in FIG. 3, since the erroneous first input video detection vector V7 is acquired, it is determined that there is no continuity, and the non-character partial gain corresponding to the non-character composition frame L11 is 1. Is set, the non-character partial gains corresponding to the non-character combining frames L12 and L13 and the input frame F7 are sequentially reduced by 0.25.
  • the gain controller 134 has the continuity of the first input video detection vector V and the non-character partial gain is set to 1, or there is no continuity and the non-character partial gain.
  • the partial gain setting other than this character is maintained.
  • the gain control unit 134 increases or decreases the non-character partial gain so as to be 0 or more and 1 or less.
  • the partial gain other than the increased / decreased character is output to the vector frame rate conversion processing unit 136.
  • the increase / decrease amount of the non-character partial gain is not limited to 0.25, and may be 0.1 or 0.5. Further, the amount to be increased and the amount to be decreased may be increased or decreased.
  • the gain control unit 134 always sets the character part gain corresponding to the character scroll area C detected by the character detection unit 132 to 1 and outputs the gain to the vector frame rate conversion processing unit 136. To do.
  • the character scroll area C since the moving speed and the moving direction are substantially constant, the motion vector acquisition accuracy is higher than that of the object Z in a portion other than the character scroll area C. For this reason, the character part gain is always set to 1 and the non-character part gain is set within a range equal to or less than the character part gain.
  • the interpolation distance ratio recognition unit 135 obtains the input vertical synchronization signal of the input frame F and the output vertical synchronization signal of the non-predetermined synthesis frame L from the synchronization signal output unit 20, and the non-predetermined synthesis frame L In addition to recognizing the input frame F at the input synchronization timing that has the shortest interval with the output synchronization timing, the interval between the output synchronization timing and the input synchronization timing is recognized as the interpolation distance. Further, as shown in FIGS. 3 and 4, a value obtained by dividing the interpolation distance by the interval of the output synchronization timing is calculated as the interpolation distance ratio.
  • the interpolation distance ratio is a positive value when the output synchronization timing of the non-character composition frame L is close to the input synchronization timing of the previous input frame F, and is close to the input synchronization timing of the subsequent input frame F. Negative value.
  • the interpolation distance ratio is 0 when there is an input frame F having the same output synchronization timing and input synchronization timing. Then, the interpolation distance ratio recognition unit 135 outputs the interpolation distance ratio to the vector frame rate conversion processing unit 136.
  • the vector frame rate conversion processing unit 136 generates a non-character composition frame L as shown in FIG. 3 and a character composition frame P as shown in FIG. 4 and outputs them to the interpolation frame generation unit 138.
  • the non-c-th character composition frame L and the character composition frame P are referred to as a non-character composition frame Lc and a character composition frame Pc, as appropriate.
  • the vector frame rate conversion processing unit 136 multiplies the interpolation distance ratio and the non-character partial gain, Find the unity gain. Then, the first input video use vector Kc (c is a natural number) is set by multiplying the first input video detection vector V (a + 1) by the first gain. For example, as shown in FIG. 3, when the first gain corresponding to the non-character composition frame L15 is -0.375, this -0.375 is multiplied by the first input video detection vector V8. First input video use vector K15 is set.
  • the vector frame rate conversion processing unit 136 generates a non-character composition frame L in which the object Z in a portion other than the character scroll area C has moved based on the first input video use vector Kc. For example, as shown in FIG. 3, a frame L15 for composition other than the character in which the object Z8 of the input frame F8 has moved is generated based on the first input video use vector K15. Then, as shown in FIG. 3, the vector frame rate conversion processing unit 136 outputs to the interpolation frame generation unit 138 as a synthesis frame L other than characters used for generation of the interpolation frame at a predetermined output synchronization timing. .
  • the non-character composition frame L when the non-character composition frame L is generated, the first input video use vector K generated based on the first gain set to a value equal to or less than the interpolation distance ratio is used. Therefore, the non-character composition frame L, which will be described in detail later, is compared with the character composition frame P generated using the second input video use vector D based on the interpolation distance ratio. The amount of movement may be small.
  • the vector frame rate conversion processing unit 136 obtains the second gain by multiplying the interpolation distance ratio and the character part gain. Then, the first input video use vector Dc (c is a natural number) is set by multiplying the second input video detection vector B (a + 1) by the second gain. For example, as shown in FIG. 4, when the second gain corresponding to the character composition frame P15 is -0.50, the -0.50 is multiplied by the second input video detection vector B8, A second input video use vector D15 is set.
  • the vector frame rate conversion processing unit 136 generates a character composition frame Pc in which the character scroll area C has moved based on the second input video use vector Dc. For example, as shown in FIG. 4, a character composition frame P15 in which the character scroll area C8 of the input frame F8 is moved is generated based on the second input video use vector D15. Then, as shown in FIG. 4, the vector frame rate conversion processing unit 136 outputs to the interpolation frame generation unit 138 as a character synthesis frame P used for generation of the interpolation frame at a predetermined output synchronization timing.
  • the interpolation frame generation unit 138 combines the non-character combining frame L and the character combining frame P from the vector frame rate conversion processing unit 136 to generate an interpolation frame (not shown).
  • the interpolated frame generation unit 138 includes a portion other than the character scroll areas C10 to C17 in the non-character composition frames L10 to L17, and the character composition frames P10 to P17 whose output synchronization timing matches that of the non-character composition frames L10 to L17.
  • an interpolation frame output at a predetermined output synchronization timing is generated and output to the interpolation control unit 140.
  • the interpolation frame generation unit 138 outputs the input frame F corresponding to the timing when the first gain is 0 to the interpolation control unit 140, and the input frame F corresponding to the timing when the first gain is other than 0. Do not output.
  • the interpolation control unit 140 acquires the input frame and the interpolation frame from the interpolation frame generation unit 138 and outputs them based on the output synchronization timing, thereby causing the display unit 110 to display the video.
  • FIG. 5 is a flowchart showing the operation of the display device.
  • step S1 the character scroll area C in the input frame F is detected (step S1), and the first and second input video detection vectors V and B and the local area vector are obtained (step S2). Thereafter, the interpolation distance ratio is recognized based on the input vertical synchronization signal and the output vertical synchronization signal (step S3), and the non-character partial gain and the character partial gain are set (step S4).
  • the frame rate conversion apparatus 120 generates a non-character composition frame L corresponding to the non-character partial gain and a character composition frame P corresponding to the character partial gain (step S5). Then, an interpolated frame obtained by synthesizing the non-character synthesizing frame L and the character synthesizing frame P is generated (step S6), and an image is displayed on the display unit 110 (step S7).
  • the interpolation frame generation device 130 of the display device 100 detects the character scroll region C included in the input frame F, acquires the movement of the character scroll region C as the second input video detection vector B, and For example, the movement of the object Z existing in a portion other than the character scroll area C is acquired as the first input video detection vector V. Further, the interpolation distance ratio is calculated by dividing the interpolation distance, which is the interval between the predetermined output synchronization timing and the input synchronization timing of the predetermined input frame F, by the output synchronization timing interval. Then, the first input video use vector K is set by multiplying the interpolation distance ratio, the first input video detection vector V, and the non-character partial gain that increases or decreases in the range of 0 to 1.
  • a frame L for composition other than a character having a motion amount based on the first input video use vector K is generated.
  • the second input video use vector D is set by multiplying the interpolation distance ratio, the second input video detection vector B, and the character partial gain fixed to 1, and this second input video use is set.
  • a character synthesis frame P having a motion amount based on the vector D is generated.
  • the non-character combining frame L and the character combining frame P are combined to generate an interpolation frame. For this reason, for the portion other than the character scroll area C in the interpolated frame, the image of the non-character composition frame L generated based on the first input video detection vector V corresponding to the movement of the object Z and the non-character partial gain.
  • the quality of the portion other than the character scroll area C can be guaranteed. Further, for the character scroll area C in the interpolated frame, the character composition generated based on the second input video detection vector V corresponding to the movement of the character scroll area C and the character partial gain having a value equal to or greater than the non-character partial gain. Since the image of the working frame P is used, the quality of the character scroll area C can be guaranteed.
  • the interpolation frame generation device 130 increases the non-character partial gain when the first input video detection vector V is continuous, and decreases the non-character partial gain when there is no continuity. Then, an interpolated frame is generated by synthesizing the non-character synthesis frame L based on the increased / decreased non-character partial gain. For this reason, when the first input video detection vector V has continuity, an interpolation frame in which the object Z exists at a position close to the movement locus of the object Z can be generated. On the other hand, when there is no continuity of the first input video detection vector V, the deviation distance from the movement trajectory of the object Z is minimized by reducing the non-character partial gain as compared with the case where the non-character partial gain is fixed. A limited number of interpolation frames can be generated. Therefore, even when the first input video detection vector V is not continuous, an error in the movement of the object Z can be minimized.
  • FIG. 6 is a block diagram illustrating a schematic configuration of the display device.
  • FIG. 7 is a schematic diagram showing setting control of the vector correspondence gain and the weighted average correspondence gain.
  • FIG. 8 and FIG. 9 are schematic diagrams showing a generation state of a non-character composition frame or a weighted average composition frame.
  • the display device 200 includes a display unit 110 and a frame rate conversion device 220. Further, the frame rate conversion device 220 includes an interpolation frame generation device 230 as an arithmetic means and an interpolation control unit 140.
  • the interpolation frame generation device 230 includes a frame memory 131, a character detection unit 132, a vector acquisition unit 133, a gain control unit 234 that also functions as a vector acquisition accuracy determination unit, An interpolation distance ratio recognition unit 235 as an insertion distance detection unit, a vector frame rate conversion processing unit 136, a weighted average frame rate conversion processing unit 237, and an interpolation frame generation unit 238 are provided.
  • the gain control unit 234 sets the partial gain other than the character set to 0 in advance and 1 as shown in FIG.
  • the weighted average corresponding gain is increased or decreased by 0.25 in the range of 0 or more and 1 or less. Further, at the time of this increase / decrease, at least one of the non-character partial gain and the weighted average correspondence gain is increased / decreased so that it is always zero.
  • the initial set values of the non-character partial gain and the weighted average correspondence gain are not limited to 1 and may be 0 or 0.5.
  • the increase / decrease amount of the partial gain other than characters and the weighted average correspondence gain is not limited to 0.25, and may be 0.1 or 0.5. And you may increase / decrease in the state from which the quantity to increase and the quantity to reduce differ. Further, the amount of increase / decrease may be made different between the non-character partial gain and the weighted average correspondence gain.
  • the gain control unit 234 determines the acquisition accuracy of the first input video detection vector V by the same processing as the gain control unit 134 of the first embodiment. Then, when the acquisition accuracy is high, it is determined whether or not the weighted average correspondence gain can be reduced. When it is determined that the weighted average corresponding gain can be reduced because it is greater than 0, the weighted average corresponding gain is decreased by 0.25. On the other hand, if it is determined that the weighted average correspondence gain is 0 and cannot be reduced, the non-character partial gain and the weighted average correspondence gain are maintained at 0 for the synthesis frame L other than one character, and then the other than characters. Increase the partial gain by 0.25.
  • the gain control unit 234 determines whether or not the non-character partial gain can be reduced when the acquisition accuracy is low. If the non-character partial gain is larger than 0, the gain control unit 234 determines that the non-character partial gain can be reduced. If it is determined that it cannot be reduced because it is 0, it is reduced by 0.25. After maintaining the state that the non-character partial gain and the weighted average correspondence gain become 0 for the frame L for synthesis other than one character, the weighted average correspondence is maintained. Increase the gain by 0.25. Note that when the non-character partial gain or the weighted average correspondence gain is 1, if it is determined to increase these, the state of 1 is maintained. Then, gain control section 234 outputs a partial gain other than characters to vector frame rate conversion processing section 136 and outputs a weighted average corresponding gain to weighted average frame rate conversion processing section 237.
  • the gain control unit 234 also performs vector frame rate conversion when the weighted average corresponding gain becomes 0 by shifting the acquisition accuracy of the first input video detection vector V from a state lower than a predetermined level to a high state.
  • An output selection signal for outputting the synthesis frame Lc other than the character generated by the processing unit 136 for generating an interpolation frame is output to the interpolation frame generation unit 238.
  • An output selection signal for outputting Mc is output to interpolation frame generation section 238.
  • the gain control unit 234 always sets the character part gain corresponding to the character scroll area C to 1 and outputs it to the vector frame rate conversion processing unit 136.
  • the interpolation distance ratio recognition unit 235 calculates and recognizes the interpolation distance ratio by the same process as the interpolation distance ratio recognition unit 135 of the first embodiment, and the interpolation distance ratio is a vector frame rate conversion processing unit. 136 and the weighted average frame rate conversion processing unit 237.
  • the vector frame rate conversion processing unit 136 generates a non-character composition frame L and a character composition frame P, and outputs them to the interpolation frame generation unit 238.
  • the weighted average frame rate conversion processing unit 237 generates a weighted average synthesis frame Mc by executing linear interpolation processing based on the weighted average correspondence gain. Specifically, the weighted average frame rate conversion processing unit 237 calculates the third gain by multiplying the absolute value of the interpolation distance ratio and the weighted average corresponding gain. Then, the reference surface weighted average weight and the target surface weighted average weight are calculated by substituting the third gain into the following equations (1) and (2).
  • the weighted average frame rate conversion processing unit 237 has a mixing ratio based on the reference plane weighted average weight and the target plane weighted average weight, and is in each of the corresponding positions in the input frame Fa and the input frame F (a + 1).
  • An image in which pixel colors are mixed is generated as a weighted average composition frame Mc.
  • the reference plane frame corresponding to the weighted average composition frame Mc is recognized as the past input frame Fa.
  • the reference plane frame “P” represents that the reference plane frame has been set to the past input frame Fa
  • “U” represents the future input frame F (a + Indicates that it is set in 1).
  • the weighted average frame rate conversion processing unit 237 sets the color of each pixel at the corresponding position in the input frame Fa and the input frame F (a + 1) as the color of the predetermined pixel in the weighted average synthesis frame Mc.
  • a color mixed at a ratio corresponding to each of the reference surface weighted average weight and the target surface weighted average weight is applied.
  • the reference plane frame corresponding to the weighted average combining frame Mc is recognized as the future input frame F (a + 1). Then, as the color of the predetermined pixel in the weighted average composition frame Mc, the color of each pixel at the corresponding position in the input frame F (a + 1) and the input frame Fa is used as the reference plane weighted average weight and the target plane. Apply colors mixed in proportions corresponding to each weighted average weight.
  • the weighted average frame rate conversion processing unit 237 generates a weighted average synthesis frame M19 to be inserted at a position close to the input frame F8 between the input frame F8 and the input frame F9.
  • the input frame F8 is recognized as a reference plane frame of the weighted average composition frame M19, and the color of the object Z8 and the corresponding position on the input frame F9 are used as the color of the corresponding position of the object Z8 on the weighted average composition frame M19.
  • a color mixed at 0.9: 0.1 is applied.
  • the mixing ratio of the color of the corresponding position on the input frame F8 and the color of the object Z9 is mixed at 0.9: 0.1. Apply color.
  • the input frame F9 is recognized as the reference plane frame of the weighted average composition frame M20
  • the color of the corresponding position of the object Z8 is A color obtained by mixing the color of the corresponding position on the input frame F9 with the color of the object Z8 at a ratio of 0.7: 0.3 is applied
  • the color of the position corresponding to the object Z9 is A color in which the mixing ratio of the color and the color at the corresponding position on the input frame F8 is 0.7: 0.3 is applied.
  • the weighted average frame rate conversion processing unit 237 outputs the weighted average synthesis frame M to the interpolation frame generation unit 238.
  • the vector frame rate conversion processing unit 136 and the weighted average frame rate conversion processing unit 237 use the input frame F acquired immediately before as necessary to synthesize a frame Lc other than characters. Then, a weighted average combining frame Mc is generated and output as a non-character combining frame L.
  • the interpolation frame generation unit 238 Based on the output selection signal from the gain control unit 234, the interpolation frame generation unit 238 and the weighted average from the weighted average frame rate conversion processing unit 237 and the non-character synthesis frame L from the vector frame rate conversion processing unit 136 One of the combining frames M is combined with the character combining frame P to generate an interpolation frame.
  • the interpolated frame generation unit 238 has a weighted average correspondence gain of 0 at the timing between the input frame F5 and the input frame F7.
  • An interpolated frame is generated by synthesizing the synthesis frame L and the character synthesis frame P other than the character and the character synthesis frame P having the same output synchronization timing.
  • the weighted average synthesis frame M and the character synthesis in which the output synchronization timing coincides with this weighted average synthesis frame M are generated by synthesizing the frame P. Then, the interpolation frame generation unit 238 outputs the generated interpolation frame to the interpolation control unit 140.
  • FIG. 10 is a flowchart showing the operation of the display device.
  • the interpolation frame generation device 230 of the display device 200 recognizes the interpolation distance ratio (step S11) after performing the processes of steps S1 and S2, and performs a non-character partial gain, a character partial gain, A weighted average correspondence gain is set (step S12). Then, the interpolation frame generation device 230 performs a vector frame rate conversion process (step S13) and also performs a weighted average frame rate conversion process (step S14). That is, in step S13, a non-character composition frame L and a character composition frame P are generated, and in step S14, a weighted average composition frame M is generated.
  • the frame rate conversion apparatus 220 recognizes the frame other than the character combining frame L or the weighted average combining frame M as the frame to be combined with the character combining frame P according to the settings of the non-character partial gain and the weighted average correspondence gain. (Step S15). Then, the recognized frame and the character synthesis frame P are synthesized to generate an interpolation frame (step S16), and the process of step S7 is performed.
  • the interpolated frame generation device 230 of the display device 200 generates a non-character combining frame L and a character combining frame P, similarly to the interpolated frame generating device 130 of the first embodiment. Further, the interpolation frame generation device 230 calculates the reference plane weighted average weight and the target plane weighted average weight based on the above-described equations (1) and (2), and the input frame Fa and the input frame F (a + 1). A weighted average combining frame M is generated in which the colors of the pixels at the corresponding positions are set to colors obtained by mixing the colors corresponding to the reference surface weighted average weight and the target surface weighted average weight.
  • an interpolation frame is generated by synthesizing the non-character synthesis frame L and the character synthesis frame P.
  • the weighted average synthesis frame M is generated.
  • an interpolation frame is generated by combining the frame P for character synthesis. For this reason, for portions other than the character scroll area C in the interpolated frame, the first input video detection vector V corresponding to the movement of the object Z and the characters other than the characters when the first input video detection vector V is highly accurate. Since the image of the composition frame L other than the character generated based on the partial gain is used, the quality of the portion other than the character scroll area C can be guaranteed.
  • the accuracy of obtaining the first input video detection vector V is high, an image of the weighted average composition frame M in which the colors of the two consecutive input frames F are mixed is used, so the composition frame L other than characters is used. Compared to the case, the process of generating a frame to be combined with the character combining frame P can be facilitated. Further, for the character scroll area C in the interpolated frame, the character composition generated based on the second input video detection vector V corresponding to the movement of the character scroll area C and the character partial gain having a value equal to or greater than the non-character partial gain. Since the image of the working frame P is used, the quality of the character scroll area C can be guaranteed.
  • the character partial gain may be fixed to 1 as shown in FIG. 4, and the non-character partial gain may be fixed to 0.75 as shown in FIG. Further, the character partial gain may be fixed to 1 as shown in FIG. 4 and the non-character partial gain may be increased or decreased within a range of 0 to 0.75 as shown in FIG.
  • a character composition frame P as shown in FIG. 4 is generated based on the character part gain
  • a non-character composition frame as shown in FIGS. 11 and 12 based on the non-character part gain.
  • L is generated, and an interpolated frame is generated by combining the character combining frame P and the non-character combining frame L that have the same output synchronization timing.
  • the character partial gain may be fixed to 0.75 as shown in FIG. 13, and the non-character partial gain may be fixed to 0.25 as shown in FIG.
  • a character synthesis frame P as shown in FIG. 13 is generated based on the character partial gain
  • a non-character synthesis frame L as shown in FIG. 14 is generated based on the non-character partial gain.
  • step S13 may be performed before step S14 or may be performed simultaneously with step S14.
  • the interpolated frame generation unit 238 illustrated a configuration in which one of the non-character combining frame L and the weighted average combining frame M is used to generate an interpolated frame based on the vector acquisition accuracy.
  • a synthesis frame obtained by taking a weighted average of the non-character synthesis frame L and the weighted average synthesis frame M may be used to generate an interpolation frame. That is, when the vector acquisition accuracy is higher than a predetermined value, the shock of change is reduced by making the weighted average of the non-character composition frame L larger than the weighted average when the vector acquisition accuracy is less than the predetermined value. Can do.
  • the image blurring is less in the configuration in which one of the non-character combining frame L and the weighted average combining frame M is used to generate the interpolated frame. Image quality is improved.
  • the interpolated frame generation device of the present invention has been exemplified for the configuration applied to the display device, it may be applied to any configuration that converts the frame rate of the input video and displays it.
  • the present invention may be applied to a playback device or a recording / playback device.
  • each function described above is constructed as a program, but it may be configured by hardware such as a circuit board or an element such as one IC (Integrated Circuit), and can be used in any form.
  • IC Integrated Circuit
  • the interpolation frame generation device 130 acquires the movement of the character scroll area C included in the input frame F as the second input video detection vector B, and other than the character scroll area C.
  • the movement of the object Z is acquired as the first input video detection vector V.
  • a non-character combining frame L is generated based on the first input video detection vector V and the non-character partial gain that increases or decreases in the range of 0 to 1.
  • a character synthesis frame P is generated based on the second input video detection vector B and the character partial gain fixed to 1. Then, the non-character combining frame L and the character combining frame P are combined to generate an interpolation frame.
  • the image of the non-character composition frame L generated based on the first input video detection vector V corresponding to the movement of the object Z and the non-character partial gain. Therefore, the quality of the portion other than the character scroll area C can be guaranteed. Further, for the character scroll area C in the interpolated frame, the character composition generated based on the second input video detection vector V corresponding to the movement of the character scroll area C and the character partial gain having a value equal to or greater than the non-character partial gain. Since the image of the working frame P is used, the quality of the character scroll area C can be guaranteed.
  • the interpolation frame generation device 230 generates a non-character composition frame L and a character composition frame P, and at corresponding positions in the input frame Fa and the input frame F (a + 1).
  • a weighted average combining frame M is generated in which the colors of certain pixels are set to colors obtained by mixing the colors of the respective pixels at a ratio corresponding to the reference surface weighted average weight and the target surface weighted average weight. Then, when the accuracy of obtaining the first input video detection vector V is high, an interpolation frame is generated by synthesizing the non-character synthesis frame L and the character synthesis frame P. When the acquisition accuracy is low, the weighted average synthesis frame M is generated.
  • an interpolation frame is generated by combining the frame P for character synthesis.
  • the first input video detection vector V corresponding to the movement of the object Z and the characters other than the characters when the first input video detection vector V is highly accurate. Since the image of the composition frame L other than the character generated based on the partial gain is used, the quality of the portion other than the character scroll area C can be guaranteed.
  • an image of the weighted average composition frame M in which the colors of the two consecutive input frames F are mixed is used, so the composition frame L other than characters is used.
  • the process of generating a frame to be combined with the character combining frame P can be facilitated. Further, for the character scroll area C in the interpolated frame, the character composition generated based on the second input video detection vector V corresponding to the movement of the character scroll area C and the character partial gain having a value equal to or greater than the non-character partial gain. Since the image of the working frame P is used, the quality of the character scroll area C can be guaranteed.
  • the present invention can be used as an interpolation frame generation device, a frame rate conversion device, a display device, an interpolation frame generation method, a program thereof, and a recording medium on which the program is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　表示装置のフレームレート変換装置は、入力フレームに含まれる文字スクロール領域Ｃの動きを第２の入力映像検出ベクトルとして取得し、文字スクロール領域Ｃ以外の部分に存在するオブジェクトの動きを第１の入力映像検出ベクトルとして取得する。第１の入力映像検出ベクトルと、内挿距離割合と、０以上１以下の範囲で増減する文字以外部分ゲインとを乗じることにより第１の入力映像使用ベクトルを設定し、この第１の入力映像使用ベクトルに基づく文字以外合成用フレームを生成する。第２の入力映像検出ベクトルと、内挿距離割合と、１に固定された文字部分ゲインとを乗じることにより第２の入力映像使用ベクトルを設定し、この第２の入力映像使用ベクトルに基づく文字合成用フレームを生成する。文字以外合成用フレームと文字合成用フレームとを合成して内挿フレームを生成する。

Description

内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体
　本発明は、内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体に関する。
　従来、複数のフレームからなる入力映像のフレームレートを変換する構成が知られている（例えば、特許文献１参照）。
　特許文献１に記載のものは、スクロールする文字領域については、動きベクトルを用いて内挿フレームを生成している。また、文字領域以外については、内挿フレームを生成しない、線形補間処理をする、あるいは、近傍フレームによる置換処理をする、のうちいずれかの処理を適用することができる旨が開示されている。
特開２００８－１０９６２８号公報
　しかしながら、特許文献１のような構成では、文字領域以外については、上述の３通りの方法しか開示されておらず、文字領域以外の部分の品位が保証されていない、例えば出力映像が不自然で滑らかでないという問題点がある。
　本発明の目的は、品位が保証された内挿フレームを適切に生成可能な内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体を提供することである。
　本発明の内挿フレーム生成装置は、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成装置であって、前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出部と、前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得部と、前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出部と、前記内挿距離および所定値に設定されている文字以外部分ゲインに基づいて、前記文字スクロール領域以外の部分に対応する第１の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づく動きに対応する文字以外合成用フレームを生成するとともに、前記内挿距離および前記文字以外部分ゲイン以上の値に設定されている文字部分ゲインに基づいて、前記文字スクロール領域に対応する第２の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づく動きに対応する文字合成用フレームを生成するベクトルフレームレート変換処理部と、前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成部と、を具備したことを特徴とする。
　本発明の内挿フレーム生成装置は、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成装置であって、前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出部と、前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得部と、前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出部と、前記内挿フレームの生成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれにおける前記文字スクロール領域以外の部分に対応する第１の前記動きベクトルの連続性が、所定レベルよりも高いか否かを判断するベクトル取得精度判定部と、前記第１の動きベクトルの連続性に基づいて、所定範囲で増減可能な文字以外部分ゲインおよび所定範囲で増減可能な加重平均対応ゲインを増減させるゲイン制御部と、前記内挿距離および前記文字以外部分ゲインに基づいて、前記第１の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づき前記文字スクロール領域以外の部分を動かした文字以外合成用フレームを生成するとともに、前記文字以外部分ゲインおよび前記加重平均対応ゲイン以上の値に設定されている文字部分ゲインと前記内挿距離とに基づいて、前記文字スクロール領域に対応する第２の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づき前記文字スクロール領域を動かした文字合成用フレームを生成するベクトルフレームレート変換処理部と、前記入力同期タイミングが前記内挿距離が検出された前記出力同期タイミングの前後に対応する一対の入力フレームの線形補間処理を実行することで加重平均合成用フレームを生成する加重平均フレームレート変換処理部と、前記第１の動きベクトルの連続性が高いと判断された場合、前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成し、前記連続性が低いと判断された場合、前記加重平均合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成部と、を具備したことを特徴とする。
　本発明のフレームレート変換装置は、上述の内挿フレーム生成装置と、この内挿フレーム生成装置で作成された前記内挿フレームを前記入力フレームの間に内挿して、フレームレート変換した出力映像を表示部で表示させる内挿制御部と、を具備したことを特徴とする。
　本発明の内挿フレーム生成方法は、演算手段により、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成方法であって、前記演算手段は、前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出工程と、前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得工程と、前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出工程と、前記内挿距離および所定値に設定されている文字以外部分ゲインに基づいて、前記文字スクロール領域以外の部分に対応する第１の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づく動きに対応する文字以外合成用フレームを生成するとともに、前記内挿距離および前記文字以外部分ゲイン以上の値に設定されている文字部分ゲインに基づいて、前記文字スクロール領域に対応する第２の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づく動きに対応する文字合成用フレームを生成するベクトルフレームレート変換処理工程と、前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成工程と、を実施することを特徴とする。
　本発明の内挿フレーム生成方法は、演算手段により、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成方法であって、前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出工程と、前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得工程と、前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出工程と、前記内挿フレームの生成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれにおける前記文字スクロール領域以外の部分に対応する第１の前記動きベクトルの連続性が、所定レベルよりも高いか否かを判断するベクトル取得精度判定工程と、前記第１の動きベクトルの連続性に基づいて、所定範囲で増減可能な文字以外部分ゲインおよび所定範囲で増減可能な加重平均対応ゲインを増減させるゲイン制御工程と、前記内挿距離および前記文字以外部分ゲインに基づいて、前記第１の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づき前記文字スクロール領域以外の部分を動かした文字以外合成用フレームを生成するとともに、前記文字以外部分ゲインおよび前記加重平均に対応ゲイン以上の値に設定されている文字部分ゲインと前記内挿距離とに基づいて、前記文字スクロール領域に対応する第２の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づき前記文字スクロール領域を動かした文字合成用フレームを生成するベクトルフレームレート変換処理工程と、前記入力同期タイミングが前記内挿距離が検出された前記出力同期タイミングの前後に対応する一対の入力フレームの線形補間処理を実行することで加重平均合成用フレームを生成する加重平均フレームレート変換処理工程と、前記第１の動きベクトルの連続性が高いと判断された場合、前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成し、前記連続性が低いと判断された場合、前記加重平均合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成工程と、を実施することを特徴とする。
　本発明の内挿フレーム生成プログラムは、上述の内挿フレーム生成方法を演算手段に実行させることを特徴とする。
　本発明の内挿フレーム生成プログラムは、演算手段を上述の内挿フレーム生成装置として機能させることを特徴とする。
　本発明の内挿フレーム生成プログラムを記録した記録媒体は、上述の内挿フレーム生成プログラムが演算手段にて読取可能に記録されたことを特徴とする。
本発明の第１実施形態に係る表示装置の概略構成を示すブロック図である。 前記第１実施形態および本発明の第２実施形態における入力映像を示す模式図である。 前記第１実施形態における文字以外合成用フレームの生成状態を示す模式図である。 前記第１，第２実施形態における文字合成用フレームの生成状態を示す模式図である。 前記第１実施形態における表示装置の動作を示すフローチャートである。 前記第２実施形態に係る表示装置の概略構成を示すブロック図である。 前記第２実施形態におけるベクトル対応ゲインおよび加重平均対応ゲインの設定制御を示す模式図である。 前記第２実施形態における文字以外合成用フレームまたは加重平均合成用フレームの生成状態を示す模式図である。 前記第２実施形態における文字以外合成用フレームまたは加重平均合成用フレームの生成状態を示す模式図である。 前記第２実施形態における表示装置の動作を示すフローチャートである。 本発明の変形例に係る文字以外合成用フレームの生成状態を示す模式図である。 本発明の他の変形例に係る文字以外合成用フレームの生成状態を示す模式図である。 本発明のさらに他の変形例に係る文字合成用フレームの生成状態を示す模式図である。 前記さらに他の変形例における文字以外合成用フレームの生成状態を示す模式図である。
符号の説明
　１００，２００…表示装置
　１１０…表示部
　１２０，２２０…フレームレート変換装置
　１３０，２３０…演算手段としての内挿フレーム生成装置
　１３２…文字検出部
　１３３…ベクトル取得部
　１３４，２３４…ベクトル取得精度判定部としても機能するゲイン制御部
　１３５，２３５…内挿距離検出部としての内挿距離割合認識部
　１３６…ベクトルフレームレート変換処理部
　２３７…加重平均フレームレート変換処理部
　１３８，２３８…内挿フレーム生成部
　１４０…内挿制御部
［第１実施形態］
　以下、本発明に係る第１実施形態を図面に基づいて説明する。
　この第１実施形態および後述する第２～第５実施形態では、本発明の内挿フレーム生成装置を有するフレームレート変換装置を備えた表示装置であって、外部から入力される複数の入力フレームからなる入力映像のフレームレートを変換した出力映像を表示する構成を例示して説明する。
　図１は、表示装置の概略構成を示すブロック図である。図２は、入力映像を示す模式図である。図３は、文字以外合成用フレームの生成状態を示す模式図である。図４は、文字合成用フレームの生成状態を示す模式図である。
　〔表示装置の構成〕
　図１に示すように、表示装置１００は、表示部１１０と、フレームレート変換装置１２０と、を備えている。
　表示部１１０は、フレームレート変換装置１２０に接続されている。この表示部１１０は、フレームレート変換装置１２０の制御により、フレームレートが変換された出力映像を表示させる。この表示部１１０としては、例えばＰＤＰ（Plasma Display Panel）、液晶パネル、有機ＥＬ（Electro Luminescence）パネル、ＣＲＴ（Cathode-Ray Tube）、ＦＥＤ（Field Emission Display）、電気泳動ディスプレイパネルなどが例示できる。
　フレームレート変換装置１２０は、図２に示すような、２４Ｈｚの入力垂直同期信号に基づき入力される入力フレームＦ（以下、適宜、ａ番目の入力フレームを入力フレームＦaと称す）からなる入力映像Ｎを、６０Ｈｚの出力垂直同期信号に基づき出力される複数の出力フレームからなる出力画像にフレームレート変換する。
　そして、フレームレート変換装置１２０は、演算手段としての内挿フレーム生成装置１３０と、内挿制御部１４０と、を備えている。
　また、内挿フレーム生成装置１３０は、各種プログラムから構成された、フレームメモリ１３１と、文字検出部１３２と、ベクトル取得部１３３と、ベクトル取得精度判定部としても機能するゲイン制御部１３４と、内挿距離検出部としての内挿距離割合認識部１３５と、ベクトルフレームレート変換処理部１３６と、内挿フレーム生成部１３８と、を備えている。
　フレームメモリ１３１は、画像信号出力部１０からの画像信号を取得して、この画像信号に基づく入力フレームＦを一時的に蓄積し、ベクトル取得部１３３、および、ベクトルフレームレート変換処理部１３６へ適宜出力する。
　文字検出部１３２は、図２に示すように、入力フレームＦにおける例えば右側から左側へスクロールする文字スクロール領域Ｃ（以下、適宜、ｃ番目の入力フレームＦの文字スクロール領域を文字スクロール領域Ｃcと称す）を検出する。そして、この文字スクロール領域Ｃの位置を特定するスクロール位置情報を、ベクトル取得部１３３へ出力する。
　ベクトル取得部１３３は、画像信号出力部１０からの画像信号に基づく入力フレームＦ(a+1)と、フレームメモリ１３１で一時的に蓄積された入力フレームＦaと、を取得する。そして、図３に示すように、この入力フレームＦ(a+1)，Ｆaにおける文字スクロール領域Ｃ以外の部分の動きを、第１の入力映像検出ベクトルＶ(a+1)、および、図示しないローカルエリアベクトルとして取得する。なお、図３では、文字スクロール領域ＣおよびオブジェクトＺが存在する入力フレームＦ中のオブジェクトＺのみを図示している。
　具体的には、ベクトル取得部１３３は、第１の入力映像検出ベクトルＶ(a+1)を取得する場合、入力フレームＦ(a+1)の図示しない外縁から所定距離だけ内側の部分以外の部分で構成される１個の動き検出ブロックを設定する。この動き検出ブロックは、複数に分割された複数のローカルエリアから構成されている。つまり、動き検出ブロックは、図示しない画素からなる第１のブロックサイズを有している。
　そして、ベクトル取得部１３３は、入力フレームＦ(a+1)ごとに、動き検出ブロックにおける動き、つまり入力フレームＦ(a+1)のほぼ全体における動きを１個の第１の入力映像検出ベクトルＶ(a+1)として取得して、ゲイン制御部１３４へ出力する。
　ここで、第１の入力映像検出ベクトルＶ(a+1)の取得方法としては、例えば特公昭６２－６２１０９号公報に記載のような方法（以下、パターンマッチング法と称す）や特開昭６２－２０６９８０号公報に記載のような方法（以下、反復勾配法と称す）などが例示できる。
　すなわち、パターンマッチング法を利用する場合、入力フレームＦaに対して、入力フレームＦ(a+1)の動き検出ブロックと同数の画素を有し互いに異なる方向に位置がずれた複数のブロック（以下、過去ブロックと称す）を設定する。そして、この複数の過去ブロックから動き検出ブロックと最も相関が高いものを検出し、この検出した過去ブロックおよび動き検出ブロックに基づいて、第１の入力映像検出ベクトルＶ(a+1)を取得する。
　また、反復勾配法を利用する場合、動き量を検出する際の初期値として、動き検出ブロックに該当するブロックを含む周辺の複数の過去ブロックにおいてすでに検出されている動きベクトルの候補の中から、第１の入力映像検出ベクトルＶ(a+1)の検出用として最適なものを初期変位ベクトルとして選択する。そして、動き検出ブロックの真の第１の入力映像検出ベクトルＶ(a+1)に近い値から演算を開始することにより、勾配法演算の演算回数を少なくして、第２の真の入力映像検出ベクトルＶ(a+1)を検出する。
　また、ベクトル取得部１３３は、各ローカルエリアにおける動きをローカルエリアベクトルとして取得して、ゲイン制御部１３４へ出力する。つまり、第１の数よりも小さい第２の数の画素からなるローカルエリアにおける動きを検出する。
　ここで、ローカルエリアベクトルを取得する際には、第１の入力映像検出ベクトルＶ(a+1)の取得時と同様の処理を実施する。なお、ローカルエリアベクトルの取得処理として、第１の入力映像検出ベクトルＶ(a+1)の取得時とは異なる処理を適用してもよい。
　また、ベクトル取得部１３３は、図４に示すように、入力フレームＦ(a+1)，Ｆaにおける文字スクロール領域Ｃの動きを、第２の入力映像検出ベクトルＢ(a+1)として取得する。なお、図４および後述する図１３では、文字スクロール領域ＣおよびオブジェクトＺが存在する入力フレームＦ中の文字スクロール領域Ｃのみを図示している。また、本発明の内容を理解しやすくするために、実際には左側にスクロールしている文字スクロール領域Ｃを、下側から上側にスクロールさせた模式図を用いて説明する。
　具体的には、ベクトル取得部１３３は、第２の入力映像検出ベクトルＢ(a+1)を取得する場合、入力フレームＦ(a+1)における文字スクロール領域Ｃの部分で構成される１個の動き検出ブロックを設定する。この動き検出ブロックは、複数に分割された複数のローカルエリアから構成されている。つまり、動き検出ブロックは、図示しない画素からなる第２のブロックサイズを有している。
　そして、ベクトル取得部１３３は、入力フレームＦ(a+1)ごとに、動き検出ブロックにおける動き、つまり文字スクロール領域Ｃにおける動きを１個の第２の入力映像検出ベクトルＢ(a+1)として取得して、ベクトルフレームレート変換処理部１３６へ出力する。
　ゲイン制御部１３４は、ベクトル取得部１３３で取得した第１の入力映像検出ベクトルＶの連続性に基づいて、図３に示すように、あらかじめ所定値に設定された文字以外部分ゲイン、例えばあらかじめ１に設定された文字以外部分ゲインを増減させる。
　具体的には、ゲイン制御部１３４は、ベクトル取得部１３３で第１の入力映像検出ベクトルＶを取得できない場合、第１の入力映像検出ベクトルＶの連続性がない、すなわち所定レベルよりも低いと判断する。また、第１の入力映像検出ベクトルＶを取得でき、かつ、この第１の入力映像検出ベクトルＶと一致するローカルエリアベクトルの数が閾値以上の場合、第１の入力映像検出ベクトルＶの連続性がある、すなわち所定レベルよりも高いと判断する。また、第１の入力映像検出ベクトルＶと一致するローカルエリアベクトルの数が閾値未満の場合、第１の入力映像検出ベクトルＶの連続性がないと判断する。
　なお、ゲイン制御部１３４にて、以下のようにして、第１の入力映像検出ベクトルＶの取得精度を判断してもよい。
　すなわち、ベクトル取得部１３３で第１の入力映像検出ベクトルＶを取得できない場合、第１の入力映像検出ベクトルＶの連続性がなく取得精度が低いと判断する。また、第１の入力映像検出ベクトルＶを取得できた場合、ローカルエリアベクトルの分散を算出する。そして、この分散が閾値以下の場合、第１の入力映像検出ベクトルＶの連続性があり取得精度が高いと判断し、閾値よりも大きい場合、第１の入力映像検出ベクトルＶの連続性がなく取得精度が低いと判断してもよい。
　そして、ゲイン制御部１３４は、取得精度が高く、かつ、文字以外部分ゲインが１未満に設定されている場合、文字以外部分ゲインを所定値だけ増やす処理、例えば０．２５だけ増やす処理をする。例えば、図３に示すように、第１の入力映像検出ベクトルＶ8が取得されて連続性があると判断され、かつ、入力フレームＦ7の出力同期タイミングにおける文字以外部分ゲインが０．２５に設定されている場合、文字以外合成用フレームＬ14，Ｌ15に対応する文字以外部分ゲインを０．２５ずつ順次増やす処理をする。
　また、ゲイン制御部１３４は、第１の入力映像検出ベクトルＶの連続性がなく、かつ、文字以外部分ゲインが０よりも大きい値に設定されている場合、文字以外部分ゲインを所定値だけ減らす処理、例えば０．２５だけ減らす処理をする。例えば、図３に示すように、誤った第１の入力映像検出ベクトルＶ7が取得されているため連続性がないと判断され、かつ、文字以外合成用フレームＬ11に対応する文字以外部分ゲインが１に設定されている場合、文字以外合成用フレームＬ12，Ｌ13、入力フレームＦ7に対応する文字以外部分ゲインを０．２５ずつ順次減らす処理をする。
　さらに、ゲイン制御部１３４は、第１の入力映像検出ベクトルＶの連続性があり、かつ、文字以外部分ゲインが１に設定されている場合、あるいは、連続性がなく、かつ、文字以外部分ゲインが０に設定されている場合、この文字以外部分ゲインの設定を維持する。例えば、図３に示すように、第１の入力映像検出ベクトルＶ6が取得されて連続性があると判断され、かつ、入力フレームＦ5に対応する文字以外部分ゲインが１に設定されている場合、文字以外合成用フレームＬ10，Ｌ11に対応する文字以外部分ゲインを１で維持する。
　つまり、ゲイン制御部１３４は、文字以外部分ゲインを０以上、１以下となるように増減させる。そして、この増減させた文字以外部分ゲインを、ベクトルフレームレート変換処理部１３６へ出力する。
　なお、文字以外部分ゲインの増減量としては、０．２５に限らず０．１や０．５などとしてもよい。また、増やす量と、減らす量と、が異なる状態で増減させてもよい。
　また、ゲイン制御部１３４は、図４に示すように、文字検出部１３２で検出された文字スクロール領域Ｃに対応する文字部分ゲインを常時１に設定して、ベクトルフレームレート変換処理部１３６へ出力する。
　なお、文字スクロール領域Ｃは、移動速度および移動方向が略一定のため、文字スクロール領域Ｃ以外の部分にあるオブジェクトＺと比べて、動きベクトルの取得精度が高くなる。このため、文字部分ゲインを常時１に設定するとともに、文字以外部分ゲインを文字部分ゲイン以下の範囲で設定している。
　内挿距離割合認識部１３５は、同期信号出力部２０から入力フレームＦの入力垂直同期信号および所定の文字以外合成用フレームＬの出力垂直同期信号を取得して、所定の文字以外合成用フレームＬの出力同期タイミングとの間隔が最も短くなる入力同期タイミングの入力フレームＦを認識するとともに、これら出力同期タイミングおよび入力同期タイミングの間隔を内挿距離として認識する。さらに、図３および図４に示すように、この内挿距離を出力同期タイミングの間隔で除した値を、内挿距離割合として算出する。ここで、内挿距離割合は、文字以外合成用フレームＬの出力同期タイミングが前の入力フレームＦの入力同期タイミングと近い場合に正の値となり、後ろの入力フレームＦの入力同期タイミングと近い場合に負の値となる。また、内挿距離割合は、出力同期タイミングと入力同期タイミングが等しい入力フレームＦが存在する場合、０となる。そして、内挿距離割合認識部１３５は、内挿距離割合をベクトルフレームレート変換処理部１３６へ出力する。
　ベクトルフレームレート変換処理部１３６は、図３に示すような文字以外合成用フレームＬ、および、図４に示すような文字合成用フレームＰを生成して、内挿フレーム生成部１３８へ出力する。なお、以下において、適宜、ｃ番目の文字以外合成用フレームＬ、文字合成用フレームＰを、文字以外合成用フレームＬc、文字合成用フレームＰcと称す。
　具体的には、ベクトルフレームレート変換処理部１３６は、文字スクロール領域Ｃ以外の部分に対応する文字以外合成用フレームＬを生成する場合、内挿距離割合と文字以外部分ゲインとを乗じて、第１のゲインを求める。そして、第１の入力映像検出ベクトルＶ(a+1)に、第１のゲインを乗じて第１の入力映像使用ベクトルＫc（ｃは自然数）を設定する。例えば、図３に示すように、文字以外合成用フレームＬ15に対応する第１のゲインが－０．３７５の場合、この－０．３７５と、第１の入力映像検出ベクトルＶ8と、を乗じて、第１の入力映像使用ベクトルＫ15を設定する。
　そして、ベクトルフレームレート変換処理部１３６は、第１の入力映像使用ベクトルＫcに基づいて、文字スクロール領域Ｃ以外の部分にあるオブジェクトＺが動いた文字以外合成用フレームＬを生成する。例えば、図３に示すように、第１の入力映像使用ベクトルＫ15に基づき入力フレームＦ8のオブジェクトＺ8が動いた文字以外合成用フレームＬ15を生成する。
　そして、ベクトルフレームレート変換処理部１３６は、図３に示すように、所定の出力同期タイミングにおける内挿フレームの生成に利用される文字以外合成用フレームＬとして、内挿フレーム生成部１３８へ出力する。
　ここで、文字以外合成用フレームＬを生成する際に、内挿距離割合以下の値に設定された第１のゲインに基づき生成された第１の入力映像使用ベクトルＫを使用している。このため、文字以外合成用フレームＬは、詳しくは後述するが、内挿距離割合に基づく第２の入力映像使用ベクトルＤを利用して生成された文字合成用フレームＰと比べて、オブジェクトＺの移動量が小さくなることがある。
　さらに、ベクトルフレームレート変換処理部１３６は、文字スクロール領域Ｃに対応する文字合成用フレームＰを生成する場合、内挿距離割合と文字部分ゲインとを乗じて、第２のゲインを求める。そして、第２の入力映像検出ベクトルＢ(a+1)に、第２のゲインを乗じて第１の入力映像使用ベクトルＤc（ｃは自然数）を設定する。例えば、図４に示すように、文字合成用フレームＰ15に対応する第２のゲインが－０．５０の場合、この－０．５０と、第２の入力映像検出ベクトルＢ8と、を乗じて、第２の入力映像使用ベクトルＤ15を設定する。
　そして、ベクトルフレームレート変換処理部１３６は、第２の入力映像使用ベクトルＤcに基づき文字スクロール領域Ｃが動いた文字合成用フレームＰcを生成する。例えば、図４に示すように、第２の入力映像使用ベクトルＤ15に基づき入力フレームＦ8の文字スクロール領域Ｃ8が動いた文字合成用フレームＰ15を生成する。
　そして、ベクトルフレームレート変換処理部１３６は、図４に示すように、所定の出力同期タイミングにおける内挿フレームの生成に利用される文字合成用フレームＰとして、内挿フレーム生成部１３８へ出力する。
　内挿フレーム生成部１３８は、ベクトルフレームレート変換処理部１３６からの文字以外合成用フレームＬおよび文字合成用フレームＰを合成して、図示しない内挿フレームを生成する。
　内挿フレーム生成部１３８は、文字以外合成用フレームＬ10～Ｌ17における文字スクロール領域Ｃ10～Ｃ17以外の部分と、この文字以外合成用フレームＬ10～Ｌ17と出力同期タイミングが一致する文字合成用フレームＰ10～Ｐ17の文字スクロール領域Ｃ10～Ｃ17と、を合成することで所定の出力同期タイミングで出力される内挿フレームを生成して、内挿制御部１４０へ出力する。また、内挿フレーム生成部１３８は、第１のゲインが０のタイミングに対応する入力フレームＦを内挿制御部１４０へ出力し、第１のゲインが０以外のタイミングに対応する入力フレームＦを出力しない。
　内挿制御部１４０は、内挿フレーム生成部１３８からの入力フレームおよび内挿フレームを取得して、これらを出力同期タイミングに基づき出力することで、映像を表示部１１０で表示させる。
　〔表示装置の動作〕
　次に、表示装置１００の動作を説明する。
　図５は、表示装置の動作を示すフローチャートである。
　表示装置１００のフレームレート変換装置１２０は、画像信号出力部１０からの画像信号と、同期信号出力部２０からの入力垂直同期信号および出力垂直同期信号と、を取得すると、図５に示すように、入力フレームＦにおける文字スクロール領域Ｃを検出して（ステップＳ１）、第１，第２の入力映像検出ベクトルＶ，Ｂおよびローカルエリアベクトルを取得する（ステップＳ２）。この後、入力垂直同期信号および出力垂直同期信号などに基づいて、内挿距離割合を認識し（ステップＳ３）、文字以外部分ゲインおよび文字部分ゲインを設定する（ステップＳ４）。
　この後、フレームレート変換装置１２０は、文字以外部分ゲインに応じた文字以外合成用フレームＬおよび文字部分ゲインに応じた文字合成用フレームＰを生成する（ステップＳ５）。そして、文字以外合成用フレームＬおよび文字合成用フレームＰを合成した内挿フレームを生成して（ステップＳ６）、表示部１１０で映像を表示させる（ステップＳ７）。
　〔第１実施形態の作用効果〕
　上述したように、上記第１実施形態では、以下のような作用効果を奏することができる。
　（１）表示装置１００の内挿フレーム生成装置１３０は、入力フレームＦに含まれる文字スクロール領域Ｃを検出し、この文字スクロール領域Ｃの動きを第２の入力映像検出ベクトルＢとして取得するとともに、文字スクロール領域Ｃ以外の部分に存在する例えばオブジェクトＺの動きを第１の入力映像検出ベクトルＶとして取得する。また、所定の出力同期タイミングおよび所定の入力フレームＦの入力同期タイミングの間隔である内挿距離を、出力同期タイミングの間隔で除して内挿距離割合を算出する。そして、この内挿距離割合と、第１の入力映像検出ベクトルＶと、０以上１以下の範囲で増減する文字以外部分ゲインとを乗じることにより第１の入力映像使用ベクトルＫを設定し、この第１の入力映像使用ベクトルＫに基づく動き量の文字以外合成用フレームＬを生成する。また、内挿距離割合と、第２の入力映像検出ベクトルＢと、１に固定された文字部分ゲインとを乗じることにより第２の入力映像使用ベクトルＤを設定し、この第２の入力映像使用ベクトルＤに基づく動き量の文字合成用フレームＰを生成する。そして、文字以外合成用フレームＬと文字合成用フレームＰとを合成して内挿フレームを生成する。
　このため、内挿フレームにおける文字スクロール領域Ｃ以外の部分については、オブジェクトＺの動きに対応する第１の入力映像検出ベクトルＶおよび文字以外部分ゲインに基づき生成された文字以外合成用フレームＬの画像を用いるので、文字スクロール領域Ｃ以外の部分の品位を保証できる。さらに、内挿フレームにおける文字スクロール領域Ｃについては、文字スクロール領域Ｃの動きに対応する第２の入力映像検出ベクトルＶおよび文字以外部分ゲイン以上の値を有する文字部分ゲインに基づき生成された文字合成用フレームＰの画像を用いるので、文字スクロール領域Ｃの品位も保証できる。
　（２）文字部分ゲインを１に固定しているため、出力同期タイミングごとに文字部分ゲインを設定する必要がなく、処理を簡略にできる。
　（３）内挿フレーム生成装置１３０は、第１の入力映像検出ベクトルＶの連続性がある場合に文字以外部分ゲインを増やし、連続性がない場合に文字以外部分ゲインを減らす。そして、この増減させた文字以外部分ゲインに基づく文字以外合成用フレームＬを合成した内挿フレームを生成する。
　このため、第１の入力映像検出ベクトルＶの連続性がある場合には、オブジェクトＺの移動軌跡に近い位置にオブジェクトＺが存在する内挿フレームが生成できる。一方、第１の入力映像検出ベクトルＶの連続性がない場合には、文字以外部分ゲインを減らすことで、文字以外部分ゲインを固定する場合と比べてオブジェクトＺの移動軌跡からの逸脱距離を最小限に抑えた内挿フレームを生成できる。したがって、第１の入力映像検出ベクトルＶの連続性がない場合でも、オブジェクトＺの動きの誤差を最小限に抑えることができる。
［第２実施形態］
　次に、本発明に係る第２実施形態を図面に基づいて説明する。
　なお、第１実施形態と同一の構成については、同一の名称および符号を付し説明を省略または簡略にする。また、動作については、第１実施形態と同様なので説明を省略する。
　図６は、表示装置の概略構成を示すブロック図である。図７は、ベクトル対応ゲインおよび加重平均対応ゲインの設定制御を示す模式図である。図８および図９は、文字以外合成用フレームまたは加重平均合成用フレームの生成状態を示す模式図である。
　〔表示装置の構成〕
　図６に示すように、表示装置２００は、表示部１１０と、フレームレート変換装置２２０と、を備えている。さらに、フレームレート変換装置２２０は、演算手段としての内挿フレーム生成装置２３０と、内挿制御部１４０と、を備えている。
　また、内挿フレーム生成装置２３０は、各種プログラムから構成された、フレームメモリ１３１と、文字検出部１３２と、ベクトル取得部１３３と、ベクトル取得精度判定部としても機能するゲイン制御部２３４と、内挿距離検出部としての内挿距離割合認識部２３５と、ベクトルフレームレート変換処理部１３６と、加重平均フレームレート変換処理部２３７と、内挿フレーム生成部２３８と、を備えている。
　ゲイン制御部２３４は、ベクトル取得部１３３で取得した第１の入力映像検出ベクトルＶの連続性に基づいて、図７に示すように、あらかじめ０に設定された文字以外部分ゲインと、１に設定された加重平均対応ゲインとを、０以上、１以下の範囲で０．２５ずつ増減させる。また、この増減の際、文字以外部分ゲインと、加重平均対応ゲインとのうち少なくとも一方は、必ず０になるように増減させる。
　なお、文字以外部分ゲインおよび加重平均対応ゲインの初期設定値としては、１に限らず０あるいは０．５などとしてもよい。また、文字以外部分ゲインや加重平均対応ゲインの増減量としては、０．２５に限らず０．１や０．５などとしてもよい。そして、増やす量と、減らす量と、が異なる状態で増減させてもよい。さらに、文字以外部分ゲインと加重平均対応ゲインとで、増減量を異ならせてもよい。
　具体的には、ゲイン制御部２３４は、第１実施形態のゲイン制御部１３４と同様の処理により、第１の入力映像検出ベクトルＶの取得精度を判定する。そして、取得精度が高い場合、加重平均対応ゲインを減らせるか否かを判断する。そして、加重平均対応ゲインが０よりも大きいため減らせると判断した場合、加重平均対応ゲインを０．２５だけ減らす。一方、加重平均対応ゲインが０であるため減らせないと判断した場合、１個の文字以外合成用フレームＬ分だけ文字以外部分ゲインおよび加重平均対応ゲインが０となる状態を維持した後に、文字以外部分ゲインを０．２５だけ増やす。
　また、ゲイン制御部２３４は、取得精度が低い場合、文字以外部分ゲインを減らせるか否かを判断し、文字以外部分ゲインが０よりも大きいため減らせると判断した場合、文字以外部分ゲインを０．２５だけ減らし、０であるため減らせないと判断した場合、１個の文字以外合成用フレームＬ分だけ文字以外部分ゲインおよび加重平均対応ゲインが０となる状態を維持した後に、加重平均対応ゲインを０．２５だけ増やす。
　なお、文字以外部分ゲインまたは加重平均対応ゲインが１のときに、これらを増やすと判断した場合、１の状態を維持する。
　そして、ゲイン制御部２３４は、文字以外部分ゲインをベクトルフレームレート変換処理部１３６へ出力し、加重平均対応ゲインを加重平均フレームレート変換処理部２３７へ出力する。
　また、ゲイン制御部２３４は、第１の入力映像検出ベクトルＶの取得精度が所定レベルよりも低い状態から高い状態へ移行することで、加重平均対応ゲインが０になったとき、ベクトルフレームレート変換処理部１３６で生成された文字以外合成用フレームＬcを内挿フレームの生成用に出力する旨の出力選択信号を内挿フレーム生成部２３８へ出力する。一方、取得精度が所定レベルよりも高い状態から低い状態へ移行することで、加重平均対応ゲインが０よりも大きくなったとき、加重平均フレームレート変換処理部２３７で生成された加重平均合成用フレームＭcを出力する旨の出力選択信号を内挿フレーム生成部２３８へ出力する。
　また、ゲイン制御部２３４は、図４に示すように、文字スクロール領域Ｃに対応する文字部分ゲインを常時１に設定して、ベクトルフレームレート変換処理部１３６へ出力する。
　内挿距離割合認識部２３５は、第１実施形態の内挿距離割合認識部１３５と同様の処理で内挿距離割合を算出して認識して、この内挿距離割合をベクトルフレームレート変換処理部１３６および加重平均フレームレート変換処理部２３７へ出力する。
　ベクトルフレームレート変換処理部１３６は、文字以外合成用フレームＬおよび文字合成用フレームＰを生成して、内挿フレーム生成部２３８へ出力する。
　加重平均フレームレート変換処理部２３７は、加重平均対応ゲインに基づいて、線形補間処理を実行することで加重平均合成用フレームＭcを生成する。
　具体的には、加重平均フレームレート変換処理部２３７は、内挿距離割合の絶対値と加重平均対応ゲインとを乗じることで第３のゲインを算出する。そして、この第３のゲインを以下の式（１），（２）に代入することで、基準面加重平均重みおよび対象面加重平均重みを算出する。
　（数１）
　　Ｉｋ２＝（（Ｙ１／Ｙ２）－Ｙ３）／（Ｙ１／Ｙ２）　…　（１）
　　Ｉｍ２＝Ｙ３／（Ｙ１／Ｙ２）　…　（２）
　　　Ｉｋ２：基準面加重平均重み
　　　Ｉｍ２：対象面加重平均重み
　　　Ｙ１：出力垂直同期信号の周波数
　　　Ｙ２：入力垂直同期信号の周波数
　　　Ｙ３：第３のゲイン
　そして、加重平均フレームレート変換処理部２３７は、基準面加重平均重みと対象面加重平均重みとに基づく混合比で、入力フレームＦaおよび入力フレームＦ(a+1)における対応する位置にあるそれぞれの画素の色を混ぜた画像を、加重平均合成用フレームＭcとして生成する。具体的には、加重平均合成用フレームＭcに対応する内挿距離割合が正の値の場合、この加重平均合成用フレームＭcに対応する基準面フレームが過去の入力フレームＦaであると認識する。
　ここで、図８などにおいて、基準面フレームが「Ｐ」とは、基準面フレームが過去の入力フレームＦaに設定されている旨を表し、「Ｕ」とは、未来の入力フレームＦ(a+1)に設定されている旨を表す。
　そして、加重平均フレームレート変換処理部２３７は、加重平均合成用フレームＭcにおける所定の画素の色として、入力フレームＦaおよび入力フレームＦ(a+1)における対応する位置にあるそれぞれの画素の色を、基準面加重平均重みおよび対象面加重平均重みにそれぞれ対応する割合で混ぜた色を適用する。
　また、加重平均合成用フレームＭcに対応する内挿距離割合が負の値の場合、この加重平均合成用フレームＭcに対応する基準面フレームが未来の入力フレームＦ(a+1)であると認識して、加重平均合成用フレームＭcにおける所定の画素の色として、入力フレームＦ(a+1)および入力フレームＦaにおける対応する位置にあるそれぞれの画素の色を、基準面加重平均重みおよび対象面加重平均重みにそれぞれ対応する割合で混ぜた色を適用する。
　例えば、加重平均フレームレート変換処理部２３７は、図８に示すように、入力フレームＦ8と入力フレームＦ9との間における入力フレームＦ8に近い位置に挿入する加重平均合成用フレームＭ19を生成するときには、入力フレームＦ8を加重平均合成用フレームＭ19の基準面フレームとして認識して、加重平均合成用フレームＭ19上のオブジェクトＺ8の対応位置の色として、オブジェクトＺ8の色と、入力フレームＦ9上の当該対応位置の色との混合比を０．９：０．１で混ぜた色を適用する。また、加重平均合成用フレームＭ19におけるオブジェクトＺ9に対応する位置の色として、入力フレームＦ8上の当該対応位置の色と、オブジェクトＺ9の色との混合比を０．９：０．１で混ぜた色を適用する。
　また、入力フレームＦ9に近い位置に挿入する加重平均合成用フレームＭ20を生成するときには、入力フレームＦ9を加重平均合成用フレームＭ20の基準面フレームとして認識して、オブジェクトＺ8の対応位置の色として、入力フレームＦ9上の当該対応位置の色と、オブジェクトＺ8の色と、の混合比を０．７：０．３で混ぜた色を適用し、オブジェクトＺ9に対応する位置の色として、オブジェクトＺ9の色と、入力フレームＦ8上の当該対応位置の色との混合比を０．７：０．３で混ぜた色を適用する。
　さらに、加重平均フレームレート変換処理部２３７は、加重平均合成用フレームＭを内挿フレーム生成部２３８へ出力する。
　なお、ベクトルフレームレート変換処理部１３６および加重平均フレームレート変換処理部２３７は、入力フレームＦを新たに取得すると、必要に応じて直前に取得した入力フレームＦを利用して文字以外合成用フレームＬcおよび加重平均合成用フレームＭcを生成して、文字以外合成用フレームＬとして出力する。
　内挿フレーム生成部２３８は、ゲイン制御部２３４からの出力選択信号に基づいて、ベクトルフレームレート変換処理部１３６からの文字以外合成用フレームＬと、加重平均フレームレート変換処理部２３７からの加重平均合成用フレームＭとのうち一方を、文字合成用フレームＰと合成して内挿フレームを生成する。
　具体的には、内挿フレーム生成部２３８は、図８、図９に示すような場合、入力フレームＦ5と入力フレームＦ7との間のタイミングでは、加重平均対応ゲインが０であるため、文字以外合成用フレームＬと、この文字以外合成用フレームＬと出力同期タイミングが一致する文字合成用フレームＰとを合成して内挿フレームを生成する。また、入力フレームＦ7と入力フレームＦ13との間のタイミングでは、文字以外部分ゲインが０であるため、加重平均合成用フレームＭと、この加重平均合成用フレームＭと出力同期タイミングが一致する文字合成用フレームＰとを合成して内挿フレームを生成する。
　そして、内挿フレーム生成部２３８は、生成した内挿フレームを内挿制御部１４０へ出力する。
　〔表示装置の動作〕
　次に、表示装置２００の動作を説明する。
　図１０は、表示装置の動作を示すフローチャートである。
　表示装置２００の内挿フレーム生成装置２３０は、図１０に示すように、ステップＳ１，Ｓ２の処理をすると、内挿距離割合を認識して（ステップＳ１１）、文字以外部分ゲイン、文字部分ゲイン、加重平均対応ゲインを設定する（ステップＳ１２）。そして、内挿フレーム生成装置２３０は、ベクトルフレームレート変換処理を実施するとともに（ステップＳ１３）、加重平均フレームレート変換処理を実施する（ステップＳ１４）。すなわち、ステップＳ１３では、文字以外合成用フレームＬおよび文字合成用フレームＰを生成し、ステップＳ１４では、加重平均合成用フレームＭを生成する。
　この後、フレームレート変換装置２２０は、文字以外部分ゲインおよび加重平均対応ゲインの設定に応じて、文字以外合成用フレームＬまたは加重平均合成用フレームＭを文字合成用フレームＰと合成するフレームと認識する（ステップＳ１５）。そして、この認識したフレームと文字合成用フレームＰとを合成して内挿フレームを生成し（ステップＳ１６）、ステップＳ７の処理を実施する。
　〔第２実施形態の作用効果〕
　上述したように、上記第２実施形態では、第１実施形態の（２）、（３）と同様の作用効果に加え、以下のような作用効果を奏することができる。
　（４）表示装置２００の内挿フレーム生成装置２３０は、第１実施形態の内挿フレーム生成装置１３０と同様に文字以外合成用フレームＬおよび文字合成用フレームＰを生成する。さらに、内挿フレーム生成装置２３０は、上述の式（１）、（２）に基づいて基準面加重平均重みおよび対象面加重平均重みを算出し、入力フレームＦaおよび入力フレームＦ(a+1)における対応する位置にあるそれぞれの画素の色を、基準面加重平均重みおよび対象面加重平均重みにそれぞれ対応する割合で混ぜた色に設定した加重平均合成用フレームＭを生成する。そして、第１の入力映像検出ベクトルＶの取得精度が高い場合に、文字以外合成用フレームＬおよび文字合成用フレームＰを合成した内挿フレームを生成し、低い場合に、加重平均合成用フレームＭおよび文字合成用フレームＰを合成した内挿フレームを生成する。
　このため、内挿フレームにおける文字スクロール領域Ｃ以外の部分については、第１の入力映像検出ベクトルＶの取得精度が高い場合、オブジェクトＺの動きに対応する第１の入力映像検出ベクトルＶおよび文字以外部分ゲインに基づき生成された文字以外合成用フレームＬの画像を用いるので、文字スクロール領域Ｃ以外の部分の品位を保証できる。また、第１の入力映像検出ベクトルＶの取得精度が高い場合、連続する２個の入力フレームＦの色を混ぜた加重平均合成用フレームＭの画像を用いるので、文字以外合成用フレームＬを用いる場合と比べて、文字合成用フレームＰに合成するフレームの生成処理を容易にできる。さらに、内挿フレームにおける文字スクロール領域Ｃについては、文字スクロール領域Ｃの動きに対応する第２の入力映像検出ベクトルＶおよび文字以外部分ゲイン以上の値を有する文字部分ゲインに基づき生成された文字合成用フレームＰの画像を用いるので、文字スクロール領域Ｃの品位も保証できる。
［実施形態の変形］
　なお、本発明は、上述した第１，第２実施形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。
　すなわち、図４に示すように文字部分ゲインを１に固定するとともに、図１１に示すように文字以外部分ゲインを０．７５に固定してもよい。また、図４に示すように文字部分ゲインを１に固定するとともに、図１２に示すように文字以外部分ゲインを０以上かつ０．７５以下の範囲で増減させてもよい。
　これらのような構成の場合、文字部分ゲインに基づいて図４に示すような文字合成用フレームＰが生成され、文字以外部分ゲインに基づいて図１１や図１２に示すような文字以外合成用フレームＬが生成されて、互いの出力同期タイミングが一致する文字合成用フレームＰおよび文字以外合成用フレームＬが合成された内挿フレームが生成される。
　さらに、図１３に示すように文字部分ゲインを０．７５に固定するとともに、図１４に示すように文字以外部分ゲインを０．２５に固定してもよい。このような構成の場合、文字部分ゲインに基づいて図１３に示すような文字合成用フレームＰが生成され、文字以外部分ゲインに基づいて図１４に示すような文字以外合成用フレームＬが生成されて、互いの出力同期タイミングが一致する文字合成用フレームＰおよび文字以外合成用フレームＬが合成された内挿フレームが生成される。
　また、図１０において、ステップＳ１３の処理をステップＳ１４の前に実施してもよいし、ステップＳ１４と同時に実施してもよい。
　そして、内挿フレーム生成部２３８において、ベクトルの取得精度に基づいて、文字以外合成用フレームＬと、加重平均合成用フレームＭとのうち一方を内挿フレームの生成に利用する構成を例示したが、ベクトルの取得精度に基づいて、文字以外合成用フレームＬと、加重平均合成用フレームＭとの加重平均を取った合成用フレームを内挿フレームの生成に利用してもよい。すなわち、ベクトルの取得精度が所定値より高いときは文字以外合成用フレームＬの加重平均を、ベクトルの取得精度が所定値以下のときの加重平均より大きくすることにより、変化のショックは小さくすることができる。しかし、ベクトルの取得精度に基づいて、文字以外合成用フレームＬと、加重平均合成用フレームＭとのうち一方を内挿フレームの生成に利用する構成の方が映像のぼけは少なくなり、全体の画質は向上する。
　そして、本発明の内挿フレーム生成装置を、表示装置に適用した構成について例示したが、入力映像のフレームレートを変換して表示させるいかなる構成に適用してもよい。例えば、再生装置や記録再生装置に適用してもよい。
　また、上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは１つのＩＣ（Integrated Circuit）などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から読み取らせる構成とすることにより、取扱が容易で、利用の拡大が容易に図れる。
　その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
［実施形態の効果］
　上述したように、上記実施形態では、内挿フレーム生成装置１３０は、入力フレームＦに含まれる文字スクロール領域Ｃの動きを第２の入力映像検出ベクトルＢとして取得するとともに、文字スクロール領域Ｃ以外のオブジェクトＺの動きを第１の入力映像検出ベクトルＶとして取得する。そして、第１の入力映像検出ベクトルＶと、０以上１以下の範囲で増減する文字以外部分ゲインとに基づいて文字以外合成用フレームＬを生成する。また、第２の入力映像検出ベクトルＢと、１に固定された文字部分ゲインとに基づいて文字合成用フレームＰを生成する。そして、文字以外合成用フレームＬと文字合成用フレームＰとを合成して内挿フレームを生成する。
　このため、内挿フレームにおける文字スクロール領域Ｃ以外の部分については、オブジェクトＺの動きに対応する第１の入力映像検出ベクトルＶおよび文字以外部分ゲインに基づき生成された文字以外合成用フレームＬの画像を用いるので、文字スクロール領域Ｃ以外の部分の品位を保証できる。さらに、内挿フレームにおける文字スクロール領域Ｃについては、文字スクロール領域Ｃの動きに対応する第２の入力映像検出ベクトルＶおよび文字以外部分ゲイン以上の値を有する文字部分ゲインに基づき生成された文字合成用フレームＰの画像を用いるので、文字スクロール領域Ｃの品位も保証できる。
　また、他の実施形態では、内挿フレーム生成装置２３０は、文字以外合成用フレームＬおよび文字合成用フレームＰを生成するとともに、入力フレームＦaおよび入力フレームＦ(a+1)における対応する位置にあるそれぞれの画素の色を、基準面加重平均重みおよび対象面加重平均重みにそれぞれ対応する割合で混ぜた色に設定した加重平均合成用フレームＭを生成する。そして、第１の入力映像検出ベクトルＶの取得精度が高い場合に、文字以外合成用フレームＬおよび文字合成用フレームＰを合成した内挿フレームを生成し、低い場合に、加重平均合成用フレームＭおよび文字合成用フレームＰを合成した内挿フレームを生成する。
　このため、内挿フレームにおける文字スクロール領域Ｃ以外の部分については、第１の入力映像検出ベクトルＶの取得精度が高い場合、オブジェクトＺの動きに対応する第１の入力映像検出ベクトルＶおよび文字以外部分ゲインに基づき生成された文字以外合成用フレームＬの画像を用いるので、文字スクロール領域Ｃ以外の部分の品位を保証できる。また、第１の入力映像検出ベクトルＶの取得精度が高い場合、連続する２個の入力フレームＦの色を混ぜた加重平均合成用フレームＭの画像を用いるので、文字以外合成用フレームＬを用いる場合と比べて、文字合成用フレームＰに合成するフレームの生成処理を容易にできる。さらに、内挿フレームにおける文字スクロール領域Ｃについては、文字スクロール領域Ｃの動きに対応する第２の入力映像検出ベクトルＶおよび文字以外部分ゲイン以上の値を有する文字部分ゲインに基づき生成された文字合成用フレームＰの画像を用いるので、文字スクロール領域Ｃの品位も保証できる。
　本発明は、内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体として利用できる。

Claims (12)

  1. 　所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成装置であって、
    　前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出部と、
    　前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得部と、
    　前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出部と、
    　前記内挿距離および所定値に設定されている文字以外部分ゲインに基づいて、前記文字スクロール領域以外の部分に対応する第１の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づく動きに対応する文字以外合成用フレームを生成するとともに、前記内挿距離および前記文字以外部分ゲイン以上の値に設定されている文字部分ゲインに基づいて、前記文字スクロール領域に対応する第２の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づく動きに対応する文字合成用フレームを生成するベクトルフレームレート変換処理部と、
    　前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成部と、
    　を具備したことを特徴とする内挿フレーム生成装置。
  2. 　請求項１に記載の内挿フレーム生成装置において、
    　前記文字部分ゲインは、所定値に固定されている
    　ことを特徴とする内挿フレーム生成装置。
  3. 　請求項１または請求項２に記載の内挿フレーム生成装置において、
    　前記内挿フレームの作成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれに対応する前記第１の動きベクトルの連続性が所定レベルよりも高いか否かを判断するベクトル取得精度判定部と、
    　前記第１の動きベクトルの連続性が所定レベルよりも高い場合、前記文字以外部分ゲインの値を大きくし、前記連続性が前記所定レベルよりも低い場合、前記文字以外部分ゲインの値を小さくするゲイン制御部と、
    　を具備したことを特徴とする内挿フレーム生成装置。
  4. 　請求項１または請求項２に記載の内挿フレーム生成装置において、
    　前記文字以外部分ゲインは、前記文字部分ゲインよりも小さい値に固定されている
    　ことを特徴とする内挿フレーム生成装置。
  5. 　所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成装置であって、
    　前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出部と、
    　前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得部と、
    　前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出部と、
    　前記内挿フレームの生成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれにおける前記文字スクロール領域以外の部分に対応する第１の前記動きベクトルの連続性が、所定レベルよりも高いか否かを判断するベクトル取得精度判定部と、
    　前記第１の動きベクトルの連続性に基づいて、所定範囲で増減可能な文字以外部分ゲインおよび所定範囲で増減可能な加重平均対応ゲインを増減させるゲイン制御部と、
    　前記内挿距離および前記文字以外部分ゲインに基づいて、前記第１の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づき前記文字スクロール領域以外の部分を動かした文字以外合成用フレームを生成するとともに、前記文字以外部分ゲインおよび前記加重平均対応ゲイン以上の値に設定されている文字部分ゲインと前記内挿距離とに基づいて、前記文字スクロール領域に対応する第２の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づき前記文字スクロール領域を動かした文字合成用フレームを生成するベクトルフレームレート変換処理部と、
    　前記入力同期タイミングが前記内挿距離が検出された前記出力同期タイミングの前後に対応する一対の入力フレームの線形補間処理を実行することで加重平均合成用フレームを生成する加重平均フレームレート変換処理部と、
    　前記第１の動きベクトルの連続性が高いと判断された場合、前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成し、前記連続性が低いと判断された場合、前記加重平均合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成部と、
    　を具備したことを特徴とする内挿フレーム生成装置。
  6. 　請求項５に記載の内挿フレーム生成装置において、
    　前記ゲイン制御部は、
    　前記第１の動きベクトルの連続性が高いと判断され、かつ、前記加重平均対応ゲインが最低値の場合、前記文字以外部分ゲインを増やし、
    　前記第１の動きベクトルの連続性が高いと判断され、かつ、前記加重平均対応ゲインが最低値でない場合、前記加重平均対応ゲインを減らし、
    　前記第１の動きベクトルの連続性が低いと判断され、かつ、前記文字以外部分ゲインが最低値の場合、前記加重平均対応ゲインを増やし、
    　前記第１の動きベクトルの連続性が低いと判断され、かつ、前記文字以外部分ゲインが最低値でない場合、前記文字以外部分ゲインの値を減らし、
    　前記内挿フレーム生成部は、前記加重平均対応ゲインが最低値の場合、前記文字以外合成用フレームと前記文字合成用フレームとを合成することで前記内挿フレームを生成し、前記文字以外部分ゲインが最低値の場合、前記加重平均合成用フレームと前記文字合成用フレームとを合成することで前記内挿フレームを生成する
    　ことを特徴とする内挿フレーム生成装置。
  7. 　請求項１ないし請求項６のいずれかに記載の内挿フレーム生成装置と、
    　この内挿フレーム生成装置で作成された前記内挿フレームを前記入力フレームの間に内挿して、フレームレート変換した出力映像を表示部で表示させる内挿制御部と、
    　を具備したことを特徴とするフレームレート変換装置。
  8. 　演算手段により、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成方法であって、
    　前記演算手段は、
    　前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出工程と、
    　前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得工程と、
    　前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出工程と、
    　前記内挿距離および所定値に設定されている文字以外部分ゲインに基づいて、前記文字スクロール領域以外の部分に対応する第１の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づく動きに対応する文字以外合成用フレームを生成するとともに、前記内挿距離および前記文字以外部分ゲイン以上の値に設定されている文字部分ゲインに基づいて、前記文字スクロール領域に対応する第２の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づく動きに対応する文字合成用フレームを生成するベクトルフレームレート変換処理工程と、
    　前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成工程と、
    　を実施することを特徴とする内挿フレーム生成方法。
  9. 　演算手段により、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを生成する内挿フレーム生成方法であって、
    　前記入力フレームに含まれる所定方向に移動する文字スクロール領域を検出する文字検出工程と、
    　前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得工程と、
    　前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの生成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出工程と、
    　前記内挿フレームの生成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれにおける前記文字スクロール領域以外の部分に対応する第１の前記動きベクトルの連続性が、所定レベルよりも高いか否かを判断するベクトル取得精度判定工程と、
    　前記第１の動きベクトルの連続性に基づいて、所定範囲で増減可能な文字以外部分ゲインおよび所定範囲で増減可能な加重平均対応ゲインを増減させるゲイン制御工程と、
    　前記内挿距離および前記文字以外部分ゲインに基づいて、前記第１の前記動きベクトルの大きさを調整して文字以外部分ベクトルを設定し、この文字以外部分ベクトルに基づき前記文字スクロール領域以外の部分を動かした文字以外合成用フレームを生成するとともに、前記文字以外部分ゲインおよび前記加重平均に対応ゲイン以上の値に設定されている文字部分ゲインと前記内挿距離とに基づいて、前記文字スクロール領域に対応する第２の前記動きベクトルの大きさを調整して文字部分ベクトルを設定し、この文字部分ベクトルに基づき前記文字スクロール領域を動かした文字合成用フレームを生成するベクトルフレームレート変換処理工程と、
    　前記入力同期タイミングが前記内挿距離が検出された前記出力同期タイミングの前後に対応する一対の入力フレームの線形補間処理を実行することで加重平均合成用フレームを生成する加重平均フレームレート変換処理工程と、
    　前記第１の動きベクトルの連続性が高いと判断された場合、前記文字以外合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成し、前記連続性が低いと判断された場合、前記加重平均合成用フレームにおける前記文字スクロール領域以外の部分と前記文字合成用フレームにおける前記文字スクロール領域とを合成することで前記内挿フレームを生成する内挿フレーム生成工程と、
    　を実施することを特徴とする内挿フレーム生成方法。
  10. 　請求項８または請求項９に記載の内挿フレーム生成方法を演算手段に実行させる
    　ことを特徴とする内挿フレーム生成プログラム。
  11. 　演算手段を請求項１ないし請求項６のいずれかに記載の内挿フレーム生成装置として機能させる
    　ことを特徴とする内挿フレーム生成プログラム。
  12. 　請求項１０または請求項１１に記載の内挿フレーム生成プログラムが演算手段にて読取可能に記録された
    　ことを特徴とする内挿フレーム生成プログラムを記録した記録媒体。
PCT/JP2008/069272 2008-10-23 2008-10-23 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体 WO2010046990A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/069272 WO2010046990A1 (ja) 2008-10-23 2008-10-23 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/069272 WO2010046990A1 (ja) 2008-10-23 2008-10-23 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体

Publications (1)

Publication Number Publication Date
WO2010046990A1 true WO2010046990A1 (ja) 2010-04-29

Family

ID=42119051

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/069272 WO2010046990A1 (ja) 2008-10-23 2008-10-23 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体

Country Status (1)

Country Link
WO (1) WO2010046990A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2553125A (en) * 2016-08-24 2018-02-28 Snell Advanced Media Ltd Comparing video sequences using fingerprints
CN109729298A (zh) * 2017-10-27 2019-05-07 联咏科技股份有限公司 图像处理方法与图像处理装置
WO2022158132A1 (ja) * 2021-01-22 2022-07-28 ソニーセミコンダクタソリューションズ株式会社 映像処理装置、映像処理方法、および映像表示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6126382A (ja) * 1984-07-17 1986-02-05 Kokusai Denshin Denwa Co Ltd <Kdd> 動き量を用いた動画像フレ−ムレ−ト変換方式
JPH10501953A (ja) * 1995-04-11 1998-02-17 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動き補償されたフィールドレート変換
WO2003055211A1 (fr) * 2001-12-13 2003-07-03 Sony Corporation Processeur de signaux d'image et procede de traitement
JP2004023673A (ja) * 2002-06-19 2004-01-22 Sony Corp 動きベクトル検出装置及び方法、動き補正装置及び方法
JP2007329952A (ja) * 2006-02-28 2007-12-20 Sharp Corp 画像表示装置及び方法、画像処理装置及び方法
JP2008107753A (ja) * 2006-09-28 2008-05-08 Sharp Corp 画像表示装置及び方法、画像処理装置及び方法
WO2008136116A1 (ja) * 2007-04-26 2008-11-13 Pioneer Corporation 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6126382A (ja) * 1984-07-17 1986-02-05 Kokusai Denshin Denwa Co Ltd <Kdd> 動き量を用いた動画像フレ−ムレ−ト変換方式
JPH10501953A (ja) * 1995-04-11 1998-02-17 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動き補償されたフィールドレート変換
WO2003055211A1 (fr) * 2001-12-13 2003-07-03 Sony Corporation Processeur de signaux d'image et procede de traitement
JP2004023673A (ja) * 2002-06-19 2004-01-22 Sony Corp 動きベクトル検出装置及び方法、動き補正装置及び方法
JP2007329952A (ja) * 2006-02-28 2007-12-20 Sharp Corp 画像表示装置及び方法、画像処理装置及び方法
JP2008107753A (ja) * 2006-09-28 2008-05-08 Sharp Corp 画像表示装置及び方法、画像処理装置及び方法
WO2008136116A1 (ja) * 2007-04-26 2008-11-13 Pioneer Corporation 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2553125A (en) * 2016-08-24 2018-02-28 Snell Advanced Media Ltd Comparing video sequences using fingerprints
US10395121B2 (en) 2016-08-24 2019-08-27 Snell Advanced Media Limited Comparing video sequences using fingerprints
GB2553125B (en) * 2016-08-24 2022-03-09 Grass Valley Ltd Comparing video sequences using fingerprints
CN109729298A (zh) * 2017-10-27 2019-05-07 联咏科技股份有限公司 图像处理方法与图像处理装置
CN109729298B (zh) * 2017-10-27 2020-11-06 联咏科技股份有限公司 图像处理方法与图像处理装置
WO2022158132A1 (ja) * 2021-01-22 2022-07-28 ソニーセミコンダクタソリューションズ株式会社 映像処理装置、映像処理方法、および映像表示装置
US12198657B2 (en) 2021-01-22 2025-01-14 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and image display device

Similar Documents

Publication Publication Date Title
US7965303B2 (en) Image displaying apparatus and method, and image processing apparatus and method
JP4157579B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4359223B2 (ja) 映像補間装置とこれを用いたフレームレート変換装置，映像表示装置
JP4525692B2 (ja) 画像処理装置、画像処理方法、画像表示装置
US20070097260A1 (en) Moving image display device and method for moving image display
US20100214473A1 (en) Image display system, image display apparatus, and control method for image display apparatus
WO2010046990A1 (ja) 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体
WO2011155258A1 (ja) 画像処理装置および方法、画像表示装置および方法
EP1761045A2 (en) Image signal processing apparatus and interlace-to-progressive conversion method
JPWO2008136116A1 (ja) 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
CN100401763C (zh) 运动补偿设备和方法
JP5208381B2 (ja) 動画像フレームレート変換装置および動画像フレームレート変換方法
JP2009055340A (ja) 画像表示装置及び方法、画像処理装置及び方法
WO2010046989A1 (ja) フレームレート変換装置、画像処理装置、表示装置、フレームレート変換方法、そのプログラム、および、そのプログラムを記録した記録媒体
US20070024608A1 (en) Apparatus for controlling displaying images and method of doing the same
JP2009181067A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2006154751A (ja) 動画ボケ改善のための信号処理
JP2008017321A (ja) 画像処理装置及び画像処理方法
JP4355347B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP5219646B2 (ja) 映像処理装置及び映像処理装置の制御方法
JP5077037B2 (ja) 画像処理装置
JP2008193730A (ja) 画像表示装置及び方法、画像処理装置及び方法
KR20050039644A (ko) 데이터 처리 장치 및 데이터 처리 방법, 프로그램, 및기록 매체
JP6218575B2 (ja) 画像処理装置及びその制御方法
JP4736456B2 (ja) 走査線補間装置、映像表示装置、映像信号処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08877556

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 08877556

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载