+

WO2003056819A1 - Image signal processing apparatus and processing method - Google Patents

Image signal processing apparatus and processing method Download PDF

Info

Publication number
WO2003056819A1
WO2003056819A1 PCT/JP2002/013101 JP0213101W WO03056819A1 WO 2003056819 A1 WO2003056819 A1 WO 2003056819A1 JP 0213101 W JP0213101 W JP 0213101W WO 03056819 A1 WO03056819 A1 WO 03056819A1
Authority
WO
WIPO (PCT)
Prior art keywords
field
pixel
write
motion vector
pixel data
Prior art date
Application number
PCT/JP2002/013101
Other languages
English (en)
French (fr)
Inventor
Koji Aoyama
Kazuhiko Nishibori
Makoto Kondo
Takaya Hoshino
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP02790758A priority Critical patent/EP1460847B1/en
Priority to US10/498,432 priority patent/US7221403B2/en
Priority to KR1020047009069A priority patent/KR100962742B1/ko
Publication of WO2003056819A1 publication Critical patent/WO2003056819A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00—Television
    • Y10S348/91—Flicker reduction

Definitions

  • the present invention relates to an image signal processing device and a processing method for shifting the position of each detection pixel generated by performing double-speed conversion.
  • the interlaced scanning method is adopted as a television standard method in various countries around the world.
  • the field frequency is 50 [Hz] (frame image). Is composed of 25 frames / sec and the field plane image is 50 fields / sec).
  • the field frequency is increased from 50 Hz to 100 Hz, which is twice as high as 50 Hz, by performing processing such as capturing the input image signal in order to further suppress surface fringe interference.
  • the field frequency double speed method for converting to an image signal has been adopted.
  • FIG. 1 shows a block diagram of a field double speed conversion circuit 5 to which the double frequency frequency method is applied.
  • This field double speed conversion circuit 5 has an input terminal 6 1, It is integrated in a television receiver 6 including a horizontal / vertical deflection circuit 62 and a CRT 63.
  • the field double speed conversion circuit 5 includes a double speed conversion unit 51 and a frame memory 52.
  • the double-speed conversion unit 51 writes, for example, a 50-field Z-second image signal of the PAL system input from the input terminal 61 to the frame memory 52.
  • the double-speed conversion section 51 reads out the image signal written to the frame memory 52 at twice the speed of writing. This makes it possible to double the frequency of the image signal of 50 fields Z seconds to generate an image signal of 100 fields / second.
  • the double speed conversion section 51 outputs the double speed converted image signal to the CRT 63.
  • the CRT 63 displays the input image signal on the screen.
  • the horizontal and vertical deflection of the image signal in the CRT 63 is controlled based on a horizontal / vertical sawtooth wave generated by the horizontal / vertical deflection circuit 62 and having twice the frequency of the input image signal.
  • FIG. 2A and 2B show the relationship between each field and the pixel position in each image signal before and after the double-speed conversion.
  • the horizontal axis indicates time
  • the vertical axis indicates the vertical position of the pixel.
  • the image signal indicated by a white circle in Fig. 2A is an interlaced image signal of 50 fields Z seconds before double-speed conversion
  • the image signal indicated by a black circle in Fig. 2B is 100 Is an interlaced image signal.
  • field ft and field f 2 becomes a signal created from the same film frame, and so the field f 3 and the field f 4 also constituting the same frame. Since these image signals are interlaced image signals, pixel positions in the vertical direction differ between adjacent fields. For this reason, it is not possible to create one new field between each field while maintaining interlacing.
  • two new fields f 2 ⁇ and ' are generated between the field i and the field f 2 .
  • 2 sheets of fields newly ⁇ 4 ', f 3' to generate. That is, one frame is formed by four fields and two frames.
  • the newly generated fields ft, f2 ', ... are used as an intermediate value of three pixels around each pixel.
  • the newly generated fields fi ', f 2', ..., are respectively field I 2, the same content as ....
  • the field double-speed conversion circuit 5 alternately arranges two fields for newly generating fields and those for which no fields are generated at all between the fields of the image signal before the double-speed conversion, thereby obtaining the number of screens per unit time. Can be increased, and it is possible to suppress the above-described surface frit interference.
  • FIGS. 3 3 and 3 ⁇ The relationship between each field and the image position when the image moves in the horizontal direction in the image signal after this telecine conversion is shown in FIGS. 3 3 and 3 ⁇ .
  • the horizontal axis indicates the position in the horizontal direction of the image
  • the vertical axis indicates time.
  • field ff 2 in order to constitute the same frame, the image is displayed at the same position. This image is moved shifting to field f 3 in the horizontal direction (right direction).
  • Field f in order to configure the same frame and field f 3, are displayed at the same position as the field ⁇ 3.
  • Figure 4A shows the relationship between each field and the image position when the image moves in the horizontal direction in the television signal before double-speed conversion (hereinafter referred to as TV signal).
  • field fi, f 2, f 3 ⁇ ⁇ ⁇ since that form an independent frame, the image is displayed in a different position. This image moves horizontally (rightward) every time it moves from the field f to f 2 , f ⁇ ⁇ ⁇ ⁇ ⁇ .
  • FIG. 4 B An image signal of the television signal shown in FIG. 4 A when double speed conversion by the field frequency speed mode, as shown in FIG. 4 B, the field f ⁇ ⁇ 2 constituting the same frame
  • the same image is displayed at the same position.
  • the same image is displayed at the same position in the field fi'f constituting the same frame.
  • the image is displayed at the same position in fields f to f, but moves greatly in the horizontal direction when shifting to f to f. .
  • the image signal obtained by converting the TV signal at double speed as shown in Fig. 4B, the image is displayed at the same position in the fields f to f ', but when the image shifts to f' to ft, the horizontal Go to.
  • the output image signal has each field composed regularly with a period of 1/1100 second, so the time period during which the image operates is shorter than the time period during which the image is stationary.
  • An object of the present invention is to provide a novel image signal processing device and a novel processing method capable of solving the problems of the image signal processing device and the processing method for double-speed converting the telecine-converted image as described above. It is in.
  • Another object of the present invention is to provide an image signal generated by performing double-speed conversion, particularly in a variety of image variations, with a configuration in which a buffer can be efficiently used while suppressing surface fringe force interference. It is an object of the present invention to provide an image signal processing apparatus and method capable of eliminating discontinuities.
  • a first field is specified based on a difference value of a pixel signal level calculated for each detected pixel, and in a field subsequent to the first field, a motion vector is calculated from a position of a detected pixel.
  • Calculated pixel position shifted in And the calculated write pixel position is stored in association with the motion vector, and the interpolation pixel data is calculated from the pixel data read from each first field in accordance with the stored write pixel position and the motion vector.
  • the image signal processing apparatus is configured such that a double-speed-converted image signal in which the beginning of a frame starts in the first field is input, and the detected pixel of the current field in the input image signal is Sequence detection means for calculating a difference value of a pixel signal level between the current pixel and a detected pixel at the same position in a field one frame after the current field, and specifying a first field based on the difference value; Motion vector detection means for detecting a motion vector for a field one frame or two frames after the current field for the detected pixel, and a write field following the first field from the position of the detected pixel of the current field. The shift amount in the vector direction of the motion vector moves as the write field follows from the first field.
  • a pixel position calculating means for calculating a write pixel position shifted so as to sequentially increase within a vector amount range of the vector, and a motion vector for calculating the write pixel position calculated for each write field
  • Storage means for storing the data in correspondence to the write pixel position, and from each of the first fields before and after the write field in accordance with the write pixel position and the motion vector stored in the storage means in correspondence with the write pixel position.
  • the image signal processing method further comprises the steps of: inputting a double-speed-converted image signal in which the beginning of a frame starts with a first field; Calculate the difference value of the pixel signal level between the detected pixel at the same position in the field one frame after the current field, specify the first field based on the difference value, and determine the current pixel for the detected pixel of the current field.
  • the motion vector for the field one frame or two frames after the field is detected, and the amount of shift in the vector direction of the motion vector from the position of the detected pixel in the current field in the write field following the first field is detected.
  • Write file from first field The write pixel position shifted so as to sequentially increase within the vector amount of the motion vector as the field continues is calculated, and the write pixel position calculated for each write field is calculated by the motion vector. Pixel data from each first field before and after the write field according to the write pixel position and the motion vector stored in the storage means corresponding to the write pixel position. Is read, the interpolated pixel data is calculated based on the read pixel data, and the interpolated pixel data calculated by the pixel data calculating means is written to the write pixel position in the write field.
  • FIG. 1 is a block diagram showing a field double speed conversion circuit to which a field frequency double system is applied.
  • 2A and 2B are diagrams showing the relationship between each field and the pixel position before and after the double-speed conversion.
  • 3A and 3B are diagrams showing the relationship between each field and the image position when the image moves in the horizontal direction.
  • 4A and 4B are diagrams showing the relationship between each field and the image position when the image moves in the horizontal direction when a TV signal is input.
  • FIG. 5 is a block circuit diagram showing an image signal processing device to which the present invention is applied.
  • FIG. 6 is a block circuit diagram showing an image shift unit constituting the image signal processing device according to the present invention.
  • 7A and 7B are diagrams showing the relationship between each field and the pixel position before and after the double speed conversion in the field double speed conversion circuit.
  • FIG. 8 is a diagram showing the relationship between each field and the image position when the image moves in the horizontal direction in the telecine-converted image.
  • FIG. 9 is a diagram showing the relationship between each field and the image position when the image moves in the horizontal direction in the image of the TV signal.
  • FIG. 10 is a diagram for explaining a sequence detection method.
  • FIGS. 11A and 11B are one-dimensional diagrams showing the operation processing steps of the image shift unit.
  • FIGS. 12A to 12C are diagrams showing specific operation examples of the image shift unit by pixel values.
  • BEST MODE FOR CARRYING OUT THE INVENTION an image signal processing apparatus and method to which the present invention is applied will be described in detail with reference to the drawings.
  • the present invention is applied to, for example, an image signal processing device incorporated in a television receiver of the PAL (Phase Alteration by Line) system.
  • PAL Phase Alteration by Line
  • An image signal processing device 1 to which the present invention is applied has a configuration as shown in FIG. As shown in FIG. 5, the image signal processing device 1 includes a first image memory 11, a second image memory 12, a sequence detection unit 13, a motion vector detection unit 15, and an image shift Part 16 is provided.
  • the first image memory 11 is supplied with an interlaced image signal of, for example, 100 field-nosec, in which one frame generated by performing double-speed conversion of a telecine-converted image is composed of four fields, for example. .
  • the first image memory 11 is supplied with an interlaced surface image signal in which one frame generated by converting the TV signal at double speed is composed of two fields, for example, 100 fields and Z seconds. .
  • the first image memory 11 stores the supplied image data for one frame for each field. That is, the image data output from the first image memory 11 is one frame later than the image signal supplied to the first image memory 11.
  • the second image memory 12 has an internal configuration similar to that of the first image memory 11, and stores the image data supplied from the first image memory 11 in units of one field for each frame. Store. That is, the image data output from the second image memory 12 is one frame later than the image data supplied to the second image memory 12, Two frames after the image data supplied to one image memory 11.
  • the image data D1 stored in the second image memory 12 is supplied to the motion vector detection unit 15 and the image shift unit 16.
  • the sequence detection unit 13 detects the image data supplied to the first image memory 11 and the image data output from the first image memory 11 and compares the image signal level for each pixel. A difference value is calculated between the two. That is, the sequence detection unit 13 compares the image signal levels of pixels at the same location on the screen at one-frame intervals. The sequence detection unit 13 transmits the calculation result of the difference value of the image signal level to the image shift unit 15. As described above, the sequence detector 13 determines each field, and also determines whether the signal is a telecine-converted signal or a TV signal, and uses the determination result as movement amount information as the data selector 14 and the image shifter 16. Send to
  • the data selector 14 receives the image data supplied to the first image memory 11 and the image data output from the first image memory 11.
  • the data selection unit 14 selects one of the supplied image data based on the determination result received from the sequence detection unit 13. That is, when it is determined by the sequence detection unit 13 that the signal is a telecine-converted signal, the image data supplied to the first image memory 11 is selected. If the sequence detection unit 13 determines that the input signal is a TV signal, the image data output from the first image memory 11 is selected.
  • the c data selection unit 14 called image data D 2 outputs the selected image data D 2 to the motion vector detection unit 15.
  • the data selection section 14 also has a connection form for selecting one of the image data output from the first image memory 11 and the image data output from the second image memory 12. Applicable.
  • the motion vector detection unit 15 detects the image data D1 and the image data D2, and detects a motion vector based on, for example, a block matching method.
  • the block matching method is a method in which a screen is divided into blocks composed of predetermined pixels, and a motion vector is obtained by evaluating the similarity for each block.
  • the image data D1 output from the second image memory 12 is a two-frame delay field of the reference field.
  • the image data D2 output from the data selection unit 14 is the reference field itself or a one-frame delay field of the reference field.
  • the motion vector detection unit 15 detects the motion vector between the image data D1 and the image data D2, and thereby detects the motion vector between the reference field and the two-frame delay signal. Can be detected, and similarly, a motion vector can be detected between the one-frame delay signal of the reference field and the two-frame delay signal of the reference field. In other words, the field interval for detecting the motion vector can be controlled based on the determination result received from the sequence detection unit 13. Further, the motion vector detection unit 15 calculates a flag F1 including error information of the detected motion vector based on the supplied image data D1 and image data D2. For example, when the similarity of each block is evaluated by the above-described block matching method, the sum of absolute differences is obtained. The motion detected based on the sum of absolute differences obtained in the calculation process or the absolute value of difference for each pixel is calculated. The error value of the vector is calculated and set to the flag F1.
  • the motion vector detection unit 15 transmits the detected motion vector and the flag F1 to the image shift unit 16.
  • the image shift unit 16 receives the movement amount information including the comparison result of the image signal levels from the sequence detection unit 13.
  • the image shift unit 16 receives the motion vector detected by the motion vector detection unit 15 and the flag F1. Further, the image shift section 16 is supplied with image data D1 from the second image memory 12, and is supplied with image data D2 from the data selection section 14.
  • the image shift section 16 shifts each pixel position in the supplied image signal in the vector direction within the range of the vector amount of the received motion vector. Details of an example of the internal configuration of the image shift unit 16 will be described later.
  • the image signal processing device 1 may integrate a field double-speed conversion circuit 3 that doubles the field frequency of the image signal.
  • the field double speed conversion circuit 3 is integrated so as to prevent surface flicker interference by improving the resolution.For example, in the PAL method, the field frequency is reduced by performing a process such as interception. Converts 5 OHz image data to 100 Hz image data, which is twice as large.
  • the field frequency conversion circuit 3 includes an input terminal 31 connected to a television receiver, a double-speed conversion unit 32, and a frame memory 33.
  • the double-speed converter 32 writes the telecine-converted image data or the television signal input from the television receiver via the input terminal 31 to the frame memory 33.
  • the double-speed conversion unit 32 reads out the image data written in the frame memory 33 at twice the speed of the writing.
  • the frequency of an image signal of 50 fields / second in the PAL system can be doubled, and image data of 100 fields / second can be generated.
  • the double-speed conversion unit 32 supplies the double-speed-converted image data to the image signal processing device 1.
  • the image shift unit 16 includes a shift buffer read control unit 161, a shift buffer write control unit 162, a shift buffer 163, a data buffer read control unit 1664, and a first buffer. 1, a second buffer 166, and a data operation unit 167.
  • the shift buffer read control unit 16 1 receives the motion vector from the motion vector detection unit 15 and the movement amount information from the sequence detection unit 13.
  • the shift buffer read control unit 161 generates a shift buffer read control signal R S1 based on the motion vector, the movement amount information, and a built-in address calculation counter.
  • the shift buffer read control signal R S1 is composed of an address signal for reading data sequentially and an enable signal.
  • the shift buffer 163 is realized by a frame memory or the like
  • the shift buffer read controller 161 calculates each address signal of the X coordinate and the Y coordinate as absolute coordinates.
  • the shift buffer 163 is realized by the minimum necessary memory such as a line memory
  • the shift buffer read controller 161 calculates the X- and Y-coordinate address signals as relative coordinates. I do.
  • the X and Y coordinates are (CX1, CY1), respectively, and in the supplied motion vector, the X and Y coordinates are (VX, VY ),
  • ⁇ is movement amount information, and is represented by a number greater than or equal to 0 and less than or equal to 1. This ⁇ is minimized in the first field and then increases with each successive field. This ⁇ is 0, 1/4, 2/4, and 3/4 from the first field to the fourth field, respectively, and the TV signal is input when a telecine-converted signal is input. In this case, it is also possible to increase linearly from 0 to 1/2 from the first field to the second field.
  • the shift buffer read control unit 161 supplies the generated shift buffer read control signal R S1 to the shift buffer write control unit 162 and the shift buffer 163.
  • the shift buffer write controller 16 2 receives the flag F 1 from the motion vector detector 15 and the flag F ′ from the shift buffer 16 3, and receives the flag F ′ from the shift buffer read controller 16 1.
  • the shift buffer read control signal RS1 is supplied.
  • the shift buffer write control unit 16 2 determines the priority of writing based on the magnitude of the flags F and F ′. Further, based on the supplied shift buffer read control signal RS 1, the shift buffer write control section 16 2 obtains a write address, and determines the write address and the priority determined as described above, as a shift buffer write control signal. It is supplied to the shift buffer 16 3 as RS 2.
  • the shift buffer 163 is composed of a motion vector buffer and a flag buffer.
  • the motion vector buffer is a buffer for storing and supplying motion vectors
  • the flag buffer is a buffer for storing and supplying flags. These buffers are written and read based on the same control signal. By the way: The shift buffer 16 3 only needs to be able to store the motion vector and the flag, so the buffer capacity can be reduced.
  • the shift buffer 163 may be a frame memory that stores data for one frame, or may be configured with a minimum necessary memory such as a line memory according to the range that the motion vector can take. .
  • the shift buffer 163 first initializes the flag buffer.
  • the flag written in the flag buffer contains a mark that indicates whether data has been written.
  • Information Mark information is represented by two types, "NM” and “OK”. "NM” indicates that data has not been written at initialization, and "OK” indicates that data has already been written.
  • the shift buffer 16 3 transmits a flag F ′ to the shift buffer write controller 16 2 in correspondence with the address.
  • the shift buffer 16 3 shifts the motion vector and flag F1 according to the address value, and the motion vector buffer and flag F1, respectively. Write to the buffer.
  • the shift buffer 163 arranges the stored motion vectors in numerical order (hereinafter, the motion vectors arranged in this numerical order are referred to as “moved motion vectors”), sequentially reads out the processing flag F 2, These are supplied to the data buffer controller 164 and the data processor 167, respectively.
  • the data buffer read control unit 164 is supplied with the moved motion vector from the shift buffer 163, and the sequence detection unit 13 is transmitted with the movement amount information.
  • the data buffer read controller 164 calculates a buffer control signal S11 and a buffer control signal S12 based on the input motion vector.
  • Each of these buffer control signals S11 and S12 is composed of an address signal for reading data sequentially and an enable signal.
  • the data buffer read control unit 164 absolutely converts each of the X-coordinate and Y-coordinate address signals. Calculate as coordinates.
  • the data buffer read control unit 164 stores the X coordinate, the Y coordinate, Each address signal of coordinates is calculated as relative coordinates.
  • the data buffer read control unit 164 generates a buffer control signal S11 based on the value of the built-in address calculation counter and the motion vector.
  • the data buffer read control unit 164 generates a buffer control signal S12 based on the buffer control signal S11 and the motion vector.
  • the X coordinate and the Y coordinate are ( ⁇ ,, ⁇ ⁇ ) at the address of the buffer control signal S 11, and the address of the buffer control signal S 12.
  • the X and ⁇ coordinates are ( ⁇ 2, ⁇ 2), respectively.
  • the motion vector is ( ⁇ , ⁇ ) and the internal address calculation counter value is (CX ′, C ⁇ ′)
  • the address of the buffer control signal S11 is expressed by the following equation. Is done.
  • AX 1 C X '-I NT (V X / 2) (2.1)
  • the address (AX2, AY2) of the buffer control signal S12 is expressed by the following equation.
  • AX 2 AX 1 + VX---(2.3)
  • the data buffer read control unit 164 supplies a buffer control signal S I1 including these calculated addresses to the first buffer 165. Further, the data buffer read control unit 164 supplies a buffer control signal S12 including the address calculated in the same manner to the second buffer 166.
  • the first buffer 165 sequentially stores the image data D1 transmitted from the second image memory 12.
  • the first buffer 165 reads out the accumulated image data D1 according to the supplied buffer control signal S11. That is, when the supplied buffer control signal S 11 is enabled, the first buffer 16 5 operates according to the address contained in the buffer control signal S 11. Reads the image data D1 stored in.
  • the read image data D1 is hereinafter referred to as shift data SD1.
  • the first buffer 165 transmits the shift data SD1 to the data operation unit 167.
  • the first buffer 165 may be a frame memory for storing data for one frame, or may be constituted by a minimum necessary memory such as a line memory based on a range of a motion vector. . Further, the first buffer may be realized by a FIF0 memory or the like in order to read data sequentially.
  • the second buffer 166 sequentially stores the image data D2 transmitted from the data selection unit 14.
  • the second buffer 166 reads out the stored image data D2 according to the supplied buffer control signal S12. That is, when the supplied buffer control signal S 12 is enabled, the second buffer 16 6
  • the image data D2 stored in the second buffer 166 is read according to the address included in the key control signal S12.
  • the read image data D2 is hereinafter referred to as shift 'data SD2.
  • the second buffer 166 transmits the shift data SD2 to the data operation unit 167.
  • the second buffer 1666 may be a frame memory for storing data for one frame, or may be composed of a minimum necessary memory such as a line memory based on the range of the motion vector. . In such a case, a system for reading data at random corresponding to an address given at random is constructed.
  • the data calculation unit 167 calculates the correction data H1 based on the supplied shift data SD1 and the shift data SD2 while referring to the processing flag F2 supplied from the shift buffer 163. I do.
  • the data calculation section 167 sequentially outputs the calculated correction data HI to CRT2.
  • the correction data HI may be calculated by outputting the shift data SD1 and the shift data SD2 as they are, or may be an average value of the shift data SD1 and the shift data SD2. Furthermore, the movement data M1 may be calculated by taking a weighted average using values such as a motion vector.
  • FIG. 7A and 7B show the relationship between each field and the pixel position before and after the double-speed conversion in the field double-speed conversion circuit 3.
  • FIG. Here, the horizontal axis represents time, and the vertical axis represents the vertical position of the pixel.
  • the image data before double-speed conversion is an interlaced image of 50 fields and Z seconds in the PAL system, and one frame is formed by two fields as shown in FIG. 7A.
  • One frame is formed by four fields.
  • Field ti one produced in this new, t 2 ', ⁇ ⁇ ⁇ are each pixel value, In some cases, the median value of the three pixels around each pixel is obtained using a median filter or the like. In addition, field ti ,, t generated in this new ', - - - is, their respective field t 2,' the same content as the -. As a result, one frame is formed in four fields, the resolution can be improved by increasing the number of screens per unit time, and it is possible to suppress the surface flicker interference.
  • FIG. 8 shows the relationship between each field and the image position when the image moves in the horizontal direction in the image data subjected to the double speed conversion after the telecine conversion. In FIG.
  • the horizontal axis represents the position of the image in the horizontal direction, and the vertical axis represents time.
  • the telecine-converted image is converted to a field! T 2 ′, t 1, and t are supplied to the first image memory 11 at regular time intervals, and these images are displayed at the same position.
  • the image is horizontally shifting to field t 3
  • fields that are supplied to the first image memory in the case (hereinafter, see Fi referred to as one field) forces a field t 3 are output from the second image memory 1 2, from reference field
  • the field two frames before (hereinafter referred to as a two-frame delay field) is a field.
  • Fig. 9 shows the relationship between each field and the image position when the image moves in the horizontal direction in the image data obtained by converting the TV signal at double speed.
  • the same image is displayed at the same position in the field t 2 constituting the same frame.
  • field ti 'constituting the same frame, at t 2 the same image is displayed at the same position.
  • the motion vector detection unit 14 detects a motion vector for each pixel or each block between the reference field and the two-frame delay field based on the signal that has been double-speed converted after the telecine conversion shown in FIG.
  • the vector direction of the motion vector is horizontal (rightward) with reference to the two-frame delay field, and the vector amount is A.
  • the reference field is t s
  • the two-frame delay buoy node is t 3
  • the motion vector amount is B.
  • the motion vector detector detects the motion vector for each pixel or each block between the reference field and the one-frame delay field for the signal obtained by double-converting the TV signal shown in Fig. 9.
  • the vector direction of the motion vector is horizontal (rightward) with respect to the one-frame delay field, and the vector amount when the reference field is ti '. Becomes C.
  • the reference field is t 4
  • the one-frame delay field is t i
  • the motion vector is D.
  • the motion vector detection unit 74 sequentially transmits the obtained vector amount and vector direction of the motion vector to the image shift unit 16.
  • the sequence detection unit 13 sequentially detects the reference field and a field that is output from the first image memory 11 and is one frame before the reference field (hereinafter referred to as a one-frame delay field), and detects the same pixel position.
  • the difference values of the pixel signal levels at are calculated.
  • the reference field ti ′ and the one-frame delay field ti constitute the same frame. Is 0.
  • a field t 2 as the next reference field is supplied, one-frame delayed field Buirudo t 2 ', and the difference value between pixel signal levels at the point a becomes likewise zero.
  • the difference value is in the order of “0 0 1 1” from the first field of the frame. Therefore, when the difference value 0 is first calculated, the detected one-frame delay field is specified as the first field of the frame (hereinafter, referred to as the first field). When the difference value 0 continues, the detected one-frame delay field is specified as the second field. When 1 is first calculated as the difference value, the detected one-frame delay field is specified as the third field. When the difference value 1 is continuous, the detected one-frame delay yield is specified as the fourth field.
  • FIG. 11A shows a one-dimensional graph of a specific operation example of the image shift unit 16 when a TV signal composed of one frame and two fields is input.
  • the image data D 1 is the first field
  • the image data D 2 is one frame after the image data D 1 This is the first field of.
  • a number starting from 0 is an address indicating a pixel position
  • a second field located between image data D 1 and image data D 2 which are temporally different from each other is The correction data is written so that the movement looks smooth even in various image variations. That is, in the example shown in FIG. An image is created in the above-mentioned writing field so that the entire movement looks smooth when the image data D1 having a portion changes to image data D2 having a gentle convex portion in the center.
  • FIGS. 12A to 12D show a specific operation example of the image shift unit 16 shown in FIG. 11A as pixel values.
  • FIG. 12A shows the image data D 1 and the image data D 2 input to the image shift unit 16, and the numbers are addresses indicating pixel positions. Since each pixel has luminance, the supplied image data D1 is assigned a pixel value for each number.
  • the image data D 1 is, in the addresses of numbers 0 to 11, the pixel values that follow, in order, 100 0, 100 0, 200 0, It is represented by
  • the image data D2 located after the image data D1 is represented by the following pixel values at addresses 0 to 11 in the order of 100, 100, 100,.
  • the arrow shown in FIG. 11A indicates the motion vector for each pixel.
  • the flag F1 shown in FIG. 12A is an example in the case where the absolute value of the difference between the detection pixel of the image data D1 and the detection pixel of the image data D2 is used.
  • the pixel with the pixel value of 200 at the address of No. 2 in the image data D1 moves to the address of No. 4 in the image data D2, and the pixel value becomes 200.
  • the absolute value of the difference is 0 because it does not change.
  • the pixel with the pixel value 110 at the address of number 7 in the image data D1 moves to the address with the number 10 in the image data D2, and the pixel value becomes 100, so the absolute difference value Becomes 10
  • FIG. 12B shows the shift buffer read control signal RS1.
  • the value calculated from the address calculation counter by 0, 1, 2, 3,... The case where the movement amount information ⁇ is 1/2 is shown.
  • the value CX 1 of the address calculation counter is output in association with the number indicating the address of the image data D 1.
  • the number of the generated shift buffer read control signal R S1 indicates the number of the address where the correction data H 1 is to be written in the write field.
  • the flag F ′ is read in order to detect the writing status of the movement vector to the shift buffer 16 3. This flag F 'returns "NM” if the motion vector is not written in the address accessed to the shift buffer 163.
  • the absolute difference value is returned. For example, in the example shown in FIG. 12B, at addresses 0 to 8 of the shift buffer read control signal RS1, no data is written from the shift buffer 163 via the flag F '. Is displayed. At the address of number 9, "NM" indicates that no data has been written at first, and the absolute difference value is returned as flag F 'next time.
  • the motion vector is sequentially written into the address of the shift buffer 163 in which the flag F 'is returned with "NM" in accordance with the address number.
  • Flag F If has a numerical value, the flag F 'is compared with the flag F corresponding to the address number, and the smaller numerical value is valid.
  • the shift buffer write control unit 162 determines an address for writing the motion vector on the shift buffer 163 based on the supplied flag F '. For example, in the number 9, the flag F is 10 and the flag F ′ is 0. In order to give priority to the flag with the small numerical value, in the case of the number 9, the motion vector "3" based on the address of the number 6 originally written is kept stored in the shift buffer 163 as it is.
  • the shift buffer write control unit 162 associates the number corresponding to the end address with the motion vector to form a shift buffer write control signal R S2, and writes this to the shift buffer 163. After the writing, the shift vector 163 stores the motion vector for each address as shown in the lower part of FIG. 12B.
  • Figure 12C shows the result of rearranging the motion vectors stored in the shift buffer 163 in the order of the address numbers.
  • the processing flag F2 indicates the mark information at each address. If "OK” is output in the processing flag F2, it indicates that data is written at the address of the corresponding number, and if "NM" is output, the address of the corresponding number is output. Indicates that no data has been written to the dress. By the way, since no data has been written to the address of the number 2, "NM" is output as the processing flag F2.
  • the moved motion vector read from the shift buffer 163 is supplied to the data buffer read control unit 164, and the processing flag F2 is supplied to the data calculation unit 167.
  • the data buffer read control unit 164 converts the buffer control signals S 11 and S 12 based on the supplied moved motion vector and using the equations (2.1) to (2.4). Create. For example, the value of the address calculation counter is changed to the address of shift buffer 16 3 In the case of the number corresponding to the following, the moved motion vector is 2 at the address of the number 3 according to FIG. 12 from FIG. 12, so that the buffer control signal S 11 is given by the above equation (2.1). 2 and the buffer control signal S 12 is 4 according to the equation (2.3). Similarly, at the address of No. 6, since the moved motion vector is 3, the buffer control signal S 11 becomes 5 and the buffer control signal S 12 becomes 8.
  • the buffer control signal S 11 calculated as described above is supplied to the first buffer 16 5, and the pixel value of the address corresponding to the number of the buffer control signal S 11 is set to the first buffer 16. Read from 5. The read pixel value is supplied to the data operation unit 167 and the like as the shift data SD1 in association with the address, as shown in the middle part of FIG. 12C.
  • the buffer control signal S12 is supplied to the second buffer 1666, and the pixel value of the address corresponding to the number of the buffer control signal S12 is read from the second buffer 1666.
  • the read pixel value is associated with the address as the shift data SD2 as shown in the middle part of FIG. 12C, and is supplied to the data operation unit 167 and the like.
  • the bottom row in FIG. 12C shows the case where the correction data H1 is the average value of the shift data SD1 and the shift data SD2.
  • the data operation unit 167 calculates the correction data HI based on the corresponding shift data SD 1 and SD 2 for the number for which “OK” is output as the processing flag F 2 to be transmitted, and outputs “NM”.
  • the pixel value of the adjacent address No. 1 is held as it is.
  • the image signal processing apparatus 1 to which the present invention is applied writes optimal correction data, which can smooth the movement of an image, into a writing field between image data that differ in time. Even in a variation image in which the pixel value changes while moving, discontinuity in the movement of the plane image can be efficiently eliminated.
  • This image signal processing device 1 is capable of converting a telecine-converted image signal and a TV signal to both.
  • the motion discontinuity can be efficiently eliminated in response to various variations of the image.
  • both the film signal and the TV signal can be incorporated into a television receiver to which both are input, and the television receiver that has already been sold can be easily upgraded by installing a new television receiver. It is also possible to increase versatility.
  • the capacity of the buffer can be significantly reduced, and the motion can be reduced with a more efficient configuration. It is possible to eliminate continuity.
  • the present invention is not limited to the above embodiment.
  • the shift buffer read control unit 161 is removed, the shift buffer read control signal RS1, the flag F1, and the flag F are omitted, and the priority order is not determined.
  • the method is also applicable.
  • this image shift unit 16 if data to be written to the address overlaps, the data calculated later in time will be overwritten on the data already written. Since time control is not required, the circuit can be further simplified.
  • the present invention is not limited to the case where the present invention is applied to a PAL television receiver.
  • the NTSC National TV System Committee
  • the present invention can also be applied to a television receiver to which an interlaced image signal is input. It is also applicable to television receivers based on the SECAM system.
  • the present invention can be incorporated not only into a television receiver but also into a signal converter connected to the television receiver.
  • the present invention can also be applied to a case where an image signal transmitted over the Internet is displayed on a PC or the like, or a case where a medium or image format is converted.
  • the image signal processing apparatus and method according to the present invention specify a first field based on a difference value of a pixel signal level calculated for each detection pixel, and in a field subsequent to the first field, , Calculate the write pixel position shifted from the position of the detected pixel in the vector direction of the motion vector, store the calculated write pixel position in association with the motion vector, and store the stored write.
  • Interpolated pixel data is calculated from the pixel data read from each first field according to the pixel position and the motion vector, and the calculated interpolated pixel data is written to the write pixel position. Even in a variety of image variations, it is possible to eliminate the discontinuity of motion by using a configuration that allows the buffer to be used with high efficiency while suppressing the interference with surface fritting.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

明細書 画像信号処理装置及ぴ処理方法 技術分野 本発明は、 倍速変換することにより生成された各検出画素の位置をシフトさせ る画像信号処理装置及び処理方法に関する。
本出願は、 日本国において 2 00 1年 1 2月 1 3 3に出願された日本特許出願 番号 2 0 0 1 - 3 8 0 7 6 2を基礎として優先権を主張するものであり、 この出 願は参照することにより、 本出願に援用される。 背景技術 従来、 テレビ放送の走査方式として、 水平走査線を 1本おきに飛越して走査す るインタレース走查方式が広く用いられている。 このインタレース走査方式では、 奇数番目の走査線から構成されるフィールド画像と、 偶数番目の走査線から構成 されるフィールド画像により 1枚のフレーム画像を形成し、 画面全体がちらつい て見える面フリッカ妨害を抑え、 画面品質の劣化を防止する。
ィンタレース走査方式は、 世界各国のテレビジョン標準方式として採用されて おり、 このうち例えば欧州のテレビジョン放送における PAL (Phase Alternat ion by Line) 方式では、 フィールド周波数が 5 0 〔H z〕 （フレーム画像が 2 5 フレーム/秒、 フィールド面像が 5 0フィールドノ秒） で構成される。
特に、 PAL方式では、 更なる面フリツ力妨害の抑制を期すべく、 入力画像信 号を捕間等の処理を行うことにより、 フィールド周波数を 5 0 H zから 2倍の 1 0 0 H zの画像信号に変換する、 フィールド周波数倍速方式が従来より採用され ている。
図 1は、 このブイールド周波数倍速方式を適用したフィールド倍速変換回路 5 のプロック図を示している。 このフィールド倍速変換回路 5は、 入力端子 6 1 と、 水平垂直偏向回路 6 2と、 C R T 6 3とを備えるテレビジョン受像機 6に集積化 される。 このフィールド倍速変換回路 5は、 倍速変換部 5 1と、 フレームメモリ 5 2とを備える。
倍速変換部 5 1は、 入力端子 6 1から入力された、 例えば P A L方式の 5 0フ ィールド Z秒の画像信号を、 フレームメモリ 5 2へ書き込む。 また、 この倍速変 換部 5 1は、 フレームメモリ 5 2へ書き込んだ画像信号を、 書込み時の 2倍の速 度で読み出す。 これにより、 5 0フィールド Z秒の画像信号の周波数を 2倍に変 換し、 1 0 0フィールド /秒の画像信号を生成することができる。
倍速変換部 5 1は、 倍速変換した画像信号を C R T 6 3へ出力する。 C R T 6 3は、 入力された画像信号を画面上に表示する。 なお、 C R T 6 3における画像 信号の水平、 垂直の偏向は、 水平垂直偏向回路 6 2において生成された、 入力画 像信号の 2倍の周波数の水平垂直鋸歯状波に基づいて制御する。
図 2 A、 図 2 Bは、 倍速変換前後の各画像信号における各フィールドと画素位 置との関係を示している。 ここで横軸は時間、 縦軸は画素の垂直方向の位置を示 す。 図 2 Aの白丸で示した画像信号は、 倍速変換前の 5 0フィールド Z秒のイン タレース画像信号であり、 図 2 Bの黒丸で示した画像信号は、 倍速変換した 1 0 0ブイールド /秒のィンタレース画像信号である。
図 2 Aに示す画像信号において、 フィールド f tとフィールド f 2は、 フィルム の同一のコマから作成された信号となり、 以下同様にフィールド f 3とフィールド f 4も同一のコマを構成する。 これらの画像信号は、 インタレース画像信号である ため、 隣り合うフィールド間で垂直方向の画素位置が異なる。 このため、 インタ レース性を保ちつつ、 各フィールド間に 1個ずつのフィールドを新規に生成する ことはできない。
そこで、 図 2 Bに示すように、 フィールド i とフィールド f 2の間に、 新規に 2枚のフィールド f 2 ^、 'を生成する。 フィールド f 2とフィールド f 3の間 では、 フィールドの生成を行わず、 フィールド ί 3とフィールド f 4の間に、 新規 に 2枚のフィールド ί 4 '、 f 3 'を生成する。 すなわち 4フィールド、 2フレー ムで 1つのコマを形成する。
この新規に生成したフィールド f t ,、 f 2 ' , · · ·は、 それぞれの画素値を、 各画素の周囲 3画素の中間値として、 メディアン · フィルタ等を用いて求める場 合もある。 この新規に生成したフィールド f i ' 、 f 2 ' , · · · は、 それぞれフ ィールド ί 2、 · · と同じ内容となる。
すなわち、 フィールド倍速変換回路 5は、 倍速変換前の画像信号のフィールド 間に 2枚のブイールドを新規に生成する部分と全く生成しない部分とを交互に配 置することで、 単位時間当たりの画面枚数を増やすことができ、 上述の面フリ ツ 力妨害を抑えることが可能となる。
ところで、 2 4コマ/秒の静止画で構成される映画のフィルムを通常のテレビ で見るためには、 インタレースのテレビ信号にするために、 テレビシネマ変換
(以下、 テレシネ変換と称する） を行う。 このテレシネ変換後の画像信号におい て、 水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図 3 Α及び図 3 Βに示す。 ここで横軸は画像の水平方向における位置、 縦軸は時間 を示している。 図 3 Aに示す倍速変換前の画像信号において、 フィールド f f 2は、 同一のコマを構成するため、 同じ位置に画像が表示される。 この画像は、 フ ィールド f 3に移行すると水平方向 （右方向） へ移動する。 フィールド f は、 フ ィールド f 3と同一のコマを構成するため、 フィールド ί 3と同一の位置に表示さ れる。
図 3 Αに示すテレシネ変換後の画像信号をフィールド周波数倍速方式により倍 速変換すると、 図 3 Bに示すように、 同一のコマを構成するフィールド f i、 f a 、 f ' , f で、 同一位置に同一の画像が表示される。 同様に、 同一のコマを 構成するフィールド f 、 f ' , f 3 ' 、 ί で同一位置に同一の画像が表示され る。
倍速変換前のテレビジョン信号 （以下、 T V信号という） において、 水平方向 へ画像が移動する場合における各フィールドと画像位置の関係を図 4 Aに示す。 図 4 Aにおいて、 フィールド f i、 f 2、 f 3 · · ·は、 それぞれ独立したコマを形 成するため、 別の位置に画像が表示される。 この画像は、 フィールド f から、 f 2、 f · · · と移行する毎に、 水平方向 （右方向） へ移動する。
図 4 Aに示すテレビ信号の画像信号をフィールド周波数倍速方式により倍速変 換すると、 図 4 Bに示すように、 同一のコマを構成するフィールド f ^ ί 2 に おいて、 同一位置に同一の画像が表示される。 同様に、 同一のコマを構成するフ ィールド f i ' f において、 同一位置に同一の画像が表示される。
しかしながら、 図 3 Bに示すように、 テレシネ変換後、 倍速変換した画像信号 において、 画像はフィールド f 〜 f まで同じ位置に表示される一方、 f 〜 f に移行する場合に大きく水平方向へ移動する。 同様に T V信号を倍速変換した画 像信号についても、 図 4 Bに示すように、 画像はフィールド f 〜 f 'まで同じ 位置に表示される一方、 f '〜 f t に移行する場合に大きく水平方向へ移動す る。
特に出力画像信号は、 1 / 1 0 0秒の周期で規則的に各フィールドを構成して いるため、 画像の動作する時間帯が画像の静止する時間帯と比較して短く、 実際 に C R Tを介して番組を視聴すると画像の動きが不連続に見えるという問題があ る。
また、 例えば水平方向へ画像が移動しながら画素値が変化するような様々な画 像のバリエーションにおいても、 かかる画像の動きの不連銃性を解消する必要が あり、 特にバッファの容量を削減した構成で実現することが従来より望まれてい る。 発明の開示 本発明の目的は、 上述したようなテレシネ変換した画像を倍速変換する画像信 号処理装置及び処理方法が有する問題点を解決し得る新規な画像信号処理装置及 び処理方法を提供することにある。
本発明の他の目的は、 倍速変換することにより生成された画像信号において、 特に様々な画像のバリエーションにおいても、 面フリツ力妨害を抑えつつ、 バッ ファを効率的に使用可能な構成で動きの不連続性を解消することができる画像信 号処理装置及ぴ方法を提供することにある。
本発明は、 各検出画素について演算した画素信号レベルの差分値に基づいて第 1のフィールドを特定し、 第 1のフィールドの後に続くフィールドにおいて、 検 出画素の位置から動きべク トルのべク トル方向へシフ トさせた書込画素位置を算 出し、 算出した書込画素位置を動きべク トルに対応させて記憶し、 記憶した書込 画素位置と動きべク トルに応じて各第 1のフィールドから読み出した画素データ から補間画素データを算出し、 算出した補間画素データを書込画素位置へ書き込 む画像信号処理装置及び方法である。
本発明に係る画像信号処理装置は、 更に具体的に、 コマの最初が第 1 のフィー ルドで始まる倍速変換された画像信号が入力され、 入力された上記画像信号にお いて現フィールドの検出画素と上記現フィールドから 1フレーム後のフィールド の同一箇所における検出画素との間で画素信号レベルの差分値を演算し、 当該差 分値に基づき第 1 のフィールドを特定するシーケンス検出手段と、 現フィールド の検出画素について現フィールドから 1 フレーム又は 2フレーム後のフィールド に対する動きべク トルを検出する動きべク トル検出手段と、 第 1のフィールドの 後に続く書込ブイールドにおいて現ブイールドの検出画素の位置から動きべク ト ルのべク トル方向へシフ ト量が第 1のフィールドから書込ブイールドが後続する につれて動きべク トルのべク トル量の範囲内で順次増大するようにシフトさせた 書込画素位置を算出する画素位置演算手段と、 書込フィールド毎に算出した書込 画素位置を動きべク トルに対応させて記憶する記憶手段と、 書込画素位置と当該 書込画素位置に対応させて記憶手段へ記憶した動きべク トルに応じて書込フィー ルドの前後にある各第 1のフィールドから画素データを読み出し、 読み出した画 素データに基づき補間画素データを算出する画素データ演算手段と、 書込フィ一 ルドにおいて画素データ演算手段により算出した補間画素データを書込画素位置 へ書き込む画像制御手段とを備える。 - 本発明に係る画像信号処理方法は、 更に具体的に、 コマの最初が第 1のブイ一 ルドで始まる倍速変換された画像信号が入力され、 入力された画像信号において 現ブイールドの検出画素と現フィールドから 1 フレーム後のフィールドの同一箇 所における検出画素との間で画素信号レベルの差分値を演算し、 当該差分値に基 づき第 1のフィールドを特定し、 現フィールドの検出画素について現フィールド から 1フレーム又は 2フレーム後のフィールドに対する動きべク トルを検出し、 第 1のフィールドの後に続く書込フィールドにおいて現フィールドの検出画素の 位置から動きべク トルのべクトル方向へシフト量が第 1のフィールドから書込フ ィールドが後続するにつれて動きべク トルのべク トル量の範囲内で順次増大する ようにシフトさせた書込画素位置を算出し、 書込フィールド毎に算出した書込画 素位置を動きべク トルに対応させて記憶し、 書込画素位置と当該書込画素位置に 対応させて記憶手段へ記憶した動きべク トルに応じて書込フィールドの前後にあ る各第 1のブイールドから画素データを読み出し、 読み出した画素データに基づ き捕間画素データを算出し、 書込フィールドにおいて画素データ演算手段により 算出した補間画素データを書込画素位置へ書き込む。
本発明の更に他の目的、 本発明によって得られる具体的な利点は、 以下におい て図面を参照して説明される実施の形態の説明から一層明らかにされるであろう。 図面の簡単な説明 図 1は、 フィールド周波数倍速方式を適用したフィールド倍速変換回路を示す プロック図である。
図 2 A及び図 2 Bは、 倍速変換前後の各フィールドと画素位置の関係を示した 図である。
図 3 A及び図 3 Bは、 水平方向へ画像が移動する場合における各フィールドと 画像位置の関係を示した図である。
図 4 A及び図 4 Bは、 T V信号が入力される場合において、 水平方向へ画像が 移動するときの各フィールドと画像位置の関係を示した図である。
図 5は、 本発明を適用した画像信号処理装置を示すプロック回路図である。 図 6は、 本発明に係る画像信号処理装置を構成する画像シフト部を示すプロッ ク回路図である。
図 7 A及び図 7 Bは、 フィールド倍速変換回路における倍速変換前後の各フィ ールドと画素位置の関係を示した図である。
図 8は、 テレシネ変換された画像において、 水平方向へ画像が移動する場合に おける各フィールドと画像位置の関係を示した図である。
図 9は、 T V信号の画像において、 水平方向へ画像が移動する場合における各 フィールドと画像位置の関係を示した図である。 図 1 0は、 シーケンスの検出方法について説明するための図である。
図 1 1 A及び図 1 1 Bは、 画像シフト部の動作処理過程を 1次元で表示した図 である。
図 1 2 A乃至図 1 2 Cは、 画像シフト部の具体的な動作例を画素値で表示した 図である。 発明を実施するための最良の形態 以下、 本発明を適用した画像信号処理装置及び方法について図面を参照して詳 細に説明する。
以下、 本発明の実施の形態について図面を参照しながら詳細に説明する。
本発明は、 例えば P A L (Phase Al ternation by Line) 方式によるテレビジョ ン受像機に内蔵される画像信号処理装置に適用される。
本発明が適用された画像信号処理装置 1は、 図 5に示すような構成を備える。 画像信号処理装置 1は、 図 5に示すように、 第 1の画像メモリ 1 1 と、 第 2の 画像メモリ 1 2と シーケンス検出部 1 3と、 動きべク トル検出部 1 5と、 画像 シフト部 1 6とを備えている。
第 1の画像メモリ 1 1は、 テレシネ変換した画像を倍速変換することにより生 成された 1コマが 4フィールドで構成された、 例えば 1 0 0フィールドノ秒のィ ンタレース画像信号が順次供給される。 この第 1の画像メモリ 1 1は、 T V信号 を倍速変換することにより生成された 1コマが 2フィールドで構成された、 例え ば 1 0 0フィールド Z秒のインタレース面像信号が順次供給される。
第 1の画像メモリ 1 1は、 供給された画像データを、 各フィールド単位で、 1 フレーム分格納する。 すなわち、 第 1の画像メモリ 1 1から出力される画像デー タは、 第 1の画像メモリ 1 1に供給される画像信号より 1フレーム後になる。 第 2の画像メモリ 1 2は、 第 1の画像メモリ 1 1と同様の内部構成を有し、 第 1の画像メモリ 1 1から供給された画像データを、 各フィールド単位で、 1フレ ーム分格納する。 すなわち、 第 2の画像メモリ 1 2から出力される画像データは、 この第 2の画像メモリ 1 2に供給される画像データより 1フレーム後になり、 第 1の画像メモリ 1 1に供給される画像データより 2フレーム後になる。 第 2の画 像メモリ 1 2に格納された画像データ D 1は、 動きべク トル検出部 1 5及び画像 シフト部 1 6に供給される。
シーケンス検出部 1 3は、 第 1の画像メモリ 1 1 に供給される画像データと、 第 1 の画像メモリ 1 1から出力される画像データを検出し、 各画素毎に画像信号 レベルを比較し、 両者間で差分値を演算する。 すなわち、 このシーケンス検出部 1 3は、 画面上の同一箇所における顾素の画像信号レベルを、 1 フレーム間隔で 比較する。 シーケンス検出部 1 3は、 画像信号レベルの差分値の演算結果を画像 シフ ト部 1 5へ送信する。 シーケンス検出部 1 3は、 上述の如く各フィールドの 特定に加え、 テレシネ変換された信号か、 T V信号かを判別し、 当該判別結果を 移動量情報としてデータ選択部 1 4及び画像シフト部 1 6へ送信する。
データ選択部 1 4は、 第 1の画像メモリ 1 1に供給される画像データと、 第 1 の画像メモリ 1 1から出力される画像データが入力される。 このデータ選択部 1 4は、 シーケンス検出部 1 3から受信した判別結果に基づき、 供給される画像デ ータのうち一方を選択する。 すなわち、 シーケンス検出部 1 3によりテレシネ変 換された信号であると判別された場合には、 第 1の画像メモリ 1 1に供給される 画像データを選択する。 また、 シーケンス検出部 1 3により T V信号であると判 別された場合には、 第 1の画像メモリ 1 1から出力される画像データを選択する データ選択部 1 4により選択された画像データを以下、 画像データ D 2と称する c データ選択部 1 4は、 選択した画像データ D 2を動きべク トル検出部 1 5へ出力 する。
なお、 データ選択部 1 4として、 第 1の画像メモリ 1 1から出力される画像デ ータと、 第 2の画像メモリ 1 2から出力される画像データのどちらか一方を選択 する接続形態にも適用可能である。
動きべク トル検出部 1 5は、 画像データ D 1と、 画像データ D 2とを検出し、 例えばプロックマッチング法に基づき動きべク トルを検出する。 プロックマッチ ング法は、 画面を所定の画素からなるプロックに分割し、 各プロック単位で相似 度を評価することにより動きべク トルを求める方法である。 第 2の画像メモリ 1 2から出力される画像データ D 1は、 参照フィールドの 2フレーム遅延フィール ドであり、 またデータ選択部 1 4から出力される画像データ D 2は、 参照フィー ルドそのもの、 又は参照フィールドの 1フレーム遅延フィ一ノレドである。
すなわち、 動きベク トル検出部 1 5は、 画像データ D 1と画像データ D 2 との 間で動きベク トルを検出することによ り、 参照フィールドと、 2フレーム遅延信 号間で動きべク トルを検出することができ、 また同様に参照フィールドの 1 フレ ーム遅延信号と、 参照フィールドの 2フレーム遅延信号間で動きべク トルを検出 することができる。 換言すれば、 動きベク トルを検出するフィールド間隔をシー ケンス検出部 1 3から受信した判別結果に基づき、 制御することができる。 また、 動きベク トル検出部 1 5では、 供給される画像データ D 1と画像データ D 2に基づき、 検出した動きべク トルの誤差情報を含むフラグ F 1を算出する。 例えば、 上述のプロックマッチング法によりプロック毎の相似度を評価する際に 差分絶対値和を求めるが、 かかる演算過程で得られる差分絶対値和、 或いは画素 毎の差分絶対値に基づき、 検出した動きべク トルの誤差値を計算してフラグ F 1 とする。
動きべク トル検出部 1 5は、 検出した動きべク トルとフラグ F 1を画像シフト 部 1 6へ送信する。
画像シフ ト部 1 6は、 画像信号レベルの比較結果を含む移動量情報を、 シーケ ンス検出部 1 3から受信する。 画像シフト部 1 6は、 動きべク トル検出部 1 5が 検出した動きベク トル及びフラグ F 1を受信する。 更に、 画像シフ ト部 1 6は、 第 2の画像メモリ 1 2から画像データ D 1が供給され、 データ選択部 1 4力 ら画 像デ一タ D 2が供給される。 この画像シフ ト部 1 6は、 供給された画像信号にお ける各画素位置を、 受信した上記動きべク トルのベタ トル量の範囲内で、 かつべ ク トル方向へシフトさせる。 画像シフト部 1 6の内部構成例の詳細については後 述する。
画像信号処理装置 1には、 画像信号のフィールド周波数を倍速変換するフィー ルド倍速変換回路 3が集積される場合もある。 フィールド倍速変換回路 3は、 解 像度を向上させることにより、 面フリッカ妨害を防止すべく集積されるものであ り、 例えば、 P A L方式において、 捕間等の処理を行うことにより、 フィールド 周波数が 5 O H zの画像データを 2倍の 1 0 0 H zの画像データに変換する。 フィールド周波数変換回路 3は、 図 5に示すように、 テレビジョ ン受像機に接 続された入力端子 3 1と、 倍速変換部 3 2と、 フレームメモリ 3 3とを備える。 倍速変換部 3 2は、 テレビジョ ン受像機から入力端子 3 1を介して入力された、 テレシネ変換後の画像データ、 またはテレビジョ ン信号を、 フレームメモリ 3 3 へ書き込む。 また、 この倍速変換部 3 2は、 フレームメモリ 3 3へ書き込んだ画 像データを、 書込み時の 2倍の速度で読み出す。 これにより、 例えば、 P A L方 式の 5 0フィールド /秒の画像信号の周波数を 2倍に変換し、 1 0 0フィールド /秒の画像データを生成することができる。 倍速変換部 3 2は、 この倍速変換し た画像データを画像信号処理装置 1へ供給する。
次に、 画像シフト部 1 6の詳細な内部構成例について図 6を用いて説明する。 画像シフ ト部 1 6は、 シフ トバッファ読出制御部 1 6 1と、 シフ トバッファ書込 制御部 1 6 2と、 シフ トバッファ 1 6 3と、 データバッファ読出制御部 1 6 4と、 第 1のバッファ 1 6 5と、 第 2のバッファ 1 6 6と、 データ演算部 1 6 7とを備 える。
シフトバッファ読出制御部 1 6 1は、 動きべク トル検出部 1 5から動きべク ト ルが送信され、 シーケンス検出部 1 3から移動量情報が送信される。 シフ トバッ ファ読出制御部 1 6 1は、 この動きべク トルと移動量情報及び内蔵されたァドレ ス計算用カウンタに基づき、 シフ トバッファ読出制御信号 R S 1を生成する。 こ のシフトバッファ読出制御信号 R S 1は、 シーケンシャルにデータを読み出すた めのア ドレス信号と、 イネ一プル信号から構成される。 例えば、 シフ トバッファ 1 6 3がフレームメモリ等で実現される場合において、 シフトバッファ読出制御 部 1 6 1は、 X座標、 Y座標の各ア ドレス信号を絶対座標として計算する。 一方、 シフトバッファ 1 6 3がラインメモリ等の必要最小限のメモリで実現される場合 において、 シフ トバッファ読出制御部 1 6 1は、 X座標、 Y座標の各ア ドレス信 号を相対座標として計算する。
ここで内蔵されたァドレス計算用カウンタ値において X座標、 Y座標がそれぞ れ （C X 1、 C Y 1 ) であり、 また供給された動きベク トルにおいて、 X座標、 Y座標がそれぞれ （V X、 V Y ) であるときに、 シフ トバッファ読出制御信号 R S 1のア ドレスの番号 （S X、 S Y ) は、 以下の式で表される。 S X= C X 1 + ( V X X a ) · · · ( 1 . 1 )
S Y = C Y 1 + (V Y X a ) · · · ( 1. 2 )
ここで αは移動量情報であり、 0以上かつ 1以下の数で表現される。 この αは- 第 1のフィールドで最小とし、 その後フィールドが続く毎に順次増大する。 この αは、 テレシネ変換された信号が入力された場合に、 第 1のフィールドから第 4 のフィールドまでそれぞれ、 0、 1 / 4、 2 / 4、 3 / 4と、 また T V信号が入 力された場合にも、 第 1のフィールドから第 2のフィールドまで、 0、 1 / 2 と、 線形に増加させていくことも可能である。
シフ トバッファ読出制御部 1 6 1は、 生成したシフ トバッファ読出制御信号 R S 1をシフ トバッファ書込制御部 1 6 2及びシフトバッファ 1 6 3へ供給する。 シフトバッファ書込制御部 1 6 2は、 動きべク トル検出部 1 5からフラグ F 1 が供給され、 またシフトバッファ 1 6 3からフラグ F 'が供給され、 シフトバッ ファ読出制御部 1 6 1からシフトバッファ読出制御信号 R S 1が供給される。 シ フトバッファ書込制御部 1 6 2は、 フラグ Fとフラグ F 'の大小に基づき、 書き 込み時の優先順位を判定する。 さらにシフトバッファ書込制御部 1 6 2は、 供給 されるシフトバッファ読出制御信号 R S 1に基づき、 書き込みァドレスを求め、 当該書き込みァドレスと上述の通り判定した優先順位を、 シフトバッファ書込制 御信号 R S 2として、 シフトバッファ 1 6 3へ供給する。
シフトバッファ 1 6 3は、 動きべク トル用バッファとフラグ用バッファから構 成される。 動きベク トル用バッファは、 動きベク トルを蓄積 '供給するためのバ ッファであり、 フラグ用バッファは、 フラグを蓄積 .供給するためのバッファで ある。 これらのバッファは、 同一の制御信号に基づき、 書き込みや読み出しが行 われる。 ちなみに： シフトバッファ 1 6 3は、 動きベク トルとフラグのみ格納で きれば足りるため、 バッファ容量の削減を期待することができる。
シフ トバッファ 1 6 3は、 1フレーム分のデータを蓄積するフレームメモリで あってもよいし、 動きベク トルの取り得る範囲に従ったラインメモリ等、 必要最 小限のメモリで構成してもよい。
シフトバッファ 1 6 3は、 まずフラグ用バッファの初期化を行う。 フラグ用バ ッファに書き込まれるフラグには、 データが書き込まれたか否かを示すマーク情 報をも含む。 マーク情報は、 " NM" と" OK" の 2種類で表され、 " NM" は、 初期化時にデータの書き込みが行われていないことを示し、 " OK" は、 データ が既に書き込まれていることを示す。 シフ トバッファ 1 6 3は、 シフトバッファ 読出制御信号 R S 1のイネ一ブルが有効である場合に、 ァドレス対応させてシフ トバッファ書込制御部 1 6 2へフラグ F ' を送信する。 シフ トバッファ 1 6 3は、 シフ トバッファ書込制御信号 R S 2のイネ一プルが有効な場合に、 ア ドレス値に 従って、 動きベク トル、 フラグ F 1を、 それぞれ動きべク トル用バッファ、 フラ グ用バッファに書き込む。 更に、 このシフトバッファ 1 6 3は、 格納した動きべ ク トルを番号順に整理し （以下、 この番号順に整理した動きベク トルを、 移動済 動きベク トルという） 、 処理フラグ F 2を順次読み出し、 それぞれをデータバッ ファ制御部 1 6 4、 データ演算部 1 6 7へ供給する。
データバッファ読出制御部 1 6 4は、 シフ トバッファ 1 6 3から移動済動きべ タ トルが供給され、 シーケンス検出部 1 3から移動量情報が送信される。 データ バッファ読出制御部 1 6 4は、 この入力された動きベク トルに基づき、 バッファ 制御信号 S 1 1及びバッファ制御信号 S 1 2を演算する。 これらの各バッファ制 御信号 S 1 1、 S 1 2は、 シーケンシャルにデータを読み出すためのア ドレス信 号と、 イネ一プル信号から構成される。 例えば、 第 1のバッファ 1 6 5、 及び第 2のバッファ 1 6 6がフレームメモリ等で実現される場合において、 データバッ ファ読出し制御部 1 6 4は、 X座標、 Y座標の各アドレス信号を絶対座標として 計算する。 一方、 第 1のバッファ 1 6 5、 及び第 2のバッファ 1 6 6がラインメ モリ等の必要最小限のメモリで実現される場合において、 データバッファ読出制 御部 1 6 4は、 X座標、 Y座標の各ア ドレス信号を相対座標として計算する。 データバッファ読出制御部 1 64は、 内蔵されたァドレス計算用カウンタの値 と動きべク トルに基づいてバッファ制御信号 S 1 1を生成する。 またデータバッ ファ読出制御部 1 6 4は、 バッファ制御信号 S 1 1と動きべク トルに基づいてバ ッファ制御信号 S 1 2を生成する。
例えば TV信号が入力された場合に、 バッファ制御信号 S 1 1のア ドレスにお いて、 X座標、 Y座標がそれぞれ （ΑΧ Ι , ΑΥ Ι ) であり、 またバッファ制御信 号 S 1 2のア ドレスにおいて、 X座標、 Υ座標がそれぞれ （ΑΧ 2, ΑΥ 2 ) であ り、 動きベク トルが （νχ,νγ) であり、 内部のアドレス計算用カウンタ値を (C X ' , C Υ ' ) とするとき、 バッファ制御信号 S 1 1のア ドレスは、 以下の式 で表される。
AX 1 = C X ' - I NT ( V X/ 2 ) · · · (2. 1 )
AY 1 =C Y ' - I NT (VY/2) · · · (2. 2)
ここで、 関数 I NTは、 小数点以下切り捨てを意味する。
ノ ッファ制御信号 S 1 2のア ドレス （AX 2, AY 2) は、 以下の式で表される。
AX 2 =AX 1 +VX - - - ( 2. 3)
A Υ 2 =ΑΥ 1+νΥ · · · (2.4)
データバッファ読出制御部 1 6 4は、 これらの計算したァドレスを含むバッフ ァ制御信号 S I 1を第 1のバッファ 1 6 5に供給する。 またデータバッファ読出 制御部 1 64は、 同様に計算したァドレスを含むバッファ制御信号 S 1 2を第 2 のバッファ 1 6 6に供給する。
第 1のバッファ 1 6 5は、 第 2の画像メモリ 1 2から送信された画像データ D 1を順次蓄積する。 第 1のバッファ 1 6 5は、 供給されたバッファ制御信号 S 1 1に応じて蓄積した画像データ D 1を読み出す。 すなわち、 第 1のバッファ 1 6 5は、 供給されたバッファ制御信号 S 1 1のイネ一プルが有効な時に、 当該バッ ファ制御信号 S 1 1に含まれるァドレスに従って、 第 1のバッファ 1 6 5に蓄積 した画像データ D 1を読み出す。 この読み出された画像データ D 1を以下、 シフ トデータ S D 1 と称する。 第 1のバッファ 1 6 5は、 シフトデータ S D 1をデー タ演算部 1 6 7へ送信する。
第 1のバッファ 1 6 5は、 1フレーム分のデータを蓄積するフレームメモリで あってもよいし、 また動きベク トルの範囲に基づいたラインメモリ等、 必要最小 限のメモリで構成してもよい。 更にこの第 1のバッファでは、 データの読出しを シーケンシャルに行うため、 F I F 0メモリ等で実現してもよい。
第 2のバッファ 1 6 6は、 データ選択部 1 4から送信された画像データ D 2を 順次蓄積する。 第 2のバッファ 1 6 6は、 供給されたバッファ制御信号 S 1 2に 応じて、 蓄積した画像データ D 2を読み出す。 すなわち、 第 2のバッファ 1 6 6 は、 供給されたバッファ制御信号 S 1 2のイネ一ブルが有効な時に、 当該バッフ ァ制御信号 S 1 2に含まれるァドレスに従って、 第 2のバッファ 1 6 6に蓄積し た画像データ D 2を読み出す。 この読み出された画像データ D 2を、 以下シフ ト' データ S D 2と称する。 第 2のバッファ 1 6 6は、 シフトデータ S D 2をデータ 演算部 1 6 7へ送信する。
第 2のバッファ 1 6 6は、 1フレーム分のデータを蓄積するフレームメモリで あっても良いし、 また動きベク トルの範囲に基づくラインメモ リ等、 必要最小限 のメモリで構成してもよい。 かかる場合には、 ランダムに与えられるアドレスに 対応してランダムにデータを読み出すシステムが構築される。
データ演算部 1 6 7は、 供給されたシフ トデータ S D 1 と、 シフ トデータ S D 2に基づき、 シフトバッファ 1 6 3から供給される処理フラグ F 2を参照しなが ら捕正データ H 1を算出する。 データ演算部 1 6 7は、 演算した補正データ H I を順次 C R T 2へ出力する。
なお、 補正データ H Iは、 シフ トデータ S D 1やシフ トデータ S D 2をそのま ま出力することによって演算してもよいし、 シフ トデータ S D 1とシフトデータ S D 2の平均値としてもよい。 更には、 動きベク トル等の値を用いて重み付け平 均をとる形で移動データ M 1を算出してもよい。
次に、 本発明に係る画像信号処理装置 1の動作について説明する。
図 Ί A及び図 7 Bは、 フィールド倍速変換回路 3における倍速変換前後の各フ ィールドと画素位置の関係を示している。 ここで横軸は時間、 縦軸は画素の垂直 方向の位置を示す。
倍速変換前の画像データは、 P A L方式の 5 0フィ一ルド Z秒のィンタレース 画像であり、 図 7 Aに示すように、 2フィールドで 1つのコマを形成する。
一方、 倍速変換後の画像データは、 1 0 0フィールドノ秒のインタレース画像 であるため、 図 7 Bに示すように、 フィールド t とフィールド t 2の間に、 新規 に 2枚のフィールド t 2一、 t 1 'を生成する。 そして、 フィールド t 2とブイール ド t 3の間では、 フィールドの生成を行わず、 フィールド t 3とフィールド t 4の間 に、 新規に 2枚のフィールド t 4 ,、 t 3 を生成する。 すなわち、 画像データは、
4フィールドで 1つのコマを形成することとなる。
この新規に生成したフィールド t i一、 t 2 ' , · · ·は、 それぞれの画素値を、 各画素の周囲 3画素の中間値として、 メディアン ' フィルタ等を用いて求める場 合もある。 また、 この新規に生成したフィールド t i ,、 t ' , · · · は、 それ ぞれフィールド t 2、 ' · と同じ内容となる。 これにより、 4フィールドで 1つのコマを形成することとなり、 単位時間当たりの画面枚数を増やすことで解 像度を向上させることができ、 面フリッカ妨害を抑制することが可能となる。 テレシネ変換後、 上述の如き倍速変換された画像データにおいて、 水平方向へ 画像が移動する場合における各フィールドと画像位置の関係を図 8に示す。 この 図 8において、 横軸は画像の水平方向における位置、 縦軸は時間を表している。 既にテレシネ変換された画像は、 図 8に示すように、 フィールド！； t 2 '、 t 一、 t の順で、 一定の時間間隔で第 1の画像メモリ 1 1に供給され、 これらの 画像は同一の位置に表示される。 またフィールド t 3に移行すると画像が水平方向
(右方向） に移り、 フィールド t 、 t ' , t ' , t の順で第 1の画像メモリ に供給される。
ここで、 例えば、 第 1の画像メモリに供給されるフィールド （以下、 参照フィ 一ルドと称する） 力 フィールド t 3である場合には、 第 2の画像メモリ 1 2から 出力される、 参照フィールドより 2フレーム前のフィールド （以下、 2フレーム 遅延フィールドと称する） は、 フィールド となる。
T V信号を倍速変換した画像データにおいて、 水平方向へ画像が移動する場合 における各フィールドと画像位置の関係を図 9に示す。 同一のコマを構成するフ ィールド t 2 ,において、 同一位置に同一の画像が表示される。 同様に、 同 一のコマを構成するフィールド t i '、 t 2において、 同一位置に同一の画像が表 示される。
動きベク トル検出部 1 4は、 図 8に示すテレシネ変換後、 倍速変換された信号 にっき、 参照フィールドと 2フレーム遅延フィールド間で、 各画素又は各ブロッ ク単位で動きベク トルを検出する。 図 8に示す例の場合には、 動きベク トルのべ タ トル方向は、 2フレーム遅延フィ一ルドを基準として水平方向 （右方向） とな り、 ベク トル量は Aとなる。 同様に、 参照フィールドが t sの場合には、 2フレー ム遅延ブイ一ノレドは、 t 3となり、 動きベク トルのベク トル量は Bとなる。 この手 順を繰り返すことにより、 2フレーム遅延フィールドを基準とした動きべク トル のべク トル方向とべク トル量を順次求めることができる。 動きべク トル検出部 1 4は、 この求めた動きべク トルのべク トル量とべク トル方向とを画像シフト部 1 6へ順次送信する。
動きべク トル検出部は図 9に示す T V信号を倍速変換された信号につき、 参照 フィールドと 1 フレーム遅延フィールド間で、 各画素又は各プロック単位で動き べク トルを検出する。 図 9に示す例の場合には、 動きべク トルのべク トル方向は、 1 フレーム遅延フィールドを基準と して水平方向 （右方向） となり、 参照フィー ルドが t i ' のときにベク トル量は Cとなる。 同様に、 参照フィールドが t 4 ,の 場合には、 1 フレーム遅延フィールドは、 t i となり、 動きベク トルのベク トル 量は Dとなる。 この手順を繰り返すことにより、 1 フレーム遅延フィールドを基 準と した動きべク トルのべク トル方向とべク トル量を順次求めることができる。 動きべク トル検出部 7 4は、 この求めた動きべク トルのべク トル量とべク トル方 向とを画像シフ ト部 1 6へ順次送信する。
シーケンス検出部 1 3は、 参照フィールドと、 第 1の画像メモリ 1 1 から出力 される、 参照フィールドより 1 フレーム前のフィールド （以下、 1 フレーム遅延 フィールドと称する） を順次検出し、 同一の画素位置における画素信号レベルの 差分値をそれぞれ演算する。
すなわち、 図 1 0に示すように、 テレシネ変換画像の場合には、 参照フィール ド t i ' と、 1 フレーム遅延フィールド t iは、 同一のコマを構成するため、 例え ば画素位置 a点における画素信号レベルの差分値は 0になる。 次に参照フィール ドと してフィールド t 2が供給されると、 1 フレーム遅延フィールドはブイールド t 2 ' となり、 a点における画素信号レベルの差分値は同様に 0となる。
次に参照フィールドと してフィールド t 3が供給されると、 1 フレーム遅延フィ 一ルドは となり、 両者はそれぞれ別のコマを形成するため、 a点における画 素信号レベルの差分値は 0以外 （以下、 1 とする） となる。 次に参照フィールド として t . が供給されると 1フレーム遅延ブイールドはフィールド t 2となり、 a点における画素信号レベルの差分値は、 同様に 1 となる。
更に、 参照フィールドと して t 3 が供給されると、 1 フレーム遅延フィールド は、 t 3となり、 両者は同一のコマを形成するため、 a点における画素信号レベル の差分値は再び 0になる。 その後に供給される参照ブイールドについても同様の 傾向となり、 演算した差分値は、 4フィールド周期で 「0 0 1 1」 の順で繰り返 される。 従って、 このシーケンスを 4フィールド単位で検出することにより、 各 ブイールドの前後関係を特定することが可能となる。
この傾向を 1 フレーム遅延フィールドにっき着目すると、 差分値は、 コマの最 初のフィールドから 「0 0 1 1」 の順になる。 従って、 最初に差分値 0を算出し たとき、 検出した 1 フレーム遅延フィールドを、 コマの最初のフィールド （以下、 第 1のフィールドと称する） として特定する。 差分値 0が連続したときには、 検 出した 1 フレーム遅延フィールドを第 2のフィールドとして特定する。 また差分 値として最初に 1を算出した場合に、 検出した 1 フレーム遅延フィールドを第 3 のフィールドとして特定する。 差分値 1が連続したときには、 検出した 1 フレー ム遅延ブイールドを第 4のフィールドとして特定する。
なお、 T V信号が入力された場合においても、 各フィールドが第 1のフィール ド又は第 2のフィールドのいずれに該当するか判別する必要あるが、 フィールド 倍速変換回路 3により倍速変換する際に該当するフィールドは判明するため、 上 述のようなシーケンス検出の必要性はない。 すなわち、 倍速変換回路 3から T V 信号が入力される際には、 第 1のフィールドと、 第 2のフィールドが特定されて いることになる。
図 1 1 Aは、 1コマ 2フィールドで構成される T V信号が入力された場合にお ける画像シフト部 1 6の具体的な動作例を一次元のグラフで示している。 この図 1 1に示す動作例では、 T V信号が入力された場合のものであり、 画像データ D 1は第 1のフィールドであり、 また画像データ D 2は、 画像データ D 1よりも 1 フレーム後の第 1のフィールドである。 図 1 1 Aにおいて、 0から始まる番号は、 画素位置を示すア ドレスであり、 また縦軸は画素値 （=画素信号レベル） を表し ている。
本発明では、 図 1 1 Bに示すように、 この時間的に異なる画像データ D 1と画 像データ D 2の中間に位置する第 2のフィールド （以下、 書込フィールドとい う） に対して、 様々な画像のバリエーションにおいても動きがスムーズに見える ように補正データを書き込む。 すなわち、 図 1 1 Aに示す例において、 左側に凸 部がある画像データ D 1から、 中央になだらかな凸部がある画像データ D 2へ移 り変わる際に、 全体の動きがスムーズに見えるような画像を、 上述の書込フィー ルドにおいて作成する。
図 1 2 A乃至図 1 2 Dは、 図 1 1 Aに示す画像シフト部 1 6の具体的な動作例 を、 画素値で表示したものである。 図 1 2 Aは、 画像シフ ト部 1 6に入力される 画像データ D 1 と画像データ D 2を表したものであり、 番号は、 画素位置を示す ア ドレスである。 各画素毎に輝度があることから、 供給される画像データ D 1に は、 番号ごとに画素値が割り振られる。
' すなわち、 図 1 2 Aに示す動作例において、 画像データ D 1は、 番号 0〜 1 1 のア ドレスにおいて、 順に 1 0 0、 1 0 0、 2 0 0、 · ' · · と続く画素値で表 される。
画像データ D 1より後に位置する画像データ D 2は、 番号 0〜 1 1のア ドレス において、 順に 1 0 0、 1 0 0、 1 0 0、 · · · · と続く画素値で表される。 図 1 2 Aに示されている動きベク トルは、 この画像データ D 1 と、 画像データ D 2間との間で、 各画素毎の画像データ D 1を基準としたべク トル量を表したも のである。 例えば、 画像データ D 1において番号 1のア ドレスにある画素値 1 0 0の画素は、 1ブイールド後に位置する画像データ D 2においても番号 1のァド レスに位置している。 従って、 動きベクトルは、 0である。 例えば、 画像データ D 1において番号 2のァドレスにある画素値 2 0 0の画素ほ、 画像データ D 2に おいて、 番号 4のァドレスに移動する。 従って、 動きべク トルは、 4一 2 = 2よ り 2となる。 図 1 1 A中に示す矢印は、 この各画素毎の動きベク トルを示したも のである。
図 1 2 Aに示すフラグ F 1は、 画像データ D 1 の検出画素と、 画像データ D 2 における当該検出画素との差分絶対値とした場合の例である。 図 1 2 Aに示す例 において、 画像データ D 1において番号 2のァドレスにある画素値 2 0 0の画素 は、 画像データ D 2において番号 4のア ドレスに移動し、 画素値は 2 0 0と変わ らないため差分絶対値は 0である。 一方、 画像データ D 1において番号 7のアド レスにある画素値 1 1 0の画素は、 画像データ D 2において番号 1 0のァドレス に移動し、 画素値は 1 0 0となるため、 差分絶対値は 1 0となる。 図 1 2 Bは、 シフ トバッファ読出制御信号 R S 1について示している。 図 1 2 Bに示す例では、 前記式 （1. 1 ) に基づき、 ア ドレス計算カウンタから、 0、 1 2、 3 · · · と、 0から 1ずつプラスにシフトさせた値を CX 1 とし、 移動量情 報 αを 1 / 2とした場合について示している。 なお、 ア ドレス計算カウンタの数 値 CX 1は、 画像データ D 1のァドレスを示す番号に対応させて出力している。 シフトバッファ制御信号 R S 1を生成する際において、 例えば、 ア ドレス計算 カウンタの番号が 2である場合には、 図 1 2Aに基づき、 番号 2に対応する画素 位置の動きベク トルは 2であるので、 前記式 （1. 1) に基づき、 2 + 2 X 1 2 = 3より、 シフ トバッファ読出制御信号 R S 1の番号は 3となる。 同様にァドレ ス計算カウンタの番号が 3の場合には、 図 1 2 Αに基づき、 番号 3に対応する動 きべク トルは 2であるので、 前記式 （1. 1 ) に代入して、 3 + 2 X 1 , 2 = 4よ り、 シフ トバッファ読出制御信号 R S 1の番号は 4となる。
すなわち、 生成されたシフトバッファ読出制御信号 R S 1の番号は、 書込フィ —ルドにおいて、 捕正データ H 1を書き込むァドレスの番号を示している。
算出したシフトバッファ制御信号 R S 1のァドレスについて、 シフトバッファ 1 6 3への動きべク トルの書き込み状況を検知するべく、 フラグ F 'を読み出す。 このフラグ F ' は、 シフ トバッファ 1 6 3にアクセスされたァ ドレスにおいて、 動きべク トルが書き込まれていない場合には、 " NM" が返される。 一方、 動き べク トルが既に書き込まれたア ドレスに対しては、 差分絶対値の値が返される。 例えば、 図 1 2 Bに示す例において、 シフトバッファ読出制御信号 R S 1の番 号 0〜8のア ドレスでは、 シフトバッファ 1 6 3からフラグ F 'を介して、 デー タが書き込まれていない旨が表示される。 番号 9のア ドレスにおいては、 最初は データが書き込まれていない旨の" NM" 力 次回では差分絶対値が、 フラグ F ' として返されている。 すなわちシフトバッファ 1 6 3の番号 9のァ ドレスには、 複数の動きべク トルが書き込まれることを意味している。 これは図 1 1 Aにおい て、 画像データ D 2の番号 9のアドレスには、 画像データ D 1の番号 6並びに番 号 9に基づく動きべク トルが集中していることからも示される。
ここで、 フラグ F 'が" NM" で返されたシフ トバッファ 1 6 3のァ ドレスに は、 当該アドレスの番号に応じて動きベク トルが順次書き込まれる。 フラグ F一 が数値を持つ場合には、 フラグ F ' と当該ァドレスの番号に相当するフラグ Fと を比較し、 数値が小さい方を有効とする。 これにより、 画像データ D 1から画像 データ D 2へ移行するまでに誤差の少ない動きべク トルをシフ トバッファ 1 6 3 へ書き込むことが可能となり、 単一の画素位置に複数の動きべク トルがかかるよ うな、 様々なパリエーションの画像についても高精度に動き補正することが可能 となる。
シフ トバッファ書込制御部 1 6 2は、 供給されるフラグ F ' に基づき、 動きべ ク トルをシフ トバッファ 1 6 3上に書き込むためのァドレスを決定する。 例えば、 番号 9において、 フラグ Fは 1 0であり、 フラグ F 'は 0である。 数値の小さい フラグを優先するため、 番号 9では、 当初に書き込まれた番号 6のア ドレスに基 づく動きべク トル" 3 " がそのままシフ トバッファ 1 6 3に格納され続けること になる。
シフ トバッファ書込制御部 1 6 2は、 了 ドレスに対応する番号と動きべク トル とを関連付けてシフトバッファ書込制御信号 R S 2とし、 これをシフ トバッファ 1 6 3へ書き込む。 鲁き込まれた後のシフ トバッファ 1 6 3には、 図 1 2 Bの下 段に示すように、 各番号のァドレスに対して動きべク トルが格納されることにな る。
シフ トバッファ 1 6 3に格納された動きべク トルを、 ァドレスの番号の順に再 度整理した結果を図 1 2 Cに示す。 また処理フラグ F 2は、 各ア ドレスにおける マーク情報を示している。 この処理フラグ F 2において" O K " が出力されてい る場合には、 当該番号のア ドレスにデータが書き込まれていることを示し、 " N M" が出力されている場合には、 当該番号のア ドレスにデータが書き込まれてい ないことを示している。 ちなみに番号 2のアドレスには、 データが書き込まれて いないため、 処理フラグ F 2と して" N M" が出力される。
シフ トバッファ 1 6 3から読み出された移動済動きべク トルは、 データバッフ ァ読出制御部 1 6 4へ、 処理フラグ F 2は、 データ演算部 1 6 7へ供給される。 データバッファ読出制御部 1 6 4は、 供給された移動済動きべク トルに基づき、 前記式 （ 2 . 1 ) 〜 （2 . 4 ) を利用してバッファ制御信号 S 1 1 、 S 1 2を作り 出す。 例えば、 アドレス計算カウンタの値を、 シフ トバッファ 1 6 3のア ドレス に対応する番号とした場合において、 番号 3のア ドレスでは、 図 1 2じより、 移 動済動きベク トルは 2であるので、 バッファ制御信号 S 1 1は、 前記式 （2 . 1 ) より 2となり、 またバッファ制御信号 S 1 2は、 前記式 （2 . 3 ) より 4となる。 番号 6のアドレスにおいても、 同様に移動済動きベク トルは 3であるので、 バッ ファ制御信号 S 1 1は 5となり、 バッファ制御信号 S 1 2は 8となる。
以上の如く算出されたバッファ制御信号 S 1 1は、 第 1のバッファ 1 6 5に供 給され、 バッファ制御信号 S 1 1の番号に対応するア ドレスの画素値が、 第 1 の バッファ 1 6 5から読み出される。 読み出された画素値は、 図 1 2 C中の中段に 示すように、 シフトデータ S D 1としてァドレスに対応付けられデータ演算部 1 6 7等に供給される。
同様にバッファ制御信号 S 1 2が第 2のバッファ 1 6 6に供給され、 バッファ 制御信号 S 1 2の番号に対応するァドレスの画素値が第 2のバッファ 1 6 6から 読み出される。 読み出された画素値は、 図 1 2 C中の中段に示すようにシフ トデ ータ S D 2としてァドレスに対応付けられ、 データ演算部 1 6 7等に供給される こととなる。
図 1 2 C中の最下段は、 捕正データ H 1を、 シフトデータ S D 1とシフトデー タ S D 2の平均値とした場合について示している。 データ演算部 1 6 7は、 送信 される処理フラグ F 2として" O K " が出力されている番号について、 対応する シフトデータ S D 1、 S D 2に基づき、 補正データ H Iを算出し、 " N M" 出力 されている番号 2のァドレスでは、 隣接する番号 1のァドレスの画素値をそのま まホ一ルドしている。
この生成した捕正データ H 1を、 各番号のァドレス毎に書込ブイールドへ書き 込むことにより、 図 1 1 Aに示すような画像を作り出すことができる。
本発明を適用した画像信号処理装置 1は、 時間的に異なる画像データ間におい て、 画像の動きをスムーズにできる最適な捕正データを書込フィールドへ書き込 むため、 例えば画像が水平方向へ移動しながら画素値が変化するようなバリエ一 ショ ンの画像においても、 面像の動きの不連続性を効率よく解消することができ る。
この画像信号処理装置 1は、 テレシネ変換した画像信号と T V信号とが双方と も入力される場合において、 画像の様々なバリエーションに対応させて、 動きの 不連続性を効率よく解消することができる。 これにより、 フィルム信号と T V信 号の双方が入力されるテレビジョン受像機に内蔵することができ、 また既に販売 されたテレビジョン受像機に対して新たに内蔵することにより容易にバージョン アップを図ることも可能となり、 汎用性をより高めることも可能となる。
更に、 本発明を適用した画像信号処理装置は、 フラグと動きベク トルのみシフ トバッファ 1 6 3に格納すれば良いため、 バッファの容量を大幅に削減でき、 よ り効率的な構成で動きの不連続性を解消することが可能となる。
なお、 本発明は上述した実施の形態に限定されるものではない。 例えば、 図 6 に示す画像シフト部 1 6において、 シフトバッファ読出制御部 1 6 1を除去し、 シフ トバッファ読出制御信号 R S 1、 フラグ F 1、 フラグ F , を省略し、 優先順 位を判定しない方式にも適用可能である。 この画像シフ ト部 1 6において、 アド レスに書き込むデータが重複する場合には、 時間的に後に計算されたデータが、 既に書き込まれているデータ上に上書きされることになるが、 フラグの読み出し 時の制御が不必要になるため、 回路を更に簡略化することができる。
本発明は、 P A L方式によるテレビジョン受像機に対して適用される場合に限 定されることはなく、 例えば、 N T S C (Nat ional TV System Commi ttee) 方式 の 6 0フィールド秒 （3 0コマ/秒） のインタレース画像信号が入力されるテレ ビジョン受像機に対しても適用可能である。 また、 S E C AM方式によるテレビ ジョン受像機に対しても適用可能である。
本発明は、 テレビジョン受像機に内蔵される場合のみならず、 テレビジョ ン受 像機に接続する信号変換器へも内蔵可能である。
本発明は、 インターネッ トで伝送されるような画像信号を P Cなどで表示する 場合や、 メディアや画像フォーマツトを変換するケースにも応用することができ る。
本発明は、 回路等、 ハードウェアで実現する形で説明しているが、 プロセッサ 上でのソフトウエアとしても実現可能であることは勿論である。
なお、 本発明は、 図面を参照して説明した上述の実施例に限定されるものでは なく、 添付の請求の範囲及びその主旨を逸脱することなく、 様々な変更、 置換又 はその同等のものを行うことができることは当業者にとって明らかである。 産業上の利用可能性 本発明に係る画像信号処理装置及び方法は、 各検出画素について演算した画素 信号レベルの差分値に基づいて第 1のフィールドを特定し、 第 1のフィールドの 後に続くフィールドにおいて、 検出画素の位置から動きべク トルのべク トル方向 へシフ トさせた書込画素位置を算出し、 算出した書込画素位置を動きべク トノレに 対応させて記憶し、 記憶した書込画素位置と動きべク トルに応じて各第 1のフィ ールドから読み出した画素データから補間画素データを算出し、 算出した捕間画 素データを書込画素位置へ書き込むようにしているので、 様々な画像のバリエー シヨンにおいても、 面フリツ力妨害を抑えつつ、 バッファを高効率に使用できる 構成で、 動きの不連続性を解消することができる。

Claims

請求の範囲
1 . コマの最初が第 1のフィールドで始まる倍速変換された画像信号について、 現フィールドの検出画素と、 上記現ブイールドから 1 フレーム後のフィールドの 同一箇所における検出画素との間で、 画素信号レベルの差分値を演算し、 当該差 分値に基づき上記第 1のフィールドを特定するシーケンス検出手段と、
上記現フィールドの検出画素について、 上記現フィールドから 1フレーム又は 2フレーム後のフィールドに対する動きべク トルを検出する動きべク トル検出手 段と、
上記第 1のフィールドの後に続く書込フィールドにおいて、 上記現フィールド の検出画素の位置から上記動きべク トルのべク トル方向へ、 シフト量が上記第 1 のフィールドから上記書込フィールドが後続するにつれて上記動きべク トルのベ ク トル量の範囲内で順次増大するようにシフトさせた書込画素位置を算出する画 素位置演算手段と、
上記書込フィールド毎に算出した上記書込画素位置を、 上記動きべク トルに対 応させて記憶する記憶手段と、
上記書込画素位置と当該書込画素位置に対応させて上記記憶手段へ記憶した動 きべク トルに応じて上記書込ブイールドの前後にある各第 1のブイールドから画 素データを読み出し、 読み出した上記画素データに基づき捕間画素データを算出 する画素データ演算手段と、
上記書込フィールドにおいて上記画素データ演算手段により算出した補間面素 データを上記書込画素位置へ書き込む画像制御手段とを備える
ことを特徴とする画像信号処理装置。
2 . 上記画素データ演算手段は、 上記書込フィールドの前に位置する第 1のフィ 一ルドにおいて、 上記書込画素位置から上記動きべク トルの反対方向へ移動させ た画素位置にある画素データを読み出し、 上記書込フィールドの後に位置する第 1のフィ一ルドにおいて上記書込画素位置から上記動きべクトルの方向へ移動さ せた画素位置にある画素データを読み出すことを特徴とする請求の範囲第 1項記 載の画像信号処理装置。
3 . 上記画素データ演算手段は、 テレビジョン信号を倍速変換することにより生 成された 1コマが 2フィールドで構成される画像信号が入力された場合に、 上記 書込画素位置から移動させる量を上記動きべク トルのベタ トル量を 2で割った量 とすることを特徴とする請求の範囲第 2項記載の画像信号処理装置。
4 . 上記データ演算手段は、 上記第 1のフィールドから読み出した画素データの 平均値を上記補間画素データとする とを特徴とする請求の範囲第 1項記載の画 像信号処理装置。
5 . 検出した上記動きべク トルの誤差情報を含むフラグを算出するフラグ演算手 段を備え、
上記画像制御手段は、 上記補間画素データを書き込む際の優先順位を、 算出し た上記フラグに基づき決定することを特徴とする請求の範囲第 1項記載の画像信 号処理装置。
6 . 上記フラグ演算手段は、 上記現フィールドの検出画素の画素データと、 上記 現フィールドから 1 フレーム又は 2フレーム後のフィールドにおいて当該検出画 素の画素位置から上記動きべク トルのベタ トル方向へべク トル量だけシフ トさせ た画素位置の画素データと、 の差分絶対値を上記フラグとして算出することを特 徴とする請求の範囲第 5項記載の画像信号処理装置。
7 . 上記画像制御手段は、 上記書込フィールドにおいて、 上記捕間画素データが 書き込まれなかった書込画素位置における補間画素データを、 当該書込画素位置 周辺にある他の書込画素位置における捕間画素データに基づき決定することを特 徴とする請求の範囲第 1項記載の画像信号処理装置。
8 . 上記画素位置検出手段は、 上記第 1のフィールドから上記書込フィールドが 後続するにつれて、 検出した上記動きべクトルのべク トル量を、 コマを構成する フィールド数で割った量ずつ上記シフトさせる量を増加させることを特徴とする 請求の範囲第 1項記載の画像信号処理装置。
9 . 上記記憶手段は、 上記書込フィールド毎に記憶した上記書込画素位置及び上 記動きべク トルを消去することを特徴とする請求の範囲第 1項記載の画像信号処
0 . コマの最初が第 1のフィールドで始まる、 倍速変換された画像信号が入力 され、
入力された上記画像信号において、 現フィールドの検出画素と上記現フィール ドから 1フレーム後のフィールドの同一箇所における検出画素との間で画素信号 レベルの差分値を演算し、 当該差分値に基づき上記第 1 のフィールドを特定し、 上記現フィールドの検出画素について上記現フィールドから 1 フレーム又は 2 フレーム後のフィールドに対する動きべク トルを検出し、
上記第 1のフィールドの後に続く書込フィールドにおいて、 上記現フィールド の検出画素の位置から上記動きべク トルのベタ トル方向へシフ ト量が上記第 1の フィールドから上記書込フィールドが後続するにつれて上記動きべク トルのべク トル量の範囲内で順次増大するようにシフトさせた書込画素位置を算出し、 上記書込フィールド毎に算出した上記書込画素位置を上記動きべク トルに対応 させて記憶し、
上記書込画素位置と当該書込画素位置に対応させて上記記憶手段へ記憶した動 きべク トルに応じて上記書込フィールドの前後にある各第 1のフィールドから画 素データを読み出し、 読み出した上記画素データに基づき補間画素データを算出 し、
上記書込ブイールドにおいて上記画素データ演算手段により算出した捕間画素 データを、 上記書込画素位置へ書き込む
ことを特徴とする画像信号処理方法。
1 1 . 上記書込フィールドの前に位置する第 1のフィールドにおいて、 上記書込 画素位置から上記動きべク トルの反対方向へ移動させた画素位置にある画素デー タを読み出し、 上記書込フィールドの後に位置する第 1のフィールドにおいて、 上記書込画素位置から上記動きべク トルの方向へ移動させた画素位置にある画素 データを読み出し、 読み出した上記画素データに基づき補間画素データを算出す ることを特徴とする請求の範囲第 1 0項記載の画像信号処理方法。
1 2 . テレビジョン信号を倍速変換することにより生成された 1コマが 2フィー ルドで構成される画像信号が入力された場合に、 上記書込画素位置から移動させ る量を、 上記動きべク トルのべク トル量を 2で割った量とすることを特徴とする 請求の範囲第 1 1項記載の画像信号処理方法。
1 3 . 上記データ演算手段は、 上記補間画素データを、 上記第 1のフィールドか ら読み出した画素データの平均値とすることを特徴とする請求の範囲第 1 0項記 載の画像信号処理方法。
1 4 . 検出した上記動きベク トルの誤差情報を含むフラグを算出し、 上記捕間 画素データを書き込む際の優先順位を、 算出した上記フラグに基づき決定するこ とを特徴とする請求の範囲第 1 0項記載の画像信号処理方法。
1 5 . 上記現フィールドの検出画素の画素データと、 上記現フィールドから 1 フ レーム又は 2フレーム後のフィールドにおいて当該検出画素の画素位置から上記 動きべク トルのべク トル方向へべク トル量だけシフトさせた画素位置の画素デー タと、 の差分絶対値を、 上記フラグとして算出することを特徴とする請求の範囲 第 1 4項記載の画像信号処理方法。
1 6 . 上記書込フィールドにおいて、 上記補間画素データが書き込まれなかった 書込画素位置における補間画素データを、 当該書込画素位置周辺にある他の書込 画素位置における補間画素データに基づき決定することを特徴とする請求の範囲 第 1 0項記載の画像信号処理方法。
1 7 . 上記第 1 のフィールドから上記書込フィールドが後続するにつれて、 検出 した上記動きべク トルのベタ トル量を、 コマを構成するフィールド数で割った量 ずつ上記シフトさせる量を増加させることを特徴とする請求の範囲第 1 0項記載 の画像信号処理方法。
1 8 . 上記書込フィールド毎に、 記憶した上記書込画素位置及び上記動きべク ト ルを消去することを特徴とする請求の範囲第 1 0項記載の画像信号処理方法。
PCT/JP2002/013101 2001-12-13 2002-12-13 Image signal processing apparatus and processing method WO2003056819A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP02790758A EP1460847B1 (en) 2001-12-13 2002-12-13 Image signal processing apparatus and processing method
US10/498,432 US7221403B2 (en) 2001-12-13 2002-12-13 Image signal processing apparatus and processing method
KR1020047009069A KR100962742B1 (ko) 2001-12-13 2002-12-13 화상 신호 처리 장치 및 처리 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001380762A JP3596520B2 (ja) 2001-12-13 2001-12-13 画像信号処理装置及び方法
JP2001-380762 2001-12-13

Publications (1)

Publication Number Publication Date
WO2003056819A1 true WO2003056819A1 (en) 2003-07-10

Family

ID=19187251

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/013101 WO2003056819A1 (en) 2001-12-13 2002-12-13 Image signal processing apparatus and processing method

Country Status (6)

Country Link
US (1) US7221403B2 (ja)
EP (1) EP1460847B1 (ja)
JP (1) JP3596520B2 (ja)
KR (1) KR100962742B1 (ja)
CN (1) CN1328907C (ja)
WO (1) WO2003056819A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100370824C (zh) * 2004-03-29 2008-02-20 索尼株式会社 图像处理装置与方法、记录介质以及程序
WO2008136116A1 (ja) * 2007-04-26 2008-11-13 Pioneer Corporation 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3596521B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596519B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596520B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP4692846B2 (ja) * 2004-04-09 2011-06-01 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CN100579758C (zh) * 2005-04-08 2010-01-13 陈法胜 高分子胚料填模方法及其装置
TWI347130B (en) * 2006-08-29 2011-08-11 Realtek Semiconductor Corp Method and apparatus for de-interlacing video data through utilizing horizontal motion estimation and horizontal motion compensation
KR100748625B1 (ko) 2006-09-06 2007-08-13 삼성전자주식회사 프레임 레이트 변환장치 및 프레임 레이트 변환방법
JP5040393B2 (ja) * 2007-03-23 2012-10-03 ソニー株式会社 画像処理装置および画像処理方法、プログラム、並びに画像表示装置
US8736759B2 (en) * 2008-08-05 2014-05-27 Mediatek Inc. Methods and related apparatus making effective use of bandwidth of storage device to generate interpolated frames
JP4513913B2 (ja) 2008-08-07 2010-07-28 ソニー株式会社 画像信号処理装置および方法
CN101848318B (zh) * 2009-03-26 2012-10-31 晨星软件研发(深圳)有限公司 影像处理的方法及电路

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6126382A (ja) * 1984-07-17 1986-02-05 Kokusai Denshin Denwa Co Ltd <Kdd> 動き量を用いた動画像フレ−ムレ−ト変換方式
JPH03165190A (ja) * 1989-08-04 1991-07-17 Lab Europ De Rech Electron Avance Snc 動き情報を動き情報信号に変換する装置
JPH04227180A (ja) * 1990-09-03 1992-08-17 Philips Gloeilampenfab:Nv 映像フイールド周波数変換装置
EP0514012A2 (en) * 1991-04-15 1992-11-19 Vistek Electronics Limited Method and apparatus for the standard conversion of an image signal
JPH05137122A (ja) * 1991-11-14 1993-06-01 Hitachi Ltd 映像信号の信号処理方法及び回路
EP0574068A2 (en) 1992-06-11 1993-12-15 Koninklijke Philips Electronics N.V. Motion-compensated picture signal interpolation
JPH06500910A (ja) * 1991-06-27 1994-01-27 トムソン　コンシュメ　エレクトロニクス 動画像のシーケンスのタイミングの変換方法
JPH0884293A (ja) * 1994-03-30 1996-03-26 Thomson Consumer Electron Sa 変換アーチファクトの減少方法及び装置
EP0817478A1 (en) 1996-06-28 1998-01-07 THOMSON multimedia Process for interpolating frames for film mode compatibility
JPH10501953A (ja) * 1995-04-11 1998-02-17 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動き補償されたフィールドレート変換
JPH11196383A (ja) * 1998-01-06 1999-07-21 Sony Corp 映像信号処理装置
JPH11298861A (ja) * 1998-04-14 1999-10-29 Hitachi Ltd 画像信号のフレーム数変換方法および装置
JP2001169252A (ja) * 1999-12-06 2001-06-22 Victor Co Of Japan Ltd 順次走査変換装置及び方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982280A (en) * 1989-07-18 1991-01-01 Yves C. Faroudja Motion sequence pattern detector for video
US5410356A (en) * 1991-04-19 1995-04-25 Matsushita Electric Industrial Co., Ltd. Scanning-line interpolation apparatus
GB2283385B (en) * 1993-10-26 1998-04-01 Sony Uk Ltd Motion compensated video signal processing
US5398071A (en) * 1993-11-02 1995-03-14 Texas Instruments Incorporated Film-to-video format detection for digital television
US5452011A (en) * 1994-03-14 1995-09-19 Thomson Consumer Electronics, Inc. Method and device for film-mode detection and field elimination
US5563651A (en) * 1994-12-30 1996-10-08 Thomson Consumer Electronics, Inc. Method and apparatus for identifying video fields produced by film sources employing 2-2 and 3-2 pull down sequences
JPH09307857A (ja) * 1996-05-17 1997-11-28 Sony Corp 画像信号処理装置及び画像信号処理方法
US5978424A (en) * 1996-11-18 1999-11-02 Zenith Electronics Corporation Frame identification system
MY119346A (en) * 1996-12-24 2005-05-31 Sony Corp Picture processing apparatus and method
JP4083265B2 (ja) * 1997-10-07 2008-04-30 株式会社日立製作所 画像信号の方式変換方法および装置
JP3360586B2 (ja) * 1997-11-21 2002-12-24 日本電気株式会社 スキャン変換装置及び方法
US6704463B1 (en) * 1998-11-10 2004-03-09 Sony Corporation Interpolation/decimation apparatus, interpolation/decimation method and image display apparatus
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
JP3893227B2 (ja) * 1999-03-24 2007-03-14 パイオニア株式会社 走査線補間装置、及び走査線補間方法
JP2001054075A (ja) * 1999-08-06 2001-02-23 Hitachi Ltd 画像信号の動き補償走査変換回路
JP3611507B2 (ja) * 2000-05-30 2005-01-19 松下電器産業株式会社 動きベクトル検出装置
JP3653450B2 (ja) * 2000-07-17 2005-05-25 三洋電機株式会社 動き検出装置
JP2002171424A (ja) * 2000-11-30 2002-06-14 Nec Corp 動画像処理方法、動画像処理装置および動画像表示装置
JP3855761B2 (ja) * 2001-10-09 2006-12-13 ソニー株式会社 画像信号処理装置及び方法
JP3596519B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596520B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
KR100441509B1 (ko) * 2002-02-25 2004-07-23 삼성전자주식회사 주사포맷변환장치 및 방법
JP2003299040A (ja) * 2002-04-03 2003-10-17 Sony Corp 動きベクトル検出装置及び方法
JP2003339029A (ja) * 2002-05-20 2003-11-28 Sony Corp 動きベクトル補正回路及び方法
JP4565339B2 (ja) * 2003-05-16 2010-10-20 ソニー株式会社 動き補正装置及び方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6126382A (ja) * 1984-07-17 1986-02-05 Kokusai Denshin Denwa Co Ltd <Kdd> 動き量を用いた動画像フレ−ムレ−ト変換方式
JPH03165190A (ja) * 1989-08-04 1991-07-17 Lab Europ De Rech Electron Avance Snc 動き情報を動き情報信号に変換する装置
JPH04227180A (ja) * 1990-09-03 1992-08-17 Philips Gloeilampenfab:Nv 映像フイールド周波数変換装置
EP0514012A2 (en) * 1991-04-15 1992-11-19 Vistek Electronics Limited Method and apparatus for the standard conversion of an image signal
JPH06500910A (ja) * 1991-06-27 1994-01-27 トムソン　コンシュメ　エレクトロニクス 動画像のシーケンスのタイミングの変換方法
JPH05137122A (ja) * 1991-11-14 1993-06-01 Hitachi Ltd 映像信号の信号処理方法及び回路
EP0574068A2 (en) 1992-06-11 1993-12-15 Koninklijke Philips Electronics N.V. Motion-compensated picture signal interpolation
JPH0884293A (ja) * 1994-03-30 1996-03-26 Thomson Consumer Electron Sa 変換アーチファクトの減少方法及び装置
US5610662A (en) 1994-03-30 1997-03-11 Thomson Consumer Electronics S.A. Method and apparatus for reducing conversion artifacts
JPH10501953A (ja) * 1995-04-11 1998-02-17 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動き補償されたフィールドレート変換
EP0817478A1 (en) 1996-06-28 1998-01-07 THOMSON multimedia Process for interpolating frames for film mode compatibility
JPH11196383A (ja) * 1998-01-06 1999-07-21 Sony Corp 映像信号処理装置
JPH11298861A (ja) * 1998-04-14 1999-10-29 Hitachi Ltd 画像信号のフレーム数変換方法および装置
JP2001169252A (ja) * 1999-12-06 2001-06-22 Victor Co Of Japan Ltd 順次走査変換装置及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAAN ET AL.: "An Evolutionary Architecture for Motion-Compensated 100Hz Television", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 5, 1995, pages 207 - 217
See also references of EP1460847A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100370824C (zh) * 2004-03-29 2008-02-20 索尼株式会社 图像处理装置与方法、记录介质以及程序
WO2008136116A1 (ja) * 2007-04-26 2008-11-13 Pioneer Corporation 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体

Also Published As

Publication number Publication date
US20050012857A1 (en) 2005-01-20
JP2003189258A (ja) 2003-07-04
US7221403B2 (en) 2007-05-22
EP1460847B1 (en) 2012-02-01
KR20040065257A (ko) 2004-07-21
EP1460847A4 (en) 2008-10-01
CN1328907C (zh) 2007-07-25
KR100962742B1 (ko) 2010-06-09
JP3596520B2 (ja) 2004-12-02
CN1605197A (zh) 2005-04-06
EP1460847A1 (en) 2004-09-22

Similar Documents

Publication Publication Date Title
JP3855761B2 (ja) 画像信号処理装置及び方法
WO2003056819A1 (en) Image signal processing apparatus and processing method
JPH0366270A (ja) ２画面テレビ
JP3596519B2 (ja) 画像信号処理装置及び方法
US6040868A (en) Device and method of converting scanning pattern of display device
KR101016493B1 (ko) 움직임 보정 장치 및 방법
WO2003055211A1 (fr) Processeur de signaux d&#39;image et procede de traitement
CN1758743B (zh) 使用抖动映射的图像处理设备及其方法
US6417887B1 (en) Image display processing apparatus and method for converting an image signal from an interlaced system to a progressive system
KR100199784B1 (ko) 부화면영상신호 수직압축회로
JP2003274282A (ja) 映像信号処理装置
JP4470323B2 (ja) 画像変換装置および方法
JP4337302B2 (ja) 動き補正回路及び方法
WO2004002148A1 (ja) 動きベクトル検出装置及び検出方法、並びに動き補正装置及び動き補正方法
JP4470324B2 (ja) 画像信号変換装置および方法
JP3500854B2 (ja) 副画面映像信号垂直圧縮回路
EP1458189A2 (en) Video signal processing apparatus
JP2001067042A (ja) インターレース駆動パネル用スキャンコンバータ
JPH08265708A (ja) 映像信号処理方法および装置
JPH1196377A (ja) 微小動きの検出方法と装置
JP2004165828A (ja) グラフィックスデータの処理装置
JPH08317345A (ja) 映像表示方法および装置
JP2008311986A (ja) 映像表示装置
JP2006203286A (ja) 映像出力装置および映像出力方法
JPH0797844B2 (ja) 親子画像表示装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2002790758

Country of ref document: EP

Ref document number: 10498432

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020047009069

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20028250540

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2002790758

Country of ref document: EP

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载