+

WO2011077659A1 - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents

画像処理装置、撮像装置、及び画像処理方法 Download PDF

Info

Publication number
WO2011077659A1
WO2011077659A1 PCT/JP2010/007216 JP2010007216W WO2011077659A1 WO 2011077659 A1 WO2011077659 A1 WO 2011077659A1 JP 2010007216 W JP2010007216 W JP 2010007216W WO 2011077659 A1 WO2011077659 A1 WO 2011077659A1
Authority
WO
WIPO (PCT)
Prior art keywords
blur
subject
size
image
image processing
Prior art date
Application number
PCT/JP2010/007216
Other languages
English (en)
French (fr)
Inventor
育規 石井
物部　祐亮
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/201,032 priority Critical patent/US8723965B2/en
Priority to CN201080008097.0A priority patent/CN102318334B/zh
Priority to JP2011547275A priority patent/JP5499050B2/ja
Publication of WO2011077659A1 publication Critical patent/WO2011077659A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus, and an image processing method for correcting blurring of an input image taken by panning a subject.
  • Panning is a method in which the lens is pointed at the subject where the image is to be fixed at a specific position in the image, and the camera is moved according to the movement of the subject so that the subject does not shift while the shutter is open. It is to be. In the panned image, the background appears blurred as much as the camera moves during exposure, and the subject appears to be stationary.
  • FIG. 1 is a block diagram showing a conventional imaging device described in Patent Document 1. As shown in FIG.
  • the imaging apparatus includes an imaging unit 11, a control system unit 12, a factor information storage unit 13, a detection unit 14, a processing unit 15, and a recording unit 16.
  • the imaging unit 11 captures an image.
  • the control system unit 12 drives the imaging unit 11.
  • the factor information storage unit 13 stores known change factor information that causes image degradation or the like (for example, aberration of the photographing optical system).
  • the detection unit 14 includes an angular velocity sensor or the like, and detects change factor information that causes a change such as image degradation.
  • the processing unit 15 processes the image captured by the imaging unit 11.
  • the recording unit 16 records the image processed by the processing unit 15.
  • the processing unit 15 determines whether or not the captured image is a panning captured image.
  • the processing unit 15 uses data obtained by removing the change factor information in the panning direction from the change factor information stored in the factor information storage unit 13. Correct the blur.
  • FIG. 2 is a block diagram showing a conventional imaging device described in Patent Document 2. As shown in FIG.
  • the imaging apparatus includes an imaging unit 21, a background acquisition unit 22, a processing unit 23, and a synthesis unit 24.
  • the imaging unit 21 captures a plurality of frames including an image of a moving subject.
  • the background acquisition unit 22 calculates the image difference between the plurality of frames so as to remove the moving subject image from the plurality of frames.
  • the processing unit 23 can generate an image with a blurred background by performing blur processing on the image from which the image of the subject has been removed.
  • the synthesizing unit 24 generates an image in which the background is blurred and the subject is clearly shown by superimposing the subject image on the blur processing result.
  • Patent Document 1 cannot correct blur in the direction of panning. Therefore, when the image of the subject that is the subject of panning has blur in the panning direction, it is not possible to effectively perform blur correction.
  • the present invention solves the above-described conventional problems, and performs image blur correction on an image of a subject taken to suppress an image blur of the subject and express an image expressing the sense of speed of the subject.
  • An object is to provide an image processing apparatus, an imaging apparatus, and an image processing method that can be generated.
  • an image processing apparatus is an image processing apparatus that performs shake correction on an input image obtained by panning a subject, and each of a plurality of regions in the input image.
  • a blur estimation unit that estimates a blur direction and size
  • a clustering unit that performs clustering of the plurality of regions based on similarity of at least one of the estimated blur direction and size, and Based on the subject area specifying unit that specifies at least one cluster corresponding to the subject among the plurality of clusters obtained by clustering, and the estimated direction and size of the blur, the identified cluster
  • a blur correction unit that performs blur correction of the region to which it belongs.
  • this configuration it is possible to cluster a plurality of regions in the input image based on the blur similarity.
  • the subject image and the background image have different blurs. Therefore, by clustering a plurality of regions in the input image based on the similarity of blurring, it is possible to classify into a cluster corresponding to the subject (a set of regions) and a cluster corresponding to the background. Therefore, the blur correction of the area belonging to the cluster corresponding to the subject is performed based on the direction and size of the blur estimated from the area belonging to the cluster, thereby suppressing the blur of the subject image and the speed of the subject. An image expressing the feeling can be generated.
  • the blur estimation unit estimates the direction and size of the blur by estimating a PSF (Point Spread Function) in each of a plurality of regions in the input image.
  • PSF Point Spread Function
  • the blur estimation unit determines a PSF size so that the size adaptively changes according to at least one of the feature of the input image and the shooting condition when the input image is shot. It is preferable to include a determination unit and a PSF estimation unit that estimates a PSF having a determined size in each of the plurality of regions in the input image.
  • the size of the PSF can be adaptively changed according to the shooting conditions or the characteristics of the input image.
  • the size of each region is preferably small.
  • the size of each area needs to be equal to or larger than the size of PSF. Therefore, the size of PSF is preferably as small as possible.
  • the PSF cannot appropriately represent the blur.
  • the PSF may not be estimated properly unless the size of the PSF is increased. Therefore, it is possible to estimate a PSF of an appropriate size by adaptively changing the size of the PSF according to the shooting conditions or the characteristics of the input image.
  • the PSF size determining unit determines the size of the PSF so that the smaller the contour shape of the image of the subject, the smaller the size.
  • the size of the PSF can be determined based on the complexity of the contour shape of the subject image.
  • the contour shape of the image of the subject is not complicated, there are fewer features in the region, and it is difficult to estimate a small size PSF with high accuracy. Therefore, the PSF can be estimated with high accuracy by determining the size of the PSF so that the size of the subject becomes smaller as the contour shape of the subject image becomes more complicated.
  • the PSF size determination unit determines the size of the PSF so that the larger the exposure time when the input image is taken, the larger the size.
  • the size of the PSF can be determined such that the longer the exposure time, the larger the size.
  • the longer the exposure time the greater the blur. Therefore, by increasing the size of the PSF as the exposure time is longer, the possibility that the size of the PSF becomes smaller than the size of the blur can be reduced.
  • the clustering unit performs clustering of the plurality of regions such that the smaller the L2 norm or L1 norm between the PSFs of the two regions, the two regions belong to the same cluster.
  • the clustering unit performs clustering of the plurality of regions so that the smaller the difference between vectors representing the direction and size of blur between the two regions, the two regions belong to the same cluster.
  • the subject area specifying unit specifies a cluster located at a distance within a threshold from the center of the input image as a cluster corresponding to the subject.
  • the subject region specifying unit may specify a cluster corresponding to the subject based on input information received from a user and indicating input image position of the subject in the input image. preferable.
  • the subject area specifying unit specifies a cluster whose blur is smaller than a threshold as a cluster corresponding to the subject.
  • the blur correction unit performs blur correction of the region using the direction and size of the blur estimated in the region for each region belonging to the identified cluster.
  • blur correction can be performed for each region, and blur correction can be performed with higher accuracy.
  • the blur correction unit performs blur correction of the area belonging to the identified cluster using an average of the direction and size of the blur estimated for each area belonging to the identified cluster.
  • the blur correction unit further performs blur processing on a region belonging to a cluster other than the cluster corresponding to the subject using the direction and size of the blur estimated in the region belonging to the cluster corresponding to the subject. Preferably it is done.
  • the image processing device may be configured as an integrated circuit.
  • an imaging apparatus includes the image processing apparatus and an imaging unit that generates the input image.
  • the present invention can be realized not only as such an image processing apparatus but also as an image processing method in which operations of characteristic components included in such an image processing apparatus are used as steps.
  • the present invention can also be realized as a program that causes a computer to execute each step included in the image processing method.
  • Such a program can be distributed via a non-temporary recording medium such as a CD-ROM (Compact Disc Only Memory) or a transmission medium such as the Internet.
  • the present invention it is possible to generate an image in which the blur of the image of the subject is suppressed and the sense of speed of the subject is expressed by performing blur correction on the image taken of the subject.
  • FIG. 1 is a diagram for explaining an example of conventional blur correction processing.
  • FIG. 2 is a diagram for explaining another example of the conventional blur correction process.
  • FIG. 3A is an external view of the imaging apparatus according to the embodiment of the present invention.
  • FIG. 3B is a block diagram illustrating a functional configuration of the imaging apparatus according to the embodiment of the present invention.
  • FIG. 4 is a diagram for explaining the PSF.
  • FIG. 5 is a block diagram showing a functional configuration of the PSF estimation unit in the embodiment of the present invention.
  • FIG. 6 is a diagram for explaining the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 3A is an external view of the imaging device 30 according to the embodiment of the present invention.
  • FIG. 3B is a block diagram illustrating a functional configuration of the imaging device 30 according to the embodiment of the present invention.
  • the imaging device 30 includes an imaging unit 31 and an image processing device 36.
  • the imaging unit 31 generates an image.
  • the imaging unit 31 includes an optical system and an imaging device (not shown), and generates an image by converting light incident through the optical system into an electrical signal by the imaging device.
  • the imaging unit 31 is moved by the user so as to track the subject, for example. As a result, the imaging unit 31 generates an input image obtained by panning the subject.
  • the background image has a blur in the direction in which the imaging unit 31 is moved
  • the subject image has a blur in which the movement of the imaging unit 31 and the movement of the subject are added.
  • the blur means a blur caused by movement of the subject or the imaging device among blurs generated in the image.
  • the image processing device 36 performs blur correction on the input image obtained by panning the subject.
  • Blur correction is image processing that reduces blur.
  • the image processing device 36 includes a shake estimation unit 32, a clustering unit 33, a subject area specifying unit 34, and a shake correction unit 35.
  • the blur estimation unit 32 estimates the direction and size of blur in each of a plurality of regions in the input image.
  • the blur estimation unit 32 estimates the direction and size of blur by estimating the PSF (Point Spread Function) of each area in the input image.
  • PSF Point Spread Function
  • the PSF is expressed as a trajectory of movement, and is expressed as an image having a value in a white portion. That is, PSF represents the direction and size of blur.
  • PSF 41 represents a lateral blur
  • PSF 42 represents a diagonal blur
  • PSF 43 represents a circular blur.
  • FIG. 5 is a block diagram showing a detailed functional configuration of the blur estimation unit 32 in the embodiment of the present invention.
  • the blur estimation unit 32 includes an image input unit 51, a PSF size determination unit 52, and a PSF estimation unit 53.
  • the image input unit 51 acquires an input image from the imaging unit 31. Then, the image input unit 51 sets a plurality of areas in the input image. In the present embodiment, the image input unit 51 sets a plurality of areas by dividing the input image into a plurality of rectangular areas that do not overlap each other. The size of the region is common to all the regions, and is the same as the size of PSF (for example, 20 ⁇ 20 pixels) described later.
  • the plurality of areas do not necessarily need to be areas that do not overlap each other, and may be areas that partially overlap with other areas.
  • the image input unit 51 may set a plurality of regions by raster scanning the input image pixel by pixel.
  • the PSF size determination unit 52 determines the size of the PSF. If the size of the PSF is generally about 20 ⁇ 20 pixels, it is said that the size can sufficiently express blur. Therefore, in the present embodiment, the PSF size determining unit 52 has a predetermined size so that general blur can be expressed, and has the same size (for example, 20 ⁇ 20 pixels) as the size of the region. Determine as the size. Note that the shape of the PSF is not necessarily square, but is preferably rectangular.
  • the PSF estimation unit 53 estimates the PSF of the determined size for each region. There are various methods for estimating the PSF. However, the PSF in each region in the image cannot be estimated using sensing information such as a gyro sensor. Therefore, in the present embodiment, the PSF estimation unit 53 estimates the PSF of each region by image processing. That is, the PSF estimation unit 53 estimates the PSF for each region using the pixel values of the pixels constituting the region.
  • the PSF estimation unit 53 uses, for example, a method described in Non-Patent Document 1 (“High-Quality Motion Deblurring From a Single Image”, Sigmagraph 2008, Qi, Shen etc). Estimate the PSF.
  • the PSF estimation unit 53 can estimate the blur direction and size of each region from one input image. Accordingly, since it is not necessary to continuously capture a plurality of images in order to estimate the direction and size of blur, the processing load can be reduced and the configuration of the imaging unit 31 can be simplified.
  • the clustering unit 33 clusters a plurality of regions based on the similarity of at least one of the estimated blur direction and size. That is, the clustering unit 33 performs clustering of a plurality of regions so that adjacent regions that are similar in at least one of the blur direction and size belong to the same cluster.
  • clustering refers to dividing a data set into data subsets having similar characteristics. Such a subset is called a cluster. That is, data having similar characteristics belongs to each of a plurality of clusters obtained by clustering.
  • the clustering unit 33 performs clustering of a plurality of regions based on the similarity of PSF.
  • the PSF is a function represented by a straight line or a curve as shown in FIG. 5 and can be regarded as an image. Therefore, the clustering unit 33 performs clustering of a plurality of regions such that the two regions belong to the same cluster as the L2 norm between the PSFs of the two regions is smaller, as in (Equation 1) below.
  • VAL represents the L2 norm indicating the degree of similarity between two PSFs. This VAL indicates that the smaller the value, the higher the similarity.
  • N represents the total number of pixels included in the region.
  • P1p and P2p represent pixel values in the pixels p of the two PSFs to be compared.
  • the clustering unit 33 performs clustering of a plurality of areas based on this VAL. For example, when the VAL between the PSFs of two adjacent areas is smaller than the threshold th, the clustering unit 33 performs clustering so that the two areas belong to the same cluster. Further, when the VAL between two adjacent PSFs is equal to or greater than the threshold th, the clustering unit 33 performs clustering so that the two regions belong to different clusters.
  • the clustering unit 33 performs clustering of a plurality of regions based on the L2 norm, but it is not always necessary to perform clustering based on the L2 norm.
  • the clustering unit 33 may perform clustering based on the L1 norm.
  • the clustering unit 33 may perform clustering based on the blur direction or blur size, or a combination thereof. For example, the clustering unit 33 may perform clustering so that a region in which the difference in blur angle obtained from the PSF is smaller than a certain angle belongs to one cluster.
  • the clustering unit 33 may perform clustering of a plurality of regions so that the smaller the difference between the vectors representing the blur direction and magnitude of the two regions, the two regions belong to the same cluster. For example, the clustering unit 33 may perform clustering so that a region where the size of the difference vector is smaller than a certain size belongs to one cluster. Thereby, the clustering unit 33 can accurately perform clustering of a plurality of regions.
  • the clustering unit 33 belongs to one cluster if the magnitude of the PSF value, or the direction or magnitude of blur (white line in FIG. 4) indicated by the PSF is similar. In addition, clustering of a plurality of regions is performed.
  • the subject area specifying unit 34 specifies a cluster corresponding to a subject to be shot for panning from a plurality of clusters obtained by clustering.
  • a cluster corresponding to a subject to be shot for panning from a plurality of clusters obtained by clustering.
  • the image of the main subject is located near the center of the image, and the area of the image of the main subject is relatively large.
  • the subject region specifying unit 34 specifies a cluster that is near the center of the image and has the largest area as a cluster corresponding to the subject. That is, the subject area specifying unit 34 specifies a cluster located at a distance within a threshold from the center of the input image as a cluster corresponding to the subject. When there are a plurality of clusters located within a threshold distance from the center of the input image, the subject region specifying unit 34 specifies a cluster having the largest area among the clusters as a cluster corresponding to the subject. As a result, the subject area specifying unit 34 can automatically and easily specify the cluster corresponding to the subject by using the feature that the main subject is often captured at the center of the image.
  • the cluster position is a position representing a plurality of areas belonging to the cluster.
  • the cluster position is the center position or the barycentric position of a plurality of regions belonging to the cluster.
  • the blur correction unit 35 restores the blur using the PSF for the area belonging to the cluster specified by the subject area specifying unit 34. In other words, the blur correction unit 35 performs blur correction on a region belonging to the identified cluster based on the estimated blur direction and size.
  • the blur correction unit 35 may perform blur correction using the method described in Non-Patent Document 1, the Wiener filter, the Richardson Lucy (Lucy Richardson) method, or the like.
  • the blur correction unit 35 can generate an output image in which the background image has blur in the moving direction of the subject and the subject image has no blur. In other words, the blur correction unit 35 can generate an appropriately panned image.
  • the blur correction unit 35 may perform blur correction for each region, or may perform blur correction for each cluster. Specifically, for example, the blur correction unit 35 may perform blur correction on the area using the direction and size of the blur estimated in the area for each area belonging to the identified cluster. Thereby, the blur correction unit 35 can perform blur correction with high accuracy. Further, the blur correction unit 35 may perform blur correction on a region belonging to the identified cluster using, for example, an average of the blur direction and size estimated for each region belonging to the identified cluster. As a result, the blur correction unit 35 can collectively perform blur correction of regions belonging to the cluster, and can reduce the calculation load.
  • FIG. 6 is a flowchart showing a flow of image processing in the embodiment of the present invention.
  • the blur estimation unit 32 estimates a PSF in each of a plurality of regions in the input image (S101).
  • the blur estimation unit 32 divides the input image 61 into a plurality of rectangular areas, and estimates a PSF for each rectangular area.
  • the clustering unit 33 performs clustering of a plurality of regions based on the estimated PSF similarity (S102). For example, as shown in the clustering result 62, the clustering unit 33 clusters a plurality of regions into a first cluster 62a (hatched region) and a second cluster 62b (unhatched region).
  • the subject area specifying unit 34 specifies at least one cluster corresponding to the subject from the plurality of clusters obtained by the clustering (S103). For example, the subject area specifying unit 34 specifies the first cluster 62a located at the center of the input image as a cluster corresponding to the subject.
  • the blur correction unit 35 corrects the blur of the area belonging to the identified cluster based on the estimated blur direction and size (S104). For example, the blur correction unit 35 generates the output image 63 by performing blur correction on eight regions belonging to the first cluster 62a.
  • the image processing device 36 of the present embodiment it is possible to easily separate the background image and the subject image. Since blur correction can be performed only on the image of the main subject that is the subject of panning and the background image can be kept in a blurry state, a panning image can be easily generated.
  • the image processing device 36 in the present embodiment it is possible to perform clustering of a plurality of regions in the input image based on the blurring similarity.
  • the subject image differs from the background image. Therefore, by clustering a plurality of regions in the input image based on the similarity of blurring, it is possible to classify into a cluster corresponding to the subject (a set of regions) and a cluster corresponding to the background. Therefore, the blur correction of the area belonging to the cluster corresponding to the subject is performed based on the direction and size of the blur estimated from the area belonging to the cluster, thereby suppressing the blur of the subject image and the speed of the subject. An image expressing the feeling can be generated.
  • the image processing device 36 has been described based on the embodiments.
  • the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which carried out various deformation
  • the blur estimation unit 32 estimates the blur direction and size of each region by estimating the PSF of each region, but the blur direction and size of each region is estimated. It is only necessary to be able to estimate, and it is not always necessary to estimate the PSF.
  • the blur estimation unit 32 may estimate the blur direction and size by tracking points corresponding to each other in a plurality of images including an input image that are continuously captured. .
  • the PSF size determination unit 52 has determined a predetermined size as the size of the PSF, but it is not always necessary to determine the size of the PSF in this way.
  • the PSF size determination unit 52 may determine the size of the PSF so that the size adaptively changes according to at least one of the feature of the input image and the shooting condition when the input image is shot.
  • the size of each region is preferably small.
  • the size of each area needs to be equal to or larger than the size of PSF. Therefore, the size of PSF is preferably as small as possible.
  • the PSF size determination unit 52 can estimate the PSF of an appropriate size by adaptively changing the size of the PSF according to the shooting conditions or the characteristics of the input image.
  • the PSF size determination unit 52 may determine the size of the PSF so that the size of the subject becomes smaller as the contour shape of the subject image becomes more complicated.
  • the PSF size determining unit 52 can estimate the PSF with high accuracy by determining the size of the PSF so that the size of the subject becomes smaller as the contour shape of the subject image becomes more complicated.
  • the PSF size determination unit 52 may determine the size of the PSF so that the size decreases as the variance of the pixel values of the pixels constituting the input image increases.
  • the PSF size determination unit 52 may determine the size of the PSF such that, for example, the longer the exposure time when the input image is taken, the larger the size of the PSF. Further, the PSF size determination unit 52 may determine the size of the PSF so that the larger the movement of the imaging device 30 when the input image is taken, the larger the size of the PSF. In this case, the PSF size determination unit 52 may determine the size of the PSF using information acquired from a motion sensor (for example, a gyro sensor) attached to the imaging device 30. Thereby, the PSF size determination unit 52 can reduce the possibility that the size of the PSF becomes smaller than the size of the blur.
  • a motion sensor for example, a gyro sensor
  • the PSF size determining unit 52 may determine the size of the PSF using information on the subject instructed by the user. In this case, the PSF size determination unit 52 may acquire information related to the subject by receiving an input from the user. Note that the information regarding the subject includes, for example, the type of subject (automobile, train, airplane, person, horse, etc.), the moving speed of the subject, and the like.
  • the subject area specifying unit 34 specifies a cluster located near the center of the input image as a cluster corresponding to the subject, but it is not always necessary to specify such a cluster.
  • the subject area specifying unit 34 may specify the cluster corresponding to the subject based on the input information received from the user and indicating the position of the subject image in the input image.
  • the user may indicate the position of the subject image with respect to the input image displayed on the touch panel or the like. Thereby, the subject area specifying unit 34 can accurately specify the cluster corresponding to the subject.
  • the subject area specifying unit 34 may specify a cluster whose blur is smaller than a threshold as a cluster corresponding to the subject. As a result, the subject area specifying unit 34 automatically and accurately specifies the cluster corresponding to the subject by utilizing the feature that the blur of the background image is often larger than the blur of the subject image. It becomes possible.
  • the subject region specifying unit 34 may specify a region corresponding to the subject by combining the various methods described above.
  • the subject area specifying unit 34 may specify a cluster that is located near the center of the input image and has a small blur as a cluster corresponding to the subject.
  • the sizes of the plurality of regions are all the same, but they are not necessarily the same.
  • the image input unit 51 may adaptively change the size of the region according to the position of the input image.
  • the input image is an image captured by moving the imaging unit 31 so as to track the subject by the user.
  • the input image is an image captured while the imaging unit 31 is fixed.
  • the blur correction unit 35 further performs blur processing on a region belonging to a cluster other than the cluster corresponding to the subject using the direction and size of the blur estimated in the region belonging to the cluster corresponding to the subject.
  • the blur processing is image processing that emphasizes blur.
  • blurring processing is realized by, for example, convolution calculation of an image and a PSF.
  • the blur correction unit 35 can perform blur correction so that an image in an area belonging to a cluster other than the cluster corresponding to the subject (that is, the cluster corresponding to the background) blurs in the blur direction of the subject. . Therefore, the blur correction unit 35 can generate an image in which the sense of speed of the subject is more emphasized.
  • the image processing device 36 is provided in the imaging device 30, but is not necessarily provided in the imaging device 30. That is, the image processing device 36 may be configured as a device independent of the imaging device 30.
  • the image processing device 36 in the above embodiment may be configured by one system LSI (Large Scale Integration).
  • the image processing device 36 may be configured by a system LSI including a shake estimation unit 32, a clustering unit 33, a subject area specifying unit 34, and a shake correction unit 35.
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip. Specifically, a microprocessor, ROM (Read Only Memory), RAM (Random Access Memory), etc. It is a computer system comprised including. A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
  • system LSI may be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the present invention can be realized not only as an image processing apparatus including such a characteristic processing unit, but also as an image processing method using a characteristic processing unit included in the image processing apparatus as a step. You can also. It can also be realized as a computer program that causes a computer to execute the characteristic steps included in the image processing method. Needless to say, such a computer program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM or a communication network such as the Internet.
  • the present invention is useful for an image processing apparatus capable of performing blur correction on an input image obtained by panning a subject, or an imaging apparatus such as a digital still camera or a digital video camera including the image processing apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　被写体を流し撮りした入力画像のブレ補正を行う画像処理装置（３６）であって、入力画像内の複数の領域の各々において、ブレの方向及び大きさを推定するブレ推定部（３２）と、推定されたブレの方向及び大きさのうち少なくとも一方の類似性に基づいて、複数の領域のクラスタリングを行うクラスタリング部（３３）と、クラスタリングによって得られた複数のクラスタの中から、被写体に対応する少なくとも１つのクラスタを特定する被写体領域特定部（３４）と、推定されたブレの方向及び大きさに基づいて、特定されたクラスタに属する領域のブレ補正を行うブレ補正部（３５）とを備える。

Description

画像処理装置、撮像装置、及び画像処理方法
　本発明は、被写体を流し撮りした入力画像のブレを補正する画像処理装置、撮像装置、及び画像処理方法に関するものである。
　近年、カメラの多機能化が進むことにより、カメラの手軽さが増加してきている。ユーザニーズは、カメラの機能によってサポートされる撮影技術へとシフトしている。そのような撮影技術の中の１つに流し撮りがある。流し撮りとは、画像内の特定の位置にその像を固定したい被写体にレンズを向け、シャッターの開口中に、被写体の位置がずれないように、その被写体の動きに合わせてカメラを動かして撮影することである。流し撮りされた画像において、背景は露光中にカメラが動いた分だけブレて写り、被写体は止まっているように写る。
　その結果、流し撮りされた画像では、離着陸もしくは低空飛行中の航空機、又は走行中の列車、自動車もしくはバイクなど、動きの速い被写体のスピード感が表現される。
　ユーザが手でカメラを動かして流し撮りした場合には、大きな手ブレによって被写体の像までも不鮮明になってしまうことが多い。特に、ユーザが手持ち撮影に熟練したフォトグラファーでない場合には、流し撮りは困難な撮影技術である。一脚あるいは三脚といった器具を用いて流し撮りされた場合であっても、被写体の移動方向とは異なる方向のブレ（縦ブレ）が被写体の像に発生する場合がある。
　従来、流し撮りした画像のブレ補正を行う方法が提案されている（例えば、特許文献１参照）。図１は、特許文献１に記載された従来の撮像装置を示すブロック図である。
　図１において、撮像装置は、撮像部１１と、制御系部１２と、要因情報保存部１３と、検出部１４と、処理部１５と、記録部１６とを備える。撮像部１１は、画像を撮影する。制御系部１２は、撮像部１１を駆動する。要因情報保存部１３は、画像劣化等を生じさせる既知の変化要因情報（例えば撮影光学系の収差等）を保存する。検出部１４は、角速度センサ等からなり、画像劣化等の変化の要因となる変化要因情報を検知する。処理部１５は、撮像部１１で撮影された画像を処理する。記録部１６は、処理部１５で処理された画像を記録する。
　また、処理部１５は、撮影画像が流し撮り撮影画像であるか否かを判定する。そして、処理部１５は、撮影画像が流し撮り撮影画像であると判定した場合、要因情報保存部１３に保存されている変化要因情報から、流し撮りの方向における変化要因情報を取り去ったデータを用いてブレの補正を行う。
　また、従来、連続して撮影した複数枚の画像から流し撮り画像を生成する方法も提案されている（例えば、特許文献２参照）。図２は、特許文献２に記載された従来の撮像装置を示すブロック図である。
　図２において、撮像装置は、撮像部２１と、背景獲得部２２と、処理部２３と、合成部２４とを備える。撮像部２１は、動く被写体の像を含む複数のフレームを撮影する。背景獲得部２２は、複数のフレームから動く被写体の像を除去するように、複数のフレーム間の画像の差分を計算する。処理部２３は、被写体の像を除去した画像に対してボカシ処理をおこなうことで、背景をぼかした画像を生成することができる。合成部２４は、ボカシ処理結果に被写体の像を重ね合わせることで、背景がぼけていて、かつ、被写体がくっきりと写っている画像を生成する。
特開２００７－０７４２６９号公報 特開２００６－３３９７８４号公報
　しかしながら、特許文献１に示される方法では、流し撮りの方向のブレを補正できない。したがって、流し撮りの対象となる被写体の像が流し撮りの方向のブレを有する場合には、効果的にブレ補正を行うことができない。
　また、特許文献２に示される方法では、ブレを有していない背景画像に対してボカシ処理が行われるため、被写体の移動方向にブレを有する背景画像を得ることができない。つまり、特許文献２に示される方法では、被写体のスピード感が表現された流し撮り画像を得ることはできない。
　本発明は、上記従来の課題を解決するものであって、被写体を流し撮りした画像のブレ補正を行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することができる画像処理装置、撮像装置、及び画像処理方法を提供することを目的とする。
　従来の課題を解決するために、本発明の一態様に係る画像処理装置は、被写体を流し撮りした入力画像のブレ補正を行う画像処理装置であって、前記入力画像内の複数の領域の各々において、ブレの方向及び大きさを推定するブレ推定部と、推定された前記ブレの方向及び大きさのうち少なくとも一方の類似性に基づいて、前記複数の領域のクラスタリングを行うクラスタリング部と、前記クラスタリングによって得られた複数のクラスタの中から、前記被写体に対応する少なくとも１つのクラスタを特定する被写体領域特定部と、推定された前記ブレの方向及び大きさに基づいて、特定された前記クラスタに属する領域のブレ補正を行うブレ補正部とを備える。
　この構成によれば、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことができる。動いている被写体を流し撮りした場合、被写体の像と背景の像とは異なるブレを有する。したがって、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことにより、被写体に対応するクラスタ（領域の集合）と背景に対応するクラスタとに切り分けることができる。そこで、被写体に対応するクラスタに属する領域のブレ補正を、当該クラスタに属する領域から推定されたブレの方向及び大きさに基づいて行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することが可能となる。
　また、前記ブレ推定部は、前記入力画像内の複数の領域の各々において、ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を推定することにより、前記ブレの方向及び大きさを推定することが好ましい。
　この構成によれば、入力画像内の複数の領域の各々において、ＰＳＦを推定することにより、ブレの方向及び大きさを高精度に推定することが可能となる。
　また、前記ブレ推定部は、前記入力画像の特徴と前記入力画像が撮影されたときの撮影条件との少なくとも一方に応じてサイズが適応的に変化するように、ＰＳＦのサイズを決定するＰＳＦサイズ決定部と、前記入力画像内の複数の領域の各々において、決定されたサイズのＰＳＦを推定するＰＳＦ推定部とを備えることが好ましい。
　この構成によれば、撮影条件又は入力画像の特徴に応じて、ＰＳＦのサイズを適応的に変化させることができる。被写体の像の形状と合致するクラスタを得るためには、各領域のサイズは、小さいことが好ましい。各領域のサイズは、ＰＳＦのサイズ以上である必要がある。したがって、ＰＳＦのサイズはできる限り小さいことが好ましい。しかしながら、ＰＳＦのサイズがブレの大きさよりも小さい場合、ＰＳＦはブレを適切に表現できない。また、領域内の画像の特徴によっては、ＰＳＦのサイズを大きくしなければ、適切にＰＳＦを推定できない場合もある。そこで、撮影条件又は入力画像の特徴に応じて、ＰＳＦのサイズを適応的に変化させることにより、適切なサイズのＰＳＦを推定することが可能となる。
　また、前記ＰＳＦサイズ決定部は、前記被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、前記ＰＳＦのサイズを決定することが好ましい。
　この構成によれば、被写体の像の輪郭形状が複雑さに基づいて、ＰＳＦのサイズを決定することができる。被写体の像の輪郭形状が複雑でない場合には、領域内に特徴が少なくなり小さなサイズのＰＳＦを高精度に推定することが難しい。そこで、被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、ＰＳＦのサイズを決定することにより、ＰＳＦを高精度に推定することが可能となる。
　また、前記ＰＳＦサイズ決定部は、前記入力画像が撮影されたときの露光時間が長いほどサイズが大きくなるように、前記ＰＳＦのサイズを決定することが好ましい。
　この構成によれば、露光時間が長いほどサイズが大きくなるように、ＰＳＦのサイズを決定することができる。露光時間が長いほどブレは大きくなる傾向がある。したがって、露光時間が長いほどＰＳＦのサイズを大きくすることにより、ＰＳＦのサイズがブレの大きさよりも小さくなる可能性を低減することが可能となる。
　また、前記クラスタリング部は、２つの領域のＰＳＦ間におけるＬ２ノルム又はＬ１ノルムが小さいほど当該２つの領域が同一のクラスタに属するように、前記複数の領域のクラスタリングを行うことが好ましい。
　この構成によれば、ＰＳＦ間のＬ２ノルム又はＬ１ノルムに基づいて、複数の領域のクラスタリングを正確に行うことが可能となる。
　また、前記クラスタリング部は、２つの領域のブレの方向及び大きさを表すベクトルの差分が小さいほど当該２つの領域が同一のクラスタに属するように、前記複数の領域のクラスタリングを行うことが好ましい。
　この構成によれば、ブレを表すベクトルの差分に基づいて、複数の領域のクラスタリングを正確に行うことが可能となる。
　また、前記被写体領域特定部は、前記入力画像の中央から閾値以内の距離に位置するクラスタを前記被写体に対応するクラスタとして特定することが好ましい。
　この構成によれば、主要な被写体が画像の中心に写されることが多いという特徴を利用して、被写体に対応するクラスタを自動で容易に特定することが可能となる。
　また、前記被写体領域特定部は、ユーザから受け付けられた入力情報であって、前記入力画像内における前記被写体の像の位置を示す入力情報に基づいて、前記被写体に対応するクラスタを特定することが好ましい。
　この構成によれば、ユーザからの入力情報に基づいて、被写体に対応するクラスタを正確に特定することが可能となる。
　また、前記被写体領域特定部は、ブレの大きさが閾値よりも小さいクラスタを前記被写体に対応するクラスタとして特定することが好ましい。
　この構成によれば、被写体の像が有するブレよりも背景の像が有するブレの方が大きいことが多いという特徴を利用して、被写体に対応するクラスタを自動で正確に特定することが可能となる。
　また、前記ブレ補正部は、特定された前記クラスタに属する領域ごとに、当該領域において推定された前記ブレの方向及び大きさを用いて当該領域のブレ補正を行うことが好ましい。
　この構成によれば、領域ごとにブレ補正を行うことができ、より高精度にブレ補正を行うことが可能となる。
　また、前記ブレ補正部は、特定された前記クラスタに属する領域ごとに推定された前記ブレの方向及び大きさの平均を用いて、特定された前記クラスタに属する領域のブレ補正を行うことが好ましい。
　この構成によれば、クラスタに属する領域のブレ補正を一括で行うことができ、計算負荷を低減することが可能となる。
　また、前記ブレ補正部は、さらに、前記被写体に対応するクラスタに属する領域において推定された前記ブレの方向及び大きさを用いて、前記被写体に対応するクラスタ以外のクラスタに属する領域のブレ加工を行うことが好ましい。
　この構成によれば、被写体に対応するクラスタ以外のクラスタ（つまり、背景に対応するクラスタ）に属する領域の画像が被写体のブレの方向にブレるように、ブレ補正を行うことができる。したがって、被写体のスピード感がより強調された画像を生成することが可能となる。
　また、前記画像処理装置は、集積回路として構成されてもよい。
　また、本発明の一態様に係る撮像装置は、上記画像処理装置と、前記入力画像を生成する撮像部とを備える。
　この構成によれば、上記画像処理装置と同様の効果を奏することができる。
　なお、本発明は、このような画像処理装置として実現することができるだけでなく、このような画像処理装置が備える特徴的な構成要素の動作をステップとする画像処理方法として実現することができる。また、本発明は、画像処理方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
　本発明によれば、被写体を流し撮りした画像のブレ補正を行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することができる。
図１は、従来のブレ補正処理の一例を説明するための図である。 図２は、従来のブレ補正処理の他の一例を説明するための図である。 図３Ａは、本発明の実施の形態における撮像装置の外観図である。 図３Ｂは、本発明の実施の形態における撮像装置の機能構成を示すブロック図である。 図４は、ＰＳＦを説明するための図である。 図５は、本発明の実施の形態におけるＰＳＦ推定部の機能構成を示すブロック図である。 図６は、本発明の実施の形態における画像処理装置の動作を説明するための図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　図３Ａは、本発明の実施の形態における撮像装置３０の外観図である。図３Ｂは、本発明の実施の形態における撮像装置３０の機能構成を示すブロック図である。
　図３Ｂにおいて、撮像装置３０は、撮像部３１と画像処理装置３６とを備える。撮像部３１は、画像を生成する。具体的には、撮像部３１は、図示しない光学系及び撮像素子などを備え、光学系を介して入射した光を撮像素子によって電気信号に変換することにより画像を生成する。
　本実施の形態では、撮像部３１は、例えば、ユーザによって、被写体を追跡するように動かされる。その結果、撮像部３１は、被写体を流し撮りした入力画像を生成する。
　このように生成された入力画像では、背景の像は、撮像部３１を動かした方向のブレを有し、被写体の像は、撮像部３１の動きと被写体の動きとが合算されたブレを有する。ここで、ブレとは、画像に生じるぼやけ（ｂｌｕｒ）のうち、被写体又は撮像装置が動くことにより生じるぼやけ（ｍｏｔｉｏｎ　ｂｌｕｒ）を意味する。
　画像処理装置３６は、被写体を流し撮りした入力画像のブレ補正を行う。ブレ補正とは、ブレが低減させる画像処理である。図３Ｂに示すように、画像処理装置３６は、ブレ推定部３２と、クラスタリング部３３と、被写体領域特定部３４と、ブレ補正部３５とを備える。
　ブレ推定部３２は、入力画像内の複数の領域の各々において、ブレの方向及び大きさを推定する。本実施の形態では、ブレ推定部３２は、入力画像内の領域ごとに、当該領域のＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を推定することにより、ブレの方向及び大きさを推定する。
　一般的に、ＰＳＦは、図４に示すように、動きの軌跡として表現され、白い箇所に値を持った画像として表現される。つまり、ＰＳＦは、ブレの方向及び大きさを表す。図４において、ＰＳＦ４１は、横方向のブレを表し、ＰＳＦ４２は、斜め方向のブレを表し、ＰＳＦ４３は、円状のブレを表す。
　図５は、本発明の実施の形態におけるブレ推定部３２の詳細な機能構成を示すブロック図である。図５に示すように、ブレ推定部３２は、画像入力部５１と、ＰＳＦサイズ決定部５２と、ＰＳＦ推定部５３とを備える。
　画像入力部５１は、撮像部３１から入力画像を取得する。そして、画像入力部５１は、入力画像内に複数の領域を設定する。本実施の形態では、画像入力部５１は、互いに重複しない複数の矩形領域に入力画像を分割することにより、複数の領域を設定する。領域のサイズは、すべての領域で共通であり、後述するＰＳＦのサイズ（例えば２０×２０画素）と同一である。
　なお、複数の領域は、必ずしも互いに重複しない領域である必要はなく、他の領域と一部が重複する領域であってもよい。例えば、画像入力部５１は、入力画像を１画素ずつラスタ走査することにより、複数の領域を設定してもよい。
　ＰＳＦサイズ決定部５２は、ＰＳＦのサイズを決定する。ＰＳＦのサイズは、一般的に２０×２０画素程度であれば、十分にブレを表現できるサイズであると言われている。そこで、本実施の形態では、ＰＳＦサイズ決定部５２は、一般的なブレを表現できるようにあらかじめ定められたサイズであって、領域のサイズと同一のサイズ（例えば２０×２０画素）を、ＰＳＦのサイズとして決定する。なお、ＰＳＦの形状は、必ずしも正方形でなくてもよいが、矩形であることが好ましい。
　ＰＳＦ推定部５３は、決定されたサイズのＰＳＦを領域ごとに推定する。このＰＳＦの推定方法は様々な方法がある。しかし、画像内の各領域におけるＰＳＦは、ジャイロセンサなどのセンシング情報を用いて推定することはできない。そこで本実施の形態では、ＰＳＦ推定部５３は、画像処理によって各領域のＰＳＦを推定する。つまり、ＰＳＦ推定部５３は、領域ごとに、当該領域を構成する画素の画素値を用いてＰＳＦを推定する。
　具体的には、ＰＳＦ推定部５３は、例えば、非特許文献１（「Ｈｉｇｈ－Ｑｕａｌｉｔｙ　Ｍｏｔｉｏｎ　Ｄｅｂｌｕｒｒｉｎｇ　Ｆｒｏｍ　ａ　Ｓｉｎｇｌｅ　Ｉｍａｇｅ」、Ｓｉｇｇｒａｐｈ２００８、Ｑｉ，Ｓｈｅｎ　ｅｔｃ、）に記載されている方法を用いて、各領域のＰＳＦを推定する。
　これにより、ＰＳＦ推定部５３は、１枚の入力画像から各領域のブレの方向及び大きさを推定することができる。したがって、ブレの方向及び大きさを推定するために複数枚の画像を連続して撮影する必要がないので、処理負荷を軽減するとともに、撮像部３１の構成を簡易にすることができる。
　次に、クラスタリング部３３について説明する。クラスタリング部３３は、推定されたブレの方向及び大きさのうち少なくとも一方の類似性に基づいて、複数の領域のクラスタリングを行う。つまり、クラスタリング部３３は、ブレの方向及び大きさのうち少なくとも一方が類似する互いに隣接する領域が同一のクラスタに属するように、複数の領域のクラスタリングを行う。
　ここで、クラスタリングとは、データの集合を、互いに特徴が類似するデータの部分集合に切り分けることをいう。このような部分集合をクラスタという。つまり、クラスタリングによって得られる複数のクラスタの各々には、互いに特徴が類似するデータが属する。
　本実施の形態では、クラスタリング部３３は、ＰＳＦの類似性に基づいて、複数の領域のクラスタリングを行う。ＰＳＦは、図５で示すような直線あるいは曲線で表される関数であり、画像とみなされうる。そこで、クラスタリング部３３は、以下の（式１）のように、２つの領域のＰＳＦ間のＬ２ノルムが小さいほど当該２つの領域が同一のクラスタに属するように、複数の領域のクラスタリングを行う。
Figure JPOXMLDOC01-appb-M000001
　（式１）において、ＶＡＬは、２つのＰＳＦ間の類似度を示すＬ２ノルムを表す。このＶＡＬは、値が小さいほど類似度が高いことを示す。また、Ｎは、領域に含まれる画素の総数を表す。また、Ｐ１ｐ及びＰ２ｐは、比較対象となる２つのＰＳＦの画素ｐにおける画素値を表す。
　つまり、クラスタリング部３３は、このＶＡＬに基づいて、複数の領域のクラスタリングを行う。例えば、クラスタリング部３３は、互いに隣接する２つの領域のＰＳＦ間のＶＡＬが閾値ｔｈより小さい場合に、当該２つの領域が同一のクラスタに属するようにクラスタリングを行う。また、クラスタリング部３３は、互いに隣接する２つのＰＳＦ間のＶＡＬが閾値ｔｈ以上の場合に、当該２つの領域が異なるクラスタに属するようにクラスタリングを行う。
　なお、本実施の形態では、クラスタリング部３３は、Ｌ２ノルムに基づいて複数の領域のクラスタリングを行ったが、必ずしもＬ２ノルムに基づいてクラスタリングを行う必要はない。例えば、クラスタリング部３３は、Ｌ１ノルムに基づいてクラスタリングを行ってもよい。
　また、クラスタリング部３３は、ブレの方向もしくはブレの大きさ、又はそれらの組合せに基づいて、クラスタリングを行ってもよい。例えば、クラスタリング部３３は、ＰＳＦから得られるブレの角度の差異が一定角度より小さくなる領域が１つのクラスタに属するように、クラスタリングを行ってもよい。
　また、クラスタリング部３３は、２つの領域のブレの方向及び大きさを表すベクトルの差分が小さいほど当該２つの領域が同一のクラスタに属するように、複数の領域のクラスタリングを行ってもよい。例えば、クラスタリング部３３は、差分ベクトルの大きさが一定の大きさより小さくなる領域が１つのクラスタに属するように、クラスタリングを行ってもよい。これにより、クラスタリング部３３は、複数の領域のクラスタリングを正確に行うことができる。
　以上のように、クラスタリング部３３は、ＰＳＦの値の大きさ、あるいは、ＰＳＦによって示されるブレの方向又は大きさ（図４でいう白い線）が類似していれば、１つのクラスタに属するように、複数の領域のクラスタリングを行う。
　次に、被写体領域特定部３４について説明する。被写体領域特定部３４は、クラスタリングによって得られた複数のクラスタの中から、流し撮りの対象となる被写体に対応するクラスタを特定する。一般的に、主要な被写体の像は画像の中央付近に位置し、主要な被写体の像の面積は比較的大きいことが知られている。
　そこで本実施の形態では、被写体領域特定部３４は、画像の中央付近であり、かつ、面積が最大となるクラスタを、被写体に対応するクラスタとして特定する。つまり、被写体領域特定部３４は、入力画像の中央から閾値以内の距離に位置するクラスタを、被写体に対応するクラスタとして特定する。また、入力画像の中央から閾値以内の距離に位置するクラスタが複数ある場合は、被写体領域特定部３４は、それらのクラスタのうち最も面積が大きいクラスタを、被写体に対応するクラスタとして特定する。これにより、被写体領域特定部３４は、主要な被写体が画像の中心に写されることが多いという特徴を利用して、被写体に対応するクラスタを自動で容易に特定することが可能となる。
　なお、クラスタの位置とは、クラスタに属する複数の領域を代表する位置である。例えば、クラスタの位置は、クラスタに属する複数の領域の中心位置又は重心位置などである。
　最後に、ブレ補正部３５について説明する。
　ブレ補正部３５は、被写体領域特定部３４によって特定されたクラスタに属する領域について、ＰＳＦを用いて、ブレの復元を行う。つまり、ブレ補正部３５は、推定されたブレの方向及び大きさに基づいて、特定されたクラスタに属する領域のブレ補正を行う。
　なお、ブレ補正部３５は、前述した非特許文献１に記載の方法、ウィナーフィルタ、あるいはリチャードソンルーシー（ルーシーリチャードソン）手法などを用いてブレ補正を行えばよい。
　これにより、ブレ補正部３５は、背景の像は被写体の移動方向のブレを有し、被写体の像はブレを有しない出力画像を生成することができる。つまり、ブレ補正部３５は、適切に流し撮りされた画像を生成することができる。
　なお、ブレ補正部３５は、領域ごとにブレ補正を行ってもよいし、クラスタごとにブレ補正を行ってもよい。具体的には、ブレ補正部３５は、例えば、特定されたクラスタに属する領域ごとに、当該領域において推定されたブレの方向及び大きさを用いて当該領域のブレ補正を行ってもよい。これにより、ブレ補正部３５は、高精度にブレ補正を行うことが可能となる。また、ブレ補正部３５は、例えば、特定されたクラスタに属する領域ごとに推定されたブレの方向及び大きさの平均を用いて、特定されたクラスタに属する領域のブレ補正を行ってもよい。これにより、ブレ補正部３５は、クラスタに属する領域のブレ補正を一括で行うことができ、計算負荷を低減することが可能となる。
　次に、以上のように構成された画像処理装置における各種動作について説明する。
　図６は、本発明の実施の形態における画像処理の流れを示すフローチャートである。
　まず、ブレ推定部３２は、入力画像内の複数の領域の各々においてＰＳＦを推定する（Ｓ１０１）。図６では、ブレ推定部３２は、入力画像６１を複数の矩形領域に分割し、その矩形領域ごとにＰＳＦを推定する。
　続いて、クラスタリング部３３は、推定されたＰＳＦの類似性に基づいて、複数の領域のクラスタリングを行う（Ｓ１０２）。例えば、クラスタリング結果６２に示すように、クラスタリング部３３は、第１クラスタ６２ａ（ハッチングされた領域）と、第２クラスタ６２ｂ（ハッチングされていない領域）とに、複数の領域をクラスタリングする。
　そして、被写体領域特定部３４は、クラスタリングによって得られた複数のクラスタの中から、被写体に対応する少なくとも１つのクラスタを特定する（Ｓ１０３）。例えば、被写体領域特定部３４は、入力画像の中央に位置する第１クラスタ６２ａを、被写体に対応するクラスタとして特定する。
　最後に、ブレ補正部３５は、推定されたブレの方向及び大きさに基づいて、特定されたクラスタに属する領域のブレを補正する（Ｓ１０４）。例えば、ブレ補正部３５は、第１クラスタ６２ａに属する８つの領域のブレ補正を行うことにより、出力画像６３を生成する。
　以上のように、本実施の形態における画像処理装置３６によれば、背景の像と被写体の像との分離を容易に行うことができる。そして、流し撮りの対象となる主要な被写体の像についてのみブレ補正を行い、背景の像についてはブレを有する状態のまま維持することができるため、手軽に流し撮り画像を生成することができる。
　つまり、本実施の形態における画像処理装置３６によれば、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことができる。動いている被写体を流し撮りした場合、被写体の像と背景の像とは異なるブレを有する。したがって、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことにより、被写体に対応するクラスタ（領域の集合）と背景に対応するクラスタとに切り分けることができる。そこで、被写体に対応するクラスタに属する領域のブレ補正を、当該クラスタに属する領域から推定されたブレの方向及び大きさに基づいて行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することが可能となる。
　以上、本発明の一態様に係る画像処理装置３６について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
　例えば、上記実施の形態において、ブレ推定部３２は、各領域のＰＳＦを推定することにより、各領域のブレの方向及び大きさを推定していたが、各領域のブレの方向及び大きさを推定できればよく、必ずしもＰＳＦを推定する必要はない。例えば、ブレ推定部３２は、連続して撮影された、入力画像を含む複数枚の画像において、各画像間で対応する点を追跡することにより、ブレの方向及び大きさを推定してもよい。
　また例えば、上記実施の形態において、ＰＳＦサイズ決定部５２は、あらかじめ定められたサイズをＰＳＦのサイズとして決定していたが、必ずしもこのようにＰＳＦのサイズを決定する必要はない。ＰＳＦサイズ決定部５２は、入力画像の特徴と入力画像が撮影されたときの撮影条件との少なくとも一方に応じてサイズが適応的に変化するように、ＰＳＦのサイズを決定してもよい。
　被写体の像の形状と合致するクラスタを得るためには、各領域のサイズは、小さいことが好ましい。各領域のサイズは、ＰＳＦのサイズ以上である必要がある。したがって、ＰＳＦのサイズはできる限り小さいことが好ましい。しかしながら、ＰＳＦのサイズがブレの大きさよりも小さい場合、ＰＳＦはブレを適切に表現できない。また、領域内の画像の特徴によっては、ＰＳＦのサイズを大きくしなければ、適切にＰＳＦを推定できない場合もある。そこで、ＰＳＦサイズ決定部５２は、撮影条件又は入力画像の特徴に応じて、ＰＳＦのサイズを適応的に変化させることにより、適切なサイズのＰＳＦを推定することが可能となる。
　具体的には、ＰＳＦサイズ決定部５２は、被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、ＰＳＦのサイズを決定してもよい。被写体の像の輪郭形状が複雑でない場合には、領域内に特徴が少なくなり小さなサイズのＰＳＦを高精度に推定することが難しい。そこで、ＰＳＦサイズ決定部５２は、被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、ＰＳＦのサイズを決定することにより、ＰＳＦを高精度に推定することが可能となる。なお、一般的に、被写体の像の輪郭形状が複雑である場合、入力画像を構成する画素の画素値の分散は大きくなる。したがって、ＰＳＦサイズ決定部５２は、入力画像を構成する画素の画素値の分散が大きいほどサイズが小さくなるように、ＰＳＦのサイズを決定してもよい。
　また、ＰＳＦサイズ決定部５２は、例えば、入力画像が撮影されたときの露光時間が長いほどＰＳＦのサイズが大きくなるように、ＰＳＦのサイズを決定してもよい。また、ＰＳＦサイズ決定部５２は、入力画像が撮影されたときの撮像装置３０の動きが大きいほどＰＳＦのサイズが大きくなるように、ＰＳＦのサイズを決定してもよい。この場合、ＰＳＦサイズ決定部５２は、撮像装置３０に取り付けられた動きセンサ（例えばジャイロセンサなど）から取得した情報を用いて、ＰＳＦのサイズを決定してもよい。これにより、ＰＳＦサイズ決定部５２は、ＰＳＦのサイズがブレの大きさよりも小さくなる可能性を低減することが可能となる。
　また、ＰＳＦサイズ決定部５２は、ユーザから指示された被写体に関する情報を利用して、ＰＳＦのサイズを決定してもよい。この場合、ＰＳＦサイズ決定部５２は、ユーザからの入力を受け付けることにより、被写体に関する情報を取得すればよい。なお、被写体に関する情報は、例えば、被写体の種別（自動車、電車、飛行機、人あるいは馬など）、被写体の移動速度などである。
　なお、上記実施の形態において、被写体領域特定部３４は、入力画像の中央付近に位置するクラスタを、被写体に対応するクラスタとして特定していたが、必ずしもこのように特定する必要はない。例えば、被写体領域特定部３４は、ユーザから受け付けられた入力情報であって、入力画像内における被写体の像の位置を示す入力情報に基づいて、被写体に対応するクラスタを特定してもよい。この場合、ユーザは、例えば、タッチパネルなどに表示された入力画像に対して、被写体の像の位置を指示すればよい。これにより、被写体領域特定部３４は、被写体に対応するクラスタを正確に特定することが可能となる。
　また、被写体領域特定部３４は、ブレの大きさが閾値よりも小さいクラスタを前記被写体に対応するクラスタとして特定してもよい。これにより、被写体領域特定部３４は、被写体の像が有するブレよりも背景の像が有するブレの方が大きいことが多いという特徴を利用して、被写体に対応するクラスタを自動で正確に特定することが可能となる。
　なお、被写体領域特定部３４は、上記の各種方法を組み合わせて、被写体に対応する領域を特定してもよい。例えば、被写体領域特定部３４は、入力画像の中央付近に位置しており、かつ、ブレが小さいクラスタを、被写体に対応するクラスタとして特定してもよい。
　なお、上記実施の形態において、複数の領域のサイズは、すべて同一であったが、必ずしも同一である必要はない。例えば、画像入力部５１は、入力画像の位置に応じて、領域のサイズを適応的に変化させてもよい。
　なお、上記実施の形態において、入力画像は、ユーザによって被写体を追跡するように撮像部３１が動かされて撮影された画像であったが、例えば、撮像部３１が固定されて撮影された画像であってもよい。この場合、ブレ補正部３５は、さらに、被写体に対応するクラスタに属する領域において推定されたブレの方向及び大きさを用いて、被写体に対応するクラスタ以外のクラスタに属する領域のブレ加工を行うことが好ましい。ここで、ブレ加工とは、ブレを強調させる画像処理である。具体的には、ブレ加工は、例えば、画像とＰＳＦとを畳込み演算することにより実現される。
　これにより、ブレ補正部３５は、被写体に対応するクラスタ以外のクラスタ（つまり、背景に対応するクラスタ）に属する領域の画像が被写体のブレの方向にブレるように、ブレ補正を行うことができる。したがって、ブレ補正部３５は、被写体のスピード感がより強調された画像を生成することが可能となる。
　なお、上記実施の形態において、画像処理装置３６は、撮像装置３０に備えられていたが、必ずしも撮像装置３０に備えられる必要はない。つまり、画像処理装置３６は、撮像装置３０とは独立した装置として構成されてもよい。
　また、上記実施の形態における画像処理装置３６が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、画像処理装置３６は、ブレ推定部３２と、クラスタリング部３３と、被写体領域特定部３４と、ブレ補正部３５とを有するシステムＬＳＩから構成されてもよい。
　システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　また、本発明は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部をステップとする画像処理方法として実現することもできる。また、画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
　本発明は、被写体を流し撮りした入力画像のブレ補正を行うことができる画像処理装置、又はその画像処理装置を備えるデジタルスチルカメラ、デジタルビデオカメラなどの撮像装置に有用である。
　３０　　撮像装置
　３１　　撮像部
　３２　　ブレ推定部
　３３　　クラスタリング部
　３４　　被写体領域特定部
　３５　　ブレ補正部
　３６　　画像処理装置
　５１　　画像入力部
　５２　　ＰＳＦサイズ決定部
　５３　　ＰＳＦ推定部

Claims (17)

  1. 　被写体を流し撮りした入力画像のブレ補正を行う画像処理装置であって、
    　前記入力画像内の複数の領域の各々において、ブレの方向及び大きさを推定するブレ推定部と、
    　推定された前記ブレの方向及び大きさのうち少なくとも一方の類似性に基づいて、前記複数の領域のクラスタリングを行うクラスタリング部と、
    　前記クラスタリングによって得られた複数のクラスタの中から、前記被写体に対応する少なくとも１つのクラスタを特定する被写体領域特定部と、
    　推定された前記ブレの方向及び大きさに基づいて、特定された前記クラスタに属する領域のブレ補正を行うブレ補正部とを備える
    　画像処理装置。
  2. 　前記ブレ推定部は、前記入力画像内の複数の領域の各々において、ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を推定することにより、前記ブレの方向及び大きさを推定する
    　請求項１に記載の画像処理装置。
  3. 　前記ブレ推定部は、
    　前記入力画像の特徴と前記入力画像が撮影されたときの撮影条件との少なくとも一方に応じてサイズが適応的に変化するように、ＰＳＦのサイズを決定するＰＳＦサイズ決定部と、
    　前記入力画像内の複数の領域の各々において、決定されたサイズのＰＳＦを推定するＰＳＦ推定部とを備える
    　請求項２に記載の画像処理装置。
  4. 　前記ＰＳＦサイズ決定部は、前記被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、前記ＰＳＦのサイズを決定する
    　請求項３に記載の画像処理装置。
  5. 　前記ＰＳＦサイズ決定部は、前記入力画像が撮影されたときの露光時間が長いほどサイズが大きくなるように、前記ＰＳＦのサイズを決定する
    　請求項３に記載の画像処理装置。
  6. 　前記クラスタリング部は、２つの領域のＰＳＦ間におけるＬ２ノルム又はＬ１ノルムが小さいほど当該２つの領域が同一のクラスタに属するように、前記複数の領域のクラスタリングを行う
    　請求項２～５のいずれか１項に記載の画像処理装置。
  7. 　前記クラスタリング部は、２つの領域のブレの方向及び大きさを表すベクトルの差分が小さいほど当該２つの領域が同一のクラスタに属するように、前記複数の領域のクラスタリングを行う
    　請求項１～６のいずれか１項に記載の画像処理装置。
  8. 　前記被写体領域特定部は、前記入力画像の中央から閾値以内の距離に位置するクラスタを前記被写体に対応するクラスタとして特定する
    　請求項１～７のいずれか１項に記載の画像処理装置。
  9. 　前記被写体領域特定部は、ユーザから受け付けられた入力情報であって、前記入力画像内における前記被写体の像の位置を示す入力情報に基づいて、前記被写体に対応するクラスタを特定する
    　請求項１～８のいずれか１項に記載の画像処理装置。
  10. 　前記被写体領域特定部は、ブレの大きさが閾値よりも小さいクラスタを前記被写体に対応するクラスタとして特定する
    　請求項１～９のいずれか１項に記載の画像処理装置。
  11. 　前記ブレ補正部は、特定された前記クラスタに属する領域ごとに、当該領域において推定された前記ブレの方向及び大きさを用いて当該領域のブレ補正を行う
    　請求項１～１０のいずれか１項に記載の画像処理装置。
  12. 　前記ブレ補正部は、特定された前記クラスタに属する領域ごとに推定された前記ブレの方向及び大きさの平均を用いて、特定された前記クラスタに属する領域のブレ補正を行う
    　請求項１～１１のいずれか１項に記載の画像処理装置。
  13. 　前記ブレ補正部は、さらに、前記被写体に対応するクラスタに属する領域において推定された前記ブレの方向及び大きさを用いて、前記被写体に対応するクラスタ以外のクラスタに属する領域のブレ加工を行う
    　請求項１～１２のいずれか１項に記載の画像処理装置。
  14. 　前記画像処理装置は、集積回路として構成されている
    　請求項１～１３のいずれか１項に記載の画像処理装置。
  15. 　請求項１～１４のいずれか１項に記載の画像処理装置と、
    　前記入力画像を生成する撮像部とを備える
    　撮像装置。
  16. 　被写体を流し撮りした入力画像のブレ補正を行う画像処理方法であって、
    　前記入力画像内の複数の領域の各々において、ブレの方向及び大きさを推定するブレ推定ステップと、
    　推定された前記ブレの方向及び大きさのうち少なくとも一方の類似性に基づいて、前記複数の領域のクラスタリングを行うクラスタリングステップと、
    　前記クラスタリングによって得られた複数のクラスタの中から、前記被写体に対応する少なくとも１つのクラスタを特定する被写体領域特定ステップと、
    　推定された前記ブレの方向及び大きさに基づいて、特定された前記クラスタに属する領域のブレ補正を行うブレ補正ステップとを含む
    　画像処理方法。
  17. 　請求項１６に記載の画像処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2010/007216 2009-12-22 2010-12-13 画像処理装置、撮像装置、及び画像処理方法 WO2011077659A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/201,032 US8723965B2 (en) 2009-12-22 2010-12-13 Image processing device, imaging device, and image processing method for performing blur correction on an input picture
CN201080008097.0A CN102318334B (zh) 2009-12-22 2010-12-13 图像处理装置、摄像装置以及图像处理方法
JP2011547275A JP5499050B2 (ja) 2009-12-22 2010-12-13 画像処理装置、撮像装置、及び画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009290072 2009-12-22
JP2009-290072 2009-12-22

Publications (1)

Publication Number Publication Date
WO2011077659A1 true WO2011077659A1 (ja) 2011-06-30

Family

ID=44195213

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/007216 WO2011077659A1 (ja) 2009-12-22 2010-12-13 画像処理装置、撮像装置、及び画像処理方法

Country Status (4)

Country Link
US (1) US8723965B2 (ja)
JP (1) JP5499050B2 (ja)
CN (1) CN102318334B (ja)
WO (1) WO2011077659A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018191261A (ja) * 2017-05-11 2018-11-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036032B2 (en) * 2010-05-21 2015-05-19 Panasonic Intellectual Property Corporation Of America Image pickup device changing the size of a blur kernel according to the exposure time
JP2012155456A (ja) * 2011-01-25 2012-08-16 Panasonic Corp 被写体分離装置、画像復元装置、被写体分離方法及び画像復元方法
JP6338424B2 (ja) * 2014-04-03 2018-06-06 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
JP6584280B2 (ja) * 2014-12-08 2019-10-02 キヤノン株式会社 撮像装置及びその制御方法
US10091432B2 (en) * 2015-03-03 2018-10-02 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof and storage medium storing control program therefor
EP3708063B1 (en) 2017-11-10 2024-10-09 FUJIFILM Corporation Endoscope system and method for operating same
CN111371987B (zh) * 2020-02-25 2021-06-25 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN115209778A (zh) 2020-02-28 2022-10-18 富士胶片株式会社 内窥镜系统及内窥镜系统的工作方法
CN115279253A (zh) 2020-03-13 2022-11-01 富士胶片株式会社 内窥镜系统及内窥镜系统的工作方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074031A (ja) * 2005-09-02 2007-03-22 Canon Inc 撮像装置、及び、画像処理装置及び方法
JP2007082044A (ja) * 2005-09-16 2007-03-29 Sony Corp 撮像方法および撮像装置
WO2007074605A1 (ja) * 2005-12-26 2007-07-05 Nikon Corporation 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP2008058546A (ja) * 2006-08-30 2008-03-13 Nikon Corp 検出装置、補正装置、カメラ、及びプログラム
JP2008136174A (ja) * 2006-10-24 2008-06-12 Sanyo Electric Co Ltd 撮像装置及び撮影制御方法
JP2009111596A (ja) * 2007-10-29 2009-05-21 Sanyo Electric Co Ltd 撮像装置
JP2009267523A (ja) * 2008-04-22 2009-11-12 Nikon Corp 画像復元装置及び撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7440634B2 (en) * 2003-06-17 2008-10-21 The Trustees Of Columbia University In The City Of New York Method for de-blurring images of moving objects
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7346222B2 (en) * 2005-02-07 2008-03-18 Motorola, Inc. Object-of-interest image de-blurring
JP4639965B2 (ja) 2005-05-31 2011-02-23 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JP4629537B2 (ja) 2005-09-06 2011-02-09 日東光学株式会社 画像処理装置
US8031914B2 (en) * 2006-10-11 2011-10-04 Hewlett-Packard Development Company, L.P. Face-based image clustering
JP4274233B2 (ja) * 2006-11-30 2009-06-03 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
TWI371959B (en) * 2007-04-13 2012-09-01 Primax Electronics Ltd Image processing method and related partial psf estimation method thereof
JP4881278B2 (ja) * 2007-10-31 2012-02-22 株式会社東芝 物体認識装置及びその方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074031A (ja) * 2005-09-02 2007-03-22 Canon Inc 撮像装置、及び、画像処理装置及び方法
JP2007082044A (ja) * 2005-09-16 2007-03-29 Sony Corp 撮像方法および撮像装置
WO2007074605A1 (ja) * 2005-12-26 2007-07-05 Nikon Corporation 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP2008058546A (ja) * 2006-08-30 2008-03-13 Nikon Corp 検出装置、補正装置、カメラ、及びプログラム
JP2008136174A (ja) * 2006-10-24 2008-06-12 Sanyo Electric Co Ltd 撮像装置及び撮影制御方法
JP2009111596A (ja) * 2007-10-29 2009-05-21 Sanyo Electric Co Ltd 撮像装置
JP2009267523A (ja) * 2008-04-22 2009-11-12 Nikon Corp 画像復元装置及び撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018191261A (ja) * 2017-05-11 2018-11-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体

Also Published As

Publication number Publication date
CN102318334A (zh) 2012-01-11
US8723965B2 (en) 2014-05-13
JPWO2011077659A1 (ja) 2013-05-02
US20110317044A1 (en) 2011-12-29
JP5499050B2 (ja) 2014-05-21
CN102318334B (zh) 2015-12-02

Similar Documents

Publication Publication Date Title
JP5499050B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP5917054B2 (ja) 撮像装置、画像データ処理方法、およびプログラム
US8422827B2 (en) Image correction apparatus and image correction method
CN109410130B (zh) 图像处理方法和图像处理装置
JP4926920B2 (ja) 防振画像処理装置及び防振画像処理方法
JP5651118B2 (ja) 画像処理装置および画像処理方法
CN104247395B (zh) 图像处理装置、图像处理方法
US10007990B2 (en) Generating composite images using estimated blur kernel size
WO2011145296A1 (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
JP5968073B2 (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
WO2017090458A1 (ja) 撮影装置、および撮影方法、並びにプログラム
KR102069269B1 (ko) 영상 안정화 장치 및 방법
CN110661977B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
JP2008520117A (ja) カメラのモーションブラー関数を決定する手段を有するデジタルイメージ取得システム
JP6513941B2 (ja) 画像処理方法、画像処理装置及びプログラム
KR20240031246A (ko) 다수의 관심 영역들을 갖는 장면들에서 선택적으로 증가하는 피사계 심도
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2012124939A (ja) 撮像装置及び撮像装置の制御方法
KR101248225B1 (ko) 팬, 틸트, 줌 기능을 갖는 돔 카메라에서의 영상 디블러링 방법
WO2016199214A1 (ja) 映像処理装置、映像処理方法及び車載カメラ
WO2024129062A1 (en) Method and apparatus for unified multi-stage artificial intelligence-based image signal processing pipeline
JP2017108243A (ja) 画像処理装置及び画像処理方法
CN119893284A (zh) 模糊图像处理方法、装置、设备、存储介质和程序产品
JP2022161095A (ja) 撮像制御装置、撮像制御方法およびプログラム
JP2007116332A (ja) 画像処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080008097.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011547275

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13201032

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10838899

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10838899

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载