KR100485594B1 - A method for removing noise in image and a system thereof - Google Patents
A method for removing noise in image and a system thereof Download PDFInfo
- Publication number
- KR100485594B1 KR100485594B1 KR1020040067615A KR20040067615A KR100485594B1 KR 100485594 B1 KR100485594 B1 KR 100485594B1 KR 1020040067615 A KR1020040067615 A KR 1020040067615A KR 20040067615 A KR20040067615 A KR 20040067615A KR 100485594 B1 KR100485594 B1 KR 100485594B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- noise
- image
- filter
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000003672 processing method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 68
- 239000006185 dispersion Substances 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 abstract description 39
- 238000001514 detection method Methods 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011045 prefiltration Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
본 발명은 영상에서의 잡음을 제거하기 위한 잡음 처리 방법 및 그 시스템에 관한 것으로, 더욱 상세하게는 영상의 엣지(edge) 또는 상세정보(detail)를 손상시키지 않으면서 잡음을 제거하여 영상의 선명도를 유지할 수 있는 잡음 처리 방법 및 그 시스템에 관한 것이다.The present invention relates to a noise processing method and a system for removing noise in an image, and more particularly, to remove the noise without damaging the edge or detail of the image to improve the sharpness of the image. The present invention relates to a sustainable noise processing method and a system thereof.
본 발명에 따른 영상에서의 잡음을 제거하기 위한 잡음 처리 방법은 상기 영상에 포함되는 영상 데이터를 소정의 단위 영역으로 구분하는 단계; 상기 단위 영역 내에 포함되는 화소들의 화소값을 이용하여 상기 단위 영역에 대응하는 문턱치를 각각 산출하는 단계; 상기 산출된 문턱치를 이용하여 상기 단위 영역 내에 임펄스 잡음을 포함하는 제1 화소가 존재하는지 감지하는 단계; 상기 제1 화소가 감지되는 경우 상기 제1 화소에 미디언 필터(median filter)를 적용하는 단계; 및 상기 제1 화소에 인접한 제2 화소를 식별하는 단계; 및 상기 제2 화소에 대해 평균-분산 필터(mean-variance filter)를 적용하는 단계를 포함하는 것을 특징으로 한다.A noise processing method for removing noise in an image according to the present invention comprises the steps of: dividing image data included in the image into a predetermined unit area; Calculating thresholds corresponding to the unit region by using pixel values of pixels included in the unit region; Detecting whether a first pixel including an impulse noise exists in the unit region by using the calculated threshold value; Applying a median filter to the first pixel when the first pixel is detected; And identifying a second pixel adjacent to the first pixel; And applying a mean-variance filter to the second pixel.
본 발명은 저명도 영역에서 영상을 보전하면서, 푸아송 잡음을 효율적으로 제거하여 움직임 검출이 수행될 수 있도록 하는 잡음 처리 방법 및 그 시스템을 제공한다. The present invention provides a noise processing method and a system for performing motion detection by efficiently removing Poisson noise while preserving an image in a low brightness region.
Description
본 발명은 영상에서의 잡음을 제거하기 위한 잡음 처리 방법 및 그 시스템에 관한 것으로, 더욱 상세하게는 엣지 또는 상세정보를 손상시키지 않으면서 잡음을 제거하여 영상의 선명도를 유지할 수 있는 잡음 처리 방법 및 그 시스템에 관한 것이다.The present invention relates to a noise processing method and system for removing noise in an image, and more particularly, to a noise processing method capable of maintaining image clarity by removing noise without damaging edges or detailed information, and a system thereof. It's about the system.
오늘날 영상 기술의 발전으로 고성능 카메라, 디지털 카메라, CCTV, 비디오 캡쳐 시스템 등 다양한 영상을 촬영, 저장 가능한 영상 매체들이 개발되고 있다. 이러한 영상 촬영 매체 들의 가장 중요한 문제는 촬영된 피사체에 관한 영상의 정확한 복원에 있다고 할 수 있다. 특히 영상에 부가될 수 있는 잡음은 영상의 질을 저하시킬 뿐 아니라 압축 효율을 저하시키는 문제점이 있다. 따라서 잡음을 빠르고 정확하게 제거하는 것은 영상의 복원에 가장 중요한 문제이다.Today, with the development of video technology, various video media such as high performance camera, digital camera, CCTV, video capture system, etc. are being developed. The most important problem of such image capturing media is the accurate reconstruction of the image of the photographed subject. In particular, noise that may be added to an image not only degrades the quality of the image, but also reduces the compression efficiency. Therefore, removing noise quickly and accurately is the most important problem for restoring the image.
그런데, 영상에 포함된 잡음을 제거하는 과정에서 공간적 필터링 또는 시간적 필터링을 적용하는 경우, 잡음은 제거되지만 스미어링(smearing) 또는 블러(blur)가 발생하여 영상 자체의 선명도는 손상된다는 문제가 있었다. 특히, 빛이 충분하지 않은 열악한 환경에서 촬영되어 잡음이 많이 발생한 영상에서 이런 문제는 더욱 부각될 수 밖에 없었다. However, when spatial filtering or temporal filtering is applied in the process of removing the noise included in the image, the noise is removed but smearing or blur occurs, and thus the sharpness of the image itself is damaged. In particular, this problem was inevitably more pronounced in an image in which a lot of noise was generated in a poor environment where there is not enough light.
본 발명은 영상에 대한 공간적 필터링을 수행하는 과정에서 임펄스 잡음 또는 푸아송 잡음을 효과적으로 제거하면서도 영상의 엣지 또는 상세정보를 보존하여 선명도를 유지할 수 있는 잡음 처리 방법 및 그 시스템을 제공하는 것을 목적으로 한다. It is an object of the present invention to provide a noise processing method and system capable of maintaining sharpness by preserving edges or detailed information of an image while effectively removing impulse noise or Poisson noise in a process of performing spatial filtering on the image. .
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 영상에 포함되는 영상 데이터를 소정의 단위 영역으로 구분하는 단계; 상기 단위 영역 내에 포함되는 화소들의 화소값을 이용하여 상기 단위 영역에 대응하는 문턱치를 각각 산출하는 단계; 상기 산출된 문턱치를 이용하여 상기 단위 영역 내에 임펄스 잡음을 포함하는 제1 화소가 존재하는지 감지하는 단계; 상기 제1 화소가 감지되는 경우 상기 제1 화소에 미디언 필터(median filter)를 적용하는 단계; 상기 제1 화소에 인접한 제2 화소를 식별하는 단계; 및 상기 제2 화소에 대해 평균-분산 필터(mean-variance filter)를 적용하는 단계를 포함하는 것을 특징으로 한다. In order to achieve the above object and solve the problems of the prior art, the present invention comprises the steps of dividing the image data included in the image into a predetermined unit area; Calculating thresholds corresponding to the unit region by using pixel values of pixels included in the unit region; Detecting whether a first pixel including an impulse noise exists in the unit region by using the calculated threshold value; Applying a median filter to the first pixel when the first pixel is detected; Identifying a second pixel adjacent to the first pixel; And applying a mean-variance filter to the second pixel.
또한, 본 발명은 영상에서의 잡음을 제거하기 위한 잡음 처리 시스템에 있어서, 상기 영상에 포함되는 영상 데이터를 소정의 단위 영역으로 구분하고, 상기 단위 영역 내에 포함되는 화소들의 화소값을 이용하여 상기 단위 영역에 대응하는 문턱치를 각각 산출하는 문턱치 산출부; 상기 산출된 문턱치를 이용하여 상기 단위 영역 내에 임펄스 잡음을 포함하는 제1 화소가 존재하는지 감지하고, 상기 제1 화소가 감지되는 경우 상기 제1 화소에 미디언 필터(median filter)를 적용하는 제1 필터부; 상기 제1 화소에 인접한 제2 화소를 식별하고, 상기 제2 화소에 대해 평균-분산 필터(mean-variance filter)를 적용하는 제2 필터부를 포함하는 것을 특징으로 한다.In addition, the present invention is a noise processing system for removing noise in an image, the image data included in the image is divided into a predetermined unit region, and the unit by using the pixel value of the pixels included in the unit region A threshold calculator configured to calculate thresholds corresponding to the regions, respectively; A first pixel detecting whether a first pixel including an impulse noise exists in the unit region by using the calculated threshold value, and applying a median filter to the first pixel when the first pixel is detected Filter unit; And a second filter unit identifying a second pixel adjacent to the first pixel and applying a mean-variance filter to the second pixel.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention;
도 1은 본 발명의 일실시예에 따른 잡음 처리 시스템의 구성을 도시한 블록도이다. 도 1을 참조하면, 본 발명에 따른 잡음 처리 시스템은 문턱치 산출부(101), 제1 필터부(102), 제2 필터부(103)를 포함할 수 있다.1 is a block diagram showing the configuration of a noise processing system according to an embodiment of the present invention. Referring to FIG. 1, the noise processing system according to the present invention may include a threshold calculator 101, a first filter unit 102, and a second filter unit 103.
문턱치 산출부(101)는 영상에 포함되는 영상 데이터를 소정의 단위 영역으로 구분하고, 상기 단위 영역 내에 포함되는 화소들의 화소값을 이용하여 상기 단위 영역에 대응하는 문턱치를 각각 산출한다. The threshold calculator 101 classifies the image data included in the image into a predetermined unit area, and calculates threshold values corresponding to the unit area by using pixel values of pixels included in the unit area.
제1 필터부(102)는 상기 산출된 문턱치를 이용하여 상기 단위 영역 내에 임펄스 잡음을 포함하는 제1 화소가 존재하는지 감지하고, 상기 제1 화소가 감지되는 경우 상기 제1 화소에 미디언 필터(median filter)를 적용한다.The first filter unit 102 detects whether a first pixel including an impulse noise exists in the unit region by using the calculated threshold value, and, when the first pixel is detected, a median filter ( median filter).
제2 필터부(103)는 제1 화소에 인접한 제2 화소를 식별하고, 상기 제2 화소에 대해 평균-분산 필터(mean-variance filter)를 적용한다.The second filter unit 103 identifies a second pixel adjacent to the first pixel, and applies a mean-variance filter to the second pixel.
이하, 도 2를 이용하여 잡음 처리 시스템의 각 구성요소의 동작을 보다 구체적으로 설명한다. 도 2는 본 발명에 따른 잡음 처리 시스템에 의한 잡음 처리 과정을 도시한 흐름도이다.Hereinafter, the operation of each component of the noise processing system will be described in more detail with reference to FIG. 2. 2 is a flowchart illustrating a noise processing process by the noise processing system according to the present invention.
단계(S201)에서 잡음 처리 시스템의 문턱치 산출부(101)는 영상에 포함되는 영상 데이터를 소정의 단위 영역으로 구분한다. In operation S201, the threshold calculator 101 of the noise processing system divides image data included in an image into a predetermined unit area.
단계(S202)에서 문턱치 산출부(101)는 각 단위 영역 내의 화소들의 화소값을 이용하여 상기 단위 영역의 문턱치를 산출한다. 상기 문턱치는 상기 단위 영역에 임펄스 잡음이 존재하는지 여부를 판단하기 위해 사용된다. 상기 문턱치는 수학식 1과 같이 산출될 수 있다. In operation S202, the threshold calculator 101 calculates a threshold value of the unit area by using pixel values of pixels in each unit area. The threshold is used to determine whether there is an impulse noise in the unit region. The threshold may be calculated as in Equation 1.
상기 는 임펄스 잡음을 포함하는 화소를 감지하기 위한 최소 문턱치이고, 상기 은 상기 단위 영역에 포함되는 각 화소들의 화소값의 평균값이다. 이와 같이, 단위 영역 별로 문턱치를 동적으로 산출하기 때문에 본 실시예에 따른 잡음 처리 시스템은 보다 정확하게 임펄스 잡음을 감지할 수 있게 된다.remind Is a minimum threshold for sensing a pixel containing impulse noise, and Is an average value of pixel values of each pixel included in the unit region. As such, since the threshold is dynamically calculated for each unit area, the noise processing system according to the present embodiment can more accurately detect the impulse noise.
제1 필터부(102)는 소정의 단위 영역에 포함되는 소정의 화소의 화소값이, 상기 단위 영역에 대해 수학식 1에 의해 산출된 문턱치보다 높은 값을 가지면 임펄스 잡음이 발생한 화소로 판단하고, 문턱치보다 낮은 값을 가지면 임펄스 잡음이 발생하지 않은 화소로 판단한다(S203). 이하에서는 임펄스 잡음이 발생한 상기 화소를 "제1 화소"이라고 칭한다. The first filter unit 102 determines that the pixel value of the predetermined pixel included in the predetermined unit region has a value higher than the threshold calculated by Equation 1 for the unit region as a pixel in which an impulse noise is generated. If the value is lower than the threshold value, it is determined as a pixel in which no impulse noise occurs (S203). Hereinafter, the pixel in which the impulse noise occurs is referred to as a "first pixel".
제1 필터부(102)는 화소가 제1 화소로 감지되면 제1 화소에 미디언 필터(median filter)를 적용하여 제1 화소의 값을 미디언 값으로 대체함으로써 임펄스 잡음을 제거한다(S204). 제1 필터부(102)는 수학식 2와 같은 미디언 필터를 사용할 수 있다. When the pixel is detected as the first pixel, the first filter unit 102 removes impulse noise by applying a median filter to the first pixel to replace the value of the first pixel with a median value (S204). . The first filter unit 102 may use a median filter such as Equation 2.
수학식 2에서 W는 단위 영역을 의미하고, (i, j)는 전체 영상 내에서의 제1 화소의 좌표를 의미한다. Y는 제1 화소의 변경된 값을 의미하며, 즉 제1 화소값을 Y로 변경함으로써 임펄스 잡음을 제거할 수 있다. In Equation 2, W denotes a unit area, and (i, j) denotes coordinates of the first pixel in the entire image. Y means the changed value of the first pixel, that is, the impulse noise can be removed by changing the first pixel value to Y.
일단, 제1 화소가 감지되면, 제2 필터부(103)는 상기 제1 화소의 주변 화소에 평균-분산 필터를 적용한다. 즉, 제1 필터부(102)와 제2 필터부(103)는 연동되어 있다. Once the first pixel is detected, the second filter unit 103 applies an average-variance filter to the peripheral pixels of the first pixel. That is, the first filter unit 102 and the second filter unit 103 are interlocked.
일반적으로 임펄스 잡음이 발생한 화소의 주변 화소에는 푸아송 잡음(Poisson noise)가 발생하는 경우가 많기 때문에, 본 실시예에 있어서 제1 필터부(102)는 임펄스 잡음이 발생한 화소의 주변 화소에 대해서는 평균-분산 필터를 적용하여 푸아송 잡음도 한꺼번에 제거한다. 푸아송 잡음을 제거하기 위해 푸아송 잡음 분포를 평균(mean)과 분산(variance)를 갖는 가우시안 분포(Gaussian distribution)에 근사한 후 제거하는 방법이 사용될 수 있다. In general, since the Poisson noise is often generated in the peripheral pixels of the pixel in which the impulse noise occurs, in the present embodiment, the first filter unit 102 averages the peripheral pixels of the pixel in which the impulse noise occurs. -Apply a variance filter to remove Poisson noise at once. In order to remove the Poisson noise, a method of approximating the Poisson noise distribution to a Gaussian distribution having a mean and a variance may be used.
제2 필터부(103)는 단계(S205)에서 제1 화소에 인접한 주변 화소인 제2 화소들을 감지하고, 단계(S206)에서 제2 화소들에 평균-분산 필터를 적용하여 임펄스 잡음을 포함한 화소를 중심으로 주변 화소(제2 화소)(LND, Local Neighborhood)들의 값을 교정한다. 예를 들면, 제1 화소를 중심으로 3화소 x 3화소 크기를 갖는 영역 내의 주변 화소, 즉 8개의 화소에 대해 평균-분산 필터가 적용될 수 있다. The second filter unit 103 detects the second pixels, which are neighboring pixels adjacent to the first pixel, in step S205, and applies an average-variance filter to the second pixels in step S206, thereby including the impulse noise. The values of the neighboring pixels (LNDs) are corrected based on. For example, an average-dispersion filter may be applied to peripheral pixels, that is, eight pixels, in a region having a size of three pixels by three pixels around the first pixel.
제2 필터부(103)는 수학식 3과 같은 평균-분산 필터를 사용할 수 있다. The second filter unit 103 may use an average-variance filter as shown in Equation 3 below.
와 는 제1 픽셀의 좌표인 의 인접한 소정의 크기의 영역의 제2 픽셀들의 분산(variance)과 평균(mean)을 나타낸다. Wow Is the coordinate of the first pixel Represents the variance and mean of the second pixels of a region of a predetermined predetermined size of.
변화가 없는 소정 크기의 영역에서 으로 산출되고, 따라서 수학식 3은 다음과 같이 나타낼 수 있다.In an area of a certain size without change Is calculated, and Equation 3 can be expressed as follows.
수학식 4는 주변 화소의 화소값이 그 영역에서의 평균값에 근접하게 되고, 푸아송 잡음은 효과적으로 평균되었다(즉, 제거되었다)는 사실을 의미한다. Equation 4 means that the pixel value of the surrounding pixel is close to the average value in that region, and Poisson noise is effectively averaged (ie, removed).
반대로 영상 데이터에서 엣지 또는 상세정보가 있는 영역에서는 평균값인가 큰 값을 갖게 되기 때문에, 수학식 3은 아래와 같이 근사화될 수 있다.On the contrary, in the area with edge or detail in the image data, Since E has a large value, Equation 3 can be approximated as follows.
수학식 5에서 알 수 있는 바와 같이, 엣지 또는 상세정보가 포함된 영역, 즉 변화가 많은 영역에서는 제2 화소값이 그대로 유지되므로, 엣지나 상세정보가 보존된다.As can be seen from Equation 5, since the second pixel value is maintained in the area including the edge or the detailed information, that is, the region with many changes, the edge or the detailed information are preserved.
상기와 같은 구성에 의해, 본 발명에 의한 잡음 처리 시스템은 임펄스 잡음이 포함된 제1 화소에 미디안 필터를 적용하여 임펄스 잡음을 제거하고, 상기 제1 화소의 주변 화소인 제2 화소들에 평균-분산 필터를 적용하여 푸아송 잡음을 제거한다. With the above configuration, the noise processing system according to the present invention applies a median filter to the first pixel including the impulse noise to remove the impulse noise, and averages the second pixels as the peripheral pixels of the first pixel. Apply a variance filter to remove Poisson noise.
제2 필터부(103)는 제1 화소가 감지되는 경우에만 제1 화소 주변의 제2 화소에 평균-배리언스 필터를 적용하기 때문에, 결과적으로 본 발명에 따르면 임펄스 잡음을 제거하기 위한 미디안 필터와 푸아송 잡음을 제거하기 위한 평균-분산 필터는 함께 동작하고 있다. Since the second filter unit 103 applies the average-variance filter to the second pixel around the first pixel only when the first pixel is sensed, the median filter for removing the impulse noise according to the present invention is consequently according to the present invention. The average-variance filter for removing the and Poisson noises is working together.
특히, 본 발명에 따른 평균-분산 필터는 엣지 또는 상세정보가 없는 영역 내에서만 제1 화소 주변의 제2 화소를 평균값으로 대체한다는 점에서 엣지 또는 상세정보를 보존할 수 있게 된다. In particular, the average-dispersion filter according to the present invention can preserve the edge or the detailed information in that the second pixel around the first pixel is replaced with the average value only in an area where no edge or detailed information is present.
도 3은 본 발명의 일실시예에 따라 엣지 및 상세정보가 포함된 단위 영역과 엣지 및 상세정보가 포함되지 않은 단위 영역의 잡음 처리 결과를 도시한 도면이다. 3 is a diagram illustrating noise processing results of a unit region including edge and detailed information and a unit region including no edge and detailed information according to an exemplary embodiment of the present invention.
도 3을 참조하면 영상 중 엣지 및 상세정보를 포함한 단위 영역(310)과 엣지 및 상세정보를 포함하지 아니한 단위 영역(320)의 잡음 제거 과정이 각각 다르게 수행되어 잡음 처리 시스템이 푸아송 잡음을 제거하면서, 영상의 상세정보와 엣지를 보호하며, 이하 이에 대해 구체적으로 설명한다. 도 3의 (a)는 원래의 단위 영역(310)을, (b)는 미디언 필터 및 평균-분산 필터가 적용된 후의 단위 영역(310)을 나타낸다. 또한, 도 3의 (c)는 원래의 단위 영역(320)을, (d)는 미디언 필터 및 평균-분산 필터가 적용된 후의 단위 영역(320)을 나타낸다. Referring to FIG. 3, the noise removing process of the unit region 310 including the edge and the detail information and the unit region 320 including the edge and the detail information are performed differently so that the noise processing system removes the Poisson noise. While protecting the detailed information and the edge of the image, it will be described in detail below. 3 (a) shows the original unit region 310, and (b) shows the unit region 310 after the median filter and the mean-dispersion filter are applied. 3C shows the original unit region 320 and (d) shows the unit region 320 after the median filter and the mean-dispersion filter are applied.
먼저, 입력된 영상 중 엣지 및 상세정보를 포함되지 아니한 단위 영역(310)의 잡음 제거 과정을 설명한다. 즉, 엣지 및 상세정보를 포함하지 아니한 단위 영역(310)에서 임펄스 잡음을 포함한 제1 화소(301)이 발생된 경우를 예로 들어 설명한다. 잡음 처리 시스템의 제1 필터부(102)는 수학식 1과 같이 산출된 문턱치를 이용하여 단위 영역(310)의 제1 화소(301)을 식별하고, 제1 화소(301)의 값을 상기와 같은 미디언 필터를 이용하여 미디언값으로 보정한다. First, a noise removing process of the unit region 310 that does not include edge and detailed information of the input image will be described. That is, the case where the first pixel 301 including the impulse noise is generated in the unit region 310 including no edge and detailed information will be described as an example. The first filter unit 102 of the noise processing system identifies the first pixel 301 of the unit region 310 by using a threshold calculated as in Equation 1, and compares the value of the first pixel 301 with the above. Correct the median value using the same median filter.
제2 필터부(103)는 제1 화소의 인접 화소들인 제2 화소(302)들에 평균-분산 필터를 적용하여 제2 화소(302)의 화소값(N)을 평균값(M)으로 대체한다. 즉, 엣지 또는 상세정보가 존재하지 않는 단위 영역(310)에서 제2 화소들(302)은 각 화소값의 변화가 적기 때문에 제2 화소들의 분산값이 작아지므로 수학식 4에서와 같이 제2 화소들의 값(N)은 제2 화소들의 평균값(M)으로 보정되게 된다. The second filter unit 103 replaces the pixel value N of the second pixel 302 with an average value M by applying an average-dispersion filter to the second pixels 302 that are adjacent pixels of the first pixel. . That is, since the variation of each pixel value of the second pixels 302 is small in the unit area 310 in which no edge or detail information exists, the dispersion value of the second pixels is reduced, so that the second pixel as shown in Equation 4 This value N is corrected to an average value M of the second pixels.
결과적으로 단위 영역(310)에 포함된 임펄스 잡음 및 푸아송 잡음이 효과적으로 제거된다.As a result, the impulse noise and the Poisson noise included in the unit region 310 are effectively removed.
두 번째로, 입력된 영상 중 엣지 및 상세정보가 포함된 단위 영역(320)에서의 잡음 제거 과정을 설명한다. 단위 영역(320)의 임펄스 잡음을 포함한 제1 화소(303)은 위와 마찬가지로 제1 필터부(102)의 미디언 필터에 의해 메디언 값으로 보정된다. 단위 영역(320)의 제1 화소(303)의 인접 화소인 제2 화소(304) 역시 제2 필터부(103)의 평균-분산 필터에 의해 보정되는데, 이 때 단위 영역(320)의 제2 화소(304)은 엣지 또는 상세정보 때문에 변화가 큰 영역에 속하므로 제2 화소들의 분산값이 커지므로 수학식 5와 같이 보정된 값은 원래 제2 화소의 값(N)을 그대로 유지하게 된다. 결과적으로 영상 중 엣지, 상세정보 등의 영상 특징이 큰 영역에서는 원래의 화소값을 유지하도록 하여 임펄스 잡음을 제거하면서도 상세정보 및 엣지가 선명함을 유지하게 된다. Secondly, a process of removing noise in the unit region 320 including edge and detailed information of the input image will be described. The first pixel 303 including the impulse noise of the unit region 320 is corrected to the median value by the median filter of the first filter unit 102 as described above. The second pixel 304, which is an adjacent pixel of the first pixel 303 of the unit region 320, is also corrected by an average-dispersion filter of the second filter unit 103, wherein the second pixel of the unit region 320 is adjusted. Since the pixel 304 belongs to a region where the change is large due to the edge or the detailed information, the dispersion value of the second pixels becomes large, so that the corrected value as shown in Equation 5 maintains the value N of the original second pixel. As a result, in the region where the image characteristics such as the edge and detail information are large, the original pixel value is maintained to remove the impulse noise while maintaining the detail and edge sharpness.
또한 이하에서는 본 발명에 따른 잡음 처리 시스템이 사용된 영상 처리 시스템을 예시적으로 설명한다. 특히, 본 실시예에 따른 영상 처리 시스템은 어두운 환경(low light environment)에서 촬영되어 영상 소스 자체가 깨끗하지 않은 영상으로부터 임펄스 잡음 또는 푸아송 잡음을 효과적으로 제공할 수 있다. In addition, hereinafter, an image processing system using a noise processing system according to the present invention will be described. In particular, the image processing system according to the present embodiment may be photographed in a low light environment to effectively provide impulse noise or Poisson noise from an image in which the image source itself is not clean.
도 4는 영상 처리 시스템이 전처리필터(prefilter)의 구성으로 사용되는 경우를 예시한 도면이다. 카메라(401)로 촬영된 영상은 캡쳐 모듈(402)에서 캡쳐되고, 본 발명에 따른 잡음 처리 시스템을 포함하는 영상 처리 시스템(403)은 상기 영상이 비디오 인코더에 의해 디지털화 또는 압축 등 인코딩되기 전에 질 좋은 영상을 획득하고 압축 효율을 높이기 위해 상기 영상에서 잡음을 제거하는 등 전처리를 수행한다. FIG. 4 is a diagram illustrating a case where an image processing system is used as a configuration of a prefilter. The image captured by the camera 401 is captured by the capture module 402, and the image processing system 403 including the noise processing system according to the present invention is processed before the image is encoded by the video encoder, such as being digitized or compressed. In order to obtain a good image and to improve compression efficiency, preprocessing is performed such as removing noise from the image.
비디오 인코더(404)에서 인코딩된 영상은 시스템의 저장 공간에 저장될 수도 있고, 또는 네트워크를 통하여 원거리의 시스템으로 전송될 수도 있다. 상기 저장 공간에 저장된 영상, 상기 원거리의 시스템으로 전송된 영상, 또는 상기 원거리의 시스템으로 전송되어 저장된 영상은 비디오 디코더(405)에서 디코딩 되어 소정의 디스플레이 수단(406)에서 디스플레이 될 수 있다. 한편, 도 4은 본 발명에 따른 영상 처리 시스템(403)이 전처리필터의 구성으로 사용된 경우를 도시하고 있으나 이는 예시적인 것에 불과하며, 본 발명은 촬영 장치로부터 촬영된 영상으로부터 잡음을 효과적으로 제거하면서도 선명도를 높일 수 있는 영상을 얻기 위해 폭넓게 사용될 수 있다. The image encoded by the video encoder 404 may be stored in a storage space of the system or may be transmitted to a remote system via a network. An image stored in the storage space, an image transmitted to the remote system, or an image transmitted and stored to the remote system may be decoded by the video decoder 405 and displayed on a predetermined display means 406. Meanwhile, FIG. 4 illustrates a case in which the image processing system 403 according to the present invention is used as a configuration of a preprocessing filter, but this is merely an example, and the present invention effectively removes noise from an image captured by a photographing apparatus. It can be widely used to obtain images that can increase the sharpness.
이하, 도 5를 참조하여 본 실시예에 따른 영상 처리 시스템(403, 500)의 동작에 대해 보다 구체적으로 설명한다. 도 5는 본 실시예에 따른 영상 처리 시스템(500)을 도시한 블록도이다. Hereinafter, operations of the image processing systems 403 and 500 according to the present embodiment will be described in more detail with reference to FIG. 5. 5 is a block diagram illustrating an image processing system 500 according to an exemplary embodiment.
영상 처리 시스템(500)은 분할 필터(501), 잡음 처리 시스템(502), 움직임 검출부(503), 및 제2 필터(504)을 포함한다. The image processing system 500 includes a segmentation filter 501, a noise processing system 502, a motion detector 503, and a second filter 504.
분할 필터(501)는 프레임 별로 순차적으로 입력된 영상을 소정 개수의 화소로 구성된 세그멘트로 분할하고 상기 각 세그멘트에 포함되는 영상 데이터의 명도를 이용하여 각 세그멘트를 저명도 영역(low light region) 또는 고명도 영역(high light region)으로 구분한다. 명도를 결정하기 위해 각 화소의 contrast, brightness, 또는 focus measure 값이 사용될 수 있다. 본 명세서에서는 "저명도 영역으로 구분된 세그멘트를 포함하는 영역의 영상 데이터"를 간략하게 "영상 데이터"로 표현하는 경우도 있으며, 또한 저명도 영역 또는 고명도 영역에 각각 속하는 영상 데이터와 명확하게 구분하기 위해 저명도 영역 및 고명도 영역을 모두 포함하는 영역의 영상, 즉 잡음 처리 시스템으로 입력되는 영상은 "전체 영상"로 표현하기도 한다. 따라서, 영상 데이터는 전체 영상의 일부 또는 전부일 수 있다.The segmentation filter 501 divides an image sequentially inputted for each frame into segments composed of a predetermined number of pixels, and divides each segment into a low light region or a high intensity using brightness of image data included in each segment. It is divided into a high light region. Contrast, brightness, or focus measure values of each pixel may be used to determine brightness. In the present specification, "image data of an area including segments divided into low brightness regions" may be briefly expressed as "image data", and also clearly distinguished from image data belonging to a low brightness region or a high brightness region, respectively. For example, an image of an area including both a low brightness area and a high brightness area, that is, an image input to the noise processing system may be expressed as a "full picture". Therefore, the image data may be part or all of the entire image.
잡음 처리 시스템(502)은 저명도 영역으로 구분된 하나 이상의 세그멘트에 포함되는 영상 데이터로부터 임펄스 잡음(impulsive noise)를 제거한다. The noise processing system 502 removes impulsive noise from image data included in one or more segments divided into low brightness regions.
움직임 검출부(503)는 상기 영상 데이터 중에서 움직임 화소(motion fixel)을 감지한다.The motion detector 503 detects a motion fixel among the image data.
제2 필터(504)는 허위 컬러 잡음을 감지하고, 상기 영상 데이터로부터 상기 감지된 허위 컬러 잡음을 제거한다. The second filter 504 detects false color noise and removes the detected false color noise from the image data.
이하, 도 6을 참조하여 도 5에 도시한 바와 같은 영상 처리 시스템(500)의 각 구성 요소의 동작을 보다 구체적으로 설명한다. Hereinafter, the operation of each component of the image processing system 500 as illustrated in FIG. 5 will be described in more detail with reference to FIG. 6.
분할 필터(501)는 프레임 별로 순차적으로 영상이 입력되면 상기 전체 영상을 소정 개수의 화소로 구성된 세그멘트(segment)로 분할한다(S601). 예를 들면, 카메라(401)로부터 촬영된 영상은 15[frame/sec]라는 프레임 레이트로 영상 처리 시스템(500)으로 입력될 수 있다. When the image is sequentially input for each frame, the segmentation filter 501 divides the entire image into segments composed of a predetermined number of pixels (S601). For example, an image captured by the camera 401 may be input to the image processing system 500 at a frame rate of 15 [frame / sec].
분할 필터(501)가 상기 전체 영상을 어떤 크기를 갖는 세그멘트로 구분하는지 여부는 처리 효율 및 정확도를 고려하여 선택될 수 있으며, 예를 들면 4 화소 x 4 화소의 크기를 갖는 세그멘트들로 구분할 수 있다.Whether the segmentation filter 501 divides the entire image into segments having a size may be selected in consideration of processing efficiency and accuracy, and may be divided into segments having a size of 4 pixels by 4 pixels, for example. .
분할 필터(501)는 각 세그멘트에 포함된 영상 데이터의 명도를 인식하여 명도가 임계값을 초과하면 고명도 영역(high light region)으로, 명도가 임계값 이하이면 저명도 영역(low light region)으로 구분한다(S602). The segmentation filter 501 recognizes the brightness of the image data included in each segment and moves to the high light region when the brightness exceeds the threshold, and to the low light region when the brightness is below the threshold. (S602).
도 7는 분할 필터(501)에 의해 고명도 영역과 저명도 영역으로 구분된 전체 영상을 도시한 도면이다. 도면 부호(701)는 전체 영상을, 도면부호(702)는 고명도 영역과 저명도 영역으로 구분된 영상을 나타내며, 도면부호(702)에서는 하얀 부분이 저명도 영역, 검은 부분이 고명도 영역으로, 반전되어 있다. FIG. 7 is a diagram illustrating an entire image divided into a high brightness region and a low brightness region by the split filter 501. Reference numeral 701 denotes an entire image, and reference numeral 702 denotes an image divided into a high brightness region and a low brightness region. In reference numeral 702, a white portion is a low brightness region and a black portion is a high brightness region. , Is reversed.
이 때 영상 처리 시스템(500)은 고명도 영역으로 구분된 세그멘트에 포함된 영상 데이터에 대해서는 영상 프로세싱을 생략하고 저명도 영역으로 구분된 세그멘트에 포함된 영상 데이터에 대해서만 잡음 제거 등 영상 프로세싱을 수행하여 전체 영상 프로세싱의 계산 효율을 높일 수 있다. 즉, 본 발명에 따르면, 영상 처리 시스템(500)이 처리해야 되는 영상 영역이 감소하기 때문에 계산에 소모되는 시간을 감소시키면서도, 잡음이 많은 영역인 어두운 영역의 영상 데이터만을 처리하여 잡음이 충분히 제거되는 것을 보장할 수도 있다. 특히, 본 실시예에 따르면, 고명도 영역에 대해서는 영상 프로세싱을 생략함으로써 잡음 필터의 적용으로 인해 질 좋은 고명도 영역의 영상이 오히려 흐려지는 현상 등이 발생하는 것을 방지할 수 있다.In this case, the image processing system 500 skips image processing on image data included in a segment divided into a high brightness region and performs image processing such as noise reduction on only image data included in a segment divided into a low brightness region. The computational efficiency of the entire image processing can be improved. That is, according to the present invention, since the image area to be processed by the image processing system 500 is reduced, the noise is sufficiently removed by processing only image data of a dark area, which is a noisy area, while reducing the time required for calculation. You can also ensure that. In particular, according to the present exemplary embodiment, the image processing of the high brightness region may be omitted by preventing the image processing of the high quality region from being blurred due to the application of the noise filter.
잡음 처리 시스템(502)은 분할 필터(501)에서 저명도 영역으로 구분된 세그멘트에 포함된 영상 데이터를 하나 이상의 단위 영역으로 구분하고, 각 단위 영역 내에 임펄스 잡음을 포함하는 화소, 즉 임펄스 잡음이 발생한 화소(corrupted pixel)이 존재하는지를 감지한다(S603). 본 명세서에서는 임펄스 잡음이 발생한 화소를 "제1 화소"이라고 칭한다. The noise processing system 502 divides the image data included in the segment divided into the low brightness region in the split filter 501 into one or more unit regions and generates pixels including impulse noise in each unit region, that is, the impulse noise is generated. It is detected whether a corroded pixel exists (S603). In this specification, a pixel in which an impulse noise occurs is referred to as a "first pixel".
도 8는 임펄스 잡음 또는 후술하는 바와 같은 푸아송 잡음을 도시한 도면이다. 도 8의 (a)의 도면부호(801)은 임펄스 잡음이 발생한 제1 화소를 나타낸다. 또한, 도 8의 (b)는 제1 화소(801)을 포함하는 라인에 속하는 화소들의 각 화소값을 도시한 도면이다. 도면부호(802)는 제1 화소에서의 화소값이 비정상적으로 큰 값을 갖는 것, 즉 임펄스 잡음이 발생했음을 나타낸다. 8 illustrates impulse noise or Poisson noise as described later. Reference numeral 801 in FIG. 8A denotes a first pixel in which impulse noise occurs. FIG. 8B is a diagram illustrating pixel values of pixels belonging to a line including the first pixel 801. Reference numeral 802 denotes that the pixel value in the first pixel has an abnormally large value, that is, an impulse noise has occurred.
잡음 처리 시스템(502)은 수학식 1과 같은 문턱치를 이용하여 소정의 단위 영역 내의 제1 화소를 감지한다. The noise processing system 502 senses a first pixel in a predetermined unit area by using a threshold value as shown in Equation 1 below.
상술한 바와 같이, 잡음 처리 시스템(502)은 화소가 제1 화소로 감지되면 제1 화소에 수학식 2와 같은 미디언 필터(median filter)를 적용하여 제1 화소의 값을 미디언 값으로 대체함으로써 임펄스 잡음을 제거한다. As described above, when the pixel is detected as the first pixel, the noise processing system 502 applies a median filter such as Equation 2 to the first pixel to replace the value of the first pixel with the median value. This eliminates impulse noise.
수학식 2에서 W는 단위 영역을 의미하고, (i, j)는 전체 영상 내에서의 제1 화소의 좌표를 의미한다. Y는 제1 화소의 변경된 값을 의미하며, 즉 임펄스 잡음이 제거되었다. In Equation 2, W denotes a unit area, and (i, j) denotes coordinates of the first pixel in the entire image. Y means the changed value of the first pixel, that is, the impulse noise has been removed.
그런데, 임펄스 잡음이 발생한 화소의 주변 화소에는 도 8의 (a)에 도시하는 바와 같이 푸아송 잡음(Poisson noise)가 발생하는 경우가 많다. 도 8의 (b)에서 도면부호(804)로 나타내는 바와 같이, 푸아송 잡음은 가우시안 분포의 꼬리(tail) 부분에 위치한 값과 유사한 분포로 발생한다. However, as shown in FIG. 8A, Poisson noise often occurs in the peripheral pixels of the pixel in which the impulse noise occurs. As shown by reference numeral 804 in FIG. 8B, Poisson noise occurs with a distribution similar to the value located at the tail of the Gaussian distribution.
상술한 바와 같이, 잡음 처리 시스템(502)은 이러한 푸아송 잡음을 제거하기 위해 제1 화소에 인접한 제2 화소들을 감지하고, 제2 화소들에 수학식 3과 같은 평균-분산 필터를 적용하여 임펄스 잡음을 포함한 제1 화소와 인접한 제2 화소들의 화소값을 교정한다(S605). As described above, the noise processing system 502 senses second pixels adjacent to the first pixel to remove such Poisson noise, and applies an average-variance filter such as Equation 3 to the second pixels to impulse them. The pixel values of the second pixels adjacent to the first pixel including the noise are corrected (S605).
상기와 같은 구성에 의해, 본 발명에 의한 잡음 처리 시스템이 포함된 잡음 처리 시스템(502)은 임펄스 잡음이 포함된 제1 화소에 미디언 필터를 적용하여 임펄스 잡음을 제거하고, 상기 제1 화소의 주변 화소인 제2 화소들에 평균-분산 필터를 적용하여 푸아송 잡음을 제거한다. With the above configuration, the noise processing system 502 including the noise processing system according to the present invention applies a median filter to the first pixel including the impulse noise to remove the impulse noise, and The Poisson noise is removed by applying an average-variance filter to the second pixels, which are peripheral pixels.
잡음 처리 시스템(502)은 제1 화소가 감지되는 경우에만 제1 화소 주변의 제2 화소에 평균-배리언스 필터를 적용하기 때문에, 결과적으로 본 발명에 따르면 임펄스 잡음을 제거하기 위한 미디안 필터와 푸아송 잡음을 제거하기 위한 평균-분산 필터는 함께 동작하고 있다. Since the noise processing system 502 applies the mean-variance filter to the second pixel around the first pixel only when the first pixel is detected, the result is a median filter for removing impulse noise according to the present invention. Average-variance filters for removing Poisson noise work together.
움직임 검출부(503)는 프레임 단위로 연속적으로 입력되는 상기 영상 데이터를 프레임 별로 비교하여 움직임 화소를 감지한다(S606). 본 명세서에서는 임의의 프레임에 대응하는 영상 데이터를 "제1 영상 데이터"라고 하면, 상기 프레임 직후 입력된 프레임에 대응하는 영상 데이터를 "제2 영상 데이터"로 결정한다.The motion detector 503 detects the motion pixel by comparing the image data continuously input in units of frames for each frame (S606). In the present specification, when image data corresponding to an arbitrary frame is referred to as "first image data", the image data corresponding to the frame input immediately after the frame is determined as "second image data".
움직임 화소를 감지하는 단계(S606)는 영상 데이터 내의 허위 컬러 잡음을 제거하기 전에 수행된다. 허위 컬러 잡음을 제거하기 위한 필터링은 움직임 블러(motion blur) 현상을 발생시킬 수 있기 때문에, 허위 컬러 잡음은 움직임 화소가 존재하지 않는 정적인 영역에만 적용되는 것이 바람직하다. Detecting a moving pixel (S606) is performed before removing false color noise in the image data. Since filtering to remove false color noise may cause motion blur, it is preferable that false color noise be applied only to a static region in which no moving pixel exists.
허위 컬러 잡음의 경우 임펄스 잡음이나 가우시안 잡음과 달리 한 프레임의 영상에서 해당 화소 또는 주변 화소의 화소값을 비교하는 방식으로는 감지하기 어렵기 때문에, 시간 순서대로 각 프레임을 비교하여 감지할 수밖에 없다. 따라서, 시간 순서대로, 즉 연속적인 프레임을 서로 비교하기 위해 현재 프레임의 이전 프레임은 소정의 메모리 수단에 어느 기간 이상은 저장되어 있어야 한다. In the case of false color noise, unlike impulse noise or Gaussian noise, it is difficult to detect the pixel value of the corresponding pixel or neighboring pixels in the image of one frame, and thus, each frame is compared and detected. Therefore, the previous frame of the current frame must be stored in a predetermined memory means for a certain period or more in order of time, that is, to compare successive frames with each other.
따라서, 연속적으로 입력된 영상 상에서 서로 대응하는 화소의 화소값이 변경되는 경우, 이는 정상적인 움직임 화소 또는 바람직하지 않은 허위 컬러 잡음이라고 볼 수 있으며, 일단 움직임 화소를 감지해 내면 나머지는 허위 컬러 잡음으로 취급할 수 있다. Therefore, when the pixel values of pixels corresponding to each other in a continuously input image are changed, it may be regarded as a normal moving pixel or an undesirable false color noise, and once the moving pixel is detected, the rest is treated as false color noise. can do.
움직임 검출부(503)는 연속적으로 입력된 프레임에서 소정의 단위 영역 별로 서로 대응하는 화소들을 비교함으로써 움직임 화소를 감지할 수 있다(S607). 움직임 검출을 위한 단위 영역은 상술한, 임펄스 잡음 또는 푸아송 잡음을 제거하기 위해 사용한 단위 영역과 그 크기가 서로 상이하게 설정될 수도 있다. 또한, 움직임 검출부(503)는 이전 프레임의 영상과 현재 프레임의 영상을 비교하기 때문에, 이전 프레임에 해당하는 영상을 일시적이라도 저장하고 있어야 한다. The motion detector 503 may detect a motion pixel by comparing pixels corresponding to each other in a predetermined unit region in a continuously input frame (S607). The unit region for motion detection may be set differently from the unit region used to remove the impulse noise or the Poisson noise and the size thereof. In addition, since the motion detector 503 compares the image of the previous frame with the image of the current frame, the motion detector 503 should temporarily store the image corresponding to the previous frame.
본 실시예에 따른 움직임 검출부(503)는 수학식 6에 도시한 바와 같은 문턱치값을 이용하여 연속적인 서로 상이한 프레임 상에서 동일 단위 영역 내의 화소들을 비교할 수 있다. The motion detector 503 according to the present exemplary embodiment may compare pixels in the same unit area on successive different frames by using a threshold value as shown in Equation (6).
SAD(sum absolute difference)는 움직임 검출을 위해 임의의 단위 영역(블록(m, n)) 별로 결정되는 문턱치를 나타낸다. x(k,l,t-1)은 이전 프레임에서의 픽셀의 픽셀값을, x(k,l,t) 는 현재 프레임에서의 상기 픽셀에 대응하는 픽셀의 픽셀값을 나타낸다. 또한, A mn 은 상기 프레임의 이미지 데이터가 속하는 단위 영역을 나타낸다. 따라서, 수학식 6에 따르면, 좌표 (k,l)을 갖는 화소들은 상기 단위 영역 내에 포함된다. SAD (sum absolute difference) represents a threshold determined for each unit area (blocks (m, n)) for motion detection. x ( k, l, t- 1) represents the pixel value of the pixel in the previous frame, and x ( k, l, t ) represents the pixel value of the pixel corresponding to the pixel in the current frame. In addition, A mn represents a unit region to which the image data of the frame belongs. Therefore, according to equation (6 ) , pixels having coordinates (k, l) are included in the unit region.
상기와 같이 시간 흐름에 따라, 즉 연속적인 프레임 사이에서 그 화소값이 변동되는 화소 중에서 일단 움직임 화소인 화소가 결정되면, 제2 필터(504)는 움직임 화소가 포함되어 있지 않은 정적인 영역에 대해 시간적 필터링(temporal filtering)을 적용하여 허위 컬러 잡음을 제거할 수 있다. As described above, when a pixel, which is a moving pixel, is determined among the pixels whose pixel value is changed between successive frames, the second filter 504 may be configured for a static region that does not include the moving pixel. Temporal filtering can be applied to remove false color noise.
그런데, 도 9에 도시한 바와 같이, 움직임 검출부(503)는 허위 컬러 잡음이 발생한 화소를 움직임 화소로 오판단하는 경우가 발생할 수도 있다. 본 명세서에서는 이와 같이 허위 컬러 잡음이 발생한 화소로서 움직임 화소로 잘못 판단된 화소를 "오검출 움직임 화소(false motion pixel)"이라고 칭한다. However, as illustrated in FIG. 9, the motion detector 503 may sometimes misjudge a pixel in which false color noise occurs as a motion pixel. In this specification, a pixel falsely determined as a motion pixel as a pixel in which false color noise has been generated is referred to as a "false motion pixel".
도 9의 (a) 및 (b)는 서로 연속적인 프레임 상에서 서로 대응하는 영역을 나타낸다. 연속적으로 도 9의 (a)와 (b)를 인식한 움직임 검출부(503)는 도면부호(901) 및 도면부호(902)로 나타낸 화소는 허위 컬러 잡음이 발생한 화소임에도 움직임이 발생한 화소이라고 잘못 판단할 수 있다. 9 (a) and 9 (b) show regions corresponding to each other on consecutive frames. The motion detection unit 503, which sequentially recognizes FIGS. 9A and 9B, incorrectly determines that the pixels indicated by the reference numerals 901 and 902 are the pixels where the movement occurs even though the pixels indicated by the false color noise are generated. can do.
연속된 프레임의 영상에서 허위 컬러 화소(오검출 움직임 화소를 포함함)은 움직임 화소에서 분리되어 제거되어야 한다. 종래 기술과 같이 시간적 필터로서 로 패스 필터(low pass filter)를 사용하면 스무딩(smoothing)이 지나쳐 상세정보를 제대로 표현하지 못하는 문제가 발생할 수 있고, 또한 로 패스 필터는 허위 컬러 잡음으로 판단되지 않은 오검출 움직임 화소를, 정상적인 움직임 화소와 구별하지 못해 오검출 움직임 화소를 제거할 수 없다는 문제가 있다. In an image of consecutive frames, false color pixels (including false detection motion pixels) should be separated from the motion pixels and removed. When using a low pass filter as a temporal filter as in the prior art, a problem may occur in which smoothing may be excessive and detailed information may not be properly represented. Also, the low pass filter may not be regarded as a false color noise. There is a problem in that the detection motion pixel cannot be distinguished from the normal motion pixel and the false detection motion pixel cannot be removed.
본 실시예에 따른 제2 필터(504)는 이하와 같이 프레임 별로 문턱치를 동적으로 결정함으로써, 오검출 움직임 화소를 포함한 허위 컬러 화소를 교정하고 어두운 영역에서의 엣지, 상세정보 등의 영상 특징을 보존한다. The second filter 504 according to the present embodiment dynamically determines a threshold for each frame as follows, thereby correcting false color pixels including false detection motion pixels and preserving image characteristics such as edges and details in a dark area. do.
이하, 제2 필터(504)가 허위 컬러 잡음을 제거하는 구성을 구체적으로 설명한다. 설명의 편의를 위해 소정의 프레임에 대응하는 "제1 영상 데이터"와 상기 프레임 직후 입력된 프레임에 대응하는 영상 데이터를 "제2 영상 데이터"라고 한다. Hereinafter, a configuration in which the second filter 504 removes false color noise will be described in detail. For convenience of description, the "first image data" corresponding to a predetermined frame and the image data corresponding to a frame input immediately after the frame are referred to as "second image data".
제2 필터(504)는 상기 제1 영상 데이터를 그레이 스케일로 변환하여 제1 그레이 스케일 영상 데이터를 생성하고, 상기 제2 영상 데이터를 그레이 스케일로 변환하여 제2 그레이 스케일 영상 데이터를 생성한다.The second filter 504 converts the first image data to gray scale to generate first gray scale image data, and converts the second image data to gray scale to generate second gray scale image data.
제2 필터(504)는 상기 제1 그레이 스케일 영상 데이터의 각 화소값의 평균값인 전체 평균값을 산출한다. 또한, 제2 필터(504)는 제1 그레이 스케일 영상 데이터 중 상기 단위 영역에 속하는 각 화소들의 화소값의 평균값인 단위 영역 평균값을 단위 영역 별로 산출한다. 허위 컬러 잡음을 제거하기 위해 사용되는 단위 영역의 크기는 상술한, 임펄스 잡음 또는 푸아송 잡음을 제거하기 위해 사용한 단위 영역, 또는 움직임 검출을 위해 사용한 단위 영역과 그 크기가 서로 상이하게 설정될 수 있다.The second filter 504 calculates an overall average value that is an average value of each pixel value of the first gray scale image data. In addition, the second filter 504 calculates, for each unit area, a unit area average value, which is an average value of pixel values of respective pixels of the first gray scale image data. The size of the unit region used to remove the false color noise may be set differently from the unit region used to remove the impulse noise or Poisson noise, or the unit region used for the motion detection. .
제2 필터(504)는 상기 단위 영역 평균값이 전체 평균값을 초과하는 경우, 상기 제1 그레이 스케일 영상 데이터 및 상기 제2 그레이 스케일 영상 데이터에 각각 대응하는 화소 중에서, 즉 그 좌표가 동일한 화소 중에서 그레이 스케일값이 큰 화소를 선택한다. When the average value of the unit region exceeds the overall average value, the second filter 504 may include a gray scale among pixels corresponding to the first gray scale image data and the second gray scale image data, that is, a pixel having the same coordinates. Select a pixel with a large value.
제2 필터(504)는 상기 단위 영역 평균값이 상기 전체 평균값 이하인 경우, 상기 제1 그레이 스케일 영상 데이터 및 상기 제2 그레이 스케일 영상 데이터에 각각 대응하는 화소 중에서, 즉 그 좌표가 동일한 화소 중에서 그레이 스케일 값이 작은 화소를 선택한다. When the average value of the unit region is less than or equal to the overall average value, the second filter 504 may include a gray scale value among pixels corresponding to the first gray scale image data and the second gray scale image data, that is, a pixel having the same coordinates. This small pixel is selected.
제2 필터(504)는 상기 제1 영상 데이터의 해당 화소, 즉 현재 프레임에서의 화소를 상기 선택된 화소로 대체한다.The second filter 504 replaces the corresponding pixel of the first image data, that is, the pixel in the current frame with the selected pixel.
상기와 같은 과정은 수학식 7과 같이 표현될 수 있다. The above process may be expressed as Equation 7.
x(i, j, t)와 y(i, j, t)는 제1 영상 데이터와 제2 영상 데이터에서 그 좌표가 대응하는 화소의 그레이 스케일 값을 나타낸다. 단위 영역 평균값, 는 전체 평균값을 나타낸다. 제2 필터(504)는 단위 영역 평균값과 전체 평균값을 프레임 별로 각각 산출하여 x(k,j,t)과, x(i,j,t-1)중에서 큰 값을 선택할지 작은 값을 선택할지 여부를 결정하고, 이러한 구성을 "문턱치를 프레임 별로 동적으로 산출한다"고 표현했다. x (i, j, t) and y (i, j, t) represent gray scale values of pixels whose coordinates correspond to the first image data and the second image data. Unit area mean, Represents the total mean value. The second filter 504 calculates the unit area average value and the total average value for each frame, and selects a larger value or a smaller value from x ( k, j, t ) and x ( i, j, t- 1). It is determined whether or not, and this configuration is expressed as "dynamically calculate the threshold for each frame."
이와 같은 방법으로 제2 필터(504)는 허위 컬러 잡음을 체크하고(S608), 허위 컬러 잡음을 제거(S609)하게 된다. 또한, 제2 필터(504)는 프레임 별로 문턱치를 산출함으로써, 종래기술에 의해서는 감지되지 않았던 오검출 움직임 화소도 효과적으로 감지, 제거할 수 있다. In this manner, the second filter 504 checks for false color noise (S608) and removes false color noise (S609). In addition, the second filter 504 calculates a threshold value for each frame, thereby effectively detecting and removing false detection motion pixels that were not detected by the prior art.
도 10는 저명도 영역으로 구분된 하나 이상의 세그멘트에 포함되는 영상 데이터에 있어서, 상기 영상 데이터로부터 임펄스 잡음, 푸아송 잡음, 허위 컬러 잡음을 제거하는 과정을 개략적으로 도시한 도면이다. FIG. 10 is a diagram schematically illustrating a process of removing impulse noise, Poisson noise, and false color noise in image data included in one or more segments divided into low brightness regions.
도 10를 참조하면, 잡음 처리 시스템에 의해 임펄스 잡음 및 푸아송 잡음이 제거되고, 움직임 검출부에 의해 움직임 화소로 오인된 오검출 움직임 화소는 동적 문턱치를 이용한 제2 필터에 의해 제거된다. 또한, 본 실시예에 따른 잡음 처리 시스템 및 제2 필터는 상술한 바와 같이 각각 상세정보 및 엣지를 보존하면서 잡음을 제거하도록 설계되어 있어, 결과적으로 본 실시예에 따른 영상 처리 시스템(500)을 이용하면, 빛이 충분하지 않은 환경에서 촬영된 영상으로부터 잡음이 없으면서도 선명한 영상을 출력할 수 있게 된다. Referring to FIG. 10, impulse noise and Poisson noise are removed by the noise processing system, and false detection motion pixels mistaken as motion pixels by the motion detector are removed by a second filter using a dynamic threshold. In addition, the noise processing system and the second filter according to the present embodiment are designed to remove noise while preserving the detailed information and the edges, respectively, as described above. As a result, the image processing system 500 according to the present embodiment is used. In this case, it is possible to output a clear image without noise from an image photographed in an environment where there is not enough light.
도 11은 본 발명에 따른 영상 처리 방법 및 시스템의 영상 처리 결과를 종래 기술의 영상 처리 결과와 비교한 도면이다. 상술한 바와 같이 본 실시예에 따르면, 카메라로부터 입력된 영상에 잡음 처리 시스템(공간적 필터의 기능 수행)가 적용된 후, 제2 필터(시간적 필터의 기능을 함)가 적용되기 전 움직임 검출이 수행되는 처리 순서를 갖는다. 11 is a view comparing the image processing result of the image processing method and system according to the present invention with the image processing result of the prior art. As described above, according to the present embodiment, after the noise processing system (functioning of the spatial filter) is applied to the image input from the camera, motion detection is performed before the second filter (functioning as the temporal filter) is applied. Has a processing sequence.
도 11을 참조하면, 카메라로부터 입력된 영상(1101)를 상기와 같은 처리 순서에 의해 처리한 결과 영상(1104)가, 종래기술에 따라 시공간적 필터(Spatio-Temporal filter)를 적용하고 움직임 디텍션을 수행하여 처리된 결과 영상(1102)나, 또 다른 종래 기술에 따라 움직임 디텍션을 적용하고 시공간적 필터를 적용한 결과 영상(1103)보다 효과적으로 잡음이 제거됨과 동시에 저명도 영역에서 영상 특징들이 잘 부각되었음을 알 수 있다. Referring to FIG. 11, as a result of processing the image 1101 input from the camera according to the processing sequence as described above, the image 1104 applies a spatial-temporal filter and performs motion detection according to the prior art. As a result of applying the motion detection and the spatiotemporal filter according to the conventional image 1102 or another conventional technique, the noise is removed more effectively than the image 1103 and the image characteristics are well highlighted in the low brightness region. .
상술한 바와 같이, 본 발명은 공간적 필터의 기능을 수행하는 잡음 처리 시스템을 먼저 영상에 적용하고, 시간적 필터의 기능을 수행하는 제2 필터를 영상에 적용하기 전에 움직임 검출을 먼저 수행하는 방식을 택함으로써, 제2 필터의 적용 결과 발생할 수 있는, 허위 컬러 잡음이 발생된 화소의 주변 화소에 대한 스미어링(smearing) 현상이 움직임 검출에 영향을 주지 않도록 하고 있다. 따라서, 움직임 검출부가 보다 정확한 움직임 검출을 수행할 수 있게 되고, 결과적으로 전체적으로 질 좋은 영상을 출력할 수 있게 된다. As described above, the present invention adopts a method in which a noise processing system that performs a function of a spatial filter is first applied to an image, and motion detection is first performed before applying a second filter, which functions as a temporal filter, to an image. As a result, smearing with respect to the surrounding pixels of the pixel in which the false color noise is generated, which may occur as a result of the application of the second filter, is prevented from affecting the motion detection. Therefore, the motion detection unit can perform more accurate motion detection, and as a result, it is possible to output a quality image as a whole.
도 12은 본 발명의 일실시예에 따른 영상 처리 방법 및 시스템의 영상 처리 결과 영상 파일의 압축 비율과 PSNR(Peak Signal to Noise Ratio)과의 관계를 종래 기술에 의한 영상 처리 결과와 비교한 도면이다. 본 실시예에 따른 영상 처리 시스템은 종래기술에 비해 잡음은 제거되고 상세정보가 보존된 선명한 영상을 출력하기 때문에 비디오 인코더(404)에서 상기 영상을 압축하는 경우에도 압축 효율이 향상되게 된다. 12 is a view comparing the relationship between the compression ratio of the image file and the PSNR (Peak Signal to Noise Ratio) of the image processing method and system according to an embodiment of the present invention with the image processing result according to the prior art. . Compared to the prior art, the image processing system according to the present embodiment outputs a clear image in which noise is removed and detailed information is preserved, and thus the compression efficiency is improved even when the video encoder 404 compresses the image.
도 12을 참조하면, 본 발명의 일실시예에 의한 영상 처리방법 및 시스템에 의해 처리된 영상 파일이 압축 비율과 PSNR 비(1202)의 측면에서 종래 기술에 의해 처리된 영상 파일(1201)보다 효율적임일 알 수 있다. Referring to FIG. 12, an image file processed by an image processing method and system according to an embodiment of the present invention is more efficient than an image file 1201 processed according to the prior art in terms of compression ratio and PSNR ratio 1202. Im knowing.
또한 본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the invention also include computer-readable media containing program instructions for performing various computer-implemented operations. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The medium or program instructions may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. The medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, or the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
도 13은 본 발명에 따른 영상 처리 방법 및 시스템를 구성하는 데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.13 is an internal block diagram of a general purpose computer system that may be employed to construct an image processing method and system in accordance with the present invention.
컴퓨터 시스템(1300)은 램(RAM: Random Access Memory)(1302)과 롬(ROM: Read Only Memory)(1303)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(1301)를 포함한다. 프로세서(1301)는 중앙처리장치(CPU)로 불리기도 한다. 본 기술분야에서 널리 알려져 있는 바와 같이, 롬(1303)은 데이터(data)와 명령(instruction)을 단방향성으로 CPU에 전달하는 역할을 하며, 램(1302)은 통상적으로 데이터와 명령을 양방향성으로 전달하는 데 사용된다. 램(1302) 및 롬(1303)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(Mass Storage)(1304)는 양방향성으로 프로세서(1301)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(1304)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드디스크와 같은 보조기억장치이다. CD 롬(1306)과 같은 특정 대용량 기억장치가 사용될 수도 있다. 프로세서(1301)는 비디오 모니터, 트랙볼, 마우스, 키보드, 마이크로폰, 터치스크린 형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱, 또는 기타 공지된 컴퓨터 입출력장치와 같은 하나 이상의 입출력 인터페이스(1305)와 연결된다. 마지막으로, 프로세서(1301)는 네트워크 인터페이스(1307)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당업자에게 잘 알려져 있다.Computer system 1300 includes one or more processors 1301 connected to a main memory including random access memory (RAM) 1302 and read only memory (ROM) 1303. The processor 1301 is also called a central processing unit (CPU). As is well known in the art, the ROM 1303 serves to transfer data and instructions to the CPU unidirectionally, and the RAM 1302 typically transfers data and instructions bidirectionally. Used to. RAM 1302 and ROM 1303 may include any suitable form of computer readable media. Mass storage 1304 is bidirectionally coupled to processor 1301 to provide additional data storage capability and may be any of the computer readable recording media described above. The mass storage device 1304 is used to store programs, data, and the like, and is a secondary memory device such as a hard disk which is generally slower than the main memory device. Certain mass storage devices, such as CD ROM 1306, may also be used. The processor 1301 may include one or more input / output interfaces such as video monitors, trackballs, mice, keyboards, microphones, touchscreen displays, card readers, magnetic or paper tape readers, voice or handwriting readers, joysticks, or other known computer input / output devices. 1305. Finally, the processor 1301 may be connected to a wired or wireless communication network through the network interface 1307. Through this network connection, the procedure of the method described above can be performed. The apparatus and tools described above are well known to those skilled in the computer hardware and software arts.
상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention.
본 발명에 따르면, 영상에 대한 공간적 필터링을 수행하는 과정에서 임펄스 잡음 또는 푸아송 잡음을 효과적으로 제거하면서도 영상의 엣지 또는 상세정보를 보존하여 선명도를 유지할 수 있는 잡음 처리 방법 및 그 시스템이 제공된다. According to the present invention, there is provided a noise processing method and system capable of maintaining sharpness by preserving edge or detailed information of an image while effectively removing impulse noise or Poisson noise in the process of performing spatial filtering on the image.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible.
따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should be understood only by the claims set forth below, and all equivalent or equivalent modifications thereof will belong to the scope of the present invention.
도 1은 본 발명의 일실시예에 따른 잡음 처리 시스템의 구성을 도시한 블록도이다. 1 is a block diagram showing the configuration of a noise processing system according to an embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 잡음 처리 시스템의 잡음 처리 과정을 도시한 흐름도이다. 2 is a flowchart illustrating a noise processing process of a noise processing system according to an embodiment of the present invention.
도 3은 본 발명의 일실시예에 따라 엣지 및 상세정보가 포함된 단위 영역과 엣지 및 상세정보가 포함되지 않은 단위 영역의 잡음 처리 결과를 도시한 도면이다. 3 is a diagram illustrating noise processing results of a unit region including edge and detailed information and a unit region including no edge and detailed information according to an exemplary embodiment of the present invention.
도 4는 본 발명에 따른 잡음 처리 시스템이 전처리필터(prefilter)로 사용되는 경우를 예시한 도면이다.4 is a diagram illustrating a case where a noise processing system according to the present invention is used as a prefilter.
도 5는 본 발명의 일실시예에 따른 잡음 처리 시스템이 적용된 영상 처리 시스템을 도시한 블록도이다. 5 is a block diagram illustrating an image processing system to which a noise processing system is applied according to an embodiment of the present invention.
도 6은 본 발명의 또 다른 일실시예에 따른 영상 처리 방법을 도시한 흐름도이다. 6 is a flowchart illustrating an image processing method according to another exemplary embodiment of the present invention.
도 7은 본 발명의 일실시예에 있어서, 분할 필터에 의해 고명도 영역과 저명도 영역으로 구분된 전체 영상을 예시적으로 도시한 도면이다.7 is a diagram exemplarily illustrating an entire image divided into a high brightness region and a low brightness region by a segmentation filter according to an embodiment of the present invention.
도 8은 임펄스 잡음 및 푸아송 잡음을 설명하기 위한 도면이다. 8 is a diagram for explaining impulse noise and Poisson noise.
도 9는 오검출 움직임 화소를 설명하기 위한 도면이다. 9 is a diagram for explaining a misdetection motion pixel.
도 10는 본 발명의 일실시예에 있어서, 저명도 영역으로 구분된 하나 이상의 세그멘트에 포함되는 영상 데이터에 있어서, 상기 영상 데이터로부터 임펄스 잡음, 푸아송 잡음, 허위 컬러 잡음을 제거하는 과정을 개략적으로 도시한 도면이다. FIG. 10 schematically illustrates a process of removing impulse noise, Poisson noise, and false color noise from image data included in one or more segments divided into low brightness regions according to an embodiment of the present invention. Figure is shown.
도 11은 본 발명에 따른 영상 처리 방법 및 시스템의 영상 처리 결과를 종래 기술의 영상 처리 결과와 비교한 도면이다.11 is a view comparing the image processing result of the image processing method and system according to the present invention with the image processing result of the prior art.
도 12는 본 발명의 일실시예에 따른 영상 처리 방법 및 시스템의 영상 처리 결과 영상 파일의 압축 비율과 PSNR(Peak Signal to Noise Ratio)과의 관계를 종래 기술에 의한 영상 처리 결과와 비교한 도면이다. 12 is a view comparing the relationship between the compression ratio of the image file and the PSNR (Peak Signal to Noise Ratio) of the image processing method and system according to an embodiment of the present invention with the image processing result according to the related art. .
도 13는 본 발명에 따른 영상 처리 방법 및 시스템을 구성하는 데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.13 is an internal block diagram of a general purpose computer system that may be employed to construct an image processing method and system in accordance with the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
101: 문턱치 산출부101: threshold calculation unit
102: 제1 필터부102: first filter unit
103: 제2 필터부103: second filter unit
Claims (5)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040067615A KR100485594B1 (en) | 2004-08-26 | 2004-08-26 | A method for removing noise in image and a system thereof |
PCT/KR2005/002742 WO2006022493A1 (en) | 2004-08-26 | 2005-08-19 | Method for removing noise in image and system thereof |
US10/579,087 US20070147697A1 (en) | 2004-08-26 | 2005-08-19 | Method for removing noise in image and system thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040067615A KR100485594B1 (en) | 2004-08-26 | 2004-08-26 | A method for removing noise in image and a system thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100485594B1 true KR100485594B1 (en) | 2005-04-27 |
Family
ID=35967671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020040067615A Expired - Lifetime KR100485594B1 (en) | 2004-08-26 | 2004-08-26 | A method for removing noise in image and a system thereof |
Country Status (3)
Country | Link |
---|---|
US (1) | US20070147697A1 (en) |
KR (1) | KR100485594B1 (en) |
WO (1) | WO2006022493A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8213738B2 (en) | 2007-08-23 | 2012-07-03 | Samsung Electro-Mechanics Co., Ltd. | Method for eliminating noise from image generated by image sensor |
KR20140012391A (en) * | 2012-07-20 | 2014-02-03 | 주식회사바텍 | Method and apparatus for de-nosing of x-ray imaging apparatus |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100835380B1 (en) * | 2007-01-15 | 2008-06-05 | 한국과학기술원 | Method and apparatus for detecting boundary of image and computer readable recording medium embodying the same |
JP4985117B2 (en) * | 2007-06-06 | 2012-07-25 | 株式会社ニコン | Image processing program and image processing apparatus |
US20090153739A1 (en) * | 2007-12-14 | 2009-06-18 | Texas Instruments Incorporated | Method and Apparatus for a Noise Filter for Reducing Noise in a Image or Video |
US20090161756A1 (en) * | 2007-12-19 | 2009-06-25 | Micron Technology, Inc. | Method and apparatus for motion adaptive pre-filtering |
EP2169592B1 (en) * | 2008-09-25 | 2012-05-23 | Sony Corporation | Method and system for reducing noise in image data |
JP5529424B2 (en) * | 2009-03-11 | 2014-06-25 | ソニー株式会社 | Image processing apparatus, image processing method, and computer program |
US8054290B2 (en) | 2009-05-27 | 2011-11-08 | Microsoft Corporation | Image contrast enhancement in depth sensor |
US20120004849A1 (en) * | 2010-03-22 | 2012-01-05 | Schlumberger Technology Corporation | Efficient windowed radon transform |
TWI456982B (en) * | 2010-03-30 | 2014-10-11 | Realtek Semiconductor Corp | Image processing device and spatial noise reducing method |
US8355064B2 (en) * | 2010-09-27 | 2013-01-15 | Sharp Laboratories Of America, Inc. | Noise reduction for machine vision systems |
KR20140026377A (en) * | 2011-02-07 | 2014-03-05 | 사이프레스 세미컨덕터 코포레이션 | Noise filtering devices, systems and methods for capacitance sensing devices |
JP2012256202A (en) * | 2011-06-09 | 2012-12-27 | Sony Corp | Image processing apparatus and method, and program |
CN102663696B (en) * | 2012-03-31 | 2015-03-25 | 广东威创视讯科技股份有限公司 | Denoising method of enlarged image and system thereof |
KR20130128690A (en) * | 2012-05-17 | 2013-11-27 | 삼성전자주식회사 | Method for image processing and image processing apparatus thereof |
US8942447B2 (en) | 2012-11-07 | 2015-01-27 | Sony Corporation | Method and apparatus for tissue region identification |
WO2014074399A1 (en) * | 2012-11-07 | 2014-05-15 | Sony Corporation | Method and apparatus for tissue region identification |
CN103218781B (en) * | 2013-04-07 | 2018-07-31 | 小米科技有限责任公司 | A kind of method and apparatus that space filtering processing is carried out to image |
JP2015186200A (en) * | 2014-03-26 | 2015-10-22 | ソニー株式会社 | Image processing device and method, and program |
CN107430694A (en) * | 2015-03-16 | 2017-12-01 | 诺基亚技术有限公司 | Mobile object detection based on motion blur |
CN108805840B (en) * | 2018-06-11 | 2021-03-26 | Oppo(重庆)智能科技有限公司 | Image denoising method, device, terminal and computer readable storage medium |
US10755387B2 (en) * | 2018-08-09 | 2020-08-25 | Dreamworks Animation Llc | Firefly detection using a plurality of buffers |
CN109712130B (en) * | 2018-12-26 | 2023-02-21 | 新疆大学 | Method and device for removing speckle noise in porous silicon microarray image |
TWI698124B (en) * | 2019-06-13 | 2020-07-01 | 瑞昱半導體股份有限公司 | Image adjustment method and associated image processing circuit |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5715335A (en) * | 1993-12-02 | 1998-02-03 | U.S. Philips Corporation | Noise reduction |
US5574512A (en) * | 1994-08-15 | 1996-11-12 | Thomson Consumer Electronics, Inc. | Motion adaptive video noise reduction system |
US5771318A (en) * | 1996-06-27 | 1998-06-23 | Siemens Corporate Research, Inc. | Adaptive edge-preserving smoothing filter |
US5768440A (en) * | 1996-12-18 | 1998-06-16 | Xerox Corporation | Adaptive noise removal for video images with less correction of current pixel for higher variations between surrounding pixels |
US6581170B1 (en) * | 1997-10-23 | 2003-06-17 | Sony Corporation | Source coding to provide for robust error recovery during transmission losses |
US6295382B1 (en) * | 1998-05-22 | 2001-09-25 | Ati Technologies, Inc. | Method and apparatus for establishing an adaptive noise reduction filter |
JP3862613B2 (en) * | 2002-06-05 | 2006-12-27 | キヤノン株式会社 | Image processing apparatus, image processing method, and computer program |
-
2004
- 2004-08-26 KR KR1020040067615A patent/KR100485594B1/en not_active Expired - Lifetime
-
2005
- 2005-08-19 US US10/579,087 patent/US20070147697A1/en not_active Abandoned
- 2005-08-19 WO PCT/KR2005/002742 patent/WO2006022493A1/en active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8213738B2 (en) | 2007-08-23 | 2012-07-03 | Samsung Electro-Mechanics Co., Ltd. | Method for eliminating noise from image generated by image sensor |
KR20140012391A (en) * | 2012-07-20 | 2014-02-03 | 주식회사바텍 | Method and apparatus for de-nosing of x-ray imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO2006022493A1 (en) | 2006-03-02 |
US20070147697A1 (en) | 2007-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100485594B1 (en) | A method for removing noise in image and a system thereof | |
US8131021B2 (en) | Two stage detection for photographic eye artifacts | |
US8184868B2 (en) | Two stage detection for photographic eye artifacts | |
KR100721543B1 (en) | Image Processing Method and System for Removing Noise Using Statistical Information | |
EP3644599B1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
US20060280363A1 (en) | Image processing apparatus and method, computer program, and storage medium | |
CN110287791B (en) | Screening method and system for face pictures | |
WO2008109644A2 (en) | Two stage detection for photographic eye artifacts | |
RU2721188C2 (en) | Improved contrast and noise reduction on images obtained from cameras | |
US7460689B1 (en) | System and method of detecting, recognizing, and tracking moving targets | |
US8379095B2 (en) | Method and apparatus for determining presence of user's hand tremor or intentional motion | |
CN114596210A (en) | Noise estimation method, device, terminal equipment and computer readable storage medium | |
EP2184712A2 (en) | Noise reduction for digital images | |
JP3818044B2 (en) | Noise removing apparatus, noise removing method, and computer-readable recording medium | |
KR100485593B1 (en) | A method for processing consecutive image input and a system thereof | |
KR100456102B1 (en) | Apparatus and Method of Motion Detection for Temporal Filtering | |
JP4253265B2 (en) | Shadow detection apparatus, shadow detection method and shadow detection program, image processing apparatus using shadow detection apparatus, image processing method using shadow detection method, and image processing program using shadow detection program | |
JP2002312787A (en) | Image processor, image processing method, recording medium and program | |
de Torres et al. | An efficient approach to automatic generation of time-lapse video sequences | |
JP2002312792A (en) | Image processor and image processing method and recording medium and its program | |
JP4230962B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2007049244A (en) | Image processing apparatus, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20040826 |
|
PA0201 | Request for examination | ||
A302 | Request for accelerated examination | ||
PA0302 | Request for accelerated examination |
Patent event date: 20050118 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20040826 Patent event code: PA03021R01I Comment text: Patent Application |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20050328 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20050418 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20050419 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20080228 Start annual number: 4 End annual number: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20090420 Start annual number: 5 End annual number: 5 |
|
PR1001 | Payment of annual fee |
Payment date: 20100419 Start annual number: 6 End annual number: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20110418 Start annual number: 7 End annual number: 7 |
|
PR1001 | Payment of annual fee |
Payment date: 20120418 Start annual number: 8 End annual number: 8 |
|
FPAY | Annual fee payment |
Payment date: 20130418 Year of fee payment: 9 |
|
PR1001 | Payment of annual fee |
Payment date: 20130418 Start annual number: 9 End annual number: 9 |
|
FPAY | Annual fee payment |
Payment date: 20140418 Year of fee payment: 10 |
|
PR1001 | Payment of annual fee |
Payment date: 20140418 Start annual number: 10 End annual number: 10 |
|
FPAY | Annual fee payment |
Payment date: 20150420 Year of fee payment: 11 |
|
PR1001 | Payment of annual fee |
Payment date: 20150420 Start annual number: 11 End annual number: 11 |
|
FPAY | Annual fee payment |
Payment date: 20160418 Year of fee payment: 12 |
|
PR1001 | Payment of annual fee |
Payment date: 20160418 Start annual number: 12 End annual number: 12 |
|
FPAY | Annual fee payment |
Payment date: 20170418 Year of fee payment: 13 |
|
PR1001 | Payment of annual fee |
Payment date: 20170418 Start annual number: 13 End annual number: 13 |
|
FPAY | Annual fee payment |
Payment date: 20180418 Year of fee payment: 14 |
|
PR1001 | Payment of annual fee |
Payment date: 20180418 Start annual number: 14 End annual number: 14 |
|
FPAY | Annual fee payment |
Payment date: 20190418 Year of fee payment: 15 |
|
PR1001 | Payment of annual fee |
Payment date: 20190418 Start annual number: 15 End annual number: 15 |
|
PR1001 | Payment of annual fee |
Payment date: 20200420 Start annual number: 16 End annual number: 16 |
|
PR1001 | Payment of annual fee |
Payment date: 20210419 Start annual number: 17 End annual number: 17 |
|
PR1001 | Payment of annual fee |
Payment date: 20220418 Start annual number: 18 End annual number: 18 |
|
PR1001 | Payment of annual fee |
Payment date: 20230418 Start annual number: 19 End annual number: 19 |
|
PR1001 | Payment of annual fee |
Payment date: 20240418 Start annual number: 20 End annual number: 20 |
|
PC1801 | Expiration of term |
Termination date: 20250226 Termination category: Expiration of duration |