JP2004259231A - Image noise detection method and apparatus - Google Patents
Image noise detection method and apparatus Download PDFInfo
- Publication number
- JP2004259231A JP2004259231A JP2003052282A JP2003052282A JP2004259231A JP 2004259231 A JP2004259231 A JP 2004259231A JP 2003052282 A JP2003052282 A JP 2003052282A JP 2003052282 A JP2003052282 A JP 2003052282A JP 2004259231 A JP2004259231 A JP 2004259231A
- Authority
- JP
- Japan
- Prior art keywords
- color
- noise
- image
- fluctuation
- variation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【課題】ノイズの度合いを定量化し、自動的にノイズの目立ちやすさを判定すること。
【解決手段】画像の明度成分の変動を検出する第１の色変動検出手段３と、画像の色差成分の変動を検出する第２の色変動検出手段４と、前記第１の色変動検出手段３で検出した色変動と前記第２の色変動検出手段４で検出した色変動を用いてノイズの度合いを判定するノイズ度合い判定手段５を設ける。ノイズ度合い判定手段５は、第１の色変動検出手段３で検出した明度成分の変動が小さいかつ、第２の色変動検出手段４で検出した色差成分の変動が大きいほどノイズの度合いが大きいと判定する。また、明度成分と色差成分ではそれぞれ異なるフィルタを用いて色変動を検出したり、色変動補正手段を設け色変動検出結果を補正するようにしてもよい。
【選択図】 図１An object of the present invention is to quantify the degree of noise and automatically determine the conspicuousness of noise.
A first color fluctuation detecting means for detecting a change in a lightness component of an image, a second color fluctuation detecting means for detecting a change in a color difference component of the image, and the first color fluctuation detecting means. There is provided a noise degree determining means 5 for determining the degree of noise using the color fluctuation detected in step 3 and the color fluctuation detected in the second color fluctuation detecting means 4. The noise degree judging means 5 determines that the degree of noise increases as the fluctuation of the lightness component detected by the first color fluctuation detecting means 3 decreases and the fluctuation of the color difference component detected by the second color fluctuation detecting means 4 increases. judge. Further, for the lightness component and the color difference component, color variation may be detected using different filters, or a color variation correction unit may be provided to correct the color variation detection result.
[Selection diagram] Fig. 1
Description
【０００１】
【発明の属する技術分野】
本発明は、画像のノイズを検出する方法および装置に関し、例えば、デジカメで撮影された、暗い画像に生じるノイズを検出するため等に適用される画像ノイズ検出方法および装置に関するものである。
【０００２】
【従来の技術】
画像のノイズ検出は従来技術として種々の手法が提案されており、例えば、以下のような技術が知られている。
（１） 色信号に含まれるノイズを検出することで色むら等の周期的なノイズを検出する（例えば特許文献１参照）。
（２） 明度信号より画像上のエッジ部を判定し、色差信号より色エッジ部を判定し、その結果エッジでない領域をノイズ領域とする（例えば特許文献２参照）。
（３） 入力映像信号の明度の変化量、水平平均明度などの特徴に応じて決定される閾値に基づいて明度信号のノイズを検出する（例えば特許文献３参照）。
以上の従来技術では、明度または色差のいずれか一方にのみ着目して、それらに含まれるノイズを検出しているものであり、これらの手法は、目立つノイズとそうでないノイズ、つまりノイズの度合いまで検出することは出来なかった。
【０００３】
【特許文献１】
特開平５−１８３９２４号公報
【特許文献２】
特願２００１−１７５８４３号公報
【特許文献３】
特開２００２−２４７４１３号公報
【０００４】
【発明が解決しようとする課題】
以上のように、従来技術では、ノイズ自体を検出することは出来ても、そのノイズが画像全体の中で人間に目立つものかそうでないかという判定までは行なっていなかった。
そのため、従来技術のノイズ検出方法を用いてノイズ除去を行なうと、目立つノイズも目立たないノイズも同じレベルで除去されてしまうので、部位によってノイズ除去不足や過剰なノイズ除去といったように判断されるという問題の発生を回避することができなかった。
本発明は、上記事情を考慮してなされたものであって、人間の目に気になるノイズの特徴に着目し、この特徴をもとにノイズ検出を行ないうことにより、ノイズの度合いを定量化し、自動的にノイズの目立ちやすさを判定することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明においては、図１に示すように画像の明度成分の変動を検出する第１の色変動検出手段３と、画像の色差成分の変動を検出する第２の色変動検出手段４と、前記第１の色変動検出手段３で検出した色変動と前記第２の色変動検出手段４で検出した色変動を用いてノイズの度合いを判定するノイズ度合い判定手段５を設ける。
上記ノイズ度合い判定手段５は、第１の色変動検出手段３で検出した明度成分の変動が小さいかつ、第２の色変動検出手段４で検出した色差成分の変動が大きいほどノイズの度合いが大きいと判定する。
上記手法を用いると、人間の目に目立って見えるノイズを検出し、それらのノイズ度合いを判定することができる。
【０００６】
本発明の処理の流れの概要を図２に示す。
図２に示すように処理対象画像を入力し、入力した画像を明度成分と色差成分に変換する。そして、明度成分の変動、色差成分の変動の検出を行なった後、ノイズ度合いの判定を行なう。明度成分の色変動が小さいかつ、色差成分の色変動が大きい領域をノイズ度合いが大きい領域と判定するこれにより人間の目に目立つノイズを検出することができる。
ここで、画像ノイズの目立ちやすさと明度、色差との間には以下の関係がある。ノイズがなければ彩度、色相、ａ＊ 、ｂ＊ （Ｌ＊ ａ ＊ｂ＊ 表色系の色差成分）の変動は明度の変動を伴い、人工的に着色したもの以外は明度が同じで色差だけ変わるようなことはほとんどない。
明度はＲＧＢの重み平均なのでノイズがキャンセルされるため明度成分にはノイズが発生しにくい。明度の変化の少ない平坦な部分のノイズが目立つ。すなわち、明度の色変動が小さい領域での色差の色変動は目立つということである。
以上をまとめると、ノイズには以下の表１のような特徴があるのである。本発明では、このようなノイズの特徴の領域をノイズとして定義して検出し、ノイズ度合いの判定を行なっている。
【０００７】
【表１】
また、本発明では以下のように構成することもできる。
（１）明度成分と色差成分ではそれぞれ異なるフィルタを用いて色変動の検出を行なう。
明度成分と色差成分では、色変動の周期が異なっている。各成分に異なったフィルタを用いて検出することで適応的に色変動を検出することが可能となる。
なお、明度成分、色差成分のどちらも、様々な周期の色変動がある。そのため、その周期に応じたフィルタを組み合わせて演算結果を合成することで色変動検出を行なう。
（２）エッジ部分を検出せずにノイズ除去を行うと、エッジ部分を大きく補正してしまい、画像がぼけて画質が劣化する。
しかし、明度成分のエッジ部分のノイズは、人間の目には目立ちにくい特性があるので、エッジ部分のノイズを除去する必要はない。そこで、明度成分から色変動を検出する際に、明度成分のエッジも検出するフィルタを用いる。
このフィルタにより検出した明度成分のエッジ部分は、ノイズ度合いが小さい領域として判定することで、ノイズ除去時に画像がぼけることを防ぐことができる。
（３）無彩色の中に存在するノイズが人間の目に目立つという特性がある。例えば、暗い色のところに発生する明るい色のノイズは目立つ。
この特性を考慮して、色差成分から色変動を検出する際に、色変動検出結果を補正するのがよい。つまり、色変動検出結果が同じであっても、色変動検出を行った際の変動量と、色変動の計算対象画素（色変動検出をした画素）の色に応じて色変動検出結果の補正を行なう。
（４）本発明では、明度成分の色変動が小さく、色差成分の色変動が大きいとき、ノイズ度合いが大きいと判定するが、例外領域が二つある。
一つは、後述する図６のＡに示すように、色差成分の変動がある閾値よりも小さい時は、その値が明度成分の変動の値よりも大きくてもノイズ度合いが小さい領域とする。
もう一つは、後述する図６のＢに示すように、明度成分の変動のある閾値までは、色差成分の変動に依存せずに同じノイズ度合いと判定する。
（５）ノイズ度合いを判定する際、明度変動、色差変動、ノイズ度合いの関係を示すテーブルをあらかじめ作成しておくと、画像内の明度変動と色差変動の値からテーブルを参照することでノイズ度合いを判定することができる。
【０００９】
【発明の実施の形態】
図１は本発明の第１の実施例の画像ノイズ検出装置の機能構成を示すブロック図である。
図１において、１は入力手段、２は入力画像を明度成分と色差成分に分解する変換手段である。変換手段２の出力である明度成分と色差成分は、それぞれ第１の色変動検出手段３、第２の色変動検出手段４に与えられ、第１、第２の色変動検出手段３，４でそれぞれの変動を検出する。
ノイズ度合い判定手段５は、上記第１の色変動検出手段３が出力する明度成分の変動、第２の色変動検出手段４が出力する色成分の変動に基づき、前記表１に示した原理に基づき画像のノイズを判別する。
本発明は、図３に示すような処理装置で実現することができる。同図に示すように、処理装置は画像を読み取るセンサ２５、読み取った画像データをデジタル信号に変換するＡ／Ｄ変換器２６、ＣＰＵ２１とＲＯＭ２２、ＲＡＭ２３、不揮発性記憶媒体２４等から構成され、これらがバス２７で接続されている。
ＲＯＭ２２とＲＡＭ２３には、画像ノイズ検出処理を行うためのプログラムやデータが格納され、ＣＰＵ２１が、予めＲＯＭに記憶されているプログラムもしくは外部記憶装置からＲＡＭに読込まれたプログラムを実行することにより、本実施例の画像ノイズ検出処理を実現する。
【００１０】
図４は本実施例の処理の流れを示すフローチャートである。
図４において、まず入力した画像を明度成分、色差成分に分解する（ステップＳ１）。ついで、成分ごとに色変動検出を行い、色変動検出結果からノイズ度合い判定量γを計算する（ステップＳ４）。なお、ノイズ度合い判定量については、後に記述する。
そして、ノイズ度合い判定量γが予め定めた閾値αより大きいかを判定し（ステップＳ５）、γ＞αでなければノイズなしと判定し（ステップＳ５）、γ＞αであれば、ノイズありと判定する（ステップＳ６）。以上の処理を全画素について行い、全画素の処理が終われば（ステップＳ７）、処理を終了する。
【００１１】
ノイズ度合いの判定は次のように行われる。
明度成分の色変動を縦軸に、色差の色変動を横軸として対象画素の１画素毎にプロットを行うと、例えば図５に示すように境界線（同図中の太実線）を境に、ノイズ領域と非ノイズ領域に分けることができる。これは前記表１にまとめたノイズの特徴から導かれる。
縦軸に明度成分の色変動検出結果の値をプロットし、横軸は、色差成分（ａ＊ 成分とｂ＊ 成分）の色変動検出結果から算出した値（ΔＣｏｎｃｅｎｔｒａｔｉｏｎ ）をプロットする
上記ΔＣｏｎｃｅｎｔｒａｔｉｏｎ の値は、色差成分の色変動を（ａ＊ ，ｂ＊ ）とすると、次の数式（１）で与えられる。
ΔＣｏｎｃｅｎｔｒａｔｉｏｎ ＝（ａ＊ ２ ＋ｂ＊ ２ ）１／２ …数式（１）
図５において、両者の境界線は、ノイズの属性は画像と独立であることから入力画像に寄らず一意に定まる。
【００１２】
ここで、色差の変動が大きく、明度の変動が小さいとき目立つノイズが存在する可能性が大きいが、前述したように、色差成分の変動がある閾値よりも小さい時は、その値が明度成分の変動の値よりも大きくてもノイズ度合いが小さい領域とする。
すなわち、図６の境界線Ａに示すように、色差の変動がある閾値αよりも小さい領域は、明度成分の変動に依存せず、非ノイズ領域とする。
また、明度成分の変動のある閾値までは、色差成分の変動に依存せずに同じノイズ度合いと判定する。すなわち、同図に示すように、境界線Ａに平行なラインＢ上の点は、同じノイズ度合いであると判定し、また閾値βまでは、色差成分の変動に依存せずに同じノイズ度合いであると判定する。
従って、前記図５において、ノイズ度合いγは次のように求められる。
まず画像の各画素から得た明度成分の変動、色差成分の変動を図５上にプロットする。そして、プロットされた点を通る同じノイズ度合いを表すラインが、色変動軸と交わった際の軸上の値を求め、この値によりノイズ度合いを判定する。
例えば、図５において、明度成分の変動、色差成分の変動に相当する点として点Ｐ１がプロットされたとすると、点Ｐ１を通る同じノイズ度合いを表すラインＢ１が、横軸と交わる点γ１の値をノイズ度合いとする。同様に、明度成分の変動、色差成分の変動に相当する点として点Ｐ２がプロットされたとすると、点Ｐ２を通る同じノイズ度合いを表すラインＢ２が、横軸と交わる点γ２の値をノイズ度合いとする。そして、この値γ１，γ２が閾値αより大きければ、ノイズの可能性が大きいと判定する。
【００１３】
ノイズ領域と非ノイズ領域の境界は以下の数式（２）で表すことができる。ここで、ｘは色差成分の変動（ΔＣｏｎｃｅｎｔｒａｔｉｏｎ ），ｙは明度成分の変動の値、ｍは係数、α，βは前記図５に示した閾値α、βである。
ノイズ度合いを判定する際は、明度の変動と色差成分の変動の値から求められるｘ，ｙを以下の数式（３）に代入し、ノイズ度合い判定量γを算出し、閾値α（図５参照）の値を基準として、γの値が大きくなるほどノイズ度合いが大きく、γの値が小さくなるほどノイズ度合いは小さいと判定する。
【００１４】
【数１】
なお、上記数式によりγを求める代わりに、予め明度変動、色差変動、ノイズ度合いの関係を示すテーブルを作成しておき、ノイズ度合い判定手段は、このテーブルを参照してノイズ度合いを判定するようにしてもよい。
【００１６】
デジタルカメラで撮影されたノイズを含む画像に対して、明度成分と色差成分に分解したところ、明度の色変動はほとんど見られないが、色差成分には大きな色変動が生じていることが分かった。
したがって、上記のようにノイズ領域での明度成分と色差成分の色変動の違いからノイズ判定（ノイズの強弱）を行えば、人間に目立つノイズであるか否かを判定することができる。
しかし、色変動には細かい粒状性の色変動から大きいブロック状の色変動など、様々な周期の変動が見られる。したがって、色変動を検出する際に、大小のフィルタを組み合わせて検出すれば、これらの様々な周期の変動を検出することができる。
図７は、上記のようにフィルタを用いた本発明の第２の実施例機能ブロックであり、同図では、前記入力手段２、変換手段３は省略されている。
同図に示すように、本実施例では、第１の色変動検出手段３、第２の色変動検出手段４を複数のフィルタを適用した色変動検出手段から構成し、その出力を演算結果合成手段６，７で合成し、ノイズ度合い判定手段５に入力する。
ここで、前記したように、明度成分と色差成分では、色変動の周期が異なっている。そこで、明度成分と色差成分ではそれぞれ異なるフィルタを用いて色検出を行なうことで、適応的に色変動を検出することが可能となる。
【００１７】
また、前記したように、エッジ部分を検出せずにノイズ除去を行うと、エッジ部分を大きく補正してしまい、画像がぼけて画質が劣化する。しかし、明度成分のエッジ部分のノイズは、人間の目には目立ちにくい特性があるので、エッジ部分のノイズを除去する必要はない。
そこで、明度成分から色変動を検出する際に、明度成分のエッジも検出するフィルタを用い、このフィルタにより検出した明度成分のエッジ部分は、ノイズ度合いが小さい領域として判定する。これにより、ノイズ除去時に画像がぼけることを防ぐことができる。
図８に色変動検出の際のフィルタ処理の流れを示す。同図（ａ）に示すように、明度成分については、複数のフィルタを用いてエッジ＋明度変動を検出し、フィルタ演算結果を合成する。また、同図（ｂ）に示すように、色差成分については、複数のフィルタを用いて色変動を検出し、フィルタ演算結果を合成する。 上記演算結果は、図７に示したノイズ度合い判定手段５に与えられ、前記したようにノイズ度合いが判定される。
【００１８】
ところで、ノイズ検出を行う際に、色変動の関係だけでなく、無彩色の中に存在するノイズが目立つという特徴がある。この特徴に着目し、色変動計算結果を補正することで目立つノイズを判定することが可能となる。
そこで、第２の色変動検出手段４に色変動補正手段を設け、色変動検出結果を補正する。
上記色変動補正手段は、次のようにして色変動を補正する。
色変動検出を行なう前の色変動の彩度成分と、色変動検出を行なった後の色変動の彩度成分との彩度差ΔＣａｂ ＊ 、色変動検出を行なう前の色変動の色相成分と、色変動検出を行なった後の色変動の色相成分との色相差ΔＨａｂ ＊ 、また色変動検出を行なう前の色（ａ２ ＊ ，ｂ２ ＊ ）〔色変動の計算対象画素の色〕と色変動検出を行なった後の色変動（ａ１ ＊ ，ｂ１ ＊ ）を用いて以下の数式（４）からΔＣｏｎｃｅｎｔｒａｔｉｏｎ を算出する。
【００１９】
【数２】
なお、上記数式（４）において、Ｃａｂ１ ＊ として、色変動を用いる場合には、ΔＣｏｎｃｅｎｔｒａｔｉｏｎ１＝（ａ１ ＊２＋ｂ１ ＊２ ）１／２ を用い、色のみを用いる場合にはΔＣｏｎｃｅｎｔｒａｔｉｏｎ２＝（ａ２ ＊２ ＋ｂ２ ＊２）１／２ を用いて、色変動を補正するようにしてもよい。
この式を用いると、色変動を補正して、無彩色の中に存在する有彩色の色変動が検出されるようになる。例えば、暗い色の中に存在する赤のノイズが大きく判定される。これは、暗い色と赤色は色相差が大きいために、ΔＣｏｎｃｅｎｔｒａｔｉｏｎ が大きくなるからである。
また、ＳＣ ，ＳＨ の値を調整することで、彩度成分を用いた補正、色相成分を用いた補正を行うことが可能となる。
【００２１】
（付記１） 画像の明度成分の変動を検出するとともに、画像の色差成分の変動を検出し、
画像の明度成分の変動が小さく、かつ、画像の色差成分の変動が大きいほどノイズ度合いが大きいと判定する
ことを特徴とする画像ノイズ検出方法。
（付記２） 画像の明度成分の変動を検出する第１の色変動検出手段と、画像の色差成分の変動を検出する第２の色変動検出手段と、
前記第１の色変動検出手段で検出した明度成分の変動と前記第２の色変動検出手段で検出した色差成分の変動を用いてノイズの度合いを判定するノイズ度合い判定手段を備え、
上記ノイズ度合い判定手段は、第１の色変動検出手段で検出した変動が小さいかつ、第２の色変動検出手段で検出した変動が大きいほどノイズ度合いが大きいと判定する
ことを特徴とする画像ノイズ検出装置。
（付記３） 上記第１の色変動検出手段と、第２の色変動検出手段に、それぞれ異なるフィルタを使う
ことを特徴とする付記２の画像ノイズ検出装置。
（付記４） 上記第１の色変動検出手段と、第２の色変動検出手段の両方またはいずれか一方が、複数のフィルタ演算結果を組み合わせて、合成するフィルタ演算結果合成手段を有する
ことを特徴とする付記３の画像ノイズ検出装置。
（付記５） 第１の色変動検出手段は、エッジ検出機能を有するフィルタを使用し、エッジ部分は、ノイズ度合いが少ない領域と判定する
ことを特徴とする付記３または付記４の画像ノイズ検出装置。
（付記６） 第２の色変動検出手段が、色変動および／または色変動の計算対象画素の色に応じて色変動計算結果を補正する色変動補正手段を有する
ことを特徴とする請求項２または請求項３の画像ノイズ検出装置。
（付記７） 画像ノイズを検出するプログラムであって、
上記プログラムは、画像の明度成分の変動を検出する処理と、画像の色差成分の変動を検出する処理と、
画像の明度成分の変動が小さく、かつ、画像の色差成分の変動が大きいほどノイズ度合いが大きいと判定する処理をコンピュータに実行させる
ことを特徴とす画像ノイズ検出プログラム。
【００２２】
【発明の効果】
以上説明したように、本発明によれば、画像の明度成分の変動を検出するとともに、画像の色差成分の変動を検出し、画像の明度成分の変動が小さく、かつ、画像の色差成分の変動が大きいほどノイズ度合いが大きいと判定するようにしたので、人間の目に目立つノイズを検出することが可能となる。
また、この手法を用いてノイズ検出を行った後、ノイズ除去を行うと過度なノイズ除去をすることなくノイズ度合いに応じて補正量を調整できるため、良好にノイズの少ない画像を生成することが可能になる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の画像ノイズ検出装置の機能構成を示すブロック図である。
【図２】本発明の画像ノイズ検出処理の概要を示す図である。
【図３】本発明を実現するための処理装置の構成例を示す図である。
【図４】本発明の第１の実施例の処理の流れを示すフローチャートである。
【図５】ノイズ領域を説明する図である。
【図６】ノイズ領域とノイズ度合いが一定の領域を説明する図である。
【図７】フィルタを用いた本発明の第２の実施例機能ブロックである。
【図８】色変動検出の際のフィルタ処理の流れを示す図である。
【符号の説明】
１ 入力手段
２ 変換手段
３ 第１の色変動検出手段
４ 第２の色変動検出手段
５ ノイズ度合い判定手段
６，７ 演算結果合成手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method and an apparatus for detecting noise in an image, for example, to an image noise detection method and an apparatus applied for detecting noise occurring in a dark image captured by a digital camera.
[0002]
[Prior art]
Various techniques have been proposed as conventional techniques for image noise detection. For example, the following techniques are known.
(1) Periodic noise such as color unevenness is detected by detecting noise included in a color signal (for example, see Patent Document 1).
(2) An edge portion on an image is determined from a brightness signal, and a color edge portion is determined from a color difference signal. As a result, a region that is not an edge is set as a noise region (for example, see Patent Document 2).
(3) Noise of a brightness signal is detected based on a threshold value determined according to features such as a brightness change amount and a horizontal average brightness of an input video signal (for example, see Patent Document 3).
In the above-described conventional techniques, only one of the brightness and the color difference is focused on, and the noise included therein is detected. It could not be detected.
[0003]
[Patent Document 1]
JP-A-5-183924 [Patent Document 2]
Japanese Patent Application No. 2001-175843 [Patent Document 3]
JP 2002-247413 A
[Problems to be solved by the invention]
As described above, in the related art, even though the noise itself can be detected, it has not been determined whether the noise is noticeable to a human in the entire image or not.
Therefore, if noise is removed using the conventional noise detection method, both noticeable noise and inconspicuous noise are removed at the same level, and it is determined that noise removal is insufficient or excessive noise removal depending on the part. The problem could not be avoided.
The present invention has been made in consideration of the above circumstances, and focuses on a characteristic of noise that is annoying to human eyes, and performs noise detection based on this characteristic to quantify the degree of noise. It is an object to automatically determine the conspicuousness of noise.
[0005]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, in the present invention, as shown in FIG. 1, a first color variation detecting means 3 for detecting a variation of a lightness component of an image, and a second color variation detecting means for detecting a variation of a color difference component of the image. A
The noise degree judging means 5 has a larger degree of noise as the fluctuation of the lightness component detected by the first color fluctuation detecting means 3 is smaller and the fluctuation of the color difference component detected by the second color fluctuation detecting means 4 is larger. Is determined.
Using the above method, it is possible to detect noises that are conspicuous to human eyes and determine the degree of the noises.
[0006]
FIG. 2 shows an outline of the processing flow of the present invention.
As shown in FIG. 2, a processing target image is input, and the input image is converted into a lightness component and a color difference component. Then, after detecting a change in the lightness component and a change in the color difference component, the degree of noise is determined. An area where the color variation of the lightness component is small and the color variation of the color difference component is large is determined to be an area with a large degree of noise. Thus, noise that is noticeable to human eyes can be detected.
Here, there is the following relationship between the conspicuousness of image noise and the brightness and color difference. If there is no noise, the change in saturation, hue, a * , b * (color difference component of L * a * b * color system) accompanies the change in lightness. There is hardly anything that changes.
Since the brightness is an average of the RGB weights, noise is canceled, so that noise does not easily occur in the brightness component. Noise in a flat part with little change in brightness is noticeable. In other words, the color fluctuation of the color difference in a region where the color fluctuation of the brightness is small is conspicuous.
Summarizing the above, noise has characteristics as shown in Table 1 below. In the present invention, such a noise characteristic region is defined and detected as noise, and the degree of noise is determined.
[0007]
[Table 1]
Further, the present invention can be configured as follows.
(1) Color variations are detected using different filters for the lightness component and the color difference component.
The brightness component and the color difference component have different color variation periods. By detecting each component using a different filter, it is possible to adaptively detect color fluctuation.
Note that both the brightness component and the color difference component have color fluctuations in various cycles. Therefore, color fluctuation detection is performed by combining the calculation results by combining filters according to the cycle.
(2) If noise removal is performed without detecting an edge portion, the edge portion is largely corrected, and the image is blurred and the image quality is deteriorated.
However, since the noise at the edge portion of the brightness component has a characteristic that is inconspicuous to human eyes, it is not necessary to remove the noise at the edge portion. Therefore, when detecting color variation from the lightness component, a filter that also detects the edge of the lightness component is used.
By determining the edge portion of the brightness component detected by this filter as a region having a small noise level, it is possible to prevent an image from being blurred when noise is removed.
(3) There is a characteristic that noise existing in achromatic colors is noticeable to human eyes. For example, light-colored noise generated in a dark color is noticeable.
In consideration of this characteristic, it is preferable to correct the color variation detection result when detecting color variation from the color difference component. In other words, even if the color variation detection result is the same, the correction of the color variation detection result is performed in accordance with the variation amount at the time of performing the color variation detection and the color of the color variation calculation target pixel (the pixel for which the color variation is detected) Perform
(4) In the present invention, when the color variation of the lightness component is small and the color variation of the color difference component is large, it is determined that the degree of noise is large, but there are two exceptional regions.
One is that, as shown in FIG. 6A described later, when the variation of the color difference component is smaller than a certain threshold value, the noise degree is small even if the value is larger than the variation value of the lightness component.
The other is, as shown in FIG. 6B to be described later, that the noise level is determined to be the same without depending on the variation of the color difference component up to a threshold having a variation of the brightness component.
(5) When determining the degree of noise, if a table showing the relationship between brightness variation, color difference variation, and noise level is created in advance, the noise level can be determined by referring to the table based on the values of brightness variation and color difference variation in the image. Can be determined.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a block diagram showing a functional configuration of the image noise detection device according to the first embodiment of the present invention.
In FIG. 1, reference numeral 1 denotes input means, and 2 denotes conversion means for decomposing an input image into a lightness component and a color difference component. The lightness component and the color difference component, which are the outputs of the conversion means 2, are given to the first color fluctuation detection means 3 and the second color fluctuation detection means 4, respectively, and are output from the first and second color fluctuation detection means 3, 4, respectively. Detect each variation.
The noise degree judging means 5 is based on the principle shown in Table 1 based on the variation of the lightness component output by the first color variation detecting means 3 and the variation of the color component output by the second color
The present invention can be realized by a processing device as shown in FIG. As shown in the figure, the processing device includes a
Programs and data for performing image noise detection processing are stored in the
[0010]
FIG. 4 is a flowchart showing the flow of the processing of this embodiment.
In FIG. 4, first, an input image is decomposed into a lightness component and a color difference component (step S1). Next, color variation detection is performed for each component, and the noise degree determination amount γ is calculated from the color variation detection result (step S4). The noise level determination amount will be described later.
Then, it is determined whether the noise degree determination amount γ is larger than a predetermined threshold α (step S5). If γ> α, it is determined that there is no noise (step S5). If γ> α, it is determined that there is noise. A determination is made (step S6). The above processing is performed for all pixels, and when the processing for all pixels is completed (step S7), the processing ends.
[0011]
The determination of the degree of noise is performed as follows.
When plotting for each pixel of the target pixel with the color fluctuation of the lightness component on the vertical axis and the color fluctuation of the color difference on the horizontal axis, for example, as shown in FIG. 5, the boundary (thick solid line in FIG. 5) , A noise area and a non-noise area. This is derived from the noise characteristics summarized in Table 1 above.
The vertical axis plots the value of the color variation detection result of the lightness component, and the horizontal axis plots the value (ΔConcentration) calculated from the color variation detection results of the color difference components (a * component and b * component). Is given by the following equation (1), where the color variation of the color difference component is (a * , b * ).
ΔConcentration = (a * 2 + b * 2 ) 1/2 Expression (1)
In FIG. 5, the boundary between the two is uniquely determined regardless of the input image because the noise attribute is independent of the image.
[0012]
Here, when the variation of the color difference is large and the variation of the brightness is small, there is a large possibility that there is a noticeable noise. However, as described above, when the variation of the color difference component is smaller than a certain threshold, the value of the brightness component is It is an area where the degree of noise is small even if it is larger than the value of the fluctuation.
That is, as shown by the boundary line A in FIG. 6, a region where the color difference fluctuation is smaller than a certain threshold α is a non-noise region without depending on the fluctuation of the lightness component.
In addition, up to a threshold having a change in the lightness component, the same noise degree is determined without depending on the change in the color difference component. That is, as shown in the figure, the points on the line B parallel to the boundary line A are determined to have the same noise level, and up to the threshold β, with the same noise level without depending on the variation of the color difference component. It is determined that there is.
Therefore, in FIG. 5, the noise degree γ is obtained as follows.
First, the variation of the lightness component and the variation of the color difference component obtained from each pixel of the image are plotted on FIG. Then, a value on an axis when a line representing the same noise level passing through the plotted points intersects the color variation axis is obtained, and the noise level is determined based on this value.
For example, in FIG. 5, assuming that the point P1 is plotted as a point corresponding to the variation of the lightness component and the variation of the color difference component, the value of the point γ1 at which the line B1 passing through the point P1 and representing the same noise level intersects the horizontal axis is Noise level. Similarly, assuming that the point P2 is plotted as a point corresponding to a change in the brightness component and a change in the color difference component, a line B2 passing through the point P2 and representing the same noise level is defined by the value of the point γ2 intersecting the horizontal axis as the noise level. I do. If the values γ1 and γ2 are larger than the threshold α, it is determined that the possibility of noise is large.
[0013]
The boundary between the noise area and the non-noise area can be expressed by the following equation (2). Here, x is the variation of the color difference component (ΔConcentration), y is the value of the variation of the lightness component, m is a coefficient, and α and β are the threshold values α and β shown in FIG.
When determining the noise degree, x and y obtained from the values of the change in the brightness and the change in the color difference component are substituted into the following equation (3) to calculate the noise degree determination amount γ, and the threshold α (see FIG. 5). ), The degree of noise is determined to increase as the value of γ increases, and the degree of noise decreases as the value of γ decreases.
[0014]
(Equation 1)
Instead of obtaining γ by the above formula, a table showing the relationship between brightness variation, color difference variation, and noise level is created in advance, and the noise level determining means determines the noise level by referring to this table. You may.
[0016]
When an image containing noise captured by a digital camera was decomposed into a lightness component and a color difference component, almost no color change in lightness was seen, but it was found that large color change occurred in the color difference component. .
Therefore, if the noise determination (the strength of the noise) is performed based on the difference in the color variation between the brightness component and the color difference component in the noise region as described above, it is possible to determine whether the noise is noticeable to humans.
However, the color fluctuation includes fluctuations of various periods, such as fine granularity color fluctuation to large block-like color fluctuation. Therefore, when detecting color fluctuations, by detecting a combination of large and small filters, it is possible to detect fluctuations in these various periods.
FIG. 7 is a functional block diagram of the second embodiment of the present invention using a filter as described above. In FIG. 7, the input means 2 and the conversion means 3 are omitted.
As shown in the figure, in the present embodiment, the first color fluctuation detecting means 3 and the second color
Here, as described above, the cycle of color fluctuation differs between the lightness component and the color difference component. Therefore, by performing color detection using different filters for the lightness component and the color difference component, it is possible to adaptively detect color fluctuation.
[0017]
Further, as described above, if noise removal is performed without detecting an edge portion, the edge portion is largely corrected, and the image is blurred and the image quality is deteriorated. However, since the noise at the edge portion of the brightness component has a characteristic that is inconspicuous to human eyes, it is not necessary to remove the noise at the edge portion.
Therefore, when detecting color variation from the lightness component, a filter that also detects the edge of the lightness component is used, and the edge portion of the lightness component detected by this filter is determined as a region having a small noise degree. As a result, it is possible to prevent the image from being blurred during noise removal.
FIG. 8 shows a flow of the filter processing at the time of color variation detection. As shown in FIG. 3A, for the brightness component, the edge + brightness variation is detected using a plurality of filters, and the filter operation results are synthesized. In addition, as shown in FIG. 3B, for the color difference component, a color variation is detected using a plurality of filters, and a filter operation result is synthesized. The above calculation result is given to the noise
[0018]
By the way, when performing noise detection, there is a feature that not only the relationship of color variation but also noise existing in achromatic colors is conspicuous. By paying attention to this feature and correcting the color variation calculation result, it is possible to determine a noticeable noise.
Therefore, a color variation correction unit is provided in the second color
The color variation correction means corrects color variation as follows.
Saturation difference ΔC ab * between the chroma component of the color variation before the color variation detection and the chroma component of the color variation after the color variation detection, and the hue component of the color variation before the color variation detection And the hue difference ΔH ab * between the hue component of the color variation after the color variation detection and the color (a2 * , b2 * ) before the color variation detection (the color of the pixel to be calculated for the color variation) Using the color fluctuations (a1 * , b1 * ) after the color fluctuation detection, ΔConcentration is calculated from the following equation (4).
[0019]
(Equation 2)
In the above equation (4), as C ab 1 *, in the case of using a color change, ΔConcentration1 = (a1 * 2 + b1 * 2) using a 1/2 in the case of using the color only ΔConcentration2 = (a2 * 2 + b2 * 2 ) The color variation may be corrected using 1/2 .
Using this formula, the color fluctuation is corrected, and the color fluctuation of the chromatic color existing in the achromatic color is detected. For example, red noise existing in a dark color is determined to be large. This is because ΔConcentration increases because the hue difference between the dark color and the red color is large.
Furthermore, S C, by adjusting the value of S H, correction using the saturation component, it is possible to perform correction using the hue component.
[0021]
(Supplementary Note 1) In addition to detecting a change in the brightness component of the image, a change in the color difference component of the image is detected,
An image noise detection method, characterized in that it is determined that the fluctuation of the brightness component of the image is small and the fluctuation of the color difference component of the image is large, the noise degree is large.
(Supplementary Note 2) First color fluctuation detecting means for detecting a change in the brightness component of the image, second color fluctuation detecting means for detecting a change in the color difference component of the image,
Noise level determining means for determining the degree of noise using the fluctuation of the lightness component detected by the first color fluctuation detecting means and the fluctuation of the color difference component detected by the second color fluctuation detecting means;
The image noise determining means determines that the noise degree is larger as the fluctuation detected by the first color fluctuation detecting means is smaller and the fluctuation detected by the second color fluctuation detecting means is larger. Detection device.
(Supplementary Note 3) The image noise detection device according to Supplementary Note 2, wherein different filters are used for the first color fluctuation detecting unit and the second color fluctuation detecting unit, respectively.
(Supplementary Note 4) It is characterized in that at least one of the first color fluctuation detecting means and the second color fluctuation detecting means has a filter operation result synthesizing means for combining and synthesizing a plurality of filter operation results. 3. The image noise detection device according to attachment 3, wherein
(Supplementary Note 5) The image noise detection device according to
(Supplementary Note 6) The second color variation detection unit includes a color variation correction unit that corrects a color variation calculation result according to a color variation and / or a color of a pixel to be calculated for the color variation. Alternatively, the image noise detection device according to claim 3.
(Supplementary Note 7) A program for detecting image noise,
The program includes a process of detecting a change in a brightness component of the image, a process of detecting a change in a color difference component of the image,
An image noise detection program for causing a computer to execute a process of determining that the degree of noise is greater as the change in the brightness component of the image is smaller and the change in the color difference component of the image is larger.
[0022]
【The invention's effect】
As described above, according to the present invention, a change in the lightness component of an image is detected, and a change in the color difference component of the image is detected. The change in the lightness component of the image is small, and the change in the color difference component of the image is detected. It is determined that the noise degree is larger as is larger, so that it is possible to detect noise that stands out to human eyes.
In addition, after performing noise detection using this method, if noise is removed, the correction amount can be adjusted according to the degree of noise without excessive noise removal, so that it is possible to generate a good image with less noise. Will be possible.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a functional configuration of an image noise detection device according to a first embodiment of the present invention.
FIG. 2 is a diagram showing an outline of an image noise detection process of the present invention.
FIG. 3 is a diagram showing a configuration example of a processing device for realizing the present invention.
FIG. 4 is a flowchart showing a flow of processing according to the first embodiment of the present invention.
FIG. 5 is a diagram illustrating a noise region.
FIG. 6 is a diagram illustrating a noise region and a region where the degree of noise is constant.
FIG. 7 is a functional block diagram of a second embodiment of the present invention using a filter.
FIG. 8 is a diagram showing a flow of filter processing at the time of color variation detection.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Input means 2 Conversion means 3 First color
Claims (5)
画像の明度成分の変動が小さく、かつ、画像の色差成分の変動が大きいほどノイズ度合いが大きいと判定する
ことを特徴とする画像ノイズ検出方法。In addition to detecting fluctuations in the brightness component of the image, detecting fluctuations in the color difference components of the image,
An image noise detection method, characterized in that it is determined that the fluctuation of the brightness component of the image is small and the fluctuation of the color difference component of the image is large, the noise degree is large.
画像の色差成分の変動を検出する第２の色変動検出手段と、
前記第１の色変動検出手段で検出した色変動と前記第２の色変動検出手段で検出した色変動を用いてノイズの度合いを判定するノイズ度合い判定手段を備え、
上記ノイズ度合い判定手段は、第１の色変動検出手段で検出した色変動が小さいかつ、第２の色変動検出手段で検出した色変動が大きいほどノイズ度合いが大きいと判定する
ことを特徴とする画像ノイズ検出装置。First color variation detection means for detecting variation in the brightness component of the image;
Second color fluctuation detecting means for detecting a fluctuation of a color difference component of an image;
A noise degree determining unit that determines a degree of noise using the color fluctuation detected by the first color fluctuation detecting unit and the color fluctuation detected by the second color fluctuation detecting unit;
The noise degree determining means determines that the noise degree is higher as the color fluctuation detected by the first color fluctuation detecting means is smaller and the color fluctuation detected by the second color fluctuation detecting means is larger. Image noise detection device.
ことを特徴とする請求項２の画像ノイズ検出装置。3. The image noise detecting apparatus according to claim 2, wherein different filters are used for the first color fluctuation detecting means and the second color fluctuation detecting means, respectively.
ことを特徴とする請求項２または請求項３の画像ノイズ検出装置。4. The color variation correction unit according to claim 2, wherein the second color variation detection unit includes a color variation correction unit configured to correct a color variation calculation result according to a color variation and / or a color of a pixel to be calculated for the color variation. Image noise detection device.
上記プログラムは、画像の明度成分の変動を検出する処理と、画像の色差成分の変動を検出する処理と、
画像の明度成分の変動が小さく、かつ、画像の色差成分の変動が大きいほどノイズ度合いが大きいと判定する処理をコンピュータに実行させる
ことを特徴とする画像ノイズ検出プログラム。A program for detecting image noise,
The program includes a process of detecting a change in a brightness component of the image, a process of detecting a change in a color difference component of the image,
An image noise detection program for causing a computer to execute a process of determining that the degree of noise is greater as the change in the brightness component of the image is smaller and the change in the color difference component of the image is larger.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003052282A JP2004259231A (en) | 2003-02-28 | 2003-02-28 | Image noise detection method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003052282A JP2004259231A (en) | 2003-02-28 | 2003-02-28 | Image noise detection method and apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004259231A true JP2004259231A (en) | 2004-09-16 |
Family
ID=33117186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003052282A Pending JP2004259231A (en) | 2003-02-28 | 2003-02-28 | Image noise detection method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004259231A (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0583740A (en) * | 1991-09-20 | 1993-04-02 | Pioneer Electron Corp | Component video signal transmitter |
| JPH06178323A (en) * | 1992-12-10 | 1994-06-24 | Sony Corp | Adaptive quantizing unit |
| JPH06296285A (en) * | 1992-10-12 | 1994-10-21 | Matsushita Electric Ind Co Ltd | Video signal correction device |
| JP2001136314A (en) * | 1999-11-10 | 2001-05-18 | Ricoh Co Ltd | Color image evaluation method |
-
2003
- 2003-02-28 JP JP2003052282A patent/JP2004259231A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0583740A (en) * | 1991-09-20 | 1993-04-02 | Pioneer Electron Corp | Component video signal transmitter |
| JPH06296285A (en) * | 1992-10-12 | 1994-10-21 | Matsushita Electric Ind Co Ltd | Video signal correction device |
| JPH06178323A (en) * | 1992-12-10 | 1994-06-24 | Sony Corp | Adaptive quantizing unit |
| JP2001136314A (en) * | 1999-11-10 | 2001-05-18 | Ricoh Co Ltd | Color image evaluation method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7583301B2 (en) | Imaging device having chromatic aberration suppression | |
| US8368779B2 (en) | Image processing apparatus for performing gradation correction on subject image | |
| JP3221291B2 (en) | Image processing device, image processing method, noise elimination device, and noise elimination method | |
| CN101483711B (en) | Gradation correction device, gradation correction method | |
| US8942475B2 (en) | Image signal processing device to emphasize contrast | |
| JP3501252B2 (en) | Gradation correction device | |
| JP5099701B2 (en) | Signal processing device, signal processing method, control program, readable recording medium, solid-state imaging device, and electronic information device | |
| CN106846270B (en) | Image edge enhancement method and device | |
| KR101086424B1 (en) | Digital image processing device and method | |
| US7373020B2 (en) | Image processing apparatus and image processing program | |
| US8922680B2 (en) | Image processing apparatus and control method for image processing apparatus | |
| WO2006134923A1 (en) | Image processing device, computer program product, and image processing method | |
| JP4109001B2 (en) | Image quality correction method | |
| JP2009093323A (en) | Image processing device and program | |
| KR20080103715A (en) | Image processing apparatus and method | |
| JPWO2010061493A1 (en) | Video processing apparatus and video processing method | |
| CN101627408A (en) | Image signal processing apparatus, image signal processing program, and image signal processing method | |
| JPH1132236A (en) | Image processing device | |
| JP2008124653A (en) | Image signal processing apparatus, image signal processing program, and image signal processing method | |
| JP4467416B2 (en) | Tone correction device | |
| US20030174223A1 (en) | Noise reducing apparatus | |
| JP2007336419A (en) | Brightness converter | |
| JP2004112737A (en) | Semiconductor integrated circuit | |
| JP2004259231A (en) | Image noise detection method and apparatus | |
| JP2003046807A (en) | Image display device and image display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090304 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090609 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090630 |