KR101515928B1 - Apparatus and method for face recognition using variable weight fusion - Google Patents
Apparatus and method for face recognition using variable weight fusion Download PDFInfo
- Publication number
- KR101515928B1 KR101515928B1 KR1020130147228A KR20130147228A KR101515928B1 KR 101515928 B1 KR101515928 B1 KR 101515928B1 KR 1020130147228 A KR1020130147228 A KR 1020130147228A KR 20130147228 A KR20130147228 A KR 20130147228A KR 101515928 B1 KR101515928 B1 KR 101515928B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- feature vector
- block
- input
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/76—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
본 발명은 영상 내 얼굴 영역을 인식함에 있어서 가변 가중치 결합을 이용하여 얼굴을 인식하는 장치 및 방법에 관한 것이다.
본 발명의 일면에 따른 가변 가중치 결합을 이용하는 얼굴 인식 장치는 입력영상을 수신하는 영상입력부와, 영상입력부가 수신한 입력영상을 기설정된 개수의 블록으로 분할하는 영상분할부와, 영상분할부가 분할한 블록을 행벡터로 변환하여 변환 행렬을 구성하는 행렬구성부와, 행렬구성부가 구성한 변환 행렬을 이용하여 블록 별 특징벡터를 추출하는 특징벡터 추출부와, 입력영상의 블록 별 조명 크기와 기획득된 학습영상의 조명 크기를 비교하여 가중치를 설정하는 가중치 설정부 및 가중치 설정부가 설정한 가중치를 입력영상의 블록의 특징벡터에 적용하고, 블록의 특징벡터 및 학습영상의 특징벡터를 이용하여 입력영상이 포함하는 얼굴 이미지를 인식하는 얼굴인식부를 포함한다.
또한, 본 발명의 다른 면에 따른 가변 가중치 결합을 이용하는 얼굴 인식 방법은 얼굴 이미지를 포함하는 입력영상을 수신하는 영상입력단계와, 영상입력단계에서 수신한 입력영상을 기설정된 개수의 블록으로 분할하는 영상분할단계와, 블록을 행벡터로 변환하여 변환 행렬을 생성하는 행렬구성단계와, 변환 행렬을 이용하여 블록 별 특징벡터를 추출하는 특징벡터추출단계와, 입력영상의 블록 별 조명 크기와 기획득된 학습영상의 조명크기를 비교하여 가중치를 설정하는 가중치설정단계 및 가중치를 블록 별 특징벡터에 적용하고, 블록 및 학습영상의 특징벡터를 이용하여 입력영상이 포함하는 얼굴 이미지를 인식하는 얼굴인식단계를 포함한다. The present invention relates to an apparatus and a method for recognizing a face using variable weight combining in recognizing a face region in an image.
A face recognition apparatus using variable weight combining according to an embodiment of the present invention includes an image input unit for receiving an input image, an image division unit for dividing an input image received by the image input unit into a predetermined number of blocks, A feature vector extracting unit for extracting a feature vector for each block by using a transform matrix constituted by a matrix constituent unit; A weight setting unit for comparing the illumination size of the image and setting a weight and a weight set by the weight setting unit are applied to the feature vector of the block of the input image and the input image is included using the feature vector of the block and the feature vector of the learning image And a face recognition unit for recognizing the face image.
According to another aspect of the present invention, there is provided a face recognition method using variable weight combining, including: inputting an input image including a face image; dividing an input image received in the image input step into a predetermined number of blocks; A feature vector extracting step of extracting a feature vector for each block by using a transform matrix, a step of extracting a feature vector from the block size of the input image, A weighting step of comparing the illumination size of the learning image and setting a weight, a face recognition step of applying the weight to the block feature vector, and recognizing the face image included in the input image using the feature vector of the block and the learning image .
Description
본 발명은 입력영상 내의 얼굴 영역을 인식함에 있어서 가중치 결합을 이용하여 얼굴을 인식하는 장치 및 방법에 관한 것이다.
The present invention relates to an apparatus and method for recognizing a face using weight combining in recognizing a face region in an input image.
일반적으로 얼굴인식 기술은 음성, 지문, 안구 인식과 같이 개인의 신분을 검증하는데 응용되는 기술이다. In general, face recognition technology is applied to verify the identity of individuals such as voice, fingerprint, and eye recognition.
이러한 얼굴 인식 기술은 여타 신분 검증 수단에 비하여 상대적으로 저렴한 가격에 구현이 가능하며, 인식 대상자가 인식을 위한 별도의 행위를 취할 필요가 없으므로 인식 대상자의 거부감이 적은 장점이 있다. This face recognition technology can be implemented at a relatively low price as compared with other identification means, and there is an advantage that the object to be recognized is less likely to be perceived because the object to be recognized does not need to take a separate action for recognition.
또한, 최근 디바이스에 기본적으로 카메라가 장착됨에 따라서, 별도의 하드웨어 구성없이 얼굴인식 기술의 응용이 가능한 장점이 있다. In addition, since a camera is basically installed in a device in recent years, there is an advantage that application of face recognition technology can be performed without a separate hardware configuration.
종래 기술에 따른 입력영상으로부터 얼굴을 인식하는 기술은 얼굴의 주성분, 즉 고유얼굴영역을 추출하고 추출된 고유 얼굴과 새로 입력된 얼굴의 연산을 통하여 인식을 수행한다. A technique for recognizing a face from an input image according to the related art extracts a principal component of a face, that is, an intrinsic facial region, and performs recognition by computing an extracted native face and a newly input face.
그러나, 얼굴인식은 도일한 사람의 얼굴이라도 외부 조명의 변화에 따라 매우 다른 영상으로 표현되고, 조명 변화에 강인하지 않은 장치로는 얼굴 인식 성능이 저하되는 문제점이 있다.
However, facial recognition is expressed by a very different image depending on the change of external illumination even if a face of a person is a sophisticated person, and face recognition performance is deteriorated by a device which is not robust to illumination change.
본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은 입력영상 내의 얼굴 영역을 다수의 블록으로 나누어 조명 크기를 추출하고, 추출한 조명크기에 따라 가중치를 설정 및 적용하여 외부 조명변화에 강인한 가변 가중치 결합을 이용하는 얼굴 인식 장치 및 그 방법을 제공하는 데 목적이 있다.An object of the present invention is to extract a lighting size by dividing a face area in an input image into a plurality of blocks and to set and apply a weight according to the extracted lighting size, There is provided a face recognition apparatus and a method thereof using variable weighting combining robust to change.
본 발명의 일면에 따른 가변 가중치 결합을 이용하는 얼굴 인식 장치는 입력영상을 수신하는 영상입력부와, 영상입력부가 수신한 입력영상을 기설정된 개수의 블록으로 분할하는 영상분할부와, 영상분할부가 분할한 블록을 행벡터로 변환하여 변환 행렬을 구성하는 행렬구성부와, 행렬구성부가 구성한 변환 행렬을 이용하여 블록 별 특징벡터를 추출하는 특징벡터 추출부와, 입력영상의 블록 별 조명 크기와 기획득된 학습영상의 조명 크기를 비교하여 가중치를 설정하는 가중치 설정부 및 가중치 설정부가 설정한 가중치를 입력영상의 블록의 특징벡터에 적용하고, 블록의 특징벡터 및 학습영상의 특징벡터를 이용하여 입력영상이 포함하는 얼굴 이미지를 인식하는 얼굴인식부를 포함하는 것을 특징으로 한다. A face recognition apparatus using variable weight combining according to an embodiment of the present invention includes an image input unit for receiving an input image, an image division unit for dividing an input image received by the image input unit into a predetermined number of blocks, A feature vector extracting unit for extracting a feature vector for each block by using a transform matrix constituted by a matrix constituent unit; A weight setting unit for comparing the illumination size of the image and setting a weight and a weight set by the weight setting unit are applied to the feature vector of the block of the input image and the input image is included using the feature vector of the block and the feature vector of the learning image And a face recognizing unit recognizing the face image.
또한, 본 발명의 다른 면에 따른 가변 가중치 결합을 이용하는 얼굴 인식 방법은 얼굴 이미지를 포함하는 입력영상을 수신하는 영상입력단계와, 영상입력단계에서 수신한 입력영상을 기설정된 개수의 블록으로 분할하는 영상분할단계와, 블록을 행벡터로 변환하여 변환 행렬을 생성하는 행렬구성단계와, 변환 행렬을 이용하여 블록 별 특징벡터를 추출하는 특징벡터추출단계와, 입력영상의 블록 별 조명 크기와 기획득된 학습영상의 조명크기를 비교하여 가중치를 설정하는 가중치설정단계 및 가중치를 블록 별 특징벡터에 적용하고, 블록 및 학습영상의 특징벡터를 이용하여 입력영상이 포함하는 얼굴 이미지를 인식하는 얼굴인식단계를 포함하는 것을 특징으로 한다.
According to another aspect of the present invention, there is provided a face recognition method using variable weight combining, including: inputting an input image including a face image; dividing an input image received in the image input step into a predetermined number of blocks; A feature vector extracting step of extracting a feature vector for each block by using a transform matrix, a step of extracting a feature vector from the block size of the input image, A weighting step of comparing the illumination size of the learning image and setting a weight, a face recognition step of applying the weight to the block feature vector, and recognizing the face image included in the input image using the feature vector of the block and the learning image .
본 발명에 따른 가변 가중치 결합을 이용하는 얼굴 인식 장치 및 방법은 입력영상을 복수 개의 블록으로 분할하고, 블록에 대하여 조명 크기를 추정하고, 조명 크기에 따라 설정한 가변 가중치(variable weight)를 Block PCA(Principal Component Analysis) 특징벡터에 적용하여 얼굴 인식을 수행함으로써, 외부 조명변화에 강인하며 얼굴 인식 성능을 향상할 수 있는 효과가 있다. An apparatus and method for recognizing a face using variable weight combining according to the present invention divides an input image into a plurality of blocks, estimates an illumination size for the block, and assigns a variable weight set according to the illumination size to a Block PCA Principal Component Analysis) feature vector to perform face recognition, which is robust against external illumination change and has an effect of improving face recognition performance.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The effects of the present invention are not limited to those mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.
도 1은 종래 기술에 따른 2D-PCA(two dimensional Principal Component Analysis) 특징 추출 과정을 나타내는 개념도.
도 2는 본 발명에 따른 가변 가중치 결합을 이용하는 얼굴 인식 장치를 나타내는 블록도.
도 3은 본 발명에 따른 Block PCA(Block Principal Component Analysis) 특징 추출 과정을 나타내는 개념도.
도 4는 본 발명에 따른 가변 가중치 결합을 이용하는 얼굴 인식 방법을 나타내는 순서도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a conceptual diagram illustrating a 2D-PCA (two-dimensional Principal Component Analysis) feature extraction process according to the prior art; FIG.
2 is a block diagram illustrating a face recognition apparatus using variable weight combining according to the present invention.
3 is a conceptual diagram illustrating a block PCA (block principal component analysis) feature extraction process according to the present invention.
4 is a flowchart showing a face recognition method using variable weight combining according to the present invention.
이하에서는 도면을 참조하면서, 본 발명의 바람직한 실시예들을 구체적으로 설명한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
도 1은 종래 기술에 따른 2D-PCA(two dimensional Principal Component Analysis) 특징 추출 과정을 나타내는 개념도이다. BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a conceptual diagram illustrating a 2D-PCA (two-dimensional Principal Component Analysis) feature extraction process according to the prior art.
도 1을 참조하면, 크기가 m×n인 얼굴영상이 입력되고, 이러한 얼굴 영상의 이미지 행렬을 A라고 하고, 행(row)들이 서로 정규직교하는 행렬을
이 때, 2D-PCA는 이미지 행렬 샘플의 분산을 사용하여 최적의 투영 행렬(Xopt)를 결정한다. At this time, the 2D-PCA determines the optimal projection matrix (X opt ) using the variance of the image matrix samples.
즉, N개의 기획득된 학습영상 샘플을 Ak(k=1, 2, 3, …, N)라고 하고, 학습영상 샘플들의 평균 이미지를
[수식 1][Equation 1]
이 때, 최적의 투영 행렬 Xopt는 최대 고유치를 갖는 공분산 행렬 G의 기설정된 개수의 고유 벡터로 구성되며, 즉 d개의 고유벡터로 구성되는 경우, 고유벡터 X1, X2, …, Xd로 구성된다.
In this case, the optimal projection matrix X opt is composed of a predetermined number of eigenvectors of the covariance matrix G having the largest eigenvalues, that is, when the eigenvectors X 1 , X 2 , ... , And X d .
고유벡터 X는 n×d차원의 행렬이므로, 주어진 얼굴영상 A(m×n)의 특징벡터 Yk(m×d)는 아래 [수식 2]와 같이 고유벡터의 축에 투영하여 계산된다. Since the eigenvector X is a matrix of n x d dimensions, the feature vector Y k (m x d) of a given facial image A (m x n) is calculated by projecting on the axis of the eigenvector as shown below.
[수식 2][Equation 2]
즉, 2D-PCA 특징벡터는 2차원 행렬 형태로 구성되며, 입력된 얼굴영상에서의 한 라인(line)에 대한 m개의 특징 벡터들의 집합으로 구성된다. That is, the 2D-PCA feature vector consists of a set of m feature vectors for one line in the input face image.
이 때, 2차원 행렬 형태로 구성된 2D-PCA 특징벡터에 대한 NN 분류기 (Nearest Neighbor Classifier)는 아래 [수식 3]에 따른 유클리디언 거리를 이용하여 얼굴 인식을 수행한다. In this case, the NN classifier for the 2D-PCA feature vector configured in the form of a two-dimensional matrix performs face recognition using the Euclidean distance according to Equation (3) below.
[수식 3][Equation 3]
이 때, Ytrain은 학습영상에 대한 2D-PCA 특징벡터이고, Ytest는 테스트영상에 대한 2D-PCA 특징벡터이다.
In this case, Y train is the 2D-PCA feature vector for the training image, and Y test is the 2D-PCA feature vector for the test image.
그러나, 종래 기술에 따른 2D-PCA는 라인(line) 영상에 대한 특징벡터이므로, 조명의 영향에 따른 변화를 표현하기에는 적절하지 않은 문제점이 있다.
However, since the 2D-PCA according to the prior art is a feature vector for a line image, there is a problem that it is not suitable for expressing a change due to illumination.
도 2는 본 발명에 따른 가변 가중치 결합을 이용하는 얼굴 인식 장치를 나타내는 블록도이고, 도 3은 본 발명에 따른 Block PCA(Block Principal Component Analysis) 특징 추출 과정을 나타내는 개념도로서, 도 2를 참조하면, 이러한 2D-PCA의 문제점을 해결하는 것을 해결 과제로 하는 본 발명에 따른 가변 가중치 결합을 이용하는 얼굴 인식 장치는 입력영상을 수신하는 영상입력부(100)와, 영상입력부(100)가 수신한 입력영상을 기설정된 개수의 블록으로 분할하는 영상분할부(200)와, 영상분할부(200)가 분할한 블록을 행벡터로 변환하여 변환 행렬을 구성하는 행렬구성부(300)와, 행렬구성부(300)가 구성한 변환 행렬을 이용하여 블록 별 특징벡터를 추출하는 특징벡터 추출부(400)와, 입력영상의 블록 별 조명 크기와 기획득된 학습영상의 조명 크기를 비교하여 가중치를 설정하는 가중치 설정부(500) 및 가중치 설정부(500)가 설정한 가중치를 입력영상 블록의 특징벡터에 적용하고, 블록의 특징벡터 및 학습영상의 특징벡터를 이용하여 입력영상이 포함하는 얼굴 이미지를 인식하는 얼굴인식부(600)를 포함한다.
FIG. 2 is a block diagram showing a face recognition apparatus using variable weight combining according to the present invention. FIG. 3 is a conceptual diagram illustrating a block PCA (block principal component analysis) feature extraction process according to the present invention. Referring to FIG. 2, In order to solve the problem of the 2D-PCA, a face recognition apparatus using variable weight combining according to the present invention includes an
도 3의 입력영상과 같이, 얼굴영상이 외부 조명에 의해 영향을 받을 경우, 이러한 얼굴영상에 대한 인식 성능이 저하되는데, 종래 기술에 따른 2D-PCA는 한 행에 대한 특징들의 집합인 반면, 본 발명에 따른 Block PCA는 하나의 블록에 대한 특징 집합이다. As in the case of the input image of FIG. 3, when face images are influenced by external illumination, the recognition performance of the facial images deteriorates. The conventional 2D-PCA is a set of features for one row, The Block PCA according to the invention is a feature set for one block.
즉, 본 발명에 따른 가변 가중치 결합을 이용하는 얼굴 인식 장치는 얼굴영상을 N개의 블록으로 분할하는 경우, 각 블록 영상을 표현하는 특징벡터의 집합인 Block PCA의 특징을 이용하고, 각 블록에 대한 조명 크기를 추정하고, 학습에 사용한 얼굴 영상과의 관계를 고려하여 각 블록에 대한 가중치(weight)를 계산한다. That is, when dividing the face image into N blocks, the face recognition apparatus using variable weight combining according to the present invention uses the feature of Block PCA, which is a set of feature vectors representing each block image, The weight is calculated for each block by estimating the size and considering the relationship with the face image used for learning.
이 때, 가중치는 각 블록의 특징벡터(Block PCA)를 이용한 유클리디언 거리값 계산에 적용되어, 최종적인 얼굴 인식 수행에 적용된다.
In this case, the weights are applied to the Euclidean distance calculation using the feature vector of each block (Block PCA) and applied to the final face recognition performance.
본 발명에 따른 영상분할부(200)는 영상입력부(100)가 수신한 입력영상을 동일한 크기의 복수의 블록으로 분할하고, 행렬구성부(300)는 복수의 블록을 1차원 행벡터로 변환하고, 변환된 1차원 행벡터를 이용하여 변환 행렬을 구성한다. The
즉, 도 3을 참조하면, 영상입력부(100)가 수신한 입력영상은 영상분할부(200)에 의하여 P개의 블록으로 분할되고, 행렬구성부(300)는 각 블록을 1차원 행벡터로 변환한다. 3, the input image received by the
이 때, 1차원 행벡터의 차원을 Q라고 정의하면, 행렬구성부(300)는 모든 P개 블록에 대하여 변환된 1차원 행벡터를 이용하여 변환행렬 B(P×Q)를 구성한다. In this case, if the dimension of the one-dimensional row vector is defined as Q, the
또한, 본 발명에 따른 특징벡터 추출부(400)는 행렬구성부(300)가 구성한 변환행렬 B를 이용하여 Block PCA 특징벡터를 추출한다. In addition, the feature
이 때, 공분산 행렬 G는 아래 [수식 4]와 같이 정의된다. At this time, the covariance matrix G is defined as in Equation 4 below.
[수식 4][Equation 4]
즉, 본 발명에 따른 특징벡터 추출부(400)는 기획득된 학습(train)영상의 평균 영상을 산출하고, 기학습된 학습영상 및 평균 영상을 이용하여 공분산 행렬(G)를 생성하고, 생성한 공분산 행렬을 이용하여 특징벡터를 추출한다. In other words, the feature
이 때, 가중치 설정부(500)는 입력영상 및 학습영상의 조명 크기를 비교하여, 입력영상의 블록 및 학습영상의 조명 크기의 차이가 클수록 낮은 가중치를 설정한다. At this time, the
즉, 학습영상과 입력영상 사이에서 조명 크기가 큰 차이를 보이면 해당 블록에 낮은 가중치를 설정하고, 반대의 경우에는 높은 가중치를 설정한다. 그리고 Block PCA 특징벡터를 이용한 거리값 계산시, 각 블록의 특징벡터에 가중치를 적용하고, 최종 계산된 거리값으로 얼굴인식을 수행한다.That is, if the illumination size between the learning image and the input image shows a large difference, a low weight is set in the corresponding block, and a high weight is set in the opposite case. In calculating the distance value using the Block PCA feature vector, the weight is applied to the feature vector of each block, and the face recognition is performed using the final calculated distance value.
본 발명에 따른 얼굴인식부(600)는 입력영상의 블록 및 학습영상의 특징벡터를 이용하여 유클리디언 거리값을 계산함으로써 입력영상이 포함하는 얼굴 이미지를 인식한다.
The
도 4는 본 발명에 따른 가변 가중치 결합을 이용하는 얼굴 인식 방법을 나타내는 순서도이다. 4 is a flowchart illustrating a face recognition method using variable weight combining according to the present invention.
도 4를 참조하면, 본 발명에 따른 가변 가중치 결합을 이용하는 얼굴 인식 방법은 얼굴 이미지를 포함하는 입력영상을 수신하는 영상입력단계(S100)와, 영상입력단계(S100)에서 수신한 입력영상을 기설정된 개수의 블록으로 분할하는 영상분할단계(S200)와, 블록을 행벡터로 변환하여 변환 행렬을 생성하는 행렬구성단계(S300)와, 변환 행렬을 이용하여 블록 별 특징벡터를 추출하는 특징벡터추출단계(S400)와, 입력영상의 블록 별 조명 크기와 기획득된 학습영상의 조명크기를 비교하여 가중치를 설정하는 가중치설정단계(S500) 및 가중치를 블록 별 특징벡터에 적용하고, 블록 및 학습영상의 특징벡터를 이용하여 입력영상이 포함하는 얼굴 이미지를 인식하는 얼굴인식단계(S600)를 포함한다.
Referring to FIG. 4, a face recognition method using variable weight combining according to the present invention includes an image input step (S100) for receiving an input image including a face image, an input image received in an image input step (S100) (S300) for generating a transformation matrix by transforming a block into a row vector and a feature vector extraction step for extracting a feature vector for each block using the transformation matrix (S400), a weight setting step S500 for comparing the illumination size of the input image with the illumination size of the acquired learning image to set the weight, and applying the weight to the block-specific feature vector, And a face recognition step (S600) of recognizing a face image included in the input image using the feature vector.
즉, 본 발명에 따른 가변 가중치 결합을 이용하는 얼굴 인식 방법은 조명의 영향을 표현하기 위하여, 얼굴영상을 복수 개의 블록으로 분할하고, 각 블록영상을 표현하는 특징벡터의 집합인 Block PCA를 통하여 외부 조명 변화에 강인한 얼굴 인식 방법에 관한 것으로서, 본 발명에 따른 영상분할단계(S200)는 영상입력단계(S100)에서 수신한 얼굴 이미지를 포함하는 입력영상을 동일한 크기의 복수의 블록으로 분할한다. That is, in order to express the influence of illumination, the face recognition method using variable weight combining according to the present invention divides a face image into a plurality of blocks, A method of recognizing a face that is robust to change, an image segmentation step (S200) according to the present invention divides an input image including a face image received in an image input step (S100) into a plurality of blocks having the same size.
또한, 본 발명의 행렬구성단계(S300)는 복수의 블록을 1차원 행벡터로 변환하고, 변환된 1차원 행벡터를 이용하여 변환 행렬을 구성한다. Also, in the matrix forming step S300 of the present invention, a plurality of blocks are converted into one-dimensional row vectors, and a transform matrix is constructed using the converted one-dimensional row vectors.
또한, 본 발명의 특징벡터추출단계(S400)는 기획득된 학습영상의 평균 영상을 산출하고, 기학습된 학습 영상 및 학습영상의 평균 영상을 이용하여 공분산 행렬을 생성하고, 공분산 행렬을 이용하여 각 블록에 대한 특징벡터를 추출한다. In the feature vector extracting step S400 of the present invention, an average image of the acquired learning image is calculated, a covariance matrix is generated using the average image of the learning image and the learning image, And a feature vector for each block is extracted.
이 때, 본 발명의 가중치설정단계(S500)는 입력 영상 및 학습영상의 조명 크기를 비교하고, 입력영상의 블록 및 학습영상의 조명 크기를 비교하여, 이러한 조명 크기의 차이가 클수록 낮은 가중치를 설정하고, 조명 크기의 차이가 작을수록 높은 가중치를 설정한다. At this time, the weight setting step (S500) of the present invention compares illumination sizes of the input image and the learning image, compares the illumination size of the block of the input image and the illumination size of the learning image, and sets a lower weight value And sets a higher weight as the difference in illumination size is smaller.
또한, 얼굴인식단계(S600)는 입력영상의 블록 및 학습영상의 특징벡터를 이용하여 유클리디언 거리값을 계산하여 입력영상이 포함하는 얼굴 이미지를 인식함으로써, 외부의 조명 변화에 강인한 효과가 있다.
In the face recognition step S600, the Euclidean distance value is calculated using the feature vector of the input image block and the learning image, and the facial image included in the input image is recognized to have a strong effect on the external illumination change .
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
The embodiments of the present invention have been described above. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
100: 영상입력부 200: 영상분할부
300: 행렬구성부 400: 특징벡터 추출부
500: 가중치 설정부 600: 얼굴인식부 100: image input unit 200:
300: matrix composition unit 400: feature vector extraction unit
500: Weight setting unit 600: Face recognition unit
Claims (12)
상기 영상입력부가 수신한 입력영상을 기설정된 개수의 블록으로 분할하는 영상분할부;
상기 영상분할부가 분할한 블록을 행벡터로 변환하여 변환 행렬을 구성하는 행렬구성부;
상기 행렬구성부가 구성한 변환 행렬을 이용하여 상기 블록 별 특징벡터를 추출하는 특징벡터 추출부;
상기 입력영상의 블록 별 조명의 조도와 기획득된 학습영상의 조명의 조도를 비교하여 가중치를 설정하는 가중치 설정부; 및
상기 가중치 설정부가 설정한 가중치를 상기 입력영상의 블록의 특징벡터에 적용하고, 상기 블록의 특징벡터 및 상기 학습영상의 특징벡터를 이용하여 상기 입력영상이 포함하는 얼굴 이미지를 인식하는 얼굴인식부를 포함하고,
상기 특징벡터 추출부는 상기 기획득된 학습영상의 평균 영상을 산출하고, 상기 기획득된 학습 영상 및 산출된 평균 영상을 이용하여 공분산 행렬을 생성하고, 상기 공분산 행렬을 이용하여 상기 특징벡터를 추출하고,
상기 가중치 설정부는 상기 입력영상 및 학습영상의 조명의 조도를 비교하고, 상기 입력영상의 블록 및 학습영상의 조명의 조도의 차이가 클수록 낮은 가중치를 설정하는 것
인 가변 가중치 결합을 이용하는 얼굴 인식 장치.
An image input unit for receiving an input image;
An image dividing unit dividing the input image received by the image input unit into a predetermined number of blocks;
A matrix composing unit for transforming blocks divided by the image dividing unit into a row vector to construct a transformation matrix;
A feature vector extractor for extracting the block-specific feature vectors using the transformation matrix configured by the matrix composition unit;
A weight setting unit configured to compare a brightness of illumination of each block of the input image with a brightness of illumination of the acquired learning image to set weights; And
And a face recognition unit that applies the weight set by the weight setting unit to the feature vector of the block of the input image and recognizes the face image included in the input image using the feature vector of the block and the feature vector of the learning image and,
The feature vector extraction unit calculates an average image of the previously obtained learning image, generates a covariance matrix using the previously obtained learned image and the calculated average image, and extracts the feature vector using the covariance matrix ,
The weight setting unit compares the illuminance of the illumination of the input image and the learning image and sets a lower weight as the difference between illumination of the input image and illumination of the learning image is greater
A face recognition apparatus using variable weight combining.
상기 입력영상을 동일한 크기의 복수의 블록으로 분할하는 것
인 가변 가중치 결합을 이용하는 얼굴 인식 장치.
The apparatus of claim 1, wherein the image dividing unit
And dividing the input image into a plurality of blocks of the same size
A face recognition apparatus using variable weight combining.
상기 복수의 블록을 1차원 행벡터로 변환하고, 상기 1차원 행벡터를 이용하여 변환 행렬을 구성하는 것
인 가변 가중치 결합을 이용하는 얼굴 인식 장치.
3. The apparatus of claim 2, wherein the matrix constructing unit
Converting the plurality of blocks into one-dimensional row vectors, and constructing a transformation matrix using the one-dimensional row vectors
A face recognition apparatus using variable weight combining.
상기 입력영상의 블록 및 학습영상의 특징벡터를 이용하여 유클리디언 거리값을 계산하여 상기 입력영상이 포함하는 얼굴 이미지를 인식하는 것
인 가변 가중치 결합을 이용하는 얼굴 인식 장치.
The apparatus of claim 1, wherein the face recognition unit
The Euclidean distance value is calculated using the block of the input image and the feature vector of the learning image to recognize the face image included in the input image
A face recognition apparatus using variable weight combining.
상기 영상입력단계에서 수신한 입력영상을 기설정된 개수의 블록으로 분할하는 영상분할단계;
상기 블록을 행벡터로 변환하여 변환 행렬을 생성하는 행렬구성단계;
상기 변환 행렬을 이용하여 상기 블록 별 특징벡터를 추출하는 특징벡터추출단계;
상기 입력영상의 블록 별 조명의 조도와 기획득된 학습영상의 조명의 조도를 비교하여 가중치를 설정하는 가중치설정단계; 및
상기 가중치를 상기 블록 별 특징벡터에 적용하고, 상기 블록 및 학습영상의 특징벡터를 이용하여 상기 입력영상이 포함하는 얼굴 이미지를 인식하는 얼굴인식단계를 포함하고,
상기 특징벡터추출단계는 상기 기획득된 학습영상의 평균 영상을 산출하고, 상기 기획득된 학습영상 및 평균 영상을 이용하여 공분산 행렬을 생성하고, 상기 공분산 행렬을 이용하여 상기 특징벡터를 추출하고,
상기 가중치설정단계는 상기 입력영상 및 학습영상의 조명의 조도를 비교하고, 상기 입력영상의 블록 및 학습영상의 조명의 조도의 차이가 클수록 낮은 가중치를 설정하는 것
인 가변 가중치 결합을 이용하는 얼굴 인식 방법.
An image input step of receiving an input image including a face image;
An image dividing step of dividing the input image received in the image input step into a predetermined number of blocks;
A matrix constructing step of transforming the block into a row vector and generating a transformation matrix;
A feature vector extracting step of extracting the block-by-block feature vector using the transform matrix;
A weight setting step of comparing the illuminance of each block of the input image with the illuminance of illumination of the acquired learning image to set a weight; And
And a face recognition step of applying the weight to the block-specific feature vector and recognizing a face image included in the input image using a feature vector of the block and the learning image,
The feature vector extracting step may include calculating an average image of the learned image, generating a covariance matrix using the learned image and the average image, extracting the feature vector using the covariance matrix,
The weight setting step compares illumination intensities of the input image and the learning image, and sets a lower weight value as the difference between illumination of the input image and illuminance of the illumination image increases
A face recognition method using variable weight combining.
상기 입력영상을 동일한 크기의 복수의 블록으로 분할하는 것
인 가변 가중치 결합을 이용하는 얼굴 인식 방법.
8. The method of claim 7,
And dividing the input image into a plurality of blocks of the same size
A face recognition method using variable weight combining.
상기 복수의 블록을 1차원 행벡터로 변환하고, 상기 1차원 행벡터를 이용하여 변환 행렬을 구성하는 것
인 가변 가중치 결합을 이용하는 얼굴 인식 방법.
9. The method of claim 8,
Converting the plurality of blocks into one-dimensional row vectors, and constructing a transformation matrix using the one-dimensional row vectors
A face recognition method using variable weight combining.
상기 입력영상의 블록 및 학습영상의 특징벡터를 이용하여 유클리디언 거리값을 계산하여 상기 입력영상이 포함하는 얼굴 이미지를 인식하는 것
인 가변 가중치 결합을 이용하는 얼굴 인식 방법. 8. The method according to claim 7, wherein the face recognition step
The Euclidean distance value is calculated using the block of the input image and the feature vector of the learning image to recognize the face image included in the input image
A face recognition method using variable weight combining.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130147228A KR101515928B1 (en) | 2013-11-29 | 2013-11-29 | Apparatus and method for face recognition using variable weight fusion |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130147228A KR101515928B1 (en) | 2013-11-29 | 2013-11-29 | Apparatus and method for face recognition using variable weight fusion |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101515928B1 true KR101515928B1 (en) | 2015-05-06 |
Family
ID=53393340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130147228A Active KR101515928B1 (en) | 2013-11-29 | 2013-11-29 | Apparatus and method for face recognition using variable weight fusion |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101515928B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780662A (en) * | 2016-11-16 | 2017-05-31 | 北京旷视科技有限公司 | Face image synthesis method, device and equipment |
| KR101748048B1 (en) * | 2015-12-22 | 2017-06-15 | 단국대학교 산학협력단 | Apparatus and method for constructing combined feature based on discriminant analysis for face recognition |
| CN107480196A (en) * | 2017-07-14 | 2017-12-15 | 中国科学院自动化研究所 | A kind of multi-modal lexical representation method based on dynamic fusion mechanism |
| KR20190097494A (en) * | 2018-02-12 | 2019-08-21 | 재단법인대구경북과학기술원 | Electronic devices and methods thereof |
| US10580182B2 (en) | 2016-11-16 | 2020-03-03 | Beijing Kuangshi Technology Co., Ltd. | Facial feature adding method, facial feature adding apparatus, and facial feature adding device |
| US10891467B2 (en) | 2017-11-10 | 2021-01-12 | Samsung Electronics Co., Ltd. | Facial verification method and apparatus |
| WO2021182670A1 (en) * | 2020-03-10 | 2021-09-16 | 연세대학교 산학협력단 | Heterogeneous face recognition device and method based on extracting relationships between elements |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020057522A (en) * | 2001-01-05 | 2002-07-11 | 조양호 | Face-image recognition method of similarity measure using correlation |
| KR20040039788A (en) * | 2002-11-04 | 2004-05-12 | 삼성전자주식회사 | System and method for detecting face |
| KR101326691B1 (en) * | 2011-11-28 | 2013-11-08 | 경북대학교 산학협력단 | Robust face recognition method through statistical learning of local features |
-
2013
- 2013-11-29 KR KR1020130147228A patent/KR101515928B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020057522A (en) * | 2001-01-05 | 2002-07-11 | 조양호 | Face-image recognition method of similarity measure using correlation |
| KR20040039788A (en) * | 2002-11-04 | 2004-05-12 | 삼성전자주식회사 | System and method for detecting face |
| KR101326691B1 (en) * | 2011-11-28 | 2013-11-08 | 경북대학교 산학협력단 | Robust face recognition method through statistical learning of local features |
Non-Patent Citations (1)
| Title |
|---|
| 논문1:대한전자공학회 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101748048B1 (en) * | 2015-12-22 | 2017-06-15 | 단국대학교 산학협력단 | Apparatus and method for constructing combined feature based on discriminant analysis for face recognition |
| CN106780662A (en) * | 2016-11-16 | 2017-05-31 | 北京旷视科技有限公司 | Face image synthesis method, device and equipment |
| US10580182B2 (en) | 2016-11-16 | 2020-03-03 | Beijing Kuangshi Technology Co., Ltd. | Facial feature adding method, facial feature adding apparatus, and facial feature adding device |
| US10832034B2 (en) | 2016-11-16 | 2020-11-10 | Beijing Kuangshi Technology Co., Ltd. | Facial image generating method, facial image generating apparatus, and facial image generating device |
| CN107480196A (en) * | 2017-07-14 | 2017-12-15 | 中国科学院自动化研究所 | A kind of multi-modal lexical representation method based on dynamic fusion mechanism |
| CN107480196B (en) * | 2017-07-14 | 2020-02-07 | 中国科学院自动化研究所 | Multi-modal vocabulary representation method based on dynamic fusion mechanism |
| US10891467B2 (en) | 2017-11-10 | 2021-01-12 | Samsung Electronics Co., Ltd. | Facial verification method and apparatus |
| US11551476B2 (en) | 2017-11-10 | 2023-01-10 | Samsung Electronics Co., Ltd. | Facial verification method and apparatus |
| KR20190097494A (en) * | 2018-02-12 | 2019-08-21 | 재단법인대구경북과학기술원 | Electronic devices and methods thereof |
| KR102074977B1 (en) | 2018-02-12 | 2020-02-07 | 재단법인대구경북과학기술원 | Electronic devices and methods thereof |
| WO2021182670A1 (en) * | 2020-03-10 | 2021-09-16 | 연세대학교 산학협력단 | Heterogeneous face recognition device and method based on extracting relationships between elements |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102596897B1 (en) | Method of motion vector and feature vector based fake face detection and apparatus for the same | |
| KR101515928B1 (en) | Apparatus and method for face recognition using variable weight fusion | |
| US10198623B2 (en) | Three-dimensional facial recognition method and system | |
| KR102415509B1 (en) | Face verifying method and apparatus | |
| KR102290392B1 (en) | Method and apparatus for registering face, method and apparatus for recognizing face | |
| JP5010905B2 (en) | Face recognition device | |
| US9633044B2 (en) | Apparatus and method for recognizing image, and method for generating morphable face images from original image | |
| KR101314293B1 (en) | Face recognition system robust to illumination change | |
| US9563821B2 (en) | Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm | |
| EP3361413B1 (en) | Method and apparatus of selecting candidate fingerprint image for fingerprint recognition | |
| KR101117549B1 (en) | Face recognition system and method thereof | |
| JP2010157212A (en) | Method for comparing input image of unknown face with reference image of known face | |
| KR101558547B1 (en) | Age Cognition Method that is powerful to change of Face Pose and System thereof | |
| Xue et al. | Automatic 4D facial expression recognition using DCT features | |
| US10586098B2 (en) | Biometric method | |
| KR101451854B1 (en) | Apparatus for recongnizing face expression and method thereof | |
| KR20210127257A (en) | Method for verifying the identity of a user by identifying an object by identifying an object within an image with the user's biometric characteristics and separating the part of the image containing the biometric characteristics from other parts of the image within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image) | |
| KR101402078B1 (en) | Face recognition apparatus and method for thereof | |
| KR101491832B1 (en) | Apparatus and method for selecting image | |
| KR101270351B1 (en) | Method and apparatus for capturing face image for face recognition | |
| KR101727833B1 (en) | Apparatus and method for constructing composite feature vector based on discriminant analysis for face recognition | |
| KR101070442B1 (en) | Face Authentication System and Authentication Method Using Multi-Level Face Recognition | |
| KR101074953B1 (en) | Mixed Face Recognition Method and System Using PCA and Gabor Wavelet | |
| KR101399785B1 (en) | Method and apparatus for detecting, capturing face image for face recognition | |
| KR102225623B1 (en) | Face recognizing system using keypoint descriptor matching and majority vote and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20131129 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20141114 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20150326 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20150422 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20150422 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20180406 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180406 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190325 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190325 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200324 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210310 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220321 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230328 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240402 Start annual number: 10 End annual number: 10 |