KR20170086165A

KR20170086165A - 영상 내 특징점의 움직임 검출 장치 및 방법

Info

Publication number: KR20170086165A
Application number: KR1020160005453A
Authority: KR
Inventors: 김준모; 정희철
Original assignee: 에스케이텔레콤 주식회사; 한국과학기술원
Priority date: 2016-01-15
Filing date: 2016-01-15
Publication date: 2017-07-26

Abstract

영상 내 특징점의 움직임 검출 장치 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 영상 내 추출된 특징점의 움직임을 검출하는 장치에 있어서, 상기 특징점의 움직임 벡터(Motion Vector)의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 지를 판단하는 지속성 판단모듈과 상기 특징점의 움직임 벡터의 방향과 상기 특징점으로부터 기 설정된 거리 내에 존재하는 각각의 다른 특징점의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인지 여부를 판단하는 유사성 판단모듈 및 상기 지속성 판단모듈 및 유사성 판단모듈이 판단한 결과를 토대로 상기 특징점이 주요 움직임을 갖는 특징점인지 여부를 판단하는 특징점 판단모듈을 포함하는 것을 특징으로 하는 움직임 검출장치를 제공한다.

Description

영상 내 특징점의 움직임 검출 장치 및 방법{Method and Apparatus for Detecting Motion of Feature Point in Image}

본 실시예는 영상 내에서 검출되는 특징점의 움직임을 검출하는 방법 및 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

근래에 들어 영상 내 배경에 대한 픽셀을 분석하는 데 있어서 다양한 방법이 사용되고 있다. 영상 내 배경에 대한 픽셀을 분석하는 방법 중 대표적인 방법이 통계적(Statistical) 접근방법이다.

통계적(Statistical) 접근방법은 픽셀들의 확률 밀도 함수를 학습 데이터를 이용해 구하고, 이 분포에서 단순 문턱 값(Thresholding)을 이용하여 배경과 전경으로 분리한다. 통계적(Statistical) 접근방법의 대표적인 방법인 AKDE(Adaptive Kernel Density Estimation) 방법은 비디오의 각 프레임의 모든 픽셀들에 동일한 문턱 값을 적용시키는 것이 아닌, 학습을 통해 각각의 픽셀에 대한 문턱 값을 찾아낸다. 각 픽셀들마다 다른 문턱 값을 적용시켜 전경(Foreground)을 찾아내고 인접 픽셀들의 색 정보에 관한 종속성을 찾아내어 영상 내 배경을 분류하는 방법이다. RM(Recursive Modeling) 방법은 기존의 AKDE에서 수많은 학습데이터가 필요한 단점을 배제시키기 위해 배경의 픽셀에 대한 통계적 모델을 온라인으로 업데이트시키는 방법이다. RM 방법은 기존의 다른 방법에 비해 더 높은 성능을 보이며, 배경의 변화가 느리며 주기적이지 않을 경우에 더욱 효과적인 특성이 있다.

그러나 전술한 방법들은 배경이 흔들리는 경우 또는 날씨가 좋지 않은 경우 좋은 성능을 보이지 못하는 단점이 있다. 예를 들어, 비 또는 눈이 오는 날씨에 영상을 촬영한 경우, 영상 내에 빗방울이나 눈이 포함될 수 있다. 이와 같이 비 또는 눈이 오는 날씨에서 촬영한 영상에 전술한 방법을 적용하는 경우, 영상 내에 포함된 빗방울이나 눈은 배경으로 분류되지 않아 주요 움직임(Salient Motion)으로 검출될 수 있는 우려가 존재한다.

본 실시예는, 영상 내에서 추출된 특징점들의 움직임을 분석하여, 주요 움직임을 갖는 특징점을 검출하는 방법 및 장치를 제공하는 데 일 목적이 있다.

본 실시예의 일 측면에 의하면, 영상 내 추출된 특징점의 움직임을 검출하는 장치에 있어서, 상기 특징점의 움직임 벡터(Motion Vector)의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 지를 판단하는 지속성 판단모듈과 상기 특징점의 움직임 벡터의 방향과 상기 특징점으로부터 기 설정된 거리 내에 존재하는 각각의 다른 특징점의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인지 여부를 판단하는 유사성 판단모듈 및 상기 지속성 판단모듈 및 유사성 판단모듈이 판단한 결과를 토대로 상기 특징점이 주요 움직임을 갖는 특징점인지 여부를 판단하는 특징점 판단모듈을 포함하는 것을 특징으로 하는 움직임 검출장치를 제공한다.

또한, 본 실시예의 다른 측면에 의하면, 영상 내 추출된 특징점의 움직임을 검출하는 방법에 있어서, 영상 내에서 특징점을 추출하는 과정과 추출한 특징점의 움직임을 추정하여 움직임 벡터(Motion Vector)를 생성하는 과정과 상기 특징점의 움직임 벡터의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 지를 판단하는 지속성 판단과정과 상기 특징점의 움직임 벡터와 상기 특징점으로부터 기 설정된 거리 내에 존재하는 각각의 다른 특징점의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인지 여부를 판단하는 유사성 판단과정 및 상기 지속성 판단과정 및 유사성 판단과정에서 판단한 결과를 토대로 상기 특징점이 주요 움직임을 갖는 특징점인지 여부를 판단하는 특징점 판단과정을 포함하는 것을 특징으로 하는 움직임 검출방법을 제공한다.

이상에서 설명한 바와 같이 본 실시예의 일 측면에 따르면, 날씨가 좋지 않은 상황 또는 배경이 많이 변하는 상황 속에서도 영상 내 존재하는 특징점들의 움직임을 분석하여, 오차 없이 주요 움직임을 갖는 특징점을 검출할 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 움직임 검출 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 움직임 검출 모듈의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 지속성 판단모듈의 판단 방법을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 유사성 판단모듈의 판단 방법을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 움직임 검출 시스템이 주요 움직임을 갖는 특징점을 검출한 화면을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 움직임 검출 방법을 도시한 순서도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 움직임 검출 시스템을 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 움직임 검출 시스템(100)은 특징점 추출모듈(110), 움직임 추정모듈(120), 특징점 분류모듈(130) 및 움직임 검출모듈(140)을 포함하여 구성된다.

특징점 추출모듈(110)은 입력된 영상으로부터 특징점을 추출한다. 특징점이란 영상 내에서 시각적으로 또는 영상처리 관점에서 구별 또는 식별이 쉬운 작은 영역으로 주로 영상의 변화가 심한 영역을 사용한다. 특징점으로 주변과 구별이 쉽고 시각적으로도 눈에 빨리 인식되는 위치로 주로 에지 부분이 사용될 수 있다. 특징점 추출모듈(110)은 SIFT(Scale-Invariant Feature Transform), FAST(Features from Accelerated Segment Test), SURF(Speeded Up Robust Feature) 또는 해리스 코너 검출 알고리즘 등을 이용하여 입력된 영상 내의 특징점을 추출한다.

움직임 추정모듈(120)은 특징점 추출모듈(110)이 추출한 특징점이 어느 방향으로 움직이는 지를 추정한다. 움직임 추정모듈(120)은 KLT(Kanade-Lucas-Tomasi) 알고리즘과 같은 특징점의 추적 알고리즘을 사용하여 영상 내에서 특징점 추출모듈(110)이 추출한 특징점의 움직임을 추정한다. 움직임 추정모듈(120)은 KLT 추적 알고리즘을 이용할 수 있으나, 반드시 이에 한정하는 것은 아니고 영상 내의 특징점의 움직임을 추정할 수 있는 알고리즘이면 어떠한 알고리즘도 적용 가능하다. 움직임 추정모듈(120)은 전술한 KLT 추적 알고리즘 등의 추적 알고리즘을 이용하여 특징점의 움직임을 추정하여 각각의 특징점의 움직임 벡터(Motion Vector)를 생성한다.

특징점 분류모듈(130)은 특징점 추출모듈(110)이 추출한 특징점들을 동일한 움직임을 갖는 특징점끼리 분류한다. 특징점 분류모듈(130)은 무작위 보팅(Randomized Voting)기법을 이용하여 특징점을 분류할 수 있다. 무작위 보팅기법은 다음과 같이 동작한다. 먼저, 복수의 특징점들을 랜덤으로 복수의 그룹으로 분류한 후, 복수의 그룹들로부터 그룹 내의 일부 특징점을 선택한다. 선택된 일부 특징점을 이용하여 복수의 그룹 각각에 대한 기초 행렬(Fundamental Matrix)을 계산하며, 기초 행렬을 토대로 선택된 일부 특징점들의 스코어(Score)를 계산한다. 계산된 스코어를 토대로 선택된 일부 특징점을 다른 그룹으로 재분류한다.

이와 같은 무작위 보팅기법이 반복 수행됨에 따라, 복수의 특징점들 중 일부 특징점들이 기초 행렬에 기초한 스코어를 토대로 계속해서 재분류되기 때문에, 최종적으로는 복수의 특징점들 중 서로 다른 움직임을 갖는 특징점들이 서로 다른 그룹으로 분류되고, 동일한 움직임을 갖는 특징점들이 동일한 그룹으로 분류될 수 있다.

특징점 분류모듈(130)은 움직임 검출 시스템(100) 내에 포함되지 않을 수 있으나, 특징점 분류모듈(130)이 포함되는 경우, 영상 내에서 주요 움직임을 갖는 특징점을 추출하는 데 있어 계산 과정이 현저히 줄어드는 이점이 있다. 특징점 분류모듈(130)이 동일한 움직임을 갖는 특징점끼리 분류를 함으로써, 움직임 검출 시스템(100)은 특정 그룹으로 분류된 특징점들 중 일부만을 판단하더라도 특정 그룹의 특징점이 주요 움직임을 갖는 지 또는 그렇지 않은 지를 판단할 수 있다.

움직임 검출모듈(140)은 특징점 추출모듈(110)이 추출한 특징점 또는 특징점 분류모듈(130)이 분류한 그룹 내의 일부 특징점이 기 설정된 조건을 만족하는 지를 판단하여 주요 움직임을 갖는 특징점만을 검출한다. 이에 대한 상세한 설명은 도 2 내지 도 4를 참조하여 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 움직임 검출모듈(140)의 구성을 도시한 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 움직임 검출모듈(140)은 전처리 모듈(210), 지속성 판단모듈(220), 유사성 판단모듈(230) 및 특징점 판단모듈(240)을 포함하여 구성된다.

전처리 모듈(210)은 각각의 특정점에 대하여 모션 벡터의 크기가 기 설정된 수치 이하인 특징점은 판단대상에서 제외한다. 전처리 모듈(210)은 움직임 추정모듈(120)이 생성한 각각의 모션 벡터의 크기를 계산하여, 모션 벡터의 크기가 기 설정된 수치 이하인 특징점은 주요 움직임을 갖는 특징점인지를 판단하는 판단대상에서 제외한다. 이는 움직임이 너무 작은 특징점은 영상 내에서 검출하고자 하는 객체일 확률이 떨어지기 때문에, 지속성 판단모듈(220), 유사성 판단모듈(230) 및 특징점 판단모듈(240)의 판단을 거치기 전에 전처리 모듈(210)이 판단대상에서 제외한다.

또한 전처리 모듈(210)은 각각의 특징점에 대하여 특징점 분류모듈(130)이 분류한 특징점 그룹의 경계에 존재하는 특징점은 판단대상에서 제외한다. 예를 들어, 전처리 모듈(210)은 특징점 분류모듈(130)이 임의의 특징점을 제1 특징점 그룹과 제2 특징점 그룹의 경계로 분류한 경우, 이러한 특징점도 마찬가지로 판단대상에서 제외한다.

지속성 판단모듈(220)은 특징점의 움직임 벡터의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 지를 판단하며, 판단 결과를 특징점 판단모듈(240)로 전송한다. 지속성 판단모듈(220)은 단위 시간당 움직임 벡터의 방향의 변화량을 판단함으로써, 각각의 특징점이 단위 시간당 움직임의 방향이 얼마나 변하는 지를 판단한다. 지속성 판단모듈(220)은 전술한 방법과 같이 판단함으로써, 지속적으로 일정한 방향으로 움직이는 움직임만을 주요 움직임으로 판단한다. 지속성 판단모듈(220)이 판단하는 방법은 도 3에 도시되어 있다.

도 3a 및 도 3c는 각각 주요 움직임을 갖지 않는 특징점과 주요 움직임을 갖는 특징점의 단위 시간당 움직임 벡터를 도시한 도면이고, 도 3b 및 도 3d는 주요 움직임을 갖지 않는 특징점과 주요 움직임을 갖는 특징점의 움직임 벡터의 방향의 변화량을 도시한 도면이다.

단위 시간을 1초라 가정할 때, 특징점(310)은 t가 0일 때 움직임 벡터(312)를 가지며, t가 1일 때 움직임 벡터(314)를 갖는다. 지속성 판단모듈(220)은 단위 시간당 움직임 벡터(312, 314)의 방향을 파악하고, 단위 시간당 움직임 벡터(312, 314)의 방향의 각도 차(θ)를 판단함으로써, 특징점이 일정한 방향으로 지속적으로 움직이고 있는 지를 판단한다. 주요 움직임을 갖지 않는 특징점(310)의 단위 시간당 움직임 벡터(312, 314)의 방향의 각도 차(θ)는 상당한 반면, 주요 움직임을 갖는 특징점(320)의 단위 시간당 움직임 벡터(312, 314)의 방향의 각도 차는 거의 없는 것을 볼 수 있다. 이와 같이, 지속성 판단모듈(220)은 각각의 특징점의 단위 시간당 움직임 벡터의 방향의 변화량을 파악하며, 단위 시간당 움직임 벡터의 방향의 변화량이 기 설정된 각도 이하인 지를 판단한다.

지속성 판단모듈(220)은 기 설정된 시간동안 특징점의 움직임 벡터의 단위 시간당 방향의 변화량을 지속적으로 판단할 수 있으며, 단위 시간당 움직임 벡터의 방향의 변화량이 기 설정된 각도 이상으로 변하는 횟수가 기 설정된 횟수 이상인 지를 판단할 수 있다. 영상 내의 객체의 움직임이 외부의 물리적인 힘에 의해 변화할 가능성도 존재하기 때문에, 지속성 판단모듈(220)은 단위 시간당 움직임 벡터의 방향의 변화량이 기 설정된 각도 이상으로 변한다고 바로 판단을 멈추고 특징점 판단모듈(240)로 전송하지 않고, 기 설정된 시간동안 지속적으로 판단하여 기 설정된 횟수 이상 변하는지를 판단할 수 있다.

움직임 검출 시스템(100)이 특징점 분류모듈(130)을 구비하여 각각의 특징점을 그룹으로 분류한 경우, 지속성 판단모듈(220)은 다음과 같이 특징점의 움직임 벡터의 단위 시간당 방향의 변화량을 판단한다. 지속성 판단모듈(220)은 각각의 특징점 그룹 내에 존재하는 특징점들의 움직임 벡터의 단위 시간당 방향의 변화량을 판단하며, 기 설정된 각도 이하로 움직임 벡터가 변한 특징점의 비율이 기 설정된 수준 이상인 경우, 그 특징점 그룹 전체는 기 설정된 각도 이하로 움직임 벡터가 변한 것으로 판단한다. 이와 같이, 움직임 검출 시스템(100)이 특징점 분류모듈(130)을 구비하는 경우, 지속성 판단모듈(220)은 특징점 그룹 내의 모든 특징점을 각각 판단하지 않더라도 해당 특징점 그룹에 대해 판단할 수 있는 이점이 있다.

유사성 판단모듈(230)은 먼저 특징점으로부터 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점들이 존재하는 지를 판단하며, 판단결과를 특징점 검출모듈(240)로 전달한다. 유사성 판단모듈(230)의 판단 방법은 도 4a에 도시되어 있다.

도 4a는 각각 주요 움직임을 갖지 않는 특징점과 주요 움직임을 갖는 특징점으로부터 기 설정된 거리 내에 존재하는 다른 특징점들을 도시한 도면이다.

유사성 판단모듈(230)은 특징점(410)으로부터 기 설정된 거리 내(420)에는 몇 개의 다른 특징점이 존재하는 지, 특징점(430)으로부터 기 설정된 거리 내(440)에는 몇 개의 다른 특징점이 존재하는 지를 판단한다. 예를 들어, 유사성 판단모듈(230)은 특징점(410)은 기 설정된 거리 내(420)에 상당히 많은 수의 다른 특징점이 존재하는 것을 판단하며, 특징점 (430)은 기 설정된 거리 내(440)에 약 10여 개의 다른 특징점이 존재하는 것을 판단한다. 이때, 기 설정된 개수가 15라 가정하면, 유사성 판단모듈(230)은 특징점(410)은 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재한다고 판단하며, 특징점 (430)은 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재하지 않는다고 판단한다.

이와 같이 특징점으로부터 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재하는 지를 판단함으로써, 영상 내에서 일정한 크기 이상의 객체만을 검출한다. 보편적으로 영상 내에서 검출하고자 하는 객체는 눈으로 인식할 수 있는 일정 크기 이상의 물체인 반면, 날씨로 인해 발생하는 노이즈(예를 들어, 빗방울 또는 눈)는 아주 작은 크기에 해당한다. 따라서 영상 내의 일정한 크기 이상의 객체만을 검출하기 위해, 유사성 판단모듈(230)은 특징점으로부터 기 설정된 거리 내에 몇 개의 다른 특징점이 존재하는 지를 판단한다.

유사성 판단모듈(230)은 특징점의 움직임 벡터의 방향과 특징점으로부터 기 설정된 거리 내에 존재하는 각각의 다른 특징점들의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인 지를 판단하여, 판단결과를 특징점 검출모듈(240)로 전달한다. 유사성 판단모듈(230)의 판단 방법은 도 4b에 도시되어 있다.

도 4b는 각각 주요 움직임을 갖지 않는 특징점과 주요 움직임을 갖는 특징점의 움직임 벡터와 특징점으로부터 기 설정된 거리 내에 존재하는 각각의 특징점들의 움직임 벡터를 도시한 도면이다.

유사성 판단모듈(230)은 특징점(450, 460)의 움직임 벡터의 방향과 특징점(450, 460)으로부터 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터의 방향을 파악한다. 유사성 판단모듈(230)은 파악한 특징점(450, 460)의 움직임 벡터의 방향과 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터의 방향을 토대로 각각의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인 지를 판단한다. 예를 들어, 도 4b에 도시된 특징점(450)의 움직임 벡터의 방향과 특징점(450)의 주변에 존재하는 다른 특징점들의 움직임 벡터의 방향은 거의 차이가 없는 것을 볼 수 있다. 반면, 도 4b에 도시된 특징점(460)의 움직임 벡터의 방향과 특징점(460)의 주변에 존재하는 다른 특징점들의 움직임 벡터의 방향은 상당히 차이가 나며, 특징점(465)의 움직임 벡터의 방향은 특징점(460)의 움직임 벡터와 180도 차이가 난다. 따라서 유사성 판단모듈(230)은 특징점(450)에 대해서는 기 설정된 거리 내에 존재하는 각각의 다른 특징점들의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하라고 판단하며, 특징점(460)에 대해서는 기 설정된 거리 내에 존재하는 각각의 다른 특징점들의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하가 아니라고 판단한다. 유사성 판단모듈(230)은 특징점의 움직임 벡터와 방향이 가장 많이 차이나는 다른 특징점의 움직임 벡터를 파악하고 두 벡터간의 방향 차이가 기 설정된 각도 이하인 지를 판단함으로써, 특징점으로부터 기 설정된 거리 내에 존재하는 모든 특징점에 대하여 전술한 판단을 마칠 수 있다.

유사성 판단모듈(230)은 기 설정된 시간 동안 특정 특징점 주변의 다른 특징점들 중 특정 특징점의 움직임 벡터와 방향 차이가 기 설정된 각도 이상 나는 특징점들의 비율을 판단할 수 있다. 영상 내의 객체가 외력에 의해 객체 중 일부가 갑자기 방향이 변화하는 경우도 발생할 수 있기 때문에, 유사성 판단모듈(230)은 특징점 주변의 다른 특징점들 중 움직임 벡터의 방향 차이가 기 설정된 각도 이상인 특징점이 기 설정된 비율 이상인 지를 판단한다. 유사성 판단모듈(230)은 움직임 벡터의 방향 차이가 기 설정된 각도 이상인 특징점이 기 설정된 비율 이상인 경우, 특정 특징점에 대해서는 기 설정된 거리 내에 존재하는 각각의 다른 특징점들의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하가 아니라고 판단할 수 있다. 반대로, 유사성 판단모듈(230)은 움직임 벡터의 방향 차이가 기 설정된 각도 이상인 특징점이 기 설정된 비율 이하인 경우, 특정 특징점에 대해서는 기 설정된 거리 내에 존재하는 각각의 다른 특징점들의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하라고 판단할 수 있다.

이와 같이 유사성 판단모듈(230)을 이용하여, 특징점의 움직임 벡터의 방향과 특징점으로부터 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터의 방향을 판단함으로써, 특정 특징점과 그 특징점 주변의 다른 특징점이 유사한 방향으로 움직이는 지를 판단한다. 이와 같이, 특정 특징점과 그 특징점 주변의 다른 특징점이 유사한 방향으로 움직이는 지를 판단함으로써, 객체의 각 부분들이 동일하게 움직이는 객체만을 검출한다. 예를 들어, 연기가 피어나는 상황 또는 나뭇잎들이 바람에 흔들리는 상황과 같이 각각의 부분(특징점)이 다른 부분들과 유사한 방향으로 움직이는 것이 아닌 무작위로 움직이는 객체는 영상 내에서 검출하고자 하는 객체와는 거리가 멀다. 따라서 이와 같은 객체는 배체하기 위하여, 유사성 판단모듈(230)은 특정 특징점과 그 특징점 주변의 다른 특징점이 유사한 방향으로 움직이는 지를 판단한다.

특징점 판단모듈(240)은 지속성 판단모듈(220) 및 유사성 판단모듈(230)이 판단한 결과를 토대로 해당 특징점이 주요 움직임을 갖는 특징점인 지를 판단한다. 특징점 판단모듈(240)은 특징점이 특징점의 움직임 벡터의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 경우, 특징점으로부터 기 설정된 거리 내에 기 설정된 개수의 다른 특징점이 존재하는 경우 및 특징점의 움직임 벡터와 기 설정된 거리 내의 다른 특징점의 움직임 벡터의 방향 차가 기 설정된 각도 이하인 경우를 모두 만족하는 경우 주요 움직임을 갖는 특징점으로 판단한다. 특징점 판단모듈(240)은 전술한 조건을 판단함으로써, 곤충과 같이 움직이는 방향을 자주 변화시키는 객체는 주요 움직임을 갖는 특징점에서 제외한다. 특징점 판단모듈(240)은 빗방울 또는 눈과 같이 객체가 일정한 방향으로 움직인다고 하더라도, 특징점으로부터 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재하는 지를 판단함으로써, 일정한 크기 이하의 객체는 마찬가지로 주요 움직임을 갖는 특징점에서 제외한다. 또한 특징점 판단모듈(240)은 나뭇잎이 흔들리는 경우나 연기가 피어나는 경우와 같이 특징점으로부터 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재하더라도 각각의 특징점이 제각각 움직이는 경우에는 또한 주요 움직임을 갖는 특징점에서 제외한다. 따라서 특징점 판단모듈(240)은 전술한 조건을 판단하여, 일정한 방향으로 움직이며, 주변에 일정 숫자 이상 특징점을 가지며, 주변의 특징점들도 동일한 방향으로 움직이는 특징점을 주요 움직임을 갖는 특징점으로 판단한다. 특징점 판단모듈(240)이 영상 내에서 특징점들을 판단한 화면은 도 5에 도시되어 있다.

도 5는 본 발명의 일 실시예에 따른 움직임 검출 시스템이 주요 움직임을 갖는 특징점을 검출한 화면을 도시한 도면이다.

영상(510)은 비가 오는 날씨에서 차량 한 대가 횡단보도 앞에 정차해있는 것을 촬영한 영상이다. 특징점 판단모듈(240)은 전술한 조건을 갖는 특징점을 판단하여, 빗방울 들은 주요 움직임을 갖는 특징점으로 검출하지 않으며, 차량(520) 내에 포함된 특징점들을 주요 움직임을 갖는 특징점으로 판단한다.

도 6은 본 발명의 일 실시예에 따른 움직임 검출 방법을 도시한 순서도이다.

입력된 영상 내에서 특징점을 추출한다(S610). 특징점 추출모듈(110)은 SIFT(Scale-Invariant Feature Transform), FAST(Features from Accelerated Segment Test), SURF(Speeded Up Robust Feature) 또는 해리스 코너 검출 알고리즘 등을 이용하여 입력된 영상 내의 특징점을 추출한다.

추출한 특징점의 움직임을 추정한다(S620). 움직임 추정모듈(120)은 특징점 추출모듈(110)이 추출한 특징점이 어느 방향으로 움직이는 지를 추정한다. 움직임 추정모듈(120)은 KLT(Kanade-Lucas-Tomasi) 알고리즘과 같은 특징점의 추적 알고리즘을 사용하여 영상 내에서 특징점 추출모듈(110)이 추출한 특징점의 움직임을 추정한다.

추정한 특징점의 움직임 중 유사한 움직임을 갖는 특징점을 분류하여 그룹화한다(S630). 특징점 분류모듈(130)은 특징점 추출모듈(110)이 추출한 특징점들을 동일한 움직임을 갖는 특징점끼리 분류한다. 특징점 분류모듈(130)은 무작위 보팅(Randomized Voting)기법을 이용하여 특징점을 분류할 수 있다. 특징점 분류모듈(130)을 이용하여 특징점을 그룹화하는 경우, 영상 내에서 주요 움직임을 갖는 특징점을 추출하는 데 있어 계산 과정이 현저히 줄어드는 이점이 있다. 특징점 분류모듈(130)이 동일한 움직임을 갖는 특징점끼리 분류를 함으로써, 움직임 검출 시스템(100)은 특정 그룹으로 분류된 특징점들 중 일부만을 판단하더라도 특정 그룹의 특징점이 주요 움직임을 갖는 지 또는 그렇지 않은 지를 판단할 수 있다.

주요 특징점을 검출하기 위하여 각각의 특징점에 대하여 전처리 과정을 실행한다(S640). 전처리 모듈(210)은 각각의 특정점에 대하여 모션 벡터의 크기가 기 설정된 수치 이하인 특징점은 판단대상에서 제외한다. 전처리 모듈(210)은 움직임 추정모듈(120)이 생성한 각각의 모션 벡터의 크기를 계산하여, 모션 벡터의 크기가 기 설정된 수치 이하인 특징점은 주요 움직임을 갖는 특징점인지를 판단하는 판단대상에서 제외한다. 또한, 전처리 모듈(210)은 각각의 특징점에 대하여 특징점 분류모듈(130)이 분류한 특징점 그룹의 경계에 존재하는 특징점은 판단대상에서 제외한다.

특징점의 움직임 벡터의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 지를 판단한다(S650). 지속성 판단모듈(220)은 단위 시간당 움직임 벡터의 방향의 변화량을 판단함으로써, 각각의 특징점이 단위 시간당 움직임의 방향이 얼마나 변하는 지를 판단한다. 지속성 판단모듈(220)은 전술한 방법과 같이 판단함으로써, 지속적으로 일정한 방향으로 움직이는 움직임만을 주요 움직임으로 판단한다.

특징점으로부터 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재하는 지를 판단한다(S660). 유사성 판단모듈(230)은 특징점으로부터 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재하는 지를 판단함으로써, 영상 내에서 일정한 크기 이상의 객체만을 검출한다.

특징점의 움직임 벡터와 특징점으로부터 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터와의 방향 차이가 기 설정된 각도 이하인 지를 판단한다(S670). 유사성 판단모듈(230)은 특징점의 움직임 벡터의 방향과 특징점으로부터 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터의 방향을 파악한다. 유사성 판단모듈(230)은 파악한 특징점의 움직임 벡터의 방향과 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터의 방향을 토대로 각각의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인 지를 판단한다. 유사성 판단모듈(230)을 이용하여, 특징점의 움직임 벡터의 방향과 특징점으로부터 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터의 방향을 판단함으로써, 특정 특징점과 그 특징점 주변의 다른 특징점이 유사한 방향으로 움직이는 지를 판단한다. 이와 같이, 특정 특징점과 그 특징점 주변의 다른 특징점이 유사한 방향으로 움직이는 지를 판단함으로써, 각 부분이 일정하게 움직이는 객체만을 검출한다.

특징점이 기 설정된 조건을 만족하는 지를 판단한다(S680). 특징점 판단모듈(240)은 지속성 판단모듈(220) 및 유사성 판단모듈(230)이 판단한 결과를 토대로 해당 특징점이 기 설정된 조건을 만족하는 지를 판단한다. 특징점 판단모듈(240)은 기 설정된 조건으로 특징점이 특징점의 움직임 벡터의 단위 시간당 방향의 변화량이 기 설정된 각도 이하일 것, 특징점으로부터 기 설정된 거리 내에 기 설정된 개수의 다른 특징점이 존재할 것 및 특징점의 움직임 벡터와 기 설정된 거리 내의 다른 특징점의 움직임 벡터의 방향 차가 기 설정된 각도 이하일 것을 판단한다.

특징점이 기 설정된 조건을 만족하는 경우, 주요 움직임을 갖는 특징점으로 검출한다(S690). 특징점 판단모듈(240)은 특징점이 전술한 기 설정된 조건을 모두 만족하는 경우, 해당 특징점을 주요 움직임을 갖는 특징점으로 검출한다.

특징점이 기 설정된 조건을 만족하지 않는 경우, 주요 움직임을 갖지 않는 특징점으로 검출한다(S700). 특징점 판단모듈(240)은 특징점이 전술한 기 설정된 조건을 모두 만족하지 못하는 경우, 해당 특징점을 주요 움직임을 갖지 않는 특징점으로 검출한다.

도 6에서는 과정 S610 내지 과정 S700을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 과정 S610 내지 과정 S700 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.

한편, 도 6에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

110: eNB 120, 125, 310, 315: EPC GW-D
130: EPC GW-D 140: MME
143: PCRF 146: CS
150: SDN 컨트롤러 160: 백홀 망
165: IP 백본 망 170, 173, 176: 단말
320: SDN 스위치

Claims

영상 내 추출된 특징점의 움직임을 검출하는 장치에 있어서,
상기 특징점의 움직임 벡터(Motion Vector)의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 지를 판단하는 지속성 판단모듈;
상기 특징점의 움직임 벡터의 방향과 상기 특징점으로부터 기 설정된 거리 내에 존재하는 각각의 다른 특징점의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인지 여부를 판단하는 유사성 판단모듈; 및
상기 지속성 판단모듈 및 유사성 판단모듈이 판단한 결과를 토대로 상기 특징점이 주요 움직임을 갖는 특징점인지 여부를 판단하는 특징점 판단모듈
을 포함하는 것을 특징으로 하는 움직임 검출장치.
제1항에 있어서,
상기 특징점 판단모듈은,
상기 특징점의 움직임 벡터의 단위 시간당 방향의 변화량이 기 설정된 각도 이하이며, 상기 특징점의 움직임 벡터의 방향과 상기 특징점으로부터 기 설정된 거리 내에 존재하는 각각의 다른 특징점의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인 경우, 상기 특징점을 주요 움직임을 갖는 특징점으로 판단하는 것을 특징으로 하는 움직임 검출장치.
제1항에 있어서,
상기 유사성 판단모듈은,
상기 특징점으로부터 기 설정된 거리 내에 기 설정된 개수의 다른 특징점들이 존재하는지 여부도 함께 판단하는 것을 특징으로 하는 움직임 검출장치.
제3항에 있어서,
상기 특징점 판단모듈은,
상기 특징점으로부터 기 설정된 거리 내에 기 설정된 개수의 다른 특징점들이 존재하지 않는 경우, 상기 특징점을 주요 움직임을 갖는 특징점이 아니라 판단하는 것을 특징으로 하는 움직임 검출장치.
제1항에 있어서,
상기 특징점의 움직임 벡터의 크기가 기 설정된 크기 이하인 경우, 상기 특징점을 판단대상에서 제외하는 전처리 모듈을 더 포함하는 것을 특징으로 하는 움직임 검출장치.
영상 내 추출된 특징점의 움직임을 검출하는 방법에 있어서,
영상 내에서 특징점을 추출하는 과정;
추출한 특징점의 움직임을 추정하여 움직임 벡터(Motion Vector)를 생성하는 과정;
상기 특징점의 움직임 벡터의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 지를 판단하는 지속성 판단과정;
상기 특징점의 움직임 벡터와 상기 특징점으로부터 기 설정된 거리 내에 존재하는 각각의 다른 특징점의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인지 여부를 판단하는 유사성 판단과정; 및
상기 지속성 판단과정 및 유사성 판단과정에서 판단한 결과를 토대로 상기 특징점이 주요 움직임을 갖는 특징점인지 여부를 판단하는 특징점 판단과정
을 포함하는 것을 특징으로 하는 움직임 검출방법.
제6항에 있어서,
상기 유사성 판단과정은,
상기 특징점으로부터 기 설정된 거리 내에 기 설정된 개수의 다른 특징점들이 존재하는지 여부도 함께 판단하는 것을 특징으로 하는 움직임 검출방법.
제6항에 있어서,
상기 특징점의 움직임 벡터의 크기가 기 설정된 크기 이하인 경우, 상기 특징점을 판단대상에서 제외하는 전처리 과정을 더 포함하는 것을 특징으로 하는 움직임 검출방법.