WO2018139810A1

WO2018139810A1 - 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법

Info

Publication number: WO2018139810A1
Application number: PCT/KR2018/000897
Authority: WO
Inventors: 박현진
Original assignee: 주식회사 골프존
Priority date: 2017-01-25
Filing date: 2018-01-19
Publication date: 2018-08-02
Also published as: KR20180087748A; KR101932525B1; TWI647424B; TW201827788A

Abstract

본 발명은 골프클럽과 같은 특정할 수 없는 형상, 크기, 재질, 반사도 등을 가진 객체가 운동하는 것에 대해 촬영된 이미지에서 운동하는 객체를 간단한 방법으로 상당히 정확하게 그리고 안정적으로 추출할 수 있는 센싱장치 및 센싱방법을 제공하기 위한 것으로서, 본 발명에 따른 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치의 센싱방법은, 상기 운동하는 객체를 바라보는 화각으로 연속하여 이미지를 취득하는 단계; 상기 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산 이미지 각각에 대해, 연속하는 두 차연산 이미지의 차연산 이미지를 각각 생성하는 단계; 및 상기 연속하는 두 차연산 이미지의 차연산 이미지 각각으로부터 상기 운동하는 객체의 위치 정보를 산출하는 단계를 포함한다.

Description

운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법

본 발명은 운동하는 객체에 대한 이미지를 연속하여 취득하여 이를 분석함으로써 각각의 이미지로부터 상기 객체를 추출하여 그로부터 상기 객체의 위치 정보를 산출할 수 있는 센싱장치 및 이를 이용한 센싱방법으로서, 예컨대 사용자가 골프클럽을 들고 골프스윙을 하여 골프공을 타격할 때 상기 골프클럽 및 골프공에 대한 이미지를 취득하여 분석함으로써 상기 골프공과 상기 골프클럽의 운동에 대한 센싱 데이터를 산출하는 센싱장치 및 이를 이용한 센싱방법에 관한 것이다.

운동하는 객체를 촬영한 이미지를 분석하여 상기 객체의 위치 정보를 산출하는 기술은 주로 야구, 축구, 농구, 그리고 골프 등과 같은 인기 스포츠 경기를 실내나 특정 장소에서 시뮬레이션을 통해 인터액티브 스포츠 시뮬레이션(Interactive Sports Simulation)의 형태로 즐길 수 있도록 하는 여러 가지 다양한 시뮬레이터 및 이를 위한 장치에서 센싱장치의 형태로 이용되고 있다.

운동하는 객체, 예컨대 사용자가 골프클럽으로 골프스윙을 하여 골프공을 타격할 때 움직이는 골프클럽과 골프공이 촬영되는 매 프레임마다 어떤 위치에 있는지 산출할 수 있다면 매 프레임마다 산출되는 위치 정보를 이용하여 골프클럽과 골프공의 궤적, 속도, 방향각, 높이각 등의 다양한 운동역학적 정보를 산출할 수 있고 이를 이용하여 사용자의 골프스윙에 대한 분석 정보를 산출한다거나, 소위 스크린 골프와 같은 가상 골프 시뮬레이션 시스템에서 영상을 통해 골프공이 비행하는 시뮬레이션 영상을 구현할 수도 있다.

통상 어떤 운동하는 객체에 대해 연속하여 취득되는 이미지에서 매 프레임마다 운동하는 객체는 서로 다른 위치에 나타나는 반면 그 배경 부분은 프레임마다 변화하지 않고 거의 고정되어 있기 때문에, 일 프레임의 이미지와 다른 일 프레임의 이미지에 대해 각각의 픽셀들의 픽셀값(밝기값)에 대한 차연산(Difference Calculation)을 통해 차영상(Difference Image)을 생성하면 그 차영상에서는 배경 부분이 제거되고 운동하는 객체 부분만 남게되므로, 이미지에서 운동하는 객체를 추출해 낼 때 차영상 기법이 널리 이용되고 있다.

도 1은 상기한 바와 같은 차영상 기법을 설명하기 위한 도면인데, 시간 ta 시점에서 촬영된 이미지(frame_ta)과 시간 tb 시점에서 촬영된 이미지(frame_tb)의 차영상(Diff(ta,tb))을 나타내고 있다.

차연산은 동일한 위치의 픽셀끼리의 픽셀값(밝기값)의 차이에 의해 구해지는데, 두 이미지의 동일 위치의 픽셀들의 픽셀값의 차이가 0보다 큰 경우에는 그 차이값이 해당 픽셀의 픽셀값(밝기값)이 되고, 두 이미지의 동일 위치의 픽셀들의 픽셀값의 차이가 0보다 작은 음수인 경우에는 0으로 대체하여 차영상이 만들어진다.

도 1에서는 x축 방향 14개, y축 방향 13개의 14 x 13 크기의 이미지에 대해 차연산이 이루어지는 경우를 예시하고 있다.

이러한 차연산의 목적은 frame_ta 이미지에서 운동하는 객체(A부분)를 추출해 내는 것이다. 이를 위해 시간 tb 시점의 이미지(frame_tb)를 이용하여 두 이미지의 모든 픽셀들에 대해 차연산을 하면, 도 1에 도시된 바와 같이 Diff(ta,tb)의 차영상이 생성된다.

도 1에서 보듯이, 예컨대 frame_ta 이미지의 (1,1)번 픽셀과 frame_tb 이미지의 (1,1)번 픽셀이 각각 20의 픽셀값을 갖는다고 할 때, 차연산에 의해 차영상(Diff(ta,tb)) 상의 (1,1)번 픽셀은 픽셀값이 0이 되어 검은색으로 나타나게 된다.

예컨대, frame_ta 이미지의 (2,7)번 픽셀의 픽셀값이 50이고 frame_tb 이미지의 (2,7)번 픽셀의 픽셀값이 20이라고 할 때, 차연산에 의해 차영상(Diff(ta,tb)) 상의 (2,7)번 픽셀은 픽셀값이 50-20 = 30이 되어 30의 픽셀값을 갖는 픽셀로 나타나게 된다.

예컨대, frame_ta 이미지의 (6,10)번 픽셀의 픽셀값이 40이고 frame_tb 이미지의 (6,10)번 픽셀의 픽셀값이 100이라고 할 때, 차연산에 의하면 40-100 = -60이 되어 음수값을 갖게 되므로 상기 -60은 0으로 대체되어 차영상(Diff(ta,tb)) 상의 (6,10)번 픽셀은 픽셀값은 0이 되어 검은색으로 나타나게 된다.

이와 같은 방식으로 frame_ta 이미지의 frame_tb 이미지에 대한 차영상을 구하면, 조명에 따른 운동하는 객체의 반사도 등이 항상 일정하고 주변의 다른 변수가 존재하지 않는다면 객체 A는 차영상을 통해 상당히 정확하게 추출될 수 있다.

그러나, 객체가 운동하기 때문에 매 프레임마다 조명에 대한 반사도 등이 다를 수 있기 때문에 매 프레임마다 객체를 이루는 픽셀들의 픽셀값이 달라질 수 있고 다른 물체가 중간에 끼어들거나 움직이는 어떤 물체가 이미지에 포착이 되는 등의 여러 가지 변수에 의해 차영상을 통해 항상 정확하게 객체 A를 정확하게 추출할 수 없는 경우가 많다. 도 1에서 frame_ta 이미지의 frame_tb 이미지에 대한 차영상(Diff(ta,tb))을 보면 객체 A가 차연산에 의해 상당 부분 손상되어 A'부분으로 나타나는 것을 볼 수 있다.

특히, 객체의 색상이나 조명에 대한 반사도, 주변 조도의 차이, 조명에 대한 쉐이드(Shade), 객체의 재질 등의 영향으로 이미지 상에서 객체가 배경 부분과 거의 비슷하거나 오히려 더 어두운 픽셀값을 갖는 경우도 있는 등 골프클럽을 이미지에서 차영상 기법으로 추출하는 것은 매우 어려우며 추출한다 하더라도 그로부터 산출되는 위치 정보는 정확도가 매우 떨어질 수밖에 없는 문제점이 있었다.

골프클럽과 달리 골프공의 경우에는 형상과 크기 등이 정형화되어 있고 대부분 밝은 색상이므로 차영상 기법을 통해 상당히 정확하게 이미지에서 추출할 수 있으며 차영상 과정에서 골프공 부분의 일부 픽셀이 손실된다고 하더라도 형상과 크기가 정형화되어 있기 때문에 윤곽선을 상당히 정확하게 피팅(fitting)할 수 있다.

그러나, 골프클럽은 차영상 기법으로 추출하는 것도 매우 어려울 뿐만 아니라 추출한다고 하더라도 상기한 바와 같은 골프공의 추출에 이용되는 영상처리기법으로는 추출하기 매우 어렵다)

이러한 문제를 해결하기 위하여 골프클럽의 샤프트 및 헤드 등에 특정 마커를 부착하고 이미지에서 그 특정 마커를 찾아 골프클럽의 위치를 특정하는 방법에 대한 기술이 등장하였으나, 사용자가 골프 연습이나 가상의 골프 경기를 할 때 반드시 특정 마커를 부착한 특정 골프클럽을 사용하여야 한다는 치명적인 문제점이 있고, 특정 마커를 부착한다고 하더라도 골프 스윙에 따라 이미지 상에서 해당 마커가 온전히 나타나지 않거나 가려지게 되는 경우가 있기 때문에 정확한 골프클럽의 정확한 위치의 특정이 어렵게 되는 문제점이 있었다.

본 발명과 관련된 종래의 선행기술문헌으로는, 특허출원 제10-2011-0025149호, 특허출원 제10-2011-0111875호, 일본공개특허 제2005-210666호 등이 있다.

본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위한 것으로서, 골프클럽과 같은 특정할 수 없는 형상, 크기, 재질, 반사도 등을 가진 객체가 운동하는 것에 대해 촬영된 이미지에서 운동하는 객체를 간단한 방법으로 상당히 정확하게 그리고 안정적으로 추출할 수 있는, 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법을 제공하기 위한 것이다.

본 발명의 일 실시예에 따른 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치의 센싱방법은, 상기 운동하는 객체를 바라보는 화각으로 연속하여 이미지를 취득하는 단계; 상기 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산 이미지 각각에 대해, 연속하는 두 차연산 이미지의 차연산 이미지를 각각 생성하는 단계; 및 상기 연속하는 두 차연산 이미지의 차연산 이미지 각각으로부터 상기 운동하는 객체의 위치 정보를 산출하는 단계를 포함한다.

또한 바람직하게는, 상기 연속하는 두 차연산 이미지의 차연산 이미지를 각각 생성하는 단계는, 상기 연속하여 취득되는 이미지 중 일 프레임의 이미지를 상기 기준 이미지로서 결정하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 연속하는 두 차연산 이미지의 차연산 이미지를 각각 생성하는 단계는, 상기 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산에 의하여 각 이미지 상의 배경 부분보다 더 밝은 픽셀값을 갖는 픽셀들 및 상기 배경 부분보다 더 어두운 픽셀값을 갖는 픽셀들을 모두 포함하도록 하는 차연산 이미지를 각각 생성하는 단계와, 상기 생성된 차연산 이미지들 중 연속하는 두 차연산 이미지에 대해 각각 차연산 처리를 하여 차-차연산 이미지를 생성하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 연속하는 두 차연산 이미지의 차연산 이미지를 각각 생성하는 단계는, 상기 연속하여 취득되는 이미지 각각에 있어서 각각의 픽셀의 픽셀값과 상기 기준 이미지의 대응되는 위치의 각 픽셀의 픽셀값의 차이에 대한 절대치를 픽셀값으로 하는 절대치 차연산 이미지를 생성하는 단계와, 연속하는 두 개의 상기 절대치 차연산 이미지에 대해 각각의 대응 픽셀의 픽셀값의 차이가 0보다 크면 그 값을 픽셀값으로 하고 0보다 작으면 0을 픽셀값으로 하는 차연산 처리를 하여 차-차연산 이미지를 생성하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 다른 일 실시예에 따른 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치의 센싱방법은, 상기 운동하는 객체를 바라보는 화각으로 연속하여 이미지를 취득하는 단계; 상기 연속하여 취득되는 이미지 각각에 배경 부분과, 매 프레임마다 새로운 위치에 출현하는 위치 이동 객체와, 연속되는 이미지에서 움직임 변화 위치가 중첩되어 나타나는 운동위치중첩부분이 포함되며, 상기 연속하여 취득되는 이미지 각각에서 상기 위치 이동 객체 및 운동위치중첩부분은 추출하고 상기 배경 부분을 제거하도록 이미지 처리를 수행하는 단계; 상기 이미지 처리된 이미지들에 대해, 연속하는 두 이미지의 차연산을 통해 상기 운동위치중첩부분을 제거하여 상기 운동하는 객체에 관한 위치 이동 객체를 추출하는 단계; 및 상기 추출된 운동하는 객체의 위치 정보를 산출하는 단계를 포함한다.

또한 바람직하게는, 상기 배경 부분을 제거하도록 이미지 처리를 수행하는 단계는, 상기 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산의 절대치를 통해 각 이미지의 배경 부분보다 더 밝은 픽셀값을 갖는 픽셀들 및 상기 배경 부분보다 더 어두운 픽셀값을 갖는 픽셀들을 모두 포함하도록 이미지 처리를 하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 사용자의 골프스윙에 따라 운동하는 골프클럽의 위치 정보를 산출하기 위한 센싱장치의 센싱방법은, 상기 사용자의 골프스윙을 바라보는 화각으로 연속하여 이미지를 취득하는 단계; 상기 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산의 절대치를 취하여 절대치 차연산 이미지를 생성하는 단계; 상기 생성된 절대치 차연산 이미지들 중 연속하는 두 절대치 차연산 이미지에 대해 각각 차연산 처리를 하여 차-차연산 이미지를 생성하는 단계; 및 상기 생성된 차-차연산 이미지 각각으로부터 상기 운동하는 골프클럽의 위치 정보를 산출하는 단계를 포함한다.

한편, 본 발명의 일 실시예에 따른 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치는, 상기 운동하는 객체를 바라보는 화각으로 연속하여 이미지를 취득하는 카메라부; 상기 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산 이미지 각각에 대해, 연속하는 두 차연산 이미지의 차연산 이미지를 각각 추출하기 위해 이미지 처리를 수행하는 이미지 처리부; 및 상기 이미지 처리부에 의해 추출된 상기 연속하는 두 차연산 이미지의 차연산 이미지 각각으로부터 상기 운동하는 객체의 위치 정보를 산출하는 정보산출부를 포함한다.

또한 바람직하게는, 상기 이미지 처리부는, 상기 연속하여 취득되는 이미지 중 일 프레임의 이미지를 상기 기준 이미지로서 결정하고, 상기 연속하여 취득되는 이미지 각각에 대한 상기 기준 이미지의 차연산에 의한 값의 절대치를 픽셀값으로 하는 절대치 차연산 이미지를 생성하며, 연속하는 두 개의 상기 절대치 차연산 이미지의 차연산을 통해 차-차연산 이미지를 생성하도록 구성되는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 사용자의 골프스윙에 따라 운동하는 골프클럽의 위치 정보를 산출하기 위한 센싱장치는, 상기 사용자의 골프스윙을 바라보는 화각으로 연속하여 이미지를 취득하는 카메라부; 상기 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산의 절대치를 취하여 절대치 차연산 이미지를 생성하며, 상기 생성된 절대치 차연산 이미지들 중 연속하는 두 절대치 차연산 이미지에 대해 각각 차연산 처리를 하여 차-차연산 이미지를 생성하도록 이미지 처리를 수행하는 이미지 처리부; 및 상기 생성된 차-차연산 이미지 각각으로부터 상기 운동하는 골프클럽의 위치 정보를 산출하는 정보산출부를 포함한다.

본 발명에 따른 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법은 특별한 마커의 부착이나 별도의 장비 없이, 골프클럽과 같은 특정할 수 없는 형상, 크기, 재질, 반사도 등을 가진 객체가 운동하는 것에 대해 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산 이미지 각각에 대해, 연속하는 두 차연산 이미지의 차연산 이미지를 생성하는 방식으로 운동하는 객체를 상당히 정확하고 안정적으로 추출하여 그로부터 정확한 위치 정보를 산출할 수 있도록 하는 효과가 있다.

도 1은 일반적으로 영상처리 기술분야에서 이용되고 있는 차영상 기법을 설명하기 위한 도면이다.

도 2는 본 발명의 일 실시예에 따른 센싱장치의 구성을 나타내는 블록도이다.

도 3은 본 발명의 일 실시예에 따른 센싱장치의 센싱방법에 따른 프로세스를 나타낸 플로우차트이다.

도 4는 본 발명의 일 실시예에 따른 센싱장치의 카메라부에서 연속하여 취득되는 이미지들의 예를 나타낸 도면이다.

도 5는 도 4에 도시된 이미지들을 이용하여 절대치 차연산 이미지를 생성하는 과정을 나타낸 도면이다.

도 6은 도 5에 도시된 절대치 차연산 이미지들을 이용하여 차-차연산 이미지를 생성하는 과정을 나타낸 도면이다.

본 발명에 따른 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법에 대한 좀 더 구체적인 내용을 도면을 참조하여 설명하도록 한다.

먼저, 도 2를 참조하여 본 발명의 일 실시예에 따른 센싱장치의 구성에 대해 설명한다. 도 2는 본 발명의 일 실시예에 따른 센싱장치의 구성을 나타내는 블록도이다.

본 발명은 사용자가 골프클럽으로 골프스윙을 하여 골프공을 타격할 때 그에 대해 촬영되는 이미지들을 분석하여 골프공과 골프클럽을 각각 이미지에서 추출하여 그 위치 정보를 산출하는 센싱장치의 개발 과정에서 완성된 발명으로서, 특히 골프클럽과 같이 종래의 영상처리기법으로는 이미지에서 추출하는 것이 매우 어려운 객체를 정확하고 안정적으로 추출하는 방법을 제공하며, 골프클럽과 같이 이미지에서 추출하는 것이 어려운 객체를 효과적으로 추출할 수 있기 때문에, 골프공과 같은 정형화된 객체는 물론 어떠한 불특정한 객체에 대해서도 본 발명에 따른 센싱장치 및 센싱방법을 이용하여 운동에 따른 객체를 이미지 처리를 통해 효과적으로 추출하여 그 위치 정보를 정확하게 산출할 수 있다.

이하에서는 상기한 '운동하는 객체'에 대해 주로 골프클럽을 그 예로써 설명하지만 상기한 바와 같이 골프클럽 뿐만 아니라 영상처리를 통해 추출하기 어려운 여하한 객체의 경우에도 본 발명이 동일하게 적용될 수 있음은 물론이다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 센싱장치는 카메라부(100) 및 센싱처리부(200)를 포함하며, 상기 센싱처리부(200)는 이미지 처리부(210)와 정보산출부(220)를 포함하여 구성될 수 있다.

상기 카메라부(100)는 운동하는 객체를 바라보는 화각으로 연속하여 이미지를 취득하도록 구성되는데, 운동하는 객체에 대한 3차원 공간 상에서의 위치 정보를 산출하기 위해서는 상기 카메라부(100)가 서로 다른 시야각으로 동일한 대상에 대해 각각 이미지를 취득하는 복수개의 카메라, 예컨대 도 2에 도시된 바와 같이 제1 카메라(110)와 제2 카메라(120)가 서로 동기화되어 스테레오 방식으로 구성됨이 바람직하다.

상기한 바와 같이 카메라부(100)의 복수개의 카메라(110, 120)가 서로 동기화되어 스테레오 방식으로 구성됨으로써, 동일한 객체에 대해 제1 카메라(110)를 통해 취득한 이미지와 제2 카메라(120)를 통해 취득한 이미지 각각에서 추출한 해당 객체의 2차원 정보를 3차원 정보로 변환할 수 있다.

도 2에서는 카메라부(100)의 복수개의 카메라(110, 120)가 사용자(U)가 골프클럽(GC)을 들고 골프스윙하는 것에 대해 이미지를 취득하는 경우에 대해 나타내고 있는데, 본 발명은 이에 한정하지 않고, 예컨대 사용자가 야구스윙을 하는 경우 등의 각종 스포츠 시뮬레이션 시스템 등에 이용될 수 있다.

상기 센싱처리부(200)는 상기 카메라부(100)의 각 카메라(110, 120)로부터 이미지를 수집하여 소정의 이미지 처리를 수행하여 해당 객체를 추출하는 이미지 처리부(210)와, 이미지로부터 추출된 객체의 2차원 위치 정보로부터 3차원 위치 정보 등을 산출하는 정보산출부(220)를 포함하도록 구성될 수 있다.

상기 센싱처리부(200)는 상기 카메라부(100)의 각 카메라(110, 120)를 통해 수집되는 이미지 각각으로부터 운동하는 객체를 추출하고 해당 객체의 위치 정보를 산출하여 클라이언트(300)로 그 산출된 정보를 전송하여, 상기 클라이언트(300)가 상기 전송받은 객체의 위치 정보를 이용하여 새로운 정보를 산출하거나 분석 정보를 산출하는 등의 클라이언트(300) 고유의 기능을 수행할 수 있도록 한다.

예컨대, 클라이언트(300)를 스크린 골프 시스템에 이용되는 시뮬레이터로서 구현하는 경우, 센싱처리부(200)로부터 골프공과 골프클럽의 위치 정보를 전송받아 이를 이용하여 가상의 골프코스 상에서 볼이 비행하는 궤적의 시뮬레이션 영상을 구현할 수 있다.

또한, 상기 클라이언트(300)를 골프스윙 분석장치로서 구현하는 경우, 센싱처리부(200)로부터 골프공과 골프클럽의 위치 정보를 전송받아 이를 이용하여 사용자의 골프스윙에 대한 분석 정보, 스윙의 문제점 진단 및 이를 해결하기 위한 레슨정보 등을 제공하도록 구현할 수 있다.

상기 이미지 처리부(210)는 상기 카메라부(100)에 의해 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산 이미지 각각에 대해, 연속하는 두 차연산 이미지의 차연산 이미지를 각각 추출하기 위해 이미지 처리를 수행하도록 구성되며, 상기 정보산출부(220)는 상기 이미지 처리부에 의해 추출된 상기 연속하는 두 차연산 이미지의 차연산 이미지 각각으로부터 상기 운동하는 객체의 위치 정보를 산출하도록 구성될 수 있다.

도 2에 도시된 바와 같이 상기 정보산출부(220)는 센싱장치에 포함되도록 구성될 수도 있으나, 이에 한정하지 않고 클라이언트(300)에 포함되도록 구성할 수도 있다. 즉, 센싱장치는 이미지의 취득 및 이미지 처리를 통해 운동하는 객체를 추출하는 기능까지 수행하고 그 추출된 정보를 클라이언트의 정보산출부로 전송하여 상기 추출된 운동하는 객체의 위치 정보 및 이를 이용한 각종 정보의 산출이 이루어지도록 하는 것도 가능하다.

한편, 도 3에 도시된 플로우차트를 참조하여 본 발명의 일 실시예에 따른 센싱장치의 센싱방법에 관하여 설명한다.

먼저, 사용자가 골프클럽으로 골프 스윙을 하여 볼을 타격하는 것을 카메라부가 소정의 화각으로 촬영하여 연속하여 이미지를 취득한다(S10).

상기 연속하여 취득되는 이미지는 센싱처리부의 이미지 처리부로 전달되고, 상기 이미지 처리부는 연속하여 취득되는 이미지들 중 미리 설정된 사항에 따라 차연산을 위한 기준 이미지를 선정한다(S11).

상기 기준 이미지는 검출하고자 하는 운동하는 객체(관심 대상 객체)를 이미지에서 추출하기 위한 차영상에 이용될 이미지 상의 배경 부분을 제거하기 위한 이미지이다.

상기 기준 이미지에는 관심 대상인 운동하는 객체를 제외한 배경 부분만 있는 이미지로 선정할 수 있으며, 적어도 관심 대상인 운동하는 객체가 이미지에 등장하더라도 다른 이미지 상에 나타난 객체와 겹치지 않는 위치에 등장하는 이미지로 선정하는 것이 바람직하다.

예컨대, ta < ... <t1 < t2 < ... < tn 의 시간에 각각 운동하는 객체에 대한 이미지를 연속하여 취득하였을 때, 관심 대상 객체를 추출하기 위하여 t1, t2 ... 등의 시점에 취득된 이미지들이 이용된다면, t1, t2 ... 등의 시점에 취득된 이미지들 각각에 대해 차연산을 하기 위한 기준 이미지로서 ta 시점의 이미지 또는 tn 시점의 이미지가 선정될 수 있다.

여기서 기준 이미지를 이용하여 차연산이 수행될 t1, t2 ... 등의 시점의 이미지들을 편의상 '타깃 이미지'라 하기로 한다.

어느 시점에 취득되는 이미지를 기준 이미지로서 선정할 것인지는 운동하는 객체가 어떤 것이고 어떻게 운동하게 되는지 등으로부터 개별적으로 결정될 수 있는데, 예컨대 골프스윙 시에 운동하는 골프클럽을 타깃 이미지들로부터 추출하고자 할 때에는 타깃 이미지들 상에서 골프클럽이 등장하는 위치가 기준 이미지 상에서 골프클럽이 등장하는 위치와 겹치지 않도록 함이 바람직하기 때문에, 상기한 예에서 타깃 이미지들과 상당히 멀리 떨어진 시점인 tn 시점의 이미지를 기준 이미지로 선정하도록 센싱처리부에 미리 설정해 놓을 수 있다.

한편, 상기한 바와 같이 기준 이미지가 선정되면, 타깃 이미지들 각각에 대한 기준 이미지의 차연산을 통해 관심 대상 객체를 추출한다. 그런데, 본 발명에 따른 상기 차연산은 앞서 배경 기술 부분에서 설명한 바 있는 일반적인 차연산이 아니라, 두 번의 차연산이 수행되는 차연산의 차연산을 이용한 방법이며, 좀 더 구체적으로는 '절대치 차연산'을 수행하여 생성된 '절대치 차연산 이미지'들에 대해 다시 '차연산'이 수행되어 '차-차연산 이미지'를 생성함으로써 관심 대상 객체를 정확하게 추출하는 방법을 제공한다.

이에 대해서는 도 3의 S12 및 S13 단계에서 나타내고 있는데, 상기한 바와 같이 센싱처리부의 이미지 처리부가 기준 이미지를 선정하면(S11), 이미지 처리부는 연속하여 취득되는 이미지(타깃 이미지) 각각에 대한 기준 이미지의 차연산에 의한 값의 절대치를 픽셀값으로 하는 절대치 차연산 이미지를 생성하고(S12), 연속하는 두 절대치 차연산 이미지의 차연산을 통해 차-차연산 이미지를 생성한다(S13).

즉, 상기 '절대치 차연산'은 타깃 이미지 상의 픽셀의 픽셀값(밝기값)과 기준 이미지 상의 대응되는 위치의 픽셀의 픽셀값(밝기값)의 차이에 대한 절대치를 취하는 연산이며, 상기한 두 픽셀값의 차이의 절대치를 픽셀값으로 하는 이미지를 '절대치 차연산 이미지'로 명명하기로 한다.

그리고, 상기한 절대치 차연산 이미지들을 이용하여 다시 차연산을 수행하여 생성하는 이미지를 '차-차연산 이미지'로 명명하기로 한다.

상기한 바와 같이 두 번의 차연산을 수행하여 생성되는 차-차연산 이미지에는 관심 대상 객체, 즉 추출하고자 하는 운동하는 객체에 대해 간섭이 되는 요소, 즉 간섭요소가 배제되고 관심 대상 객체가 상당히 정확하게 나타나기 때문에, 상기 차-차연산 이미지로부터는 관심 대상 객체의 추출이 용이하게 이루어질 수 있다.

상기한 바와 같이 생성된 각 차-차연산 이미지 상의 운동하는 객체에 해당하는 부분은 에지 정보를 이용하여 윤곽을 결정하고 그 결정된 윤곽의 중심점 또는 무게중심점 등의 특정 위치를 찾아서 그 위치를 운동하는 객체의 위치 정보로서 산출할 수 있다(S14).

이미지에서 운동하는 객체에 해당하는 부분을 추출하는 것이 가장 중요하고 그 부분이 추출된다면 그 추출된 부분에서 위치 정보를 산출하는 것은 종래에 이용되고 있는 기술에 의해 이루어질 수도 있다.

이하, 도 4 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 센싱장치의 센싱방법에 의한 '절대치 차연산 이미지'의 생성 및 '차-차연산 이미지'의 생성에 대해 구체적인 예를 이용하여 설명하도록 한다.

도 4는 본 발명의 일 실시예에 따른 센싱장치의 카메라부에서 연속하여 취득되는 이미지들의 예를 나타내고 있고, 도 5는 도 4에 도시된 이미지들을 이용하여 절대치 차연산 이미지를 생성하는 과정을 나타내고 있으며, 도 6은 도 5에 도시된 절대치 차연산 이미지들을 이용하여 차-차연산 이미지를 생성하는 과정을 나타내고 있다.

도 4 내지 도 6에서 나타내고 있는 이미지들은 실제로 촬영에 의해 취득된 이미지들은 아니며 본 발명에 따른 센싱장치의 센싱방법을 보다 효과적으로 설명하기 위하여 임의로 만든 이미지들로서 이미지의 구성을 간략화하여 설명과 이해의 편의를 도모하도록 하였다.

도 4에 도시된 바와 같이, 카메라부에 의해 연속하여 취득되는 이미지들은 t1, t2, t3 ... tn 시점에서 각각 취득되는 이미지들로서, 도 4의 (a)에서는 t1 시점에서 취득되는 이미지(Frame_t1)를, (b)에서는 t2 시점에서 취득되는 이미지(Frame_t2)를, (c)에서는 t3 시점에서 취득되는 이미지(Frame_t3)를, 그리고 (d)에서는 t1, t2, t3... 로부터 다소 멀리 떨어진 시점인 tn 시점에서 취득되는 이미지(Frame_tn)를 각각 나타내고 있다.

여기서, 도 4의 (a) 내지 (c)에 도시된 이미지들(Frame_t1, Frame_t2, Frame_t3 등)은 타깃 이미지, 그리고 (d)에 도시된 이미지인 Frame_tn은 기준 이미지로서 선정된 이미지로 정의하기로 한다.

도 4의 (a) 내지 (d)에서 보듯이 연속하여 취득되는 이미지에는 동일한 배경 부분(BG)이 이미지 상에 존재한다.

검출하고자 하는 운동하는 객체에 해당하는 관심 대상 객체(M1, M2, M3 ... Mn)는 이미지가 취득되는 t1 ~ tn 시간에 걸쳐 이동하면서 각 이미지 상에서 서로 다른 위치에 존재하게 된다(약간의 일부 중복이 발생할 수도 있지만 객체의 운동 속도와 카메라의 촬영 속도 등에 따라 대체적으로 매 프레임마다 서로 다른 위치에 존재하게 되는 것이 바람직하다).

그리고, 이미지가 취득되는 t1 ~ tn 시간에 걸쳐 움직이기는 하지만 크게 움직이지 않거나 흔들리거나 제자리에서 움직이는 등 중첩된 움직임 변화를 나타내는 운동위치중첩부분(V1, V2, V3 ... Vn)이 각 이미지 상에 존재한다고 가정한다.

도 4의 (a) 내지 (d)에서 운동위치중첩부분(V1, V2, V3 ... Vn)이 중첩된 움직임 변화를 나타내는 것을 볼 수 있다.

예컨대, 사용자가 골프클럽으로 골프스윙을 하는 것에 대한 연속하여 취득되는 이미지인 경우, 사용자의 신체 부분, 골프매트 부분, 고무티 부분 등은 중첩된 움직임 변화를 나타내는 운동위치중첩부분에 해당하며, 골프클럽은 매 프레임마다 중첩되지 않는 위치 변화를 나타내는 관심 대상 객체에 해당한다.

도 4의 (a) 내지 (d)에 나타낸 타깃 이미지들 및 기준 이미지를 이용하여, 도 3의 S12 단계에 해당하는 절대치 차연산 이미지를 생성하는 과정에 대해 도 5에서 나타내고 있다.

도 5의 (a)는 t1 시점의 타깃 이미지(Frame_t1)의 기준 이미지(Frame_tn)에 대한 절대치 차연산에 의해 절대치 차연산 이미지 AbsDiff(t1,tn)이 생성되는 경우에 대해 나타내고 있고, 도 5의 (b)는 t2 시점의 타깃 이미지(Frame_t2)의 기준 이미지(Frame_tn)에 대한 절대치 차연산에 의해 절대치 차연산 이미지 AbsDiff(t2,tn)이 생성되는 경우에 대해 나타내고 있으며, 도 5의 (c)는 t3 시점의 타깃 이미지(Frame_t3)의 기준 이미지(Frame_tn)에 대한 절대치 차연산에 의해 절대치 차연산 이미지 AbsDiff(t3,tn)이 생성되는 경우에 대해 나타내고 있다.

앞서 설명한 바와 같이, 절대치 차연산을 하게 되면 타깃 이미지와 기준 이미지의 픽셀값(밝기값)의 차이에 대한 절대치를 취하기 때문에 픽셀값이 차이가 나면 날 수록 절대치 차연산 이미지에서는 높은 픽셀값(밝기값)을 갖게 된다.

따라서, 타깃 이미지와 기준 이미지의 픽셀값이 픽셀값이 실질적으로 동일한 배경 부분(BG)은, 도 5의 (a) 내지 (c)에 나타낸 바와 같이 모두 제거될 수 있는 반면, 각각의 타깃 이미지와 기준 이미지 상의 관심 대상 객체(M1, M2, M3)와 운동위치중첩부분(V1, V2, V3, Vn), 그리고 불필요한 위치 이동 객체(Mn)는 절대치 차연산 이미지 상에 상당히 온전하게 나타나게 된다.

도 5의 (a)에 도시된 예에서, 타깃 이미지 Frame_t1의 기준 이미지 Frame_tn에 대한 절대치 차연산에 의해 절대치 차연산 이미지 AbsDiff(t1,tn)이 생성되는데, 상기 절대치 차연산 이미지 AbsDiff(t1,tn)에서 배경 부분(BG)은 대부분 소거되고 서로 다른 위치에 존재하는 관심 대상 객체 M1과 불필요한 위치 이동 객체(Mn)은 차연산의 절대치에 의해 거의 온전하게 나타나며, 운동위치중첩부분 VO1(V1과 Vn이 상당 부분 중첩되어 나타나는 부분)도 존재하게 된다.

이때, 상기 운동위치중첩부분 VO1은 V1과 Vn이 서로 중첩되는 부분에서 픽셀값이 같은 부분의 경우 절대치 차연산에 의해 소거되어 나타날 수 있다. 즉 도면 상에서는 온전하게 나타나는 것으로 도시하였으나 일부가 소거되어 나타나게 되는 경우가 많다.

도 5의 (b)에 도시된 타깃 이미지 Frame_t2의 기준 이미지 Frame_tn에 대한 절대치 차연산에 의해 절대치 차연산 이미지 AbsDiff(t2,tn)의 생성에서 관심 대상 객체(M2), 불필요한 위치 이동 객체(Mn) 및 운동위치중첩부분(VO2)에 관한 사항과, 도 5의 (c)에 도시된 타깃 이미지 Frame_t3의 기준 이미지 Frame_tn에 대한 절대치 차연산에 의해 절대치 차연산 이미지 AbsDiff(t3,tn)의 생성에서 관심 대상 객체(M3), 불필요한 위치 이동 객체(Mn) 및 운동위치중첩부분(VO3)에 관한 사항도 상기한 도 5의 (a)와 동일하다.

따라서, 상기한 바와 같은 절대치 차연산을 통해 일반적인 차연산과는 달리 관심 대상 객체를 이루는 픽셀들 중 높은 픽셀값을 갖는 부분이든 낮은 픽셀값을 갖는 부분이든 모두 절대치 차연산 이미지 상에 상당히 온전하게 나타날 수 있을 뿐 아니라 낮은 픽셀값을 갖는 부분들이 높은 픽셀값을 갖도록 하여 주변과 상당히 구분될 수 있도록 할 수 있다(즉, 타깃 이미지에서 어둡게 나타나던 부분이 절대치 차연산 이미지에서 밝게 나타나게 되도록 할 수 있다).

여기서, 절대치 차연산에 의해 배경 부분이 소거됨에 따라 관심 대상 객체(M1, M2, M3), 불필요한 위치 이동 객체(Mn) 및 운동위치중첩부분(VO1, VO2, VO3)을 제외한 나머지 부분이 거의 대부분 0의 픽셀값을 갖게 되어 검은색으로 나타나게 되지만, 도면 상에서는 설명과 이해의 편의를 위해 0의 픽셀값을 갖게 되는 부분들을 모두 흰색으로 나타내었다.

도 5의 (a) 내지 (c)에서 각각 생성된 절대치 차연산 이미지인 AbsDiff(t1,tn), AbsDiff(t2,tn) 및 AbsDiff(t3,tn) 등은 다시 차연산을 통해 차-차연산 이미지가 생성되는데, 이에 대해서는 도 6을 참조하여 설명하도록 한다.

도 5를 통해 설명한 바와 같이, 절대치 차연산에 의해 AbsDiff(t1,tn), AbsDiff(t2,tn) 및 AbsDiff(t3,tn) 등의 절대치 차연산 이미지가 생성되는데, 연속하는 두 절대치 차연산 이미지에 대해서 차연산(여기서 차연산은 통상적인 차연산을 의미한다)을 수행하면 도 6에 도시된 바와 같이 차-차연산 이미지를 획득할 수 있다.

도 5에 도시된 절대치 차연산 이미지인 AbsDiff(t1,tn), AbsDiff(t2,tn) 및 AbsDiff(t3,tn) 등에서 보면, 관심 대상 객체는 M1, M2, M3이며, 운동위치중첩부분(VO1, VO2, VO3) 및 불필요한 위치 이동 객체(Mn)는 모두 간섭요소로서 제거되어야 할 부분들이다.

이와 같은 간섭요소들이 연속하는 두 절대치 차연산 이미지의 차연산에 의해 제거될 수 있는데, 도 6의 (a)에 도시된 바와 같이 절대치 차연산 이미지 AbsDiff(t1,tn)의 AbsDiff(t2,tn)에 대한 차연산을 통해 두 이미지 상에 동일하게 존재하는 부분인 위치 이동 객체(Mn)와 거의 동일하게 존재하는 부분인 운동위치중첩부분(VO1 및 VO2)은 거의 대부분 소거되고, 위치가 중첩되지 않는 관심 대상 객체 M1은 보존되며, 차연산에 의해 마이너스의 값을 갖게되는 M2 부분은 픽셀값이 0으로 대체되어 차-차연산 이미지(DOD(t1,t2|tn)) 상에서 사라지게 된다.

마찬가지로, 도 6의 (b)에 도시된 바와 같이 절대치 차연산 이미지 AbsDiff(t2,tn)의 AbsDiff(t3,tn)에 대한 차연산을 통해 두 이미지 상에 동일하게 존재하는 부분인 위치 이동 객체(Mn)와 거의 동일하게 존재하는 부분인 운동위치중첩부분(VO2 및 VO3)은 거의 대부분 소거되고, 위치가 중첩되지 않는 관심 대상 객체 M2는 보존되며, 차연산에 의해 마이너스의 값을 갖게되는 M3 부분은 픽셀값이 0으로 대체되어 차-차연산 이미지(DOD(t2,t3|tn)) 상에서 사라지게 된다.

여기서, 연속하는 두 절대치 차연산 이미지의 차연산에 의해 완전히 중복되지 않는 운동위치중첩부분(VO1 및 VO2, VO2 및 VO3)은 차-차연산 이미지 DOD(t1,t2|tn) 및 DOD(t2,t3|tn) 각각에서 아주 작은 부분이 남아서 노이즈(NZ)가 될 수 있다.

여기서, 상기한 차-차연산에 의해 운동위치중첩부분(VO1 및 VO2 또는 VO2 및 VO3)이 정확하게 NZ로 표시되는 부분만 남기고 제거되는 것은 아니다.

예컨대, 절대치 차연산 이미지 AbsDiff(t1,tn) 상의 운동위치중첩부분(VO1)과 절대치 차연산 이미지 AbsDiff(t2,tn) 상의 운동위치중첩부분(VO2)이 NZ 부분 외에 모두 완전히 동일한 것은 아니며 두 운동위치중첩부분에서 서로 대응되는 위치의 픽셀들의 픽셀값 크기가 서로 차이가 나는 부분들이 존재할 수 있기 때문에, 실제로는 도 6에서 나타낸 각 차-차연산 이미지 상에서 나타낸 NZ 부분 외에도 특정할 수 없는 여러 가지 크고 작은 노이즈들을 남길 수 있다.

즉, 본 명세서에서는 설명의 간략화를 위해 도 6에서는 NZ 부분만을 노이즈로 나타내었으나 실제로는 NZ 부분 외에 다른 노이즈들이 더 존재할 수 있는데, 이러한 노이즈(NZ 부분 및 그 외의 다른 노이즈 부분들) 부분은 일반적으로 이용되는 노이즈 제거 기술을 적용하여 제거할 수 있다.

따라서, 상기한 바와 같이 연속하는 두 절대치 차연산 이미지의 차연산을 통해 차-차연산 이미지를 획득하면 그 차-차연산 이미지 상에서 상당히 온전하게 관심 대상 객체가 나타나 있기 때문에 적절한 이미지 처리를 통해 관심 대상 객체를 정확하게 특정할 수 있게 되는 것이다.

상기한 바와 같이 차-차연산 이미지에서 각각 관심 대상 객체, 즉 운동하는 객체를 추출한 후에는 해당 부분에 대한 에지 정보 등을 이용하여 윤곽선을 특정하고 그 윤곽선에 의해 특정되는 부분의 중심점 또는 무게중심점 등의 특징점을 특정하여 위치 정보로서 산출할 수 있다.

따라서, 골프클럽과 같이 특정할 수 없는 형상, 크기, 재질, 반사도 등을 가진 객체에 대해서도 상기한 바와 같은 본 발명에 따른 절대치 차연산 이미지 및 차-차연산 이미지의 생성으로 상당히 정확하게 추출할 수 있기 때문에, 그 운동하는 객체의 위치 정보를 정확하고 안정적으로, 그리고 간단한 방법으로 산출할 수 있다.

본 발명에 따른 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법은, 골프 스윙에 따른 타구 분석 등이 이루어지는 골프 연습과 관련된 산업 분야 및 가상 현실 기반의 골프 시뮬레이션이 영상 구현되도록 함으로써 사용자가 가상의 골프 경기를 즐길 수 있도록 할 수 있는 소위 스크린 골프 산업 분야 등에 이용 가능하다.

Claims

운동하는 객체의 위치 정보를 산출하기 위한 센싱장치의 센싱방법으로서,

상기 운동하는 객체를 바라보는 화각으로 연속하여 이미지를 취득하는 단계;

상기 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산 이미지 각각에 대해, 연속하는 두 차연산 이미지의 차연산 이미지를 각각 생성하는 단계; 및

상기 연속하는 두 차연산 이미지의 차연산 이미지 각각으로부터 상기 운동하는 객체의 위치 정보를 산출하는 단계;

를 포함하는 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치의 센싱방법.
제1항에 있어서, 상기 연속하는 두 차연산 이미지의 차연산 이미지를 각각 생성하는 단계는,

상기 연속하여 취득되는 이미지 중 일 프레임의 이미지를 상기 기준 이미지로서 결정하는 단계를 포함하는 것을 특징으로 하는 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치의 센싱방법.
제1항에 있어서, 상기 연속하는 두 차연산 이미지의 차연산 이미지를 각각 생성하는 단계는,

상기 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산에 의하여 각 이미지 상의 배경 부분보다 더 밝은 픽셀값을 갖는 픽셀들 및 상기 배경 부분보다 더 어두운 픽셀값을 갖는 픽셀들을 모두 포함하도록 하는 차연산 이미지를 각각 생성하는 단계와,

상기 생성된 차연산 이미지들 중 연속하는 두 차연산 이미지에 대해 각각 차연산 처리를 하여 차-차연산 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치의 센싱방법.
제1항에 있어서, 상기 연속하는 두 차연산 이미지의 차연산 이미지를 각각 생성하는 단계는,

상기 연속하여 취득되는 이미지 각각에 있어서 각각의 픽셀의 픽셀값과 상기 기준 이미지의 대응되는 위치의 각 픽셀의 픽셀값의 차이에 대한 절대치를 픽셀값으로 하는 절대치 차연산 이미지를 생성하는 단계와,

연속하는 두 개의 상기 절대치 차연산 이미지에 대해 각각의 대응 픽셀의 픽셀값의 차이가 0보다 크면 그 값을 픽셀값으로 하고 0보다 작으면 0을 픽셀값으로 하는 차연산 처리를 하여 차-차연산 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치의 센싱방법.
운동하는 객체의 위치 정보를 산출하기 위한 센싱장치의 센싱방법으로서,

상기 운동하는 객체를 바라보는 화각으로 연속하여 이미지를 취득하는 단계;

상기 연속하여 취득되는 이미지 각각에 배경 부분과, 매 프레임마다 새로운 위치에 출현하는 위치 이동 객체와, 연속되는 이미지에서 움직임 변화 위치가 중첩되어 나타나는 운동위치중첩부분이 포함되며, 상기 연속하여 취득되는 이미지 각각에서 상기 위치 이동 객체 및 운동위치중첩부분은 추출하고 상기 배경 부분을 제거하도록 이미지 처리를 수행하는 단계;

상기 이미지 처리된 이미지들에 대해, 연속하는 두 이미지의 차연산을 통해 상기 운동위치중첩부분을 제거하여 상기 운동하는 객체에 관한 위치 이동 객체를 추출하는 단계; 및

상기 추출된 운동하는 객체의 위치 정보를 산출하는 단계;

를 포함하는 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치의 센싱방법.
제5항에 있어서, 상기 배경 부분을 제거하도록 이미지 처리를 수행하는 단계는,

상기 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산의 절대치를 통해 각 이미지의 배경 부분보다 더 밝은 픽셀값을 갖는 픽셀들 및 상기 배경 부분보다 더 어두운 픽셀값을 갖는 픽셀들을 모두 포함하도록 이미지 처리를 하는 단계를 포함하는 것을 특징으로 하는 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치의 센싱방법.
사용자의 골프스윙에 따라 운동하는 골프클럽의 위치 정보를 산출하기 위한 센싱장치의 센싱방법으로서,

상기 사용자의 골프스윙을 바라보는 화각으로 연속하여 이미지를 취득하는 단계;

상기 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산의 절대치를 취하여 절대치 차연산 이미지를 생성하는 단계;

상기 생성된 절대치 차연산 이미지들 중 연속하는 두 절대치 차연산 이미지에 대해 각각 차연산 처리를 하여 차-차연산 이미지를 생성하는 단계; 및

상기 생성된 차-차연산 이미지 각각으로부터 상기 운동하는 골프클럽의 위치 정보를 산출하는 단계;

를 포함하는 사용자의 골프스윙에 따라 운동하는 골프클럽의 위치 정보를 산출하기 위한 센싱장치의 센싱방법.
운동하는 객체의 위치 정보를 산출하기 위한 센싱장치로서,

상기 운동하는 객체를 바라보는 화각으로 연속하여 이미지를 취득하는 카메라부;

상기 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산 이미지 각각에 대해, 연속하는 두 차연산 이미지의 차연산 이미지를 각각 추출하기 위해 이미지 처리를 수행하는 이미지 처리부; 및

상기 이미지 처리부에 의해 추출된 상기 연속하는 두 차연산 이미지의 차연산 이미지 각각으로부터 상기 운동하는 객체의 위치 정보를 산출하는 정보산출부;

를 포함하는 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치.
제9항에 있어서, 상기 이미지 처리부는,

상기 연속하여 취득되는 이미지 중 일 프레임의 이미지를 상기 기준 이미지로서 결정하고, 상기 연속하여 취득되는 이미지 각각에 대한 상기 기준 이미지의 차연산에 의한 값의 절대치를 픽셀값으로 하는 절대치 차연산 이미지를 생성하며, 연속하는 두 개의 상기 절대치 차연산 이미지의 차연산을 통해 차-차연산 이미지를 생성하도록 구성되는 것을 특징으로 하는 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치.
사용자의 골프스윙에 따라 운동하는 골프클럽의 위치 정보를 산출하기 위한 센싱장치로서,

상기 사용자의 골프스윙을 바라보는 화각으로 연속하여 이미지를 취득하는 카메라부;

상기 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산의 절대치를 취하여 절대치 차연산 이미지를 생성하며, 상기 생성된 절대치 차연산 이미지들 중 연속하는 두 절대치 차연산 이미지에 대해 각각 차연산 처리를 하여 차-차연산 이미지를 생성하도록 이미지 처리를 수행하는 이미지 처리부; 및

상기 생성된 차-차연산 이미지 각각으로부터 상기 운동하는 골프클럽의 위치 정보를 산출하는 정보산출부;

를 포함하는 사용자의 골프스윙에 따라 운동하는 골프클럽의 위치 정보를 산출하기 위한 센싱장치.