CN112527118A - 一种基于动态时间规整的头部姿态识别方法 - Google Patents
一种基于动态时间规整的头部姿态识别方法 Download PDFInfo
- Publication number
- CN112527118A CN112527118A CN202011485090.XA CN202011485090A CN112527118A CN 112527118 A CN112527118 A CN 112527118A CN 202011485090 A CN202011485090 A CN 202011485090A CN 112527118 A CN112527118 A CN 112527118A
- Authority
- CN
- China
- Prior art keywords
- head
- data
- time
- action
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C9/00—Measuring inclination, e.g. by clinometers, by levels
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提出了一种基于动态时间规整的头部姿态识别方法,其步骤为:通过固定在头部的惯性传感器采集头部动作姿态在X方向、Y方向、Z方向的加速度和角速度的特征数据,并存储在数据集中;对数据集中的数据进行预处理,检测头部动作的起始时间和终止时间,提取头部动作的动作区间;构建头部动作模板;通过检测到的头部动作数据与得到的头部动作模板数据计算规整路径;规整路径DTW最小值对应的标准模板头部动作类型则为待识别数据的头部动作类型。本发明依靠惯性传感器测量的加速度和角速度信息可以准确的估计出测试对象的头部动作类型,能有效提高人体头部动作的识别准确率;且价格低、数据处理量小、反应快、识别准确率高。
Description
技术领域
本发明涉及模式识别的技术领域,尤其涉及一种基于动态时间规整的头部姿态识别方法。
背景技术
随着人工智能技术的发展,极大地改变了人类生产生活方式,传统的键盘鼠标输入方式并不能满足所有人的需求,如上肢不健全者。为此开发一种基于头部姿态动作识别技术引起了研究者的广泛关注。
按照头部姿态计算使用设备类型可以分为两类:一类使基于佩戴惯性传感器的方法,如公告号为CN103076045B的发明专利申请提供了一种头部姿态感应装置和方法;公开后为CN105943052A的发明专利提供了一种基于偏转角的疲劳驾驶检测方法及装置;通过加速度和角速度传感器获得准确的头部姿态,该种方法优点是精度高、实时性好,缺点是需要用户佩戴惯性传感器,并且这些偏重于姿态估计,并没有提供一种头部动作识别技术;另一种方法基于机器视觉方法,如谭等提出0公开号为CN102737235A的发明专利----基于深度信息和彩色图像的头部姿势估计方法,通过摄像头或深度相机来估计头部姿态,该种方法优点是与测试对象不接触,缺点是摄像头成像易受光照、背景、表情的影响,相较前者而言,图像处理一般计算量大,准确率不够高,有待进一步改善。
动态时间规整算法(dynamic time warping,DTW)是一种基于动态规划(dynamicprograming)的方法,广泛用于语音、姿态识别领域。动态时间规整算法可以将数据在时间轴下扭曲,实现时间序列的延伸或缩短,以达到更好的对齐,从而提高算法的准确率、鲁棒性。头部动作由于个人习惯,当前状态不同均可能导致动作时间长度的改变,是一个典型不等长的时间序列识别问题。
发明内容
针对现有头部姿态识别的计算量大,准确率不够高的技术问题,本发明提出一种基于动态时间规整的头部姿态识别方法,通过DTW方法评价不同动作与标准模板之间时间序列规整路径距离来识别不同的头部动作,数据处理量小,识别准确率高。
为了达到上述目的,本发明的技术方案是这样实现的:一种基于动态时间规整的头部姿态识别方法,其步骤如下:
步骤S1:数据采集:通过固定在头部的惯性传感器采集头部动作姿态在X方向、Y方向、Z方向的加速度和角速度的特征数据,并存储在数据集中;
步骤S2:头部动作的端点检测:对数据集中的数据进行预处理,根据预处理后的头部惯性数据合角速度信息检测头部动作的起始时间和终止时间,提取头部动作的动作区间;
步骤S3:计算头部动作时间序列模板:根据步骤S2端点检测检测到的头部动作数据及相关的动作标签,构建X方向、Y方向、Z方向的加速度、角速度头部动作模板;
步骤S4:计算规整路径:数据集中的测试集通过步骤S2检测的头部动作数据分别与步骤S3得到的头部动作模板数据计算规整路径;
步骤S5:判断头部动作类型:规整路径DTW最小值对应的标准模板头部动作类型则为待识别数据的头部动作类型。
所述惯性传感器安装位置在靠近头部前部的眼镜腿上,采集数据时,被试者带好眼镜,坐于板凳上,自然的分别做出点头、仰头、左摇头、右摇头、左转头、右转头的头部动作姿态;所述数据集的格式为:[data,label],其中,data是一个6维矩阵,分别是传感器x、y、z轴加速度和角速度,不同label下长度不定;label是一个类型变量,分别对应6类头部动作。
所述步骤S2中的预处理的方法为:
步骤S21:数据归一化
y'(t)=arctan(x(t))*2/π (1)
其中,y'(t)为归一化后的数据,x(t)是惯性传感器采集到的加速度或角速度数据。
步骤S22:滑动中值滤波
其中,l为中值滤波窗口长度;l=2n-1代表奇数,N为自然数集;l=2n代表偶数,median()为中值函数,y(t)为滑动窗口长度内的中值,y'(t-(l-1)/2:t+(l-1)/2)和y'(t-l/2:t+l/2-1)分别表示数据归一化的长度为l的数据。
所述步骤S2中头部动作的端点检测的方法为:确定头部动作的开始时间为:
其中,是t时刻各向角速度变化的总体描述,反映了头部动作的角度的总体变化程度,angx(t)、angy(t)和angz(t)分别表示三维坐标轴上X方向、Y方向、Z方向的角速度分量;angmin是头部开始动作的阈值;tstart是头部动作的开始时刻;
确定头部动作结束时间:
其中,sum(ang([t-tmin,t))<angmin)计算了ang(t)在[t-tmin,t)时间区间内小于阈值angmin的个数;tmin是头部动作的持续的最小时间;fs是传感器的采样频率;如果头部动作开始后,最小持续时间内所有的采样点的值均小于阈值angmin,认为头部动作结束,结束时刻为tend;
判断头部动作的有效:
(tend-tstart>tmin)且(tend-tstart>tmax),存在头部动作;
其中,tmin是头部动作持续的最小时间;tmax是头部动作持续的最长时间。
采集26人头部动作数据,随机分为训练集和测试集,其中训练集中有18人、测试集中有8人;
在步骤S2中处理的数据若属于训练集或个人依赖采集的模板数据,则通过步骤S3计算头部动作时间序列模板;若属于测试集或实时采集的实时数据,则通过步骤S4和步骤S5通过DTW值判断该动作序列属于的头部动作类型。
所述步骤S3的实现方法为:
步骤S31:根据步骤S2提取的头部动作的时间序列,根据设置的阈值得到每个动作时间序列及其标签;
步骤S32:对于训练集中一个头部动作,令其时间序列的一组数据为Sa={s1,s2,…,sa},Sa为6×a的矩阵,矩阵行向量分别对应X方向、Y方向、Z方向的加速度、角速度;列向量对应头部运动特征;则训练集的总的时间序列集合为S={Sa,Sb,…,Sn},其中,n是训练集中该动作的个数;a、b、…、k分别代表序列Sa、Sb、Sn的长度;
步骤S33:令序列长度向量为Slen={a,b,…,n},则模板时间序列长度为Tlen=median(Slen),其中,median()为中值函数;
步骤S34:令该头部动作的标准模板为Ti,其中,i=1,2,…,6,对应六种头部动作类型;为6×x的矩阵,矩阵的行向量分别对应X方向、Y方向、Z方向的加速度、角速度;列向量对应头部运动特征,长度x依据训练集中的数据长度确定;通过均值公式得到Tik,Tik的前Tlen个数据作为该动作的标准模板时间序列,其中,Tik代表第i个动作模板中第k行数据;Sjk代表第j个对象动作类型的第k行数据;由于Sjk在测试者之间动作持续时间并不相等,使用binary()函数对Sjk进行二值化{1,0},从而计算相同位置元素个数;
步骤S34:重复步骤S32、S33,可以得到其它动作类型的标准模板。
所述步骤S4的实现方法为:
步骤S41:计算距离矩阵D:令测试集中头部动作的时间序列为S={s1,s2,…,sn};待匹配模板时间序列为标准模板数据为T={t1,t2,…,tm};则它们之间任意两点的欧式距离为其中,si是时间序列S中第i列向量;tj是标准模板T中第j列向量;sik是时间序列S中任第i列向量的第k行元素;tjk是标准模板T中任第j列向量的第k行元素;计算所有的可能性构成一个n×m的距离矩阵D;转变为应用动态规划方法求解从起点D(1,1)到终点D(n,m)的最短路径问题。
步骤S42:令规整路径W={w1,w2,w3,…,wy},其中,we表示时间序列S和标准模板T某点之间距离,y是规整路径长度,范围:max(m,n)≤y≤m+n;根据规整路径的约束条件得到最优规划路径;
步骤S43:采用累积距离的动态规划思想来计算,求解最优规整路径。
重复步骤S41、S42、S43,分别计算出该头部动作时间序列S与6种标准模板的动作时间序列之间的DTW值。
所述规整路径需要满足以下几个约束条件:
①边界条件:路径从起点w1=D(1,1)到终点wy=D(n,m);
②连续性:若we-1=D(a,b),那么路径的下一个点we=D(a',b')需要满足|a-a'|≤1,|b-b'|≤1,也就是不能跨越某个点区匹配;
③单调性:若we-1=D(a,b),那么路径的下一个点we=D(a',b')需要满足a'-a≥0,b'-b≥0,也就是规整路径W上的点必须随时间单调进行;
由此,知道从we-1=D(a,b)到下一个点只有三种路径:D(a+1,b),D(a+1,b+1),D(a,b+1)。那么最优规整路径为:
所述累积距离为:
r(e,f)=d(se,tf)+min{r(e-1,f),r(e-1,f-1),r(e,f-1)};
其中,e=1,2,3,…,n;f=1,2,3,…,m;se表示待检测矩阵S中第e个列向量;tf表示待检测模板矩阵T中某个头部动作的第e个列向量;r(e,f)为累积距离。
本发明的有益效果:本发明提供了一种头部运动端点检测和基于动态时间规整的头部动作识别方法,使用放置于眼镜腿或耳朵处的惯性传感器采集头部动作X、Y、Z方向的加速度、角速度等,并对采集到的角速度数据计算合角速度,使用门限法进行端点自动检测,剔除异常数据。本发明支持生成个体依赖的头部动作模板或导入经验性的头部动作模板,然后,对自动检出头部动作测试数据分别计算与每个模板数据的动态时间规整路径DTW,经比较,具有最小DTW值的则为该种动作类型。本发明依靠惯性传感器测量的加速度和角速度信息可以准确的估计出测试对象的头部动作类型,如点头、仰头、左摇头、右摇头、左摆头、右摆头等,能有效提高人体头部动作的识别准确率。相对于基于摄像头、深度相机的头部动作识别技术,本发明具有价格低、数据处理量小、反应快、识别准确率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图。
图2为本发明的头部动作姿态类型示意图。
图3为本发明头部动作的时间序列模板。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种基于动态时间规整的头部姿态识别方法,其步骤如下:
步骤S1:数据采集:通过固定在头部的惯性传感器采集头部动作姿态在X方向、Y方向、Z方向的加速度和角速度的特征数据,并存储在数据集中。
本发明通过惯性传感器来感知头部姿态变化,采集的数据类型分别为X、Y、Z方向的加速度、角速度,共6类特征数据,惯性传感器安装位置在靠近头部前部的眼镜腿上,如图2中部的正常的视图所示。采集数据时,被试者带好眼镜,坐于板凳上,自然的分别做出点头、仰头、左摇头、右摇头、左转头、右转头的头部动作姿态,分别如图1靠外部的视图所示。
为了验证本发明提出方法的有效性,采集了26人头部动作数据,随机分为训练集和测试集进行了测试,其中训练组18人、测试组8人。数据集格式为:[data,label],其中,data是一个6维矩阵,分别是传感器x、y、z轴加速度、角速度,不同label下长度不定;label是一个类型变量,分别对应6类头部动作。
步骤S2:头部动作的端点检测:对数据集中的数据进行预处理,根据预处理后的头部惯性数据合角速度信息检测头部动作的起始时间和终止时间,提取头部动作的动作区间,步骤如下:
步骤S21:数据归一化
y'(t)=arctan(x(t))*2/π (1)
其中,y'(t)为归一化后的数据,x(t)是惯性传感器采集到的加速度或角速度数据。
步骤S22:滑动中值滤波
其中,l为中值滤波窗口长度;l=2n-1代表奇数,N为自然数集;l=2n代表偶数,median()为中值函数,y(t)为滑动窗口长度内的中值,y'(t-(l-1)/2:t+(l-1)/2)和y'(t-l/2:t+l/2-1)分别表示数据归一化的长度为l的数据。滑动中值滤波的作用是减小惯性传感器的椒盐噪声,使后续的动作识别和端点检测减少误判的可能性。
步骤S23:确定头部动作的开始时间为:
其中,是t时刻各向角速度变化的总体描述,反映了头部动作的角度的总体变化程度,angx(t)、angy(t)和angz(t)分别表示三维坐标轴上X方向、Y方向、Z方向的角速度分量;angmin是头部开始动作的阈值;tstart是头部动作的开始时刻。
步骤S24:确定头部动作结束时间:
其中,sum(ang([t-tmin,t))<angmin)计算了ang(t)在[t-tmin,t)时间区间内小于阈值angmin的个数;tmin是头部动作的持续的最小时间;fs是传感器的采样频率。如果头部动作开始后,最小持续时间内所有的采样点的值均小于阈值angmin,认为头部动作结束,结束时刻为tend。
步骤S25:判断头部动作有效:
(tend-tstart>tmin)且(tend-tstart>tmax),存在头部动作 (5)
其中,tmin是头部动作持续的最小时间,用于剔除波形的尖峰噪声;tmax是头部动作持续的最长时间,用于剔除持续时间异常或未完成的动作。从而完成头部动作数据提取,数据若属于训练集或个人依赖采集的模板数据,则可以通过步骤S3计算头部动作时间序列模板;若属于测试集或实时采集过来的实时数据,则通过步骤S4、S5通过DTW值判断该动作序列属于的头部动作类型。
步骤S3:计算头部动作时间序列模板:根据步骤S2端点检测检测到的头部动作数据及相关的动作标签,构建X方向、Y方向、Z方向的加速度、角速度头部动作模板,步骤如下:
步骤S31:根据本发明步骤2描述的端点检测方法提取出头部动作的时间序列,阈值选取参考值分别是:l=0.2s,angmin=0.2rad/s,tmin=0.6s,tmax=3s,fs=100Hz得到每个动作时间序列及其标签。
步骤S32:对于训练集其中一个头部动作为例,令其时间序列的一组数据为Sa={s1,s2,…,sa},a为该组数据的长度,Sa为6×a的矩阵,矩阵行向量分别对应X方向、Y方向、Z方向的加速度、角速度;列向量对应头部运动特征。则训练集的总的时间序列集合为S={Sa,Sb,…,Sn},其中,n是训练集中该动作的个数;a,b,…,k分别代表所处序列的长度。
步骤S33:令序列长度向量为Slen={a,b,…,n},则模板时间序列长度为Tlen=median(Slen),其中,median()为中值函数。
步骤S34:令该头部动作的标准模板为Ti,其中,i=1,2,…,6,对应六种头部动作类型;为6×x的矩阵,矩阵的行向量分别对应X方向、Y方向、Z方向的加速度、角速度;列向量对应头部运动特征,长度x依据训练集中的数据长度确定。可通过均值公式得到Tik,Tik的前Tlen个数据作为该动作的标准模板时间序列,其中,Tik代表第i个动作模板中第k行数据;Sjk代表第j个对象动作类型的第k行数据;由于Sjk在测试者之间动作持续时间并不相等,使用binary()函数对Sjk进行二值化{1,0},从而计算相同位置元素个数。
步骤S34:重复步骤S32、S33,可以得到其它动作类型的标准模板,如图3。图3中accx(t)、accy(t)和accz(t)、acc(t)分别代表X、Y、Z方向的加速度、合加速度;angx(t)、angy(t)和angz(t)、angt(t)分别表示X、Y、Z方向的角速度、合角速度。
用户也可以通过系统语音提示,多次做出相应的头部动作数据,并按照步骤S31、S32、S33、S34,计算出个人依赖性头部动作时间序列模板。
步骤S4:计算规整路径,测试集通过步骤S2检测到的头部动作数据分别与步骤S3得到的头部动作模板数据计算规整路径,详细步骤如下:
步骤S41:计算距离矩阵D。令测试集中头部动作的时间序列为S={s1,s2,…,sn},是一个6×n的矩阵;待匹配模板时间序列为标准模板数据为T={t1,t2,…,tm},是一个6×m的矩阵;则它们之间任意两点的欧式距离为其中,si是矩阵S中第i列向量;tj是矩阵T中第j列向量;sik是向量S中任第i列向量的第k行元素;tjk是向量T中任第j列向量的第k行元素。计算所有的可能性,就构成一个n×m的距离矩阵D。所以,这两个时间序列相似性问题就转变为应用动态规划方法求解从起点D(1,1)到终点D(n,m)的最短路径问题,也就是规整路径(warping path),用W表示。
步骤S42:令规整路径W={w1,w2,w3,…,wy},其中,we表示时间序列S和标准模板T某点之间距离,y是规整路径长度,范围:max(m,n)≤y≤m+n。并需要满足以下几个约束条件:
①边界条件:路径从起点w1=D(1,1)到终点wy=D(n,m);
②连续性:若we-1=D(a,b),那么路径的下一个点we=D(a',b')需要满足|a-a'|≤1,|b-b'|≤1,也就是不能跨越某个点区匹配;
③单调性:若we-1=D(a,b),那么路径的下一个点we=D(a',b')需要满足a'-a≥0,b'-b≥0,也就是W上的点必须随时间单调进行;
由此,知道从we-1=D(a,b)到下一个点只有三种路径:D(a+1,b),D(a+1,b+1),D(a,b+1)。那么最优规整路径为:
步骤S43:为了求解最优规整路径即求解式(6),采用累积距离(cumulativedistance)的动态规划思想来计算,累积距离公式定义为:
r(e,f)=d(se,tf)+min{r(e-1,f),r(e-1,f-1),r(e,f-1)} (7)
其中,e=1,2,3,…,n;f=1,2,3,…,m;se表示待检测矩阵S中第e个列向量;tf表示待检测模板矩阵T某个头部动作的第e个列向量;r(e,f)为累积距离,累积距离实际上是一种递推的关系,所以S,T两组时间序列最佳规整路径距离为DTW(S,T)=r(n,m),这解决了时间序列长度不一致和特征位置没有对齐时间序列相似性的度量问题。
重复步骤S41、S42、S43,分别计算出该头部动作时间序列S与6种标准模板的动作时间序列之间的DTW值。
步骤S5:判断头部动作类型:规整路径DTW最小值对应的标准模板头部动作类型则为待识别数据的头部动作类型。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于动态时间规整的头部姿态识别方法,其特征在于,其步骤如下:
步骤S1:数据采集:通过固定在头部的惯性传感器采集头部动作姿态在X方向、Y方向、Z方向的加速度和角速度的特征数据,并存储在数据集中;
步骤S2:头部动作的端点检测:对数据集中的数据进行预处理,根据预处理后的头部惯性数据合角速度信息检测头部动作的起始时间和终止时间,提取头部动作的动作区间;
步骤S3:计算头部动作时间序列模板:根据步骤S2端点检测检测到的头部动作数据及相关的动作标签,构建X方向、Y方向、Z方向的加速度、角速度头部动作模板;
步骤S4:计算规整路径:数据集中的测试集通过步骤S2检测的头部动作数据分别与步骤S3得到的头部动作模板数据计算规整路径;
步骤S5:判断头部动作类型:规整路径DTW最小值对应的标准模板头部动作类型则为待识别数据的头部动作类型。
2.根据权利要求1所述的基于动态时间规整的头部姿态识别方法,其特征在于,所述惯性传感器安装位置在靠近头部前部的眼镜腿上,采集数据时,被试者带好眼镜,坐于板凳上,自然的分别做出点头、仰头、左摇头、右摇头、左转头、右转头的头部动作姿态;所述数据集的格式为:[data,label],其中,data是一个6维矩阵,分别是传感器x、y、z轴加速度和角速度,不同label下长度不定;label是一个类型变量,分别对应6类头部动作。
4.根据权利要求1或3所述的基于动态时间规整的头部姿态识别方法,其特征在于,所述步骤S2中头部动作的端点检测的方法为:确定头部动作的开始时间为:
其中,是t时刻各向角速度变化的总体描述,反映了头部动作的角度的总体变化程度,angx(t)、angy(t)和angz(t)分别表示三维坐标轴上X方向、Y方向、Z方向的角速度分量;angmin是头部开始动作的阈值;tstart是头部动作的开始时刻;
确定头部动作结束时间:
其中,sum(ang([t-tmin,t))<angmin)计算了ang(t)在[t-tmin,t)时间区间内小于阈值angmin的个数;tmin是头部动作的持续的最小时间;fs是传感器的采样频率;如果头部动作开始后,最小持续时间内所有的采样点的值均小于阈值angmin,认为头部动作结束,结束时刻为tend;
判断头部动作的有效:
(tend-tstart>tmin)且(tend-tstart>tmax),存在头部动作;
其中,tmin是头部动作持续的最小时间;tmax是头部动作持续的最长时间。
5.根据权利要求4所述的基于动态时间规整的头部姿态识别方法,其特征在于,采集了26人头部动作数据,随机分为训练集和测试集,其中训练集中有18人、测试集中有8人;
在步骤S2中处理的数据若属于训练集或个人依赖采集的模板数据,则通过步骤S3计算头部动作时间序列模板;若属于测试集或实时采集的实时数据,则通过步骤S4和步骤S5通过DTW值判断该动作序列属于的头部动作类型。
6.根据权利要求5所述的基于动态时间规整的头部姿态识别方法,其特征在于,所述步骤S3的实现方法为:
步骤S31:根据步骤S2提取的头部动作的时间序列,根据设置的阈值得到每个动作时间序列及其标签;
步骤S32:对于训练集中一个头部动作,令其时间序列的一组数据为Sa={s1,s2,…,sa},Sa为6×a的矩阵,矩阵行向量分别对应X方向、Y方向、Z方向的加速度、角速度;列向量对应头部运动特征;则训练集的总的时间序列集合为S={Sa,Sb,…,Sn},其中,n是训练集中该动作的个数;a、b、…、k分别代表序列Sa、Sb、Sn的长度;
步骤S33:令序列长度向量为Slen={a,b,…,n},则模板时间序列长度为Tlen=median(Slen),其中,median()为中值函数;
步骤S34:令该头部动作的标准模板为Ti,其中,i=1,2,…,6,对应六种头部动作类型;为6×x的矩阵,矩阵的行向量分别对应X方向、Y方向、Z方向的加速度、角速度;列向量对应头部运动特征,长度x依据训练集中的数据长度确定;通过均值公式得到Tik,Tik的前Tlen个数据作为该动作的标准模板时间序列,其中,Tik代表第i个动作模板中第k行数据;Sjk代表第j个对象动作类型的第k行数据;由于Sjk在测试者之间动作持续时间并不相等,使用binary()函数对Sjk进行二值化{1,0},从而计算相同位置元素个数;
步骤S34:重复步骤S32、S33,可以得到其它动作类型的标准模板。
7.根据权利要求5所述的基于动态时间规整的头部姿态识别方法,其特征在于,所述步骤S4的实现方法为:
步骤S41:计算距离矩阵D:令测试集中头部动作的时间序列为S={s1,s2,…,sn};待匹配模板时间序列为标准模板数据为T={t1,t2,…,tm};则它们之间任意两点的欧式距离为其中,si是时间序列S中第i列向量;tj是标准模板T中第j列向量;sik是时间序列S中任第i列向量的第k行元素;tjk是标准模板T中任第j列向量的第k行元素;计算所有的可能性构成一个n×m的距离矩阵D;转变为应用动态规划方法求解从起点D(1,1)到终点D(n,m)的最短路径问题。
步骤S42:令规整路径W={w1,w2,w3,…,wy},其中,we表示时间序列S和标准模板T某点之间距离,y是规整路径长度,范围:max(m,n)≤y≤m+n;根据规整路径的约束条件得到最优规划路径;
步骤S43:采用累积距离的动态规划思想来计算,求解最优规整路径。
重复步骤S41、S42、S43,分别计算出该头部动作时间序列S与6种标准模板的动作时间序列之间的DTW值。
8.根据权利要求7所述的基于动态时间规整的头部姿态识别方法,其特征在于,所述规整路径需要满足以下几个约束条件:
①边界条件:路径从起点w1=D(1,1)到终点wy=D(n,m);
②连续性:若we-1=D(a,b),那么路径的下一个点we=D(a',b')需要满足|a-a'|≤1,|b-b'|≤1,也就是不能跨越某个点区匹配;
③单调性:若we-1=D(a,b),那么路径的下一个点we=D(a',b')需要满足a'-a≥0,b'-b≥0,也就是规整路径W上的点必须随时间单调进行;
由此,知道从we-1=D(a,b)到下一个点只有三种路径:D(a+1,b),D(a+1,b+1),D(a,b+1)。那么最优规整路径为:
所述累积距离为:
r(e,f)=d(se,tf)+min{r(e-1,f),r(e-1,f-1),r(e,f-1)};
其中,e=1,2,3,…,n;f=1,2,3,…,m;se表示待检测矩阵S中第e个列向量;tf表示待检测模板矩阵T中某个头部动作的第e个列向量;r(e,f)为累积距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011485090.XA CN112527118B (zh) | 2020-12-16 | 2020-12-16 | 一种基于动态时间规整的头部姿态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011485090.XA CN112527118B (zh) | 2020-12-16 | 2020-12-16 | 一种基于动态时间规整的头部姿态识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112527118A true CN112527118A (zh) | 2021-03-19 |
| CN112527118B CN112527118B (zh) | 2022-11-25 |
Family
ID=75000581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011485090.XA Active CN112527118B (zh) | 2020-12-16 | 2020-12-16 | 一种基于动态时间规整的头部姿态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112527118B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158833A (zh) * | 2021-03-31 | 2021-07-23 | 电子科技大学 | 一种基于人体姿态的无人车控制指挥方法 |
| CN113936337A (zh) * | 2021-11-18 | 2022-01-14 | 成都天奥电子股份有限公司 | 一种运动姿态识别方法、装置、可穿戴设备及存储介质 |
| CN116453157A (zh) * | 2023-03-28 | 2023-07-18 | 上海交通大学 | 一种基于bdtw与序列对齐的飞行任务识别方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104731307A (zh) * | 2013-12-20 | 2015-06-24 | 孙伯元 | 一种体感动作识别方法及人机交互装置 |
| CN105184325A (zh) * | 2015-09-23 | 2015-12-23 | 歌尔声学股份有限公司 | 一种人体动作识别方法和移动智能终端 |
| WO2017050140A1 (zh) * | 2015-09-23 | 2017-03-30 | 歌尔股份有限公司 | 一种人体动作识别方法、识别用户动作的方法和智能终端 |
| CN109091150A (zh) * | 2017-11-29 | 2018-12-28 | 惠州市德赛工业研究院有限公司 | 睡眠体动的识别方法、睡眠质量评估方法及智能穿戴设备 |
| CN110348275A (zh) * | 2018-04-08 | 2019-10-18 | 中兴通讯股份有限公司 | 手势识别方法、装置、智能设备及计算机可读存储介质 |
-
2020
- 2020-12-16 CN CN202011485090.XA patent/CN112527118B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104731307A (zh) * | 2013-12-20 | 2015-06-24 | 孙伯元 | 一种体感动作识别方法及人机交互装置 |
| CN105184325A (zh) * | 2015-09-23 | 2015-12-23 | 歌尔声学股份有限公司 | 一种人体动作识别方法和移动智能终端 |
| WO2017050140A1 (zh) * | 2015-09-23 | 2017-03-30 | 歌尔股份有限公司 | 一种人体动作识别方法、识别用户动作的方法和智能终端 |
| CN109091150A (zh) * | 2017-11-29 | 2018-12-28 | 惠州市德赛工业研究院有限公司 | 睡眠体动的识别方法、睡眠质量评估方法及智能穿戴设备 |
| CN110348275A (zh) * | 2018-04-08 | 2019-10-18 | 中兴通讯股份有限公司 | 手势识别方法、装置、智能设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| EDUARD WALL等: "《Online nod detection in human-robot interaction》", 《2017 26TH IEEE INTERNATIONAL SYMPOSIUM ON ROBOT AND HUMAN INTERACTIVE COMMUNICATION(RO-MAN)》 * |
| 刘沿等: "一种使用3D骨架片段表示的人体动作识别方法", 《小型微型计算机系统》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158833A (zh) * | 2021-03-31 | 2021-07-23 | 电子科技大学 | 一种基于人体姿态的无人车控制指挥方法 |
| CN113158833B (zh) * | 2021-03-31 | 2023-04-07 | 电子科技大学 | 一种基于人体姿态的无人车控制指挥方法 |
| CN113936337A (zh) * | 2021-11-18 | 2022-01-14 | 成都天奥电子股份有限公司 | 一种运动姿态识别方法、装置、可穿戴设备及存储介质 |
| CN116453157A (zh) * | 2023-03-28 | 2023-07-18 | 上海交通大学 | 一种基于bdtw与序列对齐的飞行任务识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112527118B (zh) | 2022-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | EgoGesture: A new dataset and benchmark for egocentric hand gesture recognition | |
| Devanne et al. | 3-d human action recognition by shape analysis of motion trajectories on riemannian manifold | |
| CN112527118B (zh) | 一种基于动态时间规整的头部姿态识别方法 | |
| Dikovski et al. | Evaluation of different feature sets for gait recognition using skeletal data from Kinect | |
| Frolova et al. | Most probable longest common subsequence for recognition of gesture character input | |
| CN101599127B (zh) | 眼电信号的特征提取与识别方法 | |
| US20060228005A1 (en) | Information processing apparatus and information processing method | |
| Bao et al. | Dynamic hand gesture recognition based on SURF tracking | |
| CN105740779B (zh) | 人脸活体检测的方法和装置 | |
| Ahmed | Kinect-based gait recognition using sequences of the most relevant joint relative angles | |
| CN105740781A (zh) | 一种三维人脸活体检测的方法和装置 | |
| WO1999039302A1 (en) | Camera-based handwriting tracking | |
| CN101558996A (zh) | 基于人体运动结构正投影三维重建的步态识别方法 | |
| CN110458235B (zh) | 一种视频中运动姿势相似度比对方法 | |
| CN113920568A (zh) | 基于视频图像的人脸和人体姿态情绪识别方法 | |
| CN103310191B (zh) | 运动信息图像化的人体动作识别方法 | |
| CN112883922B (zh) | 基于CNN-BiGRU神经网络融合的手语识别方法 | |
| JP2013003706A (ja) | 表情認識装置、方法、及びプログラム | |
| CN111914643A (zh) | 一种基于骨骼关键点检测的人体动作识别方法 | |
| CN112801859A (zh) | 一种具有美妆指导功能的化妆镜系统 | |
| Li et al. | Posture recognition technology based on kinect | |
| CN109993116B (zh) | 一种基于人体骨骼相互学习的行人再识别方法 | |
| CN111695520A (zh) | 一种高精度的儿童坐姿检测与矫正方法及装置 | |
| CN109308118B (zh) | 基于eog的中文眼写信号识别系统及其识别方法 | |
| Xu et al. | Using trajectory features for tai chi action recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |