+

CN112527118A - 一种基于动态时间规整的头部姿态识别方法 - Google Patents

一种基于动态时间规整的头部姿态识别方法 Download PDF

Info

Publication number
CN112527118A
CN112527118A CN202011485090.XA CN202011485090A CN112527118A CN 112527118 A CN112527118 A CN 112527118A CN 202011485090 A CN202011485090 A CN 202011485090A CN 112527118 A CN112527118 A CN 112527118A
Authority
CN
China
Prior art keywords
head
data
time
action
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011485090.XA
Other languages
English (en)
Other versions
CN112527118B (zh
Inventor
李淮周
王宏
李森
曹祥红
胡海燕
武东辉
温书沛
吴彦福
李晓彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University of Light Industry
Original Assignee
Zhengzhou University of Light Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University of Light Industry filed Critical Zhengzhou University of Light Industry
Priority to CN202011485090.XA priority Critical patent/CN112527118B/zh
Publication of CN112527118A publication Critical patent/CN112527118A/zh
Application granted granted Critical
Publication of CN112527118B publication Critical patent/CN112527118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00Measuring inclination, e.g. by clinometers, by levels
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提出了一种基于动态时间规整的头部姿态识别方法,其步骤为:通过固定在头部的惯性传感器采集头部动作姿态在X方向、Y方向、Z方向的加速度和角速度的特征数据,并存储在数据集中;对数据集中的数据进行预处理,检测头部动作的起始时间和终止时间,提取头部动作的动作区间;构建头部动作模板;通过检测到的头部动作数据与得到的头部动作模板数据计算规整路径;规整路径DTW最小值对应的标准模板头部动作类型则为待识别数据的头部动作类型。本发明依靠惯性传感器测量的加速度和角速度信息可以准确的估计出测试对象的头部动作类型,能有效提高人体头部动作的识别准确率;且价格低、数据处理量小、反应快、识别准确率高。

Description

一种基于动态时间规整的头部姿态识别方法
技术领域
本发明涉及模式识别的技术领域,尤其涉及一种基于动态时间规整的头部姿态识别方法。
背景技术
随着人工智能技术的发展,极大地改变了人类生产生活方式,传统的键盘鼠标输入方式并不能满足所有人的需求,如上肢不健全者。为此开发一种基于头部姿态动作识别技术引起了研究者的广泛关注。
按照头部姿态计算使用设备类型可以分为两类:一类使基于佩戴惯性传感器的方法,如公告号为CN103076045B的发明专利申请提供了一种头部姿态感应装置和方法;公开后为CN105943052A的发明专利提供了一种基于偏转角的疲劳驾驶检测方法及装置;通过加速度和角速度传感器获得准确的头部姿态,该种方法优点是精度高、实时性好,缺点是需要用户佩戴惯性传感器,并且这些偏重于姿态估计,并没有提供一种头部动作识别技术;另一种方法基于机器视觉方法,如谭等提出0公开号为CN102737235A的发明专利----基于深度信息和彩色图像的头部姿势估计方法,通过摄像头或深度相机来估计头部姿态,该种方法优点是与测试对象不接触,缺点是摄像头成像易受光照、背景、表情的影响,相较前者而言,图像处理一般计算量大,准确率不够高,有待进一步改善。
动态时间规整算法(dynamic time warping,DTW)是一种基于动态规划(dynamicprograming)的方法,广泛用于语音、姿态识别领域。动态时间规整算法可以将数据在时间轴下扭曲,实现时间序列的延伸或缩短,以达到更好的对齐,从而提高算法的准确率、鲁棒性。头部动作由于个人习惯,当前状态不同均可能导致动作时间长度的改变,是一个典型不等长的时间序列识别问题。
发明内容
针对现有头部姿态识别的计算量大,准确率不够高的技术问题,本发明提出一种基于动态时间规整的头部姿态识别方法,通过DTW方法评价不同动作与标准模板之间时间序列规整路径距离来识别不同的头部动作,数据处理量小,识别准确率高。
为了达到上述目的,本发明的技术方案是这样实现的:一种基于动态时间规整的头部姿态识别方法,其步骤如下:
步骤S1:数据采集:通过固定在头部的惯性传感器采集头部动作姿态在X方向、Y方向、Z方向的加速度和角速度的特征数据,并存储在数据集中;
步骤S2:头部动作的端点检测:对数据集中的数据进行预处理,根据预处理后的头部惯性数据合角速度信息检测头部动作的起始时间和终止时间,提取头部动作的动作区间;
步骤S3:计算头部动作时间序列模板:根据步骤S2端点检测检测到的头部动作数据及相关的动作标签,构建X方向、Y方向、Z方向的加速度、角速度头部动作模板;
步骤S4:计算规整路径:数据集中的测试集通过步骤S2检测的头部动作数据分别与步骤S3得到的头部动作模板数据计算规整路径;
步骤S5:判断头部动作类型:规整路径DTW最小值对应的标准模板头部动作类型则为待识别数据的头部动作类型。
所述惯性传感器安装位置在靠近头部前部的眼镜腿上,采集数据时,被试者带好眼镜,坐于板凳上,自然的分别做出点头、仰头、左摇头、右摇头、左转头、右转头的头部动作姿态;所述数据集的格式为:[data,label],其中,data是一个6维矩阵,分别是传感器x、y、z轴加速度和角速度,不同label下长度不定;label是一个类型变量,分别对应6类头部动作。
所述步骤S2中的预处理的方法为:
步骤S21:数据归一化
y'(t)=arctan(x(t))*2/π (1)
其中,y'(t)为归一化后的数据,x(t)是惯性传感器采集到的加速度或角速度数据。
步骤S22:滑动中值滤波
Figure BDA0002838857660000021
其中,l为中值滤波窗口长度;l=2n-1代表奇数,N为自然数集;l=2n代表偶数,median()为中值函数,y(t)为滑动窗口长度内的中值,y'(t-(l-1)/2:t+(l-1)/2)和y'(t-l/2:t+l/2-1)分别表示数据归一化的长度为l的数据。
所述步骤S2中头部动作的端点检测的方法为:确定头部动作的开始时间为:
Figure BDA0002838857660000022
其中,
Figure BDA0002838857660000023
是t时刻各向角速度变化的总体描述,反映了头部动作的角度的总体变化程度,angx(t)、angy(t)和angz(t)分别表示三维坐标轴上X方向、Y方向、Z方向的角速度分量;angmin是头部开始动作的阈值;tstart是头部动作的开始时刻;
确定头部动作结束时间:
Figure BDA0002838857660000031
其中,sum(ang([t-tmin,t))<angmin)计算了ang(t)在[t-tmin,t)时间区间内小于阈值angmin的个数;tmin是头部动作的持续的最小时间;fs是传感器的采样频率;如果头部动作开始后,最小持续时间内所有的采样点的值均小于阈值angmin,认为头部动作结束,结束时刻为tend
判断头部动作的有效:
(tend-tstart>tmin)且(tend-tstart>tmax),存在头部动作;
其中,tmin是头部动作持续的最小时间;tmax是头部动作持续的最长时间。
采集26人头部动作数据,随机分为训练集和测试集,其中训练集中有18人、测试集中有8人;
在步骤S2中处理的数据若属于训练集或个人依赖采集的模板数据,则通过步骤S3计算头部动作时间序列模板;若属于测试集或实时采集的实时数据,则通过步骤S4和步骤S5通过DTW值判断该动作序列属于的头部动作类型。
所述步骤S3的实现方法为:
步骤S31:根据步骤S2提取的头部动作的时间序列,根据设置的阈值得到每个动作时间序列及其标签;
步骤S32:对于训练集中一个头部动作,令其时间序列的一组数据为Sa={s1,s2,…,sa},Sa为6×a的矩阵,矩阵行向量分别对应X方向、Y方向、Z方向的加速度、角速度;列向量对应头部运动特征;则训练集的总的时间序列集合为S={Sa,Sb,…,Sn},其中,n是训练集中该动作的个数;a、b、…、k分别代表序列Sa、Sb、Sn的长度;
步骤S33:令序列长度向量为Slen={a,b,…,n},则模板时间序列长度为Tlen=median(Slen),其中,median()为中值函数;
步骤S34:令该头部动作的标准模板为Ti,其中,i=1,2,…,6,对应六种头部动作类型;为6×x的矩阵,矩阵的行向量分别对应X方向、Y方向、Z方向的加速度、角速度;列向量对应头部运动特征,长度x依据训练集中的数据长度确定;通过均值公式
Figure BDA0002838857660000032
得到Tik,Tik的前Tlen个数据作为该动作的标准模板时间序列,其中,Tik代表第i个动作模板中第k行数据;Sjk代表第j个对象动作类型的第k行数据;由于Sjk在测试者之间动作持续时间并不相等,使用binary()函数对Sjk进行二值化{1,0},从而计算相同位置元素个数;
步骤S34:重复步骤S32、S33,可以得到其它动作类型的标准模板。
所述步骤S4的实现方法为:
步骤S41:计算距离矩阵D:令测试集中头部动作的时间序列为S={s1,s2,…,sn};待匹配模板时间序列为标准模板数据为T={t1,t2,…,tm};则它们之间任意两点的欧式距离为
Figure BDA0002838857660000041
其中,si是时间序列S中第i列向量;tj是标准模板T中第j列向量;sik是时间序列S中任第i列向量的第k行元素;tjk是标准模板T中任第j列向量的第k行元素;计算所有的可能性构成一个n×m的距离矩阵D;转变为应用动态规划方法求解从起点D(1,1)到终点D(n,m)的最短路径问题。
步骤S42:令规整路径W={w1,w2,w3,…,wy},其中,we表示时间序列S和标准模板T某点之间距离,y是规整路径长度,范围:max(m,n)≤y≤m+n;根据规整路径的约束条件得到最优规划路径;
步骤S43:采用累积距离的动态规划思想来计算,求解最优规整路径。
重复步骤S41、S42、S43,分别计算出该头部动作时间序列S与6种标准模板的动作时间序列之间的DTW值。
所述规整路径需要满足以下几个约束条件:
①边界条件:路径从起点w1=D(1,1)到终点wy=D(n,m);
②连续性:若we-1=D(a,b),那么路径的下一个点we=D(a',b')需要满足|a-a'|≤1,|b-b'|≤1,也就是不能跨越某个点区匹配;
③单调性:若we-1=D(a,b),那么路径的下一个点we=D(a',b')需要满足a'-a≥0,b'-b≥0,也就是规整路径W上的点必须随时间单调进行;
由此,知道从we-1=D(a,b)到下一个点只有三种路径:D(a+1,b),D(a+1,b+1),D(a,b+1)。那么最优规整路径为:
Figure BDA0002838857660000051
所述累积距离为:
r(e,f)=d(se,tf)+min{r(e-1,f),r(e-1,f-1),r(e,f-1)};
其中,e=1,2,3,…,n;f=1,2,3,…,m;se表示待检测矩阵S中第e个列向量;tf表示待检测模板矩阵T中某个头部动作的第e个列向量;r(e,f)为累积距离。
本发明的有益效果:本发明提供了一种头部运动端点检测和基于动态时间规整的头部动作识别方法,使用放置于眼镜腿或耳朵处的惯性传感器采集头部动作X、Y、Z方向的加速度、角速度等,并对采集到的角速度数据计算合角速度,使用门限法进行端点自动检测,剔除异常数据。本发明支持生成个体依赖的头部动作模板或导入经验性的头部动作模板,然后,对自动检出头部动作测试数据分别计算与每个模板数据的动态时间规整路径DTW,经比较,具有最小DTW值的则为该种动作类型。本发明依靠惯性传感器测量的加速度和角速度信息可以准确的估计出测试对象的头部动作类型,如点头、仰头、左摇头、右摇头、左摆头、右摆头等,能有效提高人体头部动作的识别准确率。相对于基于摄像头、深度相机的头部动作识别技术,本发明具有价格低、数据处理量小、反应快、识别准确率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图。
图2为本发明的头部动作姿态类型示意图。
图3为本发明头部动作的时间序列模板。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种基于动态时间规整的头部姿态识别方法,其步骤如下:
步骤S1:数据采集:通过固定在头部的惯性传感器采集头部动作姿态在X方向、Y方向、Z方向的加速度和角速度的特征数据,并存储在数据集中。
本发明通过惯性传感器来感知头部姿态变化,采集的数据类型分别为X、Y、Z方向的加速度、角速度,共6类特征数据,惯性传感器安装位置在靠近头部前部的眼镜腿上,如图2中部的正常的视图所示。采集数据时,被试者带好眼镜,坐于板凳上,自然的分别做出点头、仰头、左摇头、右摇头、左转头、右转头的头部动作姿态,分别如图1靠外部的视图所示。
为了验证本发明提出方法的有效性,采集了26人头部动作数据,随机分为训练集和测试集进行了测试,其中训练组18人、测试组8人。数据集格式为:[data,label],其中,data是一个6维矩阵,分别是传感器x、y、z轴加速度、角速度,不同label下长度不定;label是一个类型变量,分别对应6类头部动作。
步骤S2:头部动作的端点检测:对数据集中的数据进行预处理,根据预处理后的头部惯性数据合角速度信息检测头部动作的起始时间和终止时间,提取头部动作的动作区间,步骤如下:
步骤S21:数据归一化
y'(t)=arctan(x(t))*2/π (1)
其中,y'(t)为归一化后的数据,x(t)是惯性传感器采集到的加速度或角速度数据。
步骤S22:滑动中值滤波
Figure BDA0002838857660000061
其中,l为中值滤波窗口长度;l=2n-1代表奇数,N为自然数集;l=2n代表偶数,median()为中值函数,y(t)为滑动窗口长度内的中值,y'(t-(l-1)/2:t+(l-1)/2)和y'(t-l/2:t+l/2-1)分别表示数据归一化的长度为l的数据。滑动中值滤波的作用是减小惯性传感器的椒盐噪声,使后续的动作识别和端点检测减少误判的可能性。
步骤S23:确定头部动作的开始时间为:
Figure BDA0002838857660000062
其中,
Figure BDA0002838857660000063
是t时刻各向角速度变化的总体描述,反映了头部动作的角度的总体变化程度,angx(t)、angy(t)和angz(t)分别表示三维坐标轴上X方向、Y方向、Z方向的角速度分量;angmin是头部开始动作的阈值;tstart是头部动作的开始时刻。
步骤S24:确定头部动作结束时间:
Figure BDA0002838857660000071
其中,sum(ang([t-tmin,t))<angmin)计算了ang(t)在[t-tmin,t)时间区间内小于阈值angmin的个数;tmin是头部动作的持续的最小时间;fs是传感器的采样频率。如果头部动作开始后,最小持续时间内所有的采样点的值均小于阈值angmin,认为头部动作结束,结束时刻为tend
步骤S25:判断头部动作有效:
(tend-tstart>tmin)且(tend-tstart>tmax),存在头部动作 (5)
其中,tmin是头部动作持续的最小时间,用于剔除波形的尖峰噪声;tmax是头部动作持续的最长时间,用于剔除持续时间异常或未完成的动作。从而完成头部动作数据提取,数据若属于训练集或个人依赖采集的模板数据,则可以通过步骤S3计算头部动作时间序列模板;若属于测试集或实时采集过来的实时数据,则通过步骤S4、S5通过DTW值判断该动作序列属于的头部动作类型。
步骤S3:计算头部动作时间序列模板:根据步骤S2端点检测检测到的头部动作数据及相关的动作标签,构建X方向、Y方向、Z方向的加速度、角速度头部动作模板,步骤如下:
步骤S31:根据本发明步骤2描述的端点检测方法提取出头部动作的时间序列,阈值选取参考值分别是:l=0.2s,angmin=0.2rad/s,tmin=0.6s,tmax=3s,fs=100Hz得到每个动作时间序列及其标签。
步骤S32:对于训练集其中一个头部动作为例,令其时间序列的一组数据为Sa={s1,s2,…,sa},a为该组数据的长度,Sa为6×a的矩阵,矩阵行向量分别对应X方向、Y方向、Z方向的加速度、角速度;列向量对应头部运动特征。则训练集的总的时间序列集合为S={Sa,Sb,…,Sn},其中,n是训练集中该动作的个数;a,b,…,k分别代表所处序列的长度。
步骤S33:令序列长度向量为Slen={a,b,…,n},则模板时间序列长度为Tlen=median(Slen),其中,median()为中值函数。
步骤S34:令该头部动作的标准模板为Ti,其中,i=1,2,…,6,对应六种头部动作类型;为6×x的矩阵,矩阵的行向量分别对应X方向、Y方向、Z方向的加速度、角速度;列向量对应头部运动特征,长度x依据训练集中的数据长度确定。可通过均值公式
Figure BDA0002838857660000081
得到Tik,Tik的前Tlen个数据作为该动作的标准模板时间序列,其中,Tik代表第i个动作模板中第k行数据;Sjk代表第j个对象动作类型的第k行数据;由于Sjk在测试者之间动作持续时间并不相等,使用binary()函数对Sjk进行二值化{1,0},从而计算相同位置元素个数。
步骤S34:重复步骤S32、S33,可以得到其它动作类型的标准模板,如图3。图3中accx(t)、accy(t)和accz(t)、acc(t)分别代表X、Y、Z方向的加速度、合加速度;angx(t)、angy(t)和angz(t)、angt(t)分别表示X、Y、Z方向的角速度、合角速度。
用户也可以通过系统语音提示,多次做出相应的头部动作数据,并按照步骤S31、S32、S33、S34,计算出个人依赖性头部动作时间序列模板。
步骤S4:计算规整路径,测试集通过步骤S2检测到的头部动作数据分别与步骤S3得到的头部动作模板数据计算规整路径,详细步骤如下:
步骤S41:计算距离矩阵D。令测试集中头部动作的时间序列为S={s1,s2,…,sn},是一个6×n的矩阵;待匹配模板时间序列为标准模板数据为T={t1,t2,…,tm},是一个6×m的矩阵;则它们之间任意两点的欧式距离为
Figure BDA0002838857660000082
其中,si是矩阵S中第i列向量;tj是矩阵T中第j列向量;sik是向量S中任第i列向量的第k行元素;tjk是向量T中任第j列向量的第k行元素。计算所有的可能性,就构成一个n×m的距离矩阵D。所以,这两个时间序列相似性问题就转变为应用动态规划方法求解从起点D(1,1)到终点D(n,m)的最短路径问题,也就是规整路径(warping path),用W表示。
步骤S42:令规整路径W={w1,w2,w3,…,wy},其中,we表示时间序列S和标准模板T某点之间距离,y是规整路径长度,范围:max(m,n)≤y≤m+n。并需要满足以下几个约束条件:
①边界条件:路径从起点w1=D(1,1)到终点wy=D(n,m);
②连续性:若we-1=D(a,b),那么路径的下一个点we=D(a',b')需要满足|a-a'|≤1,|b-b'|≤1,也就是不能跨越某个点区匹配;
③单调性:若we-1=D(a,b),那么路径的下一个点we=D(a',b')需要满足a'-a≥0,b'-b≥0,也就是W上的点必须随时间单调进行;
由此,知道从we-1=D(a,b)到下一个点只有三种路径:D(a+1,b),D(a+1,b+1),D(a,b+1)。那么最优规整路径为:
Figure BDA0002838857660000091
步骤S43:为了求解最优规整路径即求解式(6),采用累积距离(cumulativedistance)的动态规划思想来计算,累积距离公式定义为:
r(e,f)=d(se,tf)+min{r(e-1,f),r(e-1,f-1),r(e,f-1)} (7)
其中,e=1,2,3,…,n;f=1,2,3,…,m;se表示待检测矩阵S中第e个列向量;tf表示待检测模板矩阵T某个头部动作的第e个列向量;r(e,f)为累积距离,累积距离实际上是一种递推的关系,所以S,T两组时间序列最佳规整路径距离为DTW(S,T)=r(n,m),这解决了时间序列长度不一致和特征位置没有对齐时间序列相似性的度量问题。
重复步骤S41、S42、S43,分别计算出该头部动作时间序列S与6种标准模板的动作时间序列之间的DTW值。
步骤S5:判断头部动作类型:规整路径DTW最小值对应的标准模板头部动作类型则为待识别数据的头部动作类型。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于动态时间规整的头部姿态识别方法,其特征在于,其步骤如下:
步骤S1:数据采集:通过固定在头部的惯性传感器采集头部动作姿态在X方向、Y方向、Z方向的加速度和角速度的特征数据,并存储在数据集中;
步骤S2:头部动作的端点检测:对数据集中的数据进行预处理,根据预处理后的头部惯性数据合角速度信息检测头部动作的起始时间和终止时间,提取头部动作的动作区间;
步骤S3:计算头部动作时间序列模板:根据步骤S2端点检测检测到的头部动作数据及相关的动作标签,构建X方向、Y方向、Z方向的加速度、角速度头部动作模板;
步骤S4:计算规整路径:数据集中的测试集通过步骤S2检测的头部动作数据分别与步骤S3得到的头部动作模板数据计算规整路径;
步骤S5:判断头部动作类型:规整路径DTW最小值对应的标准模板头部动作类型则为待识别数据的头部动作类型。
2.根据权利要求1所述的基于动态时间规整的头部姿态识别方法,其特征在于,所述惯性传感器安装位置在靠近头部前部的眼镜腿上,采集数据时,被试者带好眼镜,坐于板凳上,自然的分别做出点头、仰头、左摇头、右摇头、左转头、右转头的头部动作姿态;所述数据集的格式为:[data,label],其中,data是一个6维矩阵,分别是传感器x、y、z轴加速度和角速度,不同label下长度不定;label是一个类型变量,分别对应6类头部动作。
3.根据权利要求1所述的基于动态时间规整的头部姿态识别方法,其特征在于,所述步骤S2中的预处理的方法为:
步骤S21:数据归一化
y'(t)=arctan(x(t))*2/π (1)
其中,y'(t)为归一化后的数据,x(t)是惯性传感器采集到的加速度或角速度数据。
步骤S22:滑动中值滤波
Figure FDA0002838857650000011
其中,l为中值滤波窗口长度;l=2n-1代表奇数,N为自然数集;l=2n代表偶数,median()为中值函数,y(t)为滑动窗口长度内的中值,y'(t-(l-1)/2:t+(l-1)/2)和y'(t-l/2:t+l/2-1)分别表示数据归一化的长度为l的数据。
4.根据权利要求1或3所述的基于动态时间规整的头部姿态识别方法,其特征在于,所述步骤S2中头部动作的端点检测的方法为:确定头部动作的开始时间为:
Figure FDA0002838857650000021
其中,
Figure FDA0002838857650000022
是t时刻各向角速度变化的总体描述,反映了头部动作的角度的总体变化程度,angx(t)、angy(t)和angz(t)分别表示三维坐标轴上X方向、Y方向、Z方向的角速度分量;angmin是头部开始动作的阈值;tstart是头部动作的开始时刻;
确定头部动作结束时间:
Figure FDA0002838857650000023
其中,sum(ang([t-tmin,t))<angmin)计算了ang(t)在[t-tmin,t)时间区间内小于阈值angmin的个数;tmin是头部动作的持续的最小时间;fs是传感器的采样频率;如果头部动作开始后,最小持续时间内所有的采样点的值均小于阈值angmin,认为头部动作结束,结束时刻为tend
判断头部动作的有效:
(tend-tstart>tmin)且(tend-tstart>tmax),存在头部动作;
其中,tmin是头部动作持续的最小时间;tmax是头部动作持续的最长时间。
5.根据权利要求4所述的基于动态时间规整的头部姿态识别方法,其特征在于,采集了26人头部动作数据,随机分为训练集和测试集,其中训练集中有18人、测试集中有8人;
在步骤S2中处理的数据若属于训练集或个人依赖采集的模板数据,则通过步骤S3计算头部动作时间序列模板;若属于测试集或实时采集的实时数据,则通过步骤S4和步骤S5通过DTW值判断该动作序列属于的头部动作类型。
6.根据权利要求5所述的基于动态时间规整的头部姿态识别方法,其特征在于,所述步骤S3的实现方法为:
步骤S31:根据步骤S2提取的头部动作的时间序列,根据设置的阈值得到每个动作时间序列及其标签;
步骤S32:对于训练集中一个头部动作,令其时间序列的一组数据为Sa={s1,s2,…,sa},Sa为6×a的矩阵,矩阵行向量分别对应X方向、Y方向、Z方向的加速度、角速度;列向量对应头部运动特征;则训练集的总的时间序列集合为S={Sa,Sb,…,Sn},其中,n是训练集中该动作的个数;a、b、…、k分别代表序列Sa、Sb、Sn的长度;
步骤S33:令序列长度向量为Slen={a,b,…,n},则模板时间序列长度为Tlen=median(Slen),其中,median()为中值函数;
步骤S34:令该头部动作的标准模板为Ti,其中,i=1,2,…,6,对应六种头部动作类型;为6×x的矩阵,矩阵的行向量分别对应X方向、Y方向、Z方向的加速度、角速度;列向量对应头部运动特征,长度x依据训练集中的数据长度确定;通过均值公式
Figure FDA0002838857650000031
得到Tik,Tik的前Tlen个数据作为该动作的标准模板时间序列,其中,Tik代表第i个动作模板中第k行数据;Sjk代表第j个对象动作类型的第k行数据;由于Sjk在测试者之间动作持续时间并不相等,使用binary()函数对Sjk进行二值化{1,0},从而计算相同位置元素个数;
步骤S34:重复步骤S32、S33,可以得到其它动作类型的标准模板。
7.根据权利要求5所述的基于动态时间规整的头部姿态识别方法,其特征在于,所述步骤S4的实现方法为:
步骤S41:计算距离矩阵D:令测试集中头部动作的时间序列为S={s1,s2,…,sn};待匹配模板时间序列为标准模板数据为T={t1,t2,…,tm};则它们之间任意两点的欧式距离为
Figure FDA0002838857650000032
其中,si是时间序列S中第i列向量;tj是标准模板T中第j列向量;sik是时间序列S中任第i列向量的第k行元素;tjk是标准模板T中任第j列向量的第k行元素;计算所有的可能性构成一个n×m的距离矩阵D;转变为应用动态规划方法求解从起点D(1,1)到终点D(n,m)的最短路径问题。
步骤S42:令规整路径W={w1,w2,w3,…,wy},其中,we表示时间序列S和标准模板T某点之间距离,y是规整路径长度,范围:max(m,n)≤y≤m+n;根据规整路径的约束条件得到最优规划路径;
步骤S43:采用累积距离的动态规划思想来计算,求解最优规整路径。
重复步骤S41、S42、S43,分别计算出该头部动作时间序列S与6种标准模板的动作时间序列之间的DTW值。
8.根据权利要求7所述的基于动态时间规整的头部姿态识别方法,其特征在于,所述规整路径需要满足以下几个约束条件:
①边界条件:路径从起点w1=D(1,1)到终点wy=D(n,m);
②连续性:若we-1=D(a,b),那么路径的下一个点we=D(a',b')需要满足|a-a'|≤1,|b-b'|≤1,也就是不能跨越某个点区匹配;
③单调性:若we-1=D(a,b),那么路径的下一个点we=D(a',b')需要满足a'-a≥0,b'-b≥0,也就是规整路径W上的点必须随时间单调进行;
由此,知道从we-1=D(a,b)到下一个点只有三种路径:D(a+1,b),D(a+1,b+1),D(a,b+1)。那么最优规整路径为:
Figure FDA0002838857650000041
所述累积距离为:
r(e,f)=d(se,tf)+min{r(e-1,f),r(e-1,f-1),r(e,f-1)};
其中,e=1,2,3,…,n;f=1,2,3,…,m;se表示待检测矩阵S中第e个列向量;tf表示待检测模板矩阵T中某个头部动作的第e个列向量;r(e,f)为累积距离。
CN202011485090.XA 2020-12-16 2020-12-16 一种基于动态时间规整的头部姿态识别方法 Active CN112527118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011485090.XA CN112527118B (zh) 2020-12-16 2020-12-16 一种基于动态时间规整的头部姿态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011485090.XA CN112527118B (zh) 2020-12-16 2020-12-16 一种基于动态时间规整的头部姿态识别方法

Publications (2)

Publication Number Publication Date
CN112527118A true CN112527118A (zh) 2021-03-19
CN112527118B CN112527118B (zh) 2022-11-25

Family

ID=75000581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011485090.XA Active CN112527118B (zh) 2020-12-16 2020-12-16 一种基于动态时间规整的头部姿态识别方法

Country Status (1)

Country Link
CN (1) CN112527118B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158833A (zh) * 2021-03-31 2021-07-23 电子科技大学 一种基于人体姿态的无人车控制指挥方法
CN113936337A (zh) * 2021-11-18 2022-01-14 成都天奥电子股份有限公司 一种运动姿态识别方法、装置、可穿戴设备及存储介质
CN116453157A (zh) * 2023-03-28 2023-07-18 上海交通大学 一种基于bdtw与序列对齐的飞行任务识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731307A (zh) * 2013-12-20 2015-06-24 孙伯元 一种体感动作识别方法及人机交互装置
CN105184325A (zh) * 2015-09-23 2015-12-23 歌尔声学股份有限公司 一种人体动作识别方法和移动智能终端
WO2017050140A1 (zh) * 2015-09-23 2017-03-30 歌尔股份有限公司 一种人体动作识别方法、识别用户动作的方法和智能终端
CN109091150A (zh) * 2017-11-29 2018-12-28 惠州市德赛工业研究院有限公司 睡眠体动的识别方法、睡眠质量评估方法及智能穿戴设备
CN110348275A (zh) * 2018-04-08 2019-10-18 中兴通讯股份有限公司 手势识别方法、装置、智能设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731307A (zh) * 2013-12-20 2015-06-24 孙伯元 一种体感动作识别方法及人机交互装置
CN105184325A (zh) * 2015-09-23 2015-12-23 歌尔声学股份有限公司 一种人体动作识别方法和移动智能终端
WO2017050140A1 (zh) * 2015-09-23 2017-03-30 歌尔股份有限公司 一种人体动作识别方法、识别用户动作的方法和智能终端
CN109091150A (zh) * 2017-11-29 2018-12-28 惠州市德赛工业研究院有限公司 睡眠体动的识别方法、睡眠质量评估方法及智能穿戴设备
CN110348275A (zh) * 2018-04-08 2019-10-18 中兴通讯股份有限公司 手势识别方法、装置、智能设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EDUARD WALL等: "《Online nod detection in human-robot interaction》", 《2017 26TH IEEE INTERNATIONAL SYMPOSIUM ON ROBOT AND HUMAN INTERACTIVE COMMUNICATION(RO-MAN)》 *
刘沿等: "一种使用3D骨架片段表示的人体动作识别方法", 《小型微型计算机系统》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158833A (zh) * 2021-03-31 2021-07-23 电子科技大学 一种基于人体姿态的无人车控制指挥方法
CN113158833B (zh) * 2021-03-31 2023-04-07 电子科技大学 一种基于人体姿态的无人车控制指挥方法
CN113936337A (zh) * 2021-11-18 2022-01-14 成都天奥电子股份有限公司 一种运动姿态识别方法、装置、可穿戴设备及存储介质
CN116453157A (zh) * 2023-03-28 2023-07-18 上海交通大学 一种基于bdtw与序列对齐的飞行任务识别方法及装置

Also Published As

Publication number Publication date
CN112527118B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
Zhang et al. EgoGesture: A new dataset and benchmark for egocentric hand gesture recognition
Devanne et al. 3-d human action recognition by shape analysis of motion trajectories on riemannian manifold
CN112527118B (zh) 一种基于动态时间规整的头部姿态识别方法
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
Frolova et al. Most probable longest common subsequence for recognition of gesture character input
CN101599127B (zh) 眼电信号的特征提取与识别方法
US20060228005A1 (en) Information processing apparatus and information processing method
Bao et al. Dynamic hand gesture recognition based on SURF tracking
CN105740779B (zh) 人脸活体检测的方法和装置
Ahmed Kinect-based gait recognition using sequences of the most relevant joint relative angles
CN105740781A (zh) 一种三维人脸活体检测的方法和装置
WO1999039302A1 (en) Camera-based handwriting tracking
CN101558996A (zh) 基于人体运动结构正投影三维重建的步态识别方法
CN110458235B (zh) 一种视频中运动姿势相似度比对方法
CN113920568A (zh) 基于视频图像的人脸和人体姿态情绪识别方法
CN103310191B (zh) 运动信息图像化的人体动作识别方法
CN112883922B (zh) 基于CNN-BiGRU神经网络融合的手语识别方法
JP2013003706A (ja) 表情認識装置、方法、及びプログラム
CN111914643A (zh) 一种基于骨骼关键点检测的人体动作识别方法
CN112801859A (zh) 一种具有美妆指导功能的化妆镜系统
Li et al. Posture recognition technology based on kinect
CN109993116B (zh) 一种基于人体骨骼相互学习的行人再识别方法
CN111695520A (zh) 一种高精度的儿童坐姿检测与矫正方法及装置
CN109308118B (zh) 基于eog的中文眼写信号识别系统及其识别方法
Xu et al. Using trajectory features for tai chi action recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
点击 这是indexloc提供的php浏览器服务,不要输入任何密码和下载