CN112365589B - 一种虚拟三维场景展示方法、装置及系统 - Google Patents

Abstract

本申请公开一种虚拟三维场景展示方法、装置及系统。所述方法包括创建人体预设模型，根据人体预设模型预测得到三维人体预设模型点云；获取体感设备采集的人体深度图像，将人体深度图像转化为三维人体点云；将转化得到的三维人体点云和预测得到的三维人体预设模型点云进行匹配，计算体感设备的位姿；根据计算得到的体感设备的位姿，将三维人体点云融合到现有的人体预设模型点云中，得到三维融合模型；将三维人体模型与预设环境点云进行融合，得到三维场景展示，将三维场景展示输出至高清显示器进行展示。本申请通过一台体感设备采集的图像对预设人体模型进行调整，减少体感设备的使用，并减少三维模型的重建过程，提高三维场景建模的速度。

Description

一种虚拟三维场景展示方法、装置及系统

技术领域

本申请涉及虚拟体感互动领域，尤其涉及一种虚拟虚拟三维场景展示方法、装置及系统。

背景技术

现有的虚拟三维场景展示系统存在如下缺陷：

1、使用困难：为提高最终模型精度往往需要多个体感设备从多个角度进行识别，这就会造成多个设备间相互干扰，在它们扫描重叠区域的数据质量会大大降低。同时在使用多个设备时需对每台设备进行单独标定并确保多台设备标定后的坐标系完全一致。多设备同时使用时由于设置较为繁琐，导致了一般用户操作起来较为困难。

2、时间消耗大：使用Kinect体感设备进行建模时需要一定时间扫描用户数据从而建立用户模型。在这个过程中需要保证用户静止，肢体的移动，呼吸造成的胸腔起伏等都有可能产生噪音，从而影响模型的精度。同时用户的衣着与身体的阴影也会对模型精读造成影响。用户需要一定的时间在没有太大干扰的情况下才能生成一个高精度的模型。

3、计算花销大：使用Kinect体感设备进行建模时一般采用点云建模，由于点云的数据量非常庞大，并且存在着冗余数据和噪声干扰，增加了计算复杂度。因此往往需要提取点云数据中能反映曲面特征的点，精简数据并且去除噪声，从而提高模型重建的精度和效率。

发明内容

本申请提供了一种虚拟三维场景展示方法、装置及系统，通过一台体感设备采集的图像对预设人体模型进行调整，减少体感设备的使用，并减少三维模型的重建过程，提高三维场景建模的速度。

一种虚拟三维场景展示方法，包括如下步骤：

创建人体预设模型，根据人体预设模型预测得到三维人体预设模型点云；

获取体感设备采集的人体深度图像，将人体深度图像转化为三维人体点云；

将转化得到的三维人体点云和预测得到的三维人体预设模型点云进行匹配，计算体感设备的位姿；

根据计算得到的体感设备的位姿，将三维人体点云融合到现有的人体预设模型点云中，得到三维融合模型；

将三维人体模型与预设环境点云进行融合，得到三维场景展示，将三维场景展示输出至高清显示器进行展示。

如上所述的虚拟三维场景展示方法，其中，计算体感设备的位姿，具体包括如下子步骤：

从三维人体点云和三维人体预设模型点云中获取点云位置匹配且数量相同的点云集合，计算点云集合中三维人体点云和三维人体预设模型点云的质心；

根据三维人体点云和三维人体预设模型点云的质心构造误差函数；

令误差函数的值最小，计算最优旋转矩阵和平移向量，根据最优旋转矩阵和平移向量确定体感设备的位姿。

如上所述的虚拟三维场景展示方法，其中，将三维人体模型与预设环境点云进行融合，得到三维场景展示，具体如下子步骤：

根据从体感设备采集的RGB图像得到人体肤色，将人体肤色附着在三维人体模型上；

根据人体肤色从预设环境库中选择与人体肤色颜色相似度最低的预设环境点云；

将三维人体模型与选择的预设环境点云进行融合配准，得到三维场景展示，将三维场景展示输出至高清显示器进行展示。

如上所述的虚拟三维场景展示方法，其中，将三维人体点云融合到人体预设模型中，得到三维融合模型，具体包括如下子步骤：

对三维人体点云和人体预设模型点云进行预处理；

将预处理后的三维人体点云和人体预设模型进行模型配准和融合；

将融合后的模型进行边界腐蚀去除毛刺使边界光滑。

本申请还提供一种虚拟三维场景展示装置，包括：

人体预设模型创建模块，用于创建人体预设模型，根据人体预设模型预测得到三维人体预设模型点云；

三维人体点云构建模块，用于获取体感设备采集的人体深度图像，将人体深度图像转化为三维人体点云；

体感设备位姿计算模块，用于将转化得到的三维人体点云和预测得到的三维人体预设模型点云进行匹配，计算体感设备的位姿；

三维融合模型构建模块，用于根据计算得到的体感设备的位姿，将三维人体点云融合到现有的人体预设模型点云中，得到三维融合模型；

三维场景展示构建模块，用于将三维人体模型与预设环境点云进行融合，得到三维场景展示，将三维场景展示输出至高清显示器进行展示。

如上所述的虚拟三维场景展示装置，其中，体感设备位姿计算模块具体用于从三维人体点云和三维人体预设模型点云中获取点云位置匹配且数量相同的点云集合，计算点云集合中三维人体点云和三维人体预设模型点云的质心；根据三维人体点云和三维人体预设模型点云的质心构造误差函数；令误差函数的值最小，计算最优旋转矩阵和平移向量，根据最优旋转矩阵和平移向量确定体感设备的位姿。

如上所述的虚拟三维场景展示装置，其中，三维场景展示构建模块具体用于根据从体感设备采集的RGB图像得到人体肤色，将人体肤色附着在三维人体模型上；根据人体肤色从预设环境库中选择与人体肤色颜色相似度最低的预设环境点云；将三维人体模型与选择的预设环境点云进行融合配准，得到三维场景展示，将三维场景展示输出至高清显示器进行展示。

如上所述的虚拟三维场景展示装置，其中，三维融合模型构建模块具体用于对三维人体点云和人体预设模型点云进行预处理；将预处理后的三维人体点云和人体预设模型进行模型配准和融合；将融合后的模型进行边界腐蚀去除毛刺使边界光滑。

本申请还提供一种虚拟三维场景展示系统，包括：所述的虚拟三维场景展示装置，还包括体感设备和高清显示器。

如上所述的虚拟三维场景展示系统，其中，体感设备用于采集人体深度图像和RGB图像。

本申请实现的有益效果如下：

(1)本申请由于只使用一台体感设备所以不需要考虑同一坐标系、多设备间干扰等问题，同时能够获得精度媲美多设备扫描时生成的模型。

(2)根据采集到的实际人体图像对人体预设模型进行调整，减少三维模型的重建过程，提高三维场景建模的速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的一种虚拟三维场景展示系统示意图；

图2是虚拟三维场景展示装置执行虚拟三维场景展示的方法流程图；

图3是虚拟三维场景展示装置示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本申请实施例提供一种虚拟三维场景展示系统，如图1所示，所述虚拟三维场景展示系统包括一台用于采集用户数据的Kinect2体感设备、一台架设前端用户图像数据采集与后端进行虚拟三维体感建模装置(如PC)、两台显示流程及输出显示处理后影像的高清显示器；本申请由于只使用一台体感设备所以不需要考虑同一坐标系、多设备间干扰等问题，同时能够获得精度媲美多设备扫描时生成的模型。

具体地，在虚拟三维场景展示系统中，虚拟三维场景展示装置执行虚拟三维场景展示方法，如图2所示，所述虚拟三维场景展示方法具体包括如下步骤：

步骤210、创建人体预设模型，根据人体预设模型预测得到三维人体预设模型点云；

本申请实施例中，预先在PC中创建人体预设模型，该模型为符合人体构造的骨骼和肌肉的绑定体，其中，符合人体构造的骨骼和肌肉可以为不同人种、不同性别、不同年龄的标准身材，后续根据采集到的实际人体数据对人体预设模型进行实时调整，减少三维模型的重建过程，提高三维人体建模的速度。

步骤220、获取体感设备采集的人体深度图像，将人体深度图像转化为三维人体点云；

具体地，在Kinect2体感设备中创建一个骨骼事件，打开骨骼追踪功能，采集包含骨架数据的人体深度图像和RGB图像；在PC中利用Unity构建前端图像采集系统及流程控制系统，通过前端图像采集系统及流程控制系统快速获取Kinect2体感设备采集的人体深度图像，人体深度图像的像素坐标点为[u,v,w]；

本申请实施例中，PC获取人体深度图像之后将人体深度图像转化为点云，具体为：

具体地，Kinect2体感设备的人体三维世界坐标点[x,y,z]和采集到的人体深度图像的像素坐标点[u,v,w]具有如下关系：

w＝z·s (1)

其中，f_x、f_y为Kinect2体感设备在x，y轴上的焦距，c_z、c_y为Kinect2体感设备的光圈中心，s为人体深度图像的缩放因子；

PC在采集到深度图像之后根据上述公式推导得到人体深度图像与三维世界坐标的关系如下：

根据公式(2)进行点云构建；具体地，将公式(2)中的f_x、f_y、c_z、c_y定义为Kinect2体感设备的内参矩阵C，每个点的空间位置与像素坐标使用矩阵模型表示如下：

其中，R和t为Kinect2体感设备的姿态，R为旋转矩阵，t为位移矢量，s为人体深度图的数据与实际距离的比例；若设定Kinect2体感设备为静止状态，即没有旋转和平移，则将R设定为单位矩阵I，t设为0；

转化得到的点云图中每个点用来定义人体的尺寸位置点，点云图的基准空间坐标轴建立在人体中心位置与地面的相交点处，采用中心与地面垂直的直线将人体分为两半，生成的点云图中每个点都有自己的坐标位置。

步骤230、将转化得到的三维人体点云和预测得到的三维人体预设模型点云进行匹配，计算体感设备的位姿；

具体地，在PC中通过OpenCV及Python搭建后端图像处理系统，通过后端处理系统实时处理采集到的数据，进行虚拟三维体感建模，输出用户三维模型；

本申请实施例中，计算体感设备的位姿，具体包括如下子步骤：

步骤231、从三维人体点云和三维人体预设模型点云中获取点云位置匹配且数量相同的点云集合，计算点云集合中三维人体点云和三维人体预设模型点云的质心；

具体地，从三维人体点云和三维人体预设模型点云中获取点云位置匹配的点云数量均为n，得到的点云集合为D＝{d₁,d′₁,d₂,d′₂......d_n,d′_n}；

定义三维人体点云为d_i，三维人体预设模型点云为d′_i，则三维人体点云和三维人体预设模型点云的质心点云分别为：

其中，p_i为三维人体点云的质心点云，p′_i为三维人体预设模型的质心点云。

步骤232、根据三维人体点云和三维人体预设模型点云的质心构造误差函数；

具体地，通过计算将三维人体预设模型点云变换到三维人体点云坐标系中，构造两点云的误差函数为：

其中，J(i)为构造的误差函数，R为旋转矩阵，为平移向量。

步骤233、令误差函数的值最小，计算最优旋转矩阵和平移向量，根据最优旋转矩阵和平移向量确定体感设备的位姿；

具体地，将上式(4)带入式(5)中，令误差函数的值最小得到：

设定式(6)中的R为0，求解得到的平移向量为最优值；同样地设定平移向量/>为0，求解得到的旋转矩阵R为最优值；然后计算体感设备的位姿为：

其中，D为点云集合，R为旋转矩阵，为平移向量的模。

返回参见图2，步骤240、根据计算得到的体感设备的位姿，将三维人体点云融合到现有的人体预设模型点云中，得到三维融合模型；

本申请实施例中，将三维人体点云融合到人体预设模型中，得到三维融合模型，具体包括如下子步骤：

步骤241、对三维人体点云和人体预设模型点云进行预处理；

其中，预处理包括几何畸变矫正、噪声抑制和滤波；

几何畸变矫正具体为根据失真原因，建立相应的数学模型，从被污染或畸变的信号中提取所需要的信息，沿着失真的逆过程恢复本来面貌，具体使用滤波器从失真模型中计算得到真实模型的估值，使其根据预先规定的误差准则，最大程度地接近真实模型；

噪声抑制具体采用均值滤波或中值滤波方法；均值滤波具体为对将处理的当前像素，选择其邻近的若干像素组成模板，用模板中像素的均值来替代原像素的值；中值滤波具体为将待处理模型按照像素值的大小进行排序，生成单调上升或下降的二维数据序；

滤波是将信号中特定波段频率滤除，达到抑制和防止干扰的效果，具体采用下式进行滤波：

其中，I(x,y,z)为输入的三维人体点云或人体预设模型点云，I′(x,y,z)为滤波后输出的三维人体点云图或人体预设模型点云图，Ω为以(x,y,z)为中心点的2N*2N大小的邻域范围，w(i,j,k)为滤波器在(i,j,k)处的权值，(i,j,k)为领域范围内的点，w为归一化系数。

步骤242、将预处理后的三维人体点云和人体预设模型进行模型配准和融合；

本申请进行模型配准和融合处理，具体为：先分别计算三维人体点云和人体预设模型的梯度场，使用三维人体点云的梯度场替换人体预设模型相应处的梯度场，得到融合后的模型梯度场；

具体地，采用下式分别计算三维人体点云、人体预设模型的和融合后模型的梯度场：

其中，为x方向单位向量、/>为y方向单位向量，/>为三维人体点云/人体预设模型的/融合后模型在X方向的偏导数，/>为三维人体点云/人体预设模型的/融合后模型在Y方向的偏导数；grad(u)为三维人体点云/人体预设模型的/融合后模型的梯度场向量；h₁和h₂为标度因子。

然后根据融合后模型的梯度场计算融合后模型的散度，根据融合后图像的散度计算融合后模型的像素值矩阵；

具体地，对融合后模型的梯度场求二次导数，得到融合后模型的散度；然后根据融合后模型的散度以及融合后模型的系数矩阵计算融合后模型的像素值；其中融合后模型的系数矩阵具体为：根据融合后模型的边界像素点所对应的矩阵计算系数矩阵中心位置的数据，然后再将系数矩阵中心位置两边的数据设为1，正向对角数据也设为1，得到系数矩阵；

步骤243、将融合后的模型进行边界腐蚀去除毛刺使边界光滑；

对融合后图模型进行边界腐蚀去毛刺之后，将融合后模型进行归一化处理，将其像素值转换为数值在0-1之间。

本申请实施例中，在融合得到三维人体模型之后，向高清显示器输出三维人体模型进行展示。

返回参见图2，步骤250、将三维人体模型与预设环境点云进行融合，得到三维场景展示，将三维场景展示输出至高清显示器进行展示；

具体地，将三维人体模型与预设环境点云进行融合，得到三维场景展示，具体如下子步骤：

Step1、根据从体感设备采集的RGB图像得到人体肤色，将人体肤色附着在三维人体模型上；

具体地，从RGB图像中分离脸部图像，然后对脸部图像的颜色值进行均值计算，得到平均肤色，将平均肤色作为三维人体模型的附着肤色。

Step2、根据人体肤色从预设环境库中选择与人体肤色颜色相似度最低的预设环境点云；

具体地，采用下式计算人体肤色与预设环境点云的相似度：

其中，sim为相似度，A为人体肤色，B_i(x,y,z)为预设环境点云，n为预设环境点云的总数，计算相似度最小值，即计算min(sim)得到选择的预设环境点云。

Step3、将三维人体模型与选择的预设环境点云进行融合配准，得到三维场景展示，将三维场景展示输出至高清显示器进行展示。

实施例二

本申请实施例二提供一种虚拟三维场景展示装置，如图3所示，包括：

人体预设模型创建模块310，用于创建人体预设模型，根据人体预设模型预测得到三维人体预设模型点云；

三维人体点云构建模块320，用于获取体感设备采集的人体深度图像，将人体深度图像转化为三维人体点云；

体感设备位姿计算模块330，用于将转化得到的三维人体点云和预测得到的三维人体预设模型点云进行匹配，计算体感设备的位姿；

三维融合模型构建模块340，用于根据计算得到的体感设备的位姿，将三维人体点云融合到现有的人体预设模型点云中，得到三维融合模型；

三维场景展示构建模块350，用于将三维人体模型与预设环境点云进行融合，得到三维场景展示，将三维场景展示输出至高清显示器进行展示。

其中，三维场景展示构建模块具体用于根据从体感设备采集的RGB图像得到人体肤色，将人体肤色附着在三维人体模型上；根据人体肤色从预设环境库中选择与人体肤色颜色相似度最低的预设环境点云；将三维人体模型与选择的预设环境点云进行融合配准，得到三维场景展示，将三维场景展示输出至高清显示器进行展示。

具体地，体感设备位姿计算模块330具体用于从三维人体点云和三维人体预设模型点云中获取点云位置匹配且数量相同的点云集合，计算点云集合中三维人体点云和三维人体预设模型点云的质心；根据三维人体点云和三维人体预设模型点云的质心构造误差函数；令误差函数的值最小，计算最优旋转矩阵和平移向量，根据最优旋转矩阵和平移向量确定体感设备的位姿。

三维融合模型构建模块340具体包括预处理子模块341、配准融合子模块342和边界处理子模块343；

预处理子模块341对三维人体点云和人体预设模型点云进行预处理；配准融合子模块342将预处理后的三维人体点云和人体预设模型进行模型配准和融合；边界处理子模块343将融合后的模型进行边界腐蚀去除毛刺使边界光滑。

具体地，预处理子模块341具体用于对三维人体点云和人体预设模型点云进行几何畸变矫正、噪声抑制和滤波；配准融合子模块342具体用于分别计算三维人体点云和人体预设模型的梯度场，使用三维人体点云的梯度场替换人体预设模型相应处的梯度场，得到融合后的模型梯度场；根据融合后模型的梯度场计算融合后模型的散度，根据融合后图像的散度计算融合后模型的像素值矩阵。在边界处理子模块343对融合后图模型进行边界腐蚀去毛刺之后，还包括将融合后模型进行归一化处理，将其像素值转换为数值在0-1之间。

以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种虚拟三维场景展示方法，其特征在于，包括如下步骤：

创建人体预设模型，根据人体预设模型预测得到三维人体预设模型点云；

获取体感设备采集的人体深度图像，将人体深度图像转化为三维人体点云；

将转化得到的三维人体点云和预测得到的三维人体预设模型点云进行匹配，计算体感设备的位姿；

根据计算得到的体感设备的位姿，将三维人体点云融合到现有的人体预设模型点云中，得到三维融合模型；

将三维人体模型与预设环境点云进行融合，得到三维场景展示，将三维场景展示输出至高清显示器进行展示；

其中，将三维人体模型与预设环境点云进行融合，得到三维场景展示，具体包括如下子步骤：

根据从体感设备采集的RGB图像得到人体肤色，将人体肤色附着在三维人体模型上；

根据人体肤色从预设环境库中选择与人体肤色颜色相似度最低的预设环境点云；

将三维人体模型与选择的预设环境点云进行融合配准，得到三维场景展示。

2.如权利要求1所述的虚拟三维场景展示方法，其特征在于，计算体感设备的位姿，具体包括如下子步骤：

从三维人体点云和三维人体预设模型点云中获取点云位置匹配且数量相同的点云集合，计算点云集合中三维人体点云和三维人体预设模型点云的质心；

根据三维人体点云和三维人体预设模型点云的质心构造误差函数；

令误差函数的值最小，计算最优旋转矩阵和平移向量，根据最优旋转矩阵和平移向量确定体感设备的位姿。

3.如权利要求1所述的虚拟三维场景展示方法，其特征在于，将三维人体点云融合到人体预设模型中，得到三维融合模型，具体包括如下子步骤：

对三维人体点云和人体预设模型点云进行预处理；

将预处理后的三维人体点云和人体预设模型进行模型配准和融合；

将融合后的模型进行边界腐蚀去除毛刺使边界光滑。

4.一种虚拟三维场景展示装置，其特征在于，包括：

人体预设模型创建模块，用于创建人体预设模型，根据人体预设模型预测得到三维人体预设模型点云；

三维人体点云构建模块，用于获取体感设备采集的人体深度图像，将人体深度图像转化为三维人体点云；

体感设备位姿计算模块，用于将转化得到的三维人体点云和预测得到的三维人体预设模型点云进行匹配，计算体感设备的位姿；

三维融合模型构建模块，用于根据计算得到的体感设备的位姿，将三维人体点云融合到现有的人体预设模型点云中，得到三维融合模型；

三维场景展示构建模块，用于将三维人体模型与预设环境点云进行融合，得到三维场景展示，将三维场景展示输出至高清显示器进行展示；

其中，三维场景展示构建模块具体用于根据从体感设备采集的RGB图像得到人体肤色，将人体肤色附着在三维人体模型上；根据人体肤色从预设环境库中选择与人体肤色颜色相似度最低的预设环境点云；将三维人体模型与选择的预设环境点云进行融合配准，得到三维场景展示。

5.如权利要求4所述的虚拟三维场景展示装置，其特征在于，体感设备位姿计算模块具体用于从三维人体点云和三维人体预设模型点云中获取点云位置匹配且数量相同的点云集合，计算点云集合中三维人体点云和三维人体预设模型点云的质心；根据三维人体点云和三维人体预设模型点云的质心构造误差函数；令误差函数的值最小，计算最优旋转矩阵和平移向量，根据最优旋转矩阵和平移向量确定体感设备的位姿。

6.如权利要求4所述的虚拟三维场景展示装置，其特征在于，三维融合模型构建模块具体用于对三维人体点云和人体预设模型点云进行预处理；将预处理后的三维人体点云和人体预设模型进行模型配准和融合；将融合后的模型进行边界腐蚀去除毛刺使边界光滑。

7.一种虚拟三维场景展示系统，其特征在于，包括如权利要求4-6任一项所述的虚拟三维场景展示装置，还包括体感设备和高清显示器。

8.如权利要求7所述的虚拟三维场景展示系统，其特征在于，体感设备用于采集人体深度图像和RGB图像。