CN111445561B - 虚拟对象的处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种虚拟对象的处理方法、装置、设备及存储介质，涉及计算机视觉技术领域。该方法包括：基于人体参考模型建立三维的第一人体模型；将第一人体模型与人体骨骼模型进行绑定，生成第二人体模型；基于人体参考模型的皮肤的图像，重建第二人体模型的皮肤。本申请实施例的技术方案，能够真实反映人体参考模型的皮肤的细节信息，避免出现“恐怖谷”现象。

Description

虚拟对象的处理方法、装置、设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种虚拟对象的处理方法、装置、设备及存储介质。

背景技术

随着计算机视觉技术的发展，通过虚拟对象例如数字人与用户进行交互变得越来越流行，如何生成生动自然的虚拟人物对象成为了关注的焦点。

在一种技术方案中，通过对人体参考模型进行三维扫描得到扫描数据，基于扫描数据建立虚拟人物模型。然而，在这种技术方案中，一方面，仅根据扫描数据得到的虚拟人物模型无法实现模型的骨骼动画；另一方面，由于光照或阴影等原因，三维扫描结果难以反映人体参考模型的皮肤的细节信息，容易出现“恐怖谷”现象。

因此，如何实现虚拟人物模型的骨骼动画以及避免出现“恐怖谷”现象成为了亟待解决的技术难题。

发明内容

本申请实施例提供一种虚拟对象的处理方法、装置、设备及存储介质，用于解决如何实现虚拟人物模型的骨骼动画以及避免出现“恐怖谷”现象的问题。

第一方面，本申请提供一种虚拟对象的处理方法，包括：

基于人体参考模型建立三维的第一人体模型；

将所述第一人体模型与人体骨骼模型进行绑定，生成第二人体模型；

基于所述人体参考模型的皮肤的图像，重建所述第二人体模型的皮肤。

第二方面，本申请提供了一种虚拟对象的处理装置，包括：

第一模型生成模块，用于基于人体参考模型建立三维的第一人体模型；

第二模型生成模块，用于将所述第一人体模型与人体骨骼模型进行绑定，生成第二人体模型；

皮肤重建模块，用于基于所述人体参考模型的皮肤的图像，重建所述第二人体模型的皮肤。

第三方面，本申请提供一种电子设备，包括：至少一个处理器，存储器，以及与其他电子设备通信的接口；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面任一项所述的虚拟对象的处理方法。

第四方面，本申请提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机第一方面中任一项所述的虚拟对象的处理方法。

上述申请中的一个实施例具有如下优点或有益效果：一方面，基于人体参考模型建立三维的第一人体模型，将第一人体模型与人体骨骼模型进行绑定，从而能够实现人体模型的骨骼动画；另一方面，基于绑定后的人体参考模型的皮肤的图像，重建第二人体模型的皮肤，能够真实反映人体参考模型的皮肤的细节信息，避免出现“恐怖谷”现象。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为根据本申请的一些实施例提供的虚拟对象的处理方法的应用场景的示意图。

图2为根据本申请的一些实施例提供的虚拟对象的处理方法的流程示意图。

图3为根据本申请的另一些实施例提供的虚拟对象的处理方法的流程示意图。

图4为根据本申请的一些实施例提供的与第二人体模型交互的流程示意图。

图5为根据本申请的又一些实施例提供的与第二人体模型交互的流程示意图

图6为根据本申请的一些实施例提供的虚拟对象的处理装置的示意框图。

图7为根据本申请的一些实施例提供的第二模型生成模块的示意框图。

图8为根据本申请的另一些实施例提供的虚拟对象的处理装置的示意框图。

图9为根据本申请的又一些实施例提供的虚拟对象的处理装置的示意框图。

图10为用来实现本申请实施例的虚拟对象的处理方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前的生成虚拟人的技术方案中，通过对人体参考模型进行三维扫描得到扫描数据，基于扫描数据建立虚拟人物模型。然而，在这种技术方案中，一方面，仅根据扫描数据得到的虚拟人物模型无法实现模型的骨骼动画；另一方面，由于光照或阴影等原因，三维扫描结果难以反映参考人物模型的皮肤的细节信息，容易出现“恐怖谷”现象。

基于上述内容，本申请的基本思想在于：将人体模型与人体骨骼模型进行绑定，基于人体参考模型的皮肤的高清图像，对绑定后的人体模型进行修正。根据本申请示例实施例中的技术方案，一方面，基于人体参考模型建立三维的第一人体模型，将第一人体模型与人体骨骼模型进行绑定，从而能够实现人体模型的骨骼动画；另一方面，基于绑定后的人体参考模型的皮肤的图像，重建第二人体模型的皮肤，能够真实反映人体参考模型的皮肤的细节信息，避免出现“恐怖谷”现象。

下面对本申请中涉及的名词等进行解释：

恐怖谷现象：由于机器人与人类在外表、动作上都相当相似，所以人类亦会对机器人产生正面的情感，直至到了一个特定程度之后，哪怕机器人与人类有一点点的差别，这点差别都会显得非常显眼刺目，让整个机器人显得非常僵硬恐怖的现象。

人体参考模型：表示用于生成虚拟人体模型的真人或真人模型。

面部变形器：用于驱动人体模型的面部肌肉，生成面部表情的变形器。

次表面散射：是模拟皮肤、玉石、牛奶等半透光性物质的一种物理渲染技术。

数字人：是数字角色技术与人工智能技术的结晶，人像建模、动作捕捉等数字角色技术为数字人带来了生动自然的形象表达，语音识别、自然语音理解、对话列举等人工智能技术为数字人带来了完善的认知、理解、表达能力。

下面通过具体的实施方式对本申请提供的虚拟对象的处理方法进行说明。

图1为根据本申请的一些实施例提供的虚拟对象的处理方法的应用场景的示意图。参照图1所示，该应用场景包括图像获取装置110以及图像处理装置120。图像获取装置110用于获取人体参考模型130的扫描数据，例如，可以通过图像获取装置110对人体参考模型130进行扫描，得到人体参考模型130的扫描数据，将扫描数据发送至图像处理装置120，图像获取装置110可以为光学扫描仪或者相机。图像处理装置120用于根据扫描数据建立三维的第一人体模型，将第一人体模型与人体骨骼模型进行绑定，生成第二人体模型，基于人体参考模型的皮肤的图像，重建第二人体模型的皮肤，例如，图像处理装置120中可以安装有图像处理软件例如Maya软件，通过图像处理软件对扫描数据进行处理，生成第一人体模型。

需要说明的是，图像处理装置120可以为台式计算机或膝上型计算机，也可以为其他适当的通用计算设备例如笔记本电脑或者云计算设备，本发明对此不进行特殊限定。

下面结合图1的应用场景，参考图2来描述根据本申请的示例性实施例的虚拟对象的处理方法。需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施例在此方面不受任何限制。相反，本申请的实施例可以应用于适用的任何场景。

图2为根据本申请的一些实施例提供的虚拟对象的处理方法的流程示意图。该虚拟对象的处理方法包括步骤S210至步骤S230，该虚拟对象的处理方法可以应用于虚拟对象的处理设备例如图1的图像处理装置120，下面结合附图对示例实施例中的虚拟对象的处理方法进行详细的说明。

参照图2所示，在步骤S210中，基于人体参考模型建立三维的第一人体模型。

在示例实施例中，获取人体参考模型的扫描数据，根据人体参考模型的扫描数据建立三维的第一人体模型。人体参考模型的扫描数据可以通过以下方式获取：通过扫描仪或者单反相机组成的360度的摄影包装盒对人体参考模型进行全方位的扫描，获取人体参考模型的扫描数据。进一步地，人体参考模型的扫描数据中包括人体深度图像数据，根据人体参考模型的扫描数据通过曲面重建运算，重建三维的第一人体模型。

在步骤S220中，将第一人体模型与人体骨骼模型进行绑定，生成第二人体模型。

在示例实施例中，获取人体骨骼模型，将人体骨骼模型中的各部位的骨骼与第一人体模型的对应部位进行匹配，建立第一人体模型的顶点与人体骨骼模型中的对应骨骼之间的关联关系。例如，根据第一人体模型的各个部位的名称与人体骨骼模型的各个骨骼的名称，将第一人体模型的各个部位与人体骨骼模型的骨骼进行匹配，基于匹配结果建立第一人体模型的顶点与人体骨骼模型中的对应骨骼之间的关联关系，第一人体模型的顶点与人体骨骼模型中的对应骨骼之间的关联关系可以认为是第一人体模型的蒙皮信息。

进一步地，由于第一人体模型与人体骨骼模型的大小可能不匹配，因此，在一些实施例中，对人体骨骼模型的骨骼进行缩放处理，使得人体骨骼模型的骨骼与第一人体模型的对应部位的大小相匹配。

在步骤S230中，基于人体参考模型的皮肤的图像，重建第二人体模型的皮肤。

在示例实施例中，获取人体参考模型的皮肤的高清图像，根据人体参考模型的高清图像，确定第二人体模型的皮肤的贴图，根据所确定的第二人体模型的皮肤的贴图，重建第二人体模型的皮肤，第二人体模型的皮肤的贴图可以包括：漫反射贴图、高光贴图以及法线贴图中的一种或多种。

需要说明的是，本申请实施例中的皮肤的贴图不限于上述几种贴图，例如，第二人体模型的贴图还可以包括粗糙度贴图或遮罩贴图等，这同样在本申请的保护范围内。

根据图2的示例实施例中的技术方案，一方面，基于人体参考模型建立三维的第一人体模型，将第一人体模型与人体骨骼模型进行绑定，从而能够实现人体模型的骨骼动画；另一方面，基于绑定后的人体参考模型的皮肤的图像，重建第二人体模型的皮肤，能够真实反映人体参考模型的皮肤的细节信息，避免出现“恐怖谷”现象。

此外，在一些实施例中，将生成的第二人体模型与面部变形器进行绑定，面部变形器用于驱动第二人体模型的面部动作。通过将第二人体模型与面部变形器进行绑定，能够通过面部变形器实现第二人体模型的各种面部表情动作，使得第二人体模型的面部表情更加生动自然。

进一步地，为了使第二人体模型的服装更加形象自然，在示例实施例中，基于人体参考模型的服装的图像，确定人体参考模型的服装贴图和服装材质；基于人体参考模型的服装贴图以及服装材质，重建第二人体模型的服装。

此外，在一些实施例中，将第一人体模型与人体骨骼模型以及肌肉模型进行绑定，生成第二人体模型。通过在第二人体模型中引入肌肉模型，能够更准确地控制第二人体模型的动作和表情，从而使得第二人体模型的动作和表情更加自然真实。

图3为根据本申请的另一些实施例提供的虚拟对象的处理方法的流程示意图。

参照图3所示，在步骤S310中，基于人体参考模型建立三维的第一人体模型。

由于步骤S310与步骤S210的实现过程以及效果类似，在此不再赘述。

在步骤S320中，建立第一人体模型的顶点与人体骨骼模型中的对应骨骼之间的关联关系。

在示例实施例中，根据第一人体模型的各个部位的名称与人体骨骼模型的各个骨骼的名称，将第一人体模型的各个部位与人体骨骼模型的骨骼进行匹配，基于匹配结果建立第一人体模型的顶点与人体骨骼模型中的对应骨骼之间的关联关系，第一人体模型的顶点与人体骨骼模型中的对应骨骼之间的关联关系可以认为是第一人体模型的蒙皮信息。

在步骤S330中，基于关联关系，调整第一人体模型的顶点对应骨骼的骨骼权重，生成第二人体模型。

在一些示例实施例中，第一人体模型中的一个顶点可以对应到多根骨骼上，每个骨骼有一个权重，对第一人体模型进行渲染之后，模型的顶点最后的位置是通过对骨骼的位置进行加权平均得到的。因此，为了使得第一人体模型与人体骨骼模型更加匹配，还可以调整第一人体模型的各个顶点处的骨骼权重，使得在生成第二人体模型之后，能够更好地控制第二人体模型的动作。

在步骤S340中，基于人体参考模型的皮肤的图像，重建第二人体模型的皮肤。

在示例实施例中，基于人体参考模型的皮肤的图像，确定人体参考模型的皮肤贴图和皮肤材质；基于人体参考模型的皮肤贴图以及皮肤材质，重建第二人体模型的皮肤。第二人体模型的皮肤的贴图可以包括：漫反射贴图、高光贴图以及法线贴图中的一种或多种。基于人体参考模型的皮肤的图像确定皮肤贴图和皮肤材质，基于所确定的皮肤贴图和皮肤材质重建第二人体模型的皮肤，能够更准确地反映第二人体模型的皮肤的细节，使得生成的皮肤更生动自然。

需要说明的是，本申请实施例中的皮肤的贴图不限于上述几种贴图，例如，第二人体模型的贴图还可以包括粗糙度贴图或遮罩贴图等，这同样在本申请的保护范围内。

根据图3的示例实施例中的技术方案，通过调整模型的骨骼权重，能够更准确地控制生成的人体模型的动作，使得人体模型的动作更加形象自然，进一步避免出现“恐怖谷”现象。

进一步地，在示例实施例中，第二人体模型的皮肤可以包括：表面油脂层、表皮层以及真皮层，其中，表面油脂层用于模拟皮肤的高光反射；表皮层用于模拟次表面散射的贡献层。真皮层用于模拟次表面散射的贡献层。基于人体参考模型的皮肤贴图以及皮肤材质，重建第二人体模型的皮肤，包括：确定与表面油脂层、表皮层以及真皮层对应的皮肤贴图以及匹配材质，逐层重建第二人体模型的皮肤。

根据上述实施例的技术方案，通过将第二人体模型的皮肤分为三层，逐层建立第二人体模型的皮肤，能够更准确地反映第二人体模型的皮肤的细节，使得生成的皮肤更生动自然，进一步避免出现“恐怖谷”现象。

进一步地，为了在不影响第二人体模型的真实感的前提下，减少处理性能开销，在一些实施例中，在生成第二人体模型之前，该方法还包括：对绑定后的第一人体模型的面数、材质的复杂度以及投影的计算次数中的一种或多种进行缩减。例如，可以结合图像处理设备的计算性能大小，对绑定后的第一人体模型的面数、材质的复杂度以及投影的计算次数中的一种或多种进行缩减。

此外，在一些实施例中，重建第二人体模型的皮肤包括：通过三维结构重建以及次表面散射的材质运算，重建第二人体模型的皮肤。通过在三维结构重建时结合次表面散射的材质运算，重建第二人体模型的皮肤，能够使得生成的皮肤更加自然真实。

图4为根据本申请的一些实施例提供的与第二人体模型进行交互的流程示意图。

参照图4所示，在步骤S410中，获取目标用户发出的语音信息；

在示例实施例中，通过监听装置例如麦克风监听周围的语音信息，当监听到目标用户发出的语音信息时，获取该目标用户发出的语音信息。目标用户可以为通过唤醒词唤醒第二人体模型的用户，也可以为站在第二人体模型的正对面的用户。

在步骤S420中，从目标用户的语音信息中解析出对应的关键字和/或情绪信息。

在示例实施例中，从目标用户的语音信息中解析出对应的文字信息，从该文字信息中提取对应的关键字。进一步地，根据语音信息中包含的文字信息、语音的音高、语速等信息确定目标用户的情绪信息。例如，在展厅的场景下，监听到用户发出的“请问3号展厅在哪”的语音信息，从该语音信息中提取“3号”“展厅”等关键字，确定用户的意图为问路。进一步地，根据用户的语音信息中的文字信息例如“请问”、音高、语速等信息，确定用户的情绪为轻松情绪。用户的情绪还可以包括其他适当的情绪，例如着急情绪、高兴情绪、犹豫的情绪等，这同样在本申请的保护范围内。

在步骤S430中，基于解析得到的关键字和/或情绪信息，结合当前交互的上下文信息，驱动第二人体模型对目标用户进行反馈操作，反馈操作包括语音反馈、动作反馈以及表情反馈中的一种或多种。

在示例实施例中，基于解析得到的关键字和/或情绪信息，结合当前交互的上下文信息，确定对目标用户进行反馈的反馈操作的内容，根据反馈操作的内容，驱动第二人体模型对目标用户进行反馈操作，反馈操作包括语音反馈、动作反馈以及表情反馈中的一种或多种，当前交互的上下文信息可以为上一轮交互的交互内容或者当前交互的主题。例如，若解析得到的关键字为“谢谢”时，根据当前交互的上下文信息确定该轮交互是否结束，若结束，则确定第二人体模型对目标用户进行“微笑点头”回应的反馈操作；若未结束，则发出提示“请问还有其他可以帮您的吗”。用户在连续说话时，确定第二人体模型每隔几秒点头或发出“嗯”的声音表示在听。

根据图4的示例实施例中的技术方案，一方面，从目标用户发出的语音信息中获取对应的关键字和/或情绪信息，能够准确地确定目标用户的意图以及情绪；另一方面，基于关键字和/或情绪信息，结合当前交互的上下文信息通过第二人体模型对目标用户进行反馈，能够以人与人之间的交互方式向用户提供服务，提高用户的服务体验。

图5为根据本申请的又一些实施例提供的与第二人体模型进行交互的流程示意图。

参照图5所示，在步骤S510中，获取目标用户的图像信息。

在示例实施例中，通过图像获取装置例如摄像头获取目标用户的图像。

在步骤S520中，根据目标用户的图像信息确定目标用户的当前状态，当前状态包括：目标用户的动作、表情、环境中的一种或多种。

在示例实施例中，在示例实施例中，从目标用户的图像中提取目标用户的动作信息、表情信息以及周围环境信息中的一种或多种，根据目标用户的动作信息、表情信息以及周围环境信息确定目标用户的当前动作、当前表情、当前环境。例如，若目标用户当前动作信息为携带行李信息，则确定目标用户的当前动作包括携带行李动作；若目标用户当前表情信息包含着急表情信息，则确定目标当前表情为着急表情；若目标用户的周围环境信息包含同伴信息，则确定目标用户的当前环境包括有同伴。

需要说明的是，目标用户的当前状态还可以包括其他适当的状态信息，例如，本轮或上一轮会话的会话信息或目标用户的个人信息等，这同样在本申请的保护范围内。

在步骤S530中，根据目标用户的当前状态和/或语音信息，驱动第二人体模型对目标用户进行反馈。

在示例实施例中，根据目标用户的当前状态和/或目标用户的语音信息，对目标用户进行响应，例如，以车站的场景为例，若目标用户的当前状态为携带行李状态，目标用户的语音信息中包含“列车号”“候车室”“哪”的关键字，则确定目标用户的意图为去候车室，则向目标用户反馈该列车号对应的候车室的位置。以迎宾的场景为例，若目标用户的当前状态为刚到迎宾大厅门口，驱动第二人体模型说“欢迎光临”并微笑着轻微鞠躬。

进一步地，在示例实施例中，根据目标用户的当前状态，通过第二人体模型例如数字人对目标用户进行反馈操作，反馈操作包括语音反馈、动作反馈以及表情反馈中的一种或多种。举例而言，根据目标用户的当前状态，确定用户在设备前走动时，第二人体模型例如数字人的眼睛会注视着用户，但不会一直注视，随机瞟一下其他地方，若距离上次瞟其他地方在预定时间例如3秒以下，则随机瞟一下其他地方的概率为0，例如，若距离上次瞟其他地方超过预定时间例如为3秒-10秒，则随机瞟一下其他地方的概率由0->100％线性或非线性增加)。通过数字人对目标用户进行反馈，能够以人与人之间的交互方式向用户提供服务，提高用户的服务体验。

根据图5的示例实施例中的技术方案，根据目标用户的当前状态和/或语音信息进行反馈，能够根据对目标用户的当前状态的认知和理解进行反馈，从而能够实现像人与人之间的高效自然的交互。

图6为根据本申请的一些实施例提供的虚拟对象的处理装置的示意框图。参照图6所示，该虚拟对象的处理装置600包括：

第一模型生成模块610，用于基于人体参考模型建立三维的第一人体模型；

第二模型生成模块620，用于将所述第一人体模型与人体骨骼模型进行绑定，生成第二人体模型；

皮肤重建模块630，用于基于所述人体参考模型的皮肤的图像，重建所述第二人体模型的皮肤。

根据图6的示例实施例中的技术方案，一方面，基于人体参考模型建立三维的第一人体模型，将第一人体模型与人体骨骼模型进行绑定，从而能够实现人体模型的骨骼动画；另一方面，基于绑定后的人体参考模型的皮肤的图像，重建第二人体模型的皮肤，能够真实反映人体参考模型的皮肤的细节信息，避免出现“恐怖谷”现象。

图7为根据本申请的一些实施例提供的第二模型生成模块的示意框图；参照图7所示，在本申请的一些实施例中，所述第二模型生成模块620包括：

关联建立单元710，用于建立所述第一人体模型的顶点与所述人体骨骼模型中的对应骨骼之间的关联关系；

权重调整单元720，用于基于所述关联关系，调整所述第一人体模型的顶点对应骨骼的骨骼权重，生成所述第二人体模型。

在本申请的一些实施例中，所述装置600还包括：

面部变形器绑定模块，用于将所述第二人体模型与面部变形器进行绑定，其中，所述面部变形器用于驱动所述第二人体模型的面部动作。

在本申请的一些实施例中，所述皮肤重建模块630具体用于：

基于所述人体参考模型的皮肤的图像，确定所述人体参考模型的皮肤贴图和皮肤材质；

基于所述人体参考模型的皮肤贴图以及皮肤材质，重建所述第二人体模型的皮肤。

在本申请的一些实施例中，所述装置600还包括：

服装确定模块，用于基于所述人体参考模型的服装的图像，确定所述人体参考模型的服装贴图和服装材质；

服装重建模块，用于基于所述人体参考模型的服装贴图以及服装材质，重建所述第二人体模型的服装。

在本申请的一些实施例中，所述皮肤重建模块630具体还用于：

通过三维结构重建以及次表面散射的材质运算，重建所述第二模型的皮肤。

在本申请的一些实施例中，所述装置600还包括：

缩减模块，用于在所述生成所述第二人体模型之前，对绑定后的所述第一人体模型的面数、材质的复杂度以及投影的计算次数中的一种或多种进行缩减。

图8为根据本申请的另一些实施例提供的虚拟对象的处理装置的示意框图。参照图8所示，在本申请的一些实施例中，所述装置600还包括：

语音信息获取模块810，用于获取目标用户发出的语音信息；

语音解析模块820，用于从所述语音信息中解析出对应的关键字和/或情绪信息；

第一反馈模块830，用于基于所述关键字和/或所述情绪信息，结合当前交互的上下文信息，驱动所述第二人体模型对所述目标用户进行反馈操作，所述反馈操作包括语音反馈、动作反馈以及表情反馈中的一种或多种。

图9为根据本申请的又一些实施例提供的虚拟对象的处理装置的示意框图。参照图9所示，所述装置600还包括：

图像信息获取模块910，用于获取目标用户的图像信息；

状态确定模块920，用于根据所述图像信息确定所述目标用户的当前状态，所述当前状态包括：所述目标用户的动作、表情、环境中的一种或多种；

第二反馈模块930，用于根据所述当前状态和/或所述目标用户的语音信息，驱动所述第二人体模型对所述目标用户进行反馈。

上述几种实施方式提供的虚拟对象的处理装置，用于实现前述任一方法实施例中的虚拟对象的处理方法的技术方案，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，应理解以上几个实施例中提供的装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，收益指标确定模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

图10是用来实现本申请实施例的虚拟对象的处理方法的电子设备的框图。如图10所示，是根据本申请实施例的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图10所示，该电子设备包括：一个或多个处理器1010、存储器1020，以及用于连接各部件的接口，包括高速接口和低速接口，以及与其他电子设备进行通信的接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户接口(GraphicalUser Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器1010为例。

存储器1020即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的任一执行主体对应的虚拟对象的处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的方法。

存储器1020作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的虚拟对象的处理方法中对应的程序指令/模块。处理器1010通过运行存储在存储器1020中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的任一执行主体对应的虚拟对象的处理方法。

存储器1020可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区则可以存储数据，例如，数据处理平台中存储的各方提供的数据，或者安全隔离区域中的叔叔等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1020可选包括相对于处理器1010远程设置的存储器，这些远程存储器可以通过网络连接至数据处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

此外，电子设备还可以包括：输入装置1030和输出装置1040。处理器1010、存储器1020、输入装置1030和输出装置1040可以通过总线1050或者其他方式连接，图10中以通过总线连接为例。

输入装置1030可接收输入的数字或字符信息，以及产生与数据处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1040可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light EmittingDiode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuit，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(Programmable Logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，阴极射线管或者LCD监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

进一步地，本申请还提供一种存储有计算机指令的非瞬时计算机可读存储介质，用于存储计算机指令，该计算机指令被处理器执行后可实现前述任一方法实施例提供的技术方案。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种虚拟对象的处理方法，其特征在于，包括：

根据人体参考模型的扫描数据建立三维的第一人体模型；

获取人体骨骼模型；

对所述人体骨骼模型的骨骼进行缩放处理，以使所述人体骨骼模型的骨骼与所述第一人体模型的对应部位的大小相匹配；

建立所述第一人体模型的顶点与所述人体骨骼模型中的对应骨骼之间的关联关系；

基于所述关联关系，调整所述第一人体模型的顶点对应骨骼的骨骼权重，生成第二人体模型；

基于所述人体参考模型的皮肤的图像，重建所述第二人体模型的皮肤；

基于所述人体参考模型的服装的图像，确定所述人体参考模型的服装贴图和服装材质；

基于所述人体参考模型的服装贴图以及服装材质，重建所述第二人体模型的服装。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述第二人体模型与面部变形器进行绑定，其中，所述面部变形器用于驱动所述第二人体模型的面部动作。

3.根据权利要求1所述的方法，其特征在于，所述基于所述人体参考模型的皮肤的图像，重建所述第二人体模型的皮肤，包括：

基于所述人体参考模型的皮肤的图像，确定所述人体参考模型的皮肤贴图和皮肤材质；

基于所述人体参考模型的皮肤贴图以及皮肤材质，重建所述第二人体模型的皮肤。

4.根据权利要求1所述的方法，其特征在于，所述重建所述第二人体模型的皮肤，包括：

通过三维结构重建以及次表面散射的材质运算，重建所述第二人体模型的皮肤。

5.根据权利要求1所述的方法，其特征在于，在所述生成第二人体模型之前，所述方法还包括：

对绑定后的所述第一人体模型的面数、材质的复杂度以及投影的计算次数中的一种或多种进行缩减。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取目标用户发出的语音信息；

从所述语音信息中解析出对应的关键字和/或情绪信息；

基于所述关键字和/或所述情绪信息，结合当前交互的上下文信息，驱动所述第二人体模型对所述目标用户进行反馈操作，所述反馈操作包括语音反馈、动作反馈以及表情反馈中的一种或多种。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取目标用户的图像信息；

根据所述图像信息确定所述目标用户的当前状态，所述当前状态包括：所述目标用户的动作、表情、环境中的一种或多种；

根据所述当前状态和/或所述目标用户的语音信息，驱动所述第二人体模型对所述目标用户进行反馈。

8.一种虚拟对象的处理装置，其特征在于，包括：

第一模型生成模块，用于根据人体参考模型的扫描数据建立三维的第一人体模型；

第二模型生成模块，用于将所述第一人体模型与人体骨骼模型进行绑定，生成第二人体模型；

皮肤重建模块，用于基于所述人体参考模型的皮肤的图像，重建所述第二人体模型的皮肤;

所述第二模型生成模块包括：

获取模块，用于获取人体骨骼模型；

关联建立单元，用于对所述人体骨骼模型的骨骼进行缩放处理，以使所述人体骨骼模型的骨骼与所述第一人体模型的对应部位的大小相匹配；建立所述第一人体模型的顶点与所述人体骨骼模型中的对应骨骼之间的关联关系；

权重调整模块，用于基于所述关联关系，调整所述第一人体模型的顶点对应骨骼的骨骼权重，生成所述第二人体模型；

服装确定模块，用于基于所述人体参考模型的服装的图像，确定所述人体参考模型的服装贴图和服装材质；

服装重建模块，用于基于所述人体参考模型的服装贴图以及服装材质，重建所述第二人体模型的服装。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

面部变形器绑定模块，用于将所述第二人体模型与面部变形器进行绑定，其中，所述面部变形器用于驱动所述第二人体模型的面部动作。

10.根据权利要求8所述的装置，其特征在于，所述皮肤重建模块具体

用于：

基于所述人体参考模型的皮肤的图像，确定所述人体参考模型的皮肤贴图和皮肤材质；

基于所述人体参考模型的皮肤贴图以及皮肤材质，重建所述第二人体模型的皮肤。

11.根据权利要求10所述的装置，其特征在于，所述皮肤重建模块具体

还用于：

通过三维结构重建以及次表面散射的材质运算，重建所述第二模型的皮肤。

12.根据权利要求8所述的装置，其特征在于，所述装置还包括：

缩减模块，用于在所述生成所述第二人体模型之前，对绑定后的所述第一人体模型的面数、材质的复杂度以及投影的计算次数中的一种或多种进行缩减。

13.根据权利要求8所述的装置，其特征在于，所述装置还包括：

语音信息获取模块，用于获取目标用户发出的语音信息；

语音解析模块，用于从所述语音信息中解析出对应的关键字和/或情绪信息；

第一反馈模块，用于基于所述关键字和/或所述情绪信息，结合当前交互的上下文信息，驱动所述第二人体模型对所述目标用户进行反馈操作，所述反馈操作包括语音反馈、动作反馈以及表情反馈中的一种或多种。

14.根据权利要求8所述的装置，其特征在于，所述装置还包括：

图像信息获取模块，用于获取目标用户的图像信息；

状态确定模块，用于根据所述图像信息确定所述目标用户的当前状态，所述当前状态包括：所述目标用户的动作、表情、环境中的一种或多种；

第二反馈模块，用于根据所述当前状态和/或所述目标用户的语音信息，驱动所述第二人体模型对所述目标用户进行反馈。

15.一种电子设备，其特征在于，包括：至少一个处理器，存储器，以及与其他电子设备通信的接口；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的虚拟对象的处理方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1至7中任一项所述的虚拟对象的处理方法。