+

KR101445263B1 - System and method for providing personalized content - Google Patents

System and method for providing personalized content Download PDF

Info

Publication number
KR101445263B1
KR101445263B1 KR1020100132421A KR20100132421A KR101445263B1 KR 101445263 B1 KR101445263 B1 KR 101445263B1 KR 1020100132421 A KR1020100132421 A KR 1020100132421A KR 20100132421 A KR20100132421 A KR 20100132421A KR 101445263 B1 KR101445263 B1 KR 101445263B1
Authority
KR
South Korea
Prior art keywords
user
avatar
image
content
avatar image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020100132421A
Other languages
Korean (ko)
Other versions
KR20120070898A (en
Inventor
김무성
정성택
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020100132421A priority Critical patent/KR101445263B1/en
Publication of KR20120070898A publication Critical patent/KR20120070898A/en
Application granted granted Critical
Publication of KR101445263B1 publication Critical patent/KR101445263B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

맞춤형 콘텐츠 제공 시스템 및 방법이 제공된다. 맞춤형 콘텐츠 제공 시스템은, 사용자 촬영 이미지로부터 사용자의 얼굴 구성을 인식하는 안면 인식부; 상기 인식된 사용자의 얼굴 구성에 기초하여 사용자의 인종을 판단하는 사용자 인종 판단부; 상기 인식된 사용자 얼굴 구성 및 상기 판단된 사용자 인종에 기초하여, 아바타 이미지의 생성에 이용되는 아바타 구성 이미지를 선택하는 아바타 구성 이미지 선택부; 및 상기 선택된 구성 이미지를 조합하여 상기 사용자에 대한 아바타 이미지를 생성하는 아바타 이미지 생성부;를 포함하며, 상기 생성된 아바타 이미지는 콘텐츠에 삽입되어 상기 사용자에게 제공된다.A system and method for providing personalized content is provided. A personalized content providing system includes a face recognizing unit for recognizing a face configuration of a user from a user photographed image; A user race judging unit for judging the race of the user based on the recognized face configuration of the user; An avatar configuration image selection unit for selecting an avatar configuration image used for generating an avatar image based on the recognized user's face configuration and the determined user race; And an avatar image generation unit for generating an avatar image for the user by combining the selected configuration image. The generated avatar image is inserted into the content and provided to the user.

Description

맞춤형 콘텐츠 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING PERSONALIZED CONTENT}[0001] SYSTEM AND METHOD FOR PROVIDING PERSONALIZED CONTENT [0002]

본 발명은 맞춤형 콘텐츠 제공 시스템 및 방법에 관한 것으로서, 보다 상세하게는, 사용자의 아바타 이미지를 콘텐츠에 삽입하여 맞춤형 콘텐츠를 생성하는 콘텐츠 제공 시스템 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system and a method for providing a personalized content, and more particularly, to a system and a method for providing a content for creating a customized content by inserting an avatar image of the user into the content.

일반적으로, 캐릭터는 기업, 단체 행사 등 특정 성격에 맞는 시각적 상징물로서, 다양한 대상에 대하여 다양한 특징으로 표현되고 있다. 캐릭터는 실존 또는 비실존 인물을 의인화하여 형성되며, 최근 주변의 다양한 상품 또는 이미지가 캐릭터를 포함하고 있다.In general, characters are visual symbols that fit specific characteristics, such as corporate and group events, and are expressed in various features for various objects. A character is formed by anthropomorphizing an existential or non-existent person, and recently various goods or images around the character include the character.

또한, 이러한 캐릭터의 일종으로서 특정 인물을 대신하여 특정 객체에 표시되는 아바타가 있는데, 이러한 아바타는 주로 네트워크 상에서 특정 인물을 대신하여 표현하는데 이용되고 있다. 게다가, 인터넷 등에서 사용자는 자신을 대신하는 아바타를 통하여 자신의 감정이나 의사를 표현하기 때문에, 자기 만의 특징과 개성을 묘사한 아바타를 널리 이용하고 있다.In addition, there is an avatar which is displayed on a specific object instead of a specific character as a kind of such character, and such an avatar is mainly used for representing a specific person on the network. In addition, since the user expresses his / her feelings and intention through the avatar substituting for himself / herself on the Internet or the like, the avatar depicting his or her own characteristics and personality is widely used.

한편, 유아기의 어린이들은 다양한 매체 즉, 책이나 만화, 애니메이션, 연극 등을 포함하는 각종의 콘텐츠를 통하여 전래 동화나 이솝 우화, 위인전 등과 같은 이야기들을 접하게 된다. 그러나, 어린이들은 이러한 콘텐츠에 장시간 집중하기 쉽지 않으며, 콘텐츠 내의 등장 인물에 대한 관심도가 떨어지기 때문에, 어린이에게 콘텐츠에 집중할 수 있도록 하는 방안이 필요하였다.On the other hand, children in early childhood are exposed to various stories such as fairy tales, Aesop's fables, and great works through various contents including books, cartoons, animations and plays. However, children are not easy to concentrate on these contents for a long time, and because they are less interested in the characters in the contents, it was necessary to allow the children to concentrate on the contents.

이에 최근에는 콘텐츠에 사용자의 이미지를 합성하여 포함시키며, 주인공이 마치 사용자 자신인 것처럼 콘텐츠를 생성하는 기술이 등장하였다. 그러나, 이러한 콘텐츠 생성 기술은 사용자의 다양한 특징을 효과적으로 반영하기 힘들며, 콘텐츠의 내용이 변화하는 동안에 적합한 다양한 사용자 이미지를 효과적으로 반영하기 힘든 문제가 있었다. 나아가 콘텐츠의 내용 변화 및 등장 인물의 대사 여부에 기초하여 사용자 이미지의 일부를 적절하게 변경하기 힘든 문제가 있었다.In recent years, a technology has been developed in which a user combines an image of a user into a content and generates a content as if the main character is a user himself. However, such a content generation technique is difficult to effectively reflect various features of a user, and it is difficult to effectively reflect various user images suitable for changing content contents. Furthermore, there has been a problem that it is difficult to appropriately change a part of the user image based on the content change of the content and the metabolism of the character.

따라서, 사용자의 아바타 이미지를 효율적으로 생성하여 콘텐츠의 내용에 따라 등장 인물을 대신하여 생성된 아바타 이미지를 적절하게 삽입하고 편집할 수 있는 사용자 맞춤형 콘텐츠 제공 기술이 강력히 요구되고 있다.Accordingly, there is a strong demand for a user-tailored content providing technology capable of efficiently creating an avatar image of a user and appropriately inserting and editing an avatar image created in place of a character in accordance with the contents of the content.

본 발명의 일부 실시예는, 사용자의 아바타 이미지를 생성하며 생성된 아바타 이미지가 삽입된 맞춤형 콘텐츠를 생성하여 제공할 수 있는, 맞춤형 콘텐츠 제공 시스템 및 방법을 제공한다.Some embodiments of the present invention provide a customized content providing system and method capable of generating an avatar image of a user and generating and providing customized content in which the generated avatar image is embedded.

또한, 본 발명의 일 실시예는, 사용자에 대응되는 인종 정보에 기초하여 아바타 이미지를 다양하게 생성할 수 있는, 맞춤형 콘텐츠 제공 시스템 및 방법을 제공한다.In addition, an embodiment of the present invention provides a system and method for providing a customized content capable of variously generating an avatar image based on race information corresponding to a user.

또한, 본 발명의 일 실시예는, 콘텐츠의 내용에 적합한 다양한 아바타 이미지를 콘텐츠에 삽입할 수 있는, 맞춤형 콘텐츠 제공 시스템 및 방법을 제공한다.Further, an embodiment of the present invention provides a system and method for providing a customized content capable of inserting various avatar images suited to the content of the content into the content.

또한, 본 발명의 일 실시예는, 콘텐츠에 포함된 음성 신호에 기초하여 사용자의 아바타 이미지를 립싱크 처리할 수 있는 맞춤형 콘텐츠 제공 시스템 및 방법을 제공한다.In addition, an embodiment of the present invention provides a system and method for providing a customized content capable of lip-synching a user's avatar image based on a voice signal included in the content.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은, 사용자 촬영 이미지로부터 사용자의 얼굴 구성을 인식하는 안면 인식부; 상기 인식된 사용자의 얼굴 구성에 기초하여 사용자의 인종을 판단하는 사용자 인종 판단부; 상기 인식된 사용자 얼굴 구성 및 상기 판단된 사용자 인종에 기초하여, 아바타 이미지의 생성에 이용되는 아바타 구성 이미지를 선택하는 아바타 구성 이미지 선택부; 및 상기 선택된 구성 이미지를 조합하여 상기 사용자에 대한 아바타 이미지를 생성하는 아바타 이미지 생성부;를 포함하며, 상기 생성된 아바타 이미지는 콘텐츠에 삽입되어 상기 사용자에게 제공되는 것인, 맞춤형 콘텐츠 제공 시스템을 제공할 수 있다.According to a first aspect of the present invention, there is provided a face recognition apparatus comprising: a face recognition unit recognizing a face composition of a user from a user photographed image; A user race judging unit for judging the race of the user based on the recognized face configuration of the user; An avatar configuration image selection unit for selecting an avatar configuration image used for generating an avatar image based on the recognized user's face configuration and the determined user race; And an avatar image generation unit for generating an avatar image for the user by combining the selected configuration image, wherein the generated avatar image is inserted into the content and provided to the user. can do.

또한, 본 발명의 제 2 측면은, 콘텐츠에 포함된 등장 인물의 상태를 판단하는 인물 상태 판단부; 상기 판단된 등장 인물의 상태에 대응되는 사용자의 아바타 이미지를 선택하는 아바타 이미지 선택부; 상기 선택된 아바타 이미지를 상기 콘텐츠에 삽입하는 아바타 이미지 삽입부; 및 상기 콘텐츠에 포함된 음성 정보에 기초하여, 상기 삽입된 아바타 이미지의 입술 형상을 변경하는 립싱크 처리부;를 포함하며, 상기 아바타 이미지가 삽입되어 립싱크 처리된 콘텐츠는 상기 사용자에게 제공되는 것인, 맞춤형 콘텐츠 제공 시스템을 제공할 수 있다.According to a second aspect of the present invention, there is provided a game system comprising: a character state determination unit for determining a state of a character included in a content; An avatar image selection unit for selecting an avatar image of a user corresponding to the determined character state; An avatar image inserting unit for inserting the selected avatar image into the contents; And a lipsync processing unit for changing a lip shape of the inserted avatar image based on voice information included in the content, wherein the avatar image is inserted and the lip-synced content is provided to the user, A content providing system can be provided.

또한, 본 발명의 제 3 측면은, 사용자 단말로부터 사용자 촬영 이미지를 수신하는 단계; 상기 수신된 사용자 촬영 이미지로부터 상기 사용자의 얼굴 구성을 구별하는 단계; 상기 구별된 사용자의 얼굴 구성에 기초하여 상기 사용자에 대응되는 인종을 판단하는 단계; 상기 구별된 사용자 얼굴 구성 및 상기 판단된 인종에 기초하여, 아바타 이미지의 생성에 이용되는 아바타 구성 이미지를 선택하는 단계; 상기 선택된 구성 이미지를 조합하여 상기 사용자의 아바타 이미지를 생성하는 단계; 상기 생성된 아바타 이미지를 콘텐츠에 삽입하는 단계; 및 상기 아바타 이미지가 삽입된 콘텐츠를 상기 사용자에게 제공하는 단계;를 포함하는, 맞춤형 콘텐츠 제공 방법을 제공할 수 있다.According to a third aspect of the present invention, there is also provided a method comprising: receiving a user photographed image from a user terminal; Identifying a face configuration of the user from the received user captured image; Determining a race corresponding to the user based on the distinguished user's face composition; Selecting an avatar configuration image to be used for generating an avatar image based on the distinguished user's face configuration and the determined race; Generating an avatar image of the user by combining the selected configuration images; Inserting the generated avatar image into the content; And providing the user with the content in which the avatar image is embedded.

또한, 본 발명의 제 4 측면은, 사용자 촬영 영상에 기초하여 복수의 사용자 아바타 이미지를 생성하는 단계; 콘텐츠에 포함된 등장 인물의 감정 상태를 판단하는 단계; 상기 복수의 사용자 아바타 이미지 중에서 상기 판단된 등장 인물의 감정 상태에 대응되는 아바타 이미지를 선택하는 단계; 상기 선택된 아바타 이미지를 상기 콘텐츠에 삽입하는 단계; 및 상기 아바타 이미지가 삽입된 콘텐츠를 상기 사용자에게 제공하는 단계;를 포함하는, 맞춤형 콘텐츠 제공 방법을 제공할 수 있다.According to a fourth aspect of the present invention, there is provided an image processing method comprising the steps of: generating a plurality of user avatar images based on a user photographed image; Determining an emotional state of a character included in the content; Selecting an avatar image corresponding to an emotional state of the determined character from among the plurality of user avatar images; Inserting the selected avatar image into the content; And providing the user with the content in which the avatar image is embedded.

전술한 본 발명의 과제 해결 수단에 의하면, 사용자의 아바타 이미지를 인종 별로 다양하게 생성하고 생성된 아바타 이미지를 콘텐츠에 삽입하여 사용자에게 제공할 수 있다.According to an embodiment of the present invention, an avatar image of a user can be created variously for each race, and the generated avatar image can be inserted into the content and provided to the user.

또한, 전술한 본 발명의 과제 해결 수단에 의하면, 콘텐츠 내의 등장 인물의 감정 상태에 맞는 사용자 아바타 이미지를 콘텐츠에 효과적으로 삽입하여 사용자에게 제공할 수 있다.In addition, according to the present invention, the user avatar image that matches the emotional state of the character in the content can be effectively inserted into the content and provided to the user.

또한, 본 발명의 다른 과제 해결 수단 중 하나에 의하면, 콘텐츠에 포함된 음성 신호에 기초하여 등장 인물이 대사하는 동안에 사용자의 아바타 이미지를 립싱크 처리할 수 있다.According to another aspect of the present invention, an avatar image of a user can be lip-synced while a character is being metabolized based on a voice signal included in the content.

도 1은 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 제공 시스템의 전체 개요도이다.
도 2는 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 제공 서버의 전체 구성도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 아바타 생성부의 세부 구성도이다.
도 4는 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 생성부의 세부 구성도이다.
도 5는 본 발명의 일 실시예에 따른 아바타 이미지가 생성되는 과정의 일례를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자에 대응되는 인종에 따라 생성된 사용자의 아바타 이미지의 일례를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 다양한 표정으로 생성된 사용자의 아바타 이미지의 일례를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 사용자의 아바타 이미지에 립싱크 처리를 하는 일례를 도시한 도면이다
도 9는 본 발명의 본 발명의 일 실시예에 따라 생성된 맞춤형 콘텐츠의 일례들을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 사용자 아바타 이미지를 생성하는 방법을 도시한 세부 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 사용자 맞춤형 콘텐츠 제공 방법의 세부 흐름도이다.1 is an overall schematic diagram of a customized content provision system according to an embodiment of the present invention.
2 is an overall configuration diagram of a customized content providing server according to an embodiment of the present invention.
3 is a detailed configuration diagram of a user avatar generation unit according to an embodiment of the present invention.
4 is a detailed configuration diagram of a customized content generation unit according to an embodiment of the present invention.
5 is a view illustrating an example of a process of generating an avatar image according to an embodiment of the present invention.
6 is a diagram illustrating an example of an avatar image of a user generated according to a race corresponding to a user according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating an example of an avatar image of a user created with various facial expressions according to an embodiment of the present invention.
8 is a diagram illustrating an example of performing lip-sync processing on an avatar image of a user according to an embodiment of the present invention
Figure 9 is an illustration of one example of customized content created in accordance with one embodiment of the present invention.
10 is a detailed flowchart illustrating a method for generating a user avatar image according to an embodiment of the present invention.
11 is a detailed flowchart of a method of providing a user-customized content according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 제공 시스템의 전체 개요도이다.1 is an overall schematic diagram of a customized content provision system according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 제공 시스템은 맞춤형 콘텐츠 제공 서버(100), 사용자 단말(200) 및 네트워크(300)를 포함한다.1, a customized content providing system according to an exemplary embodiment of the present invention includes a customized content providing server 100, a user terminal 200, and a network 300. As shown in FIG.

맞춤형 콘텐츠 제공 서버(100)는 사용자 단말(200)로부터 사용자의 얼굴 촬영 사진을 수신하고, 수신된 사용자 촬영 사진에 기초하여 사용자의 아바타 이미지를 생성한다. 또한, 맞춤형 콘텐츠 제공 서버(100)는 사용자의 아바타 이미지를 다양한 콘텐츠에 삽입시켜 사용자 맞춤형 콘텐츠를 생성한다.The personalized content providing server 100 receives the face photograph of the user from the user terminal 200 and generates an avatar image of the user based on the received user photograph. In addition, the personalized content providing server 100 inserts the avatar image of the user into various contents to create user-customized contents.

맞춤형 콘텐츠 제공 서버(100)는 다양한 표정과 종류의 사용자 아바타 이미지를 생성할 수 있으며, 생성된 아바타 이미지를 콘텐츠에 다양하게 삽입하고 편집하여 사용자 맞춤형 콘텐츠를 생성할 수가 있다. 또한, 생성된 사용자 맞춤형 콘텐츠는 네트워크(300)를 통하여 사용자 단말(200)에게 제공한다.The personalized content providing server 100 can generate user avatar images of various facial expressions and types, and can generate user-customized contents by variously inserting and editing the generated avatar images into the contents. In addition, the generated user-customized content is provided to the user terminal 200 through the network 300.

사용자 단말(200)은 맞춤형 콘텐츠 제공 서버(100)에게 사용자 맞춤형 콘텐츠의 생성에 필요한 각종 정보를 제공하며, 맞춤형 콘텐츠 제공 서버(100)로부터 맞춤형 콘텐츠를 수신할 수 있다.The user terminal 200 can provide the personalized content providing server 100 with various information necessary for generating the user-customized content, and can receive the personalized content from the personalized content providing server 100. [

사용자 단말(200)은 개인용 컴퓨터, 셋톱박스(STB), 휴대폰, 스마트폰, PDA(Personal Digital Assistant)폰, 노트북 등과 같이 통신 기능을 포함하는 단말을 말하며, 유무선 통신을 통하여 맞춤형 콘텐츠 제공 서버(100)에 접속할 수 있는 모든 종류의 단말을 포함할 수 있다.The user terminal 200 is a terminal including a communication function such as a personal computer, a set top box (STB), a mobile phone, a smart phone, a PDA (Personal Digital Assistant) phone, Or the like).

네트워크(300)는 도 1에 도시된 네트워크 구성 주체를 서로 연결하며, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다
The network 300 connects the network constituent elements shown in FIG. 1 to each other and is connected to a wired network such as a local area network (LAN), a wide area network (WAN), or a value added network (VAN) And may be implemented in any kind of wireless network, such as a network, a mobile radio communication network, or a satellite communication network

이하, 도 2를 참조하여 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 제공 서버(100)의 전체 구성에 대하여 설명하기로 한다.Hereinafter, an overall configuration of a customized content providing server 100 according to an embodiment of the present invention will be described with reference to FIG.

도 2는 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 제공 서버(100)의 전체 구성도이다.2 is an overall configuration diagram of a customized content providing server 100 according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 제공 서버(100)는 사용자 아바타 생성부(110), 맞춤형 콘텐츠 생성부(120), 콘텐츠 제공부(130), 제어부(140) 및 송수신부(150)를 포함한다.2, the customized content providing server 100 according to an exemplary embodiment of the present invention includes a user avatar generating unit 110, a customized content generating unit 120, a content providing unit 130, a control unit 140 And a transmission / reception unit 150.

사용자 아바타 생성부(110)는 사용자의 얼굴 촬영 영상에 기초하여 사용자의 아바타 이미지를 생성한다. 사용자 아바타 생성부(110)는 사용자 단말(200)로부터 사용자의 얼굴 촬영 이미지를 수신하고, 수신된 얼굴 촬영 이미지에 기초하여 다양한 아바타 이미지를 생성할 수 있다. 사용자 아바타 생성부(110)는 사용자에 대응되는 인종에 맞는 아바타 이미지를 생성할 수 있으며, 다양한 표정을 갖는 복수의 아바타 이미지를 생성할 수 있다.The user avatar generation unit 110 generates the avatar image of the user based on the face image of the user. The user avatar generation unit 110 may receive a face image of the user from the user terminal 200 and may generate various avatar images based on the received face image. The user avatar generation unit 110 can generate an avatar image corresponding to a race corresponding to a user and a plurality of avatar images having various facial expressions.

맞춤형 콘텐츠 생성부(120)는 사용자 아바타 이미지를 이용하여 사용자 맞춤형 콘텐츠를 생성한다. 맞춤형 콘텐츠 생성부(120)는 사용자의 아바타 이미지를 콘텐츠에 삽입하고, 삽입된 아바타 이미지의 입술 형상을 변경할 수 있다. 맞춤형 콘텐츠 생성부(120)는 콘텐츠의 장면 별로 적합한 아바타 이미지를 콘텐츠에 삽입할 수 있으며, 콘텐츠에 포함된 음성 정보에 기초하여 삽입된 아바타 이미지의 입술 형상을 변경시킬 수 있다.The customized content generation unit 120 generates user-customized content using the user avatar image. The customized content generation unit 120 may insert the user's avatar image into the content and change the lip shape of the inserted avatar image. The customized content generation unit 120 may insert an avatar image suitable for each scene of the content into the content and change the lip shape of the inserted avatar image based on the audio information included in the content.

콘텐츠 제공부(130)는 생성된 맞춤형 콘텐츠를 사용자 단말(200)에게 제공한다. 또한, 콘텐츠 제공부(130)는 사용자 단말(200)에게 맞춤형 콘텐츠 생성을 위한 UI(User Interface)를 제공할 수 있으며, 사용자 단말(200)로부터 입력되는 제어 명령을 수신할 수 있다.The content providing unit 130 provides the generated customized content to the user terminal 200. In addition, the content providing unit 130 may provide a user interface (UI) for creating a customized content to the user terminal 200, and may receive a control command input from the user terminal 200.

제어부(140)는 맞춤형 콘텐츠 제공 서버(100)가 사용자의 아바타 이미지를 다양하게 생성하며, 생성된 아바타 이미지를 콘텐츠에 삽입 및 편집하여 맞춤형 콘텐츠를 생성하고 제공할 수 있도록, 사용자 아바타 생성부(110), 맞춤형 콘텐츠 생성부(120) 및 콘텐츠 제공부(130)를 제어한다.The controller 140 generates various avatar images of the user by inserting and editing the generated avatar images into the contents to generate and provide the customized contents, and the user avatar generating unit 110 ), The customized content generation unit 120, and the content providing unit 130 are controlled.

송수신부(150)는 맞춤형 콘텐츠의 생성 및 제공에 필요한 각종 정보를 사용자 단말(200)과 송수신한다.
The transmission / reception unit 150 transmits / receives various information necessary for generating and providing the customized content to / from the user terminal 200.

이하, 도 3을 참조하여 본 발명의 일 실시예에 따른 사용자 아바타 생성부(110)의 세부 구성에 대하여 설명하기로 한다.Hereinafter, a detailed configuration of the user avatar generation unit 110 according to an embodiment of the present invention will be described with reference to FIG.

도 3은 본 발명의 일 실시예에 따른 사용자 아바타 생성부(110)의 세부 구성도이다.3 is a detailed configuration diagram of a user avatar generation unit 110 according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 사용자 아바타 생성부(110)는 사용자 안면 인식부(112), 사용자 인종 판단부(113), 아바타 정보 DB(114), 아바타 구성 이미지 선택부(115), 및 아바타 이미지 생성부(116)를 포함한다.3, the user avatar generation unit 110 according to an exemplary embodiment of the present invention includes a user facial recognition unit 112, a user race determination unit 113, an avatar information DB 114, A selection unit 115, and an avatar image generation unit 116. [

사용자 안면 인식부(112)는 사용자 촬영 영상으로부터 사용자의 안면을 구별하고 사용자의 얼굴 구성을 인식한다. 사용자 안면 인식부(112)는 사용자 단말(200)로부터 사용자의 얼굴 촬영 영상을 수신할 수 있으며, 수신된 얼굴 영상으로부터 사용자의 얼굴을 구별하고 구별된 얼굴에 포함된 얼굴 구성 요소를 추출할 수 있다. 사용자의 얼굴 구성 요소는 사용자의 얼굴을 구성하는 각종 요소로서, 예를 들어, 얼굴 윤곽, 눈, 코, 입, 머리카락, 귀 또는 피부색 등을 포함할 수 있다.The user's face recognizing unit 112 distinguishes the user's face from the user's photographed image and recognizes the user's face configuration. The user facial recognition unit 112 can receive the face image of the user from the user terminal 200, distinguish the face of the user from the received face image, and extract face components included in the distinct face . The face component of the user can be various elements constituting the user's face, for example, a face contour, an eye, a nose, a mouth, a hair, an ear or a skin color, and the like.

사용자 인종 판단부(113)는 사용자 촬영 영상으로부터 사용자의 인종을 판단한다. 사용자 인종 판단부(113)는 사용자의 얼굴 구성 요소에 기초하여 사용자에 대응되는 인종을 판단할 수 있다. 사용자 인종 판단부(113)는, 예를 들어, 사용자의 피부색, 머리카락 색, 곱슬머리인지 여부, 쌍꺼풀의 유무 또는 눈동자 색 등에 기초하여 사용자에 대응되는 인종을 판단할 수 있다.The user race judging unit 113 judges the race of the user from the user photographed image. The user race judging unit 113 can judge the race corresponding to the user based on the face component of the user. The user race judging unit 113 can judge the race corresponding to the user on the basis of, for example, the color of the user's skin, the color of the hair, the curly hair, the presence of the double skin, or the color of the pupil.

본 명세서에서는 사용자 인종 판단부(113)가 사용자 촬영 영상에 기초하여 사용자에 대응되는 인종을 판단하는 것으로 설명하였지만, 이에 제한되지 않으며, 사용자 단말(200)로부터 수신되는 제어 명령에 기초하여 사용자의 인종을 판단할 수도 있다.In the present specification, the user race judging unit 113 judges the race corresponding to the user on the basis of the user photographed image. However, the present invention is not limited to this, and based on the control command received from the user terminal 200, .

아바타 정보 DB(114)는 아바타 이미지의 생성에 이용되는 각종 정보를 저장한다. 아바타 정보 DB(114)는 아바타 이미지의 생성에 이용되는 아바타 구성 이미지를 저장할 수 있다.The avatar information DB 114 stores various kinds of information used for generating an avatar image. The avatar information DB 114 may store an avatar composition image used for generating an avatar image.

또한, 아바타 정보 DB(114)는 인종 별로 아바타 구성 이미지를 분류하여 저장할 수 있다. 예를 들어, 아바타 정보 DB(114)는 백인에 대응하여 직모의 머리카락 이미지, 쌍꺼풀을 포함하는 눈 이미지 등을 저장할 수 있으며, 흑인에 대응하여 곱슬인 머리카락 이미지 또는 쌍꺼풀이 없는 눈 이미지 등을 저장할 수 있다.In addition, the avatar information DB 114 can classify and store the avatar composition image by race. For example, the avatar information DB 114 may store a hair image of a straight hair, an eye image including a double skin corresponding to a white person, and may store a curly hair image or an eye image without a double skin corresponding to a black person have.

또한, 아바타 정보 DB(114)는 다양한 표정의 아바타 구성 이미지를 그룹핑하여 저장할 수 있다. 아바타 정보 DB(114)는, 예를 들어, 다양한 표정을 묘사하기 위한 일련의 입술 이미지를 함께 그룹핑하여 저장하거나 일련의 눈 이미지를 함께 그룹핑하여 저장할 수 있다. In addition, the avatar information DB 114 can group and store avatar composition images having various facial expressions. The avatar information DB 114 may group and store together a series of lip images for describing various facial expressions, or may group and store a series of eye images together.

아바타 구성 이미지 선택부(115)는 사용자의 얼굴 구성 요소 및 사용자의 인종에 기초하여 사용자의 아바타 이미지 생성에 필요한 아바타 구성 이미지를 선택한다. 아바타 구성 이미지는 아바타 이미지를 생성하는데 이용되는 하위 이미지로서, 예를 들어, 얼굴 바탕 이미지, 머리카락 이미지, 눈 이미지, 코 이미지, 입술 이미지 또는 귀 이미지 등을 포함하며, 아바타 구성 이미지가 조합됨으로써 아바타 이미지가 완성될 수 있다.The avatar configuration image selection unit 115 selects an avatar configuration image necessary for generating the avatar image of the user based on the face component of the user and the race of the user. The avatar composition image includes a face image, a hair image, a snow image, a nose image, a lip image, an ear image, and the like, which are used to generate an avatar image. Can be completed.

아바타 구성 이미지 선택부(115)는 아바타 정보 DB(114)로부터 사용자의 인종에 대응되는 아바타 구성 이미지의 목록을 검출하고, 검출된 특정 인종에 대한 아바타 구성 이미지 목록 중에서 사용자의 얼굴 구성 요소에 대응되는 아바타 구성 이미지를 선택할 수 있다.The avatar configuration image selection unit 115 detects a list of avatar configuration images corresponding to the race of the user from the avatar information DB 114 and displays the avatar configuration image list corresponding to the user's face configuration elements You can select an avatar configuration image.

또한, 아바타 구성 이미지 선택부(115)는 사용자의 얼굴 구성 요소에 대응되는 다양한 표정의 아바타 구성 이미지를 선택할 수 있다.In addition, the avatar composition image selection unit 115 can select the avatar composition image having various facial expressions corresponding to the user's face composition element.

아바타 이미지 생성부(116)는 선택된 아바타 구성 이미지를 조합하여 아바타 이미지를 생성한다. 아바타 이미지 생성부(116)는 선택된 아바타 구성 이미지를 이용하여 다양한 표정의 아바타 이미지를 생성할 수 있다.
The avatar image generation unit 116 combines the selected avatar configuration images to generate an avatar image. The avatar image generating unit 116 may generate an avatar image having various facial expressions using the selected avatar image.

이하, 도 4를 참조하여 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 생성부(120)의 세부 구성에 대하여 설명하기로 한다.Hereinafter, a detailed configuration of the customized content generation unit 120 according to an exemplary embodiment of the present invention will be described with reference to FIG.

도 4는 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 생성부(120)의 세부 구성도이다.4 is a detailed configuration diagram of a customized content generation unit 120 according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 생성부(120)는 인물 상태 판단부(122), 아바타 이미지 선택부(123), 아바타 이미지 삽입부(124) 및 립싱크 처리부(125)를 포함한다.4, the customized content generation unit 120 according to an exemplary embodiment of the present invention includes a person state determination unit 122, an avatar image selection unit 123, an avatar image insertion unit 124, (125).

인물 상태 판단부(122)는 콘텐츠에 포함된 등장 인물의 상태를 판단한다. 인물 상태 판단부(122)는 콘텐츠에 포함된 특정 장면에서의 등장 인물의 상태에 관한 정보를 추출하고 추출된 정보에 기초하여 등장 인물의 상태를 판단할 수 있다. 인물 상태 판단부(122)는 콘텐츠가 동영상인 경우에 프레임을 기준으로 등장 인물의 상태를 판단할 수 있으나 이에 제한되지 않는다. 인물 상태 판단부(122)는 다양한 종류의 음성 인식 기술, 자연어 해석 기술 또는 영상 해석 기술을 이용하여 콘텐츠의 특정 장면에서의 등장 인물에 관한 정보를 콘텐츠에 포함된 텍스트, 영상, 음성 또는 콘텐츠에 대응되는 대본, 스크립트 등으로부터 추출하고 추출된 정보를 해석하여 등장 인물의 감정 상태를 판단할 수 있다.The person state determination unit 122 determines the state of a character included in the content. The person state determination unit 122 can extract information on the state of a character in a specific scene included in the content and determine the state of the character based on the extracted information. The person state determination unit 122 may determine the state of a character based on a frame when the content is a moving image, but the present invention is not limited thereto. The person state determination unit 122 uses the various types of speech recognition technology, natural language analysis technique, or image analysis technique to convert information about a character in a specific scene of the content to text, image, voice, or content included in the content A script, a script, etc., and interprets the extracted information, thereby determining the emotional state of the character.

인물 상태 판단부(122)는, 예를 들어, 분노, 기쁨, 슬픔 또는 긴장 등과 같이, 콘텐츠의 특정 장면에서의 등장 인물의 상태를 판단할 수 있다.The person state determination unit 122 can determine the state of a character in a specific scene of the content, such as anger, joy, sadness, or tension.

아바타 이미지 선택부(123)는 콘텐츠에 포함될 아바타 이미지를 선택한다. 아바타 이미지 선택부(123)는 판단된 인물 상태에 기초하여 콘텐츠에 포함될 대응되는 아바타 이미지를 선택할 수 있다. 예를 들어, 콘텐츠의 특정 장면에서 주인공이 화난 상태에 있다고 판단된 경우에, 아바타 이미지 선택부(123)는 사용자 아바타 이미지 중에서 화난 표정의 이미지를 선택할 수 있다.The avatar image selection unit 123 selects an avatar image to be included in the content. The avatar image selection unit 123 can select a corresponding avatar image to be included in the content based on the determined person state. For example, when it is determined that the main character is in an angry state in a specific scene of the content, the avatar image selection unit 123 can select an image of an angry expression among the user avatar images.

아바타 이미지 삽입부(124)는 선택된 아바타 이미지를 콘텐츠에 삽입한다. 아바타 이미지 삽입부(124)는 선택된 아바타 이미지를 콘텐츠 내의 등장 인물로 삽입할 수 있다. 아바타 이미지 삽입부(124)는 선택된 아바타 이미지를 콘텐츠 내의 등장 인물의 위치에 오버레이시켜 합성할 수 있으나, 이에 제한되지 않는다. 또한, 아바타 이미지 삽입부(124)는 콘텐츠의 각 장면에서의 등장 인물의 상태에 따라 선택된 아바타 이미지를 콘텐츠에 적절하게 삽입할 수 있다. 아바타 이미지 삽입부(124)는 콘텐츠가 동영상인 경우에 동영상 프레임 별로 등장 인물의 상태를 확인하고, 확인된 등장 인물의 상태에 대응되는 아바타 이미지를 삽입할 수 있다.The avatar image inserting unit 124 inserts the selected avatar image into the content. The avatar image inserting unit 124 may insert the selected avatar image as a character in the content. The avatar image inserting unit 124 may synthesize the selected avatar image by overlaying the position of the character in the content, but is not limited thereto. In addition, the avatar image inserting unit 124 can appropriately insert the selected avatar image into the content according to the state of the characters in each scene of the content. The avatar image inserting unit 124 may check the state of a character by video frame and insert an avatar image corresponding to the state of the confirmed character when the content is a video.

립싱크 처리부(125)는 콘텐츠에 삽입된 아바타 이미지의 형상을 변경한다. 립싱크 처리부(125)는 삽입된 아바타 이미지의 일부 또는 전체 형상이 콘텐츠 내의 등장 인물이 대사를 하는 동안에 계속하여 변경되도록 할 수 있다.The lip sync processing unit 125 changes the shape of the avatar image inserted in the content. Lip synapse processing unit 125 may cause a part or all of the shape of the inserted avatar image to continuously change while the character in the content is metabolizing.

또한, 립싱크 처리부(125)는 콘텐츠에 포함된 음성 정보에 기초하여 등장 인물이 대사를 하고 있는지를 판단할 수 있으며, 등장 인물이 대사를 하고 있다고 판단되는 동안에 사용자 아바타 이미지의 입술 형상을 변경할 수 있다.
The lipsync processing unit 125 can determine whether or not a character is being metabolized based on the voice information included in the content and can change the lip shape of the user avatar image while determining that the character is being metabolized .

이하, 도 5를 참조하여 본 발명의 일 실시예에 따른 아바타 이미지가 생성되는 과정의 일례를 설명하기로 한다.Hereinafter, an example of a process of generating an avatar image according to an embodiment of the present invention will be described with reference to FIG.

도 5는 본 발명의 일 실시예에 따른 아바타 이미지가 생성되는 과정의 일례를 도시한 도면이다.5 is a view illustrating an example of a process of generating an avatar image according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 맞춤형 콘텐츠 제공 서버(100)는 사용자 단말(200)로부터 사용자의 얼굴 사진이 수신되면(50), 사용자의 얼굴을 인식하고 사용자의 얼굴 구성 요소를 구별하며(51), 구별된 얼굴 구성 요소에 대응되는 아바타 구성 요소 이미지를 선택하여(52) 선택된 이미지를 조합하여 사용자 아바타 이미지를 생성하게 된다(53).
5, the customized content providing server 100 recognizes the face of the user and distinguishes 51 the face components of the user when the face photograph of the user is received 50 from the user terminal 200, , The avatar component image corresponding to the distinguished face component is selected (52), and the selected avatar image is generated by combining the selected avatar component image (53).

이하, 도 6을 참조하여 본 발명의 일 실시예에 따른 사용자에 대응되는 인종에 따라 생성된 사용자의 아바타 이미지의 일례를 설명하기로 한다.Hereinafter, an example of an avatar image of a user generated according to a race corresponding to a user according to an embodiment of the present invention will be described with reference to FIG.

도 6은 본 발명의 일 실시예에 따른 사용자에 대응되는 인종에 따라 생성된 사용자의 아바타 이미지의 일례를 도시한 도면이다.6 is a diagram illustrating an example of an avatar image of a user generated according to a race corresponding to a user according to an embodiment of the present invention.

도 6에 도시된 바와 같이, 맞춤형 콘텐츠 제공 서버(100)는 사용자 얼굴 사진으로부터 사용자에 대응되는 인종을 판단하고, 판단된 인종에 맞게 사용자의 아바타 이미지(60, 61, 62)를 생성할 수 있다.
As shown in FIG. 6, the personalized content providing server 100 can determine the race corresponding to the user from the user's face photograph and generate the user's avatar image 60, 61, 62 according to the determined race .

이하, 도 7을 참조하여 본 발명의 일 실시예에 따른 다양한 표정으로 생성된 사용자의 아바타 이미지의 일례에 대하여 설명하기로 한다.Hereinafter, an example of an avatar image of a user created with various facial expressions according to an embodiment of the present invention will be described with reference to FIG.

도 7은 본 발명의 일 실시예에 따른 다양한 표정으로 생성된 사용자의 아바타 이미지의 일례를 도시한 도면이다.FIG. 7 is a diagram illustrating an example of an avatar image of a user created with various facial expressions according to an embodiment of the present invention.

도 7에 도시된 바와 같이, 맞춤형 콘텐츠 제공 서버(100)는 다양한 표정의 사용자 아바타 이미지를 생성할 수 있다. 맞춤형 콘텐츠 제공 서버(100)는 사용자의 아바타 이미지를 기본 아바타 이미지(70), 기쁜 표정의 아바타 이미지(71), 눈감은 표정의 아바타 이미지(72), 졸린 표정의 아바타 이미지(73), 슬픈 표정의 아바타 이미지(74) 등의 다양한 표정으로 생성할 수 있다.
As shown in FIG. 7, the customized content providing server 100 may generate user avatar images of various facial expressions. The personalized content providing server 100 includes the avatar image of the user as a basic avatar image 70, an avatar image 71 of a happy face, an avatar image 72 of a snowy facial expression, an avatar image 73 of a sleepy facial expression, And an avatar image 74 of the user.

이하, 도 8을 참조하여 본 발명의 일 실시예에 따른 사용자의 아바타 이미지에 립싱크 처리하는 일례에 대하여 설명하기로 한다.Hereinafter, an example of lipsync processing of the avatar image of the user according to an embodiment of the present invention will be described with reference to FIG.

도 8은 본 발명의 일 실시예에 따른 사용자의 아바타 이미지에 립싱크 처리를 하는 일례를 도시한 도면이다8 is a diagram illustrating an example of performing lip-sync processing on an avatar image of a user according to an embodiment of the present invention

도 8에 도시된 바와 같이, 맞춤형 콘텐츠 제공 서버(100)는 콘텐츠에 포함된 음성 신호(80)에 기초하여 등장 인물이 대사를 하고 있는지를 판단할 수 있으며, 등장 인물이 대사를 하고 있는 동안에 사용자 아바타 이미지의 입술 형상을 변경할 수 있다. 맞춤형 콘텐츠 제공 서버(100)는 사용자 아바타 이미지에서 입술 부분의 형상만을 변경하거나, 다른 입술 형상의 사용자 아바타 이미지를 삽입하는 방식으로 사용자 아바타 이미지의 입술 형상을 변경할 수 있으나, 이에 제한되지 않는다.
As shown in Fig. 8, the personalized content providing server 100 can determine whether or not a character is being metabolized based on the voice signal 80 included in the content. While the character is being metabolized, The lip shape of the avatar image can be changed. The personalized content providing server 100 may change the lip shape of the user avatar image by changing only the shape of the lip portion in the user avatar image or inserting the user avatar image of another lip shape, but the present invention is not limited thereto.

이하, 도 9를 참조하여 본 발명의 일 실시예에 따라 생성된 맞춤형 콘텐츠에 대하여 설명하기로 한다.Hereinafter, customized content generated according to an embodiment of the present invention will be described with reference to FIG.

도 9는 본 발명의 본 발명의 일 실시예에 따라 생성된 맞춤형 콘텐츠의 일례들을 도시한 도면이다.Figure 9 is an illustration of one example of customized content created in accordance with one embodiment of the present invention.

도 9에 도시된 바와 같이, 맞춤형 콘텐츠 제공 서버(100)는 다양한 종류의 맞춤형 콘텐츠를 생성할 수 있다. 맞춤형 콘텐츠 제공 서버(100)는 캐릭터 이미지(90)에 사용자 아바타 이미지를 삽입하거나, 동영상(92) 내의 특정 등장 인물에 사용자 아바타 이미지를 삽입하거나, 전자책(94) 내의 특정 등장 인물에 사용자 아바타 이미지를 삽입할 수 있으나, 이에 제한되지 않으며, 다양한 종류의 콘텐츠에 사용자의 아바타 이미지를 삽입할 수 있다.
As shown in Fig. 9, the customized content providing server 100 can generate various kinds of customized content. The personalized content providing server 100 may insert a user avatar image into a character image 90 or insert a user avatar image into a specific character in the video 92 or input a user avatar image However, the present invention is not limited thereto, and the user's avatar image can be inserted into various kinds of contents.

이하, 도 10을 참조하여 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 제공 서버(100)가 사용자 아바타 이미지를 생성하는 방법에 대하여 설명하기로 한다.Hereinafter, a method for generating a user avatar image by the customized content providing server 100 according to an embodiment of the present invention will be described with reference to FIG.

도 10은 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 제공 서버(100)가 사용자 아바타 이미지를 생성하는 방법을 도시한 세부 흐름도이다.10 is a detailed flowchart illustrating a method for generating a user avatar image by the customized content providing server 100 according to an embodiment of the present invention.

단계 S1000은 사용자 촬영 영상을 수신하는 단계이다. 단계 S1000에서는 사용자 단말(200)로부터 제공되는 사용자 촬영 영상을 수신할 수 있다.Step S1000 is a step of receiving a user photographed image. In step S1000, a user photographed image provided from the user terminal 200 may be received.

단계 S1002은 수신된 사용자 촬영 영상으로부터 사용자 안면을 인식하는 단계이다. 단계 S1002에서는, 사용자 촬영 영상으로부터 사용자의 얼굴을 추출하고 추출된 얼굴에 포함된 얼굴 구성 요소를 구별할 수 있으며, 예를 들어, 사용자의 얼굴 윤곽, 눈, 코, 입, 머리카락, 귀 또는 피부색 등을 구별할 수 있다.Step S1002 is a step of recognizing the user's face from the received user photographed image. In step S1002, the face of the user may be extracted from the user photographed image and the facial components included in the extracted face may be distinguished. For example, the face contour of the user, the eyes, the nose, the mouth, the hair, Can be distinguished.

단계 S1004는 사용자에 대응되는 인종을 판단하는 단계이다. 단계 S1004에서는, 사용자의 얼굴 구성 요소에 기초하여 사용자에 대응되는 인종을 판단할 수 있으며, 예를 들어, 사용자의 피부색, 머리카락 색, 곱슬머리 여부, 쌍꺼풀의 유무 또는 눈동자 색 등에 기초하여 사용자에 대응되는 인종을 판단할 수 있다.Step S1004 is a step of judging the race corresponding to the user. In step S1004, it is possible to determine the race corresponding to the user based on the face component of the user. For example, it is possible to correspond to the user based on the user's skin color, hair color, curly hair, Can be judged.

단계 S1006은 판단된 인종에 따른 아바타 구성 이미지를 선택하는 단계이다. 단계 S1006에서는, 사용자의 얼굴 구성 요소 및 사용자의 인종에 기초하여 사용자의 아바타 이미지 생성에 필요한 아바타 구성 이미지를 선택한다. 아바타 구성 이미지는, 예를 들어, 얼굴 바탕 이미지, 머리카락 이미지, 눈 이미지, 코 이미지, 입술 이미지 또는 귀 이미지 등을 포함한다.Step S1006 is a step of selecting an avatar composition image according to the determined race. In step S1006, the avatar composition image necessary for generating the avatar image of the user is selected based on the face component of the user and the race of the user. The avatar composition image includes, for example, a face background image, a hair image, a snow image, a nose image, a lip image or an ear image, and the like.

또한, 단계 S1006에서는 아바타 정보 DB(114)로부터 사용자의 인종에 대응되는 아바타 구성 이미지의 목록을 검출하고, 검출된 아바타 구성 이미지 목록 중에서 사용자의 얼굴 구성 요소에 대응되는 아바타 구성 이미지를 선택할 수 있다. 또한, 단계 S1006에서는 사용자의 얼굴 구성 요소에 대응되는 다양한 표정의 아바타 구성 이미지를 선택할 수 있다.In step S1006, a list of avatar image images corresponding to the user's race is detected from the avatar information DB 114, and an avatar image corresponding to the user's face component elements can be selected from the detected avatar image list. In addition, in step S1006, the avatar composition image having various facial expressions corresponding to the face component of the user can be selected.

단계 S1008은 다양한 표정의 아바타 이미지를 생성하는 단계이다. 단계 S1008에서는 선택된 아바타 구성 이미지를 조합하여 다양한 표정의 아바타 이미지를 생성할 수 있다.
Step S1008 is a step of generating an avatar image having various facial expressions. In step S1008, the avatar image having various facial expressions can be generated by combining the selected avatar image.

이하, 도 11을 참조하여 본 발명의 일 실시예에 따른 맞춤형 콘텐츠 제공 서버(100)가 사용자 맞춤형 콘텐츠를 제작하는 방법에 대하여 설명하기로 한다.Hereinafter, with reference to FIG. 11, a description will be made of a method for producing a user-customized content by the customized content providing server 100 according to an embodiment of the present invention.

도 11은 본 발명의 일 실시예에 따른 사용자 맞춤형 콘텐츠 제공 방법의 세부 흐름도이다.11 is a detailed flowchart of a method of providing a user-customized content according to an embodiment of the present invention.

단계 S1100은 콘텐츠 내의 등장 인물의 상태를 판단하는 단계이다. 단계 S1100에서는 콘텐츠에 포함된 특정 장면에서의 등장 인물의 상태에 관한 정보를 추출하고 추출된 정보에 기초하여 등장 인물의 상태를 판단할 수 있다. 단계 S1100에서는 콘텐츠가 동영상인 경우에 프레임을 기준으로 등장 인물의 상태를 판단할 수 있으나 이에 제한되지 않는다. 또한, 단계 S1100에서는 다양한 종류의 음성 인식 기술, 자연어 해석 기술 또는 영상 해석 기술을 이용하여 콘텐츠의 특정 장면에서의 등장 인물에 관한 정보를 콘텐츠에 포함된 텍스트, 영상, 음성 또는 콘텐츠에 대응되는 스크립트 등으로부터 추출하고 추출된 정보를 해석하여 등장 인물의 상태를 판단할 수 있다. 예를 들어, 단계 S1100에서는 분노, 기쁨, 슬픔 또는 긴장 등과 같이, 콘텐츠의 특정 장면에서의 등장 인물의 상태를 판단할 수 있다.Step S1100 is a step of determining the state of a character in the content. In step S1100, information on the state of the character in the specific scene included in the content can be extracted and the state of the character can be determined based on the extracted information. In step S1100, when the content is a moving image, the state of the character can be determined based on the frame, but the present invention is not limited thereto. In addition, in step S1100, information on characters in a specific scene of the content is converted into text, video, voice, or a script corresponding to the content, etc. included in the content by using various kinds of speech recognition technology, natural language analysis technique, And the extracted information can be analyzed to determine the state of the character. For example, in step S1100, the state of a character in a specific scene of the content, such as anger, joy, sadness, or tension, can be determined.

단계 S1102는 등장 인물의 상태에 맞는 아바타 이미지를 선택하는 단계이다. 단계 S1102에서는 판단된 인물 상태에 기초하여 콘텐츠에 포함될 대응되는 아바타 이미지를 선택할 수 있다. 예를 들어, 콘텐츠의 특정 장면에서 주인공이 화난 상태에 있다고 판단된 경우에, 아바타 이미지 선택부(123)는 사용자 아바타 이미지 중에서 화난 표정의 이미지를 선택할 수 있다.Step S1102 is a step of selecting an avatar image corresponding to the state of the character. In step S1102, the corresponding avatar image to be included in the content can be selected based on the determined person state. For example, when it is determined that the main character is in an angry state in a specific scene of the content, the avatar image selection unit 123 can select an image of an angry expression among the user avatar images.

단계 S1104는 선택된 아바타 이미지와 콘텐츠를 합성하는 단계이다. 단계 S1104에서는 선택된 아바타 이미지를 콘텐츠 내의 등장 인물로 삽입할 수 있다. 또한, 단계 S1104에서는 선택된 아바타 이미지를 콘텐츠 내의 등장 인물의 위치에 오버레이시켜 합성할 수 있으나, 이에 제한되지 않는다.Step S1104 is a step of synthesizing the selected avatar image and the contents. In step S1104, the selected avatar image can be inserted as a character in the content. In addition, in step S1104, the selected avatar image can be synthesized by being overlaid on the position of the character in the content, but the present invention is not limited thereto.

또한, S1104에서는 콘텐츠의 각 장면에서의 등장 인물의 상태에 따라 선택된 아바타 이미지를 콘텐츠에 적절하게 삽입할 수 있다. 단계 S1104에서는 콘텐츠가 동영상인 경우에 동영상 프레임 별로 등장 인물의 상태를 확인하고, 확인된 등장 인물의 상태에 대응되는 아바타 이미지를 삽입할 수 있다.In S1104, the avatar image selected according to the state of the character in each scene of the content can be appropriately inserted into the content. In step S1104, when the content is a moving image, the status of the character can be checked for each moving image frame, and an avatar image corresponding to the confirmed character can be inserted.

단계 S1106은 아바타 이미지를 립싱크 처리하는 단계이다. 단계 S1106에서는 콘텐츠에 삽입된 아바타 이미지의 형상을 변경할 수 있으며, 삽입된 아바타 이미지의 일부 또는 전체 형상이 콘텐츠 내의 등장 인물이 대사를 하는 동안에 계속하여 변경되도록 할 수 있다.Step S1106 is a step of lip-synching the avatar image. In step S1106, the shape of the avatar image inserted into the content can be changed, and a part or the whole shape of the inserted avatar image can be continuously changed while the characters in the content are metabolized.

또한, 단계 S1106에서는 콘텐츠에 포함된 음성 정보에 기초하여 등장 인물이 대사를 하고 있는지를 판단할 수 있으며, 등장 인물이 대사를 하고 있다고 판단되는 동안에 사용자 아바타 이미지의 입술 형상을 변경할 수 있다.Further, in step S1106, it is possible to determine whether or not the character is metabolizing based on the voice information included in the content, and the lip shape of the user avatar image can be changed while it is determined that the character is metabolizing.

단계 S1108은 생성된 맞춤형 콘텐츠를 제공하는 단계이다. 단계 S1108에서는 사용자 아바타 이미지가 삽입된 콘텐츠를 사용자 단말(200)에게 제공할 수 있다. 사용자 맞춤형 콘텐츠는 다양한 종류의 전자 상거래 형식으로 사용자 단말(200)에게 온라인 상으로 제공될 수 있으나 이에 제한되지 않으며, DVD, 도서 등의 유형물로 제작되어 오프라인 상으로 사용자에게 제공될 수도 있다.
Step S1108 is a step of providing the generated customized content. In step S1108, the user terminal 200 may be provided with the content in which the user avatar image is inserted. The user-customized content can be provided online to the user terminal 200 in various types of e-commerce formats, but is not limited thereto. The user-customized content may be produced as a tangible object such as a DVD or a book, and may be provided to a user offline.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. One embodiment of the present invention may also be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

Claims (18)

맞춤형 콘텐츠 제공 서버에 있어서,
사용자 촬영 이미지로부터 사용자의 얼굴 구성을 인식하는 안면 인식부;
상기 인식된 사용자의 얼굴 구성에 기초하여 사용자의 인종을 판단하는 사용자 인종 판단부;
상기 인식된 사용자 얼굴 구성 및 상기 판단된 사용자 인종에 기초하여, 아바타 이미지의 생성에 이용되는 아바타 구성 이미지를 선택하는 아바타 구성 이미지 선택부; 및
상기 선택된 구성 이미지를 조합하여 상기 사용자에 대한 아바타 이미지를 생성하는 아바타 이미지 생성부;
를 포함하며,
상기 생성된 아바타 이미지는 콘텐츠에 삽입되고, 상기 콘텐츠에 포함된 음성 정보에 기초하여 상기 삽입된 아바타 이미지의 입술 형상이 변경되도록 립싱크 처리되어 상기 사용자에게 제공되는 것인, 맞춤형 콘텐츠 제공 서버.
A personalized content providing server comprising:
A facial recognition unit for recognizing the user's facial composition from the user photographed image;
A user race judging unit for judging the race of the user based on the recognized face configuration of the user;
An avatar configuration image selection unit for selecting an avatar configuration image used for generating an avatar image based on the recognized user's face configuration and the determined user race; And
An avatar image generation unit for generating an avatar image for the user by combining the selected configuration images;
/ RTI >
Wherein the generated avatar image is inserted into the content and is lip-synced and provided to the user so that the lip shape of the inserted avatar image is changed based on the voice information included in the content.
제 1 항에 있어서,
상기 생성된 아바타 이미지는 상기 콘텐츠 내의 등장 인물의 감정 상태에 기초하여 상기 콘텐츠에 삽입되어 상기 콘텐츠 내의 등장 인물의 위치에 상기 선택된 아바타 이미지를 오버레이하여 합성되되,
상기 콘텐츠 내의 등장 인물의 감정 상태는 상기 콘텐츠의 프레임, 텍스트, 영상, 음성 또는 대본 중 적어도 어느 하나에 의해 판단되는 것인, 맞춤형 콘텐츠 제공 서버.
The method according to claim 1,
Wherein the generated avatar image is inserted into the content based on an emotional state of a character in the content and is overlaid on the selected avatar image at a position of a character in the content,
Wherein the emotional state of the character in the content is determined by at least one of a frame, a text, an image, a voice, and a script of the content.
제 2 항에 있어서,
상기 아바타 구성 이미지 선택부는, 상기 사용자 얼굴 구성 각각에 대응되는 복수의 아바타 구성 이미지를 선택하고,
상기 아바타 이미지 생성부는, 상기 선택된 아바타 구성 이미지를 조합하여 복수의 아바타 이미지를 생성하며,
상기 생성된 복수의 아바타 이미지는 상기 콘텐츠 내의 등장 인물의 감정 상태에 기초하여 선택적으로 상기 콘텐츠에 삽입되는 것인, 맞춤형 콘텐츠 제공 서버.
3. The method of claim 2,
Wherein the avatar configuration image selection unit selects a plurality of avatar configuration images corresponding to each of the user's face configurations,
The avatar image generating unit generates a plurality of avatar images by combining the selected avatar image,
Wherein the generated plurality of avatar images is selectively inserted into the content based on an emotional state of a character in the content.
제 1 항에 있어서,
상기 안면 인식부는 상기 사용자 촬영 이미지로부터 사용자의 안면을 구별하고, 구별된 사용자 안면으로부터 상기 사용자의 얼굴 구성 요소를 추출하는 것인, 맞춤형 콘텐츠 제공 서버.
The method according to claim 1,
Wherein the face recognition unit distinguishes the face of the user from the user photographed image and extracts the face component of the user from the distinctive user face.
제 1 항에 있어서,
상기 사용자 인종 판단부는, 상기 사용자의 피부색, 머리카락 색, 곱슬머리 여부, 쌍꺼풀의 유무 또는 눈동자 색 중 적어도 하나에 기초하여 상기 사용자에 대응되는 인종을 판단하는 것인, 맞춤형 콘텐츠 제공 서버.
The method according to claim 1,
Wherein the user race judging unit judges the race corresponding to the user based on at least one of the color of the user, the color of the hair, the curly hair, the presence of the double skin, or the pupil color of the user.
제 1 항에 있어서,
인종 별로 아바타 구성 이미지를 분류하여 저장하는 아바타 정보 DB(Database)
를 더 포함하며,
상기 아바타 구성 이미지 선택부는, 상기 아바타 정보 DB로부터 상기 사용자의 인종에 대응되는 아바타 구성 이미지를 선택하는 것인, 맞춤형 콘텐츠 제공 서버.
The method according to claim 1,
An avatar information DB for classifying and storing an avatar composition image by race,
Further comprising:
Wherein the avatar composition image selection unit selects an avatar composition image corresponding to the race of the user from the avatar information DB.
맞춤형 콘텐츠 제공 서버에 있어서,
콘텐츠에 포함된 등장 인물의 감정 상태를 판단하는 인물 상태 판단부;
상기 판단된 등장 인물의 감정 상태에 대응되는 사용자의 아바타 이미지를 선택하는 아바타 이미지 선택부;
상기 선택된 아바타 이미지를 상기 콘텐츠에 삽입하는 아바타 이미지 삽입부; 및
상기 콘텐츠에 포함된 음성 정보에 기초하여, 상기 삽입된 아바타 이미지의 입술 형상을 변경하는 립싱크 처리부;
를 포함하며,
상기 아바타 이미지가 삽입되어 립싱크 처리된 콘텐츠는 상기 사용자에게 제공되는 것인, 맞춤형 콘텐츠 제공 서버.
A personalized content providing server comprising:
A person state determination unit for determining an emotion state of a character included in the content;
An avatar image selecting unit for selecting an avatar image of a user corresponding to the determined emotion state of the character;
An avatar image inserting unit for inserting the selected avatar image into the contents; And
A lipsync processing unit for changing a lip shape of the inserted avatar image based on voice information included in the content;
/ RTI >
And wherein the content that has been lip-synced with the avatar image inserted is provided to the user.
제 7 항에 있어서,
상기 사용자의 아바타 이미지는, 상기 사용자의 얼굴 촬영 영상으로부터 상기 사용자의 얼굴 구성이 구별되고, 상기 구별된 얼굴 구성에 기초하여 복수의 표정으로 생성된 것인, 맞춤형 콘텐츠 제공 서버.
8. The method of claim 7,
Wherein the avatar image of the user is generated with a plurality of facial expressions based on the facial configuration of the user distinguished from the face captured image of the user.
제 8 항에 있어서,
상기 사용자 아바타 이미지는 상기 사용자의 얼굴 구성에 기초하여 판단된 인종에 대응되는 아바타 이미지인 것인, 맞춤형 콘텐츠 제공 서버.
9. The method of claim 8,
Wherein the user avatar image is an avatar image corresponding to a race determined on the basis of the face configuration of the user.
제 7 항에 있어서,
상기 인물 상태 판단부는, 상기 콘텐츠의 프레임을 기준으로 상기 프레임에 포함된 등장 인물의 감정 상태를 판단하는 것인, 맞춤형 콘텐츠 제공 서버.
8. The method of claim 7,
Wherein the person state determination unit determines an emotion state of a character included in the frame based on the frame of the content.
제 7 항에 있어서,
상기 인물 상태 판단부는, 상기 콘텐츠에 포함된 텍스트, 영상, 음성 또는 상기 콘텐츠에 관한 대본 중 적어도 하나에 기초하여, 상기 콘텐츠에 포함된 등장 인물의 감정 상태를 판단하는 것인, 맞춤형 콘텐츠 제공 서버.
8. The method of claim 7,
Wherein the person state determination unit determines an emotion state of a character included in the content based on at least one of a text, an image, a voice, or a script related to the content included in the content.
제 7 항에 있어서,
상기 아바타 이미지 삽입부는, 상기 콘텐츠 내의 등장 인물의 위치에 상기 선택된 아바타 이미지를 오버레이하여 합성하는 것인, 맞춤형 콘텐츠 제공 서버.
8. The method of claim 7,
Wherein the avatar image inserting unit overlays and synthesizes the selected avatar image at a position of a character in the content.
맞춤형 콘텐츠 제공 서버에서, 사용자에게 맞춤형 콘텐츠를 제공하는 방법에 있어서,
사용자 단말로부터 사용자 촬영 이미지를 수신하는 단계;
상기 수신된 사용자 촬영 이미지로부터 상기 사용자의 얼굴 구성을 구별하는 단계;
상기 구별된 사용자의 얼굴 구성에 기초하여 상기 사용자에 대응되는 인종을 판단하는 단계;
상기 구별된 사용자 얼굴 구성 및 상기 판단된 인종에 기초하여, 아바타 이미지의 생성에 이용되는 아바타 구성 이미지를 선택하는 단계;
상기 선택된 구성 이미지를 조합하여 상기 사용자의 아바타 이미지를 생성하는 단계;
상기 생성된 아바타 이미지를 콘텐츠에 삽입하는 단계;
상기 콘텐츠에 포함된 음성 정보에 기초하여 상기 삽입된 아바타 이미지의 입술 형상이 변경되도록 립싱크 처리하는 단계; 및
상기 아바타 이미지가 삽입되어 립싱크 처리된 콘텐츠를 상기 사용자에게 제공하는 단계;
를 포함하는, 맞춤형 콘텐츠 제공 방법.
A method of providing a personalized content to a user in a personalized content providing server,
Receiving a user photographed image from a user terminal;
Identifying a face configuration of the user from the received user captured image;
Determining a race corresponding to the user based on the distinguished user's face composition;
Selecting an avatar configuration image to be used for generating an avatar image based on the distinguished user's face configuration and the determined race;
Generating an avatar image of the user by combining the selected configuration images;
Inserting the generated avatar image into the content;
Lip-syncing the lip shape of the inserted avatar image so that the lip shape of the inserted avatar image is changed based on the voice information included in the content; And
Providing the user with the lip-synced content with the avatar image embedded therein;
≪ / RTI >
제 13 항에 있어서,
상기 아바타 이미지를 콘텐츠에 삽입하는 단계는,
상기 콘텐츠 내의 등장 인물의 감정 상태에 기초하여 상기 콘텐츠에 삽입되는 것인, 맞춤형 콘텐츠 제공 방법.
14. The method of claim 13,
Wherein the step of inserting the avatar image into the content comprises:
Wherein the content is inserted into the content based on an emotional state of a character in the content.
삭제delete 제 14 항에 있어서,
상기 아바타 구성 이미지를 선택하는 단계는, 상기 사용자 얼굴 구성 별로 각각 대응되는 복수의 아바타 구성 이미지를 선택하고,
상기 아바타 이미지를 생성하는 단계는, 상기 선택된 아바타 구성 이미지를 조합하여, 복수의 아바타 이미지를 생성하는 것인, 맞춤형 콘텐츠 제공 방법.
15. The method of claim 14,
Wherein the step of selecting the avatar configuration image comprises: selecting a plurality of avatar configuration images corresponding to the user's face configuration,
Wherein the step of generating the avatar image combines the selected avatar composition images to generate a plurality of avatar images.
맞춤형 콘텐츠 제공 서버에서, 사용자에게 맞춤형 콘텐츠를 제공하는 방법에 있어서,
사용자 촬영 영상에 기초하여 복수의 사용자 아바타 이미지를 생성하는 단계;
콘텐츠에 포함된 등장 인물의 감정 상태를 판단하는 단계;
상기 복수의 사용자 아바타 이미지 중에서 상기 판단된 등장 인물의 감정 상태에 대응되는 아바타 이미지를 선택하는 단계;
상기 선택된 아바타 이미지를 상기 콘텐츠에 삽입하는 단계;
상기 콘텐츠에 포함된 음성 정보에 기초하여 상기 삽입된 아바타 이미지의 입술 형상이 변경되도록 립싱크 처리하는 단계; 및
상기 아바타 이미지가 삽입되어 립싱크 처리된 콘텐츠를 상기 사용자에게 제공하는 단계;
를 포함하는, 맞춤형 콘텐츠 제공 방법.
A method of providing a personalized content to a user in a personalized content providing server,
Generating a plurality of user avatar images based on a user photographed image;
Determining an emotional state of a character included in the content;
Selecting an avatar image corresponding to an emotional state of the determined character from among the plurality of user avatar images;
Inserting the selected avatar image into the content;
Lip-syncing the lip shape of the inserted avatar image so that the lip shape of the inserted avatar image is changed based on the voice information included in the content; And
Providing the user with the lip-synced content with the avatar image embedded therein;
≪ / RTI >
삭제delete
KR1020100132421A 2010-12-22 2010-12-22 System and method for providing personalized content Active KR101445263B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100132421A KR101445263B1 (en) 2010-12-22 2010-12-22 System and method for providing personalized content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100132421A KR101445263B1 (en) 2010-12-22 2010-12-22 System and method for providing personalized content

Publications (2)

Publication Number Publication Date
KR20120070898A KR20120070898A (en) 2012-07-02
KR101445263B1 true KR101445263B1 (en) 2014-09-30

Family

ID=46706069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132421A Active KR101445263B1 (en) 2010-12-22 2010-12-22 System and method for providing personalized content

Country Status (1)

Country Link
KR (1) KR101445263B1 (en)

Cited By (211)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10848446B1 (en) 2016-07-19 2020-11-24 Snap Inc. Displaying customized electronic messaging graphics
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US10880246B2 (en) 2016-10-24 2020-12-29 Snap Inc. Generating and displaying customized avatars in electronic messages
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US10936157B2 (en) 2017-11-29 2021-03-02 Snap Inc. Selectable item including a customized graphic for an electronic messaging application
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
US10952013B1 (en) 2017-04-27 2021-03-16 Snap Inc. Selective location-based identity communication
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10963529B1 (en) 2017-04-27 2021-03-30 Snap Inc. Location-based search mechanism in a graphical user interface
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US10984569B2 (en) 2016-06-30 2021-04-20 Snap Inc. Avatar based ideogram generation
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
US10991395B1 (en) 2014-02-05 2021-04-27 Snap Inc. Method for real time video processing involving changing a color of an object on a human face in a video
US11010022B2 (en) 2019-02-06 2021-05-18 Snap Inc. Global event-based avatar
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US11030789B2 (en) 2017-10-30 2021-06-08 Snap Inc. Animated chat presence
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11039270B2 (en) 2019-03-28 2021-06-15 Snap Inc. Points of interest in a location sharing system
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11048916B2 (en) 2016-03-31 2021-06-29 Snap Inc. Automated avatar generation
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11100311B2 (en) 2016-10-19 2021-08-24 Snap Inc. Neural networks for facial modeling
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US11120601B2 (en) 2018-02-28 2021-09-14 Snap Inc. Animated expressive icon
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US11120597B2 (en) 2017-10-26 2021-09-14 Snap Inc. Joint audio-video facial animation system
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11229849B2 (en) 2012-05-08 2022-01-25 Snap Inc. System and method for generating and displaying avatars
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11411895B2 (en) 2017-11-29 2022-08-09 Snap Inc. Generating aggregated media content items for a group of users in an electronic messaging application
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11425068B2 (en) 2009-02-03 2022-08-23 Snap Inc. Interactive avatar in messaging environment
US11438341B1 (en) 2016-10-10 2022-09-06 Snap Inc. Social media post subscribe requests for buffer user accounts
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11455082B2 (en) 2018-09-28 2022-09-27 Snap Inc. Collaborative achievement interface
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11544883B1 (en) 2017-01-16 2023-01-03 Snap Inc. Coded vision system
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US11580700B2 (en) 2016-10-24 2023-02-14 Snap Inc. Augmented reality object manipulation
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11651539B2 (en) 2020-01-30 2023-05-16 Snap Inc. System for generating media content items on demand
US11662900B2 (en) 2016-05-31 2023-05-30 Snap Inc. Application control using a gesture based trigger
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11683280B2 (en) 2020-06-10 2023-06-20 Snap Inc. Messaging system including an external-resource dock and drawer
US11704878B2 (en) 2017-01-09 2023-07-18 Snap Inc. Surface aware lens
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11830209B2 (en) 2017-05-26 2023-11-28 Snap Inc. Neural network-based image stream modification
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11842411B2 (en) 2017-04-27 2023-12-12 Snap Inc. Location-based virtual avatars
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11870743B1 (en) 2017-01-23 2024-01-09 Snap Inc. Customized digital avatar accessories
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11875439B2 (en) 2018-04-18 2024-01-16 Snap Inc. Augmented expression system
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11888795B2 (en) 2020-09-21 2024-01-30 Snap Inc. Chats with micro sound clips
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11969075B2 (en) 2020-03-31 2024-04-30 Snap Inc. Augmented reality beauty product tutorials
WO2024091021A1 (en) * 2022-10-26 2024-05-02 삼성전자 주식회사 Electronic device and operating method therefor
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
US11996113B2 (en) 2021-10-29 2024-05-28 Snap Inc. Voice notes with changing effects
US12002146B2 (en) 2022-03-28 2024-06-04 Snap Inc. 3D modeling based on neural light field
US12008811B2 (en) 2020-12-30 2024-06-11 Snap Inc. Machine learning-based selection of a representative video frame within a messaging application
US12020386B2 (en) 2022-06-23 2024-06-25 Snap Inc. Applying pregenerated virtual experiences in new location
US12020358B2 (en) 2021-10-29 2024-06-25 Snap Inc. Animated custom sticker creation
US12020384B2 (en) 2022-06-21 2024-06-25 Snap Inc. Integrating augmented reality experiences with other components
US12034680B2 (en) 2021-03-31 2024-07-09 Snap Inc. User presence indication data management
US12046037B2 (en) 2020-06-10 2024-07-23 Snap Inc. Adding beauty products to augmented reality tutorials
US12047337B1 (en) 2023-07-03 2024-07-23 Snap Inc. Generating media content items during user interaction
US12051163B2 (en) 2022-08-25 2024-07-30 Snap Inc. External computer vision for an eyewear device
US12056792B2 (en) 2020-12-30 2024-08-06 Snap Inc. Flow-guided motion retargeting
US12062146B2 (en) 2022-07-28 2024-08-13 Snap Inc. Virtual wardrobe AR experience
US12062144B2 (en) 2022-05-27 2024-08-13 Snap Inc. Automated augmented reality experience creation based on sample source and target images
US12067214B2 (en) 2020-06-25 2024-08-20 Snap Inc. Updating avatar clothing for a user of a messaging system
US12067804B2 (en) 2021-03-22 2024-08-20 Snap Inc. True size eyewear experience in real time
US12070682B2 (en) 2019-03-29 2024-08-27 Snap Inc. 3D avatar plugin for third-party games
US12080065B2 (en) 2019-11-22 2024-09-03 Snap Inc Augmented reality items based on scan
US12086916B2 (en) 2021-10-22 2024-09-10 Snap Inc. Voice note with face tracking
US12096153B2 (en) 2021-12-21 2024-09-17 Snap Inc. Avatar call platform
US12100156B2 (en) 2021-04-12 2024-09-24 Snap Inc. Garment segmentation
US12106486B2 (en) 2021-02-24 2024-10-01 Snap Inc. Whole body visual effects
US12142257B2 (en) 2022-02-08 2024-11-12 Snap Inc. Emotion-based text to speech
US12148105B2 (en) 2022-03-30 2024-11-19 Snap Inc. Surface normals for pixel-aligned object
US12149489B2 (en) 2023-03-14 2024-11-19 Snap Inc. Techniques for recommending reply stickers
US12154232B2 (en) 2022-09-30 2024-11-26 Snap Inc. 9-DoF object tracking
US12165243B2 (en) 2021-03-30 2024-12-10 Snap Inc. Customizable avatar modification system
US12164109B2 (en) 2022-04-29 2024-12-10 Snap Inc. AR/VR enabled contact lens
US12166734B2 (en) 2019-09-27 2024-12-10 Snap Inc. Presenting reactions from friends
US12170638B2 (en) 2021-03-31 2024-12-17 Snap Inc. User presence status indicators generation and management
US12175570B2 (en) 2021-03-31 2024-12-24 Snap Inc. Customizable avatar generation system
US12184809B2 (en) 2020-06-25 2024-12-31 Snap Inc. Updating an avatar status for a user of a messaging system
US12182583B2 (en) 2021-05-19 2024-12-31 Snap Inc. Personalized avatar experience during a system boot process
US12198287B2 (en) 2022-01-17 2025-01-14 Snap Inc. AR body part tracking system
US12198664B2 (en) 2021-09-02 2025-01-14 Snap Inc. Interactive fashion with music AR
US12198398B2 (en) 2021-12-21 2025-01-14 Snap Inc. Real-time motion and appearance transfer
US12223672B2 (en) 2021-12-21 2025-02-11 Snap Inc. Real-time garment exchange
US12229901B2 (en) 2022-10-05 2025-02-18 Snap Inc. External screen streaming for an eyewear device
US12236512B2 (en) 2022-08-23 2025-02-25 Snap Inc. Avatar call on an eyewear device
US12235991B2 (en) 2022-07-06 2025-02-25 Snap Inc. Obscuring elements based on browser focus
US12243266B2 (en) 2022-12-29 2025-03-04 Snap Inc. Device pairing using machine-readable optical label
US12242979B1 (en) 2019-03-12 2025-03-04 Snap Inc. Departure time estimation in a location sharing system
US12254577B2 (en) 2022-04-05 2025-03-18 Snap Inc. Pixel depth determination for object
US12277632B2 (en) 2022-04-26 2025-04-15 Snap Inc. Augmented reality experiences with dual cameras
US12284146B2 (en) 2020-09-16 2025-04-22 Snap Inc. Augmented reality auto reactions
US12284698B2 (en) 2022-07-20 2025-04-22 Snap Inc. Secure peer-to-peer connections between mobile devices
US12288273B2 (en) 2022-10-28 2025-04-29 Snap Inc. Avatar fashion delivery
US12293433B2 (en) 2022-04-25 2025-05-06 Snap Inc. Real-time modifications in augmented reality experiences
US12299775B2 (en) 2023-02-20 2025-05-13 Snap Inc. Augmented reality experience with lighting adjustment
US12307564B2 (en) 2022-07-07 2025-05-20 Snap Inc. Applying animated 3D avatar in AR experiences
US12315495B2 (en) 2021-12-17 2025-05-27 Snap Inc. Speech to entity
US12321577B2 (en) 2020-12-31 2025-06-03 Snap Inc. Avatar customization system
US12327277B2 (en) 2021-04-12 2025-06-10 Snap Inc. Home based augmented reality shopping
US12335213B1 (en) 2019-03-29 2025-06-17 Snap Inc. Generating recipient-personalized media content items
US12340453B2 (en) 2023-02-02 2025-06-24 Snap Inc. Augmented reality try-on experience for friend
US12354355B2 (en) 2020-12-30 2025-07-08 Snap Inc. Machine learning-based selection of a representative video frame within a messaging application
US12361934B2 (en) 2022-07-14 2025-07-15 Snap Inc. Boosting words in automated speech recognition
US12380618B2 (en) 2021-09-13 2025-08-05 Snap Inc. Controlling interactive fashion based on voice
US12387436B2 (en) 2018-12-20 2025-08-12 Snap Inc. Virtual surface modification
US12394154B2 (en) 2023-04-13 2025-08-19 Snap Inc. Body mesh reconstruction from RGB image
USD1089291S1 (en) 2021-09-28 2025-08-19 Snap Inc. Display screen or portion thereof with a graphical user interface
US12412205B2 (en) 2021-12-30 2025-09-09 Snap Inc. Method, system, and medium for augmented reality product recommendations
US12417562B2 (en) 2023-01-25 2025-09-16 Snap Inc. Synthetic view for try-on experience
US12429953B2 (en) 2022-12-09 2025-09-30 Snap Inc. Multi-SoC hand-tracking platform
US12436598B2 (en) 2023-05-01 2025-10-07 Snap Inc. Techniques for using 3-D avatars in augmented reality messaging
US12444138B2 (en) 2024-07-03 2025-10-14 Snap Inc. Rendering 3D captions within real-world environments

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024053848A1 (en) * 2022-09-06 2024-03-14 Samsung Electronics Co., Ltd. A method and a system for generating an imaginary avatar of an object

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010102873A (en) * 2001-04-23 2001-11-17 이동광 Method and system for generating an avatar of real-picture using finite image templates
KR20060115700A (en) * 2006-10-20 2006-11-09 주식회사 제스틴 Flash language learning system for children with easy face changes
KR20100025862A (en) * 2008-08-28 2010-03-10 동명대학교산학협력단 Facial physiognomic judgment of fortune and face avatar generation system using a face recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010102873A (en) * 2001-04-23 2001-11-17 이동광 Method and system for generating an avatar of real-picture using finite image templates
KR20060115700A (en) * 2006-10-20 2006-11-09 주식회사 제스틴 Flash language learning system for children with easy face changes
KR20100025862A (en) * 2008-08-28 2010-03-10 동명대학교산학협력단 Facial physiognomic judgment of fortune and face avatar generation system using a face recognition

Cited By (398)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11425068B2 (en) 2009-02-03 2022-08-23 Snap Inc. Interactive avatar in messaging environment
US11607616B2 (en) 2012-05-08 2023-03-21 Snap Inc. System and method for generating and displaying avatars
US11229849B2 (en) 2012-05-08 2022-01-25 Snap Inc. System and method for generating and displaying avatars
US11925869B2 (en) 2012-05-08 2024-03-12 Snap Inc. System and method for generating and displaying avatars
US11443772B2 (en) 2014-02-05 2022-09-13 Snap Inc. Method for triggering events in a video
US10991395B1 (en) 2014-02-05 2021-04-27 Snap Inc. Method for real time video processing involving changing a color of an object on a human face in a video
US11651797B2 (en) 2014-02-05 2023-05-16 Snap Inc. Real time video processing for changing proportions of an object in the video
US11048916B2 (en) 2016-03-31 2021-06-29 Snap Inc. Automated avatar generation
US11631276B2 (en) 2016-03-31 2023-04-18 Snap Inc. Automated avatar generation
US11662900B2 (en) 2016-05-31 2023-05-30 Snap Inc. Application control using a gesture based trigger
US12131015B2 (en) 2016-05-31 2024-10-29 Snap Inc. Application control using a gesture based trigger
US10984569B2 (en) 2016-06-30 2021-04-20 Snap Inc. Avatar based ideogram generation
US12406416B2 (en) 2016-06-30 2025-09-02 Snap Inc. Avatar based ideogram generation
US11438288B2 (en) 2016-07-19 2022-09-06 Snap Inc. Displaying customized electronic messaging graphics
US11418470B2 (en) 2016-07-19 2022-08-16 Snap Inc. Displaying customized electronic messaging graphics
US10848446B1 (en) 2016-07-19 2020-11-24 Snap Inc. Displaying customized electronic messaging graphics
US11509615B2 (en) 2016-07-19 2022-11-22 Snap Inc. Generating customized electronic messaging graphics
US10855632B2 (en) 2016-07-19 2020-12-01 Snap Inc. Displaying customized electronic messaging graphics
US11438341B1 (en) 2016-10-10 2022-09-06 Snap Inc. Social media post subscribe requests for buffer user accounts
US11962598B2 (en) 2016-10-10 2024-04-16 Snap Inc. Social media post subscribe requests for buffer user accounts
US11100311B2 (en) 2016-10-19 2021-08-24 Snap Inc. Neural networks for facial modeling
US11580700B2 (en) 2016-10-24 2023-02-14 Snap Inc. Augmented reality object manipulation
US11876762B1 (en) 2016-10-24 2024-01-16 Snap Inc. Generating and displaying customized avatars in media overlays
US12361652B2 (en) 2016-10-24 2025-07-15 Snap Inc. Augmented reality object manipulation
US12206635B2 (en) 2016-10-24 2025-01-21 Snap Inc. Generating and displaying customized avatars in electronic messages
US11218433B2 (en) 2016-10-24 2022-01-04 Snap Inc. Generating and displaying customized avatars in electronic messages
US10880246B2 (en) 2016-10-24 2020-12-29 Snap Inc. Generating and displaying customized avatars in electronic messages
US10938758B2 (en) 2016-10-24 2021-03-02 Snap Inc. Generating and displaying customized avatars in media overlays
US12113760B2 (en) 2016-10-24 2024-10-08 Snap Inc. Generating and displaying customized avatars in media overlays
US11843456B2 (en) 2016-10-24 2023-12-12 Snap Inc. Generating and displaying customized avatars in media overlays
US12316589B2 (en) 2016-10-24 2025-05-27 Snap Inc. Generating and displaying customized avatars in media overlays
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US12217374B2 (en) 2017-01-09 2025-02-04 Snap Inc. Surface aware lens
US12028301B2 (en) 2017-01-09 2024-07-02 Snap Inc. Contextual generation and selection of customized media content
US11704878B2 (en) 2017-01-09 2023-07-18 Snap Inc. Surface aware lens
US11989809B2 (en) 2017-01-16 2024-05-21 Snap Inc. Coded vision system
US12387405B2 (en) 2017-01-16 2025-08-12 Snap Inc. Coded vision system
US11544883B1 (en) 2017-01-16 2023-01-03 Snap Inc. Coded vision system
US11991130B2 (en) 2017-01-18 2024-05-21 Snap Inc. Customized contextual media content item generation
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US11870743B1 (en) 2017-01-23 2024-01-09 Snap Inc. Customized digital avatar accessories
US12363056B2 (en) 2017-01-23 2025-07-15 Snap Inc. Customized digital avatar accessories
US11593980B2 (en) 2017-04-20 2023-02-28 Snap Inc. Customized user interface for electronic communications
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US12112013B2 (en) 2017-04-27 2024-10-08 Snap Inc. Location privacy management on map-based social media platforms
US12223156B2 (en) 2017-04-27 2025-02-11 Snap Inc. Low-latency delivery mechanism for map-based GUI
US11842411B2 (en) 2017-04-27 2023-12-12 Snap Inc. Location-based virtual avatars
US11474663B2 (en) 2017-04-27 2022-10-18 Snap Inc. Location-based search mechanism in a graphical user interface
US12058583B2 (en) 2017-04-27 2024-08-06 Snap Inc. Selective location-based identity communication
US11418906B2 (en) 2017-04-27 2022-08-16 Snap Inc. Selective location-based identity communication
US11392264B1 (en) 2017-04-27 2022-07-19 Snap Inc. Map-based graphical user interface for multi-type social media galleries
US12393318B2 (en) 2017-04-27 2025-08-19 Snap Inc. Map-based graphical user interface for ephemeral social media content
US12131003B2 (en) 2017-04-27 2024-10-29 Snap Inc. Map-based graphical user interface indicating geospatial activity metrics
US11385763B2 (en) 2017-04-27 2022-07-12 Snap Inc. Map-based graphical user interface indicating geospatial activity metrics
US12340064B2 (en) 2017-04-27 2025-06-24 Snap Inc. Map-based graphical user interface indicating geospatial activity metrics
US12086381B2 (en) 2017-04-27 2024-09-10 Snap Inc. Map-based graphical user interface for multi-type social media galleries
US10952013B1 (en) 2017-04-27 2021-03-16 Snap Inc. Selective location-based identity communication
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US11451956B1 (en) 2017-04-27 2022-09-20 Snap Inc. Location privacy management on map-based social media platforms
US11782574B2 (en) 2017-04-27 2023-10-10 Snap Inc. Map-based graphical user interface indicating geospatial activity metrics
US11995288B2 (en) 2017-04-27 2024-05-28 Snap Inc. Location-based search mechanism in a graphical user interface
US10963529B1 (en) 2017-04-27 2021-03-30 Snap Inc. Location-based search mechanism in a graphical user interface
US11830209B2 (en) 2017-05-26 2023-11-28 Snap Inc. Neural network-based image stream modification
US12177273B2 (en) 2017-07-28 2024-12-24 Snap Inc. Software application manager for messaging applications
US11882162B2 (en) 2017-07-28 2024-01-23 Snap Inc. Software application manager for messaging applications
US11659014B2 (en) 2017-07-28 2023-05-23 Snap Inc. Software application manager for messaging applications
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US12182919B2 (en) 2017-10-26 2024-12-31 Snap Inc. Joint audio-video facial animation system
US11610354B2 (en) 2017-10-26 2023-03-21 Snap Inc. Joint audio-video facial animation system
US11120597B2 (en) 2017-10-26 2021-09-14 Snap Inc. Joint audio-video facial animation system
US12212614B2 (en) 2017-10-30 2025-01-28 Snap Inc. Animated chat presence
US11030789B2 (en) 2017-10-30 2021-06-08 Snap Inc. Animated chat presence
US11706267B2 (en) 2017-10-30 2023-07-18 Snap Inc. Animated chat presence
US11354843B2 (en) 2017-10-30 2022-06-07 Snap Inc. Animated chat presence
US11930055B2 (en) 2017-10-30 2024-03-12 Snap Inc. Animated chat presence
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
US12265692B2 (en) 2017-11-28 2025-04-01 Snap Inc. Content discovery refresh
US12242708B2 (en) 2017-11-29 2025-03-04 Snap Inc. Selectable item including a customized graphic for an electronic messaging application
US11411895B2 (en) 2017-11-29 2022-08-09 Snap Inc. Generating aggregated media content items for a group of users in an electronic messaging application
US10936157B2 (en) 2017-11-29 2021-03-02 Snap Inc. Selectable item including a customized graphic for an electronic messaging application
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
US11769259B2 (en) 2018-01-23 2023-09-26 Snap Inc. Region-based stabilized face tracking
US12299905B2 (en) 2018-01-23 2025-05-13 Snap Inc. Region-based stabilized face tracking
US11688119B2 (en) 2018-02-28 2023-06-27 Snap Inc. Animated expressive icon
US11880923B2 (en) 2018-02-28 2024-01-23 Snap Inc. Animated expressive icon
US11468618B2 (en) 2018-02-28 2022-10-11 Snap Inc. Animated expressive icon
US12400389B2 (en) 2018-02-28 2025-08-26 Snap Inc. Animated expressive icon
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US11523159B2 (en) 2018-02-28 2022-12-06 Snap Inc. Generating media content items based on location information
US11120601B2 (en) 2018-02-28 2021-09-14 Snap Inc. Animated expressive icon
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
US12113756B2 (en) 2018-04-13 2024-10-08 Snap Inc. Content suggestion system
US11875439B2 (en) 2018-04-18 2024-01-16 Snap Inc. Augmented expression system
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11715268B2 (en) 2018-08-30 2023-08-01 Snap Inc. Video clip object tracking
US11348301B2 (en) 2018-09-19 2022-05-31 Snap Inc. Avatar style transformation using neural networks
US12182921B2 (en) 2018-09-19 2024-12-31 Snap Inc. Avatar style transformation using neural networks
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US11294545B2 (en) 2018-09-25 2022-04-05 Snap Inc. Interface to display shared user groups
US11868590B2 (en) 2018-09-25 2024-01-09 Snap Inc. Interface to display shared user groups
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US11171902B2 (en) 2018-09-28 2021-11-09 Snap Inc. Generating customized graphics having reactions to electronic message content
US11477149B2 (en) 2018-09-28 2022-10-18 Snap Inc. Generating customized graphics having reactions to electronic message content
US11455082B2 (en) 2018-09-28 2022-09-27 Snap Inc. Collaborative achievement interface
US11610357B2 (en) 2018-09-28 2023-03-21 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US12105938B2 (en) 2018-09-28 2024-10-01 Snap Inc. Collaborative achievement interface
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US11824822B2 (en) 2018-09-28 2023-11-21 Snap Inc. Generating customized graphics having reactions to electronic message content
US11704005B2 (en) 2018-09-28 2023-07-18 Snap Inc. Collaborative achievement interface
US12316597B2 (en) 2018-09-28 2025-05-27 Snap Inc. System and method of generating private notifications between users in a communication session
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US11321896B2 (en) 2018-10-31 2022-05-03 Snap Inc. 3D avatar rendering
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US12020377B2 (en) 2018-11-27 2024-06-25 Snap Inc. Textured mesh building
US11836859B2 (en) 2018-11-27 2023-12-05 Snap Inc. Textured mesh building
US11620791B2 (en) 2018-11-27 2023-04-04 Snap Inc. Rendering 3D captions within real-world environments
US20220044479A1 (en) 2018-11-27 2022-02-10 Snap Inc. Textured mesh building
US12106441B2 (en) 2018-11-27 2024-10-01 Snap Inc. Rendering 3D captions within real-world environments
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US12322021B2 (en) 2018-11-28 2025-06-03 Snap Inc. Dynamic composite user identifier
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US11887237B2 (en) 2018-11-28 2024-01-30 Snap Inc. Dynamic composite user identifier
US12153788B2 (en) 2018-11-30 2024-11-26 Snap Inc. Generating customized avatars based on location information
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US11315259B2 (en) 2018-11-30 2022-04-26 Snap Inc. Efficient human pose tracking in videos
US11698722B2 (en) 2018-11-30 2023-07-11 Snap Inc. Generating customized avatars based on location information
US11783494B2 (en) 2018-11-30 2023-10-10 Snap Inc. Efficient human pose tracking in videos
US12165335B2 (en) 2018-11-30 2024-12-10 Snap Inc. Efficient human pose tracking in videos
US11798261B2 (en) 2018-12-14 2023-10-24 Snap Inc. Image face manipulation
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US12387436B2 (en) 2018-12-20 2025-08-12 Snap Inc. Virtual surface modification
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US11877211B2 (en) 2019-01-14 2024-01-16 Snap Inc. Destination sharing in location sharing system
US12213028B2 (en) 2019-01-14 2025-01-28 Snap Inc. Destination sharing in location sharing system
US10945098B2 (en) 2019-01-16 2021-03-09 Snap Inc. Location-based context information sharing in a messaging system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11751015B2 (en) 2019-01-16 2023-09-05 Snap Inc. Location-based context information sharing in a messaging system
US12192854B2 (en) 2019-01-16 2025-01-07 Snap Inc. Location-based context information sharing in a messaging system
US12299004B2 (en) 2019-01-30 2025-05-13 Snap Inc. Adaptive spatial density based clustering
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US11693887B2 (en) 2019-01-30 2023-07-04 Snap Inc. Adaptive spatial density based clustering
US11010022B2 (en) 2019-02-06 2021-05-18 Snap Inc. Global event-based avatar
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US11557075B2 (en) 2019-02-06 2023-01-17 Snap Inc. Body pose estimation
US12131006B2 (en) 2019-02-06 2024-10-29 Snap Inc. Global event-based avatar
US11714524B2 (en) 2019-02-06 2023-08-01 Snap Inc. Global event-based avatar
US12136158B2 (en) 2019-02-06 2024-11-05 Snap Inc. Body pose estimation
US11809624B2 (en) 2019-02-13 2023-11-07 Snap Inc. Sleep detection in a location sharing system
US11275439B2 (en) 2019-02-13 2022-03-15 Snap Inc. Sleep detection in a location sharing system
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US11574431B2 (en) 2019-02-26 2023-02-07 Snap Inc. Avatar based on weather
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US11301117B2 (en) 2019-03-08 2022-04-12 Snap Inc. Contextual information in chat
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US12242979B1 (en) 2019-03-12 2025-03-04 Snap Inc. Departure time estimation in a location sharing system
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US12141215B2 (en) 2019-03-14 2024-11-12 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11638115B2 (en) 2019-03-28 2023-04-25 Snap Inc. Points of interest in a location sharing system
US12439223B2 (en) 2019-03-28 2025-10-07 Snap Inc. Grouped transmission of location data in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
US11039270B2 (en) 2019-03-28 2021-06-15 Snap Inc. Points of interest in a location sharing system
US12070682B2 (en) 2019-03-29 2024-08-27 Snap Inc. 3D avatar plugin for third-party games
US12335213B1 (en) 2019-03-29 2025-06-17 Snap Inc. Generating recipient-personalized media content items
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
US11973732B2 (en) 2019-04-30 2024-04-30 Snap Inc. Messaging system with avatar generation
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US11917495B2 (en) 2019-06-07 2024-02-27 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11601783B2 (en) 2019-06-07 2023-03-07 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US12211159B2 (en) 2019-06-28 2025-01-28 Snap Inc. 3D object camera customization system
US11823341B2 (en) 2019-06-28 2023-11-21 Snap Inc. 3D object camera customization system
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US12147644B2 (en) 2019-06-28 2024-11-19 Snap Inc. Generating animation overlays in a communication session
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US12056760B2 (en) 2019-06-28 2024-08-06 Snap Inc. Generating customizable avatar outfits
US11443491B2 (en) 2019-06-28 2022-09-13 Snap Inc. 3D object camera customization system
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US12147654B2 (en) 2019-07-11 2024-11-19 Snap Inc. Edge gesture interface with smart interactions
US11714535B2 (en) 2019-07-11 2023-08-01 Snap Inc. Edge gesture interface with smart interactions
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US12099701B2 (en) 2019-08-05 2024-09-24 Snap Inc. Message thread prioritization interface
US11956192B2 (en) 2019-08-12 2024-04-09 Snap Inc. Message reminder interface
US12438837B2 (en) 2019-08-12 2025-10-07 Snap Inc. Message reminder interface
US11588772B2 (en) 2019-08-12 2023-02-21 Snap Inc. Message reminder interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11822774B2 (en) 2019-09-16 2023-11-21 Snap Inc. Messaging system with battery level sharing
US11662890B2 (en) 2019-09-16 2023-05-30 Snap Inc. Messaging system with battery level sharing
US12099703B2 (en) 2019-09-16 2024-09-24 Snap Inc. Messaging system with battery level sharing
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US12166734B2 (en) 2019-09-27 2024-12-10 Snap Inc. Presenting reactions from friends
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11270491B2 (en) 2019-09-30 2022-03-08 Snap Inc. Dynamic parameterized user avatar stories
US11676320B2 (en) 2019-09-30 2023-06-13 Snap Inc. Dynamic media collection generation
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US12080065B2 (en) 2019-11-22 2024-09-03 Snap Inc Augmented reality items based on scan
US12341736B2 (en) 2019-12-03 2025-06-24 Snap Inc. Personalized avatar notification
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11563702B2 (en) 2019-12-03 2023-01-24 Snap Inc. Personalized avatar notification
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11582176B2 (en) 2019-12-09 2023-02-14 Snap Inc. Context sensitive avatar captions
US12273308B2 (en) 2019-12-09 2025-04-08 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11594025B2 (en) 2019-12-11 2023-02-28 Snap Inc. Skeletal tracking using previous frames
US12198372B2 (en) 2019-12-11 2025-01-14 Snap Inc. Skeletal tracking using previous frames
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11810220B2 (en) 2019-12-19 2023-11-07 Snap Inc. 3D captions with face tracking
US11636657B2 (en) 2019-12-19 2023-04-25 Snap Inc. 3D captions with semantic graphical elements
US12175613B2 (en) 2019-12-19 2024-12-24 Snap Inc. 3D captions with face tracking
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11908093B2 (en) 2019-12-19 2024-02-20 Snap Inc. 3D captions with semantic graphical elements
US12347045B2 (en) 2019-12-19 2025-07-01 Snap Inc. 3D captions with semantic graphical elements
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US12063569B2 (en) 2019-12-30 2024-08-13 Snap Inc. Interfaces for relative device positioning
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11893208B2 (en) 2019-12-31 2024-02-06 Snap Inc. Combined map icon with action indicator
US11263254B2 (en) 2020-01-30 2022-03-01 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11831937B2 (en) 2020-01-30 2023-11-28 Snap Inc. Video generation system to render frames on demand using a fleet of GPUS
US11729441B2 (en) 2020-01-30 2023-08-15 Snap Inc. Video generation system to render frames on demand
US11651539B2 (en) 2020-01-30 2023-05-16 Snap Inc. System for generating media content items on demand
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US12335575B2 (en) 2020-01-30 2025-06-17 Snap Inc. Selecting avatars to be included in the video being generated on demand
US12111863B2 (en) 2020-01-30 2024-10-08 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US12231709B2 (en) 2020-01-30 2025-02-18 Snap Inc. Video generation system to render frames on demand using a fleet of GPUS
US12277638B2 (en) 2020-01-30 2025-04-15 Snap Inc. System for generating media content items on demand
US11651022B2 (en) 2020-01-30 2023-05-16 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11775165B2 (en) 2020-03-16 2023-10-03 Snap Inc. 3D cutout image modification
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
US11978140B2 (en) 2020-03-30 2024-05-07 Snap Inc. Personalized media overlay recommendation
US11969075B2 (en) 2020-03-31 2024-04-30 Snap Inc. Augmented reality beauty product tutorials
US12226001B2 (en) 2020-03-31 2025-02-18 Snap Inc. Augmented reality beauty product tutorials
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US12348467B2 (en) 2020-05-08 2025-07-01 Snap Inc. Messaging system with a carousel of related entities
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11822766B2 (en) 2020-06-08 2023-11-21 Snap Inc. Encoded image based messaging system
US12386485B2 (en) 2020-06-08 2025-08-12 Snap Inc. Encoded image based messaging system
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11683280B2 (en) 2020-06-10 2023-06-20 Snap Inc. Messaging system including an external-resource dock and drawer
US12046037B2 (en) 2020-06-10 2024-07-23 Snap Inc. Adding beauty products to augmented reality tutorials
US12354353B2 (en) 2020-06-10 2025-07-08 Snap Inc. Adding beauty products to augmented reality tutorials
US12067214B2 (en) 2020-06-25 2024-08-20 Snap Inc. Updating avatar clothing for a user of a messaging system
US12184809B2 (en) 2020-06-25 2024-12-31 Snap Inc. Updating an avatar status for a user of a messaging system
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US12136153B2 (en) 2020-06-30 2024-11-05 Snap Inc. Messaging system with augmented reality makeup
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US12418504B2 (en) 2020-08-31 2025-09-16 Snap Inc. Media content playback and comments management
US11893301B2 (en) 2020-09-10 2024-02-06 Snap Inc. Colocated shared augmented reality without shared backend
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US12284146B2 (en) 2020-09-16 2025-04-22 Snap Inc. Augmented reality auto reactions
US11833427B2 (en) 2020-09-21 2023-12-05 Snap Inc. Graphical marker generation system for synchronizing users
US11888795B2 (en) 2020-09-21 2024-01-30 Snap Inc. Chats with micro sound clips
US12121811B2 (en) 2020-09-21 2024-10-22 Snap Inc. Graphical marker generation system for synchronization
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US12243173B2 (en) 2020-10-27 2025-03-04 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US12229860B2 (en) 2020-11-18 2025-02-18 Snap Inc. Body animation sharing and remixing
US12169890B2 (en) 2020-11-18 2024-12-17 Snap Inc. Personalized avatar real-time motion capture
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US12002175B2 (en) 2020-11-18 2024-06-04 Snap Inc. Real-time motion transfer for prosthetic limbs
US12056792B2 (en) 2020-12-30 2024-08-06 Snap Inc. Flow-guided motion retargeting
US12354355B2 (en) 2020-12-30 2025-07-08 Snap Inc. Machine learning-based selection of a representative video frame within a messaging application
US12008811B2 (en) 2020-12-30 2024-06-11 Snap Inc. Machine learning-based selection of a representative video frame within a messaging application
US12321577B2 (en) 2020-12-31 2025-06-03 Snap Inc. Avatar customization system
US12106486B2 (en) 2021-02-24 2024-10-01 Snap Inc. Whole body visual effects
US12205295B2 (en) 2021-02-24 2025-01-21 Snap Inc. Whole body segmentation
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US12164699B2 (en) 2021-03-16 2024-12-10 Snap Inc. Mirroring device with pointing based navigation
US12175575B2 (en) 2021-03-19 2024-12-24 Snap Inc. Augmented reality experience based on physical items
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US12067804B2 (en) 2021-03-22 2024-08-20 Snap Inc. True size eyewear experience in real time
US12387447B2 (en) 2021-03-22 2025-08-12 Snap Inc. True size eyewear in real time
US12165243B2 (en) 2021-03-30 2024-12-10 Snap Inc. Customizable avatar modification system
US12170638B2 (en) 2021-03-31 2024-12-17 Snap Inc. User presence status indicators generation and management
US12034680B2 (en) 2021-03-31 2024-07-09 Snap Inc. User presence indication data management
US12175570B2 (en) 2021-03-31 2024-12-24 Snap Inc. Customizable avatar generation system
US12218893B2 (en) 2021-03-31 2025-02-04 Snap Inc. User presence indication data management
US12327277B2 (en) 2021-04-12 2025-06-10 Snap Inc. Home based augmented reality shopping
US12100156B2 (en) 2021-04-12 2024-09-24 Snap Inc. Garment segmentation
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US12182583B2 (en) 2021-05-19 2024-12-31 Snap Inc. Personalized avatar experience during a system boot process
US11941767B2 (en) 2021-05-19 2024-03-26 Snap Inc. AR-based connected portal shopping
US12299256B2 (en) 2021-06-30 2025-05-13 Snap Inc. Hybrid search system for customizable media
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US12260450B2 (en) 2021-07-16 2025-03-25 Snap Inc. Personalized try-on ads
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US12380649B2 (en) 2021-08-31 2025-08-05 Snap Inc. Deforming custom mesh based on body mesh
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US12056832B2 (en) 2021-09-01 2024-08-06 Snap Inc. Controlling interactive fashion based on body gestures
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US12198664B2 (en) 2021-09-02 2025-01-14 Snap Inc. Interactive fashion with music AR
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US12367616B2 (en) 2021-09-09 2025-07-22 Snap Inc. Controlling interactive fashion based on facial expressions
US12380618B2 (en) 2021-09-13 2025-08-05 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US12086946B2 (en) 2021-09-14 2024-09-10 Snap Inc. Blending body mesh into external mesh
US12198281B2 (en) 2021-09-20 2025-01-14 Snap Inc. Deforming real-world object using an external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
USD1089291S1 (en) 2021-09-28 2025-08-19 Snap Inc. Display screen or portion thereof with a graphical user interface
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US12412347B2 (en) 2021-09-30 2025-09-09 Snap Inc. 3D upper garment tracking
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US12299830B2 (en) 2021-10-11 2025-05-13 Snap Inc. Inferring intent from pose and speech input
US12148108B2 (en) 2021-10-11 2024-11-19 Snap Inc. Light and rendering of garments
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US12217453B2 (en) 2021-10-20 2025-02-04 Snap Inc. Mirror-based augmented reality experience
US12086916B2 (en) 2021-10-22 2024-09-10 Snap Inc. Voice note with face tracking
US12347013B2 (en) 2021-10-29 2025-07-01 Snap Inc. Animated custom sticker creation
US12361627B2 (en) 2021-10-29 2025-07-15 Snap Inc. Customized animation from video
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
US11996113B2 (en) 2021-10-29 2024-05-28 Snap Inc. Voice notes with changing effects
US12020358B2 (en) 2021-10-29 2024-06-25 Snap Inc. Animated custom sticker creation
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US12170747B2 (en) 2021-12-07 2024-12-17 Snap Inc. Augmented reality unboxing experience
US12315495B2 (en) 2021-12-17 2025-05-27 Snap Inc. Speech to entity
US12096153B2 (en) 2021-12-21 2024-09-17 Snap Inc. Avatar call platform
US12223672B2 (en) 2021-12-21 2025-02-11 Snap Inc. Real-time garment exchange
US12198398B2 (en) 2021-12-21 2025-01-14 Snap Inc. Real-time motion and appearance transfer
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US12412205B2 (en) 2021-12-30 2025-09-09 Snap Inc. Method, system, and medium for augmented reality product recommendations
US12299832B2 (en) 2021-12-30 2025-05-13 Snap Inc. AR position and orientation along a plane
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US12198287B2 (en) 2022-01-17 2025-01-14 Snap Inc. AR body part tracking system
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US12142257B2 (en) 2022-02-08 2024-11-12 Snap Inc. Emotion-based text to speech
US12002146B2 (en) 2022-03-28 2024-06-04 Snap Inc. 3D modeling based on neural light field
US12148105B2 (en) 2022-03-30 2024-11-19 Snap Inc. Surface normals for pixel-aligned object
US12254577B2 (en) 2022-04-05 2025-03-18 Snap Inc. Pixel depth determination for object
US12293433B2 (en) 2022-04-25 2025-05-06 Snap Inc. Real-time modifications in augmented reality experiences
US12277632B2 (en) 2022-04-26 2025-04-15 Snap Inc. Augmented reality experiences with dual cameras
US12164109B2 (en) 2022-04-29 2024-12-10 Snap Inc. AR/VR enabled contact lens
US12062144B2 (en) 2022-05-27 2024-08-13 Snap Inc. Automated augmented reality experience creation based on sample source and target images
US12387444B2 (en) 2022-06-21 2025-08-12 Snap Inc. Integrating augmented reality experiences with other components
US12020384B2 (en) 2022-06-21 2024-06-25 Snap Inc. Integrating augmented reality experiences with other components
US12020386B2 (en) 2022-06-23 2024-06-25 Snap Inc. Applying pregenerated virtual experiences in new location
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US12170640B2 (en) 2022-06-28 2024-12-17 Snap Inc. Media gallery sharing and management
US12235991B2 (en) 2022-07-06 2025-02-25 Snap Inc. Obscuring elements based on browser focus
US12307564B2 (en) 2022-07-07 2025-05-20 Snap Inc. Applying animated 3D avatar in AR experiences
US12361934B2 (en) 2022-07-14 2025-07-15 Snap Inc. Boosting words in automated speech recognition
US12284698B2 (en) 2022-07-20 2025-04-22 Snap Inc. Secure peer-to-peer connections between mobile devices
US12062146B2 (en) 2022-07-28 2024-08-13 Snap Inc. Virtual wardrobe AR experience
US12236512B2 (en) 2022-08-23 2025-02-25 Snap Inc. Avatar call on an eyewear device
US12051163B2 (en) 2022-08-25 2024-07-30 Snap Inc. External computer vision for an eyewear device
US12154232B2 (en) 2022-09-30 2024-11-26 Snap Inc. 9-DoF object tracking
US12229901B2 (en) 2022-10-05 2025-02-18 Snap Inc. External screen streaming for an eyewear device
WO2024091021A1 (en) * 2022-10-26 2024-05-02 삼성전자 주식회사 Electronic device and operating method therefor
US12288273B2 (en) 2022-10-28 2025-04-29 Snap Inc. Avatar fashion delivery
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device
US12271536B2 (en) 2022-11-08 2025-04-08 Snap Inc. User avatar movement control using an augmented reality eyewear device
US12429953B2 (en) 2022-12-09 2025-09-30 Snap Inc. Multi-SoC hand-tracking platform
US12243266B2 (en) 2022-12-29 2025-03-04 Snap Inc. Device pairing using machine-readable optical label
US12417562B2 (en) 2023-01-25 2025-09-16 Snap Inc. Synthetic view for try-on experience
US12340453B2 (en) 2023-02-02 2025-06-24 Snap Inc. Augmented reality try-on experience for friend
US12299775B2 (en) 2023-02-20 2025-05-13 Snap Inc. Augmented reality experience with lighting adjustment
US12149489B2 (en) 2023-03-14 2024-11-19 Snap Inc. Techniques for recommending reply stickers
US12394154B2 (en) 2023-04-13 2025-08-19 Snap Inc. Body mesh reconstruction from RGB image
US12436598B2 (en) 2023-05-01 2025-10-07 Snap Inc. Techniques for using 3-D avatars in augmented reality messaging
US12443325B2 (en) 2023-05-31 2025-10-14 Snap Inc. Three-dimensional interaction system
US12047337B1 (en) 2023-07-03 2024-07-23 Snap Inc. Generating media content items during user interaction
US12395456B2 (en) 2023-07-03 2025-08-19 Snap Inc. Generating media content items during user interaction
US12444138B2 (en) 2024-07-03 2025-10-14 Snap Inc. Rendering 3D captions within real-world environments

Also Published As

Publication number Publication date
KR20120070898A (en) 2012-07-02

Similar Documents

Publication Publication Date Title
KR101445263B1 (en) System and method for providing personalized content
KR102460616B1 (en) Mouth shape synthesis device and method using random nulling artificial neural network
US8963926B2 (en) User customized animated video and method for making the same
JP6783479B1 (en) Video generation program, video generation device and video generation method
US20180157901A1 (en) Method and system for incorporating contextual and emotional visualization into electronic communications
KR102313203B1 (en) Artificial intelligence content creation system and method
KR101306221B1 (en) Method and apparatus for providing moving picture using 3d user avatar
KR101492359B1 (en) Input support device, input support method, and recording medium
KR102546016B1 (en) Systems and methods for providing personalized video
US11582519B1 (en) Person replacement utilizing deferred neural rendering
WO2018209094A1 (en) Method for identifying, ordering, and presenting images according to expressions
JP2009533786A (en) Self-realistic talking head creation system and method
CN113538628B (en) Expression package generation method, device, electronic device and computer-readable storage medium
WO2025066217A1 (en) Server, display device, and digital human processing method
JP7496128B2 (en) Virtual person dialogue system, image generation method, and image generation program
CN117808665A (en) Server, display device and image processing method
JP2004171543A (en) Image processing method and apparatus
KR20230072199A (en) Emotion object generating apparatus and system including the apparatus, and control method thereof
JP5532661B2 (en) Image extraction program and image extraction apparatus
WO2025001722A1 (en) Server, display device and digital human processing method
KR20220096065A (en) Dubbing movie mouth shape synthesis device using artificial neural network
WO2009114488A1 (en) Photo realistic talking head creation, content creation, and distribution system and method
CN117689752A (en) Literary work illustration generation method, device, equipment and storage medium
KR20220096070A (en) Game character mouth shape synthesis device using artificial neural network
KR20220096067A (en) Animation character mouth shape synthesis device using artificial neural network

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20170904

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载