WO2020038872A1

WO2020038872A1 - Method for superimposing a virtual three-dimensional independent object on a real-time video stream

Info

Publication number: WO2020038872A1
Application number: PCT/EP2019/072110
Authority: WO
Inventors: Christophe HOCQUET
Original assignee: Tejado GmbH
Current assignee: Tejado GmbH
Priority date: 2018-08-21
Filing date: 2019-08-19
Publication date: 2020-02-27
Anticipated expiration: 2021-02-21
Also published as: DE102018120312A1

Abstract

The invention relates to a method for superimposing a virtual three-dimensional independent object on a real-time video stream, in particular for superimposing a virtual model of spectacles on a real-time video stream showing a face, the video stream being constructed from frames, wherein a virtual three-dimensional model of the virtual object to be inserted or superimposed is generated in a computer-aided manner, wherein the model is produced from a grid network of polygons, wherein at least one material region is assigned in each case to grid network sections, wherein the optical representation of the material regions of the different grid network sections is calculated, wherein at least one human face in the video stream is detected on the basis of characteristic facial feature points, wherein the position of at least one facial feature point in the current frame of the video stream is detected, wherein the movement direction of the detected face is detected by the analysis of the current and the preceding frames by means of an algorithm, and wherein the movement of the inserted or superimposed virtual object is calculated along the movements of at least one characteristic facial feature point.

Description

Verfahren zum Überlagern eines unabhängigen, dreidimensionalen, virtuellen Objektes über einen Echtzeit-Videostream Method for superimposing an independent, three-dimensional, virtual object on a real-time video stream

Die Erfindung betrifft ein Verfahren zum Überlagern eines unabhängigen, dreidimensionalen, virtuellen Objektes über einen Echtzeit-Videostream, insbesondere zum Überlagern eines virtuellen Modells einer Brille über einen ein Gesicht zeigenden Echtzeit-Videostream. Insbesondere beim Verkauf von Waren über das Internet können Verfahren zum Einsatz kommen, in denen beispielsweise Bekleidungsartikel über das Bild eines Kunden projiziert werden, um einen optischen Eindruck der Ware zu vermitteln. Insbesondere beim Erwerb von Brillen bzw. Brillengestellen über das Internet kann eine solche Darstellungsmethode nur sehr unzureichend sein, da zur Auswahl der passenden Ware ein Betrachten aus vielen möglichen Blickwinkeln erforderlich ist. The invention relates to a method for superimposing an independent, three-dimensional, virtual object on a real-time video stream, in particular for superimposing a virtual model of glasses on a real-time video stream showing a face. In particular, when selling goods over the Internet, methods can be used in which, for example, articles of clothing are projected over the image of a customer in order to convey a visual impression of the goods. Such a display method can be very inadequate, especially when purchasing glasses or spectacle frames via the Internet, since it is necessary to look at them from many possible angles in order to select the right goods.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren vorzuschlagen, mit dem das Überlagern eines dreidimensionalen, virtuellen Objektes über einen Echtzeit-Videostream ermöglicht ist und wobei das Objekt mit dem Gesicht eines Betrachters bewegbar ist. The invention is based on the object of proposing a method with which the superimposition of a three-dimensional, virtual object via a real-time video stream is made possible and wherein the object can be moved with the face of a viewer.

Die Lösung dieser Aufgabe erfolgt mit einem Verfahren mit den Merkmalen des Patentanspruchs 1 . Weiterbildungen und vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben. Die Erfindung betrifft ein Verfahren zum Überlagern eines unabhängigen, dreidimensionalen, virtuellen Objektes über einen Echtzeit-Videostream, insbesondere zum Überlagern eines virtuellen Modells einer Brille über einen ein Gesicht zeigenden Echtzeit-Videostream, wobei der Videostream aus Frames aufgebaut ist, wobei computergestützt ein dreidimensionales, virtuelles Modell des einzublendenden bzw. des überlagernden virtuellen Objektes erstellt wird, wobei das Modell aus einem Gitternetz aus Polygonen erstellt wird, wobei Gitternetzabschnitten jeweils mindestens ein Materialbereich zugeordnet wird, wobei die optische Darstellung der Materialbereiche der verschiedenen Gitternetzabschnitte berechnet wird, wobei mindestens ein menschliches Gesicht in dem Videostream anhand von charakteristischen Gesichtsmerkmalspunkten erfasst wird, wobei die Position mindestens eines Gesichtsmerkmalspunktes in dem aktuellen Frame des Videostream erfasst wird, wobei die Bewegungsrichtung des erfassten Gesichtes durch die Analyse des aktuellen und der vorhergehenden Frames mittels eines Algorithmus erfasst wird und wobei die Bewegung des eingeblendeten bzw. des überlagernden, virtuellen Objektes entlang der Bewegungen mindestens eines charakteristischen Gesichtsmerkmalspunktes berechnet wird. Bei dem Objekt, das in einen Echtzeit-Videostream eingeblendet wird, kann es sich beispielsweise um das virtuelle Modell einer Brille handeln. Der Echtzeit-Videostream zeigt hierbei ein Gesicht, auf das die Brille projiziert wird bzw. wobei das Gesicht mit dem virtuellen Modell der Brille überlagert wird. Bei dem Echtzeit-Videostream kann es sich um ein aktuell aufgezeichnetes Video von einem Nutzer handeln, wobei insbesondere das Gesicht des Nutzers erfasst wird. Das Gesicht des Nutzers kann beispielsweise von einer Kamera, insbesondere einer Smartphone-Kamera, aufgezeichnet werden und in Echtzeit, also als Videostream, auf einem Display wiedergegeben werden. Ein Videostream besteht hierbei aus einzelnen Bildern, sogenannte Frames. Die Bildfrequenz oder auch Bildrate des Videostreams bezeichnet die Anzahl der Einzelbilder, also der Frames, pro Zeitspanne. Die Bildfrequenz kann in der Einheit fps, für Englisch frames per seconds, angegeben werden. In den in Echtzeit aufgenommenen Videostream soll in Echtzeit ein virtuelles, also ein berechnetes, also gerendertes Objekt, eingeblendet werden bzw. soll der Videostream mit dem Objekt überlagert werden. Bei diesem virtuellen Objekt kann es sich beispielsweise um ein computerberechnetes Modell einer Brille handeln. Dieses kann beispielsweise auf technischen Zeichnungen, Fotos oder Ähnlichem beruhen oder kann auch frei am Computer mittels Software entworfen sein. Insbesondere wird zur Berechnung eines Modells ein aus Polygonen aufgebautes Gitternetzmodell erstellt. Zur Berechnung des Polygonengitternetzmodells kann beispielsweise eine 3D-Software zum Einsatz kommen. Beispielsweise kann das Gitternetzmodell einer Brille aus beispielsweise zehntausend bis fünfzehntausend Dreiecken bestehen. Das berechnete Gitternetzmodell kann in Gitternetzabschnitte zerlegt werden, wobei die Zerlegung in Abhängigkeit des verwendeten Materials erfolgt. Beispielsweise kann ein Gitternetzmodell in verschiedene Gitternetzabschnitte, die den Frontrahmen, die Brillengläser, die Seitenbügel oder Ähnliches darstellen, zerlegt bzw. aufgeteilt werden. Jedem der Gitternetzabschnitte können Materialbereiche mit entsprechenden Materialeigenschaften zugeordnet werden. Hierbei wird die optische Darstellung, also die Darstellungsparameter der verschiedenen Gitternetzabschnitte anhand der ausgewählten Materialbereiche berechnet. Beispielsweise kann der Frontrahmen aus einem anderen Material als die Gläser oder die Bügel bestehen. Beispielsweise kann der Frontrahmen aus einem metallischen Material bestehen, während die Gläser aus einem transparenten Kunststoff und die Bügel aus farbigem Kunststoff bestehen. Anhand der verschiedenen ausgewählten bzw. zugeordneten Materialien und deren Materialeigenschaften kann ein Modell der Brille berechnet, also gerendert werden. In dem in Echtzeit aufgezeichneten Videostream kann ein menschliches Gesicht anhand von charakteristischen Gesichtsmerkmalspunkten erfasst werden. Jedes menschliche Gesicht weist verschiedene Gesichtsmerkmalspunkte, wie beispielsweise die Augen, den Nasenrücken, die Mundwinkel oder Ähnliches auf, anhand deren ein Gesicht in einem Videostream erfasst werden kann. Hierbei wird mindestens eine Position mindestens eines Gesichtsmerkmalspunktes in dem aktuellen Frame des Videostreams erfasst. Durch die genaue Position des Gesichtes in dem aktuellen Frame des Videostreams ist definiert, an welche Stelle das dreidimensionale, virtuelle Modell in den Videostream eingeblendet werden muss, also an welcher Stelle das virtuelle Modell den Videostream überlagern soll. Die Bewegungsrichtung des erfassten Gesichtes kann durch eine Analyse des aktuellen und des vorhergehenden Frames des Videostreams erfolgen, wobei beispielsweise mittels eines Algorithmus die Positionen des Gesichtes in den jeweiligen Frames erfasst werden. Insbesondere wird hierbei die Bewegung eines charakteristischen Gesichtsmerkmalspunktes berechnet. Entlang der erfassten Bewegung eines charakteristischen Gesichtsmerkmalspunktes kann die Bewegung des eingeblendeten, virtuellen Objektes berechnet werden. Somit ist sichergestellt, dass sich das überlagernde, virtuelle Objekt mit den Gesichtsbewegungen des Nutzers mitbewegt. Somit ist die Einblendung bzw. die Überlagerung eines dreidimensionalen, virtuellen Objektes in bzw. über einen Echtzeit- Videostream und die Echtzeit-Wiedergabe auf einem Display ermöglicht. Insbesondere ist es ermöglicht, eine Brille über das Gesicht eines Nutzers zu überlagern bzw. einzublenden, wobei eine Bewegung der virtuellen Brille mit der Bewegung des Gesichtes des Nutzers berechnet werden kann. This object is achieved with a method having the features of patent claim 1. Further developments and advantageous refinements are specified in the subclaims. The invention relates to a method for superimposing an independent, three-dimensional, virtual object on a real-time video stream, in particular for superimposing a virtual model of glasses over a real-time video stream showing a face, the video stream being constructed from frames, with computer-aided three-dimensional, A virtual model of the superimposed or superimposed virtual object is created, the model being created from a grid of polygons, grid sections being assigned at least one material area, the optical representation of the material areas of the different grid sections being calculated, at least one human face is recorded in the video stream on the basis of characteristic facial feature points, the position of at least one facial feature point in the current frame of the video stream being captured, the direction of movement of the captured th face by analyzing the current and previous frames using an algorithm and the movement of the superimposed or superimposed virtual object along the movements of at least one characteristic facial feature point is calculated. The object that is superimposed on a real-time video stream can be, for example, the virtual model of glasses. The real-time video stream shows a face onto which the glasses are projected or where the face is overlaid with the virtual model of the glasses. The real-time video stream can be a currently recorded video from a user, in particular the face of the user being recorded. The face of the user can be recorded, for example, by a camera, in particular a smartphone camera, and can be shown on a display in real time, that is to say as a video stream. A video stream consists of individual pictures, so-called frames. The frame rate or frame rate of the video stream denotes the number of individual pictures, i.e. the frames, per time period. The frame rate can be specified in the unit fps, for English frames per second. In those recorded in real time A virtual, i.e. a calculated, rendered object, is to be displayed in real time in the video stream or the video stream is to be superimposed on the object. This virtual object can be, for example, a computer-calculated model of glasses. This can, for example, be based on technical drawings, photos or the like or can also be designed freely on the computer using software. In particular, a grid model made up of polygons is created to calculate a model. For example, 3D software can be used to calculate the polygon grid model. For example, the grid model of glasses can consist of, for example, ten thousand to fifteen thousand triangles. The calculated grid model can be broken down into grid sections, the breakdown taking place depending on the material used. For example, a grid model can be broken down or divided into different grid sections that represent the front frame, the spectacle lenses, the side arms or the like. Material areas with corresponding material properties can be assigned to each of the grid sections. Here, the optical representation, that is to say the representation parameters of the various grid sections, is calculated on the basis of the selected material areas. For example, the front frame can be made of a different material than the glasses or the brackets. For example, the front frame can be made of a metallic material, while the glasses are made of a transparent plastic and the temples are made of colored plastic. Using the various selected or assigned materials and their material properties, a model of the glasses can be calculated, that is, rendered. A human face can be captured in the video stream recorded in real time on the basis of characteristic facial feature points. Every human face has different facial features, such as the eyes, the bridge of the nose, the corners of the mouth or the like, by means of which a face can be captured in a video stream. At least one Position of at least one facial feature point recorded in the current frame of the video stream. The exact position of the face in the current frame of the video stream defines at which point the three-dimensional, virtual model has to be inserted into the video stream, i.e. at which point the virtual model should overlay the video stream. The direction of movement of the detected face can be carried out by analyzing the current and the previous frame of the video stream, the positions of the face in the respective frames being detected, for example, by means of an algorithm. In particular, the movement of a characteristic facial feature point is calculated. The movement of the superimposed virtual object can be calculated along the detected movement of a characteristic facial feature point. This ensures that the overlaying, virtual object moves with the user's facial movements. This enables the superimposition or superimposition of a three-dimensional, virtual object in or via a real-time video stream and real-time playback on a display. In particular, it is possible to superimpose or superimpose glasses over the face of a user, wherein a movement of the virtual glasses can be calculated with the movement of the face of the user.

In einer Weiterbildung des Verfahrens wird die optische Darstellung der Gitternetzabschnitte unter mindestens einer virtuellen Lichtquelle berechnet. Das Verhalten der verschiedenen Gitternetzabschnitte, also das Verhalten der verschiedenen, zugeordneten Materialien, wird unter dem Einfluss mindestens einer virtuellen Lichtquelle berechnet. Somit können Darstellungsparameter wie verschiedene Schattierungen, Reflektionen und ähnliches des virtuellen Objektes berechnet werden, um ein realistisches Aussehen des virtuellen Modells zu erhalten. In a development of the method, the optical representation of the grid sections is calculated under at least one virtual light source. The behavior of the different grid sections, that is to say the behavior of the different assigned materials, is calculated under the influence of at least one virtual light source. Representation parameters such as different shades, reflections and the like of the virtual object can thus be calculated in order to obtain a realistic appearance of the virtual model.

In einer Ausführungsform des Verfahrens wird das dreidimensionale, virtuelle Objekt anhand mindestens einer technischen Zeichnung erstellt. Ein dreidimensionales, virtuelles Modell, insbesondere ein Gitternetzmodell, kann beispielsweise anhand technischer Zeichnungen erstellt werden. In technischen Zeichnungen sind zumeist genaue Abmessungen, Winkelangaben und ähnliche technische Angaben vermerkt, so dass hieraus ein Gitternetzmodell errechnet werden kann. In one embodiment of the method, the three-dimensional, virtual object is created using at least one technical drawing. On Three-dimensional, virtual model, in particular a grid model, can be created, for example, using technical drawings. In technical drawings, exact dimensions, angles and similar technical information are usually noted, so that a grid model can be calculated from this.

In einer Weiterbildung des Verfahrens wird die optische Darstellung eines Materials anhand von physikalischen Eigenschaften des darzustellenden Materials berechnet. Die Materialien, aus denen eine reale Brille besteht, können durch Berechnungsverfahren nachempfunden werden. Beispielsweise können die physikalischen Eigenschaften eines Materials, wie die Rauigkeit, der metallische Glanz, die Transparenz, die Reflektivität oder Ähnliches bekannt sein. Weiterhin kann die Farbe des Materials, die Deckkraft der Farbe, die Farbintensität oder Ähnliches bekannt sein. Anhand der Materialeigenschaften kann die optische Darstellung, also die Darstellungsparameter des jeweiligen Materials in einem Videostream berechnet werden, so dass das Material des gerenderten, virtuellen Objektes möglichst realistisch erscheint. Weiterhin kann die optische Darstellung eines Materials an Bilder des Materials angepasst werden bzw. können die Materialien des virtuellen Objektes anhand von Bildern modelliert werden. In a development of the method, the optical representation of a material is calculated on the basis of physical properties of the material to be represented. The materials that make up real glasses can be modeled using calculation methods. For example, the physical properties of a material, such as the roughness, the metallic luster, the transparency, the reflectivity or the like, can be known. Furthermore, the color of the material, the opacity of the color, the color intensity or the like can be known. On the basis of the material properties, the optical representation, that is to say the representation parameters of the respective material, can be calculated in a video stream, so that the material of the rendered, virtual object appears as realistic as possible. Furthermore, the optical representation of a material can be adapted to images of the material or the materials of the virtual object can be modeled on the basis of images.

In einer Ausführungsform des Verfahrens handelt es sich bei den verschiedenen Gitternetzabschnitten um einen Frontrahmen, zwei Linsen und zwei Bügel einer Brille. Bei den verschiedenen Gitternetzabschnitten eines virtuellen Objektes, insbesondere einer Brille, kann es sich um den Frontrahmen, die Linsen und die Bügel handeln. Insbesondere können dem Frontrahmen und den Linsen verschiedene Materialeigenschaften zugeordnet werden, so dass beispielsweise die Linsen transparent und reflektierend dargestellt werden, während der Frontrahmen aus nicht transparentem Material bestehen kann. Durch die Zuordnung verschiedener Materialien zu verschiedenen Gitternetzabschnitten ist eine individuelle Berechnung der Materialien möglich. Beispielsweise kann ein Nutzer verschiedene Frontrahmenmaterialien auswählen, während die Materialien der Bügel gleich bleiben. In one embodiment of the method, the different grid sections are a front frame, two lenses and two temples of glasses. The various grid sections of a virtual object, in particular glasses, can be the front frame, the lenses and the temples. In particular, different material properties can be assigned to the front frame and the lenses, so that, for example, the lenses are shown in a transparent and reflective manner, while the front frame can consist of non-transparent material. By assigning different materials to different grid sections, an individual calculation of the materials is possible. For example, a user can have different Select front frame materials while the materials of the bracket remain the same.

In einer Ausführungsform des Verfahrens werden zu den Gitternetzabschnitten zweidimensionale Abbildungen, insbesondere UV- Koordinaten der Gitternetzabschnitte, festgelegt, und durch die UV- Koordinaten wird festgelegt, welcher Teil einer Textur welchem Polygon zugeordnet wird. Von den verschiedenen Gitternetzabschnitten können zweidimensionale Abbildungen erstellt werden. Insbesondere können die sogenannten UV-Koordinaten durch ein sogenanntes UV-Mapping der Gitternetzabschnitte festgelegt werden. Beispielsweise können die UV- Koordinaten bei dem Gestaltungsprozess des Modells des virtuellen Objektes festgelegt werden. Die UV-Koordinaten geben an, welcher Teil einer Textur welchem Polygon des Gitternetzmodells zugeordnet wird. Weiterhin können durch die zweidimensionalen Abbildungen das Verhalten der Gitternetzabschnitte unter virtuellen Lichtquellen, insbesondere dieIn one embodiment of the method, two-dimensional images, in particular UV coordinates, of the grid sections are defined for the grid sections, and the UV coordinates determine which part of a texture is assigned to which polygon. Two-dimensional images can be created from the various grid sections. In particular, the so-called UV coordinates can be determined by a so-called UV mapping of the grid sections. For example, the UV coordinates can be defined in the design process of the model of the virtual object. The UV coordinates indicate which part of a texture is assigned to which polygon of the grid model. Furthermore, the behavior of the grid sections under virtual light sources, in particular the

Reflektivität bzw. die Verschattung, berechnet werden. Reflectivity or shading.

In einer Weiterbildung des Verfahrens werden mittels eines computergestützten Szeneneditors Darstellungsparameter des überlagernden, virtuellen Objektes eingestellt, und die einem überlagernden Objekt zugeordneten Darstellungsparameter werden aus einer Datenbank geladen. Mittels eines computergestützten Szeneneditors, also mittels einer sogenannten Scene-Editor-Software, können Darstellungsparameter beispielsweise Lichteffekte, die optische Darstellung vonIn a further development of the method, display parameters of the overlaying virtual object are set by means of a computer-assisted scene editor, and the display parameters associated with an overlaying object are loaded from a database. By means of a computer-assisted scene editor, that is to say by means of a so-called scene editor software, display parameters, for example light effects, the optical display of

Materialeigenschaften oder weitere Parameter, wie die einem Gitternetzabschnitt zugeordneten Texturen, des überlagernden, virtuellen Objektes eingestellt werden. Die Darstellungsparameter des virtuellen Objektes können für aufeinanderfolgende Frames beibehalten werden. Beispielsweise kann die globale Helligkeit mit einer über 360°, also in alle Raumrichtungen abstrahlenden, virtuellen Lichtquelle eingestellt werden. Weiterhin können frontal auf das virtuelle Objekt ausgerichtete virtuelle Lichtquellen eingesetzt werden, um eine realistische Darstellung des virtuellen Objektes zu erreichen. Die Darstellungsparameter eines virtuellen Objektes werden gespeichert und können von einem Frame zu dem folgenden Frame beibehalten werden. Einzelne Darstellungsparameter, wie beispielsweise die Farbgebung, können von einem Frame zum nächsten Frame verändert werden, beispielsweise wenn dies von einem Nutzer so gewünscht ist, wobei die anderen Darstellungsparameter unverändert beibehalten werden. Somit ist bei Veränderung einzelner Darstellungsparameter kein erneutes Laden des gesamten virtuellen Objektes notwendig, wodurch zu verarbeitende Datenvolumen reduziert werden. Weiterhin können die Darstellungsparameter auch für weitere virtuelle Objekte zur Verfügung stehen. Die eine virtuelle Szene beschreibenden Darstellungsparameter können im Zusammenhang mit dem überlagernden, virtuellen Objekt gespeichert werden. Insbesondere können die einzelnen Dateien nach einer Nomenklatur benannt werden, so dass sie beispielsweise separat in ein Speichermedium exportiert werden können. Insbesondere können die Materialeigenschaften unter verschiedenen szenischen Randbedingungen unabhängig von dem 3D-Objekt gespeichert werden, so dass diese Informationen auch für weitere virtuelle Objekte zur Verfügung stehen. Material properties or other parameters, such as the textures assigned to a grid section, of the superimposed virtual object. The display parameters of the virtual object can be retained for successive frames. For example, the global brightness can be set with a virtual light source that radiates over 360 °, that is to say in all spatial directions. Furthermore, frontally oriented virtual objects can be created Light sources are used to achieve a realistic representation of the virtual object. The display parameters of a virtual object are saved and can be retained from one frame to the next frame. Individual display parameters, such as the coloring, can be changed from one frame to the next frame, for example if this is so desired by a user, the other display parameters being retained unchanged. Thus, when changing individual display parameters, it is not necessary to reload the entire virtual object, which reduces the volume of data to be processed. Furthermore, the display parameters can also be available for other virtual objects. The display parameters describing a virtual scene can be stored in connection with the overlaying virtual object. In particular, the individual files can be named according to a nomenclature so that, for example, they can be exported separately to a storage medium. In particular, the material properties can be stored under various scenic boundary conditions independently of the 3D object, so that this information is also available for other virtual objects.

Insbesondere kann bei der Modellierung eines Frames eine angepasste Szeneneditorsoftware zur Verwendung kommen. Diesem Szeneneditor kann eine Datenbank mit Darstellungsparametern, wie beispielsweise den optischen Darstellungen von Materialien, zugeordnet sein. Somit sind die einen Videostream überlagernden virtuellen Objekte nicht beispielsweise an spezifische Texturen oder Materialien gebunden, sondern es steht eine Datenbank mit den Texturen und Materialien, insbesondere der optischen Darstellung von Materialeigenschaften, aller virtuellen Objekte zur Verfügung, die mit anderen virtuellen Objekten geteilt werden. Je mehr virtuelle Objekte mit ihren Materialeigenschaften der Datenbank zugeführt werden, desto mehr Materialien werden zwischen den virtuellen Objekten geteilt, desto mehr Materialeigenschaften stehen also den anderen virtuellen Objekten zur Verfügung. Hierdurch kann eine erhebliche Reduzierung der zur Berechnung eines virtuellen Objektes erforderlichen Rechenzeit, also eine Beschleunigung der Modellierung, erreicht werden, da auf bekannte Materialeigenschaften bzw. deren bekannte optische Darstellung zurückgegriffen werden kann. Zudem müssen nur wenige Materialeigenschaften und weitere Darstellungsparameter mit einem virtuellen Objekt geladen werden, so dass sich geringe von einer Recheneinheit zu ladene und zu verarbeitende Datenmengen und somit eine erhöhte Ladegeschwindigkeit für ein virtuelles Objekt ergeben. Dies ist insbesondere bei der Anwendung auf mobilen Recheneinrichtungen, wie beispielsweise Smartphones, vorteilhaft. In particular, adapted scene editor software can be used when modeling a frame. A database with display parameters, such as the optical representations of materials, can be assigned to this scene editor. Thus, the virtual objects superimposed on a video stream are not bound to specific textures or materials, for example, but a database with the textures and materials, in particular the visual representation of material properties, of all virtual objects that are shared with other virtual objects is available. The more virtual objects with their material properties are fed into the database, the more materials are shared between the virtual objects, the more material properties are available to the other virtual objects Available. In this way, a considerable reduction in the computing time required for calculating a virtual object, that is to say an acceleration of the modeling, can be achieved, since known material properties or their known optical representation can be used. In addition, only a few material properties and other display parameters have to be loaded with a virtual object, so that there are small amounts of data to be loaded and processed by a computing unit and thus an increased loading speed for a virtual object. This is particularly advantageous when used on mobile computing devices, such as smartphones.

In einer Ausführungsform des Verfahrens werden außer den Eingangsdaten des Videostreams Bereiche, insbesondere rechteckige Flächen, bestimmt, in denen wahrscheinlich ein menschliches Gesicht dargestellt ist, alle Bereiche, in denen wahrscheinlich ein menschliches Gesicht dargestellt ist, werden in einem Sammelbereich zusammengeführt, und es wird auf die Existenz eines menschlichen Gesichtes geschlossen, wenn die Bereiche in etwa dieselbe Größe und dieselbe Position in den Eingangsdaten des Videostreams aufweisen. Zur Erfassung eines Gesichtes in dem Echtzeit-Videostream können verschiedene Gesichtserkennungsalgorithmen, so wie ein LBD (Logical Binary Patterns Detector) oder ein Haar Cascade Adaboost frontal face detector verwendet werden. Die Wahl des Detektors kann hierbei von der gewünschten Genauigkeit, der Berechnungsgeschwindigkeit und den zur Verfügung stehenden Rechenressourcen abhängen. In den Eingangsdaten des Videostreams werden Bereiche bestimmt, in denen wahrscheinlich ein menschliches Gesicht dargestellt ist. Alle Bereiche, in denen wahrscheinlich ein menschliches Gesicht dargestellt ist, werden in einem Sammelbereich, insbesondere in einem rechteckigen Bereich, zusammengeführt. Wenn die aufgefundenen Bereiche in etwa dieselbe Position in den Eingangsdaten und in etwa die gleiche Größe aufweisen, kann davon ausgegangen werden, dass in dem zusammengeführten Sammelbereich ein menschliches Gesicht dargestellt ist. In einer Weiterbildung des Verfahrens wird in dem Sammelbereich die Position von Gesichtsmerkmalspunkten, insbesondere von 50 bis 80, insbesondere von 68 Gesichtsmerkmalspunkten, bestimmt. In dem zusammengeführten Sammelbereich werden die Positionen von 68 Gesichtsmerkmalspunkten bestimmt. Durch die Gesichtsmerkmalspunkte lässt sich ein menschliches Gesicht beschreiben, in dem beispielsweise die Position des Nasenrückens, die Umrandung der Augen oder des Mundes genau gekennzeichnet sind. Die Positionen der Gesichtsmerkmalspunkte können beispielsweise mit Algorithmen, wie einem Active Shape Model oder Ensemble Regression Trees erfasst werden. Durch die bekannten Positionen der Gesichtsmerkmalspunkte ist ein menschliches Gesicht in dem Videostream eindeutig erfasst. In one embodiment of the method, in addition to the input data of the video stream, areas, in particular rectangular areas, are determined in which a human face is likely to be shown, all areas in which a human face is likely to be shown are brought together in a collection area and it is opened the existence of a human face is closed when the areas have approximately the same size and position in the input data of the video stream. Various face recognition algorithms, such as an LBD (Logical Binary Patterns Detector) or a Haar Cascade Adaboost frontal face detector, can be used to detect a face in the real-time video stream. The choice of the detector can depend on the desired accuracy, the calculation speed and the available computing resources. Areas are determined in the input data of the video stream in which a human face is probably represented. All areas in which a human face is probably represented are brought together in a collection area, in particular in a rectangular area. If the areas found have approximately the same position in the input data and approximately the same size, it can be assumed that a human face is represented in the merged collection area. In a development of the method, the position of facial feature points, in particular from 50 to 80, in particular 68 facial feature points, is determined in the collecting area. The positions of 68 facial features are determined in the merged collection area. The facial feature points can be used to describe a human face in which, for example, the position of the bridge of the nose, the outline of the eyes or mouth are precisely identified. The positions of the facial feature points can be recorded, for example, using algorithms such as an active shape model or ensemble regression trees. Due to the known positions of the facial feature points, a human face is clearly recorded in the video stream.

In einer Weiterbildung des Verfahrens werden die Koordinaten der Gesichtsmerkmalspunkte in dem analysierten Frame erfasst, die Translations bewegungen der Gesichtsmerkmalspunkte in der analysierten Ebene werden erfasst, der Maßstab des erfassten Gesichtes im Vergleich zur Größe des analysierten Frames wird erfasst, und Rotationsbewegungen der Koordinaten der Gesichtsmerkmalspunkte in drei Raumrichtungen werden erfasst. Zu den Gesichtsmerkmalspunkten, die in dem Sammelbereich erfasst wurden, werden die genauen Koordinaten in dem aktuellen Frame erfasst. Der aktuelle Frame und der vorangehende Frame des Videostreams werden analysiert, um die Bewegungsrichtung des Gesichtes zu bestimmen. Der analysierte Bereich wird entlang der Bewegungsrichtung verschoben, um die benötigten Rechenressourcen für die Gesichtserfassung zu minimieren. Mittels eines Optical-Flow-Algorithmus können die einmal erfassten Gesichtsmerkmalspunkte bei langsamer oder keiner Bewegung von einem zum nächsten Frame stabilisiert werden, um ein Zittern der Gesichtsmerkmalspunkte zu verhindern. Des Weiteren können durch den Optical-Flow-Algorithmus größere Bewegungen von einem Frame zum nächsten erfasst werden. Bei größeren Bewegungen kann der Sammelbereich, ohne erneute Erfassung eines menschlichen Gesichtes, entlang der durch den Optical-Flow-Algorithmus ermittelten Distanz verschoben werden. Die Erfassung der Gesichtsmerkmalspunkte wird nur einmalig durchgeführt, wobei der entsprechende Sammelbereich anhand der Gesichtsmerkmalspunkte und unter Berücksichtigung der mittels des Optical- Flow-Algorithmus ermittelten Distanz verschoben wird. Für die insbesondere 68 Gesichtsmerkmalspunkte werden die Koordinaten in dem aktuellen Frame bestimmt. Insbesondere können für jeden Gesichtsmerkmalspunkt die X- und Y-Koordinaten angegeben werden. Des Weiteren kann dieIn a further development of the method, the coordinates of the facial feature points are recorded in the analyzed frame, the translational movements of the facial feature points in the analyzed plane are recorded, the scale of the detected face in relation to the size of the analyzed frame is recorded, and rotational movements of the coordinates of the facial feature points in three spatial directions are recorded. For the facial feature points that were captured in the collection area, the exact coordinates are captured in the current frame. The current frame and the previous frame of the video stream are analyzed to determine the direction of movement of the face. The analyzed area is shifted along the direction of movement in order to minimize the computing resources required for face detection. Using an optical flow algorithm, the facial feature points once captured can be stabilized with slow or no movement from one frame to the next to prevent the facial feature points from trembling. Furthermore, the optical flow algorithm can detect larger movements from one frame to the next. With larger movements the Collection area, without re-capturing a human face, are moved along the distance determined by the optical flow algorithm. The detection of the facial feature points is carried out only once, the corresponding collecting area being shifted on the basis of the facial feature points and taking into account the distance determined using the optical flow algorithm. The coordinates in the current frame are determined for the 68 facial feature points in particular. In particular, the X and Y coordinates can be specified for each facial feature point. Furthermore, the

Translationsbewegung der Gesichtsmerkmalspunkte in X-Richtung und in Y- Richtung erfasst werden. Zudem kann aus den Koordinaten die Größe bzw. der Maßstab des dargestellten Gesichtes im Vergleich zur Größe des analysierten Frames berechnet werden. Aus der Rotation derTranslational movement of the facial feature points in the X direction and in the Y direction can be detected. In addition, the coordinates and the size or scale of the face shown can be calculated in comparison to the size of the analyzed frame. From the rotation of the

Gesichtsmerkmalspunkte in X-, Y- und Z-Richtung kann ein Nicken des Gesichtes, ein Drehen des Gesichtes, beispielsweise nach links oder rechts, und die Kopfneigung bestimmt werden. Facial feature points in the X, Y and Z directions, a nodding of the face, a turning of the face, for example to the left or right, and the inclination of the head can be determined.

In einer Weiterbildung des Verfahrens handelt es sich bei einem charakteristischen Gesichtsmerkmalspunkt um den einem Nasenrücken zugeordneten Gesichtsmerkmalspunkt und die Bewegung des überlagernden dreidimensionalen Objektes wird entlang der Bewegung des demIn a development of the method, a characteristic facial feature point is the facial feature point assigned to a bridge of the nose, and the movement of the superimposing three-dimensional object is along the movement of the

Nasenrücken zugeordneten Gesichtsmerkmalspunkt berechnet. Ein charakteristischer Gesichtsmerkmalspunkt, insbesondere der einem Nasenrücken zugeordnete Gesichtsmerkmalspunkt, wird herausgegriffen, um die Position der Einblendung bzw. der Überlagerung des dreidimensionalen Objektes festzulegen. Beispielsweise wird die Position des Brillensteges des virtuellen Modells der Position des einem Nasenrücken entsprechenden Gesichtsmerkmalspunktes zugeordnet. Das dreidimensionale Objekt wird gemäß den Bewegungen des Gesichtsmerkmalspunktes in dem Videostream bewegt. Insbesondere kann hierbei eine Verschiebung des 3D-Objektes entlang den X-/Y-Positionen des Gesichtsmerkmalspunktes erfolgen. Entlang der X-/Y- und Z-Koordinaten des charakteristischen Gesichtsmerkmalspunktes werden auch die seitlichen Bewegungen des 3D- Objektes sowie die Nick- und Neigebewegungen des Objektes berechnet. Somit ist gewährleistet, dass beispielsweise eine eingeblendete Brille mit den Bewegungen des menschlichen Gesichtes mitbewegt wird. Facial feature point associated with the bridge of the nose. A characteristic facial feature point, in particular the facial feature point assigned to a bridge of the nose, is picked out in order to determine the position of the fade-in or the superimposition of the three-dimensional object. For example, the position of the eyeglass web of the virtual model is assigned to the position of the facial feature point corresponding to a bridge of the nose. The three-dimensional object is moved in accordance with the movements of the facial feature point in the video stream. In particular, the 3D object can be shifted along the X / Y positions of the facial feature point. Along the X, Y and Z coordinates of the characteristic Facial feature point, the lateral movements of the 3D object and the pitching and tilting movements of the object are also calculated. This ensures that, for example, fade-in glasses are moved with the movements of the human face.

In einer Weiterbildung des Verfahrens wird ein dreidimensionales Modell eines menschlichen Gesichtes berechnet und Bereiche des überlagernden Objektes, die von dem dreidimensionalen Modell eines menschlichen Gesichtes verdeckt werden, werden ausgeblendet. Beim Tragen einer Brille können verschiedene Bereiche der Brille, beispielsweise Bereiche des Frontrahmens oder der Gläser aus verschiedenen Blickwinkeln beispielsweise von der Nase verdeckt werden. Um diesen Sachverhalt bei der Einblendung bzw. Überlagerung eines dreidimensionalen Objektes in einen Echtzeit- Videostream nachbilden zu können, wird ein dreidimensionales Modell eines menschlichen Gesichtes berechnet. Anhand dieses Modelles kann berechnet werden, welche Bereiche des überlagernden Objektes gerade bei dem aktuellen Blickwinkel, also beispielsweise bei der aktuellen Neigung des menschlichen Gesichtes zur aufzeichnenden Kamera bzw. zur Darstellungsebene des Displays verdeckt sein können. Die als verdeckt erkannten Bereiche des überlagernden Objektes werden ausgeblendet, so dass es für den Betrachter den Anschein hat, dass diese von seinem Gesicht verdeckt sind. Insbesondere wird hierbei das dreidimensionale Objekt des menschlichen Gesichtes analog zu den Bewegungen der erfassten Gesichtsmerkmalspunkte bewegt. In a further development of the method, a three-dimensional model of a human face is calculated and areas of the superimposed object that are covered by the three-dimensional model of a human face are hidden. When wearing glasses, different areas of the glasses, for example areas of the front frame or glasses, can be covered from different angles, for example by the nose. A three-dimensional model of a human face is calculated in order to be able to emulate this situation when a three-dimensional object is superimposed or superimposed on a real-time video stream. On the basis of this model, it can be calculated which areas of the superimposed object can be hidden precisely at the current viewing angle, that is, for example, at the current inclination of the human face to the recording camera or to the display plane of the display. The areas of the superimposed object that are recognized as being hidden are hidden, so that it appears to the viewer that they are covered by his face. In particular, the three-dimensional object of the human face is moved analogously to the movements of the detected facial feature points.

In einer Weiterbildung des Verfahrens werden die verschiedenen Gitternetzbereichen zugeordneten Materialeigenschaften, insbesondere die Tönung, die Lichtdurchlässigkeit und die Reflektion in Echtzeit geändert. Durch die Unterteilung des Gitternetzmodelles in verschiedene Gitternetzabschnitte und durch die Zuordnung verschiedener Materialien bzw. Materialeigenschaften zu verschiedenen Gitternetzabschnitten können die Materialien verschiedener Bereiche des überlagernden Objektes in Echtzeit geändert werden. Beispielsweise können die Materialeigenschaften von Brillengläser darstellenden Gitternetzabschnitten dahingehend geändert werden, dass verschiedene Tönungen einblendet werden. Auch können beispielsweise verschiedene Farbnuancen des Rahmens in Echtzeit ausprobiert werden. In a further development of the method, the material properties assigned to the different grid areas, in particular the tint, the light transmittance and the reflection, are changed in real time. By dividing the grid model into different grid sections and by assigning different materials or material properties to different grid sections, the materials of different areas of the superimposed object can be generated in real time be changed. For example, the material properties of grating sections representing spectacle lenses can be changed such that different tints are faded in. Different color shades of the frame can also be tried out in real time, for example.

Nachfolgend wird die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispiels weiter erläutert. Im Einzelnen zeigen: The invention is explained in more detail below on the basis of an exemplary embodiment shown in the drawing. Show in detail:

Fig. 1 : ein 3D-Gitternetzmodell einer Brille; 1: a 3D mesh model of glasses;

Fig. 2: ein in Gitternetzabschnitte zerlegtes Gitternetzmodell einer Brille; 2: a grid model of a pair of glasses broken down into grid sections;

Fig. 3: zweidimensionale Abbildungen der Gitternetzabschnitte gemäß 3: two-dimensional images of the grid sections according to

Fig. 2; Fig. 2;

Fig. 4: charakteristische Gesichtsmerkmalspunkte eines menschlichen Fig. 4: characteristic facial features of a human

Gesichtes; face;

Fig. 5: ein in ein Standbild eingeblendetes virtuelles Objekt; 5: a virtual object superimposed on a still image;

Fig. 6: ein dreidimensionales Modell eines menschlichen Gesichtes; 6: a three-dimensional model of a human face;

Fig. 7 ein virtuelles Modell einer Brille mit ausgeblendeten Bereichen; 7 shows a virtual model of glasses with masked areas;

und and

Fig. 8: verschiedene einem Gitternetzabschnitt zugeordnete 8: different ones assigned to a grid section

Materialeigenschaften. Material properties.

In Fig. 1 ist ein Gitternetzmodell 1 eines virtuellen Objektes, hier einer Brille, dargestellt. Das Gitternetzmodell 1 besteht aus ca. 10.000 bis 15.000 Polygonen. Durch die Polygonen kann das einzublendende bzw. das überlagernde virtuelle dreidimensionale Objekt genau nachgebildet werden.1 shows a grid model 1 of a virtual object, here glasses. The grid model 1 consists of approximately 10,000 to 15,000 Polygons. The polygons can be used to exactly replicate the superimposed or superimposed virtual three-dimensional object.

In Fig. 2 ist ein virtuelles Modell gemäß Fig. 1 zerlegt in verschiedene Gitternetzabschnitte 2a - 2e dargestellt. Ein Gitternetzmodell 1 gemäß Fig. 1 kann in verschiedene Gitternetzabschnitte 2a - 2e zerlegt werden, wobei jedem Gitternetzabschnitt 2a - 2e beispielsweise unterschiedliche Materialeigenschaften zugeordnet werden können. Beispielsweise kann es sich bei den Gitternetzabschnitten 2a - 2e um einen Frontrahmen 2a, Seitenbügel 2b, Brillengläser 2c, Gelenkstrukturen 2d oder Bügelkonstruktionen 2e handeln. Den unterschiedlichen Gitternetzabschnitten 2a - 2e können unterschiedliche Materialeigenschaften zugeordnet werden. Beispielsweise können dem Frontrahmen 2a metallische Materialeigenschaften zugeordnet werden, während die Seitenbügel 2b beispielsweise aus Kunststoff bestehen können. Anhand der Materialeigenschaften kann die optische Darstellung der Gitternetzabschnitte berechnet werden. FIG. 2 shows a virtual model according to FIG. 1 broken down into different grid sections 2a-2e. A grid model 1 according to FIG. 1 can be broken down into different grid sections 2a-2e, it being possible, for example, to assign different material properties to each grid section 2a-2e. For example, the grating sections 2a - 2e can be a front frame 2a, side brackets 2b, spectacle lenses 2c, joint structures 2d or bracket constructions 2e. Different material properties can be assigned to the different grid sections 2a - 2e. For example, metallic material properties can be assigned to the front frame 2a, while the side brackets 2b can be made of plastic, for example. The optical representation of the grid sections can be calculated based on the material properties.

In Fig. 3 sind zweidimensionale Abbildungen 3a - 3e der Gitternetzabschnitte 2a - 2e gemäß Fig. 2 dargestellt. Zu den dreidimensionalen Gitternetzabschnitten 2a - 2e gemäß Fig. 2 werden die zweidimensionalen Abbildungen 3a - 3e, die sogenannten UV-Koordinaten, festgelegt. Mittels der UV-Koordinaten kann festgelegt werden, welcher Teil einer Textur welchem Polygon des Gitternetzes zugeordnet wird. Des Weiteren können bei einem sogenannten UV-Mapping zu den Materialeigenschaften Verschattungen sowie Reflektionen der verschiedenen Gitternetzabschnitte 2a - 2e berechnet werden. Hierbei kann beispielsweise berechnet werden, wie das dreidimensionale Objekt unter verschiedenen virtuellen Lichtquellen erscheint. FIG. 3 shows two-dimensional images 3a-3e of the grid sections 2a-2e according to FIG. 2. The two-dimensional images 3a - 3e, the so-called UV coordinates, are defined for the three-dimensional grid sections 2a - 2e according to FIG. 2. The UV coordinates can be used to determine which part of a texture is assigned to which polygon of the grid. Furthermore, shading and reflections of the different grid sections 2a - 2e can be calculated for the material properties in a so-called UV mapping. Here it can be calculated, for example, how the three-dimensional object appears under different virtual light sources.

In Fig. 4 sind 68 Gesichtsmerkmalspunkte 4 eines menschlichen Gesichtes dargestellt. Durch die Gesichtsmerkmalspunkte 4 kann ein menschliches Gesicht eindeutig erfasst werden. Insbesondere kann hierbei die genaue Position bzw. die genauen Koordinaten der Augen, der Nase, des Mundes sowie der Gesichtsumrandungen erfasst werden. FIG. 4 shows 68 facial feature points 4 of a human face. A human face can be clearly detected by the facial feature points 4. In particular, the exact Position or the exact coordinates of the eyes, nose, mouth and facial borders are recorded.

In Fig. 5 ist ein Standbild aus einem Videostream ausgewählt, bei dem ein überlagerndes dreidimensionales Objekt 1 , in diesem Fall eine Brille, in den Livestream eingeblendet ist. Insbesondere wird bei einem erfassten Gesicht ein charakteristischer Gesichtsmerkmalspunkt 4 gemäß Fig. 4 erfasst. Beispielsweise kann es sich bei dem Gesichtsmerkmalspunkt 4 um den Gesichtsmerkmalspunkt Nr. 27, der einem Nasenrücken eines menschlichen Gesichtes zugeordnet ist, handeln. Anhand dieses Gesichtsmerkmalspunktes 4 kann ein virtuelles Objekt 1 , in diesem Fall eine Brille, in der richtigen Position in Bezug zu dem Gesicht des Nutzers eingeblendet werden. Insbesondere kann das dreidimensionale Objekt 1 entlang der Bewegung des charakteristischen Gesichtsmerkmalspunktes 4 verschoben werden. Insbesondere können hierbei Translationsbewegungen, Neige- oder Nickbewegungen des charakteristischen Punktes auf das dreidimensionale Objekt 1 übertragen werden. Somit ist gewährleistet, dass das dreidimensionale Objekt 1 mit dem Gesicht des Nutzers mitbewegt wird. 5, a still image is selected from a video stream in which an overlaying three-dimensional object 1, in this case glasses, is faded into the live stream. In particular, in the case of a detected face, a characteristic facial feature point 4 according to FIG. 4 is recorded. For example, facial feature point 4 may be facial feature point No. 27 associated with a bridge of the nose of a human face. On the basis of this facial feature point 4, a virtual object 1, in this case glasses, can be superimposed in the correct position in relation to the face of the user. In particular, the three-dimensional object 1 can be displaced along the movement of the characteristic facial feature point 4. In particular, translational movements, tilting or pitching movements of the characteristic point can be transmitted to the three-dimensional object 1. This ensures that the three-dimensional object 1 is moved with the face of the user.

In Fig. 6 ist ein dreidimensionales Modell 5 eines menschlichen Gesichtes dargestellt. Anhand des dreidimensionalen Modells 5 eines menschlichen Gesichtes können Bereiche 6 des eingeblendeten dreidimensionalen Objektes 1 erfasst werden, die aus bestimmten Blickwinkeln durch das menschliche Gesicht verdeckt werden würden. Somit können Bereiche 6 aus dem dreidimensionalen Objekt 1 ausgeblendet werden, um den Realismus der Darstellung zu erhöhen. 6 shows a three-dimensional model 5 of a human face. On the basis of the three-dimensional model 5 of a human face, areas 6 of the three-dimensional object 1 that are shown can be detected, which would be covered by the human face from certain viewing angles. Areas 6 can thus be hidden from the three-dimensional object 1 in order to increase the realism of the representation.

In Fig. 7 ist ein einzublendendes bzw. überlagerndes dreidimensionales Objekt 1 , hier eine Brille, dargestellt, bei der ein Bereich 6 ausgeblendet wurde. Ein Bereich 6 eines Brillenglases, der unter diesem Blickwinkel von der Nase des Brillenträgers verdeckt werden würde, wurde ausgeblendet, um eine realistischere Darstellung bei der Einblendung der Brille in das Gesicht eines Nutzers zu erhalten. Die Lage und die Abmessungen des ausgeblendeten Bereiches 6 wurden anhand des dreidimensionalen Modells 5 des menschlichen Gesichtes errechnet. 7 shows a three-dimensional object 1 to be faded in or superimposed, here glasses, in which an area 6 has been faded out. A region 6 of a spectacle lens, which would be covered by the nose of the spectacle wearer from this point of view, has been masked out in order to provide a more realistic representation when the spectacles are superimposed on the face of a person User. The position and the dimensions of the masked area 6 were calculated using the three-dimensional model 5 of the human face.

In Fig. 8 sind drei Ausschnitte eines Standbildes eines Echtzeit-Videostreams dargestellt, bei denen die Materialeigenschaften von Gitternetzabschnitten in Echtzeit geändert wurden. Verschiedenen Gitternetzabschnitten 2a - 2e werden verschiedene Materialeigenschaften zugeordnet. Beispielsweise können die Brillengläser 2c transparent erscheinend dargestellt werden, es kann allerdings auch die Tönung 7, 8 in verschiedenen Stufen geändert werden, so dass ein Nutzer beispielsweise verschiedene Tönungsgrade 7, 8 einer Sonnenbrille in Echtzeit probieren kann. 8 shows three sections of a still image of a real-time video stream, in which the material properties of grid sections were changed in real time. Different material properties are assigned to different grid sections 2a - 2e. For example, the spectacle lenses 2c can be made to appear transparent, but the tinting 7, 8 can also be changed in different stages, so that a user can try out different tinting degrees 7, 8 of sunglasses in real time, for example.

Alle in der vorstehenden Beschreibung und in den Ansprüchen genannten Merkmale sind in einer beliebigen Auswahl mit den Merkmalen des unabhängigen Anspruchs kombinierbar. Die Offenbarung der Erfindung ist somit nicht auf die beschriebenen bzw. beanspruchten Merkmalskombinationen beschränkt, vielmehr sind alle im Rahmen der Erfindung sinnvollen Merkmalskombinationen als offenbart zu betrachten. All features mentioned in the above description and in the claims can be combined in any selection with the features of the independent claim. The disclosure of the invention is thus not limited to the combinations of features described or claimed; rather, all combinations of features which make sense in the context of the invention are to be regarded as disclosed.

Bezuqszahlenliste: Bezuqszahlenliste:

1 Gitternetzmodell / dreidimensionales Objekt1 grid model / three-dimensional object

2 Gitternetzabschnitte 2 grid sections

a - e a - e

2a Frontrahmen 2a front frame

2b Seitenbügel 2b side bracket

2c Brillengläser 2c glasses

2d Gelenkstruktur 2d joint structure

2e Bügelkonstruktion 2nd bracket construction

3 2D-Abbildungen 3 2D images

a - e a - e

3a 3a

3b 3b

3c 3c

3d 3d

3e 3e

4 Gesichtsmerkmalpunkt 4 facial feature point

5 dreidimensionales Modell 5 three-dimensional model

6 ausgeblendeter Bereich 6 hidden area

7 Tönungsgrad 7 degree of tint

8 Tönungsgrad 8 tint

Claims

claims

1. Method for superimposing an independent three-dimensional virtual object (1) over a real-time video stream, in particular for superimposing a virtual model of glasses over a real-time video stream showing a face,

where the video stream is made up of frames,

whereby a three-dimensional virtual model (1) of the superimposing virtual object is created with the aid of a computer,

where the model is created from a grid of polygons,

Grid sections (2a - 2e) are each assigned at least one material area,

the optical representation of the material areas of the different grid sections (2a-2e) being calculated,

wherein at least one human face is recorded in the video stream on the basis of characteristic facial feature points (4),

wherein the position of at least one facial feature point (4) is detected in the current frame of the video stream,

wherein the direction of movement of the detected face is detected by analyzing the current and previous frames using an algorithm, and

wherein the movement of the superimposed virtual object (1) along the movements of at least one characteristic facial feature point (4) is calculated.

2. The method according to claim 1, characterized in that the optical representation of the grid sections (2a - 2e) is calculated under at least one virtual light source.

3. The method according to any one of claims 1 or 2, characterized in that the three-dimensional virtual object (1) is created using at least one technical drawing.

4. The method according to any one of claims 1 to 3, characterized in that the optical representation of a material is calculated on the basis of physical properties of the material to be represented.

5. The method according to any one of claims 1 to 4, characterized in that the different grating sections (2a - 2e) are a front frame (2a), two lenses (2c) and two brackets (2b) of glasses.

6. The method according to any one of claims 1 to 5, characterized in that from the grid sections (2a - 2e) two-dimensional images (3a - 3e), in particular the UV coordinates of the grid sections (2a - 2e), are determined, and by the UV coordinates determine which part of a texture is assigned to which polygon of the grid.

7. The method according to any one of claims 1 to 6, characterized in that display parameters of the overlaying virtual object (1) are set by means of a computer-assisted scene editor and that the display parameters associated with an overlaying object (1) are loaded from a database.

8. The method according to any one of claims 1 to 7, characterized in that from input data of the video stream areas in which a human face is likely to be shown are determined, that all areas in which a human face is likely to be shown, in particular in a collection area into a rectangular area, and that the existence of a human face in the collection area is concluded if the areas have approximately the same size and the same position in the input data of the video stream.

9. The method according to any one of claims 1 to 8, characterized in that the position of facial feature points (4), in particular from 50 to 80, preferably from 68 facial feature points (4), is determined in the collecting area.

10. The method according to claim 9, characterized in that the coordinates of the facial feature points (4) are detected in the analyzed frame, that the translational movements of the facial feature points (4) are detected in the analyzed plane, that the scale of the detected face compared to the size of the analyzed frame is recorded and that rotational movements of the coordinates of the facial feature points (4) are recorded in three spatial directions.

1 1. The method according to any one of claims 9 or 10, that it is a characteristic facial feature point (4) is the facial feature point associated with a bridge of the nose (4) and that the movement of the overlying three-dimensional object (1) along the movement of a bridge of the nose assigned Facial feature point (4) is calculated.

12. The method according to any one of claims 1 to 11, characterized in that a three-dimensional model (5) of a human face is calculated, and that areas of the overlapping object (1) that are covered by the three-dimensional model (5) of a human face , are hidden.

13. The method according to any one of claims 1 to 12, characterized in that the different grid areas (2a - 2e) assigned

Material properties, especially the tint (7, 8), the

Translucency and reflection can be changed in real time.