+

WO2018036663A1 - Changing a display of a reality for information purposes - Google Patents

Changing a display of a reality for information purposes Download PDF

Info

Publication number
WO2018036663A1
WO2018036663A1 PCT/EP2017/025238 EP2017025238W WO2018036663A1 WO 2018036663 A1 WO2018036663 A1 WO 2018036663A1 EP 2017025238 W EP2017025238 W EP 2017025238W WO 2018036663 A1 WO2018036663 A1 WO 2018036663A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
reality
real
virtual
Prior art date
Application number
PCT/EP2017/025238
Other languages
German (de)
French (fr)
Inventor
Michael Schick
Original Assignee
Michael Schick
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Michael Schick filed Critical Michael Schick
Publication of WO2018036663A1 publication Critical patent/WO2018036663A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Definitions

  • the invention relates to a method for changing a representation of a reality for information purposes as well as a device according to the method.
  • markers can be detected during a video recording and these markers in the representation of reality can be replaced by other contents.
  • Such a procedure is also known as augmented reality.
  • a viewer of the presentation will see the inserted content displayed, for example, in television broadcasts, for planning purposes, and / or in video games. It is particularly possible, with a video camera, an empty factory hall, which is provided with the corresponding markings, record and present to the viewer this together with planned resources.
  • the planning of the resources for example to detect possible collisions, can be carried out.
  • the object of the invention is to exploit a representation of a reality for information purposes and / or to improve the presentation of information, in particular in a simultaneous recording and display method.
  • the object is achieved by a method for changing a representation of a reality for informational purposes, including the reality, processing the reality into an image, determining a portion of the image suitable for informational purposes, modifying the portion of the image suitable for information purposes to insert a virtual Information in the picture solved.
  • the recording of the reality takes place in particular continuously and changing the representation in particular simultaneously.
  • the method is applied to moving pictures such as films, videos, transmissions and / or data glasses.
  • the taking of the reality takes place in particular by means of a recording device, for example a camera or video camera.
  • the processing of the reality takes place in particular by means of an imaging device, by means of which in particular a digital image and / or continuously a digital data stream of reality can be generated.
  • the imaging device can be moved and / or carried along. This can be evaluated by means of an image evaluation device for determining the part of the image which is suitable for the purposes of information. It is conceivable that this is done without additional labeling, merely by analyzing the image of reality.
  • the suitable part can be understood to mean an image section, an image section and / or an image region.
  • the determination can be made by recognizing and analyzing a content of the image, in particular by pattern recognition, recognition of a marking, a logo, an image recognition, a face recognition, an existing information, an empty area, a house wall, a side of a motor vehicle and / or the like.
  • a comparison or a comparison can be made with information stored in a database.
  • the actual modification of the information-suitable part of the image can be done by means of an image processing device.
  • the suitable part of the image can be replaced and / or changed. This occurs, for example, during a live broadcast of a sporting event and / or during a video game that has an augmented reality application.
  • the changing of the part of the image for the viewer without immediate visible change for example, only by slightly changing an existing information and / or in a reproduction of the image no longer recognizable replacement of the information.
  • directly visible change it can thus be understood that the presence of virtual information is only noticeable in the case of a direct comparison of the user's reality and the representation of reality and / or does not disturb the viewing of the image or at least as little as possible is preferably advertising, in particular the representation of reality or the image and the virtual information mation be or be.
  • the blending can take place in particular at a transition between the representation of reality and the virtual information.
  • the reality and the virtual information can be partially mirrored running into each other.
  • the virtual information can therefore be superimposed embedded in the image or be.
  • the change of the image can be made particularly inconspicuous.
  • the information-suitable part may already contain real information or may only be suitable in the image. Suitable in this context may mean that a viewer of the image in the part suitable for information purposes expects and / or does not disturb information there and / or remain unaffected to the viewer of essential and / or important parts of the image.
  • a recognition of a real information in the image which is present in the real part of the image, and a change of the real information into the virtual information for changing the part of the image.
  • an analysis of the image is advantageously carried out. This can be done by means of known recognition algorithms such as text recognition, face recognition and / or any recognition software.
  • individual words or messages can be recognized and recognized as real information.
  • a pattern recognition for recognizing logos and associating them with the real information may be used.
  • the real information can be recognized in a simple manner, from which the part of the image is determined and finally the determined part of the image is provided with the virtual information.
  • the imaged or recorded real information can either be changed or replaced with the virtual information.
  • an improvement in readability can take place.
  • Preferred is a Position at which the real information is arranged in the image is also used for the representation of the virtual information.
  • the change in the image ie the representation of reality
  • the real information can in particular be improved, amplified, hidden, overwritten and / or replaced.
  • a distracting from the action unpleasant and / or disturbing real information can be removed from the image or the representation of reality.
  • unnecessary information can be attenuated and / or hidden, for example, billboards and / or neon signs, so as to avoid as much as possible a distraction from the traffic.
  • the real information is improved by the virtual information.
  • the real information may include one or more faces that are replaced in the virtual information by other, for example, known faces.
  • a real advertisement of the real information is replaced by a modified and / or improved virtual advertisement of the virtual information.
  • an advertising message may be placed on a flat surface such as a table that exists in reality.
  • the real information is arranged on the flat surface in the form of an advertisement. For example, in the form of a virtual stand and / or a sheet that lies on the surface and / or as virtually printed on the surface of virtual information in the form of advertising.
  • the real infornnation has the real identification and / or is marked with this.
  • the real identification it can be recognized, for example, whether a possibly existing right holder of the real information in reality agrees that it is changed in the representation of the reality into the virtual information.
  • a payment process for changing the real information into the virtual information can be triggered. For this purpose, an identification of the rights holder can first take place.
  • a comparison with a stored information that can be stored in a queryable database whether it agrees, in particular, under what conditions.
  • the real identification indicates in which way the real information is to be displayed as virtual information or in which virtual information it should or may be changed.
  • one and the same virtual information which may be present several times in reality, bears different markings, so that in presenting them a different virtual information is inserted into the part of the image and / or a specific supplement and / or change the real information is made.
  • the illustrated virtual information takes place in a language understandable to the user.
  • a determination of a language of the user takes place, and depending on this, the representation of the virtual information. So it can be done translating the real information in the language of the user. So a stay in a foreign language area can be adapted to the language.
  • All real information for example information signs, traffic signs, etc., can be virtualized or supplemented in a manner that is understandable to the user.
  • a common linguistic synchronization can therefore also be an optical synchronization.
  • the optical synchronization can also be done with streams and / or live broadcasts, ie simultaneously.
  • a recording and, relative to the recording, a simultaneous changing of the part of the image are provided.
  • continuous recording of the reality for generating an image data stream of reality processing of the image data stream of reality into a plurality of images, continuous determination of the respective information-appropriate portion of the respective image of the plurality, and / or simultaneous modification of the respective one part of the respective image of the plurality suitable for information purposes for inserting the virtual information into the plurality of images.
  • the image data stream may be a conventional one used for streaming, for example, or any other image data stream.
  • the method can thus be advantageous in a live representation of the reality, in a video game, in particular with an augmented representation of reality, also known as Augmented Reality application, a navigation, a representation by means of smart glasses and / or a representation of an industrial application respectively.
  • an augmented representation of reality also known as Augmented Reality application
  • Augmented Reality application a navigation
  • a representation by means of smart glasses and / or a representation of an industrial application respectively.
  • a simultaneous playback of the changed image can be done on a corresponding receiving device.
  • the reproduction of the virtual information takes place.
  • the virtual information is preferably inserted into the plurality of images substantially unchanged.
  • a relative to the continuous recording of the reality of a temporally simultaneous representation of each of the virtual information having changed image of the plurality of images is provided. This may give the impression of a live transmission even though the virtual information is inserted.
  • Continuous recording can be understood to mean a cyclically repeated imaging process for a time interval, as is usual in film and video recordings.
  • At least one parameter of the part of the image and / or of the reality suitable for information purposes can be provided and / or changed.
  • this can be a viewing angle, an illumination angle, a color, a size, a contrast, a brightness, a content, a text representation, a language, a cutout, a highlight, a movement or a page flip.
  • the emphasis can be, for example, a blinking, shaking and / or scrolling of the cutout.
  • the viewer can perceive a video and / or a moving graphic as the virtual information on the part of the image.
  • the parameter preferably describes the reality and / or can be determined and / or calculated, in particular, from the representation of the reality, ie the image.
  • the changing of the image can thus better depending on the parameter Reality to be adjusted.
  • the changed part of the picture can be adapted to the reality and is thereby inserted into the picture in a particularly inconspicuous way.
  • this can be done by assigning the imaged real information to a stored memory information and changing the part of the image as a function of the memory information.
  • the mapping may be accomplished by retrieving a suitable memory device and facilitating the determination of the appropriate portion of the image.
  • the data network may be an Internet, a LAN connection, a WLAN connection and / or a Bluetooth connection network.
  • the data network may be an Internet, a LAN connection, a WLAN connection and / or a Bluetooth connection network.
  • first of all the imaged real information and / or the part of the image comprising it can be transmitted via the data network, in particular to a corresponding server device.
  • this can send back memory information over the data network, which can be received by the user accordingly.
  • the memory information can be sent and received as a vector graphic, so that it can be easily linked to a picture taken by recording the real information.
  • variable perspective and / or size of the imaged Realinfornnation is customizable.
  • the object is also achieved by a device according to claim 12. This is set up, designed and / or constructed for carrying out a previously described method. This results in the aforementioned advantages.
  • a device it is possible to connect corresponding individual devices of the system arrangement and / or the device via a data network.
  • resources can be saved, for example stored in a central server device and retrieved via the data network of a corresponding data processing device used by a user.
  • the data processing device is, in particular, a portable data processing device, in particular a mobile telephone and / or a flat computer.
  • Fig. 1 A device and / or a system arrangement for changing a
  • FIG. 3 shows a flowchart of a method that can be carried out with the device and / or system arrangement according to claim 1.
  • Fig. 1 shows a device 1 for changing a representation 5 of a reality 7 for information purposes, in particular advertising purposes.
  • the device 1 is in particular part of a system 3, where appropriate the changing of the representation 5 of the reality 7 takes place only by means of the device 1 or possibly interacting via a data network 23 with a server device 35 as locally distributed parts of the system 3.
  • the reality 7 has real information 15, for example an advertisement.
  • the reality 7 is recorded together with the real information 15 by means of a recording device 25, in particular continuously.
  • an image data stream of reality is preferably generated.
  • the image data stream thus forms the continuously recorded reality 7 and the real information 15 contained in it.
  • the recording device 25 is preferably a video camera.
  • the recording device 25 is followed by a computing device 41.
  • the computing device 41 which may have further sub-devices, an image 9 of the reality 7 is created and / or evaluated.
  • a plurality of the images 9 are generated from the image data stream. Explanations to the image 9 in the singular also apply analogously to the large number of images 9, unless explicitly stated otherwise.
  • the image 9 is preferably a digital image of the reality 7.
  • a part 1 1 of the image 9 which is suitable for expanding the image 9 with a virtual information 13 is determined by means of the computing device 41.
  • this is that part 11 of the image 9 which actually has or represents an image of the real information 15.
  • Real Information 15 is in particular a Alberg, so located in reality 7 and / or existing advertising, and the virtual information corresponding to a virtual advertising, so in the image 9 of the representation 5 virtually existing advertising.
  • the computing device 41 cooperates with a memory device 43.
  • the storage device 43 has in particular a multiplicity of storage information 21.
  • the storage information 21 is in particular a stored advertising or storage advertising, for example a digitized advertising poster.
  • the memory information 21 is preferably retrievable by means of the computing device 41 and added to the image 9 in the form of the virtual information 13.
  • a recognition of the real information 15, in particular by comparison with information stored in the memory device 43, in particular the memory information 21, is performed.
  • all possible or known real information 15 can be stored there and associated with it, if appropriate, virtual information 13 stored or generated as the storage information 21.
  • the part 11 of the image 9 can be expanded accordingly.
  • other criteria may be used, such as a location where the recording device 25 is located and / or a user-specific setting of a user 39 may be used to determine the transmission information and / or the virtual information 13.
  • the user 39 can simultaneously view the expanded image 9 to capture the reality 7.
  • the enlarged image 9 can be displayed to the user 39 by means of a display device 37.
  • the recording device 25, the presentation device 37, the computing device 41 and the storage device 43 may be part of a portable data processing device 33, for example a mobile phone and / or a flat PC, which is symbolized in FIG.
  • the recording device 25 can be arranged on a side of the portable data processing device 33 opposite the presentation device 37, so that the user 39 can see the reality 7 in the form of the expanded image 9 quasi by the carrying case. re data processing device 33 sees through. He takes advantage of the virtual information 13 instead of real information 15 advantageous. As a result, the user 39 can be informed better and more purposefully than when viewing the reality 7 itself.
  • the portable data processing device 35 is illustrated in FIG. 1 by way of example by means of a dashed rectangle.
  • FIGS. 2 a - d show examples of a respective reality 7 in comparison to the representation thereof in the form of the image 9 having the part 11.
  • FIG. 2 a shows the reality 7, this having a real identification 17, for example in the form of a smart code.
  • the real identifier 17 can be recognized and used to determine the informational part 1 1 of the image 9.
  • the image 9 of the reality 7 can be expanded with the virtual information 13.
  • the real identification 17 serves, in particular, for characterizing the real information 15 not shown in FIG. 2a.
  • FIG. 2 b shows by way of example a scenario of a reality 7 with a motor vehicle 45, a building 47 and a vegetation 49.
  • the real identification 17 is attached by way of example to one side of the motor vehicle 45.
  • the real marking 17 means in this case that on a side wall of the motor vehicle 45 in the representation 5 of the reality 7 on the motor vehicle, ie on the side wall, the virtual information 13 should appear or the corresponding part 1 1 of the image 9 should be extended accordingly , In the representation 5 of the reality 7 according to FIG. 2 b, therefore, the depicted side wall of the motor vehicle 45 has the virtual information 13.
  • the motor vehicle 45 can be detected by means of a corresponding pattern and / or image recognition and the imaged sidewall of the motor vehicle 45 can be expanded based on the recognition with the virtual information 13.
  • a license plate of the motor vehicle 45 can be recognized in order to decide whether the and / or optionally which virtual information 13 is to be displayed. In particular, this can take place during a transmission of a car race. Analogously, this can be done with the building 47, which optionally may also have a real marking 17 and / or recognized a corresponding open space on the building 47 and can be expanded accordingly as part 1 1 of the image 9 with the virtual information 13.
  • a free space 51 exemplarily present between the vegetation 49 and the building 47 can be recognized and determined as the suitable part 11 of the image 9. Accordingly, the free space 51 recognized in reality 7 can be provided with the virtual information 13. This can be done in particular for the user 39 in the most inconspicuous and / or non-noticeable manner, for example by displaying a device, a stand and / or the like to reproduce in realities 7 usually present real information 15, in particular advertising and / or advertising space and / or the free space 51. As a result, a virtual advertisement that is actually not present in reality or at least not in the form shown in FIG. 9 can be displayed in the image 9 in as inconspicuous a manner as possible.
  • Fig. 2c shows on the left side of a game field 53 and a display 55, in particular an advertising space, having reality 7.
  • the display 55 and / or a content of the display 55 can be detected and determined ,
  • the display 55 may also have a real marking 17.
  • the playing field 53 and the display 55 can be transmitted by means of a transmission 57 and / or via the data network 23. This can be done simultaneously, ie as a live transmission, whereby the user 39 can view the image 9 of the reality 7.
  • the display 55 can be expanded with the virtual information 13. This is done in particular depending on a configuration of the user 39, of rights and / or territorial boundaries within which the user 39 resides, in particular a language of the user 39.
  • Fig. 2d also shows a reality 7 and a representation 5 of the reality 7.
  • the representation 5 is shown in dotted lines in FIGS. 2a-d.
  • the virtual information 13 at least one provided parameter 19 represents changed real information 15.
  • the real information 15 is thus modified as a function of the parameter 19 in the virtual information 13 and shown as such changed in the image 9.
  • the parameter 19 is a viewing angle, an illumination angle, a color, a size, a contrast, a brightness, a content, a textual representation, a language, a clipping, a highlight, a motion, or a page flip.
  • FIG. 3 shows a flowchart of a method for changing the representation 5 of the reality 7, as shown in FIGS. 1 and 2.
  • a first step 59 reality 7 is first recorded. This is done in particular by means of the receiving device 25, which is indicated in Fig. 3 by means of a reference numeral.
  • the reality 7 is processed into a digital image 9. This is done in particular by means of an imaging device 27, which is symbolized in FIG. 3 only by means of the reference symbol.
  • a third step 63 the information-suitable part 1 1 of the image 9 is determined. This is done in particular by means of an image evaluation device 29, which is likewise indicated in FIG. 3 only by means of a reference symbol.
  • the third step 63 is optionally carried out as a query or has a query 69.
  • the query 69 determines whether a real information 15 is present in the reality 7 and / or a corresponding free space 51 that is suitable for inserting a virtual information 13. If this is not the case, the process continues as usual video recording and playback, ie without expanding the image 9 with the Virtual Information 13 on.
  • a fourth step 65 for changing the suitable for the information purposes part 1 1 of the image 9 for inserting the virtual information 13 in the image 9th Otherwise, a true-to-life representation 5 of the reality 7 takes place.
  • the changing of the image 9 preferably takes place with an image processing device 31, which is indicated in FIG. 3 merely by means of the reference symbol.
  • the correspondingly altered image 9 or possibly unchanged image 9 of the reality 7 is in a fifth step 67 by means of Representing device 37, indicated in Fig. 3 only by means of a reference numeral, in particular a screen, a display and / or a touch-sensitive screen, reproduced for the user 39 perceptible.
  • the presentation device can also be a head-up display , in particular a vehicle.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The invention relates to a method and to a device (1) for changing a display (5) of a reality (7) for information purposes. The method is carried out by: recording the reality (7), processing the reality (7) to form an image (9), determining a part (11) of the image (9) that is suitable for information purposes, changing the part (11) of the image (9) that is suitable for information purposes by inserting virtual information (13) into the image (9).

Description

Verändern einer Darstellung einer Realität für Informationszwecke  Changing a representation of a reality for informational purposes
Die Erfindung betrifft ein Verfahren zum Verändern einer Darstellung einer Realität für Informationszwecke sowie eine verfahrensgemäße Vorrichtung. The invention relates to a method for changing a representation of a reality for information purposes as well as a device according to the method.
Das Verändern einer Realität für Informationszwecke ist bekannt. Dazu können beispielsweise während einer Videoaufnahme Markierungen erkannt werden und diese Markierungen in der Darstellung der Realität durch andere Inhalte ersetzt werden. Ein solches Vorgehen ist auch unter dem Namen augmented reality bekannt. Einem Betrachter der Darstellung werden die eingefügten Inhalte angezeigt, beispielsweise bei Fernsehübertragungen, für Planungszwecke und/oder bei Videospielen. Es ist insbesondere möglich, mit einer Videokamera eine leere Werkshalle, die mit den entsprechenden Kennzeichnungen versehen ist, aufzunehmen und dem Betrachter diese zusammen mit geplanten Betriebsmitteln darzustellen. Durch ein Bewegen der Markierungen kann die Planung der Betriebsmittel, beispielsweise um mögliche Kollisionen zu erkennen, durchgeführt werden. Changing a reality for information purposes is known. For this purpose, for example, markers can be detected during a video recording and these markers in the representation of reality can be replaced by other contents. Such a procedure is also known as augmented reality. A viewer of the presentation will see the inserted content displayed, for example, in television broadcasts, for planning purposes, and / or in video games. It is particularly possible, with a video camera, an empty factory hall, which is provided with the corresponding markings, record and present to the viewer this together with planned resources. By moving the markers, the planning of the resources, for example to detect possible collisions, can be carried out.
Aufgabe der Erfindung ist es, eine Darstellung einer Realität für Informationszwecke auszunützen und/oder die Darstellung einer Information zu verbessern, insbesondere bei einem simultanen Aufnahme- und Darstellungsverfahren. The object of the invention is to exploit a representation of a reality for information purposes and / or to improve the presentation of information, in particular in a simultaneous recording and display method.
Die Aufgabe wird durch eine Verfahren zum Verändern einer Darstellung einer Realität für Informationszwecke, mit Aufnehmen der Realität, Verarbeiten der Realität zu einem Bild, Bestimmen eines für die Informationszwecke geeigneten Teils des Bildes, Verändern des für die Informationszwecke geeigneten Teils des Bildes zum Einfügen einer Virtual Information in das Bild gelöst. The object is achieved by a method for changing a representation of a reality for informational purposes, including the reality, processing the reality into an image, determining a portion of the image suitable for informational purposes, modifying the portion of the image suitable for information purposes to insert a virtual Information in the picture solved.
Das Aufnehmen der Realität erfolgt insbesondere kontinuierlich und das Verändern der Darstellung insbesondere simultan. Unter„simultan" kann in dieser Anmeldung eine Veränderung mit einer für einen Betrachter der Darstellung der Realität ohne merkliche Zeitverzögerung verstanden werden, insbesondere im Bereich einer Zeitverzögerung kleiner 1 s, kleiner Vi s, kleiner 100 ms, kleiner 10 ms. Insbesondere hängt die erzielbare minimale, nicht wahrnehmbare Zeitverzögerung von einer Re- chenleistung einer entsprechenden Rechenvorrichtung zum Durchführen des Verfahrens ab. Insbesondere kann unter simultan verstanden werden, dass das Verfahren bei bewegten Bildern wie bei Filmen, Videos, Übertragungen und/oder Datenbrillen angewandt wird. Das Aufnahmen der Realität erfolgt insbesondere mittels einer Aufnahmevorrichtung, beispielsweise einer Kamera oder Videokamera. Die Verarbeitung der Realität erfolgt insbesondere mittels einer Bildgebungsvorrichtung, mittels der insbesondere ein digitales Bild und/oder kontinuierlich ein digitaler Datenstrom der Realität erzeugbar ist. Die Bildgebungsvorrichtung kann bewegt und/oder mitgeführt werden. Dieses kann mittels einer Bildauswertungsvorrichtung zum Bestimmen des für die Informationszwecke geeigneten Teiles des Bildes ausgewertet werden. Es ist denkbar, dass dies ohne zusätzliche Kennzeichnung, lediglich durch eine Analyse des Bildes der Realität erfolgt. Unter dem geeigneten Teil kann ein Bildausschnitt, ein Bildabschnitt und/oder ein Bildbereich verstanden werden. Das Bestimmen kann insbesondere durch ein Erkennen und Analysieren eines Inhaltes des Bildes erfolgen, insbesondere durch eine Mustererkennung, ein Erkennen einer Markierung, eines Logos, einer Bilderkennung, einer Gesichtserkennung, einer vorhandenen Information, einer leeren Fläche, einer Hauswand, einer Seite eines Kraftfahrzeugs und/oder Ähnliches, erfolgen. Insbesondere können ein Abgleich bzw. ein Vergleich mit einer in einer Datenbank gespeicherten Information erfolgen. Das eigentliche Verändern des für die Informationszwecke geeigneten Teiles des Bildes kann mittels einer Bildbearbeitungsvorrichtung erfolgen. Dazu kann der geeignete Teil des Bildes ersetzt und/oder verändert werden. Dies erfolgt beispielsweise während einer Live-Übertragung eines Sportereignisses und/oder während eines Videospieles, das eine augmented reality-Anwendung aufweist. Vorteilhaft kann das Verändern des Teiles des Bildes für den Betrachter ohne unmittelbar sichtbare Veränderung erfolgen, beispielsweise lediglich durch geringfügiges Verändern einer vorhandenen Information und/oder in einer Wiedergabe des Bildes nicht mehr erkennbaren Ersetzung der Information. Unter„ohne unmittelbar sichtbare Veränderung" kann also verstanden werden, dass das Vorhandensein der Virtual Information nur bei einem direkten Vergleich des Benutzers der Realität und der Darstellung der Realität auffällt und/oder das Betrachten des Bildes nicht oder zumindest möglichst wenig stört. Bei der Information handelt es sich vorzugsweise um Werbung. Insbesondere können die Darstellung der Realität beziehungsweise das Bild und die Virtualinfor- mation überblendet werden beziehungsweise sein. Das Überblenden kann insbesondere an einem Übergang zwischen der Darstellung der Realität und der Virtualin- formation erfolgen. Vorzugsweise durch übereinander legen von gegenläufigen Ausblendungsverläufen ins Weiße und/oder Vignettierungen. Insbesondere erfolgt ein gegenseitiges oder zumindest einseitiges einspiegeln. Dadurch können die Realität und die Virtual Information bereichsweise gegenseitig auslaufend ineinander verspiegelt sein. Die Virtual Information kann also überblendet in das Bild eingebettet sein beziehungsweise werden. Durch das Überblenden der Virtualinformation, insbesondere an einem Rand der Virtualinformation, mit der Darstellung der Realität beziehungsweise dem Bild, kann die Veränderung des Bildes besonders unauffällig erfolgen. Der für Informationszwecke geeignete Teil kann bereits eine Real Information enthalten oder lediglich in dem Bild dafür geeignet sein. Geeignet kann in diesem Zusammenhang bedeuten, dass ein Betrachter des Bildes in dem für Informationszwecke geeigneten Teil eine Information erwartet und/oder diese dort nicht stört und/oder für den Betrachter wesentliche und/oder wichtige Teile des Bildes unberührt bleiben. The recording of the reality takes place in particular continuously and changing the representation in particular simultaneously. "Simultaneous" in this application can be understood to mean a change with an observer of the representation of reality without appreciable time delay, in particular in the range of a time delay of less than 1 s, smaller Vi s, less than 100 ms, less than 10 ms minimal, imperceptible time delay from a chenleistung a corresponding computing device for performing the method. In particular, it can be simultaneously understood that the method is applied to moving pictures such as films, videos, transmissions and / or data glasses. The taking of the reality takes place in particular by means of a recording device, for example a camera or video camera. The processing of the reality takes place in particular by means of an imaging device, by means of which in particular a digital image and / or continuously a digital data stream of reality can be generated. The imaging device can be moved and / or carried along. This can be evaluated by means of an image evaluation device for determining the part of the image which is suitable for the purposes of information. It is conceivable that this is done without additional labeling, merely by analyzing the image of reality. The suitable part can be understood to mean an image section, an image section and / or an image region. Specifically, the determination can be made by recognizing and analyzing a content of the image, in particular by pattern recognition, recognition of a marking, a logo, an image recognition, a face recognition, an existing information, an empty area, a house wall, a side of a motor vehicle and / or the like. In particular, a comparison or a comparison can be made with information stored in a database. The actual modification of the information-suitable part of the image can be done by means of an image processing device. For this purpose, the suitable part of the image can be replaced and / or changed. This occurs, for example, during a live broadcast of a sporting event and / or during a video game that has an augmented reality application. Advantageously, the changing of the part of the image for the viewer without immediate visible change, for example, only by slightly changing an existing information and / or in a reproduction of the image no longer recognizable replacement of the information. By "without directly visible change" it can thus be understood that the presence of virtual information is only noticeable in the case of a direct comparison of the user's reality and the representation of reality and / or does not disturb the viewing of the image or at least as little as possible is preferably advertising, in particular the representation of reality or the image and the virtual information mation be or be. The blending can take place in particular at a transition between the representation of reality and the virtual information. Preferably by superimposing opposing Ausblendungsverläufen to white and / or vignetting. In particular, there is a mutual or at least one-sided mirroring. As a result, the reality and the virtual information can be partially mirrored running into each other. The virtual information can therefore be superimposed embedded in the image or be. By blending the virtual information, in particular at one edge of the virtual information, with the representation of the reality or the image, the change of the image can be made particularly inconspicuous. The information-suitable part may already contain real information or may only be suitable in the image. Suitable in this context may mean that a viewer of the image in the part suitable for information purposes expects and / or does not disturb information there and / or remain unaffected to the viewer of essential and / or important parts of the image.
Bei einer Ausführungsform des Verfahrens sind ein Erkennen einer in der Realität befindlichen und in dem Teil des Bildes abgebildeten Realinformation in dem Bild sowie ein Verändern der Real Information in die Virtualinformation zum Verändern des Teils des Bildes vorgesehen. In one embodiment of the method, there is provided a recognition of a real information in the image, which is present in the real part of the image, and a change of the real information into the virtual information for changing the part of the image.
Vorteilhaft erfolgt insbesondere eine Analyse des Bildes. Dies kann mittels bekannter Erkennungsalgorithmen wie beispielsweise einer Texterkennung, einer Gesichtserkennung und/oder einer beliebigen Erkennungssoftware erfolgen. Insbesondere können einzelne Worte oder Botschaften erkannt werden und diese als Realinformation erkannt werden. Insbesondere kann eine Mustererkennung zum Erkennen von Logos und Zuordnen derselben der Real Information verwendet werden. Dadurch kann auf einfache Art und Weise die Realinformation erkannt werden, aus dieser der Teil des Bildes ermittelt und schließlich der ermittelte Teil des Bildes mit der Virtualinformation versehen werden. Dabei kann die abgebildete bzw. aufgenommene Realinformation entweder verändert oder mit der Virtualinformation ersetzt werden. Insbesondere kann eine Verbesserung einer Lesbarkeit erfolgen. Bevorzugt wird eine Position an der die Realinformation in dem Bild angeordnet ist auch für die Darstellung der Virtualinformation genutzt. Dadurch kann die Veränderung des Bildes, also der Darstellung der Realität noch unauffälliger erfolgen. Die Realinformation kann insbesondere verbessert, verstärkt, ausgeblendet, überschrieben und/oder ersetzt werden. Beispielsweise kann eine von einem Geschehen ablenkende, unangenehme und/oder störende Real Information aus dem Bild beziehungsweise der Darstellung der Realität entfernt werden. In einem Verkehrsgeschehen können beispielsweise unnötige Informationen abgeschwächt und/oder ausgeblendet werden, zum Beispiel Werbetafeln und/oder Leuchtreklame, um so eine Ablenkung vom Verkehrsgeschehen bestmöglich zu vermeiden. Alternativ oder zusätzlich ist es denkbar, als Virtualinformation Kunstwerke, Dekorationen und/oder Ähnliches einzufügen. Dadurch kann ein nicht dekorierter Raum aufgewertet werden. Zur Darstellung der Virtualinformation kann ein Drehen, Vergrößern, Anpassen einer Perspektive, Verbessern einer Lesbarkeit, Ersetzen eines Schriftsatzes der Realinformation, Drehen einzelner Buchstaben der Realinformation, Animieren der Realinformation, Blockieren einer Animation der Realinformation und/oder Ausblenden der Real Information erfolgen. Es erfolgt also ein Verbessern der Realinformation durch die Virtualinformation. Insbesondere kann die Real Information ein oder mehrere Gesichter aufweisen, die in der Virtualinformation durch andere, beispielsweise bekannte Gesichter ersetzt werden. Besonders bevorzugt wird eine reale Werbung der Real Information durch eine geänderte und/oder verbesserte virtuelle Werbung der Virtualinformation ersetzt. Außerdem kann auf einer ebenen Fläche wie einem Tisch, der in der Realität vorhanden ist, eine Werbebotschaft angeordnet werden. Die Realinformation wird auf der ebenen Fläche in Form einer Werbung angeordnet. Beispielsweise in Form eines virtuellen Aufstellers und/oder eines Blattes, das auf der Fläche liegt und/oder als auf der Fläche virtuell aufgedruckte Virtualinformation in Form von Werbung. In particular, an analysis of the image is advantageously carried out. This can be done by means of known recognition algorithms such as text recognition, face recognition and / or any recognition software. In particular, individual words or messages can be recognized and recognized as real information. In particular, a pattern recognition for recognizing logos and associating them with the real information may be used. As a result, the real information can be recognized in a simple manner, from which the part of the image is determined and finally the determined part of the image is provided with the virtual information. In this case, the imaged or recorded real information can either be changed or replaced with the virtual information. In particular, an improvement in readability can take place. Preferred is a Position at which the real information is arranged in the image is also used for the representation of the virtual information. As a result, the change in the image, ie the representation of reality, can be made even less noticeable. The real information can in particular be improved, amplified, hidden, overwritten and / or replaced. For example, a distracting from the action, unpleasant and / or disturbing real information can be removed from the image or the representation of reality. In a traffic event, for example, unnecessary information can be attenuated and / or hidden, for example, billboards and / or neon signs, so as to avoid as much as possible a distraction from the traffic. Alternatively or additionally, it is conceivable to insert artworks, decorations and / or the like as virtual information. As a result, an un-decorated room can be upgraded. To display the virtual information, rotate, zoom in, adjust a perspective, improve readability, replace a font of real information, rotate individual letters of the real information, animate the real information, block an animation of the real information, and / or hide the real information. Thus, the real information is improved by the virtual information. In particular, the real information may include one or more faces that are replaced in the virtual information by other, for example, known faces. Particularly preferably, a real advertisement of the real information is replaced by a modified and / or improved virtual advertisement of the virtual information. In addition, an advertising message may be placed on a flat surface such as a table that exists in reality. The real information is arranged on the flat surface in the form of an advertisement. For example, in the form of a virtual stand and / or a sheet that lies on the surface and / or as virtually printed on the surface of virtual information in the form of advertising.
Bevorzugt ist es denkbar, ein Erkennen einer in der Realität befindlichen und mit dieser zusammen aufgenommenen Realkennzeichnung in dem Bild und eine Bestimmen des Teils des Bildes in Abhängigkeit der aufgenommenen Realkennzeichnung vorzusehen. Insbesondere ist es vorteilhaft denkbar, dass die Real infornnation die Realkennzeichnung aufweist und/oder mit dieser gekennzeichnet ist. Mit Hilfe der Realkennzeichnung kann beispielsweise erkannt werden, ob ein möglicherweise vorhandener Rechteinhaber der in der Realität befindlichen Realinformation damit einverstanden ist, dass diese in der Darstellung der Realität in die Virtualinformation geändert wird. Außerdem kann ein Bezahlvorgang für das Ändern der Real Information in die Virtualinformation ausgelöst werden. Dazu kann zunächst eine Identifikation des Rechteinhabers erfolgen. Außerdem ein Abgleich mit einer gespeicherten Information, die in einer Datenbank abfragbar hinterlegt sein kann, ob dieser einverstanden ist, insbesondere zu welchen Bedingungen. Insbesondere ist es denkbar, dass die Realkennzeichnung angibt, auf weiche Art und Weise die Realinformation als Virtualinformation dargestellt werden soll bzw. in welche Virtualinformation diese geändert werden soll bzw. darf. Dazu ist es denkbar, dass ein- und dieselben Virtualinformation, die möglicherweise mehrfach in der Realität vorhanden ist, unterschiedliche Kennzeichnungen trägt, sodass beim Darstellen derselben jeweils eine unterschiedliche Virtualinformation in den Teil des Bildes eingefügt wird und/oder eine bestimmte Ergänzung und/oder Veränderung der Real Information vorgenommen wird. Außerdem ist es denkbar, das Verändern des Teils des Bildes abhängig von einem Benutzer und/oder Betrachter der Darstellung der Realität vorzunehmen und/oder von einer von dem Benutzer wählbaren Konfiguration. Insbesondere ist es denkbar, dies abhängig von einer gewählten Sprache zu tun, sodass beispielsweise die dargestellte Virtualinformation in einer für den Benutzer verständlichen Sprache erfolgt. Es erfolgt also insbesondere ein Ermitteln einer Sprache des Nutzers und davon abhängig die Darstellung der Virtualinformation. Es kann also ein Übersetzen der Realinformation in die Sprache des Nutzers erfolgen. So kann ein Aufenthalt in einem fremden Sprachgebiet an die Sprache angepasst werden. Es können alle Realinformationen, beispielsweise Hinweisschilder, Verkehrszeichen, etc. in für den Nutzer verständlicher Form virtualisiert beziehungsweise ergänzt werden. Neben einer üblichen sprachlichen Synchronisation kann also auch eine optische Synchronisation erfolgen. Vorzugsweise kann die optische Synchronisation auch bei Streams und/oder Liveübertragungen erfolgen, also simultan. Außerdem ist es denkbar, dies abhängig von einem Ort, an dem die Aufnahme der Realität erfolgt, durchzuführen, beispielsweise von territorialen Landesgrenzen. Dadurch ist es möglich, territorial geltende Urheberrechte einzuhalten und/oder für bestimmte Länder und/oder Regionen geeignete Virtualinformationen darzustellen. Außerdem ist es denkbar, das Verfahren auf bereits vorhandene Aufnahmen simultan beim Wiedergeben anzuwenden, beispielsweise um eine Zensur, Modernisierung und/oder Erweiterung mit der Virtualinformation durchzuführen. It is preferably conceivable to provide recognition of a real identification in the image, which is recorded in reality and recorded together with it, and a determination of the part of the image as a function of the recorded real identification. In particular, it is advantageously conceivable that the real infornnation has the real identification and / or is marked with this. With the aid of the real identification, it can be recognized, for example, whether a possibly existing right holder of the real information in reality agrees that it is changed in the representation of the reality into the virtual information. In addition, a payment process for changing the real information into the virtual information can be triggered. For this purpose, an identification of the rights holder can first take place. In addition, a comparison with a stored information that can be stored in a queryable database, whether it agrees, in particular, under what conditions. In particular, it is conceivable that the real identification indicates in which way the real information is to be displayed as virtual information or in which virtual information it should or may be changed. For this purpose, it is conceivable that one and the same virtual information, which may be present several times in reality, bears different markings, so that in presenting them a different virtual information is inserted into the part of the image and / or a specific supplement and / or change the real information is made. In addition, it is conceivable to make the modification of the part of the image dependent on a user and / or viewer of the representation of the reality and / or of a user-selectable configuration. In particular, it is conceivable to do this depending on a selected language, so that, for example, the illustrated virtual information takes place in a language understandable to the user. Thus, in particular, a determination of a language of the user takes place, and depending on this, the representation of the virtual information. So it can be done translating the real information in the language of the user. So a stay in a foreign language area can be adapted to the language. All real information, for example information signs, traffic signs, etc., can be virtualized or supplemented in a manner that is understandable to the user. In addition to a common linguistic synchronization can therefore also be an optical synchronization. Preferably, the optical synchronization can also be done with streams and / or live broadcasts, ie simultaneously. In addition, it is conceivable to do so depending on a place where reality is recorded, for example territorial borders. This makes it possible to apply territorially To comply with copyright laws and / or to display appropriate virtual information for specific countries and / or regions. In addition, it is conceivable to apply the method to already existing recordings simultaneously during playback, for example to perform a censorship, modernization and / or extension with the virtual information.
Bei einer weiteren Ausführungsform des Verfahrens sind ein Aufnehmen und relativ zu dem Aufnehmen ein simultanes Verändern des Teils des Bildes vorgesehen. Dazu erfolgen insbesondere ein kontinuierliches Aufnehmen der Realität zum Erzeugen eines Bilddatenstroms der Realität, ein Verarbeiten des Bilddatenstroms der Realität zu einer Vielzahl der Bilder, ein kontinuierliches Bestimmen des jeweiligen für die Informationszwecke geeigneten Teils des jeweiligen Bildes der Vielzahl und/oder ein simultanes Verändern des jeweiligen für die Informationszwecke geeigneten Teils des jeweiligen Bildes der Vielzahl zum Einfügen der Virtualinformation in die Vielzahl der Bilder. Bei dem Bilddatenstrom kann es sich um einen üblichen beispielsweise für Streaming verwendeten oder beliebigen anderen Bilddatenstrom handeln. Das Verfahren kann also vorteilhaft bei einer Live-Darstellung der Realität, bei einem Videospiel, insbesondere mit einer erweiterten Realitätsdarstellung, auch als Aug- mented-Reality-Anwendung bekannt, einer Navigation, einer Darstellung mittels einer Datenbrille und/oder einer Darstellung einer industriellen Anwendung erfolgen. Insbesondere bei Sportübertragungen, wobei ein simultanes Wiedergeben des veränderten Bildes auf einem entsprechenden Empfangsgerät erfolgen kann. Dadurch kann, insbesondere für den Betrachter unbemerkt oder zumindest möglichst unauffällig oder sich möglichst wenig störend in die Abbildung der Realität beziehungsweise das jeweilige Bild einfügend, das Wiedergeben der Virtualinformation erfolgen. Die Virtualinformation wird bevorzugt in die Vielzahl der Bilder im Wesentlichen unverändert eingefügt. Insbesondere erfolgt von Bild zu Bild der Vielzahl lediglich eine Anpassung an sich verändernde Perspektiven, Beleuchtungen und/oder des für die Informationszwecke geeigneten Teils des jeweiligen Bildes der Vielzahl, also nicht des Inhalts der Virtualinformation. Es ist denkbar, nach einem Zeitintervall die Virtualinformation durch eine weitere Virtualinformation zu ersetzen. Dadurch können nutzer-, länder- und/oder betreiberspezifische Lizenzen zum Wiedergeben der Virtualinformation vergeben werden. Insbesondere kann beispielsweise eine Sportübertra- gung personalisiert auf einen Benutzer und/oder länderspezifisch erweitert und/oder abgeändert erfolgen. Dazu ist insbesondere ein relativ zu dem Aufnehmen der Realität zeitlich simultanes Darstellen des die Virtual Information aufweisenden veränderten Bildes möglich. Dies kann beispielsweise durch das Verwenden einer Datenbrille, eines Head-up-Displays, eines Flachcomputers, eines Mobiltelefons und/oder eines beliebigen Displays, insbesondere eines Displays, das auf einer Rückseite eine Kamera aufweist, erfolgen. In a further embodiment of the method, a recording and, relative to the recording, a simultaneous changing of the part of the image are provided. In particular, continuous recording of the reality for generating an image data stream of reality, processing of the image data stream of reality into a plurality of images, continuous determination of the respective information-appropriate portion of the respective image of the plurality, and / or simultaneous modification of the respective one part of the respective image of the plurality suitable for information purposes for inserting the virtual information into the plurality of images. The image data stream may be a conventional one used for streaming, for example, or any other image data stream. The method can thus be advantageous in a live representation of the reality, in a video game, in particular with an augmented representation of reality, also known as Augmented Reality application, a navigation, a representation by means of smart glasses and / or a representation of an industrial application respectively. In particular, in sports broadcasts, wherein a simultaneous playback of the changed image can be done on a corresponding receiving device. As a result, unnoticed by the viewer, or at least inconspicuously as inconspicuous as possible or as inconvenient as possible in the depiction of the reality or the respective picture, the reproduction of the virtual information takes place. The virtual information is preferably inserted into the plurality of images substantially unchanged. In particular, from image to image of the plurality, only an adaptation to changing perspectives, illuminations and / or the part of the respective image of the plurality suitable for the purposes of information takes place, that is to say not the content of the virtual information. It is conceivable to replace the virtual information with another virtual information after a time interval. As a result, user-specific, country-specific and / or operator-specific licenses for reproducing the virtual information can be assigned. In particular, for example, a sports broadcasting personalized to a user and / or country-specific extended and / or modified. For this purpose, it is possible, in particular, to present the modified image containing the virtual information temporally simultaneously relative to the recording of the reality. This can be done, for example, by using data glasses, a head-up display, a flat computer, a mobile phone and / or any display, in particular a display which has a camera on a rear side.
Bei einer weiteren Ausführungsform des Verfahrens ist ein relativ zu dem kontinuierlichen Aufnehmen der Realität ein zeitlich simultanes Darstellen des jeweils die Virtual Information aufweisenden veränderten Bildes der Vielzahl der Bilder vorgesehen. Dadurch kann der Eindruck eine Liveübertragung entstehen, obwohl die Virtualin- formation eingefügt ist. Unter kontinuierliches Aufnehmen kann ein für ein Zeitintervall zyklisch wiederholtes Bildgebungsverfahren verstanden werden, wie es bei Film- und Videoaufnahmen üblich ist. In a further embodiment of the method, a relative to the continuous recording of the reality of a temporally simultaneous representation of each of the virtual information having changed image of the plurality of images is provided. This may give the impression of a live transmission even though the virtual information is inserted. Continuous recording can be understood to mean a cyclically repeated imaging process for a time interval, as is usual in film and video recordings.
Zum Erzielen bzw. Darstellen der Virtual Information kann zumindest ein Parameter des für die Informationszwecke geeigneten Teils des Bildes und/oder der Realität bereitgestellt und/oder verändert werden. Dabei kann es sich insbesondere um einen Betrachtungswinkel, einen Beleuchtungswinkel, eine Farbe, eine Größe, einen Kontrast, eine Helligkeit, einen Inhalt, eine Textdarstellung, eine Sprache, einen Ausschnitt, eine Hervorhebung, eine Bewegung oder ein Umblättern handeln. Bei der Hervorhebung kann es sich beispielsweise um ein Blinken, Wackeln und/oder Scrol- len des Ausschnittes handeln. Außerdem ist es denkbar, aus einer eigentlich statischen Realinformation eine bewegte Virtualinformation zu generieren bzw. diese entsprechend als Erweiterung der Darstellung der Realität hinzuzufügen. Anstelle der statischen Realinformation kann also der Betrachter an dem Teil des Bildes ein Video und/oder eine bewegte Grafik als die Virtualinformation wahrnehmen. In Abhängigkeit des Parameters erfolgt vorzugsweise ein Verändern des Teils des Bildes. Der Parameter beschreibt bevorzugt die Realität und/oder kann insbesondere aus der Darstellung der Realität, also dem Bild ermittelt und/oder berechnet werden. Das Verändern des Bildes kann also in Abhängigkeit des Parameters noch besser an die Realität angepasst werden. Der veränderte Teil des Bildes kann an die Realität an- gepasst werden und ist dadurch besonders unauffällig in das Bild einfügbar. In order to obtain or present the virtual information, at least one parameter of the part of the image and / or of the reality suitable for information purposes can be provided and / or changed. In particular, this can be a viewing angle, an illumination angle, a color, a size, a contrast, a brightness, a content, a text representation, a language, a cutout, a highlight, a movement or a page flip. The emphasis can be, for example, a blinking, shaking and / or scrolling of the cutout. In addition, it is conceivable to generate a moving virtual information from an actually static real information or to add it accordingly as an extension of the representation of the reality. Instead of the static real information, therefore, the viewer can perceive a video and / or a moving graphic as the virtual information on the part of the image. Depending on the parameter, it is preferable to change the part of the image. The parameter preferably describes the reality and / or can be determined and / or calculated, in particular, from the representation of the reality, ie the image. The changing of the image can thus better depending on the parameter Reality to be adjusted. The changed part of the picture can be adapted to the reality and is thereby inserted into the picture in a particularly inconspicuous way.
Bei einer bevorzugten Ausführungsform des Verfahrens kann dieses mit einem Zuordnen der abgebildeten Real Information zu einer gespeicherten Speicherinformation und einem Verändern des Teils des Bildes in Abhängigkeit der Speicherinformation erfolgen. In a preferred embodiment of the method, this can be done by assigning the imaged real information to a stored memory information and changing the part of the image as a function of the memory information.
Das Zuordnen kann durch Abrufen einer geeigneten Speichervorrichtung erfolgen und das Bestimmen des geeigneten Teils des Bildes vereinfachen. Außerdem ist es möglich, dadurch sicherzustellen, dass nur bestimmte und/oder gewünschte Realinformationen bei der Darstellung der Realität als die Virtualinformation wiedergegeben werden. Dadurch kann sichergestellt werden, dass möglicherweise unerlaubte Manipulationen der Darstellung der Realität unterbleiben. Insbesondere kann dies abhängig von weiteren Kriterien, Listen und/oder Ähnlichem erfolgen. The mapping may be accomplished by retrieving a suitable memory device and facilitating the determination of the appropriate portion of the image. In addition, it is possible thereby to ensure that only certain and / or desired real information is reproduced in the representation of reality as the virtual information. This will ensure that any unauthorized manipulation of the representation of reality is avoided. In particular, this can be done depending on further criteria, lists and / or the like.
Grundsätzlich ist es denkbar, das Verfahren in einem integrierten Gerät, insbesondere in einem tragbaren Gerät durchzuführen. Alternativ oder zusätzlich ist es jedoch auch denkbar, dieses an unterschiedlichen Orten über ein Datennetzwerk vorzunehmen, insbesondere ein teilweise funkbasiertes Datennetzwerk. Bei dem Datennetzwerk kann es sich um ein Internet, ein eine LAN-Verbindung, eine WLAN- Verbindung und/oder eine Bluetooth-Verbindung aufweisendes Netzwerk handeln. Insbesondere kann zunächst die abgebildete Realinformation und/oder der diese aufweisende Teil des Bildes über das Datennetzwerk übertragen werden, insbesondere an eine entsprechende Servervorrichtung. Diese kann als Antwort eine Speicherinformation über das Datennetzwerk zurücksenden, die entsprechend benutzer- seitig empfangen werden kann. Während der Darstellung der Realität ist dann lediglich eine Zuordnung vorzunehmen und die abgebildete Realinformation mit der empfangenen Speicherinformation zu ersetzen. Dies kann gegebenenfalls unter Berücksichtigung von Betrachtungswinkeln, Beleuchtung, farblicher Darstellung und/oder Ähnlichem der aufgenommenen Realinformation erfolgen. Insbesondere kann die Speicherinformation als Vektorgrafik gesendet und empfangen werden, sodass diese auf einfache Art und Weise an eine durch das Aufnehmen der Realinformation ver- änderliche Perspektive und/oder Größe der abgebildeten Realinfornnation anpassbar ist. In principle, it is conceivable to carry out the method in an integrated device, in particular in a portable device. Alternatively or additionally, however, it is also conceivable to carry this out at different locations via a data network, in particular a partially radio-based data network. The data network may be an Internet, a LAN connection, a WLAN connection and / or a Bluetooth connection network. In particular, first of all the imaged real information and / or the part of the image comprising it can be transmitted via the data network, in particular to a corresponding server device. In response, this can send back memory information over the data network, which can be received by the user accordingly. During the representation of the reality, it is then only necessary to make an assignment and to replace the imaged real information with the received memory information. If appropriate, this can take place with consideration of viewing angles, lighting, color representation and / or the like of the recorded real information. In particular, the memory information can be sent and received as a vector graphic, so that it can be easily linked to a picture taken by recording the real information. variable perspective and / or size of the imaged Realinfornnation is customizable.
Die Aufgabe ist außerdem durch eine Vorrichtung nach Anspruch 12 gelöst. Diese ist eingerichtet, ausgelegt und/oder konstruiert zum Durchführen eines vorab beschriebenen Verfahrens. Es ergeben sich die vorab genannten Vorteile. The object is also achieved by a device according to claim 12. This is set up, designed and / or constructed for carrying out a previously described method. This results in the aforementioned advantages.
Schließlich ist die Aufgabe durch eine Vorrichtung gemäß Anspruch 13 gelöst. Es ist möglich, entsprechende Einzelvorrichtungen der Systemanordnung und/oder der Vorrichtung über ein Datennetzwerk zu verbinden. Dadurch können Ressourcen eingespart werden, beispielsweise in einer zentralen Servervorrichtung gespeichert und über das Datennetzwerk einer entsprechenden von einem Nutzer verwendeten Datenverarbeitungsvorrichtung abgerufen werden. Bei der Datenverarbeitungsvorrichtung handelt es sich insbesondere um eine tragbare Datenverarbeitungsvorrichtung, insbesondere ein Mobiltelefon und/oder einen Flachcomputer. Finally, the object is achieved by a device according to claim 13. It is possible to connect corresponding individual devices of the system arrangement and / or the device via a data network. As a result, resources can be saved, for example stored in a central server device and retrieved via the data network of a corresponding data processing device used by a user. The data processing device is, in particular, a portable data processing device, in particular a mobile telephone and / or a flat computer.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separaten Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Further advantages, features and details will become apparent from the following description in which - where appropriate, with reference to the drawings - at least one embodiment is described in detail. Described and / or illustrated features form the subject of the invention, or independently of the claims, either alone or in any meaningful combination, and in particular may additionally be the subject of one or more separate applications. The same, similar and / or functionally identical parts are provided with the same reference numerals.
Es zeigen: Show it:
Fig. 1 Eine Vorrichtung und/oder eine Systemanordnung zum Verändern einer Fig. 1 A device and / or a system arrangement for changing a
Darstellung einer Realität für Informationszwecke;  Representation of a reality for information purposes;
Fig. 2a - d Beispiele von veränderten Realitäten; und Fig. 2a-d examples of altered realities; and
Fig. 3 ein Ablaufdiagramm eines mit der Vorrichtung und/oder Systemanordnung nach Anspruch 1 durchführbaren Verfahrens. Bevor die Erfindung im Detail beschrieben wird, ist darauf hinzuweisen, dass sie nicht auf die jeweiligen Bauteile der Vorrichtung sowie die jeweiligen Verfahrensschritte beschränkt ist, da diese Bauteile und Verfahren variieren können. Die hier verwendeten Begriffe sind lediglich dafür bestimmt, besondere Ausführungsformen zu beschreiben und werden nicht einschränkend verwendet. Wenn zudem in der Beschreibung oder in den Ansprüchen die Einzahl oder unbestimmte Artikel verwendet werden, bezieht sich dies auch auf die Mehrzahl dieser Elemente, solange nicht der Gesamtzusammenhang eindeutig etwas Anderes deutlich macht. 3 shows a flowchart of a method that can be carried out with the device and / or system arrangement according to claim 1. Before describing the invention in detail, it should be noted that it is not limited to the respective components of the device and the respective method steps, since these components and methods may vary. The terms used herein are intended only to describe particular embodiments and are not intended to be limiting. In addition, if singular or indefinite articles are used in the specification or claims, this also applies to the majority of these elements unless the overall context clearly makes otherwise clear.
Fig. 1 zeigt eine Vorrichtung 1 zum Verändern einer Darstellung 5 einer Realität 7 für Informationszwecke, insbesondere Werbezwecke. Die Vorrichtung 1 ist insbesondere Teil eines Systems 3, wobei gegebenenfalls das Verändern der Darstellung 5 der Realität 7 lediglich mittels der Vorrichtung 1 oder gegebenenfalls zusammenwirkend über ein Datennetzwerk 23 mit einer Servervorrichtung 35 als örtlich verteilte Teile des Systems 3 erfolgt. Fig. 1 shows a device 1 for changing a representation 5 of a reality 7 for information purposes, in particular advertising purposes. The device 1 is in particular part of a system 3, where appropriate the changing of the representation 5 of the reality 7 takes place only by means of the device 1 or possibly interacting via a data network 23 with a server device 35 as locally distributed parts of the system 3.
Die Realität 7 weist eine Realinformation 15, beispielsweise eine Werbung, auf. Die Realität 7 wird zusammen mit der Real Information 15 mittels einer Aufnahmevorrichtung 25 aufgenommen, insbesondere kontinuierlich. Dabei wird vorzugsweise ein Bilddatenstrom der Realität erzeugt. Der Bilddatenstrom bildet also die kontinuierlich aufgenommene Realität 7 und die in dieser enthaltene Realinformation 15 ab. Bei der Aufnahmevorrichtung 25 handelt es sich vorzugsweise um eine Videokamera. Der Aufnahmevorrichtung 25 ist eine Rechenvorrichtung 41 nachgeschaltet. Mittels der Rechenvorrichtung 41 , die weitere Teilvorrichtungen aufweisen kann, wird ein Bild 9 der Realität 7 erstellt und/oder ausgewertet. Insbesondere wird eine Vielzahl der Bilder 9 aus dem Bilddatenstrom erzeugt. Erläuterungen zu dem Bild 9 in der Einzahl gelten analog auch für die Vielzahl der Bilder 9 außer wenn explizit Gegenteiliges erwähnt ist. Bei dem Bild 9 handelt es sich vorzugsweise um ein digitales Abbild der Realität 7. Ferner wird mittels der Rechenvorrichtung 41 ein Teil 1 1 des Bildes 9 ermittelt, der zum Erweitern des Bildes 9 mit einer Virtual Information 13 geeignet ist. Vorzugsweise handelt es sich, wie in Fig. 1 gezeigt, dabei um denjenigen Teil 1 1 des Bildes 9, der eigentlich eine Abbildung der Realinformation 15 aufweist bzw. darstellt. Bei der Real Information 15 handelt es sich insbesondere um ein Re- alwerbung, also in der Realität 7 befindliche und/oder vorhandene Werbung, und bei der Virtual information entsprechend um eine Virtualwerbung, also eine in dem Bild 9 der Darstellung 5 virtuell vorhandene Werbung. The reality 7 has real information 15, for example an advertisement. The reality 7 is recorded together with the real information 15 by means of a recording device 25, in particular continuously. In this case, an image data stream of reality is preferably generated. The image data stream thus forms the continuously recorded reality 7 and the real information 15 contained in it. The recording device 25 is preferably a video camera. The recording device 25 is followed by a computing device 41. By means of the computing device 41, which may have further sub-devices, an image 9 of the reality 7 is created and / or evaluated. In particular, a plurality of the images 9 are generated from the image data stream. Explanations to the image 9 in the singular also apply analogously to the large number of images 9, unless explicitly stated otherwise. The image 9 is preferably a digital image of the reality 7. Furthermore, a part 1 1 of the image 9 which is suitable for expanding the image 9 with a virtual information 13 is determined by means of the computing device 41. Preferably, as shown in FIG. 1, this is that part 11 of the image 9 which actually has or represents an image of the real information 15. Real Information 15 is in particular a Alwerbung, so located in reality 7 and / or existing advertising, and the virtual information corresponding to a virtual advertising, so in the image 9 of the representation 5 virtually existing advertising.
Die Rechenvorrichtung 41 wirkt mit einer Speichervorrichtung 43 zusammen. Die Speichervorrichtung 43 weist insbesondere eine Vielzahl von Speicherinformationen 21 auf. Bei der Speicherinformation 21 handelt es sich insbesondere um eine abgespeicherte Werbung beziehungsweise Speicherwerbung, beispielsweise um ein digitalisiertes Werbeplakat. Die Speicherinformationen 21 sind vorzugsweise mittels der Rechenvorrichtung 41 abrufbar und in Form der Virtualinformation 13 dem Bild 9 hinzufügbar. Zum Bestimmen des für die Informationszwecke geeigneten Teils 1 1 des Bildes 9 wird insbesondere mittels der Rechenvorrichtung 41 eine Erkennung der Realinformation 15, insbesondere durch einen Vergleich mit in der Speichervorrichtung 43 abgelegten Informationen, insbesondere der Speicherinformation 21 , durchgeführt. Insbesondere können dort alle möglichen bzw. bekannten Realinformationen 15 abgelegt sein und entsprechenden gegebenenfalls als die Speicherinformation 21 gespeicherten oder erzeugbaren Virtualinformationen 13 zugeordnet sein. Durch einen entsprechenden Vergleich und ein Rücksenden der entsprechenden Virtualinformation 13 selbst oder eine zum Erstellen derselben geeigneten Sendeinformation, kann der Teil 1 1 des Bildes 9 entsprechend erweitert werden. Außerdem können weitere Kriterien verwendet werden, wie beispielsweise ein Ort, an dem sich die Aufnahmevorrichtung 25 befindet und/oder eine nutzerspezifische Einstellung eines Nutzers 39 verwendet werden, um die Sendeinformation und/oder die Virtualinformation 13 zu bestimmen. Der Nutzer 39 kann simultan zum Aufnehmen der Realität 7 das erweiterte Bild 9 betrachten. Dazu kann das erweiterte Bild 9 mittels einer Darstellungsvorrichtung 37 dem Nutzer 39 dargestellt werden. Die Aufnahmevorrichtung 25, die Darstellungsvorrichtung 37, die Rechenvorrichtung 41 und die Speichervorrichtung 43 können Teil einer tragbaren Datenverarbeitungsvorrichtung 33, beispielsweise eines Mobiltelefons und/oder eines Flach-PCs sein, was in Fig. 1 mittels eines gestrichelten Rechteckes symbolisiert ist. Insbesondere kann die Aufnahmevorrichtung 25 auf einer der Darstellungsvorrichtung 37 gegenüberliegenden Seite der tragbaren Datenverarbeitungsvorrichtung 33 angeordnet sein, sodass der Nutzer 39 die Realität 7 in Form des erweiterten Bildes 9 quasi durch die tragba- re Datenverarbeitungsvorrichtung 33 hindurchsieht. Dabei nimmt er anstatt der Realinformation 15 vorteilhaft die Virtualinformation 13 wahr. Dadurch kann der Nutzer 39 besser und gezielter informiert werden als beim Betrachten der Realität 7 selbst. Die tragbare Datenverarbeitungsvorrichtung 35 ist in Figur 1 beispielhaft mittels eines gestrichelten Rechtecks abgedeutet. The computing device 41 cooperates with a memory device 43. The storage device 43 has in particular a multiplicity of storage information 21. The storage information 21 is in particular a stored advertising or storage advertising, for example a digitized advertising poster. The memory information 21 is preferably retrievable by means of the computing device 41 and added to the image 9 in the form of the virtual information 13. In order to determine the part 1 1 of the image 9 which is suitable for the purpose of information, in particular by means of the computing device 41 a recognition of the real information 15, in particular by comparison with information stored in the memory device 43, in particular the memory information 21, is performed. In particular, all possible or known real information 15 can be stored there and associated with it, if appropriate, virtual information 13 stored or generated as the storage information 21. By means of a corresponding comparison and a return of the corresponding virtual information 13 itself or a transmission information which is suitable for creating the same, the part 11 of the image 9 can be expanded accordingly. In addition, other criteria may be used, such as a location where the recording device 25 is located and / or a user-specific setting of a user 39 may be used to determine the transmission information and / or the virtual information 13. The user 39 can simultaneously view the expanded image 9 to capture the reality 7. For this purpose, the enlarged image 9 can be displayed to the user 39 by means of a display device 37. The recording device 25, the presentation device 37, the computing device 41 and the storage device 43 may be part of a portable data processing device 33, for example a mobile phone and / or a flat PC, which is symbolized in FIG. 1 by means of a dashed rectangle. In particular, the recording device 25 can be arranged on a side of the portable data processing device 33 opposite the presentation device 37, so that the user 39 can see the reality 7 in the form of the expanded image 9 quasi by the carrying case. re data processing device 33 sees through. He takes advantage of the virtual information 13 instead of real information 15 advantageous. As a result, the user 39 can be informed better and more purposefully than when viewing the reality 7 itself. The portable data processing device 35 is illustrated in FIG. 1 by way of example by means of a dashed rectangle.
Die Fig. 2 a - d zeigen Beispiele jeweils einer Realität 7 im Vergleich zur Darstellung derselben in Form des den Teil 1 1 aufweisenden Bildes 9. Fig. 2a zeigt die Realität 7, wobei diese eine Realkennzeichnung 17, beispielsweise in Form eines Smartcodes aufweist. Die Realkennzeichnung 17 kann erkannt werden und zum Bestimmen des für die Informationszwecke geeigneten Teils 1 1 des Bildes 9 verwendet werden. An die Stelle der Realkennzeichnung 17 bzw. anstelle der Abbildung der Realkennzeichnung 17 kann das Bild 9 der Realität 7 mit der Virtualinformation 13 erweitert werden. Die Realkennzeichnung 17 dient insbesondere zum Kennzeichnen der in Figur 2a nicht näher dargestellten Real Information 15. FIGS. 2 a - d show examples of a respective reality 7 in comparison to the representation thereof in the form of the image 9 having the part 11. FIG. 2 a shows the reality 7, this having a real identification 17, for example in the form of a smart code. The real identifier 17 can be recognized and used to determine the informational part 1 1 of the image 9. In place of the real marking 17 or instead of the image of the real marking 17, the image 9 of the reality 7 can be expanded with the virtual information 13. The real identification 17 serves, in particular, for characterizing the real information 15 not shown in FIG. 2a.
Fig. 2b zeigt beispielhaft ein Szenario einer Realität 7 mit einem Kraftfahrzeug 45, einem Gebäude 47 und einer Vegetation 49. An einer Seite des Kraftfahrzeugs 45 ist beispielhaft die Realkennzeichnung 17 angebracht. Die Realkennzeichnung 17 bedeutet in diesem Fall, dass auf einer Seitenwand des Kraftfahrzeugs 45 bei der Darstellung 5 der Realität 7 auf dem Kraftfahrzeug, also auf dessen Seitenwand, die Virtualinformation 13 erscheinen soll bzw. der entsprechende Teil 1 1 des Bildes 9 entsprechend erweitert werden soll. In der Darstellung 5 der Realität 7 gemäß Fig. 2b weist also die abgebildete Seitenwand des Kraftfahrzeugs 45 die Virtualinformation 13 auf. Alternativ kann auch das Kraftfahrzeug 45 mittels einer entsprechenden Muster- und/oder Bilderkennung erkannt werden und die abgebildete Seitenwand des Kraftfahrzeugs 45 auf Basis der Erkennung mit der Virtualinformation 13 erweitert werden. Insbesondere kann alternativ oder zusätzlich ein Kennzeichen des Kraftfahrzeugs 45 erkannt werden, um zu entscheiden, ob die und/oder gegebenenfalls welche Virtualinformation 13 dargestellt werden soll. Insbesondere kann die bei einer Übertragung eines Autorennens erfolgen. Analog kann dies mit dem Gebäude 47 geschehen, wobei dieses gegebenenfalls ebenfalls eine Realkennzeichnung 17 aufweisen kann und/oder eine entsprechende Freifläche an dem Gebäude 47 erkannt und entsprechend als Teil 1 1 des Bildes 9 mit der Virtualinformation 13 erweitert werden kann. 2 b shows by way of example a scenario of a reality 7 with a motor vehicle 45, a building 47 and a vegetation 49. The real identification 17 is attached by way of example to one side of the motor vehicle 45. The real marking 17 means in this case that on a side wall of the motor vehicle 45 in the representation 5 of the reality 7 on the motor vehicle, ie on the side wall, the virtual information 13 should appear or the corresponding part 1 1 of the image 9 should be extended accordingly , In the representation 5 of the reality 7 according to FIG. 2 b, therefore, the depicted side wall of the motor vehicle 45 has the virtual information 13. Alternatively, the motor vehicle 45 can be detected by means of a corresponding pattern and / or image recognition and the imaged sidewall of the motor vehicle 45 can be expanded based on the recognition with the virtual information 13. In particular, alternatively or additionally, a license plate of the motor vehicle 45 can be recognized in order to decide whether the and / or optionally which virtual information 13 is to be displayed. In particular, this can take place during a transmission of a car race. Analogously, this can be done with the building 47, which optionally may also have a real marking 17 and / or recognized a corresponding open space on the building 47 and can be expanded accordingly as part 1 1 of the image 9 with the virtual information 13.
Als weitere Alternative kann ein zwischen der Vegetation 49 und dem Gebäude 47 beispielhaft vorhandener Freiraum 51 erkannt und als der geeignete Teil 1 1 des Bildes 9 bestimmt werden. Dementsprechend kann der in der Realität 7 erkannte Freiraum 51 mit der Virtualinformation 13 versehen werden. Dies kann insbesondere für den Nutzer 39 auf möglichst unauffällige und/oder nicht bemerkbare Art und Weise erfolgen, beispielsweise durch Darstellung einer Vorrichtung, eines Aufstellers und/oder Ähnlichem zum Wiedergeben von in Realitäten 7 üblicherweise vorhandenen Realinformationen 15, insbesondere Werbung und/oder Werbefläche und/oder der Freiraum 51 . Dadurch kann in dem Bild 9 auf möglichst unauffällige Art und Weise eine eigentlich in der Realität nicht oder zumindest nicht in der im Bild 9 dargestellten Form vorhandene virtuelle Werbung dargestellt werden. As a further alternative, a free space 51 exemplarily present between the vegetation 49 and the building 47 can be recognized and determined as the suitable part 11 of the image 9. Accordingly, the free space 51 recognized in reality 7 can be provided with the virtual information 13. This can be done in particular for the user 39 in the most inconspicuous and / or non-noticeable manner, for example by displaying a device, a stand and / or the like to reproduce in realities 7 usually present real information 15, in particular advertising and / or advertising space and / or the free space 51. As a result, a virtual advertisement that is actually not present in reality or at least not in the form shown in FIG. 9 can be displayed in the image 9 in as inconspicuous a manner as possible.
Fig. 2c zeigt auf der linken Seite eine ein Spielfeld 53 und ein Display 55, insbesondere eine Werbefläche, aufweisende Realität 7. Zum Ermitteln des Teils 1 1 des Bildes 9 kann das Display 55 und/oder ein Inhalt des Displays 55 erkannt und bestimmt werden. Insbesondere kann das Display 55 ebenfalls eine Realkennzeichnung 17 aufweisen. Das Spielfeld 53 und das Display 55 können mittels einer Übertragung 57 und/oder über das Datennetzwerk 23 übertragen werden. Dies kann simultan, also als Live-Übertragung erfolgen, wobei der Nutzer 39 das Bild 9 der Realität 7 betrachten kann. Dabei kann das Display 55 mit der Virtualinformation 13 erweitert werden. Dies erfolgt insbesondere abhängig von einer Konfiguration des Nutzers 39, von Rechten und/oder territorialen Grenzen, innerhalb deren sich der Nutzer 39 aufhält, insbesondere einer Sprache des Nutzers 39. Es kann eine personifizierte Werbung bei Liveübertragungen erfolgen. Fig. 2c shows on the left side of a game field 53 and a display 55, in particular an advertising space, having reality 7. To determine the part 1 1 of the image 9, the display 55 and / or a content of the display 55 can be detected and determined , In particular, the display 55 may also have a real marking 17. The playing field 53 and the display 55 can be transmitted by means of a transmission 57 and / or via the data network 23. This can be done simultaneously, ie as a live transmission, whereby the user 39 can view the image 9 of the reality 7. In this case, the display 55 can be expanded with the virtual information 13. This is done in particular depending on a configuration of the user 39, of rights and / or territorial boundaries within which the user 39 resides, in particular a language of the user 39. There may be a personalized advertisement during live broadcasts.
Fig. 2d zeigt ebenfalls eine Realität 7 sowie eine Darstellung 5 der Realität 7. Die Darstellung 5 ist in den Fig. 2a - d jeweils gepunktet gezeichnet. In Fig. 2d ist mittels eines Pfeiles beispielhaft symbolisiert, dass die Virtualinformation 13 die mittels zu- mindest eines bereit gestellten Parameters 19 veränderte Realinformation 15 darstellt. Die Realinformation 15 wird also in Abhängigkeit des Parameters 19 in die Virtual Information 13 abgeändert und derartig geändert in dem Bild 9 dargestellt. Bei dem Parameter 19 handelt es sich insbesondere um einen Betrachtungswinkel, einen Beleuchtungswinkel, eine Farbe, eine Größe, einen Kontrast, eine Helligkeit, einen Inhalt, eine Textdarstellung, eine Sprache, einen Ausschnitt, eine Hervorhebung, eine Bewegung oder ein Umblättern. Fig. 2d also shows a reality 7 and a representation 5 of the reality 7. The representation 5 is shown in dotted lines in FIGS. 2a-d. In FIG. 2d, by means of an arrow, it is exemplarily symbolized that the virtual information 13 at least one provided parameter 19 represents changed real information 15. The real information 15 is thus modified as a function of the parameter 19 in the virtual information 13 and shown as such changed in the image 9. Specifically, the parameter 19 is a viewing angle, an illumination angle, a color, a size, a contrast, a brightness, a content, a textual representation, a language, a clipping, a highlight, a motion, or a page flip.
Fig. 3 zeigt ein Ablaufdiagramm eines Verfahrens zum Verändern der Darstellung 5 der Realität 7, wie in den Fig. 1 und 2 gezeigt. FIG. 3 shows a flowchart of a method for changing the representation 5 of the reality 7, as shown in FIGS. 1 and 2.
In einem ersten Schritt 59 wird zunächst die Realität 7 aufgenommen. Dies erfolgt insbesondere mittels der Aufnahmevorrichtung 25, die in Fig. 3 mittels eines Bezugszeichens angedeutet. In einem zweiten Schritt 61 wird die Realität 7 zu einem digitalen Bild 9 verarbeitet. Dies erfolgt insbesondere mittels einer Bildgebungsvor- richtung 27, die in Fig. 3 lediglich mittels des Bezugszeichens symbolisiert ist. In a first step 59, reality 7 is first recorded. This is done in particular by means of the receiving device 25, which is indicated in Fig. 3 by means of a reference numeral. In a second step 61, the reality 7 is processed into a digital image 9. This is done in particular by means of an imaging device 27, which is symbolized in FIG. 3 only by means of the reference symbol.
In einem dritten Schritt 63 wird der für Informationszwecke geeignete Teil 1 1 des Bildes 9 ermittelt. Dies erfolgt insbesondere mittels einer Bildauswertungsvorrichtung 29, die in Fig. 3 ebenfalls lediglich mittels eines Bezugszeichens angedeutet ist. Der dritte Schritt 63 erfolgt optional als Abfrage bzw. weist eine Abfrage 69 auf. Die Abfrage 69 ermittelt, ob eine Real Information 15 in der Realität 7 vorhanden ist und/oder ein entsprechender Freiraum 51 , der zum Einfügen einer Virtual Information 13 geeignet ist. Falls dies nicht der Fall ist, läuft das Verfahren als übliche Videoaufnahme und Wiedergabe, also ohne Erweitern des Bildes 9 mit der Virtual Information 13, weiter. Es erfolgt also ein Ermitteln der Realinformation 15 und/oder des Freiraums 51 , wobei falls dieser oder diese vorhanden sind, erfolgt ein vierter Schritt 65 zum Verändern des für die Informationszwecke geeigneten Teils 1 1 des Bildes 9 zum Einfügen der Virtualinformation 13 in das Bild 9. Andernfalls erfolgt eine originalgetreue Darstellung 5 der Realität 7. Das Verändern des Bildes 9 erfolgt vorzugsweise mit einer Bildbearbeitungsvorrichtung 31 , die in Fig. 3 lediglich mittels des Bezugszeichens angedeutet ist. Das entsprechend veränderte Bild 9 oder gegebenenfalls unveränderte Bild 9 der Realität 7 wird in einem fünften Schritt 67 mittels der Darstellungsvorrichtung 37, in Fig. 3 lediglich mittels eines Bezugszeichens angedeutet, insbesondere einem Bildschirm, einem Display und/oder einem berührungssensitiven Bildschirm, für den Nutzer 39 wahrnehmbar wiedergegeben. In a third step 63, the information-suitable part 1 1 of the image 9 is determined. This is done in particular by means of an image evaluation device 29, which is likewise indicated in FIG. 3 only by means of a reference symbol. The third step 63 is optionally carried out as a query or has a query 69. The query 69 determines whether a real information 15 is present in the reality 7 and / or a corresponding free space 51 that is suitable for inserting a virtual information 13. If this is not the case, the process continues as usual video recording and playback, ie without expanding the image 9 with the Virtual Information 13 on. Thus, there is a determination of the real information 15 and / or the free space 51, wherein if this or these are present, a fourth step 65 for changing the suitable for the information purposes part 1 1 of the image 9 for inserting the virtual information 13 in the image 9th Otherwise, a true-to-life representation 5 of the reality 7 takes place. The changing of the image 9 preferably takes place with an image processing device 31, which is indicated in FIG. 3 merely by means of the reference symbol. The correspondingly altered image 9 or possibly unchanged image 9 of the reality 7 is in a fifth step 67 by means of Representing device 37, indicated in Fig. 3 only by means of a reference numeral, in particular a screen, a display and / or a touch-sensitive screen, reproduced for the user 39 perceptible.
Ebenfalls ist in Fig. 3 symbolisiert, dass der Nutzer 39 gegebenenfalls die Realität 7 direkt betrachten kann oder die Darstellung 5 der Realität 7 über die Darstellungsvorrichtung 37, also gegebenenfalls erweitert mit der Virtualinformation 13. Bei der Darstellungsvorrichtung kann es sich auch um ein Headupdisplay handeln, insbesondere eines Fahrzeugs. It is also symbolized in FIG. 3 that the user 39 can possibly view the reality 7 directly, or the representation 5 of the reality 7 via the presentation device 37, that is possibly expanded with the virtual information 13. The presentation device can also be a head-up display , in particular a vehicle.
Bezugszeichenliste LIST OF REFERENCE NUMBERS
1 Vorrichtung 37 Darstellungsvorrichtung 1 Device 37 Display device
3 Systemanordnung 39 Nutzer  3 system arrangement 39 users
5 Darstellung 41 Rechenvorrichtung  5 illustration 41 computing device
7 Realität 43 Speichervorrichtung  7 reality 43 storage device
9 Bild 45 Kraftfahrzeug  9 Fig. 45 Motor vehicle
1 1 Teil 47 Gebäude  1 1 part 47 buildings
13 Virtualinformation 49 Vegetation  13 Virtual Information 49 Vegetation
15 Realinformation 51 Freiraum  15 Real information 51 Freiraum
17 Realkennzeichnung 53 Spielfeld  17 Real marking 53 Playing field
19 Parameter 55 Display  19 Parameters 55 Display
21 Speicherinformation 57 Übertragung  21 Memory information 57 Transmission
23 Datennetzwerk 59 erster Schritt  23 data network 59 first step
25 Aufnahmevorrichtung 61 zweiter Schritt  25 receiving device 61 second step
27 Bildgebungsvorrichtung 63 dritter Schritt  27 imaging device 63 third step
29 Bildauswertungsvorrichtung 65 vierter Schritt  29 image evaluation device 65 fourth step
31 Bildbearbeitungsvorrichtung 67 fünfter Schritt  31 image processing device 67 fifth step
33 Datenverarbeitungsvorrichtung 69 Abfrage  33 Data Processing Device 69 Query
35 Servervorrichtung  35 server device

Claims

Patentansprüche claims
1 . Verfahren zum Verändern einer Darstellung (5) einer Realität (7) für Informationszwecke, mit: 1 . A method of modifying a representation (5) of a reality (7) for informational purposes, comprising:
Aufnehmen der Realität (7),  Recording the reality (7),
Verarbeiten der Realität (7) zu einem Bild (9),  Processing reality (7) into a picture (9),
Bestimmen eines für die Informationszwecke geeigneten Teils (1 1 ) des Bildes (9),  Determining a part (1 1) of the image (9) which is suitable for information purposes,
Verändern des für die Informationszwecke geeigneten Teils (1 1 ) des Bildes (9) zum Einfügen einer Virtual Information (13) in das Bild (9).  Altering the information (1 1) portion of the image (9) to insert virtual information (13) into the image (9).
2. Verfahren nach Anspruch 1 , mit: 2. The method of claim 1, comprising:
Erkennen einer in der Realität (7) befindlichen und in dem Teil (1 1 ) des Bildes (9) abgebildeten Realinformation (15) in dem Bild (9),  Recognizing a real information (15) located in the reality (7) and displayed in the part (11) of the image (9) in the image (9),
Verändern der Realinformation (15) in die Virtualinformation (13) zum Verändern des Teils (1 1 ) des Bildes (9).  Changing the real information (15) into the virtual information (13) to change the part (11) of the image (9).
3. Verfahren nach einem der Ansprüche 1 oder 2, mit:  3. The method according to any one of claims 1 or 2, comprising:
Erkennen einer in der Realität (7) befindlichen und mit dieser zusammen aufgenommenen Realkennzeichnung (17) in dem Bild (9),  Recognizing a real identification (17) located in the reality (7) and recorded together with the latter (17) in the image (9),
Bestimmen des Teils (1 1 ) des Bildes (9) in Abhängigkeit der aufgenommenen Realkennzeichnung (17).  Determining the part (1 1) of the image (9) as a function of the recorded real marking (17).
4. Verfahren nach einem der vorhergehenden Ansprüche, mit:  4. The method according to any one of the preceding claims, comprising:
kontinuierliches Aufnehmen der Realität (7) zum Erzeugen eines Bilddatenstroms der Realität (7),  continuously recording the reality (7) for generating an image data stream of reality (7),
Verarbeiten des Bilddatenstroms der Realität (7) zu einer Vielzahl der Bilder (9),  Processing the image data stream of reality (7) into a plurality of the images (9),
kontinuierliches Bestimmen des jeweiligen für die Informationszwecke geeigneten Teils (1 1 ) des jeweiligen Bildes (9) der Vielzahl,  continuously determining the respective information-suitable part (11) of the respective image (9) of the plurality,
simultanes Verändern des jeweiligen für die Informationszwecke geeigneten Teils (1 1 ) des jeweiligen Bildes (9) der Vielzahl zum Einfügen der Virtualinformation (13) in die Vielzahl der Bilder (9).  simultaneously changing the respective part (1 1) of the respective image (9) of the plurality suitable for the information purposes to insert the virtual information (13) into the plurality of images (9).
5. Verfahren nach Anspruch 4, mit:  5. The method of claim 4, comprising:
relativ zu dem kontinuierlichen Aufnehmen der Realität (7) zeitlich simul- tanes Darstellen des jeweils die Virtualinformation (13) aufweisenden veränderten Bildes (9) der Vielzahl. relative to the continuous recording of reality (7) tanes representing each of the virtual information (13) having changed image (9) of the plurality.
6. Verfahren nach einem der vorhergehenden Ansprüche, mit:  6. The method according to any one of the preceding claims, comprising:
Bereitstellen zumindest eines Parameters (19) aus der Gruppe: Ein Betrachtungswinkel, ein Beleuchtungswinkel, eine Farbe, eine Größe, ein Kontrast, eine Helligkeit, ein Inhalt, eine Textdarstellung, eine Sprache, ein Ausschnitt, eine Hervorhebung, eine Bewegung, ein Umblättern, Verändern des Teils (1 1 ) des Bildes (9) in Abhängigkeit des Parameters (19).  Providing at least one parameter (19) from the group: a viewing angle, an illumination angle, a color, a size, a contrast, a brightness, a content, a textual representation, a language, a cutout, a highlight, a motion, a page flip, Changing the part (1 1) of the image (9) as a function of the parameter (19).
7. Verfahren nach einem der vorhergehenden Ansprüche, mit:  A method according to any one of the preceding claims, comprising:
Zuordnen der abgebildeten Realinformation (15) zu einer gespeicherten Speicherinformation (21 ),  Associating the imaged real information (15) with stored memory information (21),
Verändern des Teils (1 1 ) des Bildes (9) in Abhängigkeit der Speicherinformation (21 ).  Changing the part (1 1) of the image (9) in dependence on the storage information (21).
8. Verfahren nach Anspruch 7, mit:  8. The method of claim 7, comprising:
Senden der abgebildeten Realinformation (15) oder des die abgebildete Real Information (15) aufweisenden Teils (1 1 ) des Bildes (9) über ein Datennetzwerk (23),  Sending the imaged real information (15) or the part (11) of the image (9) having the imaged real information (15) over a data network (23),
Empfangen der Speicherinformation (21 ) über das Datennetzwerk (23), Ersetzen der abgebildeten Realinformation (15) mit der oder in Abhängigkeit der empfangenen Speicherinformation (21 ).  Receiving the memory information (21) via the data network (23), replacing the imaged real information (15) with or depending on the received memory information (21).
9. Verfahren nach einem der vorhergehenden Ansprüche, mit:  9. The method according to any one of the preceding claims, comprising:
Verändern des für die Informationszwecke geeigneten Teils (1 1 ) des Bildes (9) zum Einfügen einer Virtualwerbung als die Virtualinformation (13) in das Bild (9).  Altering the information-suitable part (11) of the image (9) for inserting a virtual advertisement as the virtual information (13) into the image (9).
10. Verfahren nach einem der vorhergehenden Ansprüche, mit:  10. The method according to any one of the preceding claims, comprising:
Erkennen einer in der Realität (7) befindlichen und in dem Teil (1 1 ) des Recognition of one in reality (7) and in the part (1 1) of the
Bildes (9) abgebildeten Realwerbung in dem Bild (9), Picture (9) pictured real advertisement in the picture (9),
Ersetzen der abgebildeten Realwerbung durch die Virtualinformation (13) oder  Replacement of the illustrated real advertisement by the virtual information (13) or
Verstärken und/oder Verbessern der abgebildeten Realwerbung mittels der Virtualinformation (13).  Reinforcing and / or improving the imaged real advertising by means of the virtual information (13).
1 1 . Verfahren nach einem der vorhergehenden Ansprüche, mit: Simultanes Überblenden von Rändern der Virtualinformation (13) mit dem Bild (9). 1 1. Method according to one of the preceding claims, comprising: Simultaneous blending of margins of the virtual information (13) with the image (9).
12. Vorrichtung (1 ) oder Systemanordnung zum Verändern einer Darstellung (5) einer Realität (7) für Informationszwecke, eingerichtet, ausgelegt und/oder konstruiert zum Durchführen eines Verfahrens nach einem der vorhergehenden Ansprüche. 12. A device (1) or system arrangement for modifying a representation (5) of a reality (7) for information purposes, set up, designed and / or constructed for carrying out a method according to one of the preceding claims.
13. Vorrichtung (1 ) oder Systemanordnung zum Verändern einer Darstellung (5) einer Realität (7) für Informationszwecke, mit: 13. A device (1) or system arrangement for modifying a representation (5) of a reality (7) for information purposes, comprising:
einer Aufnahmevorrichtung (25), mittels der die Realität (7) aufnehmbar ist,  a receiving device (25), by means of which the reality (7) is receivable,
einer Bildgebungsvorrichtung (27), mittels der die Realität (7) zu einem digitalen Bild (9) verarbeitbar ist,  an imaging device (27) by means of which the reality (7) can be processed into a digital image (9),
einer Bildauswertungsvorrichtung (29), mittels der ein für die Informationszwecke geeigneter Teil (1 1 ) des Bildes (9) bestimmbar ist, und einer Bildbearbeitungsvorrichtung (31 ), mittels der der für die Informationszwecke geeignete Teil (1 1 ) des Bildes (9) zum Einfügen einer Virtualinformation (13) in das Bild (9) veränderbar ist.  an image evaluation device (29), by means of which a part (11) of the image (9) suitable for information purposes can be determined, and an image processing device (31), by means of which the part (11) of the image (9) which is suitable for information purposes for inserting a virtual information (13) into the image (9) is changeable.
14. Vorrichtung nach Anspruch 13, wobei zumindest eine der Aufnahmevorrichtung (25), Bildgebungsvorrichtung (27), Bildauswertungsvorrichtung (29), Bildbearbeitungsvorrichtung (31 ) in einer tragbaren Datenverarbeitungsvorrichtung (33) integriert ist.  14. The apparatus of claim 13, wherein at least one of the recording device (25), imaging device (27), image evaluation device (29), image processing device (31) in a portable data processing device (33) is integrated.
15. Vorrichtung nach Anspruch 14, wobei zumindest eine der Aufnahmevorrichtung (25), Bildgebungsvorrichtung (27), Bildauswertungsvorrichtung (29), Bildbearbeitungsvorrichtung (31 ) in der tragbaren Datenverarbeitungsvorrichtung (33) und zumindest eine der Aufnahmevorrichtung (25), Bildgebungsvorrichtung (27), Bildauswertungsvorrichtung (29), Bildbearbeitungsvorrichtung (31 ) in einer der Datenverarbeitungsvorrichtung (33) datentechnisch zuordenbaren oder über ein Datennetzwerk (23) verbindbaren Servervorrichtung (35) enthalten ist.  The apparatus according to claim 14, wherein at least one of said pickup device (25), image forming device (27), image evaluating device (29), image processing device (31) in said portable data processing device (33) and at least one of said pickup device (25), image forming device (27). , Image evaluation device (29), image processing device (31) in one of the data processing device (33) data-technically assignable or via a data network (23) connectable server device (35) is included.
PCT/EP2017/025238 2016-08-22 2017-08-22 Changing a display of a reality for information purposes WO2018036663A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016010037.0A DE102016010037B4 (en) 2016-08-22 2016-08-22 Method and device for changing a representation of a reality for information channels in sports broadcasts of a sporting event
DE102016010037.0 2016-08-22

Publications (1)

Publication Number Publication Date
WO2018036663A1 true WO2018036663A1 (en) 2018-03-01

Family

ID=59901467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/025238 WO2018036663A1 (en) 2016-08-22 2017-08-22 Changing a display of a reality for information purposes

Country Status (2)

Country Link
DE (1) DE102016010037B4 (en)
WO (1) WO2018036663A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115073A (en) * 2021-04-12 2021-07-13 李洪福 Image coding method, system, device and medium capable of reducing interference
CN113222662A (en) * 2021-05-10 2021-08-06 刘川民 Advertisement replacement or addition processing method, system and device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080231751A1 (en) * 2007-03-22 2008-09-25 Sony Computer Entertainment America Inc. Scheme for determining the locations and timing of advertisements and other insertions in media
US20120229909A1 (en) * 2011-03-07 2012-09-13 Microsoft Corporation Augmented view of advertisements via head-mounted display
US20150002506A1 (en) * 2013-06-28 2015-01-01 Here Global B.V. Method and apparatus for providing augmented reality display spaces

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1720131B1 (en) * 2005-05-03 2009-04-08 Seac02 S.r.l. An augmented reality system with real marker object identification
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
US9117303B2 (en) * 2012-03-25 2015-08-25 Membit Inc. System and method for defining an augmented reality view in a specific location
JP2014191718A (en) * 2013-03-28 2014-10-06 Sony Corp Display control device, display control method, and recording medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080231751A1 (en) * 2007-03-22 2008-09-25 Sony Computer Entertainment America Inc. Scheme for determining the locations and timing of advertisements and other insertions in media
US20120229909A1 (en) * 2011-03-07 2012-09-13 Microsoft Corporation Augmented view of advertisements via head-mounted display
US20150002506A1 (en) * 2013-06-28 2015-01-01 Here Global B.V. Method and apparatus for providing augmented reality display spaces

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115073A (en) * 2021-04-12 2021-07-13 李洪福 Image coding method, system, device and medium capable of reducing interference
CN113222662A (en) * 2021-05-10 2021-08-06 刘川民 Advertisement replacement or addition processing method, system and device

Also Published As

Publication number Publication date
DE102016010037B4 (en) 2025-05-22
DE102016010037A1 (en) 2018-02-22

Similar Documents

Publication Publication Date Title
DE112012001022T5 (en) Alignment control in a head-worn augmented reality device
DE102009037835B4 (en) Method for displaying virtual information in a real environment
DE202017104054U1 (en) 2D video with the option for projected viewing in a modeled 3D room
DE202009019122U1 (en) Mobile system for virtual and augmented reality
CN110572706B (en) Video screenshot method, terminal and computer-readable storage medium
WO2018087084A1 (en) Method and apparatus for superimposing virtual image and audio data on a portrayal of real scenery, and a mobile device
DE112017006836T5 (en) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING AND PROGRAM
DE112017005879T5 (en) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
CN112035195B (en) Application interface display method and device, electronic equipment and storage medium
DE112016004269T5 (en) METHODS, SYSTEMS AND MEDIA FOR PRESENTING INTERACTIVE ELEMENTS WITHIN VIDEO CONTENT
EP3718086A1 (en) Avatar animation
WO2018036663A1 (en) Changing a display of a reality for information purposes
DE102013016241A1 (en) Method and device for augmented presentation
DE102008056917A1 (en) Cooperation window / wall
EP3386207A1 (en) Method of operating a data processing system for providing an interactive video content
US20240233279A9 (en) Platform for producing and utilizing ar/vr-based content
US20230276082A1 (en) Producing video for content insertion
KR20120035321A (en) System and method for playing contents of augmented reality
DE10351577B4 (en) Method and device for changing visual information in pictures of a moving picture sequence
EP1544795A1 (en) Method and device for identifying an object in an image of a camera
EP4175281B1 (en) Method and device for producing a communication channel
Ostkamp et al. Using mobile devices to enable visual multiplexing on public displays: three approaches compared
EP3711028A2 (en) Method for presenting a three-dimensional object and an associated computer program product, digital storage medium and a computer system
EP3296861A1 (en) Method for providing augmented reality data
DE202015105332U1 (en) Home appliance demonstrator

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17768678

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017768678

Country of ref document: EP

Effective date: 20190322

122 Ep: pct application non-entry in european phase

Ref document number: 17768678

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载