DE202014011407U1

DE202014011407U1 - Systeme zum Erkennen und Klassifizieren von Objekten in durch Mobilgeräte aufgenommenen Videos

Info

Publication number: DE202014011407U1
Application number: DE202014011407.2U
Authority: DE
Original assignee: Kofax Inc
Current assignee: Tungsten Automation Corp
Priority date: 2013-05-03
Filing date: 2014-05-02
Publication date: 2020-04-20
Anticipated expiration: 2024-05-03
Also published as: US8885229B1; US20140327940A1; US20140368890A1; WO2014179752A1; US9253349B2; US20170104885A1; CN105518704A; JP2016518790A; US9819825B2; US20160112645A1; US9584729B2; EP2992481A4; EP2992481A1

Abstract

Computerprogrammprodukt mit einem computerlesbaren Speichermedium mit darin enthaltenem Programmcode, wobei der Programmcode durch einen Prozessor ausführbar ist, um den Prozessor zu veranlassen, die folgenden Operationen auszuführen:Aktivieren einer Bildaufnahmeschnittstelle mittels eines Mobilgeräts, wobei die Aufnahmeschnittstelle eine Ansichtenauffindungseinheit umfasst, die auf einer Anzeige des Mobilgeräts dargestellt wird;Auswerten mehrerer Blöcke aus Videodaten, die mittels der Aufnahmeschnittstelle erfasst werden,wobei das Auswerten umfasst: Ermitteln:ob ein Objekt, das eine oder mehrere definierende Eigenschaften zeigt, innerhalb der Ansichtenauffindungseinheit dargestellt ist; undob das in der Ansichtenauffindungseinheit dargestellte Objekt ein oder mehrere vorbestimmte Qualitätskontrollkriterien erfüllt; undin Reaktion auf das Ermitteln, dass eine Nichterfüllung für einen Block in Hinblick auf ein oder mehrere der vorbestimmten Qualitätskontrollkriterien vorliegt, Anzeigen einer Indikation der Nichterfüllung auf der Mobilgerätanzeige; undin Reaktion auf das Ermitteln, dass das in der Ansichtenauffindungseinheit dargestellte Objekt das eine oder die mehreren vorbestimmten Qualitätskontrollkriterien erfüllt:Anzeigen einer Indikation, dass das in der Ansichtenauffindungseinheit dargestellte Objekt die eine oder die mehreren definierenden Eigenschaften zeigt; und/oder automatisches Aufnehmen eines Bildes des Objekts, wobei das Bild durch eine Auflösung gekennzeichnet ist, die höher ist als eine Auflösung der Videodaten; und/oderautomatisches Speichern, in einem Speicher, eines oder mehrerer der Blöcke, in dem/denen das die vorbestimmten Qualitätskontrollkriterien erfüllende Objekt in der Ansichtenauffindungseinheit dargestellt ist.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft die digitale Videoerfassung und digitale Videodatenverarbeitung und betrifft insbesondere das Erfassen bzw. Aufnehmen und Verarbeiten digitaler Videodaten unter Anwendung eines Mobilgeräts.
HINTERGRUND DER ERFINDUNG
Moderne Mobilgeräte sind zur Aufnahme von Bildern einer Vielzahl von Objekten, einschließlich von Dokumenten, Personen, Fahrzeugen und dergleichen, gut eingerichtet. Verbesserungen bei Kameraeigenschaften von Mobilgeräten und/oder der Verarbeitungsleistung machen Anwendungen zum Aufnahme und/oder zum Erfassen digitaler Bilddaten unter Anwendung eines Mobilgeräts in einer zunehmend durch Mobilgeräte getriebenen Wirtschaft zunehmend attraktiv.
Jedoch bilden Beschränkungen bezüglich der Mobilgeräte-Hardware und praktische Beschränkungen bei der Aufnahme bzw. Erfassung von Bildern unter Anwendung eines Mobilgeräts aktuell wesentliche Herausforderungen für eine effiziente und wirksame digitale Bildverarbeitung. Beispielsweise sind digitale Bilder, die unter Anwendung eines Mobilgeräts aufgenommen wurden, häufig für eine nachfolgende Bearbeitung aufgrund eines oder mehrerer Bildfehler, etwa einer Unschärfe, einer ungleichmäßigen Beleuchtung, einer ungenügenden Beleuchtung, einer übersättigten Beleuchtung, einer nicht ausreichenden Auflösung, Projektionseffekte, und dergleichen, von unzureichender Qualität. Versuche, digitale Bilder, die derartige Bildfehler enthalten, zu verarbeiten, können vollständig fehlschlagen oder unzureichende Qualitätsergebnisse für die gewünschte Anwendung ergeben. Im noch besten Falle muss der Benutzer den Aufnahmevorgang wiederholen und versuchen, die Qualität des Bildes zu verbessern, während in einigen Fällen eine erneute Aufnahme des Bildes unmöglich sein kann, wodurch sich eine verpasste Gelegenheit für das Erfassen von Bildern bezüglich wichtiger, aber flüchtiger Umstände, etwa die Position oder der Zustand einer Person oder eines Fahrzeugs, vor, während und/oder nach einem Fahrzeugunfall ergibt.
Daher wäre es vorteilhaft, Systeme, Verfahren und/oder Computerprogrammprodukte bereitzustellen, die in der Lage sind, Daten zu erfassen und/oder zu verarbeiten, die keine digitalen Standbilder sind, wobei dies in einer Weise erfolgt, in der die zuvor genannten Probleme behoben und die Möglichkeiten der Benutzer verbessert werden, Daten insbesondere unter Verwendung von Mobilgeräten zu erfassen und zu verarbeiten.
ÜBERBLICK ÜBER DIE ERFINDUNG
In einer Ausführungsform beinhaltet ein Verfahren: Aufrufen bzw. Aktivieren einer Bildaufnahmeschnittstelle mittels eines Mobilgeräts, wobei die Aufnahmeschnittstelle eine Ansichtenauffindungseinheit, die auf einer Anzeige des Mobilgeräts dargestellt wird, umfasst; Auswerten mehrerer Blöcke aus Videodaten, die über die Aufnahmeschnittstelle erfasst bzw. aufgenommen werden, wobei das Auswerten umfasst: Ermitteln, ob ein Objekt, das eine oder mehrere definierende Eigenschaften zeigt, in der Ansichtenauffindungseinheit dargestellt wird; und ob das in der Ansichtenauffindungseinheit dargestellte Objekt ein oder mehrere vorbestimmte Qualitätskontrollkriterien erfüllt; und in Reaktion darauf, dass ermittelt wird, dass ein Block ein oder mehrere der vorbestimmten Qualitätskontrollkriterien nicht erfüllt, Anzeigen einer Indikation des Nichterfüllens auf der Mobilgeräteanzeige; und in Reaktion darauf, dass ermittelt wird, dass das in der Ansichtenauffindungseinheit dargestellte Objekt das eine oder die mehreren vorbestimmten Qualitätskontrollkriterien erfüllt: Anzeigen einer Indikation, dass das in der Ansichtenauffindungseinheit angezeigte Objekt die eine oder die mehreren definierenden Eigenschaften zeigt; und/oder automatisches Aufnehmen eines Bildes des Objekts, wobei das Bild durch eine Auflösung gekennzeichnet ist, die höher ist als eine Auflösung der Videodaten; und/oder automatisches Speichern in einem Speicher von einem oder mehreren der Blöcke, in welchem das die vorbestimmten Qualitätskontrollkriterien erfüllende Objekt in der Ansichtenauffindungseinheit dargestellt wird.
In einer weiteren Ausführungsform beinhaltet ein System: einen Prozessor; und eine Logik in dem und/oder ausführbar durch den Prozessor, um zu bewirken, dass der Prozessor: eine Bildaufnahmeschnittstelle mittels eines Mobilgeräts aufruft bzw. aktiviert, wobei die Aufnahmeschnittstelle eine Ansichtenauffindungseinheit umfasst, die auf einer Anzeige des Mobilgeräts dargestellt wird; Auswerten mehrerer Blöcke aus Videodaten, die über die Aufnahmeschnittstelle aufgenommen bzw. erfasst werden, wobei das Auswerten umfasst: Ermitteln, ob ein Objekt, das eine oder mehrere definierende Eigenschaften zeigt, innerhalb der Ansichtenauffindungseinheit dargestellt wird; und Ermitteln, ob das in der Ansichtenauffindungseinheit dargestellte Objekt ein oder mehrere vorbestimmte Qualitätskontrollkriterien erfüllt; und in Reaktion darauf, dass ermittelt wird, dass ein Block ein oder mehrere der vorbestimmten Qualitätskontrollkriterien nicht erfüllt, Anzeigen einer Indikation des Nichterfüllens auf der Mobilgeräteanzeige; und in Reaktion darauf, dass ermittelt wird, dass das in der Ansichtenauffindungseinheit dargestellte Objekt das eine oder die mehreren vorbestimmten Qualitätskontrollkriterien erfüllt: Anzeigen einer Indikation, dass das in der Ansichtenauffindungseinheit dargestellte Objekt das eine oder die mehreren definierenden Eigenschaften zeigt; und/oder automatisches Aufnehmen eines Bildes des Objekts, wobei das Bild durch eine Auflösung gekennzeichnet ist, die höher ist als eine Auflösung der Videodaten; und/oder automatisches Speichern, in einem Speicher, von einem oder mehreren der Blöcke, in welchen das die vorbestimmten Qualitätskontrollkriterien erfüllende Objekt in der Ansichtenauffindungseinheit dargestellt ist.
In noch einer weiteren Ausführungsform beinhaltet ein Computerprogrammprodukt: ein computerlesbares Speichermedium mit darin enthaltenem Programmcode, wobei der Programmcode durch einen Prozessor auslesbar/ausführbar ist, so dass der Prozessor veranlasst wird zum: Aufrufen bzw. Aktivieren einer Bildaufnahmeschnittstelle mittels eines Mobilgeräts, wobei die Aufnahmeschnittstelle eine Ansichtenauffindungseinheit, die auf einer Anzeige des Mobilgeräts dargestellt wird, umfasst; Auswerten mehrerer Blöcke aus Videodaten, die mittels der Aufnahmeschnittstelle aufgenommen werden, wobei die Auswertung umfasst: Ermitteln, ob ein Objekt, das eine oder mehrere definierende Eigenschaften zeigt, in der Ansichtenauffindungseinheit dargestellt wird; und Ermitteln, ob das in der Ansichtenauffindungseinheit dargestellte Objekt ein oder mehrere vorbestimmte Qualitätssteuerkriterien erfüllt; und in Reaktion darauf, dass ermittelt wird, dass ein Block ein oder mehrere der vorbestimmten Qualitätskontrollkriterien nicht erfüllt, Anzeigen einer Indikation des Nichterfüllens auf der Mobilgeräteanzeige; und, in Reaktion darauf, dass ermittelt wird, dass das in der Ansichtenauffindungseinheit dargestellte Objekt das eine oder die mehreren vorbestimmten Qualitätskontrollkriterien erfüllt: Anzeigen einer Indikation, dass das in der Ansichtenauffindungseinheit dargestellte Objekt das eine oder die mehreren definierenden Eigenschaften zeigt; und/oder automatisches Aufnehmen eines Bildes des Objekts, wobei das Bild durch eine Auflösung gekennzeichnet ist, die höher ist als eine Auflösung der Videodaten; und/oder automatisches Speichern in einem Speicher von einem oder mehreren der Blöcke, in welchem das die vorbestimmten Qualitätskontrollkriterien erfüllende Objekt in der Ansichtenauffindungseinheit dargestellt ist.
Figurenliste

1 zeigt eine Netzwerkarchitektur gemäß einer Ausführungsform.
2 zeigt eine repräsentative Hardware-Umgebung, die mit den Servern und/oder Clients der 1 gemäß einer Ausführungsform verbunden sein kann.
3-5 zeigen jeweils ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform.

DETAILLIERTE BESCHREIBUNG
Die folgende Beschreibung dient dem Zwecke der Darstellung der allgemeinen Prinzipien der vorliegenden Erfindung und soll die erfindungsgemäßen hierin beanspruchten Konzepte nicht einschränken. Ferner können spezielle hierin beschriebene Merkmale in Kombination mit anderen beschriebenen Merkmalen jeweils in den diversen möglichen Kombinationen und Permutationen verwendet werden.
Sofern dies hierin nicht anders angegeben ist, sollen allen Begriffe ihre breitest mögliche Interpretation haben, einschließlich den Bedeutungen, die sich aus der Beschreibung ergeben, sowie den Bedeutungen, die der Fachmann diesbezüglich versteht und/oder wie sie in Wörterbüchern, Abhandlungen und dergleichen definiert sind.
Des Weiteren ist zu beachten, dass entsprechend der Verwendung in der Beschreibung und in den angefügten Ansprüchen, die Singularformen „einer“, „eine“, „ein“ und „der, die, das“ auch die Pluralbedeutungen mit einschließen, sofern dies nicht anders angegeben ist.
Die vorliegende Anmeldung betrifft die Bildverarbeitung. Insbesondere offenbart die vorliegende Anmeldung Systeme, Verfahren und Computerprogrammprodukte, die dafür gestaltet sind, aktuelle Verfahren auf Basis von Stand-Fotos und Systeme zur Aufnahme eines digitalen Bildes so zu erweitern, dass ein Datenstrom für Videodaten ermöglicht wird, um diverse Arten von Information zu erfassen und zu verarbeiten. Mit der zunehmenden Verbesserung der Bilderzeugungstechnik hinkt die Auflösung bei Videodatenströmen für gewöhnlich der für Fotos verfügbaren Auflösung hinterher. Die Ermöglichung von Videodatenströmen für die Dokumentenerfassung wird bislang auf Objekte mit kleiner Größe beschränkt, da die verfügbare Auflösung keine ausreichenden Details in Hinblick auf größere Objekten bietet, um in wirksamer Weise digitale Bilder, die derartige Objekte zeigen, effektiv zu verarbeiten. Mit Zunahme der Videodatenstromauflösungen hat diese Beschränkung die Verarbeitungsfähigkeiten und die Eignung in einem immer geringeren Maße beeinflusst, so dass die Verarbeitung von Daten aus einem Videodatenstrom eine gangbare Alternative oder sogar ein bevorzugter Ersatz für die Aufnahme von Stand-Fotos in diversen Anwendungen und/oder Implementierungen geworden ist.
Von höheren Warte aus betrachtet, kann eine anschauliche Benutzererfahrung für die Aufnahme eines Videodatenstroms zwanglos auf dem folgenden Szenario beruhen.
Ein Benutzer ruft eine Videodatenstrom-Aufnahmeschnittstelle aus einer nativen Mobilanwendung mittels eines Software Entwickler-Kits (SDK), das zur Entwicklung oder Modifizierung einer neuen oder bestehenden mobilen Anwendung verwendet wird, mittels einer eingebauten mobilen Betriebssystem-(OS-) Funktion und dergleichen auf. Nach dem Aufrufen bzw. Aktivieren bietet sich dem Benutzer eine Option, um eine videobasierte Aufnahme auszuwählen und einen videobasierten Vorgang auszuführen. Die Aufnahmeanwendung stellt eine Videoaufnahmeschnittstelle bereit, die den Benutzer so führt, dass sichergestellt wird, dass das physische Objekt innerhalb der Grenzen eines Begrenzungsfeldes, das der mobilen Aufnahmebenutzerschnittstelle überlagert ist, bleibt. Sobald es innerhalb des Begrenzungsfeldes ist, klickt der Benutzer auf den „Aufnahme“-Knopf, um den Aufnahmevorgang zu beginnen. Sobald der Vorgang begonnen ist, beginnt eine mobile Schnittstelle eine Überprüfung bezüglich der Stabilität des Mobilgeräts unter Anwendung einer oder mehrerer Hardwarekomponenten des Mobilgeräts, etwa eines Beschleunigungsmessers, eines Gyroskops und dergleichen. Sobald die Stabilität erreicht worden ist, kann ein Autofokus-Vorgang erzwungen werden, und der Prozess des Auswertens jedes der (n) Blöcke des Videodatenstroms beginnt.
Das Ziel der Blockauswertung liegt darin, das Vorhandensein eines Zielobjekts innerhalb des Sichtbereichs, der durch den Videodatenstrom bereitgestellt wird, zu erkennen. Zu Elementen gehören, ohne darauf einschränken zu wollen, ein oder mehrere Seiten, ein oder mehrere Strichcodes, Gebäude, Motorfahrzeuge, Boote, Personen und dergleichen. Die eigentliche Implementierung des Echtzeit-Verfahrens und der Algorithmen, die zum Erkennen der Existenz des Zielobjekts innerhalb des Videoblocks angewendet werden, sind unabhängig von diesem Dokument erläutert.
Sobald die Existenz des Zielobjekts in einem oder mehreren Blöcken des Datenstroms erkannt worden ist, wird entweder der Block identifiziert und durch Bildaufbereitungstechniken verarbeitet, etwa solche, die in einem anschaulichen Szenario durch elektronische virtuelle Neuabtastung (EVRS) erfolgen, oder für Geräte, die die erforderliche Fähigkeit unterstützen, wird die volle Auflösung (Foto), die dem Ziel-Videoblock entspricht, ermittelt und durch EVRS verarbeitet. Alternativ könnten mehrere Videoblöcke mit geringer Auflösung zu einem einzigen Bild mit höherer Auflösung kombiniert werden.
Ausgehend davon kann die mobile Anwendung die Bereitstellung möglichst vieler relevanter Objekt-Metadaten mit der kleinstmöglichen Latenzzeit ermöglichen. Relevante Metadaten können, ohne einschränken zu wollen, die Objektart, Objekteigenschaften, Feld-Metadaten, GPS-Informationen, Seitengröße, Strichcode-Wert(e), Fahrzeugart, Personengröße, Bootslänge etc. beinhalten.
Diese Fähigkeit würde es dem Benutzer ermöglichen, mehrere Objekte und Objektarten gleichzeitig aufzunehmen bzw. zu erfassen. Ferner können Objekte in einem speziellen nachgeordneten Prozess (beispielsweise einem geschäftlichen Vorgang, etwa eine Darlehensanwendung, ein Versicherungsanspruch, eine finanzielle Transaktion und dergleichen) rasch und einfach mit minimalem Zutun des Benutzers mit Ausnahme einer einfachen Klick-, Punkt- und Einfangfunktion zugeordnet werden.
Aus einer Warte können die die gesamte Aufnahme und Verarbeitung allgemein in einer logischen Reihenfolge stattfinden, die ähnlich zu dem nachfolgend gezeigten Flussdiagramm ist.
Zu beachten ist beim Studium der vorliegenden Beschreibungen, dass das nachfolgend gezeigte gesamte Flussdiagramm ein grobes Konzeptbeispiel ist, das in keiner Weise als beschränkend betrachtet werden soll. Die aktuell beschriebene Aufnahme und die Verarbeitung können in diversen Ausführungsformen eine beliebige Anzahl weiterer und/oder anderer Vorgänge enthalten, derartige Vorgänge können in unterschiedlicher Reihenfolge ausgeführt werden und/oder gewisse Vorgänge, die in dem Flussdiagramm gezeigt sind, können weglassen.
Bilder (beispielsweise Bilder, Figuren, grafische Schemadarstellungen, einzelne Blöcke aus Filmen, Videos, Filmszenen, Filmschnitte und dergleichen) sind vorzugsweise digitale Bilder, die durch Kameras, insbesondere Kameras in Mobilgeräten, aufgenommen bzw. erfasst werden. Im hierin verstandenen Sinne ist ein Mobilgerät eine beliebige Einrichtung, die in der Lage ist, Daten zu empfangen, ohne dass über eine physische Verbindung (beispielsweise Draht, Leitung, Kabel etc.) Leistung zugeführt wird, und die in der Lage ist, Daten ohne eine physische Datenverbindung (beispielsweise Draht, Leitung, Kabel und dergleichen) zu empfangen. Mobilgeräte, die innerhalb des Schutzbereichs der vorliegenden Offenbarung liegen, schließen anschauliche Geräte mit ein, etwa ein Mobiltelefon, ein intelligentes Telefon, ein Tablet, einen persönlichen digitalen Assistenten, Geräte in Form eines iPods®, eines iPads®, BLACKBERRY® und dergleichen.
Aus der Beschreibung der diversen Funktionen geht jedoch hervor, dass die gegenwärtig offenbarten mobilen Bildverarbeitungsalgorithmen, manchmal mit gewissen Modifizierungen, auf Bilder angewendet werden können, die aus Scannergeräten und Multifunktionsperipheriegeräten (MFPs) stammen. In ähnlicher Weise können Bilder, die unter Anwendung der aktuell offenbarten Verarbeitungsalgorithmen verarbeitet sind, in einigen Vorgehensweisen unter Anwendung konventioneller Scannerverarbeitungsalgorithmen weiterverarbeitet werden.
Selbstverständlich können die diversen hierin dargestellten Ausführungsformen durch Verwendung von Hardware, Software oder eine gewünschte Kombination davon implementiert werden. Diesbezüglich kann eine beliebige Art einer Logik eingesetzt werden, die in der Lage ist, die diversen hierin dargestellten Funktionen zu implementieren.
Ein Vorteil der Verwendung eines Mobilgeräts besteht darin, dass eine Datenplanung, eine Bildverarbeitung und eine Informationsverarbeitung auf der Grundlage aufgenommener Bilder in einer wesentlich bequemeren, geradlinigeren und integrierten Weise als in vergangenen Verfahren ausgeführt werden können, die die Anwesenheit eines Scannergerätes voraussetzten. Jedoch wurde die Verwendung von Mobilgeräten als Geräte zur Erfassung und/oder Verarbeitung von Dokumenten diesbezüglich aus mehreren Gründen als nicht möglich erachtet.
In einer Vorgehensweise kann ein Bild durch eine Kamera eines Mobilgeräts erfasst bzw. aufgenommen werden. Der Begriff „Kamera“ sollte in breiter Weise so verstanden werden, dass eine beliebige Art einer Einrichtung mit eingeschlossen ist, die in der Lage ist, ein Bild eines physischen Objekts, das außerhalb des Gerätes liegt, etwa eines Papierstücks, aufzunehmen. Der Begriff „Kamera“ umfasst nicht ein peripheres Scannergerät oder ein Multifunktionsgerät. Es kann eine beliebige Art von Kamera verwendet werden. In bevorzugten Ausführungsformen können Kameras mit einer höheren Auflösung, beispielsweise 8 MP oder höher, idealerweise 12 MP oder höher, verwendet werden. Das Bild kann in Farbe, in Graustufen, in Schwarzweiß oder in Bezug auf einen anderen bekannten optischen Effekt aufgenommen werden. Der Begriff „Bild“, wie er hierin verwendet wird, hat die Bedeutung, dass eine beliebige Art von Daten mit erfasst ist, die dem Ausgangssignal der Kamera entsprechen, wozu Rohdaten, verarbeitete Daten und dergleichen gehören.
Die Beschreibung wird hier angegeben, um einen Fachmann in die Lage zu versetzen, die Erfindung auszuführen und anzuwenden, und die Beschreibung wird im Zusammenhang von speziellen Anwendungen der Erfindung und ihren Erfordernissen bereitgestellt. Diverse Modifizierungen in Bezug auf die offenbarten Ausführungsformen ergeben sich für den Fachmann in einfacher Weise, und die hierin definierten allgemeinen Prinzipien können auf andere Ausführungsformen und Anwendungen angewendet werden, ohne von dem Grundgedanken und dem Schutzbereich der vorliegenden Erfindung abzuweichen. Daher soll die vorliegende Erfindung nicht auf die gezeigten Ausführungsformen eingeschränkt sein, sondern sie ist im breitesten Sinne zu verstehen, der mit den hierin offenbarten Prinzipien und Merkmalen konsistent ist.
Insbesondere sind diverse Ausführungsformen der hierin erläuterten Erfindung unter Anwendung des Internets als ein Mittel zur Kommunikation zwischen mehreren Computersystemen implementiert. Der Fachmann erkennt, dass die vorliegende Erfindung nicht auf die Verwendung des Internets als ein Kommunikationsmedium beschränkt ist, und dass alternative Verfahren der Erfindung unter Anwendung eines privaten Intranets, eines Nahbereichs-Netzwerks (LAN), eines Weitbereichs-Netzwerks (WAN) oder anderen Kommunikationsmitteln ausgeführt werden können. Des Weiteren können diverse Kombinationen aus verdrahteten, drahtlosen (beispielsweise mit Funkfrequenzen) Verbindungen und optischen Verbindungen eingesetzt werden.
Die Programmumgebung, in der eine Ausführungsform der Erfindung ausführbar ist, beinhaltet in anschaulicher Weise einen oder mehrere Computer für Allgemeinzwecke oder Geräte für Spezialzwecke, etwa Handcomputer. Details derartiger Geräte (beispielsweise Prozessor, Speicher, Datenspeicher, Eingabe- und Ausgabegeräte) sind gut bekannt und werden in Hinblick auf die Klarheit weggelassen.
Es sollte auch beachtet werden, dass die Techniken der vorliegenden Erfindung unter Anwendung einer Vielzahl von Techniken implementiert werden können. Beispielsweise können die hierin beschriebenen Verfahren in Software, die auf einem Computersystem ausgeführt wird, implementiert werden, oder können in Hardware unter Anwendung eines oder mehrerer Prozessoren und einer Logik (Hardware und/oder Software) zum Ausführen von Schritten des Verfahrens, von anwendungsspezifischen integrierten Schaltungen, programmierbaren Logikeinrichtungen, etwa vor Ort programmierbare Gatterarrays (FPGAs) und/oder diversen Kombinationen davon, implementiert werden. In einer anschaulichen Vorgehensweise können hierin beschriebene Verfahren durch eine Reihe aus computerausführbaren Befehlen implementiert werden, die in einem Speichermedium hinterlegt sind, etwa einem physischen (beispielsweise nicht-flüchtigen) computerlesbaren Medium. Obwohl ferner spezielle Ausführungsformen der Erfindung objektorientierte Softwareprogrammierkonzepte benutzen, ist die Erfindung nicht darauf beschränkt und sie kann in einfacher Weise so angepasst werden, dass andere Formen eingesetzt werden, um die Funktion eines Computers zu lenken.
Die Erfindung kann in Form eines Computerprogrammprodukts, das einen computerlesbaren Speicher aufweist, oder in Form eines Signalmediums mit Computercode darin, der durch eine Rechenvorrichtung (beispielsweise einen Prozessor) und/oder ein System ausgeführt werden kann, bereitgestellt werden. Ein computerlesbares Speichermedium kann ein beliebiges Medium umfassen, das in der Lage ist, darin Computercode zur Verwendung durch eine Recheneinrichtung oder ein System zu speichern, wozu optische Medien gehören, etwa nur-lesbare und beschreibbare CD und DVD, magnetische Speicher oder ein magnetisches Medium (beispielsweise eine Festplatte, ein Magnetband), ein Halbleiterspeicher (beispielsweise ein Flash-Speicher und andere mobile Speicherkarten und dergleichen), Firmware, die in einem Chip codiert ist, und dergleichen.
Ein computerlesbares Signalmedium ist eines, das nicht in die Klasse der zuvor genannten Speichermedien fällt. Beispielsweise übermitteln anschauliche computerlesbare Signalmedien flüchtige Signale oder übertragen flüchtige Signale anderweitig innerhalb eines Systems, zwischen Systemen, beispielsweise durch ein physisches oder virtuelles Netzwerk, und dergleichen.
1 zeigt eine Architektur 100 gemäß einer Ausführungsform. Wie in 1 gezeigt ist, sind mehrere Fernnetzwerke 102 einschließlich eines ersten Fernnetzwerks 104 und eines zweiten Fernnetzwerks 106 vorgesehen. Ein Zugang bzw. Gateway 101 kann zwischen den Fernnetzwerken 102 und einem nahen bzw. lokalen Netzwerk 108 gekoppelt sein. Im Zusammenhang der vorliegenden Netzwerkarchitektur 100 können die Netzwerke 104, 106 jeweils eine beliebige Form annehmen, wozu, ohne einschränkend zu sein, ein LAN, ein WAN, etwa das Internet, ein öffentliches Telefonvermittlungsnetzwerk (PSTN), ein internes Telefonnetzwerk und dergleichen gehören.
Während des Betriebs dient das Gateway 101 als ein Eingangspunkt von den Fernnetzwerken 102 zu dem lokalen Netzwerk 108. Dadurch kann das Gateway 101 als ein Router, der zum Umlenken eines gegebenen Datenpakets, das an dem Gateway 101 eintrifft, in der Lage ist, und als ein Schalter bzw. eine Vermittlungseinheit dienen, die den tatsächlichen Pfad in und aus dem Gateway 101 für ein gegebenes Paket einrichtet.
Ferner ist mindestens ein Daten-Server 114 enthalten, der mit dem lokalen Netzwerk 108 gekoppelt ist, und auf den von den Fernnetzwerken 102 über das Gateway 101 zugegriffen wird. Es sollte beachtet werden, dass der oder die Daten-Server 114 eine beliebige Art einer Recheneinrichtung/Gruppenanordnung mit einschließen können. Mit jedem Daten-Server 114 sind mehrere Benutzergeräte 116 verbunden. Derartige Benutzergeräte 116 können einen Tischrechner, einen Laptop-Computer, einen Hand-Computer, einen Drucker oder eine andere Art einer Logikeinheit umfassen. Es sollte beachtet werden, dass ein Benutzergerät 111 in einer Ausführungsform auch direkt mit einem oder mehreren der Netzwerke verbunden sein kann.
Ein Peripheriegerät 120 oder mehrere Peripheriegeräte 120, beispielsweise Faxgeräte, Drucker, netzwerkfähige Speichereinheiten und dergleichen. können mit einem oder mehreren der Netzwerke 104, 106, 108 verbunden sein. Es sollte beachtet werden, dass Datenbanken, Server und/oder weitere Komponenten in Verbindung mit oder integriert in einer beliebigen Art eines Netzwerkelements, das mit den Netzwerken 104, 106, 108 verbunden ist, verwendet werden können. Im Zusammenhang der vorliegenden Beschreibung bezeichnet ein Netzwerkelement eine beliebige Komponente eines Netzwerks.
Gemäß einigen Vorgehensweisen können Verfahren und Systeme, die hierin beschrieben sind, mit und/oder in virtuellen Systemen und/oder Systemen, die eines oder mehrere andere Systeme nachbilden, etwa ein UNIX-System, das eine Mac OS-Umgebung nachbildet, ein UNIX-System, das virtuell eine Microsoft Windows-Umgebung beherbergt, ein Microsoft Windows-System, das eine Mac OS-Umgebung nachbildet und dergleichen, implementiert werden. Diese Virtualisierung und/oder Nachbildung kann in einigen Ausführungsformen durch die Verwendung von VMWARE-Software verbessert werden.
In mehreren Vorgehensweisen können ein oder mehrere Netzwerke 104, 106, 108 einen Cluster aus Systemen, das üblicherweise als eine „Wolke“ bzw. Cloud bezeichnet wird, repräsentieren. Beim Cloud-Computing werden gemeinsame Ressourcen, etwa Verarbeitungsleistung, Peripheriegeräte, Software, Datenverarbeitung und/oder Speicher, Server und dergleichen, für ein beliebiges System innerhalb der Cloud vorzugsweise nach Bedarf bereitgestellt, um damit Zugriff auf und Verteilung von Dienste(n) über viele Rechensysteme hinweg zu ermöglichen. Cloud-Computing bzw. Cloud-Verarbeitung beinhaltet typischerweise eine Internet-Verbindung oder eine andere Hochgeschwindigkeitsverbindung (beispielsweise 4G LTE, Faseroptik und dergleichen) zwischen den Systemen, die in der Cloud arbeiten, wobei auch andere Techniken zum Verbinden der Systeme eingesetzt werden können.
1 zeigt eine Architektur 100 gemäß einer Ausführungsform. Wie in 1 gezeigt ist, sind mehrere Fernnetzwerke 102 vorgesehen, die ein erstes Fernnetzwerk 104 und ein zweites Fernnetzwerk 106 mit einschließen. Ein Zugang bzw. ein Gateway 101 kann zwischen den Fernnetzwerken 102 und einem nahen bzw. lokalen Netzwerk 108 gekoppelt sein. Im Zusammenhang der vorliegenden Architektur 100 können die Netzwerke 104, 106 jeweils eine beliebige Form annehmen, wozu, ohne einschränkend zu sein, ein LAN, ein WAN, etwa das Internet, ein öffentliches Telefonvermittlungsnetzwerk (PSTN), ein internes Telefonnetzwerk und dergleichen, gehören.
Während des Betriebs dient das Gateway 101 als ein Eingangspunkt von den Fernnetzwerken 102 zu dem nahe gelegenen Netzwerk 108. Dadurch kann das Gateway 101 als ein Router, der zum Umlenken eines gegebenen Datenpakets, das an dem Gateway 101 eintrifft, in der Lage ist, und als ein Schalter bzw. eine Vermittlungseinheit dienen, die den tatsächlichen Pfad in und aus dem Gateway 101 für ein gegebenes Paket einrichtet.
Ferner ist mindestens ein Daten-Server 114 enthalten, der mit dem lokalen Netzwerk 108 gekoppelt ist, und auf den von den Fernnetzwerken 102 über das Gateway 101 zugegriffen wird. Es sollte beachtet werden, dass der oder die Daten-Server 114 eine beliebige Art einer Recheneinrichtung/Gruppenanordnung mit einschließen können. Mit jedem Daten-Server 114 sind mehrere Benutzergeräte 116 verbunden. Derartige Benutzergeräte 116 können einen Tischrechner, einen Laptop-Computer, einen Hand-Computer, einen Drucker oder eine andere Art einer Logikeinheit umfassen. Es sollte beachtet werden, dass ein Benutzergerät 111 in einer Ausführungsform auch direkt mit einem oder mehreren der Netzwerke verbunden sein kann.
Ein Peripheriegerät 120 oder mehrere Peripheriegeräten 120, beispielsweise Faxgeräte, Drucker, netzwerkfähige Speichereinheiten und dergleichen. können mit einem oder mehreren der Netzwerke 104, 106, 108 verbunden sein. Es sollte beachtet werden, dass Datenbanken, Server und/oder weitere Komponenten in Verbindung mit oder integriert in eine beliebige Art eines Netzwerkelements, das mit den Netzwerken 104, 106, 108 verbunden ist, verwendet werden können. Im Zusammenhang der vorliegenden Beschreibung bezeichnet ein Netzwerkelement auf eine beliebige Komponente eines Netzwerks.
Gemäß einigen Vorgehensweisen können Verfahren und Systeme, die hierin beschrieben sind, mit und/oder in virtuellen Systemen und/oder Systemen, die eines oder mehrere andere Systeme nachbilden, etwa ein UNIX-System, das eine Mac OS-Umgebung nachbildet, ein UNIX-System, das virtuell eine Microsoft Windows-Umgebung beherbergt, ein Microsoft Windows-System, das eine Mac OS-Umgebung nachbildet und dergleichen, implementiert werden. Diese Virtualisierung und/oder Nachbildung kann durch die Verwendung von VMWARE-Software in einigen Ausführungsformen verbessert werden.
In mehreren Vorgehensweisen können ein oder mehrere Netzwerke 104, 106, 108 einen Cluster aus Systemen, das üblicherweise als eine „Wolke“ bzw. Cloud bezeichnet wird, repräsentieren. Beim Cloud-Computing werden gemeinsame Ressourcen, etwa Verarbeitungsleistung, Peripheriegeräte, Software, Datenverarbeitung und/oder Speicher, Server und dergleichen, für ein beliebiges System innerhalb der Cloud vorzugsweise nach Bedarf bereitgestellt, um damit Zugriff auf und Verteilung von Diensten über viele Rechensysteme hinweg zu ermöglichen. Cloud-Computing bzw. Cloud-Verarbeitung beinhaltet typischerweise eine Internet-Verbindung oder eine andere Hochgeschwindigkeitsverbindung (beispielsweise 4G LTE, Faseroptik und dergleichen) zwischen den Systemen, die in der Cloud arbeiten, wobei auch andere Techniken zum Verbinden der Systeme eingesetzt werden können.
2 zeigt eine repräsentative Hardware-Umgebung, die mit einem Benutzergerät 116 und/oder Server 114 der 1 gemäß einer Ausführungsform in Zusammenhang steht. Diese Figur zeigt einen typischen Hardwareaufbau eines Arbeitsplatzrechners mit einer zentralen Verarbeitungseinheit 210, etwa einem Mikroprozessor, und einer Anzahl anderer Einheiten, die über einen Systembus 212 miteinander verbunden sind.
Der in 2 gezeigte Arbeitsplatzrechner beinhaltet einen Direktzugriffsspeicher (RAM) 214, einen Nur-Lese-Speicher (ROM) 216, einen I/O- bzw. Ein-/Aus-Adapter 218 für den Anschluss von peripheren Geräten, etwa von Diskettenspeichereinheiten 220, einen Bus 212, einen Benutzerschnittstellenadapter 222 zum Anschluss einer Tastatur 224, einer Maus 226, eines Lautsprechers 228, eines Mikrofon 232 und/oder andere Benutzerschnittstelleneinrichtungen, etwa einen berührungsempfindlichen Bildschirm und eine Digitalkamera (nicht gezeigt) mit dem Bus 212, einen Kommunikationsadapter 234 zum Verbinden des Arbeitsplatzrechners mit einem Kommunikationsnetz 235 (beispielsweise ein Datenverarbeitungsnetzwerk) und einen Anzeigeadapter 236 zum Verbinden des Busses 212 mit einer Anzeigeeinrichtung 238.
Der Arbeitsplatzrechner kann darauf ein residentes Betriebssystem haben, etwa das Betriebssystem (OS) Microsoft Windows^®, ein Mac-OS, ein UNIX-OS und dergleichen. Zu beachten ist, dass eine bevorzugte Ausführungsform auch auf Plattformen und Betriebssystemen implementiert werden kann, die nicht die zuvor genannten Systeme sind. Eine bevorzugte Ausführungsform kann umgesetzt werden unter Anwendung der Sprachen JAVA, XML, C und/oder C++ oder unter Verwendung anderer Programmiersprachen, zusammen mit einem objektorientierten Programmieransatz. Es kann objektorientierte Programmierung (OOP), die zunehmend zur Entwicklung komplexer Anwendungen eingesetzt wird, verwendet werden.
Eine Anwendung kann auf dem Mobilgerät installiert, beispielsweise in einem nicht-flüchtigen Speicher des Geräts, gespeichert werden. In einer Vorgehensweise beinhaltet die Anwendung Befehle, um eine Verarbeitung an einem Bild in dem Mobilgerät auszuführen. In einer weiteren Vorgehensweise beinhaltet die Anwendung Befehle, um das Bild an einen entfernten Server, etwa einen Netzwerkserver, zu senden. In einer noch weiteren Vorgehensweise kann die Anwendung Befehle enthalten, um zu entscheiden, ob ein gewisser Teil oder die gesamte Verarbeitung in dem Mobilgerät ausgeführt werden soll und/oder ob das Bild an die entfernte Stelle gesendet werden soll.
In den diversen Ausführungsformen wird in den vorliegenden offenbarten Verfahren, Systemen und/oder Computerprogrammprodukten eine der Funktionen verwendet und/oder beinhaltet diese, die in der artverwandten US-Patentanmeldung mit der Nr. 13/740,123 offenbart sind, die am 11. Januar 2013 eingereicht wurde. Beispielsweise können digitale Bilder, die zur Verarbeitung geeignet sind, insgesamt oder teilweise unter Anwendung der vorliegend offenbarten Verfahren, Systeme und dergleichen, einen oder mehreren Bildverarbeitungsoperationen unterzogen werden, die in der zuvor genannten Patentanmeldung offenbart sind, etwa einer Seitenerkennung, einer Rechteckbildung, einer Erkennung ungleichmäßiger Beleuchtung, einer Beleuchtungsnormierung, einer Auflösungsabschätzung, einer Unschärferkennung und dergleichen.
In diversen Ausführungsformen können in den vorliegend offenbarten Verfahren, Systemen und/oder Computerprogrammprodukten eine oder mehrere der Funktionen verwendet werden, oder können eine oder mehrere dieser Funktionen enthalten, die in der artverwandten US-Patentanmeldung mit der Nr. 13/802,226 , die am 13. März 2013 eingereicht wurde, und in der vorläufigen US-Patentanmeldung mit der Nr. 61/780,747 , die am 13. März 2013 eingereicht wurde, offenbart sind. Beispielsweise können digitale Bilder, die zur Verarbeitung als Ganzes oder teilweise unter Anwendung der vorliegend offenbarten Verfahren, Systeme und dergleichen, geeignet sind, einer oder mehreren Klassifizierungs- und/oder Datenextraktionsoperationen unterzogen werden, die in den zuvor genannten Patentanmeldungen offenbart sind, wozu beispielsweise eine Klassifizierung von Objekten, die einem digitalen Bild dargestellt sind, entsprechend der Art, basierend zumindest teilweise auf den Eigenschaften des Objekts, ein Ausführen von auf den Kunden zugeschnittener Bildverarbeitung unter Anwendung von Information über die Objekteigenschaften und/oder die Objektklasse, das Bilden und/oder Benutzen von Eigenschaftsvektoren zum Ausführen einer Klassifizierung, das Bilden und/oder Verwenden von Eigenschaftsvektoren zur Entwicklung eines Datenextraktionsmodells für das Objekt und/oder die eine oder mehreren Projektklasse(n), das Verwenden der Datenextraktionsmodelle zum Extrahieren von Daten aus digitalen Bildern und dergleichen, gehören.
In einigen Ausführungsformen und vollständig unabhängig von den „Extraktionsoperationen“ und Techniken, die hierin offenbart sind, kann es zweckdienlich sein, die Bildaufnahme, die Auswertung und die Verarbeitung in der beschriebenen Weise auszuführen, und nachfolgend das resultierende Bild mit einer zielgerichteten optischen Zeichenerkennung (OCR) auszuwerten. Beispielsweise kann ein Benutzer einen Bereich eines verarbeiteten Bildes festlegen, an dem die OCR auszuführen ist, und kann ein Fenster über diesen Bereich des verarbeiteten Bildes schweben lassen. Anschließend kann der Benutzer OCR-Ergebnisse entweder entsprechend einer Anforderung, die der Benutzer (beispielsweise zum OCR des Fenstergebiets des Bildes) abgesetzt hat oder entsprechend automatisch in Echtzeit oder nahezu Echtzeit in Reaktion auf die Fensterposition (beispielsweise ein stets aktiver OCR-Prozess wird an dem einen Objekt in mehreren Bildbereichen ausgeführt, die innerhalb des OCR-Fensters liegen, und es können erkannte Zeichen auf dem Mobilgerät in Echtzeit angezeigt werden) erhalten.
Vorzugsweise wird gegebenenfalls die fensterbasierte OCR-Lösung eingesetzt, um ein Ermitteln, Verifizieren (beispielsweise einen beobachteten Wert, der durch OCR erhalten wird, durch vergleichen mit einem Referenzwert bestätigen) und/oder Validieren (beispielsweise, wie zuvor erwähnt ist und wie dies ferner in dem artverwandten US-Patent mit der Nr. 8,345,981 und/oder den US-Patentanmeldungen mit den Nrn. 14/175,999 (am 7. Februar 2014 eingereicht); 14/176,606 (am 7. Februar 2014 eingereicht) und/oder 14/078,402 (am 12. November 2013 eingereicht) beschrieben ist), von Textzeichen zu ermöglichen, die in dem dargestellten Objekt dargestellt sind. Noch bevorzugter wird gegebenenfalls der fensterbasierte OCR-Ansatz eingesetzt, um in spezieller Weise „identifizierende Information“ zu ermitteln, wie beispielsweise definiert und beschrieben ist in der damit in der artverwandten US-Patentanmeldung mit der Nr. 14/220,016 (am 19. März 2014 eingereicht).
Beispielsweise kann in einer Vorgehensweise die Klassifizierung das Ermitteln beinhalten, ob ein dargestelltes Objekt zu einer oder mehreren vorbestimmten Klassen gehört, und wenn dies nicht der Fall ist, das Anfordern einer Benutzereingabe, die eine neue Klasse definiert. Diese Vorgehensweise kann in einigen Ausführungsformen erweitert werden, indem automatisch definierende Eigenschaften für die neue Klasse auf der Grundlage der Benutzereingabe, des in dem einen oder den mehreren Bildern dargestellten Objekts, einer Kombination davon und/oder einer anderen relevanten beschreibenden Information ermittelt werden, die der Fachmann erkennen kann. Auf diese Weise ist es für die vorliegenden Systeme möglich, auf unbekannte Objektarten auf der Grundlage einer minimalen Eingabe von dem Benutzer und auf der Grundlage definierender Eigenschaften erweitert zu werden, die auf Basis einer Benutzereingabe, Bilddaten und/oder einer Kombination davon bestimmt sind.
In weiteren Vorgehensweisen können die vorliegend offenbarten Verfahren, Systeme und/oder Computerprogrammprodukte in vielen Anwendungen eingesetzt werden in Verbindung mit, implementiert werden in und/oder enthalten sein in einer oder mehrerer Benutzerschnittstellen, die ausgebildet sind, das Ausführen einer beliebigen Funktion, wie sie hierin und/ oder in der zuvor genannten verwandten Patentanmeldung offenbart ist, etwa eine mobile Bildverarbeitungsanwendung, eine Fallverwaltungsanwendung und/oder eine Klassifizierungsanwendung.
In noch weiteren Vorgehensweisen können die hier offenbarten Systeme, Verfahren und/oder Computerprogrammprodukte vorteilhaft auf Nutzungsverfahren und/oder Szenarien, die in der zuvor genannten artverwandten Patentanmeldung offenbart sind, unter anderem angewendet werden, wie der Fachmann leicht einsehen kann, wenn er diese Beschreibung studiert.
Ferner ist zu beachten, dass hierin repräsentierte Ausführungsformen in Form eines Dienstes bereitgestellt werden können, der an einen Kunden verteilt wird, um einen Dienst nach Bedarf anzubieten.
Videoaufnahme und -erkennung
In einigen Ausführungsformen kann mittels einer mobilen Anwendung ein Benutzer ein Video aufnehmen, das Video auswerten und anschließend einen Bildblock oder Bildblöcke mit voller Auflösung eines Fotos speichern. Um die rechnerische Effizienz zu verbessern, ist es möglich, Videodaten mit einer geringeren Auflösung als die volle Standbildauflösung von Blöcken zu verwenden, um in dem einen oder den mehreren Blöcken dargestellte Objekte zu erkennen. Beim Erkennen eines Zielobjekts werden in den diversen Ausführungsformen ein oder mehrere Blöcke mit einer hohen Auflösung eines Fotos für die weitere Verarbeitung verwendet.
Beispielsweise ist eine Videoaufnahme mit geringer Auflösung und eine Verarbeitung kleiner Dokumente, etwa von Führerscheinen oder Visitenkarten oder Schecks zumindest teilweise möglich, da in einigen Ausführungsformen die Bildaufnahme so weit vergrößert wird, dass selbst die geringe Auflösung der Videodaten eine ausreichende Auflösung zum Erkennen des kleinen Dokuments in dem Objekt ausreichend ist.
In einer Vorgehensweise kann eine Aufnahmekomponente einer mobilen Anwendung im Rahmen der vorliegenden Offenbarung es einem Benutzer ermöglichen, eine Mobilgerätkamera in einem Videoaufnahmemodus aufzurufen. Der Benutzer kann eine Eingabe bereitstellen, die die Aufnahmekomponente anweist, mit der Aufnahme von Videodaten zu beginnen. Die Anwendung kann in Reaktion auf den Empfang der „Beginne mit der Aufnahme“-Anweisung in Reaktion auf das Anzeigen einer Aufforderung für den Benutzer, die den Benutzer anweist, sich für das Aufnehmen von Daten vorzubereiten etc., eine geräteinterne Hardware, etwa einen Beschleunigungsmesser und/oder ein Gyroskop in Bezug auf Stabilitätsinformation abfragen. Wenn Bedingungen aus der geräteinternen Hardware erfasst werden, die einer Stabilitätsbedingung entsprechen, dann kann die Anwendung einen Autofokus erzwingen, Bildblöcke aufnehmen und anschließend einen Hintergrundprozess erzeugen, um eine Bildverarbeitung aufzurufen und/oder auszuführen.
Ferner können die aufgenommenen Bildblöcke durch eine Auflösung gekennzeichnet sein, die höher ist als eine Auflösung des Videodatenstroms (und der entsprechenden Daten), die dem Benutzer angezeigt werden, während die Stabilitätsermittlung, der Fokus, die Objekterkennung und dergleichen ausgeführt werden. In einigen Ausführungsformen kann für einen Benutzer, der einen Videodatenstrom betrachtet, gleichzeitig ein entsprechender hochauflösender Bildblock von Bilddaten präsentiert werden, um eine Rückmeldung und Benutzereingabe bezüglich der Aufnahme und/oder der Verarbeitung unter Anwendung der mobilen Anwendung des Mobilgeräts zu überwachen und/oder bereitzustellen.
In einigen Ausführungsformen kann die Aufnahmekomponente weiter verfeinert sein, so dass Objekte nach Art klassifiziert werden und dass selektiv der Aufnahmevorgang aktiviert wird. Beispielsweise wird gegebenenfalls das Aufnehmen nur dann aktiviert, wenn ermittelt wird, dass das Aufnahmefeld ein interessierendes Objekt umschließt, etwa ein Dokument, ein Tier, ein Fahrzeug, eine Person, eine spezielle Art eines Dokuments, eines Tieres, eines Fahrzeugs und dergleichen.
In noch weiteren Ausführungsformen kann die Aufnahmekomponente ferner so verbessert sein, dass eine Klassifizierung von Objekten ermittelt und/oder Eigenschaften von Objekten erfasst werden, und dass selektiv der Aufnahmevorgang in Reaktion darauf aktiviert wird, sodass eine erwartete Art einer Eigenschaft in dem Objekt erkannt wird. Beispielsweise kann ein Videodatenstrom eines Aufnahmefelds, das ein Dokument umschließt, eingesetzt werden, um die Art des Dokuments einzustufen und auf der Grundlage der Dokumentenklassifizierung kann der Videodatenstrom verwendet werden, um zu ermitteln, ob das Dokument spezielle Eigenschaften enthält, etwa einen speziellen Inhalt (beispielsweise einen speziellen Text, etwa einen Namen, eine Adresse, eine Kontonummer, ein spezielles Symbol, etwa einen Strichcode, ein Logo, ein Foto etc., wie sich dies für den Fachmann bei einem Studium der vorliegenden Beschreibung in einfacher Weise ergibt).
Durch die Bereitstellung einer zusätzlichen Klassifizierungsfähigkeit in dieser Art kann die mobile Anwendung ein unerwünschtes Aufnehmen von Videodaten bei Empfang einer Information vermeiden, die eine Stabilitätsbedingung bezeichnet, wobei aber das Aufnahmefeld auf ein Objekt ohne Interesse für die nachfolgende Verarbeitung fokussiert ist, (beispielsweise ist die mobile Anwendung in der Lage, selektiv das Aufnehmen von Videodaten eines Hundes als Teil eines übergeordneten Arbeitsablaufs zur Dokumentverarbeitung selektiv zu vermeiden). Vorzugsweise umfasst der Klassifizierungsvorgang eine anfängliche Auswertung mit hoher Geschwindigkeit, um das Vorhandensein des interessierenden Objekts in dem Videoblock zu erfassen. Jedoch kann die Klassifizierung auch eine beliebige Funktion beinhalten, wie sie in der artverwandten US-Patentanmeldung 13/802,226 erläutert ist.
In diversen Vorgehensweisen können beim Ermitteln, dass Stabilität besteht, bei Erhalt eines Fokus-Zustands und bei der Bestimmung desjenigen Aufnahmefeldes, das ein gewünschtes Aufnahmezielobjekt umfasst, eine oder mehrere Verarbeitungsvorgänge aktiviert werden. Als Eingabe für die Verarbeitungsvorgänge kann die mobile Anwendung den Videodatenstrom, Blöcke aus dem Videodatenstrom und/oder äquivalente Elemente mit hoher Auflösung davon bereitstellen.
Weitere Ausführungsformen beinhalten die Bereitstellung einer Funktion, um eine minimale Auflösung zu ermitteln, die erforderlich ist, um eine Objekterkennung, eine Bildverarbeitung oder jegliche andere, nachgeordnete Verarbeitungsprozesse auszuführen, so dass eine mobile Anwendung einen Benutzer in der Lage versetzen kann, die erforderlichen Daten für die nachfolgende Verarbeitung in der in rechentechnischer Hinsicht größtmöglichen Effizienz zu erfassen. Beispielsweise kann ein Benutzer eine Trainingskomponente der mobilen Anwendung aktivieren und er kann angewiesen werden, Videodaten aufzunehmen, die einem speziellen Objekt oder einer speziellen Objektart entsprechen; der Benutzer kann angewiesen werden, den Aufnahmevorgang mehrere Male zu wiederholen, und mit oder ohne Kenntnis des Benutzers können bei jeder Wiederholung Videodaten mit unterschiedlicher Auflösung aufgenommen werden, um eine vielseitige Anordnung aus Videodaten, die das Objekt repräsentieren, in einem Bereich von Auflösungen bereitzustellen.
Die mobile Anwendung kann in transparenter Weise eine Objekterkennung, eine Bildverarbeitung und dergleichen, ausführen, wobei eine oder mehrere der mehreren Videodatenproben mit unterschiedlicher Auflösung verwendet werden. Einige der Proben können akzeptable Ergebnisse liefern, während andere dies nicht tun. Die Anwendung kann Information bezüglich der Ergebnisse, die durch die Verwendung unterschiedlicher Eingangsproben erreicht wurden, verwenden, um eine Auflösung für eine nachfolgende Nutzung zu ermitteln, wenn die Objekte eine Aufnahme und/oder die Ausführung diverser Verarbeitungsschritte, die dem speziellen Objekt oder der Objektart entsprechen, für die ein Training ausgeführt wurde, ausgeführt werden.
In einer Vorgehensweise ist eine für die Objekterkennung ausreichende Auflösung eine Auflösung, die das Erkennen eines Kontrasts zwischen dem Vordergrund des Bildes, beispielsweise Gebieten des Bildes, die dem Objekt entsprechen, und dem Hintergrund des Bildes, beispielsweise Gebieten des Bildes, die nicht dem Objekt entsprechen, ermöglichen. Das Erkennen von Kontrast beinhaltet das Erkennen des Vorhandenseins eines Teilgebiets des Bildes, das eine mögliche Objektgrenze bzw. eine „Kandidaten“-Objektgrenze enthält. Für gewisse Objekte kann eine Auflösung in einem Bereich von etwa 25 Punkten pro Inch (DPI) bis ungefähr 50 DPI ausreichend sein, um den Kontrast und daher Objektgrenzen zu erkennen. Es kann eine anfängliche Verarbeitung, etwa eine Objekterkennung, ausgeführt werden, indem diese Bilder mit relativ geringer Auflösung verwendet werden, um Daten in äußerst effizienter Weise zu verarbeiten. Eine zusätzliche Verarbeitung kann ausgeführt werden unter Anwendung des Bildes mit geringer Auflösung oder eines entsprechenden Bildes mit hoher Auflösung, wie dies den Erfordernissen und/oder dem gewünschten Ergebnis des Prozesses entspricht.
In einigen Vorgehensweisen kann beim Erkennen eines Objekts in dem Videodatenstrom ein entsprechendes Bild mit hoher Auflösung aufgenommen bzw. erfasst werden und so zurechtgeschnitten werden, dass ein Teil oder der gesamte Hintergrund des Bildes entfernt wird.
In weiteren Ausführungsformen kann Benutzerrückmeldung angefordert, erhalten und/oder verwendet werden, um das Aufnehmen und/oder Verarbeiten von Videodaten zu ermöglichen, wie hierin beschrieben ist. Beispielsweise werden beim Ausführen einer Objekterkennung an Videodaten diverse Bildblöcke der Videodaten, in denen ein Objekt bekanntermaßen entdeckt wurde, für den Benutzer präsentiert werden. Der Benutzer kann das Erkennungsergebnis der Bestimmung bestätigen, modifizieren oder verneinen. Auf der Grundlage der Benutzereingabe kann der Erkennungsalgorithmus modifiziert werden. In einem weiteren Beispiel kann auf der Grundlage der Benutzereingabe eine minimale Aufnahmeauflösung ermittelt werden, wonach die diversen Bildblöcke unterschiedlichen Aufnahmeauflösungen entsprechen, wie dies zuvor in Hinblick auf das Trainieren der Aufnahmekomponente erläutert ist.
Superauflösung
Bei weiteren Vorgehensweisen kann es vorteilhaft sein, die Daten aus mehreren Blöcken des Bildes und/oder der Videodaten zu verwenden, um ein einziges, besseres, zusammengesetztes Bild für die Verarbeitung zu erzeugen. Beispielsweise kann ein Bild mit höherer Auflösung aus mehreren Bildblöcken aus Videodaten mit relativ niedriger Auflösung zusammengesetzt werden. Alternativ können mehrere Bilder mit hoher Auflösung zu einem Bild mit einer noch höheren Auflösung zusammengesetzt werden. Des Weiteren kann ein Gebiet mit relativ geringer Auflösung eines Bildes mit ansonsten hoher Auflösung oder ein unscharfes Gebiet (beispielsweise, wie es durch instabile Aufnahmebedingungen hervorgerufen werden kann) eines ansonsten scharfen Bildes verbessert werden, indem Daten aus mehreren Bildern und/oder Videoblöcken synthetisiert werden, um das Gebiet mit geringer Auflösung oder das unscharfe Gebiet erneut als Probe bereitzustellen und um ein zusammengesetztes Bild mit hoher Qualität (das heißt, hoher Auflösung/Schärfe) zu erzeugen. In einigen Ausführungsformen können die Bildblöcke binäre Bilddaten repräsentieren (das heißt, entsprechend zu Zweiton- oder „bitonalen“ Bildern), die verglichen, zusammengeführt und/oder benutzt werden, um Daten aus dem Bild, etwa Textzeichen, in einem Dokument zu extrahieren.
Metadaten
Das Abrufen, Empfangen und Bereitstellen von Metadaten sowie das Zuordnen von Metadaten zu digitalen Bilddaten ist eine weitere vorteilhafte Funktion innerhalb des Bereichs der hier beschriebenen mobilen Anwendung. Vorzugsweise ermöglicht die mobile Anwendung das Erhalten und Zuordnen aller verfügbaren Metadaten zu den entsprechenden Bilddaten. Beispielsweise nimmt in einer Situation ein Benutzer einen Videodatenstrom und/oder Bilddaten auf, die einem Dokument entsprechen. Das Dokument kann innerhalb der Bilddaten erkannt und als ein spezieller Dokumententyp klassifiziert werden. Auf der Grundlage der Klassifizierung können Metadaten aus einer Wissensdatenbank, die mehrere Dokumentklassen und zugehörige Metadaten umfasst, abgerufen werden. Die abgerufenen Metadaten können dann den Dokumentenbilddaten und/oder den Videodaten in beliebiger geeigneter Weise zugeordnet werden.
Metadaten können eine beliebige Information umfassen, die für ein Objekt, ein Bild eines Objekts und dergleichen relevant ist. Es sei weiterhin auf die anschauliche Situation verwiesen, in der ein Dokument als Objekt beteiligt ist, wonach anschauliche Metadaten die Dokumentenart, Textinhalt in dem Dokument, Kontext des Textes (beispielsweise Positionsangabe, Schriftart, Farbe, Größe und dergleichen), Seitengröße, Seitenauflösung, Farbenbittiefe etc. enthalten können. In anderen Ausführungsformen entsprechen die Metadaten Anweisungen für die nachfolgende Verarbeitung der Daten, etwa speziellen Parametern für das Ändern der Bildgröße, des Farbprofils und dergleichen, spezielle Parameter für das Extrahieren von Daten aus dem Bild und dergleichen, wie dies der Fachmann beim Studium der vorliegenden Beschreibung leicht nachvollziehen kann.
Bildauthentifizierung
In einigen Ausführungsformen können diverse Arten von Daten, einschließlich von Rohdaten und/oder verarbeiteten Bilddaten, Metadaten, die den Bilddaten zugeordnet sind, und dergleichen, wie dies der Fachmann beim Studium der vorliegenden Beschreibung leicht nachvollziehen kann, Authentifizierungsdaten enthalten und/oder diesen zugeordnet sein. Authentifizierungsdaten können verwendet werden, um sehr rasch und effizient einen Status von Daten zu ermitteln, etwa, ob eine spezielle Datei von einem vorhergehenden Zustand (beispielsweise durch Hinzufügen oder Entfernen von Metadaten zu bzw. von einer Bilddatei, durch Editieren von Metadaten, die einer Bilddatei zugeordnet sind, durch Verarbeiten oder erneutes Verarbeiten von Bilddaten mit unterschiedlichen Parametern und dergleichen) verändert worden ist.
In einer Ausführungsform kann die Bildauthentifizierung das Erzeugen einer oder mehrerer Authentifizierungszeichenketten aus einem Puffer in einem Speicher beinhalten. Die Zeichenkette kann von beliebiger Länge sein, ist vorzugsweise jedoch eine Zeichenkette mit 127 Bytes gemäß mindestens einigen Ausführungsformen. Insbesondere kann die Authentifizierung das Komprimieren eines Bildes (das Bilddaten und/oder zugehörige Metadaten enthalten kann) in einem Bildspeicher und das Erzeugen der Authentifizierungszeichenkette(n) für/aus einem oder mehreren Bereichen des Puffers beinhalten. Das Erzeugen der einen oder mehreren Authentifizierungszeichenkette(n) kann in einer Ausführungsform das Codieren von Daten in den Bereichen des Puffers zu der Authentifizierungszeichenkette beinhalten. Es kann eine beliebige Art der Codierung verwendet werden.
Beispielsweise kann das Authentifizieren eine Authentifizierungszeichenkette nur für das Bild, nur für die Metadaten, für das Bild und die zugeordneten Metadaten und dergleichen, erzeugen. Die Authentifizierungszeichenketten können in diversen Vorgehensweisen in den Puffer eingefügt, an diesen angehängt oder damit verknüpft werden, und werden vorzugsweise dem Puffer als eine oder mehrere Marke/n hinzugefügt, an welchem Punkt der Puffer in einen physischen Speicher (beispielsweise auf Diskette) als Datei ausgelagert wird. Zu beachten ist, dass diese Authentifizierungsweisen in gleicher Weise auf ein beliebiges Format eines Bildes und/oder aus Metadaten angewendet werden können, wozu ein beliebiges Komprimierformat gehört, das Metadaten-Marken, etwa JPEG- oder TIFF-Formate zulässt.
Zusätzlich und/oder alternativ kann die Authentifizierungszeichenkette in das Bild selbst, beispielsweise unter Anwendung eines Steganographie-Ansatzes, eingebettet werden.
Daten mit Authentifizierungszeichenketten, wie zuvor beschrieben ist, können nachfolgend authentifiziert werden, um zu bestimmen, ob die Daten seit der Erzeugung der Authentifizierungszeichenketten geändert worden sind. Insbesondere kann die Datei, die die Authentifizierungsmarken enthält, aus einem physischen Speicher in einen Speicherpuffer eingelesen werden, und die codierten Authentifizierungszeichenketten können aus den entsprechenden Marken extrahiert werden. Diese Zeichenketten können decodiert und mit einem oder mehreren entsprechenden Bereichen des Puffers verglichen werden, aus denen die codierte Authentifizierungszeichenkette erzeugt wurde. Wenn die decodierte Authentifizierungszeichenkette und der Bereich des Puffers, der zur Erzeugung der Authentifizierungszeichenkette verwendet wurde, übereinstimmen, dann ist der Bereich des Puffers, der zur Erzeugung der Authentifizierungszeichenkette verwendet wurde, nicht verändert worden, wodurch angezeigt wird, dass wahrscheinlich auch die gesamte Datei nicht verändert worden ist. Durch die Verwendung mehrerer Authentifizierungszeichenketten (mehrere Bereiche des Puffers) kann das Ermitteln, ob eine Datei geändert worden ist, mit höherem Zutrauen, jedoch zu Lasten der Recheneffizienz, ausgeführt werden.
In einer anschaulichen Vorgehensweise können die Videoaufnahme und die Verarbeitung in einer Weise ausgeführt werden, die im Wesentlichen ähnlich zu dem nachfolgend gezeigten Flussdiagramm ist. Wie in Hinblick auf andere Flussdiagramme, die zuvor präsentiert sind, angemerkt wurde, ist dieses anschauliche Beispiel in keiner Weise einschränkend, sondern es wird vielmehr bereitgestellt, um ein gründlicheres Verständnis der hierin präsentierten erfindungsgemäßen Konzepte zu ermöglichen.
Videoaufnahme-Benutzerschnittstelle
In noch weiteren Ausführungsformen können die hier beschriebenen Systeme, Verfahren und Computerprogrammprodukte über eine oder mehrere Benutzerschnittstellen implementiert werden, die ausgebildet sind, eine Aufnahme bzw. Erfassung und Verarbeitung von Information unter Anwendung von Videodaten zu ermöglichen.
Die Benutzerschnittstellen können ferner einen Benutzer in die Lage versetzen, in einfacher Weise Aufnahme- und Verarbeitungsvorgänge unter Anwendung von Videodaten auszuführen sowie auch die Ergebnisse derartiger Aufnahme- und/oder Verarbeitungsvorgänge in Echtzeit oder nahezu Echtzeit zu prüfen. Beispielsweise wird jedes Mal, wenn Bilddaten Bild- und/oder Videodaten aufgenommen werden und/oder verarbeitet werden, ein Miniaturbild, das dem Bild- und/oder den Videodaten entspricht, erzeugt und einem Benutzer präsentiert werden. Das Erzeugen des Miniaturbilds kann ein Vorgang sein, der in einigen Ausführungsformen asynchron im Hintergrund ausgeführt wird. Durch das Miniaturbild kann ein Benutzer die Ergebnisse davon erkennen, was aufgenommen und/oder verarbeitet wurde. Wenn der Benutzer mit dem Ergebnis nicht zufrieden ist oder das Ergebnis in anderer Weise als nicht akzeptabel ermittelt wird, beispielsweise gemäß einer oder mehreren vordefinierten Qualitätssicherungsmaßzahlen, dann kann eine Benutzerschnittstelle das erneute Aufnehmen und/oder das Ändern der ursprünglich erfassten Daten erleichtern.
Des Weiteren können Benutzerschnittstellen bereitgestellt werden, um es einem Benutzer zu ermöglichen und/oder zu erleichtern, Aufnahme- und/oder Verarbeitungsergebnisse, beispielsweise am Ende einer Aufnahme- und Verarbeitungssitzung, zu überarbeiten. Beispielsweise erhält in einer Ausführungsform ein Benutzer nach Ende eines Aufnahme- und/oder Verarbeitungsarbeitsablaufs (beispielsweise sind Videodaten und/oder Bilddaten aufgenommen worden und mindestens ein Verarbeitungsvorgang wurde an den Daten ausgeführt) die Gelegenheit, das Ergebnis des Arbeitsablaufes zu prüfen.
In einer weiteren Vorgehensweise kann eine Benutzerprüfung während des Videodatenaufnahmevorgangs aktiviert werden. Beispielsweise initiiert ein Benutzer die Videoaufnahmefunktion einer mobilen Anwendung und beginnt mit der Aufnahme von Videodaten. Wie zuvor beschrieben ist, beinhaltet der Aufnahmevorgang die Vorverarbeitung, etwa eine Stabilitätsermittlung und/oder Objekterkennung. Im Verlaufe der Aufnahme der Videodaten wird ein Objekt in dem Aufnahmefeld erfasst bzw. erkannt, und es wird eine Angabe bzw. Indikation bezüglich der Erkennung für den Benutzer präsentiert (beispielsweise das Erscheinen eines Abgrenzungsfeldes innerhalb des Aufnahmefeldes, wobei die Farbe von rot auf grün wechselt). Es wird ein Bild mit hoher Auflösung, ein Miniaturbild und dergleichen optional bei Erkennung des Objekts und beim Ermitteln, dass eine Stabilitätsbedingung existiert, aufgenommen und das Bild kann dem Benutzer zur unmittelbaren Prüfung innerhalb der Videoaufnahmebenutzerschnittstelle präsentiert werden. Beim Prüfen des Bildes, des Miniaturbilds und dergleichen, kann der Benutzer die Geeignetheit des aufgenommenen Bildes, des erzeugten Kleinbildes und dergleichen angeben. Wenn der Benutzer angibt, dass das Bild, das Miniaturbild und dergleichen akzeptabel ist, dann kann die Videoaufnahmebenutzerschnittstelle automatisch den Aufnahmevorgang beenden, oder kann optional den Benutzer anweisen, den Aufnahmevorgang zu beenden. Auf diese Weise kann die Benutzerprüfung eingesetzt werden, das Auftreten von unnötigen Vorgängen zum Aufnehmen und/oder zur Verarbeitung zu minimieren, wie dies ansonsten geschehen kann, wenn ein Benutzer fortgesetzt einen Aufnahmevorgang ausführt, nachdem bereits ein geeignetes Bild mit hoher Auflösung aufgenommen und/oder verarbeitet worden ist, in einer Weise, die den Erfordernissen für eine nachgeordnete Verarbeitung, etwa Bildqualität, Bildformat und dergleichen genügt.
Verfolgung bzw. Überwachung
In diversen Vorgehensweisen profitieren die hier offenbarten Techniken von dem Vorteil der Echtzeit- (oder nahezu Echtzeit-) Latenz. Anders ausgedrückt, da ein Benutzer, der mit einem Mobilgerät interagiert, einen Aufnahmevorgang, eine Auswertung und dergleichen, wie sie hierin offenbart sind, ausführt, können die zugrunde liegenden Vorgänge, die zum Bewerkstelligen jedes Vorgangs ausgeführt werden, parallel ausgeführt werden, das heißt, für mehrere Objekte gleichzeitig und in der Weise einer Nahezu-in-Echtzeit-Verarbeitung. Der Rechenaufwand ist auf ein Ausmaß reduziert worden, das erforderlich ist, um eine Echtzeit-Information bezüglich eines oder mehrerer Objekte, die in einer Mobilgerät-Ansichtenauffindungseinheit dargestellt sind, bereitzustellen, und dies repräsentiert einen wichtigen Vorteil für den Benutzer im Vergleich zu bestehenden Techniken, die diskrete Aufnahme-, Auswerte- und Eingabe-Techniken erfordern.
Folglich ist eine der vorteilhaften Ausführungsformen einer Echtzeitaufnahme, -verarbeitung, -auswertung und dergleichen, die Fähigkeit, Objekte im Verlaufe des Ausführens der hierin offenbarten Techniken zu „verfolgen“. „Verfolgen“ bzw. „Überwachen“ sollte so verstanden werden, dass ein Objekt innerhalb eines Sichtfeldes eines Mobilgeräts erkannt und/oder analysiert werden kann, und die Erkennung/Analyse bleibt gültig und/oder vorhanden in einer Reihe diskreter Blöcke aus Bilddaten und/oder Videodaten, da das Verfahren in der Lage ist, die Position von Objekten bei Erkennung dieser Objekte zu überwachen und kontinuierlich die erkannten Objekte auszuwerten, um zweckdienliche Information bereitzustellen.
Aus Anwendersicht wird die Verfolgung typischerweise dadurch umgesetzt, dass eine Abgrenzung (beispielsweise ein Feld, wie es hierin beschrieben ist) in Bezug auf ein erkanntes Objekt beibehalten wird, selbst wenn sich das Mobilgerät im dreidimensionalen Raum während des Aufnahmevorgangs bewegt (wodurch bewirkt wird, dass das erkannte Objekt sich scheinbar von der Perspektive des Referenzpunkts des Mobilgeräts weg bewegt), und/oder sogar wenn mehrere Objekte in dem Sichtfeld vorhanden sind. Tatsächlich ist die Verfolgung in der Lage, eine beliebige Anzahl an Objekten zu überwachen, die entsprechend den Eigenschaften, wie sie zuvor festgelegt sind, definiert sind.
Wie der Fachmann beim Studium dieser vorliegenden Offenbarungen erkennt, können beliebige Rohdaten und/oder verarbeitete Daten, etwa Bilddaten, Videodaten und dergleichen, diversen Metadaten zugeordnet werden, und sie können anderen Rohdaten oder verarbeiteten Daten und dergleichen, zugeordnet werden. Ferner kann jede der hier offenbarten Funktionen auf die Bildaufnahme und -verarbeitung, die Videoaufnahme und -verarbeitung und dergleichen, angewendet werden.
In einer bevorzugten Vorgehensweise beinhaltet beispielsweise das Verfolgen eines oder mehrere von: Neupositionieren oder Neufestlegen der Abgrenzung, um den Rand des Objekts in jedem der Blöcke zu umschließen, in denen das verfolgte Objekt innerhalb der Ansichtenauffindungseinheit dargestellt ist; und Neupositionierung oder erneutes Anzeigen der Indikation, dass das in der Ansichtenauffindungseinheit dargestellte Objekt die eine oder mehreren definierenden Eigenschaften zeigt.
Optional beinhaltet das Verfolgen ferner das Empfangen einer Echtzeit-Rückmeldung aus dem Mobilgerät. Die Echtzeit-Rückmeldung beruht zumindest teilweise, und idealerweise vollständig auf einer oder mehreren Messungen, die unter Anwendung von Hardwarekomponenten des Mobilgeräts ausgeführt werden, beispielsweise: einer Kamera und/oder eines Beschleunigungsmessers und/oder eines Gyroskops und/oder einer Uhr.
Gemäß einigen Techniken kann die Echtzeit-Rückmeldung eine Stabilitätsrückmeldung einschließlich der Tatsache, dass ein Orientierungswinkel des Mobilgeräts innerhalb eines vorbestimmten Orientierungsbereichs ist; und dass ein Bewegungsvektor des Mobilgeräts eine Größe hat, die kleiner als ein vorbestimmter Schwellenwert ist.
In einer weiteren Vorgehensweise wird der Bewegungsvektor des Mobilgeräts auf der Grundlage einer Echtzeit-Rückmeldung, die aus der Kamera erhalten wird und nicht auf der Grundlage einer Rückmeldung ermittelt, die aus dem Beschleunigungsmesser des Mobilgeräts erhalten wird. Kurz gesagt, die Verfolgungstechniken sind in der Lage, eine Größe und eine Richtung einer Geschwindigkeit zu berechnen, mit der die Kamera durch den dreidimensionalen Raum bewegt wird, wobei dies unabhängig von einer Änderung der Beschleunigung ist. Folglich muss sich das Gerät nicht mehr auf einen Beschleunigungsmesser stützen, um Geschwindigkeitsvektoren (wie dies im Falle einer konstanten Geschwindigkeit der Fall wäre) zu ermitteln.
Ein noch weiterer Vorteil, der sich durch die Verwendung von Videodaten im Zusammenhang mit den vorliegenden erfindungsgemäßen Techniken ergibt, ist die Fähigkeit, zusammengesetzte Bilder aus mehreren Blöcken zu erzeugen. In einer Situation wird dieser Vorteil ausgenutzt, wie nachfolgend erläutert ist in Verbindung mit der Superauflösung, die beispielsweise verwendet werden kann, um unscharfe oder körnige Gebiete eines Bildes mit ansonsten hoher Qualität deutlicher darzustellen.
In der zusätzlich vorteilhaften Technik wird die Synthese eines zusammengesetzten Bildes ausgenutzt, um in wirksamer Weise ein Objekt abzubilden, das ansonsten zu groß ist, um mit ausreichenden Details für die gewünschte Anwendung unter Anwendung von Bilddaten alleine aufgenommen zu werden. Es sei beispielsweise der Fall eines langen Dokuments betrachtet, etwa eines Belegs, oder eines rechtsbeständigen Formats. Das Dokument zeigt eine Fülle aus informativem Text, obwohl dies in einer relativ geringen Größe erfolgt. Um das gesamte Dokument in einem einzigen Bild zu erfassen, müsste der Benutzer das Dokument so weit entfernt von der Kamera anordnen, dass die Qualität des Informationstextes so weit beeinträchtigt würde, dass eine nachfolgende Extraktion und Verwendung der Information nicht praktizierbar oder unmöglich wäre.
Daher ist es ein weiterer Aspekt der hier offenbarten erfindungsgemäßen Techniken, dass ein langes Dokument unter Anwendung von Videodaten erfasst bzw. aufgenommen werden kann, und die diversen Blöcke der Videodaten können miteinander „verbunden“ werden, so dass ein zusammengesetztes Bild erzeugt wird, das das gesamte Objekt darstellt, das zu groß war, um mit ausreichender Deutlichkeit in eine einzige Aufnahme zu passen. Insbesondere bevorzugt sind Ausführungsformen, in denen das zusammengesetzte Bild einen hohen Grad an speziellen Eigenschaften und Details beibehält, was ansonsten nur durch Vergrößern des Objekts auf ein Maß möglich wäre, mit welchem das Aufnehmen des gesamten Objekts in einem einzigen Bild unmöglich ist.
Anders gesagt, in einer Vorgehensweise ist das zusammengesetzte Bild durch eine Höhe und eine Breite gekennzeichnet. Die Höhe des zusammengesetzten Bildes ist größer oder gleich der Höhe eines beliebigen einzelnen Blocks der Videodaten, und die Breite des zusammengesetzten Bildes ist größer oder gleich der Breite eines beliebigen einzelnen Blocks der Videodaten. Jeder der synthetisierten Blöcke der Videodaten stellt einen Bereich des Objekts dar, und das zusammengesetzte Bild zeigt das gesamte Objekt.
Des Weiteren beinhaltet das Synthetisieren des zusammengesetzten Bildes das Erkennen eines ersten Merkmals (beispielsweise eine obere Grenze einer Seite) des Objekts, das in der Ansichtenauffindungseinheit dargestellt ist; das automatische Initiieren eines Aufnahmevorgangs in Reaktion auf das Erkennen der ersten Grenze des Objekts; das einmalige oder mehrmalige Erfassen von Bilddaten mit hoher Auflösung und von Videodaten mit geringer Auflösung mittels der automatisch initiierten Erfassung, das Erkennen eines zweiten Merkmals (beispielsweise eine untere Grenze einer Seite) des in der Ansichtenauffindungseinheit dargestellten Objekts; einmaliges oder mehrmaliges Erfassen von Bilddaten mit hoher Auflösung und von Videodaten mit geringer Auflösung mittels des automatisch initiierten Aufnahmevorgangs; und automatisches Beenden des Aufnahmevorgangs in Reaktion darauf, dass das zweite Merkmal des Objekts erkannt wird.
Gemäß der vorhergehenden Vorgehensweise kann beispielsweise ein Benutzer den Vorgang des Aneinanderfügens initiieren, indem ein langes Dokument unter Anwendung eines langsamen Überstreichens von oben nach unten erfasst wird. Wie detaillierter zuvor erläutert ist, kann eine fenstergestützte OCR besonders vorteilhaft in Verbindung mit einer Lösung mit Zusammenfügen verwendet werden, um Textinformation, die in einem langen Dokument oder einem anderen großen Objekt dargestellt ist, das nicht mit einem gewünschten Grad an Detail oder Auflösung in einem einzigen Bildblock oder Videoblock erfasst werden kann, zu erfassen, zu ermitteln, auszuwerten und dergleichen.
Da beispielsweise in einigen Vorgehensweisen ein Benutzer diverse Teilbilder aufnehmen wird, aus denen er das zusammengesetzte Bild erzeugt, und da dieser Aufnahmevorgang im Allgemeinen (aber nicht notwendigerweise) ein relativ kontinuierliches, langsames Schwenken der Mobilgerätkamera in Bezug auf das gerade abgebildete Objekt beinhaltet, wird es für den Benutzer möglich sein, das große Objekt aufzunehmen und gleichzeitig eine gewisse Echtzeit- (oder nahezu Echtzeit-) OCR auf Fensterbasis auszuführen. Die Ergebnisse der fenstergestützten OCR können unabhängig oder in Verbindung mit anderen definierenden Eigenschaften des Objekts verwendet werden, um Eigenschaften des Objekts zu ermitteln.
Beispielsweise kann in einer Ausführungsform eine Objektklassifizierung oder eine relevante Information aus dem Objekt zeitgleich mit der Aufnahme der Videodaten und/oder Bilddaten für die nachfolgende Verwendung bei der Erzeugung des zusammengesetzten Bildes ermittelt werden.
In diversen Vorgehensweisen kann eine vorläufige Objektklassifizierung auf der Grundlage der definierenden Eigenschaften des Objekts ermittelt werden, und sie kann unter Anwendung fenstergestützter OCR-Ergebnisse validiert werden, beispielsweise durch die Anwesenheit eines Merkmals, eines Wertes oder einer Zeichenkette, von dem/der bekannt ist, dass es/er/se in Objekten vorhanden istie zu einer speziellen Klasse gehören. In ähnlicher Weise kann eine Objektklassifizierung lediglich auf Grundlage von fenstergestützten OCR-Ergebnissen anstatt auf Basis der Verwendung definierender Eigenschaften aus dem Objekt, wie dies zuvor beschrieben ist, ermittelt werden. Ferner können in einigen Ausführungsformen sowohl die definierenden Eigenschaften des Objekts als auch die fenstergestützten OCR-Ergebnisse berücksichtigt werden, wenn eine Klassifizierung des Objekts ermittelt wird.
Beispielsweise kann in einer Vorgehensweise eine Objektklassifizierung unabhängig auf Basis von (1) fenstergestützten OCR-Ergebnissen und (2) den definierenden Eigenschaften des Objekts ermittelt werden. Den unabhängig ermittelten Ergebnissen kann ein relatives Gewicht, ein Vertrauenswert und dergleichen, zugewiesen werden und sie können weiter ausgewertet werden, um eine Gesamtermittlung in Hinblick auf die Objektklassifizierung vorzunehmen.
Beispielsweise können diverse Objektarten einfacher klassifiziert werden aufgrund einer Textinformation, die an dem Objekt dargestellt ist, oder aus definierenden Eigenschaften des Objekts selbst. Dokumente können beispielsweise einfacher oder genauer auf der Grundlage einer Textinformation klassifiziert werden, die unter Anwendung einer fenstergestützten OCR-Vorgehensweise ermittelt wird, während Objekte, die eine kennzeichnende Markierung, etwa ein Logo, ein Emblem, einen Strichcode, ein Siegel und dergleichen, zeigen, einfacher oder genauer auf der Grundlage von definierenden Eigenschaften klassifiziert werden können, etwa Objektform, Kontur, Abmessungen, Farbprofil und dergleichen, wie dies der Fachmann im Besitze der vorliegenden Beschreibung leicht erkennen kann.
Dennoch kann es zweckdienlich sein, mehrere Arten von Informationen bei der Ermittlung einer Klassifizierung eines speziellen Objekts zu verwenden, selbst wenn a priori bekannt ist, dass das Objekt einfacher und genauer auf der Grundlage einer speziellen Art von Information klassifizierbar ist. In derartigen Fällen kann bzw. können die Form bzw. Formen der Information, von denen bekannt ist, dass sie reproduzierbare, genaue, zuverlässige Klassifizierungen eines speziellen Objekts erzeugen, verwendet werden, um eine Objektklassifizierung vorherzusagen, und es kann ihnen ein relatives Gewicht zugewiesen werden (beispielsweise definierende Eigenschaften, wie sie hierin definiert sind, können verwendet werden und können auf einer 0-1-Skala einen zugewiesenen Wert von 0,75 erhalten).
In gleicher Weise können eine oder mehrere andere Formen an Information bei der Ermittlung von Objektklassifizierungen hilfreich sein, gegebenenfalls zu einem geringerem Grade als die bevorzugte Informationsart, und diese können verwendet werden, um die Objektklassifizierung vorherzusagen, und es können ihnen relativ niedrige Gewichte im Vergleich zu der bevorzugten Informationsart zugewiesen werden (beispielsweise einer Textinformation, die durch fenstergestützte OCR ermittelt wird, kann verwendet werden, um die Objektklassifizierung vorherzusagen, und der Vorhersage kann ein Gewicht von 0,25 auf einer 0-1-Skala zugewiesen werden).
Es sei nun wieder auf das Konzept der Synthese eines zusammengesetzten Bildes verwiesen, um zu ermitteln, ob, und genauer wie, zwei Bilder zusammengefügt werden sollten, um das zusammengesetzte Bild zu erzeugen, wobei in einer Vorgehensweise das Synthetisieren bzw. das Zusammensetzen umfasst: Ausführen mindestens einer Homographietransformation an zwei oder mehr der Blöcke der Videodaten und Ausrichten von mindestens Bereichen der zwei oder mehr Blöcke der Videodaten zumindest teilweise auf der Grundlage der Homographietransformationen.
Einige anschauliche Verfahren, die im Bereich der vorliegenden Offenbarung liegen, werden mit speziellen Verweis auf 3 und 4 erläutert. Die nachfolgend präsentierten anschaulichen Ausführungsformen sollen nicht als eine Einschränkung auf den Bereich der aktuellen Offenbarung erachtet werden, sondern sie sind vielmehr angegeben, um mögliche Implementierungen des hierin offenbarten Gegenstands darzustellen.
In 3 ist ein Flussdiagramm eines Verfahrens 300 gemäß einer Ausführungsform gezeigt. Das Verfahren 300 kann in einer beliebigen geeigneten Umgebung ausgeführt werden, etwa unter anderen in solchen, die zuvor in 1-2 dargestellt sind. Ferner kann das Verfahren 300 eine beliebige Anzahl zusätzlicher und/oder alternativer Vorgänge jener beinhalten, die speziell in 3 dargestellt sind, wobei dies für einige Vorgehensweisen gilt. Die Schritte bzw. Operationen des Verfahrens 300 können in einer beliebigen geeigneten Reihenfolge ausgeführt werden, die der Fachmann auf dem Gebiet beim Studium dieser Offenbarung in Erwägung ziehen würde.
In Schritt 302 werden digitale Videodaten, die von einem Mobilgerät aufgenommen bzw. erfasst werden, empfangen.
Schritte 304-308 werden unter Anwendung eines Prozessors ausgeführt, der in diversen Ausführungsformen ein Prozessor des Mobilgeräts, ein Prozessor einer entfernten Einrichtung, etwa eines Servers oder eines weiteren Mobilgeräts ist, ein Prozessor einer oder mehrerer Ressourcen einer Cloud-Rechenumgebung und dergleichen, ist. Die Schritte 304-308 können unter Anwendung einer oder mehrerer derartiger Einrichtungen und/oder ihrer Prozessoren in diversen Ausführungsformen ausgeführt werden.
In Schritt 304 werden mehrere Blöcke der digitalen Videodaten ausgewertet.
In Schritt 306 werden ein oder mehrere Blöcke auf der Grundlage der Auswertung ermittelt, wobei die ermittelten Blöcke ein oder mehrere vordefinierte Qualitätskontrollkriterien erfüllen.
In Schritt 308 wird mindestens ein Block, der ein oder mehrere der vordefinierten Qualitätskontrollkriterien erfüllt, verarbeitet.
In einigen Vorgehensweisen können vordefinierte Qualitätskontrollkriterien beinhalten: einen minimalen Beleuchtungspegel, beispielsweise eine mittlere Beleuchtung über einem gewissen Schwellenwert; einen maximalen Beleuchtungspegel, beispielsweise eine mittlere Beleuchtung unterhalb eines gewissen Schwellenwerts; eine minimale Beleuchtungsgleichmäßigkeit, beispielsweise eine Beleuchtungsabweichung von einem vordefinierten Wert in Bezug auf eine mittlere Beleuchtung etc., die unterhalb eines gewissen Schwellenwerts liegt; eine minimale Auflösung; eine minimale Schärfe, beispielsweise der Anteil an Unschärfe unterhalb eines gewissen Schwellenwerts; und eine minimale Projektion, das heißt, der Einfluss von Projektionseffekten, etwa Winkel der Kameraorientierung, „Fisch-Bowling“ und dergleichen, liegt unterhalb einer gewissen Schwelle, die auf der Grundlage von Metadaten, die während des Aufnahmevorgangs gesammelt werden, oder auf der Grundlage von Eigenschaften des Bildes, ermittelt werden kann.
Zu Qualitätskontrollkriterien können ferner beispielsweise ein Schwellensichtbarkeitskriterium oder eine andere geeignete Angabe darüber gehören, ob das Dokument als Ganzes sichtbar ist, beispielsweise in Form einer Schwellenanzahl erwarteter Kanten, Ecken oder anderer definierender Merkmale, die innerhalb des Ansichtenauffindungsgebiets wahrnehmbar sind und/oder die ausreichend innerhalb des Ansichtenauffindungsgebiets liegen (beispielsweise die erste Ausführungsform ist ein binäres Ja/Nein, die zweite Ausführungsform ist ein weiterer Test, um zu erkennen, ob es ausreichend Platz um jede Kante des Objekts gibt, und dergleichen). Ferner können Qualitätskontrollkriterien in diversen Vorgehensweisen die Anwesenheit von Blendlicht; und eine Objektklassifizierung beinhalten.
Beispielsweise kann als eine Darstellung eines tatsächlichen rechteckigen Dokuments ausgewertet werden, dass der rechteckige „Charakter“ des dargestellten Dokuments ermittelt wird, das aufgrund eines ungenauen Aufnahmewinkels trapezförmig erscheinen kann. Bilder, die ein Dokument darstellen, dessen Erscheinungsform zu sehr von der „Rechteckform“ abweicht, können dann ignoriert werden. Das Ermitteln, ob eine Form im Wesentlichen rechteckigförmig ist, etwa eine Form, deren Seitenkanten eines Dokuments entsprechen, kann bewerkstelligt werden unter Anwendung eines im Stand der Technik bekannten Mittels, und in einer Ausführungsform kann dies das Ausführen einer oder mehrerer Transformationen beinhalten.
In weiteren Vorgehensweisen kann das Verfahren zusätzlich und/oder alternativ beinhalten: Ermitteln, ob der eine oder die mehreren Blöcke, die das eine oder die mehreren vordefinierten Kontrollkriterien erfüllen, einem Bild mit hoher Auflösung entsprechen, das in dem Mobilgerät gespeichert ist, Verarbeiten des Bilds mit hoher Auflösung, wenn ermittelt wird, dass der eine oder die mehreren Blöcke, die das eine oder die mehreren vordefinierten Kontrollkriterien erfüllen, dem Bild mit hoher Auflösung entsprechen. Anders ausgedrückt, wenn ein Mobilgeräts ein Bild mit hoher Auflösung eines Dokuments, das im Speicher abgelegt ist, aufweist und ein Videodatenstrom einen Block oder mehrere Blöcke des Dokuments mit relativ geringer Auflösung aufnimmt, wobei die Blöcke ansonsten akzeptabel sind, dass kann es bevorzugt sein, das Bild mit hoher Auflösung in der nachfolgenden Verarbeitung zu verwenden, es kann aber rechentechnisch effizienter sein, den einen Block oder die mehreren Blöcke mit der relativ geringen Auflösung, der bzw. die dem Bild mit hoher Auflösung entsprechen, auszuwerten und/oder vorzuverarbeiten.
In diversen Ausführungsformen, die insbesondere auf eine Dokumentenverarbeitung abzielen, beinhalten die digitalen Videodaten eine digitale Darstellung eines Dokuments. In dieser Situation kann das Verfahren auch das Aufnehmen der digitalen Videodaten unter Anwendung einer Kamera des Mobilgeräts und das Erkennen der digitalen Darstellung des Dokuments beinhalten.
Einige Vorgehensweisen, die Superauflösungsfähigkeiten beinhalten, wie sie hierin beschrieben sind, können ein Synthetisieren mindestens eines Bereichs aus zwei oder mehr Blöcken der digitalen Videodaten; und das Erzeugen eines zusammengesetzten Bildes auf der Grundlage der Synthese beinhalten. Zumindest ein Bereich des zusammengesetzten Bildes ist vorzugsweise durch eine relativ höhere Auflösung als die Auflösung jeweils der zwei oder mehr Blöcke der digitalen Videodaten gekennzeichnet, aus denen das zusammengesetzte Bild synthetisiert wurde. Das zusammengesetzte Bild kann verwendet werden, um eine Dokumenterkennung (oder eine Objekterkennung im Falle von Objekten, die keine Dokumente sind) auszuführen.
Selektive Auto-Aufnahme
Im Bereich der vorliegenden Offenbarung liegt auch die Funktion der selektiven Auto-Aufnahme, die in einer Ausführungsform gesamt oder teilweise als ein Verfahren eingerichtet werden kann, etwa ein Verfahren 400, das in 4 gezeigt ist. Das Verfahren 400 kann in einer beliebigen geeigneten Umgebung ausgeführt werden, unter anderem etwa in einer Umgebung, wie sie zuvor in 1-2 gezeigt ist. Ferner kann das Verfahren 400 eine beliebige Anzahl zusätzlicher und/oder alternativer Schritte neben jenen Schritten enthalten, die speziell in 4 gezeigt sind, wobei dies für einige Ausführungsformen gilt. Die Aktionen bzw. Schritte des Verfahrens 400 können in einer beliebigen Reihenfolge ausgeführt werden, die von einem Fachmann aufgrund des Studiums dieser Offenbarung in Betracht gezogen würde.
In Schritt 402 wird eine mobile Anwendung unter Anwendung eines Prozessors eines Mobilgeräts aufgerufen bzw. aktiviert. Die mobile Anwendung kann in beliebiger geeigneter Weise aktiviert werden, etwa durch Interaktion mit einer Benutzerschnittstelle des Mobilgeräts, durch die Ausgabe eines Sprachbefehls, durch Drücken eines Knopfs und dergleichen,
In Schritt 404 wird eine Videoaufnahmeschnittstelle der mobilen Anwendung aktiviert. Die Videoaufnahmeschnittstelle kann insbesondere von einem Benutzer aufgerufen werden, beispielsweise durch Interaktion mit einem Knopf oder einer Benutzerschnittstelle, die auf dem Bildschirm des Mobilgeräts angezeigt wird. Alternativ kann in diversen Vorgehensweisen die Videoaufnahmeschnittstelle automatisch aktiviert werden, auch als Teil einer vorbestimmten Routine, in Reaktion darauf, dass eine Vorbedingung erfüllt wird (etwa eine vorhergehende Ausführung für das Ende eines Prozesses) und dergleichen.
In Schritt 406 wird eine Benutzereingabe über die Aufnahmeschnittstelle empfangen. Die Benutzereingabe weist vorzugsweise die mobile Anwendung an, einen Aufnahmevorgang, beispielsweise unter Anwendung einer Aufnahmekomponente eines Mobilgeräts, zu aktivieren.
In Schritt 408 wird eine Echtzeit-Rückmeldung über das Mobilgerät angefordert. Die Echtzeit-Rückmeldung kann einen beliebigen relevanten Bereich einer Videoaufnahme und/ oder eine Verarbeitung betreffen, und in einer bevorzugten Ausführungsform betrifft die Echtzeit-Rückmeldung das Aufrufen bzw. Aktivieren eines Aufnahmevorgangs, etwa eine oder mehrere Eigenschaften von Daten, die mittels des Aufnahmevorgangs erfasst werden, Parameter zum Ausführen des Aufnahmevorgangs, Eigenschaften einer Aufnahmekomponente, die bei der Ausführung eines Aufnahmevorgangs zu verwenden ist, etwa eine Orientierung und/oder Beschleunigung eines Mobilgeräts (die unter Anwendung integrierter Hardwarekomponenten, etwa eines Gyroskops, eines Beschleunigungsmessers und dergleichen, ermittelt werden können), Information bezüglich des Ergebnisses eines Aufnahmevorgangs, die Geeignetheit von erfassten Daten für die nachfolgende Verarbeitung und dergleichen,
In einer speziellen Ausführungsform beinhaltet der Schritt 408 das Anfordern einer Stabilitätsinformation aus einer oder mehreren Hardwarekomponenten, die in dem mobilen Gerät enthalten sind. Die Aufnahmeschnittstelle fordert sichtbar Beschleunigungsdaten des Mobilgeräts aus einem integrierten Beschleunigungsmesser in Reaktion darauf an, dass die Benutzereingabe empfangen wird, die anweist, dass die Aufnahmeschnittstelle den Aufnahmevorgang aktiviert. Die Aufnahmeschnittstelle kann ebenfalls in sichtbarer Weise Orientierungsdaten des Mobilgeräts aus einem integrierten Gyroskop in Reaktion darauf anfordern, dass die Benutzereingabe empfangen wird, die die Aufnahmeschnittstelle anweist, den Aufnahmevorgang zu aktivieren. Bei Empfang der angeforderten Beschleunigungsdaten und Orientierungsdaten werden die Daten mit vorbestimmten Stabilitätsschwellenwertkriterien verglichen, die zuvor so bestimmt wurden, dass sie einer Stabilitätsbedingung genügen, das heißt, Bedingungen, die typischerweise dazu führen, dass Bilddaten und/oder Videodaten mit ausreichender Qualität für eine nachgeordnete Verarbeitung erfasst werden. Das Vergleichsergebnis kann verwendet werden, um zu ermitteln, ob die Stabilitätsbedingung existiert, und Daten können nur dann erfasst werden, wenn ermittelt wird, dass die Stabilitätsbedingung existiert, so dass die Wahrscheinlichkeit maximal wird, dass ein Bild, das mittels der Aufnahmeschnittstelle aufgenommen wird, für die gewünschte nachgeordnete Verarbeitung geeignet ist.
In Schritt 410 wird die Echtzeit-Rückmeldung empfangen. Wie nachfolgend detailliert beschrieben ist, kann die Echtzeit-Rückmeldung verwendet werden, um das Erfassen von Videodaten und/oder Bilddaten unter Bedingungen zu ermöglichen, die mit hoher Wahrscheinlichkeit zu Videodaten und/oder Bilddaten führen, die ausreichende Qualität für die nachgeordnete Verarbeitung haben. Beispielsweise kann eine Echtzeit-Rückmeldung verwendet werden, um eine angemessene Beleuchtung während der Aufnahme sicherzustellen, eine Unschärfe, Blendlicht, Streifenbildung und dergleichen, zu minimieren, um sicherzustellen, dass die Videodaten und/oder Bilddaten ein geeignetes Objekt oder eine Objektart und dergleichen, erfassen.
In Schritt 412 wird ein Aufnahmevorgang mittels der Aufnahmeschnittstelle aktiviert, wenn ermittelt wird, dass die Echtzeit-Rückmeldung ein oder mehrere vorbestimmte Kriterien erfüllt.
Die Echtzeit-Rückkopplung beruht vorzugsweise zumindest teilweise auf einer oder mehreren Messungen, die unter Anwendung einer oder mehrerer integrierter Hardwarekomponenten des Mobilgeräts ausgeführt werden. Zu anschaulichen integrierten Hardwarekomponenten gehören eine Kameras und/oder ein Beschleunigungsmesser und/oder ein Gyroskop und/oder eine Uhr, aber es kann eine beliebige Hardwarekomponente, die in einem Mobilgerät integriert ist, dazu gehören. Ferner kann die Echtzeit-Rückmeldung gänzlich oder teilweise eine Indikation sein, dass ein Dokument in einem Sichtfeld der Kamera, die in dem Mobilgerät integriert ist, liegt.
In einer besonders bevorzugten Vorgehensweise umfasst die Echtzeit-Rückmeldung eine Stabilitätsrückmeldung, etwa einen Orientierungswinkel des Mobilgeräts; einen Beschleunigungsvektor des Mobilgeräts (beispielsweise eine Größe und eine Richtung einer Beschleunigung pro Einheitszeit des Mobilgeräts), eine Beleuchtung eines Sichtfeldes der Kamera, eine Beleuchtung eines Zielobjekts in dem Sichtfeld der Kamera, eine Anwesenheit von Blendlicht in dem Sichtfeld der Kamera und dergleichen, wie dies der Fachmann aufgrund des Studiums der vorliegenden Beschreibung leicht erkennt. In einer Ausführungsform kann die Beleuchtung gekennzeichnet durch und/oder abgeleitet aus einer minimalen, maximalen, mittleren oder anderen statistischen Information bezüglich des Videodatenstroms und/oder der Bildintensität, der Helligkeit und dergleichen, die aus der Kamera direkt und/oder mit minimaler Vorverarbeitung während der Videodatenstromerfassung in diversen Vorgehensweisen erhalten werden können. In ähnlicher Weise kann Blendlicht durch ein oder mehrere Gebiete des Sichtfeldes gekennzeichnet werden, die übersättigt sind. Die Übersättigung kann ermittelt werden, wie dies im Wesentlichen in der artverwandten US-Patentanmeldung mit der Nr. 13/740,123 offenbart ist.
In diversen Implementierungen können vorbestimmte Kriterien verwendet werden, etwa ob der Winkel der Orientierung des Mobilgeräts innerhalb eines vorbestimmten Orientierungsbereichs liegt; und ob der Beschleunigungsvektor des Mobilgeräts eine Größe hat, die kleiner als ein vorbestimmter Schwellenwert ist.
In einer Vorgehensweise beinhaltet das Aktivieren des Aufnahmevorgangs das Aktivieren eines Autofokus-Vorgangs unter Anwendung einer Kamera des Mobilgeräts; das Aktivieren eines automatischen Blitz-Vorgangs unter Anwendung der Kamera; und das Aktivieren eines Datenerfassungsvorgangs unter Anwendung der Kamera.
In weiteren Vorgehensweisen kann die Datenerfassung das Erfassen von Daten beinhalten, die ein oder mehrere Standbilder und digitale Videos umfassen. Die Daten können eine digitale Darstellung eines Dokuments sein oder umfassen oder eine digitale Darstellung mehrerer Dokumente sein oder umfassen.
Noch weitere Ausführungsformen innerhalb des Bereichs dieser Offenbarung können zusätzlich und/oder alternativ das Ermitteln beinhalten, ob das eine oder die mehreren vordefinierten Kriterien erfüllt sind; und das Ermitteln, ob der Aufnahmevorgang Daten erfasste, die dem einen oder den mehreren vordefinierten Kriterien entsprechen, die erfüllt werden, in Reaktion darauf, dass ermittelt wird, dass das eine oder die mehreren vordefinierten Kriterien erfüllt werden. Beispielsweise beinhaltet eine Ausführungsform das Ermitteln, dass das Mobilgerät Daten unter Bedingungen erfasste, wonach die vordefinierten Kriterien erfüllt wurden, etwa eine minimale Stabilität, ein geeigneter Orientierungswinkel, eine minimale Bewegung in einer speziellen Richtung und dergleichen, wie sich das für den Fachmann beim Studium der vorliegenden Beschreibung in einfacher Weise ergibt.
Anschauliche Verfahren innerhalb des Bereichs der vorliegenden Beschreibung können ferner umfassen: Ausgeben einer Indikation an den Benutzer mittels einer Anzeige des Mobilgeräts in Reaktion darauf, dass ermittelt wird, dass der Aufnahmevorgang Daten erfasste, die dem einen oder den mehreren vordefinierten Kriterien entsprechen, die erfüllt werden. Die Indikation zeigt vorzugsweise an, dass durch den Aufnahmevorgang Daten, die dem einen oder den mehreren vordefinierten Kriterien entsprechen und dies erfüllen, erfasst werden. In einer Ausführungsform kann das Mobilgerät eine Begrenzung, ein Feld oder eine andere überlagernde Form um ein Objekt anzeigen, das in dem Sichtfeld der Kamera des Mobilgeräts dargestellt ist.
Die Abgrenzung bzw. das Begrenzungsfeld kann die Farbe wechseln, wenn ermittelt wird, dass der Aufnahmevorgang abgeschlossen ist und Daten unter Bedingungen erfasst werden, bei denen die vordefinierten Kriterien erfüllt waren. In einer Vorgehensweise zeigt das Mobilgerät ein weißes Begrenzungsfeld an, bevor das Objekt in dem Sichtfeld der Kamera erkannt wird, es zeigt ein gelbes Begrenzungsfeld an, wenn das Objekt vor dem Ende des Aufnahmevorgangs unter den gewünschten Bedingungen erkannt wird, und zeigt ein grünes Begrenzungsfeld bei Beendigung des Aufnahmevorgang unter den gewünschten Bedingungen an oder ein rotes Begrenzungsfeld, wenn der Abschluss des Aufnahmevorgang unter den gewünschten Bedingungen nicht gelingt.
Auf diese Weise kann der Benutzer in vorteilhafter Weise informiert werden, wenn der Versuch der Erfassung von Daten mittels der Aufnahmeschnittstelle der mobilen Anwendung zu beenden ist, und/oder ob es erforderlich ist, den Aufnahmevorgang für ein Objekt in dem Sichtfeld der Kamera zu wiederholen. Selbstverständlich kann in anderen Ausführungsformen, in denen mehrere Dokumente innerhalb des Sichtfelds der Kamera liegen, die Anzeige mehrere Begrenzungsfelder anzeigen.
In einer weiteren Ausführungsform können sich das eine oder die mehreren Begrenzungsfelder in Reaktion darauf ändern, dass ermittelt wird, ob eines oder mehrere von mehreren Dokumenten innerhalb des Sichtfelds der Kamera kürzlich aufgenommen und/oder verarbeitet worden sind. Wenn beispielsweise in einer Vorgehensweise mehrere Objekte, etwa Dokumente, im Sichtfeld einer Kamera liegen, können gewünschte Aufnahmebedingungen für jedes Objekt zu einem anderen Zeitpunkt oder an mehreren unterschiedlichen Zeitpunkten erreicht werden bzw. worden sein. Daher kann es vorteilhaft sein zu ermitteln, wann ein Objekt im Sichtfeld gemäß den gewünschten Aufnahmebedingungen aufgenommen worden ist, und der Versuch des Aufnehmens dieses Objektes kann beendet werden, während der Versuch des Aufnehmens eines anderen Objekts, das noch nicht mit den gewünschten Aufnahmebedingungen aufgenommen wurde, fortgesetzt wird. Sobald alle Objekte unter den gewünschten Aufnahmebedingungen aufgenommen worden sind, kann es zweckdienlich sein, eine Rückmeldung bereitzustellen, die anzeigt, dass alle in dem Sichtfeld dargestellten Objekte gemäß den gewünschten Aufnahmebedingungen aufgenommen worden sind, und der Aufnahmevorgang kann beendet werden.
In noch einer weiteren Ausführungsform, in der das Sichtfeld einer Kamera mehrere Objekte, etwa Dokumente, beinhaltet, kann es vorteilhaft sein, Objekte im Verlaufe des Aufnahmevorgangs auszuschließen oder zu ignorieren, wenn beispielsweise das Objekt zuvor unter geeigneten Bedingungen aufgenommen worden ist, oder wenn das Objekt zuvor verarbeitet worden ist durch eine Verarbeitung und/oder entsprechend einer Verarbeitung, für die beabsichtigt ist, unter Anwendung der aktuell gerade aufgenommenen Daten ausgeführt zu werden.
Es wird nun ein anschauliches Szenario für einen Einsatzzweck gemäß mehreren Ausführungsformen beschrieben. Der Fachmann erkennt leicht beim Studium dieser Beschreibung, dass der anschauliche Verwendungszweck nur zu anschaulichen Zwecken angegeben ist und in keiner Weise beschränkend sein soll. Andere Verwendungszwecke liegen ebenfalls im Bereich der vorliegenden Beschreibung und können die Anwendung einer Kombination von Merkmalen, die hierin offenbart sind, in beliebiger Weise mit einschließen.
Gemäß dem anschaulichen Verwendungsfall-Szenario werden die hier offenbarten erfindungsgemäßen Konzepte in einem Verfahren umgesetzt, das im Wesentlichen durch ein Verfahren 500 repräsentiert ist, das in 5 gezeigt ist. Das Verfahren 500 kann in einer beliebigen geeigneten Umgebung ausgeführt werden, wie sie hierin offenbart ist oder wie sie der Fachmann beim Studium der vorliegenden Beschreibung in einfacher Weise ableiten kann.
Wie in 5 gezeigt, beinhaltet das Verfahren 500 den Schritt 502, in welchem eine Aufnahmeschnittstelle mittels eines Mobilgeräts aktiviert bzw. aufgerufen wird. Die Aufnahmeschnittstelle beinhaltet eine Ansichtenauffindungseinheit, vorzugsweise eine rechteckige Ansichtenauffindungseinheit, die durch ein Zielrechteck definiert ist, das mittels des Mobilgeräts angezeigt wird.
Das Verfahren 500 beinhaltet ferner einen Schritt 504, in welchem mehrere erfasste Videodatenblöcke ausgewertet werden, um zu ermitteln, (1) ob ein Objekt, das vorbestimmte definierende Eigenschaften zeigt, ganz oder teilweise in dem Ansichtenauffindungsgebiet dargestellt ist, und (2) ob das Objekt Qualitätskontrollkriterien erfüllt. Zu definierenden Eigenschaft und zu Qualitätskontrollkriterien können jedes beliebige Merkmal gehören, wie es hierin beschrieben ist, vorzugsweise jene Eigenschaften, die zuvor und in den verwandten Anmeldungen, die hiermit durch Bezugnahme in Bezug auf die Bild- oder Objektklassifizierung mit eingeschlossen sind, erläutert sind. Eigenschaftsvektoren bzw. Merkmalsvektore repräsentieren Daten, die insbesondere zur Verwendung als „definierende Eigenschaften“ geeignet sind.
Gemäß dem Verfahren 500 und abhängig davon, ob das Objekt die definierenden Eigenschaften zeigt und die Qualitätskontrollkriterien erfüllt, können in Schritt 506 eine oder mehrere darauf reagierende Aktionen ausgeführt werden.
Wenn die zuvor genannten Kriterien erfüllt werden (Objekt erkannt, Qualität akzeptabel), dann kann eine Indikation bezüglich dieser Erkennung und/oder des Qualitätsstatus für den Benutzer, beispielsweise mittels der Geräteanzeige, angezeigt werden. Vorzugsweise werden diese Indikationen in Echtzeit oder nahezu Echtzeit angezeigt, wenn die Bildauswertung und/oder die Verarbeitung ausgeführt werden.
Wenn andererseits ein Objekt nicht erkannt wird oder wenn es die Qualitätskontrollkriterien nicht erfüllt, dann kann eine Indikation bezüglich einer oder mehrerer Nichterfüllungen in dieser Hinsicht in ähnlicher Weise mittels des Mobilgeräts angezeigt werden.
Ferner können ein oder mehrere Bilder mit einer Auflösung aufgenommen werden, die höher ist als die Auflösung der Videodatenblöcke (um mehr und/oder bessere Rohdaten bereitzustellen), und diese können verarbeitet oder gespeichert werden. In ähnlicher Weise können jene Blöcke aus Videodaten, in denen das Objekt in der Ansichtenauffindungseinheit dargestellt war und die Qualitätskontrollkriterien erfüllte, archiviert, markiert, bewahrt und in dem Speicher gespeichert werden und dergleichen, wie dies der Fachmann beim Studium der vorliegenden Beschreibung leicht erkennen kann.
Das Verfahren 500 kann ferner einen oder mehrere zusätzliche und/oder alternative Schritte in diversen Ausführungsformen beinhalten. Beispielsweise können in einer Vorgehensweise das eine oder die mehreren aufgenommenen Bilder und/oder der eine oder die mehreren Videoblöcke weiter verarbeitet werden. Beispielsweise kann die Verarbeitung das Klassifizieren eines oder mehrerer Objekte, die in dem einen oder den mehreren Bildern und/oder dem einen oder den mehreren Blöcken dargestellt sind, das Extrahieren von Daten aus diesem einen oder diesen mehreren Objekten, das Verfolgen von Objekten, die in einem Videodatenstrom dargestellt sind, in Echtzeit, das Anzeigen einer relevanten Information für einen Benutzer und dergleichen, beinhalten.
Ferner sind in den speziell bevorzugten Ausführungsformen die hierin offenbarten Techniken vollständig in der Lage, jegliche der offenbarten Verarbeitungsschritte in Echtzeit gleichzeitig auszuführen, wenn ein Videodatenstrom erfasst wird, und ferner sind die Ausführungsformen in der Lage, die Aufnahme, die Auswertung und/oder die Verarbeitungstechniken, die hierin offenbart sind, in Echtzeit oder nahezu Echtzeit für mehrere Objekte, die innerhalb eines einzigen Videodatenstroms (oder Bild) dargestellt sind, gleichzeitig auszuführen. Diese parallele Echtzeitfunktion sollte so verstanden werden, dass sie in diversen Vorgehensweisen in gleicher Weise für die Schritte zutrifft, die zuvor mit Verweis auf 5 erläutert sind.
In einer weiteren Darstellung einer Anwendungsmöglichkeit startet ein Benutzer eine mobile Anwendung auf seinem Mobilgerät. Dem Benutzer wird die Option präsentiert, ein optionales Modul, etwa ein „Auto-Assistenten“-Modul oder einen „Mobilen Aufnahmehelfer“ aufzurufen, um den Benutzer bei der Aufnahme von Bilddaten mit hoher Qualität für die nachfolgende Verarbeitung zu unterstützen. Der Benutzer kann mit einem Knopf interagieren, der auf der Anzeige des Mobilgeräts angezeigt wird, um das optionale „Auto-Assistenz“-Modul oder den „Mobilen Aufnahmehelfer“ aufzurufen, um ein Beispiel zu nennen. Alternativ kann das Modul in programmierter Weise aktiviert oder von dem Benutzer im Voraus eingestellt werden, beispielsweise in einer Schnittstelle für „Einstellungen“ der mobilen Aufnahmeanwendung. In diesem Verwendungsfall aktiviert der Benutzer den mobilen Aufnahmehelfer.
Wenn der mobile Aufnahmehelfer aktiviert wird, wird dem Benutzer über die Anzeige des Mobilgeräts eine Schnittstelle präsentiert, wobei die Schnittstelle mehrere Knöpfe enthält, die es dem Benutzer ermöglichen, selektiv in einem „Foto“-Modus oder einem „Video“-Modus aufzunehmen. Der Benutzer betätigt den „Video“-Knopf, so dass der mobilen Anwendung mitgeteilt wird, dass der Benutzer wünscht, einen Videodatenstrom aufzunehmen. Alternativ kann der Aufnahmemodus programmiert aufgerufen oder von dem Benutzer voreingestellt werden, beispielsweise in einer Schnittstelle für „Einstellungen“ der mobilen Aufnahmeanwendung.
Nach dem Anzeigen des Wunsches, einen Videodatenstrom aufzunehmen, kann der Benutzer einen Kamera-Knopf betätigen. In Reaktion darauf fragt der mobile Aufnahmeassistent den Gerätebeschleunigungsmesser und/oder das Geräte-Gyroskop ab, um die Geräteorientierung zu ermitteln, und wenn das Gerät nicht im Wesentlichen so orientiert ist, wie dies gewünscht ist (beispielsweise parallel zu einer ebenen, horizontalen Oberfläche, etwa einem Tisch, dem Boden und dergleichen für ein Dokument oder parallel zu einer vertikalen Oberfläche, etwa einem Poster, einer Fahrzeugfläche, die eine Fahrzeugidentifizierungsnummer zeigt und dergleichen), wird eine Benutzerrückmeldung dem Benutzer über die Mobilgerätanzeige präsentiert, beispielsweise in Form eines durchsichtigen Bildschirms, wobei die Rückmeldung die ungeeignete Geräteorientierung anzeigt. Die Benutzerrückmeldung kann dem sichtbaren Zugang der Aufnahmeschnittstelle überlagert sein, so dass der Benutzer ein Bild nicht aufnehmen kann, sofern nicht eine geeignete Geräteorientierung erreicht ist. Eine geeignete Geräteorientierung kann durch Programm ermittelt und/oder durch den Benutzer im Voraus eingestellt werden, so dass jede Geräteorientierung (beispielsweise als Winkel) in der Schnittstelle für Einstellungen enthalten ist.
Wenn der Benutzer die Orientierung des Geräts in eine „gewünschte Orientierung bzw. Soll-Orientierung“ überführt, dann fragt die mobile Anwendung periodisch den Gerätebeschleunigungsmesser und/oder das Geräte-Gyroskop ab, um die tatsächliche Orientierung des Geräts zu ermitteln. Während dieses Vorgangs wird eine bildschirminterne Benutzerrückmeldung angezeigt, die für den Benutzer angibt, wie die Orientierung des Gerätes für eine optimale Aufnahmeorientierung erstellt werden sollte.
Sobald die Orientierung innerhalb eines vorbestimmten Toleranzbereichs für eine Aspektverhältniskorrektur und Normierung liegt, verschwindet der durchsichtige Überlagerungsbildschirm und die mobile Anwendung beginnt mit der Auswertung der Videodaten in Echtzeit, die aus der Mobilgerätkamera erhalten werden, um Seitengrenzen zu erkennen.
Wenn Seitengrenzen erkannt werden, prüft das Mobilgerät optional periodisch die Gerätestabilität, und wenn ermittelt wird, dass das Gerät gemäß vorbestimmten Toleranzschwellwerten ausreichend stabil ist, wird eine weitere Benutzerrückmeldung bereitgestellt, die anzeigt, dass geeignete Bedingungen bestehen, um die erkannte Seite aufzunehmen. Beispielsweise kann eine Benutzerrückmeldung in Form eines gelben Begrenzungsfeldes bereitgestellt werden, das um die erkannten Seitengrenzen herum angezeigt wird.
Unabhängig davon, ob der optionale Vorgang für die zweite Orientierung und/oder Stabilität ausgeführt wird, wird beim Ermitteln, dass das Gerät stabil ist, geeignet orientiert ist und eine Seite erkannt worden ist, eine Benutzerrückmeldung mittels der Mobilgerätanzeige angezeigt, um anzugeben, dass Bedingungen für ein geeignetes Aufnehmen von Bilddaten mit hoher Qualität bestehen. Die mobile Anwendung geht dann automatisch weiter, um das Bild des Dokuments, das in dem Ansichtenfeld der Aufnahmeschnittstelle dargestellt ist, aufzunehmen.
Beim Aufnehmen durch die mobile Anwendung wird dann ein Autofokus-Vorgang unter Anwendung der Gerätekamera erzwungen und die mobile Anwendung nimmt den Videoblock, der die erkannte Seite enthält, auf, wobei dies eine Version mit hoher Auflösung, falls verfügbar, des ursprünglichen Videoblocks sein kann, der die erkannte Seite enthält. Alternativ können ein oder mehrere Videoblöcke, einschließlich des ursprünglichen Videoblocks mit relativ geringer Auflösung, in dem die Seite erkannt wurde, aufgenommen werden. Die mobile Anwendung zeigt das aufgenommene Bild in Echtzeit an, entweder direkt in der Aufnahmeschnittstelle oder in einer weiteren Schnittstelle, die auf der Mobilgerätanzeige angezeigt wird, nachdem der Vorgang des Aufnehmens mit hoher Auflösung abgeschlossen ist.
Eine vollständige Bildverarbeitung (die einen oder alle Schritte der Bildverarbeitung enthalten kann, die in den artverwandten US-Patentanmeldungen, die zuvor angegeben sind, offenbart sind) wird durch die mobile Anmeldung als ein im Hintergrund ablaufender asynchroner Programmfaden initiiert. Ferner wird ein Qualitätskontrollprozessmodul gleichzeitig initiiert und es wird eine Bildschirmangabe als eine Rückmeldung hinsichtlich einer Dokumentenbeleuchtung und/oder Unschärfe gegeben. Sobald die asynchrone Hintergrundverarbeitung abgeschlossen ist, wird das angezeigte Bild mit dem verarbeiteten Bild aufgefrischt (beispielsweise von oben nach unten auf der Mobilgerätanzeige). Zu beachten ist, dass die Bildverarbeitung unter Anwendung eines Prozessors des Mobilgeräts, eines Prozessors einer entfernten Einrichtung, etwa eines Servers, oder einer Kombination davon ausgeführt werden kann.
Die mobile Anwendung kann automatisch das ursprüngliche und das verarbeitete Bild speichern oder kann einen Benutzer nach Anweisungen hinsichtlich dessen abfragen, ob das ursprüngliche und/oder das verarbeitete Bild zu speichern sind, und kann die Bilder, die durch den Benutzer gekennzeichnet werden, entsprechend speichern. Die Daten können mit einer Host-Cloud oder einem Vor-Ort-System zur Speicherung zur weiteren Verarbeitung und/oder zur nachfolgenden Wiederverwendung synchronisiert werden.
In diversen Ausführungsformen kann das Speichern des Bildes, unabhängig davon, ob das ursprüngliche Bild, das verarbeitete Bild oder beliebige Varianten davon betroffen sind, das Speichern einer Datei kombiniert mit bildbetreffenden Metadaten, etwa Klassifizierungsergebnissen, Extraktionsergebnissen oder Umgebungs-Metadaten, etwa eine Geopositionsmarkierung, einen Datums-/Zeitstempel und dergleichen, jeweils innerhalb einer einzigen Datei (beispielsweise einem druckbaren Dokumentenformat (PDF), einer e-Form) beinhalten. Diese Art der Speicherung kann optional durch den Anwender in Echtzeit oder in einer Schnittstelle für Einstellungen aktiviert werden. Alternativ können die Bilddaten unverändert gespeichert werden, ohne dass sie mit Metadaten verknüpft werden.
Diverse Ausführungsformen können zusätzlich und/oder alternativ das Anzeigen einer Aufnahmeergebnisvorschau mittels einer Anzeige des Mobilgeräts; und das Empfangen einer Benutzereingabe in Reaktion auf die Aufnahmevorschau beinhalten. Ferner zeigt in mindestens einer Ausführungsform die Vorschau mindestens ein Objekt, das durch den Aufnahmevorgang erfasst wird.
Die erfindungsgemäßen Konzepte, die hierin offenbart sind, sind als Beispiele dargestellt, um die vielen Merkmale in vielen anschaulichen Szenarien, Ausführungsformen und/oder Implementierungen aufzuzeigen. Es sollte beachtet werden, dass die allgemein offenbarten Konzepte als modular betrachtet werden soll, und diese können in beliebiger Kombination, Permutation oder Zusammenfügung implementiert werden. Des Weiteren sollte jegliche Modifizierung, Änderung oder Äquivalente der gegenwärtig offenbarten Merkmale, Funktionen und Konzepte, die sich für den Fachmann beim Studium der vorliegenden Beschreibung ergeben, ebenfalls im Bereich dieser Offenbarung liegend erachtet werden.
Beispielsweise können ein Verfahren, ein System, die zum Ausführen eines logistischen Ablaufs und zum Ausführen eines Verfahrens geeignet sind, und/oder ein Computer-programmprodukt mit computerlesbaren Befehlen, die geeignet sind, einen Prozessor zu veranlassen, ein Verfahren auszuführen, eines oder mehrere der folgenden Merkmale beinhalten. In ähnlicher Weise können diverse Ausführungsformen einige oder alle Merkmale ausschließen, die nachfolgend angegeben sind. Im Allgemeinen können die folgenden Merkmale in einer beliebigen geeigneten Weise kombiniert werden, die sich für den Fachmann beim Studium der vorliegenden Beschreibung ergibt.
Es hier nochmals darauf hingewiesen, dass ein Verfahren, ein System und/oder ein Computerprogrammprodukt eine beliebige Kombination enthalten kann von: Aufrufen bzw. Aktivieren einer Bildaufnahmeschnittstelle mittels eines Mobilgeräts, wobei die Aufnahmeschnittstelle eine Ansichtenauffindungseinheit umfasst, die auf einer Anzeige des Mobilgeräts dargestellt wird; und Auswerten mehrerer Blöcke aus Videodaten, die mittels der Aufnahmeschnittstelle erfasst bzw. aufgenommen werden. Die Auswertung kann beinhalten: Ermitteln, ob ein Objekt, das eine oder mehrere definierende Eigenschaften zeigt, innerhalb der Ansichtenauffindungseinheit dargestellt wird; und wenn dies der Fall ist, ob das innerhalb der Ansichtenauffindungseinheit dargestellte Objekt einem oder mehreren vorbestimmten Qualitätskontrollkriterien genügt. In Reaktion auf das Ermitteln, dass ein Block ein oder mehrere der vorbestimmten Qualitätskontrollkriterien nicht erfüllt, können das Verfahren/System/Computerprogramm beinhalten: Anzeigen einer Indikation bezüglich der Nichterfüllung auf der Mobilgerätanzeige. Die Indikation bezüglich der Nichterfüllung kennzeichnet vorzugsweise das eine oder die mehreren Qualitätskontrollkriterien, die von dem einen oder den mehreren Blöcken nicht erfüllt werden, und beinhaltet optional eine Abgrenzung, die im Wesentlichen eine Peripherie des Objekts innerhalb der Ansichtenauffindungseinheit umgibt. In Reaktion darauf, dass ermittelt wird, dass das innerhalb der Ansichtenauffindungseinheit dargestellte Objekt das eine oder die mehreren vorbestimmten Qualitätskontrollkriterien erfüllt, können das Verfahren/System/ Computerprogramm beinhalten: Anzeigen einer Indikation, dass das in der Ansichtenauffindungseinheit dargestellte Objekt das eine oder die mehreren definierenden Eigenschaften zeigt; und/oder automatisches Aufnehmen eines Bildes des Objekts, wobei das Bild durch eine Auflösung gekennzeichnet ist, die höher ist als eine Auflösung der Videodaten; und/oder automatisches Speichern, in einem Speicher, eines oder mehrerer der Blöcke, in denen das Objekt, das die vorbestimmten Qualitätskontrollkriterien erfüllt, in der Ansichtenauffindungseinheit dargestellt ist. Vorzugsweise kennzeichnet der Erfolgsindikator insbesondere eine Objektklassifizierung und beinhaltet optional eine Abgrenzung, die im Wesentlichen eine Peripherie des Objekts innerhalb der Ansichtenauffindungseinheit umgibt. In einigen Vorgehensweisen umfasst das Objekt ein Dokument mit einer oder mehreren Seiten, oder mehrere Dokumente mit jeweils einer oder mehreren Seiten. Das Verfahren/System/Computerprogramm kann beinhalten: Verarbeiten des automatisch aufgenommen Bildes und/oder des automatisch gespeicherten einen Blocks oder der mehreren Blöcke, zumindest teilweise unter Anwendung eines Prozessors des Mobilgeräts. Die Verarbeitung beinhaltet eine Verfolgung bzw. Überwachung des Objekts, das in der Ansichtenauffindungseinheit dargestellt ist, in Echtzeit oder nahezu Echtzeit. Klassifizieren des in der Ansichtenauffindungseinheit dargestellten Objekts; und/oder Extrahieren von Daten aus dem in der Ansichtenauffindungseinheit dargestellten Objekt. Die Verarbeitung wird optional in Bezug auf mindestens zwei der mehreren Dokumente oder in Bezug auf die mehreren Seiten ausgeführt, wenn diese vorhanden sind; beispielsweise können das Verfolgen, Klassifizieren und/oder Extrahieren gleichzeitig in Bezug zueinander und/oder für mehrere Dokumente oder Seiten eines einzigen Dokuments ausgeführt werden. Die gleichzeitige Verarbeitung kann vorzugsweise über mehrere Blöcke der Videodaten hinweg ausgeführt werden. Das Klassifizieren kann insbesondere beinhalten: Ermitteln einer oder mehrerer definierenden Eigenschaften des in der Ansichtenauffindungseinheit dargestellten Objekts; und Vergleichen der einen oder der mehreren ermittelten definierenden Eigenschaften, um Eigenschaften jeweils mehrerer Objektklassifikationen zu definieren. In einigen Situationen enthalten das Verfahren/System/Computerprogramm entweder: Ermitteln einer Objektklassifizierung, zumindest teilweise auf der Grundlage des Vergleichs; oder Ermitteln, dass das Objekt keiner der mehreren Objektklassifikationen entspricht, zumindest teilweise auf der Grundlage des Vergleichs. In Reaktion auf das Ermitteln, dass das Objekts keiner der mehreren Objektklassifikationen entspricht, beinhaltet das Verfahren/System/Computerprogramm: Anfordern einer Benutzereingabe in Bezug auf das Objekt: Empfangen der Benutzereingabe; Definieren einer neuen Objektklassifizierung zumindest teilweise auf Grundlage der Benutzereingabe; und Zuweisen des Objekts zu der neuen Objektklassifizierung. In ähnlicher Weise kann das Verfolgen bzw. Überwachen beinhalten: Neupositionieren oder Neudefinieren der Begrenzung, um die Peripherie des Objekts in jedem der Blöcke, in denen das Objekt dargestellt ist, innerhalb der Ansichtenauffindungseinheit zu umgeben; und/oder Neupositionieren oder Neuanzeigen der Indikation, dass das in der Ansichtenauffindungseinheit dargestellte Objekt die eine oder die mehreren definierenden Eigenschaften zeigt; und/oder Empfangen einer Echtzeit-Rückmeldung aus dem Mobilgerät, wobei die Echtzeit-Rückmeldung zumindest teilweise auf einer oder mehreren Messungen beruht, die unter Anwendung einer oder mehrerer Mobilgerätkomponenten ausgeführt werden, die ausgewählt sind aus: einer Kamera, einem Beschleunigungsmesser, einem Gyroskop und einer Uhr. Vorzugsweise beinhaltet die Echtzeit-Rückmeldung eine Stabilitätsrückmeldung, einschließlich eines Orientierungswinkels des Mobilgeräts, der in einem vorbestimmten Orientierungsbereich liegt; und einen Bewegungsvektor des Mobilgeräts, der eine Größe hat, die kleiner als ein vorbestimmter Schwellenwert ist. Der Bewegungsvektor wird in einigen Vorgehensweisen auf der Grundlage einer Echtzeit-Rückmeldung, die aus der Kamera empfangen wird, ermittelt und wird nicht auf der Grundlage einer Rückkopplung aus einem Beschleunigungsmesser ermittelt. In einigen Vorgehensweisen, insbesondere solchen, die eine Verfolgung oder Verarbeitung von langen/großen Objekte betreffen, beinhalten das Verfahren/System/Computerprogramm ferner ein Synthetisieren mindestens eines Teils von zwei oder mehr Blöcken der Videodaten; und Erzeugen eines zusammengesetzten Bildes auf der Grundlage der Synthese. Das zusammengesetzte Bild ist optional durch eine Höhe und eine Breite gekennzeichnet, und die Höhe des zusammengesetzten Bildes ist größer als oder gleich eine(r) Höhe eines einzigen Blocks der Videodaten, und/oder die Breite des zusammengesetzten Bildes ist in ähnlicher Weise größer als oder gleich eine(r) Breite jedes einzelnen Blocks der Videodaten. Jeder der synthetisierten Blöcke der Videodaten stellt idealerweise einen Teil des Objekts dar, während das zusammengesetzte Bild das gesamte Objekt darstellt. Das Synthetisieren des zusammengesetzten Bildes aus den diversen Videodatenblöcken beinhaltet vorzugsweise: Erfassen eines ersten Merkmals des Objekts, das in der Ansichtenauffindungseinheit dargestellt ist; automatisches Initiieren eines Aufnahmevorgangs in Reaktion auf das Erfassen der ersten Grenze des Objekts; Aufnehmen bzw. Erfassen von Bilddaten mit hoher Auflösung und/oder Videodaten mit geringer Auflösung mittels des automatisch initiierten Aufnahmevorgangs; Erfassen eines zweiten Merkmals des Objekts, das in der Ansichtenauffindungseinheit dargestellt ist; Aufnehmen bzw. Erfassen von Bilddaten mit hoher Auflösung und/oder Videodaten mit geringer Auflösung mittels des automatisch initiierten Aufnahmevorgangs; und automatisches Beenden des Aufnahmevorgangs in Reaktion darauf, dass das zweite Merkmal des Objekts erfasst wird. Synthetisieren kann auch oder stattdessen beinhalten: Ausführen mindestens einer Homographietransformation an zwei oder mehr der Blöcke der Videodaten und Ausrichten mindestens von Teilen der zwei oder mehr Blöcke der Videodaten zumindest teilweise auf der Grundlage der Homographietransformationen. Das unter Anwendung der zuvor genannten Synthesetechniken abgebildete Objekt zur Erzeugung eines zusammengesetzten Bildes ist vorzugsweise ein Dokument, das dadurch gekennzeichnet ist, dass mindestens eine Abmessung zu groß ist, um das gesamte Dokument innerhalb der Ansichtenauffindungseinheit zu umfassen, und um gleichzeitig eine gewünschte minimale Auflösung des Dokuments zu bewahren, beispielsweise eine Auflösung, die ausreichend ist, um Textinformation, die in dem Dokument dargestellt ist, aufzulösen. Ferner kann zumindest ein Bereich des zusammengesetzten Bildes durch eine höhere Auflösung als eine Auflösung eines der zwei oder mehr Blöcke der digitalen Videodaten gekennzeichnet sein. Dieses Ergebnis kann in einigen Ausführungsformen unter Anwendung einer „Superauflösungs“-Technik, wie sie hierin beschrieben ist, erreicht werden und kann ferner das Erfassen des Objekts in dem zusammengesetzten Bild zumindest teilweise auf der Grundlage des Bereichs des zusammengesetzten Bildes beinhalten, der durch die höhere Auflösung gekennzeichnet ist. Ermitteln, ob der eine oder die mehreren Blöcke das eine oder die mehreren vordefinierten Kontrollkriterien erfüllen, entsprechend zu einem Bild mit hoher Auflösung, das in dem Mobilgerät gespeichert ist, ist ein weiteres nützliches Merkmal, und dies kann verwendet werden, um zuvor aufgenommene und gespeicherte Bilder mit hoher Auflösung abzurufen, sowie das eine oder die mehreren gespeicherten Bilder mit hoher Auflösung zu verarbeiten. Es kann in einigen Situationen zweckdienlich sein, Metadaten mit gespeicherten Bilddaten und/oder Videodaten zu verknüpfen. In bevorzugten Vorgehensweisen können vorbestimmte Qualitätskontrollkriterien beinhalten: einen minimalen Beleuchtungspegel; und/oder einen maximalen Beleuchtungspegel; und/oder eine minimale Beleuchtungsgleichmäßigkeit; und/oder eine minimale Auflösung; und/oder eine minimale Schärfe; und/oder einen minimalen Projektionswinkel; und/oder einen maximalen Projektionswinkel; und/oder ein Schwellensichtbarkeitskriterium; und/oder eine Anwesenheit von Blendlicht; und/oder eine Objektklassifizierung.
Obwohl diverse Ausführungsformen zuvor beschrieben sind, sollte beachtet werden, dass diese lediglich als Beispiele und nicht als Einschränkung präsentiert sind. Daher sollen die Breite und der Schutzbereich einer Ausführungsform der vorliegenden Erfindung nicht als durch eine der zuvor beschriebenen anschaulichen Ausführungsformen eingeschränkt werden, sondern diese sollen nur in Übereinstimmung mit den folgenden Ansprüchen und ihren Äquivalenten festgelegt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 13/802226 [0048]
US 61/780747 [0048]
US 8345981 [0050]
US 14/175999 [0050]
US 14/220016 [0050]
US 13802226 [0061]

Claims

Computerprogrammprodukt mit einem computerlesbaren Speichermedium mit darin enthaltenem Programmcode, wobei der Programmcode durch einen Prozessor ausführbar ist, um den Prozessor zu veranlassen, die folgenden Operationen auszuführen: Aktivieren einer Bildaufnahmeschnittstelle mittels eines Mobilgeräts, wobei die Aufnahmeschnittstelle eine Ansichtenauffindungseinheit umfasst, die auf einer Anzeige des Mobilgeräts dargestellt wird; Auswerten mehrerer Blöcke aus Videodaten, die mittels der Aufnahmeschnittstelle erfasst werden, wobei das Auswerten umfasst: Ermitteln: ob ein Objekt, das eine oder mehrere definierende Eigenschaften zeigt, innerhalb der Ansichtenauffindungseinheit dargestellt ist; und ob das in der Ansichtenauffindungseinheit dargestellte Objekt ein oder mehrere vorbestimmte Qualitätskontrollkriterien erfüllt; und in Reaktion auf das Ermitteln, dass eine Nichterfüllung für einen Block in Hinblick auf ein oder mehrere der vorbestimmten Qualitätskontrollkriterien vorliegt, Anzeigen einer Indikation der Nichterfüllung auf der Mobilgerätanzeige; und in Reaktion auf das Ermitteln, dass das in der Ansichtenauffindungseinheit dargestellte Objekt das eine oder die mehreren vorbestimmten Qualitätskontrollkriterien erfüllt: Anzeigen einer Indikation, dass das in der Ansichtenauffindungseinheit dargestellte Objekt die eine oder die mehreren definierenden Eigenschaften zeigt; und/oder automatisches Aufnehmen eines Bildes des Objekts, wobei das Bild durch eine Auflösung gekennzeichnet ist, die höher ist als eine Auflösung der Videodaten; und/oder automatisches Speichern, in einem Speicher, eines oder mehrerer der Blöcke, in dem/denen das die vorbestimmten Qualitätskontrollkriterien erfüllende Objekt in der Ansichtenauffindungseinheit dargestellt ist.
Computerprogrammprodukt nach Anspruch 1, wobei das Objekt ein Dokument umfasst.
Computerprogrammprodukt nach Anspruch 1, das ferner einen Programmcode zur Verarbeitung des automatisch aufgenommenen Bildes und/oder des einen oder der mehreren automatisch gespeicherten Blöcke zumindest teilweise unter Anwendung eines Prozessors des Mobilgeräts umfasst, wobei der Programmcode zur Verarbeitung einen Programmcode umfasst zum: Verfolgen des in der Ansichtenauffindungseinheit dargestellten Objekts in Echtzeit; und/oder Klassifizieren des in der Ansichtenauffindungseinheit dargestellten Objekts; und/oder Extrahieren von Daten aus dem in der Ansichtenauffindungseinheit dargestellten Objekt.
Computerprogrammprodukt nach Anspruch 3, wobei das Objekt mehrere Dokumente oder mehrere Seiten eines einzigen Dokuments umfasst.
Computerprogrammprodukt nach Anspruch 4, wobei das Verarbeiten in Bezug auf mindestens zwei der mehreren Dokumente oder mehreren Seiten ausgeführt wird.
Computerprogrammprodukt nach Anspruch 4, wobei der Programmcode zum Verarbeiten einen Programmcode zum gleichzeitigen Verfolgen mehrerer der mehreren Dokumente oder mehreren Seiten über mehrere der Blöcke hinweg umfasst.
Computerprogrammprodukt nach Anspruch 4, wobei der Programmcode zum Verarbeiten einen Programmcode zum gleichzeitigen Klassifizieren mehrerer der mehreren Dokumente oder mehreren Seiten umfasst.
Computerprogrammprodukt nach Anspruch 4, wobei der Programmcode zum Verarbeiten einen Programmcode zum gleichzeitigen Extrahieren zumindest einiger Daten aus mehreren der mehreren Dokumente oder mehreren Seiten umfasst.
Computerprogrammprodukt nach Anspruch 3, wobei der Programmcode zum Klassifizieren einen Programmcode umfasst zum: Ermitteln einer oder mehrerer definierender Eigenschaften des innerhalb der Ansichtenauffindungseinheit dargestellten Objekts; und Vergleichen der einen oder der mehreren ermittelten definierenden Eigenschaften mit definierenden Eigenschaften jeder von mehreren Objektklassifizierungen.
Computerprogrammprodukt nach Anspruch 9, das ferner einen Programmcode umfasst zum entweder: Ermitteln einer Objektklassifizierung zumindest teilweise auf der Grundlage des Vergleichs; oder Ermitteln zumindest teilweise auf der Grundlage des Vergleichs, dass das Objekt keiner der mehreren Objektklassifizierungen entspricht.
Computerprogrammprodukt nach Anspruch 10, das ferner einen Programmcode umfasst, der ein Reagieren auf das Ermitteln, dass das Objekt keiner der mehreren Objektklassifizierungen entspricht, bewirkt durch: Anfordern einer Benutzereingabe in Bezug auf das Objekt; Empfangen der Benutzereingabe; Definieren einer neuen Objektklassifizierung zumindest teilweise auf der Grundlage der Benutzereingabe; und Zuordnen des Objekts zu der neuen Objektklassifizierung.
Computerprogrammprodukt nach Anspruch 1, wobei die Indikation eine Abgrenzung aufweist, die eine Peripherie des innerhalb der Ansichtenauffindungseinheit dargestellten Objekts umschließt, und wobei das Computerprogrammprodukt einen Programmcode zum Anzeigen der Abgrenzung um eine Peripherie des Objekts herum beinhaltet.
Computerprogrammprodukt nach Anspruch 12, wobei der Programmcode zum Verfolgen einen Programmcode umfasst zum: Neupositionieren oder Neudefinieren der Abgrenzung, um die Peripherie des Objekts in jedem der Blöcke zu umschließen, in welchen das Objekt innerhalb der Ansichtenauffindungseinheit dargestellt ist; und/oder Neupositionieren oder erneutes Anzeigen der Indikation, dass das in der Ansichtenauffindungseinheit dargestellte Objekt die eine oder die mehreren definierenden Eigenschaften zeigt.
Computerprogrammprodukt nach Anspruch 3, wobei der Programmcode zum Verfolgen ferner einen Programmcode umfasst zum: Empfangen einer Echtzeit-Rückmeldung aus dem Mobilgerät, wobei die Echtzeit-Rückmeldung zumindest teilweise auf einer oder mehreren Messungen beruht, die unter Anwendung einer oder mehrerer Mobilgerätkomponenten ausgeführt werden: die ausgewählt sind aus: einer Kamera, einem Beschleunigungsmesser, einem Gyroskop und einer Uhr.
Computerprogrammprodukt nach Anspruch 14, wobei die Echtzeit-Rückmeldung eine Stabilitätsrückkopplung einschließlich eines Orientierungswinkels des Mobilgeräts, der in einem vorbestimmten Orientierungsbereich liegt; und einen Bewegungsvektor des Mobilgeräts, der eine Größe hat, die kleiner als ein vorbestimmter Schwellenwert ist, umfasst.
Computerprogrammprodukt nach Anspruch 15, wobei der Bewegungsvektor des Mobilgeräts auf der Grundlage einer Echtzeit-Rückmeldung, die aus der Kamera empfangen wird, ermittelt ist, und der Bewegungsvektor des Mobilgeräts nicht auf der Grundlage einer Rückmeldung aus dem Beschleunigungsmesser ermittelt ist.
Computerprogrammprodukt Anspruch 1, das ferner einen Programmcode umfasst zum Synthetisieren mindestens eines Bereichs aus zwei oder mehr Blöcken der Videodaten; und Erzeugen eines zusammengesetzten Bildes auf der Grundlage der Synthetisierung.
Computerprogrammprodukt nach Anspruch 17, wobei das zusammengesetzte Bild durch eine Höhe und eine Breite gekennzeichnet ist, wobei die Höhe des zusammengesetzten Bildes größer als oder gleich zu einer Höhe eines beliebigen einzelnen Blocks der Videodaten ist, und wobei die Breite des zusammengesetzten Bilds größer als oder gleich zu einer Breite eines beliebigen einzelnen Blocks der Videodaten ist.
Computerprogrammprodukt nach Anspruch 17, wobei jeder der synthetisierten Blöcke der Videodaten einen Teil des Objekts darstellt und wobei das zusammengesetzte Bild das gesamte Objekt darstellt.
Computerprogrammprodukt nach Anspruch 17, wobei der Programmcode zum Synthetisieren einen Programmcode umfasst zum: Erkennen eines ersten Merkmals des Objekts, das in der Ansichtenauffindungseinheit dargestellt ist; automatisches Initiieren eines Aufnahmevorgangs in Reaktion auf das Erkennen der ersten Grenze des Objekts; Aufnehmen von Bilddaten mit hoher Auflösung und/oder von Videodaten mit geringer Auflösung mittels des automatisch initiierten Aufnahmevorgangs; Erkennen eines zweiten Merkmals des in der Ansichtenauffindungseinheit dargestellten Objekts; Aufnehmen von Bilddaten mit hoher Auflösung und Videodaten mit geringer Auflösung mittels des automatisch initiierten Aufnahmevorgangs; und automatisches Beenden des Aufnahmevorgangs in Reaktion darauf, dass das zweite Merkmal des Objekts erkannt wird.
Computerprogrammprodukt nach Anspruch 17, wobei der Programmcode zum Synthetisieren einen Programmcode umfasst zum: Ausführen mindestens einer Homographietransformation an zwei oder mehr der Blöcke der Videodaten, und Ausrichten von zumindest von Teilen der zwei oder mehr Blöcke der Videodaten, zumindest teilweise auf der Grundlage der Homographietransformationen.
Computerprogrammprodukt nach Anspruch 21, wobei das Objekt ein Dokument ist, das gekennzeichnet ist dadurch, dass mindestens eine Abmessung zu groß ist, um das gesamte Dokument innerhalb der Ansichtenauffindungseinheit anzuordnen.
Computerprogrammprodukt nach Anspruch 19, wobei mindestens ein Bereich des zusammengesetzten Bildes durch eine Auflösung gekennzeichnet ist, die höher ist als eine Auflösung eines beliebigen der zwei oder mehr Blöcke der digitalen Videodaten.
Computerprogrammprodukt nach Anspruch 23, das ferner einen Programmcode umfasst zum Erkennen des Objekts in dem zusammengesetzten Bild, zumindest teilweise auf der Grundlage des Bereichs des zusammengesetzten Bilds, der durch die höhere Auflösung gekennzeichnet ist.
Computerprogrammprodukt nach Anspruch 1, das ferner einen Programmcode umfasst zum: Ermitteln, ob der eine oder die mehreren Blöcke, die das eine oder die mehreren vordefinierten Kontrollkriterien erfüllen, einem Bild mit hoher Auflösung, das in dem Mobilgerät gespeichert ist, entsprechen; und Verarbeiten des gespeicherten Bilds mit hoher Auflösung.
Computerprogrammprodukt nach Anspruch 1, das ferner einen Programmcode zum Verknüpfen von Metadaten mit den gespeicherten Daten umfasst.
Computerprogrammprodukt nach Anspruch 1, wobei die Indikation der Nichterfüllung, die auf dem Mobilgerät angezeigt wird, insbesondere das eine oder die mehreren Qualitätskontrollkriterien kennzeichnet, die von dem einen oder den mehreren Blöcke nicht erfüllt werden.
Computerprogrammprodukt nach Anspruch 1, wobei die vorbestimmten Qualitätskontrollkriterien umfassen: einen minimalen Beleuchtungspegel; und/oder einen maximalen Beleuchtungspegel; und/oder eine minimale Beleuchtungsgleichmäßigkeit; und/oder eine minimale Auflösung; und/oder eine minimale Schärfe; und/oder einen minimalen Projektionswinkel; und/oder einen maximalen Projektionswinkel; und/oder ein Schwellensichtbarkeitskriterium; und/oder eine Anwesenheit von Blendlicht; und/oder eine Objektklassifizierung.
Computerprogrammprodukt nach Anspruch 1, wobei die definierenden Eigenschaften einen Eigenschaftsvektor umfassen.
Computerprogrammprodukt nach Anspruch 29, wobei der Programmcode zum Klassifizieren einen Programmcode umfasst zum: Ermitteln eines oder mehrerer Eigenschaftsvektoren des in der Ansichtenauffindungseinheit dargestellten Objekts; und Vergleichen des einen oder der mehreren Eigenschaftsvektoren mit jeder von mehreren Objektklassifizierungen.
Computerprogrammprodukt nach Anspruch 3, wobei der Programmcode zum Klassifizieren einen Programmcode umfasst zum: Ermitteln von Textinformation des Objekts unter Anwendung eines optischen Zeichenerkennungs- (OCR-) Ansatzes; und Erkennen des Vorhandenseins oder des Fehlens einer Eigenschaft, eines Werts oder einer Zeichenkette in der Textinformation, wobei die Eigenschaft, der Wert oder die Zeichenkette jeweils einer speziellen Objektklassifizierung aus mehreren Objektklassifizierungen entsprechen.
Computerprogrammprodukt nach Anspruch 9, wobei der Programmcode zum Klassifizieren einen Programmcode umfasst zum: Ermitteln von Textinformation des Objekts unter Anwendung eines optischen Zeichenerkennungs- (OCR-) Ansatzes; und Erkennen des Vorhandenseins oder des Fehlens einer Eigenschaft, eines Werts oder einer Zeichenkette in der Textinformation, wobei die Eigenschaft, der Wert oder die Zeichenkette jeweils einer speziellen Objektklassifizierung aus mehreren Objektklassifizierungen entsprechen.
System, mit: einem Prozessor; und einer Logik, die von dem Prozessor ausführbar ist, so dass der Prozessor veranlasst wird, die Aktionen in einem der Computerprogrammprodukt-Ansprüche 1-32 auszuführen.