DE10351669B4

DE10351669B4 - Verfahren und Vorrichtung zum Steuern eines Handhabungsgeräts relativ zu einem Objekt

Info

Publication number: DE10351669B4
Application number: DE2003151669
Authority: DE
Inventors: Dr. Keibel Andreas
Original assignee: KUKA Laboratories GmbH
Current assignee: KUKA Deutschland GmbH
Priority date: 2003-11-05
Filing date: 2003-11-05
Publication date: 2012-09-13
Anticipated expiration: 2023-11-06
Also published as: DE10351669A1

Abstract

Verfahren zum Steuern eines Mehrachs-Industrieroboters (2), aufweisend einen Roboterarm (2.1) und eine am Roboterarm (2.1) befestigte Kamera (2.3) zum Aufnehmen eines Bildes eines realen Objekts (3) in einem den Mehrachs-Industrieroboter (2) umfassenden Arbeitsbereichs, und ein Simulationssystem (5), welches aus einer virtuellen Stellung eines virtuellen Roboters (2'), eines virtuellen Objekts (3') und einer virtuellen Kamera (2.3') in Abhängigkeit von Positionsdaten für eine Soll-Stellung des Roboters (2) ein Bild des virtuellen Objekts (3') erzeugt, wobei zunächst mittels einer Bildverarbeitungseinrichtung (8) das Bild des virtuellen Objekts (3') als ein erwartetes Bild des Objekts (3) in dem Arbeitsbereich des Mehrachs-Industrieroboters (2) mit dem Bild des realen Objekts (3) verglichen wird, anschließend eine Stellungsabweichung (PD) des Mehrachs-Industrieroboters (2) von dem virtuellen Roboter (2') aus einem Unterschied zwischen dem Bild des virtuellen Objekts (3') und dem Bild des realen Objekts (3) mittels der als Vergleichseinrichtung arbeitenden Bildverarbeitungseinrichtung (8) bestimmt wird und dann Bewegungen zur Minimierung der...

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Steuern eines Handhabungsgeräts, wie eines Mehrachs-Industrieroboters.
Verfahren und/oder Vorrichtungen zum Steuern von Roboterarmen sind beispielsweise aus der DE 198 14 779 A1 , DE 44 21 699 A1 , DE 198 26 395 A1 , WO 2003/034165 A1 , DE 101 33 624 A1 , US 5,579,444 A , US 5,231,693 A und EP 0 796 704 A1 bekannt.
In „IEEE Journal of Robotics and Automation”, Vol. RA-3, No. 5, October 1987, S. 404–417 wird ein sensorbasiertes Robotersteuerungsverfahren mit optischem Feedback beschrieben.
Die DE 101 59 574 A1 beschreibt ein Verfahren zur dreidimensionalen Korrektur einer Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstücken einerseits, und Greifer oder Werkzeugen andererseits, mit einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstück reproduzierbar beweglich ist.
Die DE 102 00 534 A1 beschreibt ein Verfahren zum kollisionsfreien Bewegen wenigstens zweier gegeneinander bewegbarer Gegenstände, insbesondere von Teilen einer medizinischen Untersuchungs- und/oder Behandlungseinrichtung, bei dem an einem Monitor eine dreidimensionale Simulationsdarstellung der Gegenstände in ihrer aktuellen, stehenden Ist-Position angezeigt wird, wobei die Gegenstände im Rahmen der Simulation bezüglich einander unter kontinuierlicher Darstellung der Simulations-Position bis in eine gewünschte Simulations-Soll-Position bewegt werden, wonach die realen Gegenstände nach vorheriger automatischer Bestimmung eines kollisionsfreien Bewegungswegs automatisch in die im Rahmen der Simulation eingenommene Soll-Position bewegt werden.
Automatisierte Handhabungsgeräte, wie Mehrachs-Industrieroboter, im Folgendem auch kurz als Roboter bezeichnet, werden heutzutage auf vielfältigen Gebieten der Technik zum Handhaben und Bearbeiten von Objekten, wie Werkstücken, eingesetzt. Die erforderliche Programmierung der Roboter verlagert sich dabei immer mehr in die virtuelle Welt, wobei in zunehmendem Maße vollständige Prozessabläufe unter Verwendung von Roboterprogrammen und Positionslisten erzeugt werden. Die hierbei bestimmten Stellungsdaten des (virtuellen) Roboters sind jedoch im Allgemeinen in einer realen Anlage nicht zu gebrauchen, weil das dem Roboterprogramm zugrundeliegende Robotermodell aufgrund der konkreten Montage des Roboters und den physikalischen Gegebenheiten seiner kinematischen Kette (Spiel, Reibungsverluste, Montageungenauigkeiten usw.) nicht genau genug ist. Daher müssen in der Praxis oft sämtliche Positionen (Stellungen des Roboters) manuell korrigiert werden. Ein derartiger Korrekturvorgang ist sehr arbeits- und zeitaufwändig und erfordert für jede einzelne Position durchschnittlich einen Zeitaufwand im Minutenbereich, so dass sich bei gewöhnlichen Prozessaufgaben mit einer Vielzahl von Positionen leicht mehrere Mannstunden an manueller Arbeit ergeben.
Ausgehend von dieser Problematik liegt der Erfindung die Aufgabe zugrunde, die Roboterprogrammierung zu beschleunigen und dabei insbesondere Zeiten zwischen Programmierung und Ausführung des Programms zu verkürzen, indem eine Möglichkeit zur automatischen Positionsanpassung geschaffen wird.
Diese Aufgabe wird mittels eines Verfahrens zum Steuern eines Mehrachs-Industrieroboters gelöst, aufweisend einen Roboterarm und eine am Roboterarm befestigte Kamera zum Aufnehmen eines Bildes eines realen Objekts in einem den Mehrachs-Industrieroboter umfassenden Arbeitsbereichs, und ein Simulationssystem, welches aus einer virtuellen Stellung eines virtuellen Roboters, eines virtuellen Objekts und einer virtuellen Kamera in Abhängigkeit von Positionsdaten für eine Soll-Stellung des Roboters ein Bild des virtuellen Objekts erzeugt, wobei zunächst mittels einer Bildverarbeitungseinrichtung das Bild des virtuellen Objekts als ein erwartetes Bild des Objekts in dem Arbeitsbereich des Mehrachs-Industrieroboters mit dem Bild des realen Objekts verglichen wird, anschließend eine Stellungsabweichung des Mehrachs-Industrieroboters von dem virtuellen Roboter aus einem Unterschied zwischen dem Bild des virtuellen Objekts und dem Bild des realen Objekts mittels der als Vergleichseinrichtung arbeitenden Bildverarbeitungseinrichtung bestimmt wird und dann Bewegungen zur Minimierung der Stellungsabweichung durchgeführt werden.
Eine Vorrichtung zum Steuern eines Mehrachs-Industrieroboters weist zur Lösung der Aufgabe einen Roboterarm auf und eine am Roboterarm befestigte Kamera zum Bereitstellen eines Bildes eines realen Objekts in Abhängigkeit von einer realen Stellung des Mehrachs-Industrieroboters, ein Simulationssystem zum Bestimmen eines Bildes eines virtuellen Objekts als ein erwartetes Bild des Objekts in Abhängigkeit von einer vorgegebenen Stellung des Mehrachs-Industrieroboters, und eine als Vergleichseinrichtung für das reale Bild und das erwartete Bild arbeitende Bildverarbeitungseinrichtung zum Ermitteln einer Stellungsabweichung des Mehrachs-Industrieroboters, wobei ein Ausgangssignal der Vergleichseinrichtung zum Minimieren der Stellungsabweichung nutzbar ist, und die Vorrichtung zum Steuern des Mehrachs-Industrieroboters außerdem eingerichtet ist, ein erfindungsgemäßes Verfahren durchzuführen.
Mit dem erfindungsgemäß möglichen Vergleich von Ist- und Sollbildern (realen bzw. erwarteten Bildern) können beispielsweise folgende Bereiche eine erhebliche Vereinfachung und Praktikabilitätssteigerung erfahren: An- und Abwesenheitskontrolle von Objekten, Erkennung von Relativlagen, wie Verschiebungen, Verdrehungen und Abständen, sowie Qualitätskontrolle.
Um im Zuge des erfindungsgemäßen Verfahrens die Vorteile einer realitätsnahen Bilderzeugung moderner 3D-Robotersimulationssysteme zu nutzen, ist vorgesehen, dass das erwartete Bild in Abhängigkeit von einer Stellung des Handhabungsgeräts anhand eines Modells des Handhabungsgeräts virtuell bestimmt wird. Das reale Bild wird vorzugsweise von einer an dem Handhabungsgerät angeordneten Bildgebungseinheit geliefert. Auf diese Weise ist es möglich, Bilddaten virtueller/simulierter Kameras, d. h. Ansichten der virtuellen Welt mit denen realer Kameras zu vergleichen, um daraus (auf einfache Weise) Informationen bezüglich einer Stellungsabweichung des Handhabungsgeräts zu gewinnen.
Eine äußerst bevorzugte Weiterbildung des erfindungsgemäßen Verfahrens sieht vor, dass zur Minimierung der Stellungsabweichung eine Stellung des Handhabungsgeräts verändert wird. Alternativ oder zusätzlich hierzu kann zur Minimierung der Stellungsabweichung auch das Objekt und/oder ein Abbild des Objekts bewegt werden. Demgemäß liegt ein besonderer Gesichtspunkt des erfindungsgemäßen Verfahrens in dessen Anwendbarkeit innerhalb eines geschlossenen Kreises, d. h. innerhalb eines Steuerungsablaufs, bei dem sowohl die das erwartete Bild liefernde Bestimmungseinrichtung als auch die das reale Bild liefernde Bildgebungseinrichtung von einer Kinematik des Handhabungsgeräts mitgeführt werden und dabei iterativ der Vergleich von Ist- und Sollbild stattfindet, woraus eine neue Stellung der Bildgebungseinrichtung (entweder der virtuellen oder der realen) zur Minimierung des Bildunterschieds bzw. der Stellungsabweichung berechnet werden kann. Auf diese Weise ergibt sich ein geschlossener Kreis, der z. B. für die Realisierung neuer Verfahren zur automatischen Kalibrierung oder Ausrichtung, also einer Objekt-relativen Selbstjustage von Robotersystemen verwendet werden kann, so dass anschließend Objekte automatisch, ohne manuelle Positionskorrekturen richtig gegriffen und/oder bearbeitet werden können. Da sie aufgrund der hohen Bewegungsgenauigkeit moderner Industrieroboter erwartete und reale Bilder im Allgemeinen nicht sehr stark unterscheiden werden, können beim Vergleich der Bilder relativ einfache, an sich bekannte Verfahren, wie Korrelationsverfahren, zum Einsatz kommen, die gerade aus diesem Grund für einen Einsatz in einem geschlossenen erfindungsgemäßen Regelkreis prädestiniert sind.
Weiterhin kann im Zuge des erfindungsgemäßen Verfahrens vorgesehen sein, dass als Stellungsabweichung eine im wesentlichen exakte sechsdimensionale Stellungsdifferenz des Roboters ermittelt wird, so dass anschließend ein direktes Verfahren des Handhabungsgeräts um die Stellungsdifferenz möglich ist.
Um während des Anfahrens einer Zielposition durch das Handhabungsgerät keine zeitlichen Nachteile in Kauf nehmen zu müssen, sieht eine äußerst bevorzugte optionale Ausgestaltung des erfindungsgemäßen Verfahrens vor, dass die Minimierung der Stellungsabweichung im Wesentlichen in Echtzeit während einer übergeordneten Bewegung des Handhabungsgeräts erfolgt. Entsprechend ist bei einer erfindungsgemäßen Vorrichtung durch das Ausgangssignal eine Bewegung des Handhabungsgeräts und/oder des Objekts in Echtzeit beeinflussbar. Alternativ oder zusätzlich hierzu ist es auch möglich, die Minimierung der Stellungsabweichung durch Anpassen zumindest des zugrundeliegenden Modells des Handhabungsgeräts – also dauerhaft – vorzunehmen. Entsprechend kann alternativ und/oder zusätzlich das Modell zumindest des Handhabungsgeräts sowie ggf. einer dieses umfassenden Anlage durch das Ausgangssignal nachhaltig so angepasst werden, dass aufgrund der entsprechenden Modifikation der Modelldaten die Hardware der erfindungsgemäßen Vorrichtung anschließend zur weiteren Verwendung mit anderen Handhabungsgeräten und Arbeitsbereichen (Arbeitszellen) zur Verfügung steht.
Im Rahmen konkreter Ausgestaltungen der erfindungsgemäßen Vorrichtung ist vorgesehen, dass die Bildgebungseinrichtung eine an dem Handhabungsgerät angeordnete Kamera und dass die Bestimmungseinrichtung zum virtuellen Bestimmen des erwarteten Bildes anhand eines Modells zumindest des Handhabungsgeräts und ggf. des dieses umfassenden Arbeitsbereichs (Arbeitszelle) ausgebildet ist.
Um eine möglichst einfache, flexible, kostengünstige und integrierte Ausgestaltung der erfindungsgemäßen Vorrichtung zu erreichen, sieht eine weitere Ausgestaltung der erfindungsgemäßen Vorrichtung vor, dass eine Steuerungseinrichtung des Handhabungsgeräts programmtechnisch zugleich als Vergleichseinrichtung und als Bestimmungseinrichtung ausgebildet ist.
Weitere Eigenschaften und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen anhand der Zeichnungen. Es zeigt:
1 eine schematische Gesamtdarstellung der erfindungsgemäßen Vorrichtung;
2 eine schematische Darstellung zu erwartender Bildunterschiede zwischen erwartetem und realem Bild;
3 ein Ablaufdiagramm des erfindungsgemäßen Verfahrens;
4 einen schematisierten Programmablauf zur Einbindung des erfindungsgemäßen Verfahrens in ein Bewegungsprogramm eines Roboters;
5 eine schematische Aufsicht auf eine Roboterzelle, in der das erfindungsgemäße Verfahren bzw. die erfindungsgemäße Vorrichtung zum Einsatz kommt; und
6 eine schematische Darstellung einer Weiterbildung der im Rahmen des erfindungsgemäßen Verfahrens stattfindenden Positions- und Orientierungsbestimmung;
Die 1 zeigt anhand eines Ausführungsbeispiels eine technische Realisierung einer erfindungsgemäßen Vorrichtung 1. Hierbei sind sämtliche erforderliche Komponenten der Vorrichtung als einzelne, getrennte Frunktionseinheiten dargestellt; auf eine Darstellung einer in der Praxis erstrebenswerten Integration der verschiedenen Teilsysteme wurde lediglich aus Gründen der Übersichtlichkeit verzichtet.
Die erfindungsgemäße Vorrichtung 1 weist gemäß der 1 ein Handhabungsgerät in Form eines Mehrachs-Industrieroboters 2 mit Arbeitsbereich A auf. Der Roboter 2 besitzt einen (realen) Roboterarm 2.1, an dessen distalem Ende 2.1a ein Roboterwerkzeug 2.2, wie ein Schneidwerkzeug, Greifwerkzeug oder dergleichen, und eine Bildgebungseinrichtung in Form einer (realen) Kamera 2.3 angeordnet sind. Im Arbeitsbereich A des Roboters 2, in der Nähe des Roboterwerkzeugs 2.2, befindet sich ein Objekt 3, beispielsweise ein Werkstück, das mittels eines geeigneten Fördermittels 4, wie eines Bandförderers, relativ zu dem Roboter 2 bzw. dessen Werkzeug 2.2 beweglich ist. Die Kamera 2.3 ist derart am Roboterarm 2.1 befestigt, dass mit ihrer Hilfe ein reales Bild des Objekts 3 aufgenommen werden kann, was in der 1 durch den schraffierten Bereich B ausgedrückt ist.
Dargestellt ist in 1 weiterhin ein 3D-Simulationssystem 5 in Form einer Rechnereinheit zum Erzeugen eines virtuellen Abbildes V des realen Roboters 2 mitsamt den weiteren in seinem Arbeitsbereich A befindlichen Gegenständen und Einrichtungen, wie dem Werkzeug 2.2 der Kamera 2.3, dem Objekt 3 und dem Fördermittel 4, zu erzeugen. Das virtuelle Abbild V ist in der 1 zwecks Veranschaulichung des Erfindungsgegenstandes auf einer mit dem Simulationssystem 5 verbundenen Anzeigeeinheit 6 dargestellt.
Das virtuelle Abbild V umfasst entsprechend der Realität einen virtuellen Roboter 2'' mit virtuellem Roboterarm 2.1', ein virtuelles Werkzeug 2.2', eine virtuelle Kamera 2.3', ein virtuelles Objekt 3' sowie ein virtuelles Fördermittel 4'. Gezeigt sind weiterhin eine Steuerungseinrichtung 7 für den Roboter 2 sowie eine Vergleichseinrichtung 8 in Form einer Bildverarbeitungseinrichtung. Die Steuerungseinrichtung 7 ist über Leitungen 7.1, 7.2, 7.3 mit dem Roboter 2, dem Simulationssystem 5 bzw. der Bildverarbeitungseinrichtung 8 verbunden. Von Letzterer führen weitere Leitungen 8.1, 8.2 zu der realen Kamera 2.3 bzw. der virtuellen Kamera 2.3', wobei die Leitung 8.2 als rein virtuelle Verbindung in 1 lediglich zu Anschauungszwecken konkret dargestellt ist, während in der technischen Realisierung der erfindungsgemäßen Vorrichtung entsprechende Daten der virtuellen Kamera 2.3' in dem Simulationssystem 5 erzeugt und entsprechend über die Leitungen 7.2, 7.3 an die Bildverarbeitungseinrichtung 8 geliefert werden. Entsprechend lässt sich das Simulationssystem 5 zusammen mit der virtuellen Kamera 2.3' und der (virtuellen) Leitung 8.2 als Bestimmungseinrichtung für virtuelle Stellungen bzw. aus derartigen Stellungen des virtuellen Roboters 2' aufgenommenen Bilder verstehen.
Die Bildverarbeitungseinrichtung 8 empfängt somit zum einen über die Leitung 8.1 die (realen) Bilddaten der Kamera 2.3, die gemäß der Darstellung der 1 ein reales Bild des Objekts 3 in Abhängigkeit von einer Stellung des Roboters 2 beinhalten. Zugleich empfängt die Bildverarbeitungseinrichtung 8 über die gedachte Leitung 8.2 Bilddaten der virtuellen (simulierten) Kamera 2.3', die durch das Simulationssystem 5 in Abhängigkeit von Positionsdaten für eine Sollstellung (Solldaten) des Roboters 2 erzeugt werden. Diese Solldaten werden von der Steuerungseinheit 7 über die Leitungen 7.1, 7.2 zugleich an den Roboter 2 selbst sowie an das Simulationssystem 5 geliefert. Entsprechend der Solldaten verfährt der Roboter 2, beispielsweise mit der Spitze des Werkzeugs 2.2 (TCP: Tool Center Point), in eine vorbestimmte Stellung, was ihm jedoch aufgrund unvermeidlicher physikalischer Ungenauigkeiten seines Bewegungsablaufs (bedingt durch Fertigungstoleranzen, Reibungseffekte oder dergleichen) nur unvollkommen gelingt. Zugleich erzeugt das Simulationssystem 5 anhand derselben Solldaten und ausgehend von einem in dem Simulationssystem gespeicherten Robotermodell in der virtuellen Welt V dieselbe Sollstellung bei dem virtuellen Roboter 2' und bestimmt die zugeordneten zu erwartenden Bilddaten aus Sicht der virtuellen Kamera 2.3'.
Die Kamera 2.3 am Ende der kinematischen Kette des Roboters 2 nimmt ein reales Bild im Arbeitsbereich A des Roboters 2 auf, das – wie vorstehend erwähnt – zur Bildverarbeitungseinrichtung 8 weitergeleitet wird. Idealerweise wird der Bildinhalt dieses realen Bildes von einem relevanten Objekt 3 im Vordergrund beherrscht und nicht von der weiteren Umgebung des Arbeitsbereiches A. Vorteilhaft ist es weiterhin, kontrast- bzw. kantenreiche Regionen zu beobachten. Die konkrete Struktur der in der 1 gezeigten erfindungsgemäßen Vorrichtung sorgt durch die Verbindung 7.2 dafür, dass die Stellung des realen Roboters 2 hinsichtlich der verwendeten Steuerungsdaten (Positionsdaten) mit derjenigen innerhalb des 3D-Simulationssystems 5 identisch ist. Hierbei ist es alternativ zu den vorstehend gemachten Aussagen auch möglich, dass die Sollstellung ursprünglich von dem Simulationssystem 5 und nicht von der Robotersteuerung 7 generiert wird. Auf diese Weise stehen der simulierte virtuelle Roboter 2' und die virtuelle Kamera 2.3' bei einer dem realen Roboter 2 und der Kamera 2.3 entsprechenden Ideal-Stellung. Dementsprechend erzeugt die virtuelle Kamera 2.3' in der virtuellen Welt V ein Bild, auf dem der Roboter 2' die Sollstellung in idealer Weise korrekt anfährt bzw. angefahren hat. Dieses (virtuelle) Bild wird – wie vorstehend bereits erläutert – ebenfalls zur Bildverarbeitungseinrichtung 8 übertragen.
Erfindungsgemäß lassen sich mittels des 3D-Simulationssystems 5, z. B. einem Roboter-Simulationssystem, hochqualitative, virtuelle Ansichten mittels ”virtueller Kameraobjekte” innerhalb einer dynamischen, realitätsnahen Simulation erzeugen. Dabei wird insbesondere auf den Beleuchtungsverhältnissen die in einer realen Anlage vorliegende Rechnung getragen, indem innerhalb der virtuellen Welt entsprechend virtuelle Lichtquellen angeordnet werden, mittels derer die Lichtverhältnisse auf dem simulierten Objekt 3' realitätsnah nachempfunden werden.
Die virtuellen Kamerabilder liefern daher ein Echtzeit-Bild aus der simulierten Welt V und stellen auf diese Weise Sollzustände bzw. die entsprechenden erwarteten Bilder dar, die anschließend in einem zweiten Schritt in, der Vergleichseinrichtung 8 mit Bilddaten der realen Kamera 2.3 verglichen werden können. Die gute Qualität der errechneten Bilder und die gleichzeitige Modellierbarkeit beispielsweise von Kameraverzerrungen ermöglicht auf diese Weise ein einfaches Korrelieren der realen und der erwarteten (virtuellen) Bilder. Somit ist die als Vergleichseinrichtung arbeitende Bildverarbeitungseinrichtung 8 in der Lage, mittels Korrelationsverfahren Ausgangssignale zu erzeugen, die sich aus einer Stellungsabweichung des realen Roboters 2 gegenüber zu einem virtuellen Abbild 2' ergeben und die über die Leitung 7.3 der Steuerungseinrichtung 7 zuführbar und dort entsprechend zu einer Stellungskorrektur des Roboters 2 nutzbar sind. Das Ergebnis der Bildverarbeitung ist im Idealfall direkt eine exakte mehrdimensionale Stellungsabweichung PD des realen Roboters 2, vorzugsweise eine sechsdimensionale Abweichung im Falle eines Sechsachs-Industrieroboters. Die Stellungsabweichung PD kann erfindungsgemäß auf verschiedene Weisen verwendet werden, um die Unterschiede zwischen realen und virtuellen Bilddaten und darüber letztendlich die Stellungsabweichung PD selbst zu minimieren:

1. Bewegen des Roboters 2 um PD;
2. Verschieben des virtuellen Objekts 3' um PD;
3. Verschieben des realen Objekts 3 um PD^–1.

Im Falle eines Bewegens des realen Roboters 2 kann eine gewünschte Position bezüglich des Objekts 3 einmalig richtig angefahren werden, wobei jedoch der entsprechende Korrekturvorgang bei jeder neuen Position erneut ausgeführt werden muss. Im Falle eines Bewegens eines realen Objekts 3 wird dessen Zuführung so verändert, dass es stets in einer der Simulation entsprechenden Lage im Arbeitsbereich A des Roboters 2 ankommt; es handelt sich hierbei also um eine nachhaltige Veränderung, durch die Stellungsabweichungen in der Zukunft auch ohne erneute Anwendung des erfindungsgemäßen Verfahrens vernachlässigbar klein werden. Umgekehrt lässt sich auch die Lage des virtuellen simulierten Objekts derart verändern, dass es stets in einer der Realität entsprechenden Lage vorliegt; auch hierbei handelt es sich um eine nachhaltige Veränderung. Entsprechend gilt für zukünftige Stellungsabweichungen das vorstehend Gesagte.
Aufgrund der Tatsache, dass es in den beiden letztgenannten Fällen zu einer nachhaltigen Veränderung der gemäß der 1 in dem Simulationssystem 5 gespeicherten Modelldaten des Roboters 2 selbst sowie dessen Arbeitsbereichs A (Arbeitszelle) kommt, ergibt sich der Vorteil, dass Teile der in 1 gezeigten Hardware, wie die Vergleichseinrichtung 8 und das Simulationssytem 5 – die, wie gesagt, auch zusammen mit der Steuerungseinrichtung 7 integriert und insbesondere als in Letzterer ablaufende Programme ausgebildet sein können – nach einmaliger Durchführung des erfindungsgemäßen Verfahrens wieder verfügbar und entsprechend an anderen Robotern einsetzbar sind.
Die 2 stellt schematisch, jedoch deutlich überzeichnet, die zu erwartenden Bildunterschiede zwischen dem Bild 9 der realen Kamera 2.3 und dem Bild 9' der simulierten Kamera 2.3' an einem einfachen Beispiel dar. In der Praxis besitzen Orientierungsunterschiede – in der 2 anhand eines Verdrehens des realen Bilds 9 aus der Zeichenebene heraus – gegenüber translatorischen Verrückungen eine kleinere Relevanz, was die Bildverarbeitung in der Vergleichseinrichtung 8 (1) entlastet, so dass hier schnellere Verfahren zum Einsatz kommen können.
Die 3 zeigt anhand eines Ablaufdiagramms detailliert den Ablauf des erfindungsgemäßen Verfahrens zum Steuern eines Handhabungsgeräts, wie es insbesondere bei Verwendung einer erfindungsgemäßen Vorrichtung gemäß der 1 durchführbar ist. Zunächst werden in Schritt S1 und Schritt S2 ein virtuelles Bild bzw. ein reales Bild durch die Kamera 2.3' bzw. 2.3 (1) bereitgestellt. Anschließend erfolgt in Schritt S3 ein Bildvergleich, insbesondere in der Vergleichseinrichtung 8 der 1, dessen Ergebnis die Stellungsabweichung PD ist. Anhand einer konkreten Beschaffenheit von PD erfolgt in Schritt S4 die Abfrage, ob die ermittelte Stellungsabweichung klein genug ist. Ist dies der Fall (j), so wird das erfindungsgemäße Verfahren, das sich auch als Kalibriervorgang bezeichnen lässt, in Schritt S5 beendet. Anderenfalls (n), d. h. im Falle einer zu großen Abweichung erfolgt in Schritt S6 eine weitere Abfrage, auf welche der drei vorstehend angesprochenen Arten eine Minimierung der Stellungsabweichung PD erfolgen soll. Im Falle einer ersten Alternative (1) wird in Schritt S7 eine Stellung des Roboters angepasst, indem die aktuelle Position der realen Kamera 2.3 (1) um PD verändert wird. Im Zuge einer zweiten Alternative (2) wird zunächst aus PD eine inverse Abweichung PD^–1 bestimmt (Schritt S8; z. B. durch Matrix-Inversion) und danach die Lage des realen Objektes 3 (1) um PD^–1 verschoben (Schritt S9). Als dritte Alternative (3) kann das virtuelle Objekt 3' (1) um PD verschoben werden (Schritt S10). In den Fällen der Alternativen (1) und (2) wird nach erfolgtem Verschieben in Schritt S2 erneut ein reales Bild durch die Kamera 2.3 (1) aufgenommen und in Schritt S3 ein erneuter Bildvergleich mit dem virtuellen Bild vorgenommen. Entsprechendes gilt im Falle der Alternative (3) für das virtuelle Bild. Anschließend wird der Verfahrensablauf mit der Abfrage in Schritt S4 so lange iterativ wiederholt, bis die Abfrage S4 bejaht wird (j), d. h. bis eine hinreichend kleine Stellungsabweichung PD für den realen Roboter 2 (1) erreicht ist. Mit anderen Worten: Aus den in den Schritten S7, S9 und/oder S10 durchgeführten Verschiebungen ergeben sich Stellungs- und dadurch bedingt Bildänderungen, die zu einer verbesserten Übereinstimmung von virtuellem und realem Bild führen. Der Vorgang wird so lange wiederholt, bis die Bildunterschiede hinreichend klein sind oder sich nicht mehr substantiell verbessern.
Die 4 stellt einen schematisierten Programmablauf dar, mit dem eine einfache Möglichkeit der Einbindung des erfindungsgemäßen Verfahrens in ein Bewegungsprogramm 10 für den Roboter 2, wie es beispielsweise in der in 1 gezeigten Steuerungseinrichtung 7 abläuft, gezeigt werden soll. Dabei führt der Roboter aufgrund der Anweisungen des Bewegungsprogramms 10 eine bezüglich der erfindungsgemäßer Stellungskorrektur übergeordnete Bewegung, wie zum Ergreifen eines Werkstücks, aus. Während der in 3 als ”calibrate” bezeichneten Anweisung (fett gesetzt), wird das vorstehend anhand der 4 erläuterte erfindungsgemäße Verfahren ausgeführt. Danach ist der Roboter relativ zum Objekt genau ausgerichtet, und die Funktion ”calibrate” liefert als Ausgabe die ermittelte Positionsdifferenz PD bezüglich der ursprünglich geplanten Position in Weltkoordinaten. Dabei werden anschließende Bewegungen des Roboters (”move”) mittels einer homogenen Transformation (Operator ”@”) um PD verschoben. Wird das erfindungsgemäße Verfahren nur einmal zur Justage, wie vorstehend anhand einer Anpassung von Modellparametern-beschrieben, eingesetzt, so wird der vorstehend beschriebene Vorgang nicht innerhalb des Programmablaufs des Bewegungsprogramms 10, sondern offline durchgeführt. Dabei handelt es sich um einen gesonderten Offline-Prozess, bei dem die relevanten Parameter angepasst werden, die anschließend im Programmablauf analog der 4 Verwendung finden.
Die 5 zeigt eine schematische Aufsicht auf einen Arbeitsbereich A des Roboters 2 und beschreibt eine weitere erfindungsgemäße Vorrichtung 1', deren Ausgestaltung im Wesentlichen derjenigen der 1 entspricht. Dementsprechend sind für entsprechende Zeichnungselemente dieselben Bezugszeichen verwendet worden. Die Darstellung der Verbindung 8.2 zwischen Simulationssystem 5 und Vergleichseinrichtung 8 als gestrichelte Linie soll den bereits vorstehend anhand der 1 beschriebenen virtuellen Charakter dieser Verbindung verdeutlichen.
Zusätzlich zu der bereits anhand der 1 detailliert beschriebenen, am distalen Ende 2.1 des Roboters 2 montierten Kamera 2.3 weist die erfindungsgemäße Vorrichtung 1' gemäß der 5 zusätzlich statisch montierte Bildgebungseinrichtungen 11, 11 in Form von Kameras auf, die ebenso wie die Kamera 2.3 über eine Leitung 8.1 mit der Vergleichseinrichtung 8 verbunden sind. Eine der beiden in der 5 gezeigten statisch montierten Kameras 11, 11' ist oberhalb des Fördermittels 4 an einer Halteeinrichtung 12 in Form eines Portalrahmens montiert, während die andere statische Kamera seitlich des Fördermittels 4 angeordnet ist, beispielsweise an einem Pfosten.
Die statisch montierten Kameras 11, 11' nehmen die Objekte 3 dabei nur aus einer konstanten Distanz auf. Die so gewonnen realen Bilder können ergänzend zu dem bereits erläuterten erfindungsgemäßen Verfahren mit in der Vergleichseinrichtung 8 abgelegten erlernten Mustern verglichen werden. Dagegen werden die von der Kamera 2.3 am Roboter 2 gelieferten Bilder mit Ansichten verglichen, die – wie vorstehend anhand der 1 erläutert – aus einer Simulation stammen, wodurch sich der Roboter 2 relativ zu den Objekten 3 passend ausrichten kann. Der ebenfalls vorstehende erläuterte iterative Prozess, der jeweils zum Einsatz kommt, führt zu einer optimalen Übereinstimmung zwischen virtuellem und realem Bild, so dass die relative Stellung des Roboters 2 einer durch eine Offline-Programmierung vorgegebenen Stellung bestmöglich entspricht.
Das erfindungsgemäße Verfahren zum Steuern eines Handhabungsgeräts verbunden mit einer Minimierung ermittelter Stellungsabweichungen kann auch gemeinsam mit Triangulationsverfahren zur Abstandsbestimmung angewendet werden, mit deren Hilfe sich die Auflösung einer Abstandsbestimmung verbessern lässt. Erfindungsgemäß wird hierbei die ohnehin vorhandene Kamera 2.3, 11, 11' zur Aufnahme des Objekts 3 verwendet, wobei das Objekt 3 mit einem Laserpunkt oder mit strukturiertem Licht beleuchtet wird. Die somit erreichbare verbesserte Abstandsauflösung wird in Schritt S3 der 3 zur genauen Bestimmung der Stellungsabweichung PD benutzt und so in das erfindungsgemäße Verfahren eingebunden. Die 6 stellt schematisch eine solche Entfernungsmessung unter Verwendung von strukturiertem Licht, hier mit einem Linienmuster L, L', dar. Zu diesem Zweck weist eine erfindungsgemäße Vorrichtung 1, 1' zusätzlich eine Lichtquelle 13 auf, die zum Aussenden geeignet strukturiertem Lichts ausgebildet ist und mit deren Hilfe das Objekt 3 bzw. dessen Oberfläche 3a beleuchtet wird. Die Kamera 2.3, 11, 11' ist dabei abseits einer optischen Achse O der Lichtquelle 13 angeordnet.
Aufgrund der Tatsache, dass die Kamera 2.3, 11, 11' nicht auf der optischen Achse O der Lichtquelle 13 liegt, ergibt sich je nach Betrachtungswinkel α ein Linienmuster L, L' auf dem Objekt 3, aus dem sich in an sich bekannter Weise eine Entfernung und ein Höhenprofil des Objekts 3 bestimmen lässt. Das vorstehend skizzierte Messverfahren kann in die beispielsweise anhand der 3 beschriebene geschlossene erfindungsgemäße Steuerungsschleife eingebunden werden, um so eine ideale Ausrichtung von Roboter 2 und Objekt 3 zu erreichen. Vorteilhafterweise wird hierbei sowohl die Kamera 2.3 als auch die Lichtquelle 13 mitgeführt. Im Unterschied zu direkten Bilddaten, die aus Helligkeits- und Farbwerten bestehen, werden in diesem Falle in der Vergleichseinrichtung 8 (1, 5) Muster ausgewertet, die durch das strukturierte Licht auf der Oberfläche des Objekts erzeugt werden. Entsprechend wird in diesem Fall durch die Simulation ein entsprechendes Höhenprofil des Objekts ermittelt und mit demjenigen realen Höhenprofil verglichen, das sich aus der Beleuchtung des Objekts mit strukturiertem Licht ergibt. Entsprechend der 3 werden anschließend mittels eines iterativen Prozesses die ermittelten Stellungsabweichungen des Roboters relativ zum Objekt bestmöglich ausgeglichen.
Grundlegendes Merkmal der vorstehend detailliert beschriebenen Erfindung ist demnach das Liefern virtueller erwarteter Bilder an eine Vergleichseinrichtung zum Vergleichen mit von einer am Roboter angeordneten Bildgebungseinrichtung aufgenommenen realen Bildern. Das Anpassen einer realen Stellung des Roboters lässt sich auf diese Weise mit wesentlich weniger Parametrisierungsaufwand sowie dynamischer und universeller als bislang bekannt einsetzen. Es ist somit möglich, flexiblere Aufgaben zu erfüllen, ohne zuvor jeweils ein Bildverarbeitungssystem mittels einer Vielzahl realer Bilder neu im Hinblick auf eine bestimmte Verfahrenssituation trainieren zu müssen. Ein weiterer Vorteil besteht darin, dass erfindungsgemäß eine Vergleichsmöglichkeit gegeben ist, ohne dass hierzu jemals reale Bilder, die als Sollbilder geeignet wären, aufgenommen werden müssten. Letzteres wäre zur Realisierung des vorstehend beschriebenen geschlossen Steuerkreises der Erfindung in der Praxis auch gar nicht bzw. nur angenähert möglich, da hierbei ein fragliches Objekt in Abhängigkeit zu einer konkreten realen Stellung des Roboters aus wahlfreien Richtungen betrachtet werden muss.
Erfindungsgemäß kann z. B. eine Kamera am Ende der kinematischen Kette eines Roboters dazu verwendet werden, über einen Vergleich mit einer simulierten Sollansicht eine Ausrichtung des Roboters relativ zu einem Objekt abzuleiten. Auf diese Weise lässt sich insbesondere im Rahmen einer Qualitätssicherung eine bislang unerreichte Genauigkeit und Effizienz erzielen, da die Ansichten der Simulation einem fehlerfreien Ideal, beispielsweise den CAD-Daten eines Werkstücks, entsprechen. Ein Roboter kann auf diese Weise ein Objekt (Werkstück) von allen Seiten inspizieren und ständig Ist-Soll-Vergleiche auswerten, um so etwa Verunreinigungen oder Fertigungstoleranzen des Werkstücks zu erkennen, ohne dass hierzu jemals Aufnahmen eines realen Soll-Objektes angefertigt wurden. Zudem wird die Möglichkeit einer automatischen Selbstjustage (Kalibrierung) mit dem erfindungsgemäßen Verfahren erheblich vereinfacht.
Schließlich führt die Möglichkeit einer nachhaltigen Annäherung von Modell und Realität – wie vorstehend beschrieben – dazu, dass nach Anwendung des erfindungsgemäßen Verfahrens Ungenauigkeiten einer Robotermodernierung derart klein werden können, dass das erfindungsgemäße Verfahren im Zuge weiterer Offline-Programmierung des Roboters nicht erneut angewendet werden muss und die entsprechende Hardware wieder für andere Aufgaben, wie der erfindungsgemäßen Steuerung weiterer Handhabungsgeräte, zur Verfügung steht.
Bezugszeichenliste

1, 1': Vorrichtung
2: realer Roboter
2': virtueller Roboter
2.1: realer Roboterarm
2.1': virtueller Roboterarm
2.1a: distales Ende
2.2: reales Werkzeug
2.2': virtuelles Werkzeug
2.3: reale Kamera
2.3': virtuelle Kamera
3: reales Objekt, Werkstück
3': virtuelles Objekt
3a: Oberfläche
4: reales Fördermittel
4': virtuelles Fördermittel
5: Simulationssystem
6: Anzeigeeinrichtung
7: Steuerungseinrichtung
7.1, 7.2, 7.3: Verbindung
8: Vergleichseinrichtung
8.1, 8.2: Verbindung
9: reales Bild
9': virtuelles Bild
10: Roboterprogramm
11, 11': statische Kamera
12: Halteeinrichtung
13: Lichtquelle
A: Arbeitsbereich
α: Betrachtungswinkel
B: (Bildaufnahme-)Bereich bejahte Abfrage
L, L': Lichtstreifen
n: verneinte Abfrage
O: Optische Achse
PD: Stellungsabweichung, Stellungsdifferenz
PD^–1: inverse Stellungsabweichung
S1–S10: Verfahrensschritte
V: virtuelle Welt

Claims

Verfahren zum Steuern eines Mehrachs-Industrieroboters (2), aufweisend einen Roboterarm (2.1) und eine am Roboterarm (2.1) befestigte Kamera (2.3) zum Aufnehmen eines Bildes eines realen Objekts (3) in einem den Mehrachs-Industrieroboter (2) umfassenden Arbeitsbereichs, und ein Simulationssystem (5), welches aus einer virtuellen Stellung eines virtuellen Roboters (2'), eines virtuellen Objekts (3') und einer virtuellen Kamera (2.3') in Abhängigkeit von Positionsdaten für eine Soll-Stellung des Roboters (2) ein Bild des virtuellen Objekts (3') erzeugt, wobei zunächst mittels einer Bildverarbeitungseinrichtung (8) das Bild des virtuellen Objekts (3') als ein erwartetes Bild des Objekts (3) in dem Arbeitsbereich des Mehrachs-Industrieroboters (2) mit dem Bild des realen Objekts (3) verglichen wird, anschließend eine Stellungsabweichung (PD) des Mehrachs-Industrieroboters (2) von dem virtuellen Roboter (2') aus einem Unterschied zwischen dem Bild des virtuellen Objekts (3') und dem Bild des realen Objekts (3) mittels der als Vergleichseinrichtung arbeitenden Bildverarbeitungseinrichtung (8) bestimmt wird und dann Bewegungen zur Minimierung der Stellungsabweichung (PD) durchgeführt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bewegung zur Minimierung der Stellungsabweichung (PD) eine Korrektur der Stellung des Mehrachs-Industrieroboters (2) ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bewegung zur Minimierung der Stellungsabweichung (PD) eine Verschiebung des realen Objekts (3) ist.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Bewegung zur Minimierung der Stellungsabweichung (PD) eine Verschiebung des virtuellen Objekts (3') ist.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass als Stellungsabweichung (PD) eine im Wesentlichen exakte mehrdimensionale Stellungsdifferenz ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Minimierung der Stellungsabweichung (PD) im Wesentlichen in Echtzeit während einer übergeordneten Bewegung des Mehrachs-Industrieroboters (2) erfolgt.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Minimierung der Stellungsabweichung (PD) durch Anpassen eines Modells zumindest des Mehrachs-Industrieroboters (2) erfolgt.
Vorrichtung zum Steuern eines Mehrachs-Industrieroboters (2), aufweisend einen Roboterarm (2.1) und eine am Roboterarm (2.1) befestigte Kamera (2.3) zum Bereitstellen eines Bildes (9) eines realen Objekts (3) in Abhängigkeit von einer realen Stellung des Mehrachs-Industrieroboters (2), ein Simulationssystem (5) zum Bestimmen eines Bildes eines virtuellen Objekts (3') als ein erwartetes Bild (9') des Objekts (3) in Abhängigkeit von einer vorgegebenen Stellung des Mehrachs-Industrieroboters (2), und eine als Vergleichseinrichtung für das reale Bild (9) und das erwartete Bild (9') arbeitende Bildverarbeitungseinrichtung (8) zum Ermitteln einer Stellungsabweichung (PD) des Mehrachs-Industrieroboters (2), wobei ein Ausgangssignal der Vergleichseinrichtung zum Minimieren der Stellungsabweichung (PD) nutzbar ist, und die Vorrichtung zum Steuern des Mehrachs-Industrieroboters (2) eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen.