Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
GENERATING HOLOGRAMS FOR DISPLAY IN AN AUGMENTED REALITY ENVIRONMENT
Document Type and Number:
WIPO Patent Application WO/2024/104560
Kind Code:
A1
Abstract:
The invention relates to a technical system (1) comprising: • - computing means (2) which are arranged substantially separate from image means (3) of the technical system (1) and which are designed to generate visualization information for an application in an augmented reality and to transmit this information to the image means (3), • - the image means (3) which are designed to generate an image rendition on the basis of the visualization information received from the computing means (2), • - to receive information with regard to a technical module (4) which is designed for operation in a technical plant, in particular a process plant, • - to automatically generate, on the basis of the received information, at least one hologram (18, 19, 20, 21, 22, 23, 24, 25, 26, 27) as visualization information, and • - to transmit the at least one hologram (18, 19, 20, 21, 22, 23, 24, 25, 26, 27) as visualization information for image rendition to the image means (3), wherein the image means (3) are designed to generate an image rendition of the received visualization information for the application in an augmented reality.

Inventors:
LABISCH DANIEL (DE)
SCHERER TIM (DE)
STUTZ ANDREAS (DE)
MACWILLIAMS ASA (DE)
Application Number:
PCT/EP2022/081856
Publication Date:
May 23, 2024
Filing Date:
November 14, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SIEMENS AG (DE)
International Classes:
G05B19/042
Domestic Patent References:
WO2021204587A12021-10-14
Foreign References:
US7787992B22010-08-31
US11461721B22022-10-04
Download PDF:
Claims:
Patentansprüche

1. Technisches System (1) , umfassend:

Rechenmittel (2) , die im Wesentlichen separat von Bildmitteln (3) des technischen Systems (1) angeordnet sind, und die dazu ausgebildet sind, Visualisierungsinformationen für eine Anwendung in einer erweiterten Realität zu erzeugen und diese an die Bildmittel (3) zu übertragen, die Bildmittel (3) , die dazu ausgebildet sind, eine bildliche Wiedergabe auf Grundlage der von den Rechenmitteln (2) empfangenen Visualisierungsinformationen zu erzeugen, dadurch gekennzeichnet, dass die Rechenmittel (2) dazu ausgebildet sind:

- Informationen bezüglich eines technischen Moduls (4) , das für einen Betrieb in einer technischen Anlage, insbesondere einer Prozessanlage, ausgebildet ist, zu empfangen,

- auf Basis der empfangenen Informationen automatisch wenigstens ein Hologramm 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 als Visualisierungsinformation zu erzeugen, und

- das wenigstens eine Hologramm 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 als Visualisierungsinformation zur bildlichen Wiedergabe an die Bildmittel (3) zu übermitteln, wobei die Bildmittel (3) dazu ausgebildet sind, eine bildliche Wiedergabe der erhaltenen Visualisierungsinformationen für die Anwendung in einer erweiterten Realität zu erzeugen.

2. Technisches System (1) nach Anspruch 1, bei dem die Informationen ein teilweises oder vollständiges Bedienen und Beobachten des technischen Moduls (4) ermöglichen.

3. Technisches System (1) nach Anspruch 1 oder 2, bei dem die Rechenmittel (2) dazu ausgebildet sind, das wenigstens eine Hologramm 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 automatisiert an einer Position innerhalb einer Umgebung für die erweiterte Realität anzuordnen.

4. Technisches System (1) nach Anspruch 3, wobei die Rechenmittel (2) dazu ausgebildet sind, für die Anordnung des wenigstens einen Hologramms 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 ein digitales Modell des technischen Moduls (4) zu berücksichtigen .

5. Technisches System (1) nach Anspruch 1 oder 2, bei dem die Rechenmittel (2) dazu ausgebildet sind, das wenigstens eine Hologramm 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 gemäß einer Anweisung durch einen Nutzer des technischen Systems

(1) an einer Position innerhalb einer Umgebung für die erweiterte Realität anzuordnen.

6. Technisches System (1) nach einem der Ansprüche 3 bis 5, welches Erfassungsmittel (9) aufweist, die für eine Erfassung einer eindeutigen Identifizierung von Komponenten des technischen Moduls (4) durch den Operator ausgebildet sind, um das wenigstens eine Hologramm 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 automatisiert an einer Position innerhalb einer Umgebung für die erweiterte Realität anzuordnen, oder um den Operator bei der manuellen Anordnung des wenigstens einen Hologramms 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 innerhalb der Umgebung für die erweiterte Realität zu unterstützen.

7. Technisches System (1) nach einem der Ansprüche 3, 4 oder 6, bei dem die automatisierte Positionierung des wenigstens einen Hologramms 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 im Anschluss durch den Operator anpassbar ist.

8. Technisches System (1) nach Anspruch 6 oder 7, bei dem die Erfassungsmittel (9) dazu ausgebildet sind, die Erfassung der eindeutigen Identifizierung von Komponenten des technischen Moduls (4) durch Verwendung von Kameramitteln (9) durchzuführen, wobei die Kameramittel (9) und die Bildmittel (3) an einer Optikvorrichtung angeordnet sind.

9. Technisches System (1) nach Anspruch 8, bei dem die Optikvorrichtung als ein Smartphone, ein Tablet, ein Notebook, eine Datenbrille oder als Kontaktlinsen für eine erweiterte Realität ausgebildet ist.

10. Technisches System (1) nach einem der Ansprüche 7 bis 9, bei dem die Erfassungsmittel (9) für eine laserbasierte Erfassung von Komponenten (11, 12, 13, 14, 15, 16, 17) des technischen Moduls (4) ausgebildet sind, wobei die Rechenmittel (2) dazu ausgebildet sind, für die Anordnung des wenigstens einen Hologramms 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 die laserbasierte Erfassung der Komponenten (11, 12, 13, 14, 15, 16, 17) , und vorzugsweise zusätzlich eines digitalen Modell des technischen Moduls (4) , zu berücksichtigen.

11. Technisches System (1) nach einem der vorangegangenen Ansprüche mit einem technischen Modul (4) , wobei in dem technischen Modul (4) Positionsinformationen bezüglich Komponenten (11, 12, 13, 14, 15, 16, 17) des technischen Moduls (4) hinterlegt sind, die von den Rechenmitteln (2) des technischen Systems (1) für eine Positionierung des wenigstens einen Hologramms 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 verwendbar sind .

12. Technisches System (1) nach einem der vorangegangenen Ansprüche, bei dem die Informationen wenigstens einen als technische Dienstleistung angebotenen Dienst umfassen, den das technische Modul (4) anbietet, wobei die Rechenmittel (2) dazu ausgebildet sind, bezüglich des Dienstes wenigstens ein Hologramm 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 zu erzeugen, wobei in dem Hologramm 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 vorzugsweise Informationen über eine Beschreibung und/oder einen Zustand, und/oder einen Betriebsmodus und/oder sonstige Parameter des Dienstes enthalten sind.

13. Technisches System (1) nach Anspruch 12, bei dem die Rechenmittel (2) dazu ausgebildet sind, derartige Visualisierungsinformationen zu erzeugen und an die Bildmittel (3) zu übermitteln, dass in der bildlichen Wiedergabe durch die Bildmittel (3) die Komponente (11, 12, 13, 14, 15, 16, 17 ) oder die Komponenten (11, 12, 13, 14, 15, 16, 17) des techni- sehen Moduls (4) , die an der Durchführung des Dienstes beteiligt sind, in der erweiterten Realität durch optische Gestaltungsmittel hervorgehoben werden, insbesondere durch eine farbliche Hervorhebung.

14. Technisches System (1) nach einem der vorangegangenen Ansprüche, bei dem die Informationen wenigstens eine Schnittstelle des technischen Moduls (4) umfassen, wobei die Rechenmittel (2) dazu ausgebildet sind, bezüglich der Schnittstelle wenigstens ein Hologramm 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 zu erzeugen, wobei in dem Hologramm 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 Informationen über eine Bedienbarkeit der Schnittstelle enthalten sind.

15. Technisches System (1) nach einem der vorangegangenen Ansprüche, bei dem die Informationen wenigstens ein Bedienbild zur Bedienung und Beobachtung des technischen Moduls (4) umfassen, wobei die Rechenmittel (2) dazu ausgebildet sind, bezüglich des Bedienbildes ein Hologramm 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 zu erzeugen und als Visualisierungsinformation an die Bildmittel (3) zu übermitteln, derart, dass in der bildlichen Wiedergabe durch die Bildmittel (3) das Bedienbild in einem Bereich vor dem technischen Modul (4) in der erweiterten Realität dargestellt wird.

16. Technisches System (1) nach Anspruch 15, bei dem die Informationen dazu verwendbar sind, den Bereich, in dem das Bedienbild in der erweiterten Realität dargestellt werden soll, vorzugeben, insbesondere dadurch, dass das technische System (1) das technische Modul (4) umfasst, und das technische Modul (4) eine Markierung (8) aufweist, vorzugsweise ein textliches Kennzeichen, und das technische System (1) Kameramittel (9) aufweist, wobei die Kameramittel (9) zur Erfassung der Markierung (8) ausgebildet sind, und wobei durch die Erfassung der Markierung der Bereich, in dem das Bedienbild in der erweiterten Realität dargestellt werden soll, ermittelbar ist .

17. Technisches Modul (4) , das zur Bereitstellung und Übermittelung von Informationen gemäß einem der Ansprüche 1 bis 16 an ein technisches System (1) gemäß einem der Ansprüche 1 bis 16 ausgebildet ist.

18. Technisches Modul (4) gemäß Anspruch 17, welches dazu ausgebildet ist, wenigstens einen Dienst als technische Dienstleistung anzubieten. 19. Verwendung eines technischen Systems (1) nach einem der

Ansprüche 1 bis 16 durch einen Nutzer für die Darstellung einer erweiterten Realität in einer technischen Anlage, insbesondere Prozessanlage oder Fertigungsanlage, die wenigstens ein technisches Modul (4) gemäß Anspruch 17 oder 18 umfasst.

Description:
Beschreibung

Generierung von Hologrammen zur Darstellung in einer Augmented Reality Umgebung

Die Erfindung betri f ft ein System mit den Merkmalen des Oberbegri f fs des Anspruchs 1 und des Anspruchs 2 . Außerdem betri f ft die Erfindung eine Verwendung eines solchen Systems und ein Verfahren mit den Merkmalen des Oberbegri f fs des Anspruchs 13 .

Speziell in der Prozessindustrie werden immer mehr modulare Anlagen bzw . Anlagenteile eingesetzt , um flexibel auf sich ändernde Randbedingungen reagieren zu können . Dahinter steht die Idee , im Zuge einer Umstellung auf ein neues Produkt die Anlage nicht komplett neu zu planen und umzubauen, sondern lediglich einzelne Module umzusortieren bzw . aus zutauschen . Durch die Nutzung weiterer Module kann bei der modulbasierten Anlagenkonzeptionierung eine Erhöhung der Produktionskapazität auf einfache Art und Weise erreicht werden .

Je schneller solche Änderungen erfolgen, desto mehr manuelle Tätigkeiten sind in der Regel erforderlich . Dies schließt nicht nur den Umbau ein . Auch im regulären Betrieb ist es oftmals nicht lohnenswert , j ede Eventualität zu automatisieren . Daher sind auch während der Produktion manuelle Eingri ffe notwendig . Für diese Arbeiten ist es unerlässlich, j ederzeit Transparenz über den aktuellen Anlagenzustand zu besitzen . Dies schließt aktuelle Messwerte , Rezeptparameter und Sollwerte mit ein . Zudem werden in der Regel Arbeitsanweisungen und Dokumentationen benötigt .

Im Rahmen des Betriebs müssen sowohl händische Arbeiten an den Modulen ( Schlauchverbindungen herstellen, Handventile betätigen, Ausgangsstof fe nachfüllen, Produkt abführen, ... ) , als auch Einstellungen an der Automatisierung vorgenommen werden (Änderung von Sollwerten, Rezeptparametern, Ventilstellungen oder sonstiges Ein-/Ausschalten, ... ) . Üblicherweise besitzen die meisten Feldgeräte der Prozessindustrie j edoch kein Display, bzw . das vorhandene Display ist nicht zum dauerhaften Ablesen des Messwerts ausgelegt : Beispielsweise kann es schlecht lesbar sein, eine unergonomische Einbauposition aufweisen oder unbeleuchtet sein . Die Anbringung eines Bildschirms an einem Modul ist ebenfalls nicht immer üblich, da sie mit Kosten einher geht , sowie weitere Rechen- und Kommunikationsmittel und eine entsprechende Software erfordert . Zusätzlich muss der Bildschirm oftmals den j eweiligen Anforderungen des Platzes gerecht werden, an dem das Modul aufgestellt wird ( z . B . den Anforderungen eines Reinraums ) . Je nach örtlicher Situation kann auch ein Display bei den tatsächlichen Arbeiten kaum lesbar oder unergonomisch angebracht sein .

Es ist auch für modulare Anlagen üblich, diese mithil fe eines Leitsystems ( einer Leitwarte ) zu betreiben und dort alle Informationen zusammengefasst darzustellen . Im Falle sehr kleiner Anlagen kann das Leitsystem auch nur aus einem PC- Arbeitsplatz in der Umgebung der Anlage bestehen . Unabhängig davon hat die in der Anlage tätige Person für sie wichtige Informationen wie Messwerte , Rezeptparameter, Dokumente und Anleitungen nicht im direkten Blick . Auch die Einflussnahme auf die Produktion, wie die Veränderung von Sollwerten, Rezeptparametern, etc . ist nur über den Umweg der Leitwarte möglich . Diese bisher bekannten Lösungen sind daher wenig effi zient und im Einzel fall fehleranfällig .

Es ist auch möglich, mittels eines mobilen Endgerätes ( z . B . eines Smartphones oder eines Tablets ) direkt auf das Leitsystem zuzugrei fen . Damit sind ebenfalls aktuelle Informationen aus dem Betrieb der Anlage abrufbar .

Nachteilig ist , dass mit einem kleinen Display nur wenige Informationen gleichzeitig dargestellt werden können, sodass der Überblick fehlt . Zudem ist es nicht möglich, ein Smartphone oder ein Tablet zu halten und gleichzeitig manuelle Aufgaben mit beiden Händen zu erledigen . Auch ein immer wiederkehrendes Ablegen des Smartphones oder des Tablets ist we- nig ef fi zient . Zudem besteht die Gefahr einer Zerstö- rung/Verschmut zung des Smartphones/Tablets .

Alternativ können verfügbare Augmented Reality (AR) Lösungen in modularen Anlagen eingesetzt werden . Diese werden der Flexibilität modularer Anlagen j edoch aktuell nicht gerecht . Zudem müssen sämtliche AR- Informationen manuell generiert und zusammengestellt werden .

Der Erfindung liegt die Aufgabe zugrunde , ein System zur Darstellung einer erweiterten Realität anzugeben, das ef fi zienter und einfacher bedient und benutzt werden kann .

Die zuvor formulierte Aufgabe wird durch ein technisches System mit den Merkmalen des Anspruchs 1 gelöst . Außerdem wird die zuvor formulierte Aufgabe gelöst durch ein technisches Modul gemäß Anspruch 17 . Zudem wird die Aufgabe durch die Verwendung eines technischen Systems gemäß Anspruch 19 gelöst . Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche .

Ein technisches System umfasst :

Rechenmittel , die im Wesentlichen separat von den Bildmitteln angeordnet sind, und die dazu ausgebildet sind, Visualisierungsinformationen für eine Anwendung in einer erweiterten Realität zu erzeugen und diese an Bildmittel zu übertragen, die Bildmittel , die dazu ausgebildet sind, eine bildliche Wiedergabe auf Grundlage der von den Rechenmitteln empfangenen Visualisierungsinformationen zu erzeugen,

Das technische System ist dadurch gekennzeichnet , dass die Rechenmittel dazu ausgebildet sind :

- Informationen bezüglich eines technischen Moduls , das für einen Betrieb in einer technischen Anlage , insbesondere einer Prozessanlage , ausgebildet ist , zu empfangen,

- auf Basis der empfangenen Informationen automatisch wenigstens ein Hologramm als Visualisierungsinformation zu erzeugen, und - das wenigstens eine Hologramm als Visualisierungsinformation zur bildlichen Wiedergabe an die Bildmittel zu übermitteln,

Dabei sind die Bildmittel dazu ausgebildet , eine bildliche Wiedergabe der erhaltenen Visualisierungsinformationen für die Anwendung in einer erweiterten Realität zu erzeugen .

Die Rechenmittel sind von den Bildmitteln (und ggf . von Bilderfassungsmitteln) getrennt ausgebildet , bevorzugt in einer cloudbasierten Umgebung . Beispielsweise für den Fall , dass eine Datenbrille verwendet wird, kann die Rechenkapazität der Datenbrille nicht ausreichen, weshalb die rechenintensiven Identi f ikations- und Grafikoperationen auf einer von der Datenbrille (physikalisch) getrennten Recheneinrichtung ( einem Rechner, Server, Rechnerverbund etc . ) ausgeführt werden . Die Datenbrille bekommt dabei von der Recheneinrichtung die notwendigen grafischen Informationen, um das oder die Hologramme in der erweiterten Realität visuell darzustellen . Dabei kann die Datenbrille einen ( geringen) Teil der Rechenmittel aufweisen, um die von der externen Recheneinrichtung empfangenen Informationen zu verarbeiten .

Das erfindungsgemäße System zeichnet sich durch eine automatische Generierung wenigstens eines Hologramms als Visualisierungsinformation für die Anwendung in einer erweiterten Realität (Augmented Reality, kurz : AR) aus . Das Hologramm wird dabei von den Bildmitteln als zusätzliche Bildinformation der eigentlichen Sicht eines Nutzers des technischen Systems überlagert dargestellt . Dieses Hologramm bezieht sich auf von einem technischen Modul empfangene Informationen . Ein aufwändiges Erstellen und Platzieren von Hologrammen sind bei dem technischen System nicht nötig, wodurch das erfindungsgemäße technische System gerade für den mobilen Einsatz und bei den sich häufig veränderbaren Konfigurationen einer modularen technischen Anlage besonders geeignet ist .

Die Informationen betref fen das technische Modul . Dies bedeutet nicht zwangsweise , dass das technische System die Infor- mationen auch direkt von dem technischen Modul erhält . Vielmehr können die Informationen betref fend das technische Modul dem technischen System beispielsweise von einem Operator einer technischen Anlage zur Verfügung gestellt werden, wobei der Operator die Informationen wiederum von einem Hersteller des technischen Moduls erhalten hat . Es ist aber auch möglich, dass das technische System die Informationen selbständig aus einer Datenquelle , beispielsweise einer Moduldatenbank, in welcher Informationen zu dem technischen Modul hinterlegt sind, bezieht . Diese Moduldatenbank kann von einem Betreiber der technischen Anlage oder von dem Hersteller des technischen Moduls betrieben werden . Die Informationen können aber auch direkt auf dem technischen Modul in einem internen Datenspeicher hinterlegt und von dort von dem technischen System abrufbar oder an dieses übermittelbar sein .

In dem Hologramm können Informationen dargestellt sein, die für eine Identi fikation des technischen Moduls oder einzelner ( Sub- ) Komponenten des technischen Moduls notwendig sind, beispielsweise eine ID / Seriennummer oder ein TAG-Namen .

Das System kann dazu in der Lage sein, seine Umgebung durch Bilderfassungsmittel , beispielsweise eine Fotokamera, eine Videokamera, ein Laserscanner, ein LiDAR-Gerät oder dergleichen, zu erfassen und Obj ekte wie Maschinen, Tanks , Kessel , Rohrleitungen etc . zu erkennen, die in der erfassten Umgebung vorhanden sind . Dabei können die von dem System umfassten Rechenmittel eine Position und/oder eine Erfassungsrichtung der Bilderfassung zu Hil fe , um die erfassten Obj ekte ( eindeutig) zu identi fi zieren . Für die Identi fikation können die Rechenmittel beispielsweise auf eine Anlagendokumentation wie ein Rohrleitungs- und Instrumentierungsschema zurückgrei fen . Dadurch kann eine (manuelle oder automatische ) Platzierung von Hologrammen einfacher vorgenommen werden, worauf im weiteren Verlauf noch eingegangen wird .

Die eigentliche Sicht des Nutzers kann dabei ein unmittelbarer visueller Eindruck der Umgebung sein . Er kann aber auch ein Bild durch die Bildmittel angezeigt bekommen, das aus der bildlichen Erfassung der Bilderfassungsmittel resultiert . Beispielsweise kann er für den Fall , dass die Bilderfassungsmittel als Nachtsichtgerät ausgebildet sind, das von dem Nachtsichtgerät erfasste Bild mit den von den Rechenmitteln identi fi zierten Obj ekten durch die Bildmittel dargeboten bekommen . Die Bildmittel geben in diesem Fall nicht nur die von den Rechenmitteln identi fi zierten Obj ekte , sondern auch die Erfassung der Bilderfassungsmittel , beispielsweise als zweidimensionales Bild auf einem Smartphone , einem Tablet oder einer Datenbrille , dem Nutzer des Systems wieder .

Die Informationen bezüglich des technischen Moduls ermöglichen bevorzugt ein teilweises oder vollständiges Bedienen und Beobachten des technischen Moduls . Hierzu können die Informationen aktuelle Messwerte , Zustände , Meldungen oder Parameter des technischen Moduls bzw . einzelnen ( Sub- ) Komponenten des technischen Moduls darstellen . Sie können aber auch beispielsweise Rohrleitungen sein, die dem Nutzer des technischen Systems einen Überblick über die Zusammenhänge zwischen einzelnen ( Sub- ) Komponenten vermitteln . Um das technische Modul auch bedienbar zu machen, ist das technische System dabei dazu ausgebildet , Eingaben des Nutzers des technischen Systems in der erweiterten Realität zu erfassen und an das technische Modul als Bedienungshandlung zu übermitteln . Hierzu kann beispielsweise ein Tippen eines Fingers des Nutzers des technischen Systems auf das dargestellte Hologramm durch Bilderfassungsmittel erfasst und entsprechend weiterverarbeitet werden .

Im Rahmen einer vorteilhaften Weiterbildung der Erfindung sind die Rechenmittel dazu ausgebildet , das wenigstens ein Hologramm automatisiert an einer Position innerhalb einer Umgebung für die erweiterte Realität anzuordnen . Hierzu können sich die Rechenmittel spezieller Positionsinformationen bedienen, die Teil der von dem technischen Modul empfangenen Informationen sein können . Es ist aber auch möglich, die Positionsinformationen automatisch aus einer anderen Quelle , beispielsweise einer Herstellerdatenbank eines Herstellers des technischen Moduls zu beziehen . Durch die automatisierte Positionierung des Hologramms kann der Nutzer direkt einen Eindruck erhalten, an welcher Position sich beispielsweise eine Pumpe oder ein Ventil des technischen Moduls befinden .

Bevorzugt berücksichtigen die Rechenmittel für die Anordnung des Hologramms ein digitales Modell des technischen Moduls , welches beispielsweise ein CAD-Modell darstellt . Dieses Modell kann den Rechenmitteln wiederum beispielsweise über eine Herstellerdatenbank oder von dem technischen Modul direkt zur Verfügung stehen .

Im Rahmen einer weiteren bevorzugten Weiterbildung der Erfindung sind die Rechenmittel dazu ausgebildet , das wenigstens eine Hologramm gemäß einer Anweisung durch einen Nutzer des technischen Systems an einer Position innerhalb einer Umgebung für die erweiterte Realität anzuordnen . Es kann demnach auch die Option bestehen, dass der Nutzer die Positionierung des Hologramms ( oder einer Mehrheit von Hologrammen) eigenständig vornimmt - als Ersatz oder als Ergänzung einer automatisierten Positionierung durch die Rechenmittel . Dabei kann das technische System es ermöglichen, die Positionierung für einen bestimmten Typ eines technischen Moduls derart zu speichern, dass der Nutzer bei der Integration eines weiteren technischen Moduls , welches den gleichen Typ aufweist , keine erneute Positionierung des Hologramms / der Hologramme vornehmen muss .

Das technische System kann Erfassungsmittel aufweisen, die für eine Erfassung einer eindeutigen Identi fi zierung von Komponenten des technischen Moduls durch den Operator ausgebildet sind, um das wenigstens eine Hologramm automatisiert an einer Position innerhalb einer Umgebung für die erweiterte Realität anzuordnen, oder um den Operator bei der manuellen Anordnung des wenigstens einen Hologramms innerhalb der Umgebung für die erweiterte Realität zu unterstützen .

Die Erfassungsmittel können dazu ausgebildet sein, die Erfassung der eindeutigen Identi fi zierung von Komponenten des technischen Moduls durch Verwendung von Kameramitteln durch- zuführen, wobei die Kameramittel und die Bildmittel an einer ( gemeinsamen) Optikvorrichtung angeordnet sind . Beispielsweise können die Kameramittel eine Kamera umfassen, die das technische Modul oder Komponenten des technischen Moduls über eine Obj ekterkennung identi fi zieren können, wodurch die Positionierung des Hologramms erleichtert werden kann - sowohl die manuelle als auch die automatisierte . Die Optikvorrichtung kann als ein Smartphone , ein Tablet , ein Notebook, eine Datenbrille oder als Kontaktlinsen für eine erweiterte Realität ausgebildet sein .

Die Erfassungsmittel können auch für eine laserbasierte Erfassung von Komponenten des technischen Moduls ausgebildet sein, wobei die Rechenmittel in diesem Fall dazu ausgebildet sind, für die Anordnung des wenigstens einen Hologramms die laserbasierte Erfassung der Komponenten, und vorzugsweise zusätzlich eines digitalen Modell des technischen Moduls , zu berücksichtigen .

Die automatisierte Positionierung des Hologramms kann im Anschluss durch den Nutzer anpassbar sein . Dadurch können fehlerhafte Positionierungen korrigiert oder individuelle Bedürfnisse des Nutzers berücksichtigt werden .

Im Rahmen einer vorteilhaften Weiterbildung der Erfindung weist das technische System ein technisches Modul auf , wobei in dem technischen Modul Positionsinformationen bezüglich Komponenten des technischen Moduls hinterlegt sind, die von den Rechenmitteln des technischen Systems für eine Positionierung des wenigstens einen Hologramms verwendbar sind .

Die Informationen können wenigstens einen als technische Dienstleistung angebotenen Dienst umfassen, den das technische Modul anbietet , wobei die Rechenmittel dazu ausgebildet sind, bezüglich des Dienstes ein Hologramm zu erzeugen, wobei in dem Hologramm vorzugsweise Informationen über eine Beschreibung und/oder einen Zustand, und/oder einen Betriebsmodus und/oder sonstige Parameter des Dienstes enthalten sind . Diese technische Dienstleistung kann an das Service-Konzept gemäß dem VDI /VDE/NAMUR 2658 Standard (Module Type Package ) angelehnt sein . Der Nutzer erhält durch das technische System in ganz besonders vorteilhafter Art und Weise direkt einen Überblick darüber, welche Komponenten des technischen Moduls an der Bearbeitung eines speziellen Dienstes beteiligt sind und wie deren Zusammenwirken ausgebildet ist .

Ganz besonders bevorzugt sind die Rechenmittel dabei dazu ausgebildet , derartige Visualisierungsinformationen zu erzeugen und an die Bildmittel zu übermitteln, dass in der bildlichen Wiedergabe durch die Bildmittel die Komponente oder die Komponenten des technischen Moduls , die an der Durchführung des Dienstes beteiligt sind, in der erweiterten Realität durch optische Gestaltungsmittel hervorgehoben werden, insbesondere durch eine farbliche Hervorhebung . Dadurch kann der Nutzer die Zusammenhänge noch intuitiver erfassen und verarbeiten .

Die Informationen können wenigstens eine Schnittstelle des technischen Moduls umfassen, wobei die Rechenmittel dazu ausgebildet sind, bezüglich der Schnittstelle ein Hologramm zu erzeugen, wobei in dem Hologramm Informationen über eine Bedienbarkeit der Schnittstelle enthalten sind . Dadurch erhält der Nutzer auf intuitive und übersichtliche Art und Weise einen Eindruck über die von dem technischen Modul unterstützten Schnittstellen . Dabei wird dem Nutzer eine Bedienbarkeit der Schnittstelle auf einfache Art und Weise of fenbart .

Die Informationen können ein Bedienbild (Anlagenbild) zur Bedienung und Beobachtung des technischen Moduls umfassen, wobei die Rechenmittel dazu ausgebildet sind, bezüglich des Bedienbildes ein Hologramm zu erzeugen und als Visualisierungsinformation an die Bildmittel zu übermitteln, derart , dass in der bildlichen Wiedergabe durch die Bildmittel das Bedienbild in einem Bereich vor dem technischen Modul in der erweiterten Realität dargestellt wird . Die Informationen können dabei dazu verwendbar sein, den Bereich, in dem das Bedienbild in der erweiterten Realität dargestellt werden soll , vorzugeben, insbesondere dadurch, dass das technische System das techni- sehe Modul umfasst , und das technische Modul eine Markierung aufweist , vorzugsweise ein textliches Kennzeichen, und das technische System Kameramittel aufweist , wobei die Kameramittel zur Erfassung der Markierung ausgebildet sind, und wobei durch die Erfassung der Markierung der Bereich, in dem das Bedienbild in der erweiterten Realität dargestellt werden soll , ermittelbar ist .

Die zuvor formulierte Aufgabe wird zudem gelöst durch ein technisches Modul , das zur Bereitstellung und Übermittlung von Informationen, wie zuvor erläutert , an ein technisches System, wie zuvor erläutert , ausgebildet ist . Das technische Modul ist dabei vorzugsweise dazu ausgebildet , wenigstens einen Dienst als technische Dienstleistung anzubieten .

Die zuvor formulierte Aufgabe wird zudem gelöst durch eine Verwendung eines technischen Systems , wie zuvor erläutert , durch einen Nutzer für die Darstellung einer erweiterten Realität in einer technischen Anlage , insbesondere Prozessanlage oder Fertigungsanlage , die wenigstens ein technisches Modul , wie zuvor erläutert , umfasst .

Diese technischen Anlagen verfügen j eweils über ein Leitsystem oder zumindest ein computerunterstütztes Modul zur Steuerung und Regelung des ablaufenden Prozesses oder der Produktion . Unter einem Leitsystem wird im vorliegenden Kontext ein computergestütztes technisches System verstanden, das Funktionalitäten zum Darstellen, Bedienen und Leiten eines technischen Systems wie einer Fertigungs- oder Produktionsanlage umfasst .

Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise , wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung des Aus führungsbeispiels , das im Zusammenhang mit den Zeichnungen näher erläutert wird . In FIG 1 ist ein technisches System 1 dargestellt , welches der Erzeugung einer erweiterten Realität (AR) für einen Nutzer des technischen Systems dient . Das technische System 1 umfasst Rechenmittel 2 , Bildmittel 3 und ein technisches Modul 4 , in dessen Umgebung die erweiterte Realität dem Nutzer dargeboten wird .

Die Rechenmittel 2 sind in einer cloudbasierten Umgebung 5 realisiert und können beispielsweise einen Personal Computer ( PC ) umfassen . Die Rechenmittel 2 sind mit den Bildmitteln 3 über eine bidirektionale , drahtlose Verbindung 6 (NEC, WiFi , Bluetooth etc . ) verbunden . Die Bildmittel 3 sind als eine Datenbrille ausgebildet . Die Rechenmittel 2 sind dazu ausgebildet sind, Visualisierungsinformationen für eine Anwendung in einer erweiterten Realität zu erzeugen und diese an die Bildmittel 3 zu übertragen, welche dann eine entsprechende bildliche Wiedergabe erzeugen (vgl . FIG 2 ) .

Das technische Modul 4 weist eine Viel zahl von einzelnen Komponenten auf (vgl . FIG 2 ) , die zur Durchführung von prozesstechnischen Funktionen ausgebildet sind . An dem technischen Modul 4 ist ein QR-Code 8 angebracht . Dieser kann von Kameramitteln als Erfassungsmitteln 9 erfasst und ausgelesen werden . Die Kameramittel 9 sind an ( oder in) der Datenbrille 3 , die auch als Bildmittel 3 fungiert , angeordnet . Dem QR-Code 8 entnehmen die Erfassungsmittel 9 in Verbindung mit den Rechenmitteln 2 eine Adresse eines Speichers , in welchem Informationen bezüglich des technischen Moduls 2 hinterlegt sind .

Auf Basis der empfangenen Informationen erzeugen die Rechenmittel 2 automatisch wenigstens ein Hologramm als Visualisierungsinformation und übertragen das Hologramm an die Bildmittel 3 , welche eine entsprechende bildliche Wedergabe in der erweiterten Realität für den Nutzer erzeugen . Diese bildliche Wiedergabe 10 ist in FIG 2 dargestellt .

FIG 2 zeigt eine Viel zahl von ( realen) Komponenten 11 , 12 , 13 , 14 , 15 , 16 , 17 des technischen Moduls 4 , die von dem Nutzer bei Nutzung der Datenbrille 3 zu erkennen sind . Es han- delt sich dabei um reale, physische Objekte, die der Nutzer auch ohne Datenbrille 3 sehen würde. Im Rahmen einer erweiterten Realität sieht der Nutzer eine Vielzahl von Hologrammen 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, die dem eigentlichen Bild des Nutzers überlagert sind. Die Hologramme 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 umfassen dabei jeweils einen zylindrischen Körper und eine eindeutige Kennung des dazugehörigen Objektes (FL1400, PL1200, CB1500, ..) des technischen Moduls 2.

Wählt ein Nutzer das Hologramm 23 „Y14001" und das Hologramm 22 „Y11004" beispielsweise durch ein „Anklicken" in der bildlichen Wiedergabe aus, übermitteln die Bildmittel 3 in Verbindung mit den Rechenmitteln 2 eine entsprechende Bedienungsanforderung an das technische Modul 4 (beispielsweise drahtlos, über WiFi, Bluetooth etc.) , welche der Bedienung des technischen Moduls 4 dient. Die Übertragung kann aber auch drahtgebunden, beispielsweise über eine Verbindung gemäß dem ORC UA Standard, erfolgen.

Die Darstellung der das technische Modul 4 betreffenden Informationen als Hologramme 18, 19, 20, 21, 22, 23, 24, 25, 26, 27 im 3D-Kontext der technischen Anlage hilft dem Nutzer bei der Zuordnung der Größen. Das technische Modul 4 wird sozusagen transparent.

Dienste bzw. Services, die das technische Modul 4 als Dienstleistung anbietet, können in der erweiterten Realität vor dem technischen Modul 4 als Übersicht visualisiert werden. Dabei wird für jeden Service ein Hologramm erzeugt, welches Informationen zur Beschreibung des Service, seinen Zustandsautomat, ein Operation Mode, sowie verschiedene Prozeduren und Parameter enthält, die beispielsweise alle im VDI/VDE/NAMUR 2658 Standard beschrieben sein können. Zudem können alle Schnittstellen des technischen Moduls 4 in der erweiterten Realität Indikationen haben, ob sie gerade bedienbar sind oder nicht. In einer vorteilhaften Erweiterung können die Komponenten im technischen Modul 4 hervorgehoben werden (beispielsweise durch 3-dimensionale Verbindungslinien oder eine farbliche Markierung) , die an einem Service beteiligt sind . Dies kann die Transparenz und das Verständnis beim Nutzer weiter steigern .

Als weitere wichtige Informationen können Bedienbilder, wie sie heute in Leitsystemen von technischen Anlagen genutzt werden, ebenfalls direkt in der erweiterten Realität vor dem technischen Modul 4 dargestellt werden . Vorteilhafterweise können die Bedienbilder für das technische Modul 4 bereits in einer Modulbeschreibung, beispielsweise gemäß dem VDI /VDE/NAMUR 2658 Standard, definiert worden sein . Dafür müssen beispielsweise Anzeigen groß genug dargestellt werden, dass eine Erfassung der Informationen auch aus der Distanz von einigen Metern möglich ist . Zudem müssen Bedienfelder so groß ausgelegt sein, dass sie bei einer Interaktion in der erweiterten Realität zuverlässig bedient werden können . Neben den Bedienbildern können auch Übersichtsbilder definiert und damit generiert werden .

Die Services des technischen Moduls 4 können in der erweiterten Realität , basierend auf einer Low-Code Umgebung, miteinander verbunden werden und so die Anlagen-Produktion orchestriert werden .

Abhängig davon, wie viele Hologramme 18 , 19 , 20 , 21 , 22 , 23 , 24 , 25 , 26 , 27 für die verschiedenen bisher aufgeführten Kategorien erzeugt wurden, können diese separat in verschiedene Layer strukturiert werden, sodass der Nutzer nicht durch die gemeinsame Darstellung aller Informationen überfordert wird . Die automatische Zuordnung kann einfach vom Nutzer verändert werden . Vorteilhafterweise lassen sich alle Hologrammtypen beliebig kombinieren und auch weitere manuell ergänzen, sodass sich nach dem automatischen Erzeugen der Informationen für die j eweiligen Use Cases ideale AR-Umgebungen arrangieren lassen . Auch die Positionierung der Hologramme 18 , 19 , 20 , 21 , 22 , 23 , 24 , 25 , 26 , 27 vor, aber auch in dem technischen Modul 4 kann einfach durch den Nutzer angepasst werden, sodass eine für den Nutzer optimale Anordnung möglich ist . Selbst im Betrieb ist ein einfaches Neupositionieren direkt möglich .

Im Gegensatz zur Nutzung verfügbarer AR-Lösungen reduziert sich bei der Nutzung der beschriebenen Erfindung der Einrichtungsaufwand der AR-Lösung auf ein Minimum . Ohne manuelle Veränderungen entstehen mehrere AR-Sichten auf die Module 4 , die sofort zielgerichtet im Betrieb genutzt werden können . Weitere Optimierungen der Positionen und Zuordnungen sind direkt on-the- fly im Betrieb möglich .

Die automatischen Darstellungen gliedern sich dabei bereits in Informationen, die dem 3D-Anlagenkontext entsprechen (wie die Zuordnung der Messwerte und Bedienfelder direkt an den j eweiligen Assets ) sowie den Bedienbildern, die sich in der Regel an der logischen Struktur des Moduls (R& I Plan) orientieren . Je nach Aufgabe , kann die geeignetere Sichtweise sehr einfach gewechselt werden .

Zu Trainings zwecken kann das gesamte Vorgehen direkt von AR nach VR übertragen werden, sofern ein geeignetes 3D-Modell des oder der Module 4 verfügbar ist . In diesem Fall erfolgt die Interaktion dann beispielsweise mit einem Trainingssimulator, wie S IMIT der Firma S IEMENS . Damit können realistische Trainings erstellt werden, schon bevor die Module tatsächlich gebaut wurden . Selbstverständlich kann dies sowohl in VR- Anwendungen als auch in 2D-Desktopsichten genutzt werden .

Obwohl die Erfindung im Detail durch das bevorzugte Aus führungsbeispiel und die Figuren näher illustriert und beschrieben wurde , so ist die Erfindung nicht durch die of fenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen .