Source: Deutsche Nachrichten
Bei technischen Prüfungen müssen Fachleute häufig mehrere Dinge gleichzeitig im Blick behalten: das reale Prüfobjekt, Sensoren, Messgeräte und die dazugehörigen Messdaten. Die Ergebnisse erscheinen jedoch meist auf einem separaten Bildschirm. Dadurch ist nicht immer sofort klar, welche Information zu welcher Stelle am Objekt gehört.
Das Forschungsprojekt MiwaMix der Gesellschaft zur Förderung angewandter Informatik e. V. (GFaI) untersucht, wie sich dieses Problem mit Mixed Reality lösen lässt. Eine Middleware soll klassische Messsoftware mit verschiedenen Mixed-Reality-Brillen verbinden. Eine zentrale Herausforderung besteht darin, dass sich Mixed-Reality-Brillen hinsichtlich ihrer technischen Schnittstellen und Bedienkonzepte unterscheiden. Die Middleware soll diese Unterschiede vereinheitlichen und damit die Nutzung verschiedener Geräte erleichtern. Messdaten, Ergebnisse und Ortsinformationen können dadurch direkt im Sichtfeld der anwendenden Person und im Zusammenhang mit dem Messobjekt dargestellt werden.
Weitere Informationen zum Projekt: https://www.gfai.de/forschung/projekte/bildverarbeitung/miwamix
Was MiwaMix technisch leistet
Die Middleware bildet eine Brücke zwischen zwei unterschiedlichen Systemwelten. Auf der einen Seite stehen vorhandene Messgeräte und Messprogramme. Auf der anderen Seite befinden sich MR-Brillen, die digitale Inhalte in die reale Umgebung einblenden können.
MiwaMix soll typische Funktionen, Datentypen und Datenformate klassischer Messsoftware abstrahieren und als standardisierte Schnittstelle bereitstellen. Gleichzeitig kapselt die Middleware die technischen Funktionen der MR-Brille. So können Daten übertragen, räumlich zugeordnet und innerhalb der MR-Anwendung dargestellt werden. Auch Eingaben über virtuelle Bedienelemente oder Gesten sollen an die Messsoftware zurückgemeldet werden können.
Hardware und Software werden unter Praxisbedingungen erprobt
Im ersten Projektabschnitt wurden aktuelle MR-Brillen und Entwicklungsframeworks untersucht. Für die weiteren Arbeiten wurden die Meta Quest 3 und die HTC Vive XR Elite ausgewählt. Ausschlaggebend waren unter anderem die Auflösung, das Sichtfeld, das Preis-Leistungs-Verhältnis und die Unterstützung des offenen Standards OpenXR. Die Anwendung wird mit Unity entwickelt. Außerdem wird eine Softwarelösung aus dem Vorgängerprojekt SenPosi auf die aktuelle technische Grundlage übertragen.
Die GFaI hat eine experimentelle Testumgebung mit einer Akustischen Kamera, drei Schwingungsaufnehmern, einem Datenrekorder und der Messsoftware NoiseImage aufgebaut. Als Versuchsobjekt dient ein transportabler Staubsauger. An ihm lassen sich akustische Signale und Schwingungen erzeugen, messen und anschließend in der Mixed-Reality-Umgebung darstellen.
Weitere Informationen zum Forschungsbereich der GFaI: https://www.gfai.de/forschung
Messdaten direkt am Sensor anzeigen
In den nächsten Tests sollen die Daten eines Schwingungsaufnehmers in Echtzeit als virtuelles Videofenster über dem Sensor erscheinen. Dafür werden unter anderem Frameraten, Auflösungen und Fenstergrößen untersucht. Die Informationen sollen gut lesbar bleiben, ohne den Blick auf das reale Prüfobjekt unnötig zu verdecken.
Darüber hinaus untersucht MiwaMix virtuelle Menüs und Werkzeuge für die Analyse. Perspektivisch kommen auch MR-spezifische Interaktionsformen wie Gestensteuerung und virtuelle Eingabeelemente in Betracht. Ziel ist eine Unterstützung der Fachanwenderinnen und Fachanwender – nicht deren Ersatz.
Projektstimme
„MiwaMix soll Messdaten und Ergebnisse dort sichtbar machen, wo sie gebraucht werden: direkt am Messobjekt und im räumlichen Zusammenhang der Messung.“
Alexander Jahnke, Wissenschaftlicher Mitarbeiter, GFaI e. V.
Warum die Verbindung von Messtechnik und Mixed Reality relevant ist
Die räumliche Darstellung kann insbesondere bei Messaufgaben hilfreich sein, bei denen mehrere Sensoren, Messpositionen oder Ergebnisse miteinander verglichen werden müssen. Dazu zählen beispielsweise die Akustik- und Schwingungsanalyse, die Zustandsüberwachung und die technische Prüfung.
Die Middleware soll dabei helfen, bestehende Messsoftware sinnvoll zu erweitern. Eine standardisierte Schnittstelle kann außerdem die Grundlage dafür schaffen, unterschiedliche Messprogramme und MR-Anwendungen miteinander zu verbinden. Damit wird eine Nutzung von Mixed Reality auch für kleinere und mittlere Unternehmen mit spezialisierten Messaufgaben interessanter.
Das Projekt wurde zum 31. August 2026 abgeschlossen. Die abschließende Dokumentation und der Sachbericht befinden sich derzeit in Arbeit.