Forschung

Das IN+SIGHT-Projekt vereinfacht die Erstellung immersiver Trainingsumgebungen durch 3D-Digital Twins und die Anwendung von Spatial AI. Dadurch wird XR-basiertes Lernen in verschiedenen Bereichen leichter zugänglich, wie dem Gesundheitswesen, Rettungsdiensten, öffentlicher Infrastruktur, dem Kulturerbe, der Landwirtschaft und der Green Transition. Indem es Fachexpert*innen ermöglicht, selbstständig reale Szenarien mit Smartphones zu erfassen, diese mit räumlich verankerten verbalen Anmerkungen anzureichern und mittels 3D Gaussian Splatting (3DGS) in fotorealistische 3D-Modelle umzuwandeln, reduziert IN+SIGHT die Komplexität und den Aufwand der XR-Trainingsentwicklung, ohne dass spezielle 3D-Kenntnisse erforderlich sind. Der Ansatz von IN+SIGHT besteht aus drei Schritten: 1. Erfassen: Fachexpert*innen können reale Umgebungen mit Smartphones aufnehmen, um daraus fotorealistische 3D Modelle erstellen. Gleich bei der Aufnahme fügen sie verbale Annotationen hinzu. 2. Bearbeiten: Unterstützt durch Conversational AI können die verarbeiteten 3D Daten durch die Fachexpert*innen mit relevantem Wissen aus Dokumenten ergänzt, sowie Lernpfade vorgegeben werden. 3. Lernen: Die Trainings können von Lernenden mit Web 4.0 basierten Technologien absolviert werden, wodurch die Inhalte einem breiten Personenkreis und auf unterschiedlichen Plattformen zugänglich wird (Smartphones, PCs und immersive Headsets). Der Einsatz von Spatial AI bietet kontextbezogene Unterstützung basierend auf der Position innerhalb des Digital Twins. IN+SIGHT verfolgt einen User-Centered Design-Ansatz mit Feedback aus iterativen Evaluierungen gemeinsam mit Anwendungspartner*innen, die verschiedene Branchen und Sektoren repräsentieren: ÖBB, Samariterbund Linz, Österreichisches Rotes Kreuz NÖ, Bundesverband Rettungsdienst, Samariterbund Österreich, BOKU University, Verein Energiewende und Belvedere. Die F&E-Partner*innen Fachhochschule St. Pölten, AIT, Mopius und Johannes Ambrosch (Startup) bringen Expertise in XR-Technologien, KI und Softwareentwicklung ein. Der Hauptnutzen von IN+SIGHT besteht darin, Organisationen zu ermöglichen, selbstständig maßgeschneiderte XR-Trainingsumgebungen sowohl zu erstellen, als auch kontinuierlich zu aktualisieren. Dadurch werden diese einem breiten Kreis von Auszubildenden zugänglich, wodurch besonders Institutionen mit vielen Mitarbeiter*innen (z.B. Gesundheitsorganisationen) profitieren. Die Projektergebnisse und Demonstratoren werden in öffentliche Veranstaltungen, Publikationen und einen Hackathon einer breiteren Anwenderbasis über das Projekt hinaus vorgestellt und zugänglich gemacht.

Intensive Landnutzung trägt zum Verlust von Lebensräumen und zur Verminderung der Qualität von Ökosystemen bei, was die globale Artenvielfalt bedroht, insbesondere in Graslandschaften, die Lebensraum für vielfältige Pflanzen- und Insektengemeinschaften bieten. Bisherige Forschungen haben sich vor allem auf die direkten Auswirkungen der Landnutzung auf Insekten konzentriert, während indirekte Auswirkungen wie Veränderungen des Mikroklimas noch nicht vollständig untersucht wurden. Wie sich die Landnutzung auf den mikroklimatischen Nischenraum auswirkt und wie diese Beziehung die negativen Auswirkungen der intensiven Landnutzung auf die Insektenvielfalt mildert, ist unbekannt. Wir werden räumlich hochauflösende Mikroklimadaten, die mittels thermischer Fernerkundung gemessen wurden, mit Insektenprobenahmen und der Messung der thermischen Toleranz von Insekten kombinieren, um zu verstehen, wie sich durch die Landnutzung bedingte Veränderungen des Mikroklimas auf die Insektenvielfalt und die Zusammensetzung der Insektengemeinschaften auswirken. Wir gehen davon aus, dass intensiv genutzte Graslandschaften engere mikroklimatische Nischen bieten und dass verschiedene Komponenten der Landnutzung (Mähen, Düngung, Beweidung) unterschiedliche Auswirkungen auf das Mikroklima haben. Um diese Hypothese umfassend zu überprüfen, werden wir das Vorkommen und die Vielfalt von Insekten auf allen 150 Graslandparzellen der Biodiversitätsexploratorien mit Hilfe von Saugproben (Biozönometer) quantifizieren. Gleichzeitig werden wir wiederholt Oberflächentemperaturen mit hoher räumlicher Auflösung mittels Drohnenflügen erfassen, um mikroklimatische Nischen zu charakterisieren und Insektenproben mit präzisen Mikroklimadaten abzugleichen. Anhand dieser Oberflächentemperaturen und einer Reihe von Kovariaten (z. B. Pflanzenbedeckung, meteorologische Bedingungen) wollen wir das Mikroklima innerhalb und unterhalb des Graslanddachs, wie es von Insekten wahrgenommen wird, räumlich charakterisieren. Um die thermische Toleranz und Widerstandsfähigkeit von Insekten mit den mikroklimatischen Bedingungen, denen sie ausgesetzt sind, in Verbindung zu bringen, werden wir die kritischen thermischen Maxima für eine Untergruppe von Insektenarten messen. Diese umfassenden und sich ergänzenden Daten aus der Fernerkundung und der Insektenökologie werden dazu beitragen, den Zusammenhang zwischen Landnutzung, Mikroklima und Insektenbiodiversität in bewirtschafteten Graslandschaften zu entschlüsseln. Somit wird die vorgeschlagene Forschung das Verständnis darüber, wie sich unterschiedliche Formen und Intensitäten der Landnutzung auf die Biodiversität auswirken, erheblich voranbringen, was eine der zentralen Fragen des gesamten Biodiversitäts-Exploratorien-Programms ist.

Dieses Projekt umfasst die Entwicklung fortschrittlicher Frameworks für maschinelles Lernen (ML) auf Basis von Transferlernen, die Multisensor-Fernerkundungsdaten integrieren. Diese Frameworks unterstützen die detaillierte Kartierung der Bodenbedeckung und die Bewertung der Gesundheit landwirtschaftlicher Pflanzen. Der Ansatz nutzt vortrainierte ML-Modelle und passt diese systematisch an verschiedene agroökologische Regionen, Bewirtschaftungssysteme und Sensorkonfigurationen an. Besondere Berücksichtigung finden dabei Daten mit hoher räumlicher und zeitlicher Auflösung aus den Konstellationen Sentinel-2 und Planet. Das Projekt zielt darauf ab, die Robustheit und Generalisierungsfähigkeit von ML-Modellen unter unterschiedlichen Umweltbedingungen zu verbessern, indem komplementäre spektrale, räumliche und zeitliche Informationen kombiniert werden. Ein besonderer Schwerpunkt liegt auf der Übertragbarkeit zwischen Standorten und Jahreszeiten, um den Bedarf an umfangreichen lokalen Trainingsdaten zu reduzieren und gleichzeitig eine hohe Klassifizierungs- und Diagnosegenauigkeit zu gewährleisten. Die daraus resultierenden Rahmenwerke sind skalierbar und einsatzfähig und ermöglichen eine konsistente Überwachung des Vegetationszustands, der Erntebedingungen und der Dynamik der Landbedeckung. Sie werden die Entscheidungsfindung in der Präzisionslandwirtschaft, der Ökosystemüberwachung und der nachhaltigen Landbewirtschaftung unterstützen.