04 · Mixed Reality · Computer Vision · 2025
Paper Therapy.
Ein Mixed-Reality-Origami-Trainer, der Papier und Faltzustände erkennt und räumliche Anweisungen direkt in der Umgebung der Nutzer platziert.
Überblick
Paper Therapy entstand in einem 48-Stunden-Team-Sprint beim SensAI Hackathon in Barcelona als praktische Exploration von Spatial Computing und Computer Vision.
Herausforderung
Klassische Origami-Anleitungen verlangen, flache Diagramme in präzise Handlungen im dreidimensionalen Raum zu übersetzen – eine hohe kognitive Hürde.
Vorgehen
Der Prototyp nutzt Meta-Quest-Passthrough und räumliche Anker, um Hinweise an einem physischen Blatt Papier auszurichten. Ein mit mehr als 1.000 gelabelten Bildern trainiertes YOLO-Modell erkennt Faltzustände und steuert den nächsten Schritt.
Ergebnis
Der funktionierende Prototyp zeigte, wie Mixed Reality einen schwierigen visuellen Lernprozess in kontextbezogene Schritt-für-Schritt-Anleitungen in der realen Welt übersetzen kann.
Technologien
- Mixed Reality
- Meta Quest
- MRUK
- YOLO
- Spatial Computing