Autism XR-programmet hjÀlper eleverna att navigera i sociala minfÀlt

Autism XR-programmet hjÀlper eleverna att navigera i sociala minfÀlt

NÀr Marc Petz var första Äret datorgrafik / animationsinstruktör vid Michigan Kent Career Technical Center, kÀmpade en kollega för att möta behoven hos en student med autism. Petz klass ombads att utveckla visuellt tilltalande berÀttelser som eleven kunde anvÀnda för att trÀna riktade sociala beteenden, och Autism XR föddes.

Det webbaserade programmet Augmented Reality fÄr elever att delta i scenarier med virtuella mÀnniskor som genom ansiktsigenkÀnning och naturlig sprÄkbehandling coachar dem genom specifika sociala situationer. Den första iterationen av Autism XR, en appbaserad prototyp för virtual reality, blev en topp 10 nationell finalist i Samsungs Solve for Tomorrow Tech for Good-konkurrens. Det omarbetas nu som ett AR-program för allmÀn anvÀndning.

Petz har ocksÄ arbetat med en barnbok om inkluderande inlÀrningsmiljöer med kollegan Mary Musto och skrivit interaktiva berÀttelser med sina barn via en start som heter Kit Tales. Vi pratade nyligen med honom för att ta reda pÄ mer. HÀr redigeras och sammanfattas utdrag ur vÄrt samtal.

Marc, förklara hur Autism XR har utvecklats.
Vi bestÀmde oss för att flytta idéens riktning till en helt webbaserad interaktiv AR-miljö, som för nÀrvarande Àr en experimentell plattform. Med nÄgra av de nuvarande begrÀnsningarna förknippade med Google ARCore, WebXR och telefonteknik tvingades vi improvisera.

Ett exempel Àr ögondetekteringskomponenten i applikationen. Vi kan inte dela fördelningen av den frÀmre och bakre kameran medan det finns en AR-session aktiv i webblÀsaren. PÄ grund av detta var vi tvungna att anvÀnda relativa koordinater för var kameran Àr vÀnd i motsats till ögonspÄrning i realtid.

Hur mÄnga scenarier ingÄr i den aktuella iterationen av applikationen? Och vilka har visat sig vara mest anvÀndbara?
Det finns för nĂ€rvarande nio scenarier som har byggts och ett instruktions- / handledningsscenario. Ett av vĂ„ra tvĂ„ forskningsscenarier anvĂ€ndes i en liten forskningsstudie i flera klassrum med gymnasieelever. “Inled ett samtal med nĂ„gon du kĂ€nner” visade sig vara mycket anvĂ€ndbart och gav fantastiska resultat.

Marc Petz, datorgrafik / animationsinstruktör vid Michigans Kent Career Technical Center

AnstÀllde du röstaktörer?
Nej, det mesta av karaktÀren röstspel var frÄn min fru, barn och mig sjÀlv. NÄgra studenter bidrog ocksÄ till skÄdespelet. Jag spelade in all rösthantering med en liten liten bÀrbar studio som jag byggde för rösthantering.

Det Ă€r viktigt att notera att detta program fungerar utan specialutrustning – inga VR-headset eller AR-modifierade glasögon behövs – sĂ„ lĂ€nge som en anvĂ€ndares enhet kan köra WebXR.
Vi sÄg definitivt en möjlighet att bygga ett verktyg som har potential att gynna mÄnga mÀnniskor och att eliminera eventuella hinder var en enorm prioritering. Den avancerade VR- och AR-utrustningen erbjuder mÄnga stora fördelar, men vi bestÀmde oss tidigt för att vi ville att vÄr lösning skulle vara mycket tillgÀnglig, enkel att anvÀnda och prisvÀrd. WebXR Àr plattformen som gör att vi kan uppnÄ dessa mÄl.

Prata med oss ​​genom installationen.
Autism XR anvÀnder WebXR-funktionaliteten, som fortfarande Àr en experimentell teknik som har nÄgra steg som anvÀndarna mÄste ta om de har en telefon som stöds. De viktigaste aktörerna inom denna teknik har begrÀnsat de stödda enheterna till mestadels de nyare, senaste mobila enheterna. Ett enkelt sÀtt att avgöra om en Android-enhet stöds Àr att besöka Google Play Store och försöka installera Google ARCore-appen. Om Play Store har det tillgÀngligt ser det bra ut för din enhet att stödja WebXR till fullo.

Med ARCore installerat mÄste vi installera den experimentella webblÀsaren Chrome Canary pÄ den mobila enheten. Canary-webblÀsaren har all XR-teknik aktiverad (till skillnad frÄn den vanliga Chrome-webblÀsaren), och vi fann att version 70 Àr den mest stabila för vÄr nuvarande version.

NÀr Google ARCore-appen och webblÀsaren har installerats, vad gör du sedan?
NÀr installationen av webblÀsaren Google Chrome Canary v70 Àr klar, skriv in din Canary v70-webblÀsare. Sök efter WebXR pÄ sidan och aktivera alla resultat som returneras frÄn sökningen. Detta gör att din enhet kan anvÀnda WebXR-innehÄllet via webblÀsaren. Om du lyckades slutföra de tre första stegen, Àr du redo att öppna webblÀsaren Chrome Canary v70 och navigera till marcpetz.com och börja anvÀnda webbapplikationen.

Autism XR

Vilka maskininlÀrningselement har du inbÀddat i applikationen och hur förbÀttrar de upplevelsen?
Vi anvÀnder TensorFlow för maskininlÀrningselementet. Vi anvÀnder den för att bygga en ansikts / emotionell igenkÀnningskomponent i applikationen. Denna del av applikationen Àr inte helt implementerad Ànnu pÄ grund av utmaningen att fÄ AR-sessionen att dela upp den frÀmre och bakre kameran pÄ den mobila enheten. Den nuvarande uppbyggnaden av den emotionella upptÀckten fungerar med gott förtroende, sÄ jag tror att nÀr den vÀl Àr integrerad i webbapplikationen kommer den att förbÀttra inlÀrningsupplevelsen kraftigt genom att coacha anvÀndarna att trÀna lÀmpliga ansiktsuttryck och kÀnslomÀssiga reaktioner pÄ olika situationer.

Du samarbetade med Mary Musto, lÀrarkonsult och interventionist för Kent ISD: s övergÄngscenter (specialutbildade / begÄvade program). Har du tillsammans anvÀnt specifik akademisk forskning?
Hennes erfarenhet och bakgrund var en integrerad del i att utveckla innehÄll som fungerar. Det fanns begrÀnsad forskning om VR / AR och autism, men vi upptÀckte att mÄnga av studierna visade lovande resultat angÄende potentialen som tekniken har för att förbÀttra kommunikation och socialt beteende för personer med autismspektrumstörning.

Hur testade du programmet?
Vi kunde fĂ„ godkĂ€nnande frĂ„n vĂ„rt skolomrĂ„de att genomföra en mycket liten forskningsstudie för att validera programmet och hur effektivt det kan vara för att förbĂ€ttra inriktningen. Även om vĂ„r forskning kan betraktas som obetydlig pĂ„ grund av att vi har fĂ„ deltagare var resultaten vi hade anmĂ€rkningsvĂ€rda, och det motiverar verkligen en utökad forskningsstudie. Studenterna förbĂ€ttrade det riktade beteendet frĂ„n trĂ€ningen och generaliserade ocksĂ„ det inlĂ€rda beteendet frĂ„n trĂ€ningen till andra beteenden.

Kan du dela nÄgra av feedbacken med oss?
Vi genomförde undersökningar nÀr forskningsstudien avslutades och alla studenter som deltog i studien visade att de tyckte om att anvÀnda applikationen och att det var roligt och enkelt att anvÀnda. De gav sig positiva betyg för att förbÀttra det riktade beteendet och rekommenderade andra att anvÀnda appen. De angav ocksÄ att de skulle vilja anvÀnda den för andra sociala fÀrdigheter och beteenden.

Vad Àr nÀsta för Autism XR?
Vi söker för nÀrvarande finansiering för att fortsÀtta utveckla applikationen. Hittills har den utvecklats helt av ett litet team av gymnasie- och högskolestudenter, och det Àr vÄrt mÄl att hÄlla studenterna involverade i utvecklingen. VÄrt mÄl Àr att fortsÀtta utveckla Autism XR med en vision att det kommer att vara en applikation som i slutÀndan kommer att hjÀlpa mÀnniskor och förbÀttra deras liv.