IBM Watson hjÀlper universitetsstudenter att lÀra sig mandarin

IBM Watson hjÀlper universitetsstudenter att lÀra sig mandarin

Universitet har kommit lÄngt i sina sprÄkstudier och har gÄtt lÀngre Àn bara traditionella lektioner i en förelÀsningssal och förinspelade lektioner utan interaktion. Nu har studenter tillgÄng till teknik som artificiell intelligens (AI) och naturligt sprÄkbehandling (NLP) i en uppslukande inlÀrningsmiljö. Det Àr vad som hÀnder vid Cognitive and Immersive Systems Lab (CISL) pÄ Troy, New York, campus för Rensselaer Polytechnic Institute (RPI). Det Àr hÀr som institutet har samarbetat med IBM Research för att skapa tekniken för en sex veckors sommarkurs dÀr eleverna interagerar med AI-agenter i miljöer som inkluderar gatumarknader och restauranger.

Kursen, med titeln “AI-Assisted Immersive Chinese”, har ett 360-graders panoramavisningssystem med datorgenererade scener i laboratoriets Cognitive Immersive Room (CIR), som ocksĂ„ kallas “Situations Room”. De virtuella scenerna Ă€ger rum i Kina. Eleverna pratar med avatarer som drivs av Watson Assistant och blir rĂ€ttade till sitt tal och uttal. I CIR anvĂ€nder studenter konversations-AI, berĂ€ttande generation, rumslig kontextmedvetenhet och gest- och ansiktsigenkĂ€nningsteknik.

CIR Àr ett exempel pÄ de olika potentialerna för IBM Watson i flera branscher utöver utbildning. Dessa industrier inkluderar jordbruk, mÀnskliga resurser (HR) och flottförvaltning.

Vid RPI, förutom Watson Assistant, anvÀnder studenterna Watson Speech to Text, Watson Text to Speech och Language Translator i sina studier.

En aktiv inlÀrningsupplevelse

För Julian Wong, junior vid RPI, var den uppslukande AI-upplevelsen ett tilltalande sÀtt att lÀra sig mandarin eftersom det ger honom ett mer aktivt sÀtt att lÀra sig. Eftersom mandarin Àr ett tonalsprÄk dÀr en förÀndring i tonhöjd kan Àndra betydelsen av ord, ger avatarer i AI-upplevelsen feedback om tonen för att se till att Wong och de andra studenterna fÄr uttalandena korrekta.

Att arbeta med AI i CIR ger en bra balans med den ordinarie klassrumstiden, enligt Wong. “Möte för att prata med datorn … hjĂ€lper definitivt med mĂ„nga aspekter av att lĂ€ra sig sprĂ„ket, sĂ€rskilt verbala fĂ€rdigheter”, sa Wong.

Wongs Mandarin-klass möts fyra gÄnger i veckan. PÄ mÄndagar och fredagar deltar han i en klass i ett traditionellt klassrum med Helen Zhou, docent vid RPI. DÀr lÀr han sig nytt ordförrÄd och fÄr en introduktion till fraser och grammatiska strukturer. PÄ tisdagar och torsdagar trÀffas klassen i CIR, dÀr eleverna för samtal med virtuella agenter. I en restaurangmiljö sa Wong att eleverna kan gÄ igenom hela processen att sitta ner i restaurangen, titta pÄ en meny, bestÀlla mat, prata med en servitör om hur maten tillagas och betala rÀkningen. Andra miljöer inkluderar en trÀdgÄrd, en marknad och ett skolcampus.

Mandarinklassen i det uppslukande klassrummet skiljer sig frĂ„n en traditionell miljö eftersom den ger en multimodal upplevelse av sprĂ„k och video, enligt Zhou. Hon sa att en traditionell klass skulle vara mindre uppslukande och interaktiv. “I simuleringen i det uppslukande klassrummet har vi tvĂ„ agenter för att slĂ„ss med varandra för att försöka övertala eleverna att köpa produkten”, sĂ€ger Zhou. “SĂ„ att studenterna förstĂ„r genom personlig erfarenhet snarare Ă€n att titta pĂ„ videor eller bara lyssna pĂ„ förelĂ€sningar. Jag tror att de skulle fĂ„nga upp kulturen lĂ€ttare Ă€n bara genom att lĂ€ra sig frĂ„n lĂ€roböcker eller lyssna pĂ„ band.”

I CIR tar studenter frÄgesporter relaterade till scenerna som de har interagerat med och lyfter hÀnderna för att ge sina svar. Datorsynsteknik frÄn kamerorna i rummet fÄngar upp sina gester. AI-assistenten ger ett frÄgesport relaterat till scenen och eleverna mÄste svara med en fras pÄ kinesiska.

“Om du vill vĂ€lja en av popup-fönstren som finns pĂ„ skĂ€rmen, kan du hĂ„lla ut handen, öppna handen och sedan stĂ€nga handen,” förklarade Wong. “Du vĂ€ljer vad markören Ă€r för nĂ€rvarande. För de smĂ„ frĂ„gesporterna, om du vet vad rĂ€tt svar Ă€r, kan du flytta handen till de tecken som du vill vĂ€lja och sedan stĂ€nga handen för att vĂ€lja dem. Det kommer att meddela dig om du har rĂ€tt eller inte. “

Den virtuella agenten förstÄr eleverna mestadels, förutom nÀr de kanske inte har mikrofonen nÀra munnen. Systemet har olika instÀllningar för röstigenkÀnning som plockar upp studenter om de inte har nÄgot uttal. Det ger ocksÄ omedelbar feedback i ett samtal om du inte har en professor nÀrvarande. PÄ sin egen tid gÄr eleverna i Mandarin-klassen till en webbplats för att fÄ tillgÄng till röstklipp för att trÀna.

En cool funktion i den uppslukande upplevelsen vid RPI Ă€r rumslig kontextmedvetenhet, dĂ€r flera virtuella agenter pĂ„ skĂ€rmen kan berĂ€tta vilken du gör ögonkontakt med. “Om du sĂ€ger nĂ„got medan du tittar pĂ„ en agent, kommer den agenten att svara och inte den andra,” sa Wong.

RPI / IBM Mandarin Project - Gester

Hur den uppslukande upplevelsen utvecklades

Den uppslukande upplevelsen vid RPI kom skapades nÀr sprÄkprofessorer och speldesignprofessorer trÀffades för att diskutera ett bÀttre sÀtt att lÀra sig sprÄk. En plan för att utveckla ett rollspel spelade snart in i en diskussion om hur man lÀr Mandarin genom en simulering av verkliga scenarier, enligt Hui Su, som bÄde Àr chef för kognitiv anvÀndarupplevelse vid IBM Research och chef för CISL. IBM och RPI började utveckla kursen i slutet av 2015 och de etablerade det gemensamma labbet vid den tiden. CISL tog sedan form strax efter.

“Syftet med labbet Ă€r att bygga den kognitiva och uppslukande miljön för att förbĂ€ttra gruppaktiviteter, för att öka gruppintelligensen i samband med lĂ€rande och beslutsfattande”, sa Su. “Vi fokuserar ocksĂ„ pĂ„ att bygga kognitiva uppslukande styrelserum … för att titta pĂ„ data frĂ„n en kritisk situation och försöka förstĂ„ informationen och skapa beslut eller rekommendation för beslutsfattarna.”

Som en del av AI-sprĂ„kinlĂ€rningsprogrammet experimenterar IBM och RPI med pitchkonturanalys. Su beskrev hur den hĂ€r tekniken fungerar. “NĂ€r du talar en stavelse, nĂ€r du uttalar en stavelse, kommer den underliggande tekniken att fĂ„nga rösten, och den genererar en visuell kontur av hur du uttalar den stavelsen,” sa Su. “Sedan anvĂ€nder den den visuella konturen och jĂ€mför den visuella konturen med den infödda talarens visuella kontur.”

Eleverna kan sedan göra justeringar i sitt uttal för att nÄ rÀtt ton. De lÀr sig att de behöver Àndra uttal av vissa stavelser. Med den kunskap eleverna fÄr genom att lÀra sig mandarin i det uppslukande klassrummet med hjÀlp av Watson-teknik, kommer de att ha mer sjÀlvförtroende att prata i verkligheten, enligt Su.

“Hela idĂ©n Ă€r att ge tillrĂ€ckligt med kulturellt sammanhang genom vĂ„r uppslukande miljö och AI-teknik för att göra det möjligt för studenterna att öva pĂ„ en övning”, sa Su. “SĂ„ de kommer inte att ha rĂ€dsla som att prata med mĂ€nniskor i verkliga livet.”

RPI / IBM Mandarin Project - AI-Assisted Immersive Chinese

En bro mellan teknikindustrin och akademin

IBM och RPI kan bygga en bro mellan IBM-forskare och fakultetsmedlemmar, med IBM som inbÀddar en forskare pÄ campus, nÀmligen Su. Under tiden ger Zhou, professor i klassen vid RPI, ocksÄ feedback till designers, anvÀndare och lÀrare om hur man kan förbÀttra den uppslukande upplevelsen i klassrummet.

“Jag mĂ„ste ge dem omedelbar feedback för att felsöka eller förbĂ€ttra designen sĂ„ att vi kan erbjuda ett mer naturligt klassrum för studenterna”, sĂ€ger Zhou. “SĂ„ det Ă€r mycket arbete involverat men det Ă€r vĂ€rt det.”

Framtiden för sprÄkinlÀrning

Denna typ av uppslukande miljö Ă€r vĂ€rdefull pĂ„ grund av förmĂ„gan att tillhandahĂ„lla en till synes verklig miljö, enligt Zhou. “Den uppslukande AI-miljön kan inte bara förbĂ€ttra elevernas tal och lyssnande utan ocksĂ„ pragmatiken för att anvĂ€nda det sprĂ„ket i verkliga situationer”, sĂ€ger Zhou. “DĂ€rför Ă€r AI mer idealisk för mig som instruktör sĂ„ att studenter kan fĂ„ en kĂ€nsla av att anvĂ€nda sprĂ„ket tidigt, Ă€ven för nybörjare utan att resa till landet.”

Multimodala inlÀrningsmiljöer som de som erbjuds i RPI kommer att utöka rollen som AI i klassrummet. Med den erfarenhet som AI ger genom de virtuella agenterna kommer eleverna att vara beredda att ta itu med olika scenarier i den verkliga vÀrlden med nödvÀndiga sprÄkkunskaper.