I ungdomsåren vistades Marianne Gullberg utomlands, lärde sig nya språk och upplevde olika kulturer. När hon återvände till Sverige för att studera allmän språkvetenskap slogs hon av den stora skillnaden mellan teori och praktik.

– Det var en så tydlig diskrepans mellan situationen när man sitter i ett klassrum för att lära sig ett språk och vad som händer när man åker till landet där språket talas, när hastigheten bombarderar en och man inte hinner tänka efter.

Språkvetenskapen dominerades av strukturella frågor och teoretiska ramverk, men Marianne Gullberg saknade forskning om hur det rent praktiskt går till att använda ett språk i realtid, särskilt när det är nytt.  

Konsten att lära sig ett nytt språk

Nyfikenheten ledde in på forskarbanan. Under tio års tid var Marianne Gullberg forskningsledare på Max Planck-institutet för psykolingvistik i Nederländerna. År 2010 rekryterades hon till Lunds universitet med dubbel tjänst som professor i psykolingvistik och föreståndare för Humanistlaboratoriet.

Hon har gett sig i kast med stora frågor, som hur det egentligen går till att lära sig ett nytt språk och hur olika språk samverkar med varandra hos en flerspråkig person. Det mänskliga språket är ett komplext kommunikationssystem och kopplar samman kognition, känslor, minne, och hjärnans aktivitet.

– Det är en otroligt snabb process som handlar om millisekunder. På den tiden hinner vi gå från en vag idé om vad vi ska säga till att välja rätt ord, grammatik, ljud, intonation och gest. Den omvända processen, att förstå det någon annan säger, är lika snabb och komplex. Hur lyckas vi med det när vi lär oss ett nytt språk eller när vi har mer än ett språk att hantera?

Myter om gester 

En del av forskningen handlar om samspelet mellan tal och gester. Det finns många förutfattade meningar om hur gester används i olika språk. Italienare beskrivs ofta som våldsamt expressiva.

– Man tänker sig gärna ett gathörn i Neapel där italienska farbröder står och gestikulerar ivrigt. Men placerar vi dem mittöver en bordsskiva så försvinner de yviga gesterna. I vår forskning finner vi inget stöd för att italienare eller fransmän skulle använda sig av mer gester än svenskar.

Marianne Gullberg tar gärna död på myter, samtidigt som hon också är mån om att hitta nyanserna. Det finns skillnader i gester mellan olika språk och vi tenderar gärna att uppmärksamma uttryck som vi inte är vana vid. Fransmän har till exempel en rikare repertoar av gester som kan ersätta ord.

– Det finns ett stort antal konventionella gester som fungerar som stående uttryck, till exempel tummen upp eller att man slår med fingret på näsan.

"Wallenberg Scholar är ett drömanslag. Det ger medel och tid att våga ta itu med riskfyllda projekt och helt nya frågeställningar. För mig som humanist är det också hedrande att komma i strålkastarljuset med ett anslag av den här betydelsen som dessutom skapar nya kontaktnät."

Omedvetna gester del av språket 

Men för en språkvetare är det intressantare med de gester som vi producerar omedvetet. De kallas talbundna gester och ingår i det språkliga systemet. När vi lyssnar på en annan person inkluderar vi informationen från gesterna och bygger vår förståelse på helheten.

– Det brukar till och med vara svårt att bortse från gestinformationen och vi tar upp den automatiskt.

De talbundna gesterna färgas av respektive språk. Ett exempel är skillnaden mellan svenska och tyska. I tyskan kommer verbet sist i satsen, vilket innebär att en gest som hamnar i mitten på en svensk mening kommer i slutet av meningen på tyska. Dessa skillnader öppnar också för intressanta experiment, till exempel hur människor reagerar på brytning.

– Brytning handlar inte bara om uttal, utan sitter även i händerna. Kan den som pratar med ett perfekt uttal på tyska eller franska men gestikulerar på svenska ändå uppfattas som en person som bryter?

Ny teknik kan ge virtuella lärare

Forskningen genomförs experimentellt i en kombination av traditionell humaniora och högteknologiska hjälpmedel. Med artikulografi mäter forskarna tungrörelser. Motion capture är en teknik som känns igen från filmer som Avatar och Sagan om ringen. Små sensorer placeras som markörer på olika delar av kroppen. Sedan görs en tredimensionell inspelning för att kartlägga kroppsrörelserna. Resultatet blir en mycket detaljerad information om samspelet mellan tal och gester.

I en annan del av projektet används EEG för att registrera hur hjärnan aktiveras när vi som lyssnare reagerar på språk.

– Det ger oss en fantastisk möjlighet att spionera under huven och få se vad som verkligen sker i hjärnan, till exempel om en gest kommer på ”fel ställe”.

Projektet drar också nytta av de sensordata som tas fram för att bygga en virtuell språklärare som kan förmedla både tal och gester i en virtuell miljö.

– Genom att återskapa till exempel ”en virtuell fransman” kan språkundervisningen kompletteras, både för ungdomar som ska lära sig främmande språk och för nyanlända. Språket spelar ju en viktig roll för integrationen och virtuell träning öppnar nya möjligheter.

Ett annat tillämpningsområde är skapandet av sociala robotar.

– Med hjälp av de virtuella talare som nu finns kan vi bidra till att göra robotar mera ”levande” och realistiska i tal och gest.

Text Nils Johan Tjärnlund
Bild Caroline Larsson, Henrik Garde, Nadia Frantsen