‒ Jag forskar i hur den mänskliga hjärnan processar olika typer av social information, säger Ville Harjunen när han sammanfattar vad hans forskning handlar om.
Harjunen är docent i personlighet och socialpsykologi vid Helsingfors universitet och leder för tillfället ett SLS-finansierat projekt om hur människor engagerar sig i samtal dels när de samtalar ansikte mot ansikte, dels när samtalet förs via video. Projektet undersöker bland annat om svenskspråkiga och finskspråkiga engagerar sig på olika sätt när de samtalar med varandra.
I sin avhandling undersökte Harjunen hur människor reagerar på beröring av en teknisk apparat som härmar mänsklig beröring jämfört med hur de reagerar på verklig beröring av en annan människa. Här var det en människa som reagerade på en yttre retning, men försökspersonen påverkade inte den här retningen alls. I det nuvarande projektet undersöker Harjunen och hans forskargrupp hur försökspersoner som samtalar parvis reagerar på varandra under samtalets gång.
‒ Den största skillnaden är att den tidigare forsningen inte handlade om genuin interaktion, men nu inverkar de undersökta personerna båda på varandra. Det pågående projektet för på sätt och vis forskningen närmare den vardagliga verkligheten.
Samtalsexperiment
För att undersöka på vilka sätt personer engagerar sig i samtal och hur de bearbetar information under samtalets gång har forskarna låtit försökspersoner samtala par om par i ett samtalslaboratorium. En del av paren har samtalat ansikte mot ansikte, en del har fört videosamtal, och forskarna har gjort olika typer av mätningar och spelat in samtalen på video. Mätningar har gjorts både med elektroencefalogram (EEG), som mäter hjärnaktiviteten, och med elektroder i ansiktet och på fingertopparna som mäter reaktioner i försökspersonernas sympatiska nervsystem.
Försökspersonerna har samtalat parvis kvinnor med kvinnor och män med män. Sammanlagt har projektet samlat in material av över 70 par av vilka ungefär hälften har varit svenskspråkiga och hälften finskspråkiga. Paren har valts så att de två samtalsparterna inte har känt varandra från förut.
‒ Vi kan studera vad den mottagande parten i ett samtal iakttar under samtalet och hur personen processar den här informationen, och samtidigt kan vi också undersöka hur den andra samtalsparten processar informationen. Vi har två försökspersoner som vi undersöker samtidigt och båda skickar signaler till varandra.
Skillnader mellan språkgrupperna
Ett av resultaten som har överraskat Harjunen är skillnaden mellan hur svenskspråkiga och finskspråkiga visar att de är engagerade i ett samtal. Forskarna har mätt hur ofta och i vilka sammanhang den lyssnande parten nickar eller ger ifrån sig små uppbackande ljud som ”jo” och ”aha” som respons på det som motparten säger.
Det visade sig att de svenskspråkiga ger betydligt mer respons i form av nickningar och uppbackningar än finskspråkiga. Svenskspråkiga kvinnor ger mest respons, finskspråkiga män minst.
‒ Jag trodde i själva verket att skillnaderna skulle vara ganska små, men de är verkligen stora, och de förändras inte om man kontrollerar för ålder och kön. Det har kanske varit den största överraskningen.
En annan iakttagelse är att skillnaderna mellan språkgrupperna nästan försvinner i videosamtal. Harjunen konstaterar att den lilla fördröjning som alltid finns i videosamtal kan vara anledning till att reaktionerna blir färre.
‒ Utöver den fördröjning som tekniken förorsakar dröjer människor i videosamtal ytterligare lite innan de tar ordet. Man vill på allt sätta undvika att tala på varandra, och det hindrar samtalet från att bli flytande och engagerande.
Att byta samtalsämne
Ville Harjunen själv studerar som bäst vad som sker när samtalsparen byter samtalsämne.
‒ Jag undersöker förändringar i innehållet i samtalen och hur uttrycken för engagemang i interaktionen, såsom nickningar och uppbackningar i form av miniresponser, har samband med att innehållet i samtalet ändrar inriktning.
Han har noterat att ju mer motparten visar engagemang genom nickningar och miniresponser, desto snabbare byter den andra samtalsparten samtalsämne.
‒ Min tanke är att det här engagemanget i interaktionen håller igång samtalet. Här finns en paradox, för man anser att lyssnaren med de här små signalerna visar för den andra att de båda är på samma våglängd och att lyssnaren håller med om vad den andra säger. Men ett samtal kan inte utvecklas om den ena bara håller med den andra och visar att hen förstår var den andra säger utan att själv bidra med någonting.
‒ Det måste finnas någonting som skapar förutsättningar för att samtalet ska gå vidare. Min hypotes är att uttrycken för engagemang fungerar som ett slag motor och att nickningarna och miniresponserna visar att ”nu är vi överens” och att det är dags att föra in någonting nytt i samtalet.
För att undersöka det här använder Harjunen språkmodeller för processering av naturligt språk.
‒ Först kategoriserar jag alla yttranden i samtalet i olika ämnen, efter det räknar jag ut matematiska avstånd mellan yttrandena för att sedan se hur stora förändringar det sker i den semantiska rymden mellan turerna i samtalet. Därefter analyserar jag hur de här förändringarna har hänger ihop med att samtalsparterna använder uttryck för engagemang.
Harjunen berättar att hans analyser visat att par som uttrycker mycket engagemang med kroppen, genom nickningar och ljud, också rör sig mer i den semantiska rymden, det vill säga de byter samtalsämne oftare än andra par och de gör också större hopp mellan ämnena.
‒ Men det här sambandet syns inte i videoförmedlad interaktion.
Innan Harjunen kan slå fast att hypotesen stämmer måste han ändå undersöka vilken mekanism som egentligen ligger bakom de här iakttagelserna.
‒ Det kan till exempel vara så att stora förändringar i samtalsämnet åstadkommer mer nickningar, att mottagaren bekräftar det nya samtalsämnet genom att nicka mer, eller att båda sakerna sker på grund av någon tredje faktor, som kan vara till exempel hur mycket samtalsparterna gillar varandra. Nu har jag skapat modelleringar för att få svar på vad som kommer först, nickningarna eller bytet av samtalsämne. De preliminära resultaten tyder på att nickningarna och miniresponserna förebådar byte av samtalsämne.
Växande intresse för projektet
Ville Harjunen hör till en liten grupp forskare som ägnar sig åt kvantitativ och experimentell socialpsykologi i Finland. Redan under studietiden blev han intresserad av att undersöka fenomen som tydligt kan konstateras utgående från till exempel fysiologiska reaktioner.
‒ I början undersökte jag starka känslor, som skam och ilska, vilket hade sin grund i att jag arbetade inom barnskyddet som civiltjänstgörare. Det var tiden inom barnskyddet som från början fick mig att börja studera socialpsykologi.
Forskarna i Harjunens nuvarande forskargrupp samarbetar tätt med ett annat projekt, som har fått finansiering för från Finlands Akademi. I gruppen ingår såväl psykologer och sociologer som lingvister, som alla använder projektets datamaterial ur olika synvinklar.
Under projektets gång har forskarna knutit värdefulla internationella kontakter, bland annat har Harjunen själv varit gästforskare vid Princetonuniversitetet i USA och han är med i ett stort internationellt nätverk av forskare i social neurovetenskap. Ett tecken på intresset för hans forskning är också att flera nya doktorander har anslutit sig till forskargruppen.
Det SLS-finansierade projektet, som har rubriken Att förstå engagemang i interaktion: språk, emotioner, personlighet och teknologi (förkortat EnTiTy efter projektets namn på engelska Understanding ENgagemenT in Interaction through language, emotions, personality, and TechnologY) fortsätter till slutet av 2026. Men Ville Harjunen hoppas få mer finansiering för sin forskargrupp från annat håll för att fortsätta analysera det väldiga material som projektet har samlat in och fortsätta med den nyskapande forskningen att kombinera analyser av hjärnaktivitet, naturligt språk och samtalsinteraktion.
Text: Nina Edgren-Henrichson