Når teknologien ikke spiller på lag med sansene

Mennesker er alt annet enn like i våre møter md teknologi. Vi tar med oss et personlig utvalg av interesser, erfaringer, styrker og svakheter inn i disse møtene, som er mange og varierte.

Forskning på interaksjoner mellom mennesker og teknologi spenner fra medievaner og kommunikasjonsformer til signalprosessering og sensorisk oppfattelse. Hele spennet er viktig for å skape engasjerende og velfungerende opplevelser.

Sanser digitale signaler

Mens vi får vite mye om hvor mye tid vi bruker på skjermen og hvordan de digitale mediene påvirker oss, forblir det underliggende i teknologien og sansesystemene for det meste urørt. Kanskje er det på tide å avdekke at fremtidens teknologi er i ferd med å videreføre feil og mangler fra dagens teknologi?

Sansesystemene våre registrerer inntrykk fra omgivelsene, det være seg lyder, lys eller lukter. Medfødte eller påførte skader kan gjøre at enkelte signaler ikke registreres av sansene, men selv tilsynelatende fullt funksjonelle sansesystemer gjennomfører ikke jobben likt. Det gjør seg særlig gjeldende når sansene skal operere sammen. Ikke minst, når sansene skal fungere sammen med digitale signaler som tilsynelatende etterligner deres fysiske motparter.

Hvordan vi oppfatter verden

La oss ta en titt under overflaten til oss som bruker teknologien. Vår persepsjon, vår evne til å oppfatte, er det som gjør at vi for eksempel kan skille en høyttaler fra en skjerm. Persepsjonen sørger for at alle sanseinntrykk bearbeides, forenes og tolkes slik at vi kan orientere omverdenen uten noen form for bevisst anstrengelse.

Sansesystemene har sammen utviklet og spesialisert seg for å tolke og oppfatte vår fysiske verden: Lyset reiser med en gitt hastighet, lyden med en annen, tyngdekraften har en forutsigbar virkning, og en armlengdes avstand er alltid den samme.

Til tross for at lys, lyd og andre sanseinntrykk ikke når oss samtidig, sørger persepsjonen for å integrere prosessene slik at vi opplever en samstemt verden.

Når teknologien skal gjengi verden

Teknologi som tar mål av seg å gjengi verden, må tilpasse seg de fysiske lovene og persepsjonens virkefelt for at den digitale verdenen skal samsvare like godt som den virkelige. Og samsvaret må gjelde for alle sanser som stimuleres, som typisk er syn, hørsel og bevegelse.

Her er det lite rom for omtrentligheter og kompromisser. Selv om den teknologiske utviklingen har kommet langt i realistiske og fengende multimedia-opplevelser, som spill og virtuell virkelighet (fra engelsk Virtual Reality (VR)) gjenstår noen utfordringer. To av disse er presisjon og stabilitet.

Under overflaten på teknologien

Det er nå vi skal dykke under overflaten til teknologien. Et typisk dataspill krever en skjerm til å vise frem bilder, høyttalere eller hodetelefoner til å spille av lyd, og en mus eller lignende til å styre handlingene med, og selvfølgelig en maskin eller et system.

Signaler fra styringsmekanismen, musen, må registreres og videreformidles før de tilhørende lyd- og bildesignalene kan gjengis av en prosessor og spesialiserte kort og sendes ut til skjermen og høyttalerne. Selv for et lokalt system vil dette ta tid, relativt til sansene, men når vi skal sende og motta signaler via et nettverk tar det merkbart lengre tid.

Tiden blir en fiende for sansenes samstemthet

Svært mange spill skjer på nett og baserer seg nettopp på at signaler sendes frem og tilbake, her blir tiden en fiende for sansenes samstemthet. Enhver som har opplevd at lyd og bilde er «ute av synk», vet hvor forstyrrende dette kan være. Det at lyden kommer fra høyttalere som befinner seg et annet sted enn skjermen som viser bildene, gjør oss desto mer følsomme for denne type asynkronitet.

Med bevegelse kreves det ikke mer enn et par tiendels sekunder før en spiller legger merke til at det som skjer i spillet ikke er i takt med musen. Tidsforstyrrelser er ikke bare irriterende, de kan også skade hvor godt vi kontrollerer handlinger på en skjerm (Eg, Raaen & Claypool, 2018). Det er dobbelt brysomt for spillopplevelsen.

Stadig flere møtepunkter blir digitale

Dette handler ikke bare om spill og underholdning. Flere og flere av våre møtepunkter flyttes over på nett og blir digitale. Det har vi for alvor fått erfare under korona-pandemiens herjinger.

Mer enn det, utfordringene videreføres i nye teknologiske utviklinger. Virtuell virkelighet utmerker seg her. Interaksjoner i virtuell virkelighet kompliserer samspillet med nok en sans, balansen vår (den vestibulære sansen). Resultatet av å blokkere ute den synlige, virkelige verden og erstatte den med en bevegelig digital tilnærming som ikke alltid holder følge, er fysisk merkbar.

Sansesystemene har ikke utviklet seg for å skape samstemthet mellom syn og bevegelse når synsvinkelen endres litt etter hodebevegelsen, eller mellom et svaiende bilde og et balanseorgan som mener verden burde stå stille. Konsekvensene kommer i artige varianter som synsforstyrrelser, svette, svimmelhet, kvalme og redusert tilstedeværelse (Weech, Kenny & Barnett-Cowan, 2019).

På sporet av bedre digitale opplevelser

Det gjenstår mye graving før vi har full innsikt om hvordan persepsjonen integrerer sansene, men kunnskapen vi har, er allerede kommet til god nytte.

• For eksempel vet vi at asynkronitet mellom lyd og bilde oppfattes raskere når lyden kommer før bildet, nettopp fordi sansene har tilpasset seg verdens fysikk.
• Videre vet vi at dess bedre teknologien gjengir plassering av lyd, bilde og bevegelse, dess bedre integrasjon oppnår vi.
• Og ikke bare det, vi vet at integrasjon i en dimensjon, for eksempel tid, kan kompensere for noe manglende samsvar i en annen dimensjon, for eksempel sted.

Utviklere bruker denne kunnskapen når de implementerer mekanismer som kompenserer for systemenes begrensninger. Det kan være så enkelt som å sørge for at lyden aldri presenteres før bildet, eller mer komplisert som å forutse handlinger i et spill. Det kan også innebære avansert utstyr, for eksempel sensorer som fanger opp fysiske bevegelser og hodesett som gjengir dem som virtuelle bevegelser.

Teknologien åpner store mulighetsrom, men under overflaten finner vi fremdeles feil og mangler. Det er opp til oss å takle utfordringene og forhindre at disse tas med videre i utviklingen av fremtidens teknologi. Vi finner nyttig innsikt under overflaten til persepsjonen, derfor fortsetter vi å grave etter løsninger til bedre digitale opplevelser.

Artikkelen ble først publisert på Kunnskap Kristiania