Behovet for mangfold i innovasjon: Har ingen hos Apple trillet en barnevogn før?

Hallgeir Knutsen

Co-founder og strategisk rådgiver, Reodor

Som så mange andre småbarnsforeldre leverer jeg barnet mitt i barnehagen før jobb. For min del er det bare en ti minutters trilletur med toåringen i barnevogna. Åtte minutter inn i turen skjer det samme hver dag. Apple Watch sin maskinlæringsalgoritme slår inn og foreslår at jeg trener på en ellipsemaskin!

Hvordan de har kommet frem til at å trille barnevogn ligner på å bruke en ellipsemaskin, er uklart for meg. Spesielt da ellipsemaskiner definitivt ikke beveger seg rundt i byen. Noe GPSen i klokka vet at jeg gjør. Men det er ikke problemet. Problemet er at i utviklingen av denne algoritmen, kan ingen på teamet hos Apple ha vært i nærheten av å trille en barnevogn. Da hadde de allerede på sin første tur fått med seg glippen. Så om jeg skal være litt forutinntatt: Her kan det virke som om vi barnevogntrillere er et offer for erketypen av en techy i Silicon Valley: Du vet, den barnløse, unge jyplingen fra Stanford, med Tesla X. Og de ruller ikke rundt i den for å ha plass til storfamilien og barnevogna si.

Greit nok, faktumet at klokka mi maser på meg hver gang jeg går til barnehagen er ikke akkurat et verdensproblem. Men min jobb i innovasjon-studioet Reodor består delvis av å hjelpe selskaper med å finne friksjon og dårlige brukeropplevelser, for å så forbedre de. Så det er sånt som jeg går rundt og tenker på mens jeg triller en tidlig morgen.

Et aha-øyeblikk

Før sommeren hadde vi fag-fredag på kontoret. Denne fredagen var litt ekstra spesiell fordi vi hadde «besøk» av Yoav Schlesinger. Han holder til i San Francisco og jobber som sjef for etisk kunstig intelligens for Salesforce (stort amerikansk selskap som blant annet eier Slack).

Han satt oss inn i problemstillingen rundt etikk i utarbeidelsen av AI, hvor mangel på mangfold definitivt skaper problemer.

Mangel på mangfold i innovasjonsarbeidet spesielt innenfor AI/ML førte til at Uber Eats sjåfører i London mistet jobben, da ansiktsgjenkjenningsalgoritmen rett og slett ikke klarte å kjenne igjen mørkere ansikter, og dermed flagget at de lurte systemet. Et annet grovt eksempel var hvordan svarte pasienter i USA fikk halvparten av pleien i forhold til hvite, siden algoritmen prioriterte de med lys hudfarge. Hos Amazon ble en rekke kvinner diskriminert av algoritmene i søknadsprosessen på ledige stillinger. Dette fordi, i datagrunlaget algoritmen var trent på over 10 år, hadde helt klart flest menn søkt og fått stillinger. Derfor derfor nedprioriterte algoritmen ord som besto av «kvinne» som for eksempel «leder kvinners sjakklubb» og rene «kvinneskoler» ble nedgradert i rang.

Feilaktig algoritme i rettsvesenet

Et av de groveste eksemplene han dro frem var «COMPAS Parole Recommendation System».

Systemet brukes av rettsvesenet i halvparten av amerikanske stater. Det bruker en algoritme til å avgjøre risikoen for om en fange kommer til å gjøre noe kriminelt igjen.

Dette brukes både som et underlag til å avgjøre dom, og som grunnlag for om personen blir innvilget permisjon eller ikke.

Han påpekte at en av faktorene som påvirket var om du, eller folk lik deg, hadde vært fengslet før. Dette igjen gjør at svarte amerikanere konsekvent bedømmes som høyrisiko og at hvite forbrytere undervurderes.

De som har laget systemet har ikke tatt hensyn til den systemiske rasismen som ligger bak dette. Svarte amerikanere har for eksempel mer politi til stede i sine nabolag, de blir oftere anholdt og arrestert, og de har ofte ikke de samme mulighetene til å betale kausjon. Et godt mangfold i en organisasjon som arbeider med å utarbeide et slikt system, ville sannsynligvis utfordret modellen på et tidlig stadium.

Hvordan kan mangfold bidra?

Enda er vi relativt tidlig i utviklingen og utnyttelsen av kunstig intelligens. Mangelen på ulike perspektiver kan potensielt bli et kjempeproblem for fremtiden. Yoav pekte på fire sentrale elementer hvor mangfold er viktig: I beslutningsprosessen på hvilke kunder og segmenter som skal “behandles” av AI, de grunnleggende antagelsene som ligger bak hensikten med AI, dataen AIen trenes på og selve modellen som utarbeides.

McKinsey ga ut en rapport i 2015 som fant klar korrelasjon mellom mangfold i organisasjonen og noe så essensielt som lønnsomhet i selskapet. Så ikke bare trivsel, nye ideer, perspektiver spilte en rolle, de som var best på mangfold, var også de som hadde best lønnsomhet.

Denne samt en rekke andre faktorer har heldigvis ført til at mangfolds-debatten har fått en større plass i samfunnet. Det er helt på det rene at mangfold lønner seg. Men vi har mye å gå på i min lille boble av folk som jobber med utvikling og forbedring av nye produkter. Enten det er på kundesiden eller på konsulentsiden.

På mange måter står vi i de samme utfordringene som man gjør på utvikling av AI. Hvem tar avgjørelsene? På hvilke målgrupper og satsningsområder skal man fokusere? Ser man bredt nok, har man gode mangfoldige perspektiv i idefasen, og til slutt tester man dette på et bredt nok utvalg for å avdekke eventuelle skjevheter?

Et lite praktisk eksempel fra vår egen hverdag: Tidligere i år jobbet vi på et oppdrag for en kunde. Vi var i den kreative fasen hvor vi skulle komme på nye ideer til løsniger. Vi bygger alle ideer på brukerinnsikt og empati med de ulike personlighetstypene vi har funnet. Men så satt vi der og fant ut at til tross for et ganske godt mangfold på mange nivåer i vårt team, bodde alle innenfor ring 2 i leilighet og uten bil. Heldigvis kunne vi endre litt sammensetningen så mangfoldet ble mer representativt for caset vi skulle løse. Det ble en påminnelse om at livssituasjon også er et viktig element i mangfold.

Så der kommer altså min lille analogi om barnevognen tilbake inn. Hadde bare én på teamet hos Apple i San Francisco, sett litt bredere på mangfold, og vært i kontakt med en barnevogntriller, hadde de sluppet denne blogposten fra en irritert småbarnsfar i lille Norge.