Scenarioene virker dramatiske. Det industrialiserte og automatiserte samfunnet er i ferd med å overtas av autonome algoritmer som kan styre og stelle på egenhånd. Men vil kunstig intelligens (AI) jobbe for oss, med oss eller mot oss? Vil det fortsatt finnes ett «oss»? Hva med ett «dem»? Og kan egentlig digitaliseringsminister Nikolai Astrup redde oss med sin AI-strategi, og når kommer den egentlig?

Den britiske vitenskapsmannen og filosofen James Lovelock, kjent for blant annet Gaia-hypotesen, mener at AI er det siste steget i menneskehetens naturlige evolusjon og vil avle en ny geologisk tidsperiode. MIT-professor Max Tegmark og Oxford-filosof Nick Bostrom har begge spekulert på om AI-drevne superorganismer kan kolonialisere verdensrommet. AI-generert Armageddon var noe Stephen Hawking bekymret seg over da han levde, i likhet med Elon Musk nå.

Den ukjente avgrunnen som kryper oss i møte er åpenbart skummel.

– Det har egentlig ingenting med det vi jobber med, sier Magnus Olden, CTO og medgründer i Domos, mens han vipper rundt på en blå balanseball på plassen sin på StartupLab i Oslo.

– Jeg synes det er litt sånn at de blander sammen virkeligheten med den filosofiske langtidsdebatten. Det er en veldig interessant debatt, men filosofisk. Eller, det krever litt kunnskap å vite hva som er hva, legger han til.

AI-guden?

Men hva er egentlig hva? Sammen med kollega og Head of Research i Domos Bjørn Ivar Teigen, som – på tradisjonell kontorstol – sitter litt mer stødig på plassen til høyre, kan forhåpentligvis Magnus Olden hjelpe oss med å nøste opp i nettopp dette.

For hvor slutter hypen og hvor begynner virkeligheten? Hvor langt har forskningen på og anvendelsen av AI egentlig kommet? Er vi, slik som Lovelock mener, på rasende vei inn i en ny geologisk periode hvor mennesker vil leve side-ved-side med AI-drevne cyborger inntil sistnevnte arver oss? Og er det realistisk at enkelte selskap, individer eller stater kan bruke AI til å oppnå en total og «gud-lignende» kontroll over samfunnet, slik Elon Musk tror?

Inne på StartupLab på Forskningsparken virker ikke disse spørsmålene særlig aktuelle – og kanskje egentlig litt useriøse. Her, på et av de åpne kontorene, jobber Domos-teamet med å analysere og optimalisere trådløse nettverk for nettleverandører. Ved å samle inn informasjon fra trådløse rutere kan de for eksempel beregne forsinkelser på nettverkstilkoblingen. Til dette bruker de maskinlæringsalgoritmer basert på forsterkningslæring – «reinforcement learning» – med dype nevrale nett.

– Jeg er ikke så veldig redd for at de algoritmene vi sitter og trykker på skal ta over verden, for å si det sånn, sier Olden.

Det uforklarlige

Forsterkningslæring med dype nevrale nett er nettopp det det advares mot. Et av hovedproblemene, slik noen ser det, er umuligheten av å forstå tankeprosessen til nevrale nett og at vi ofte ikke vet hvorfor de konkluderer som de gjør. Dette er en integrert del av teknologien – og en av grunnene til at den kan få til så mye.

Ved å bli matet med informasjon om det som er kjent, kan nemlig nevrale nett gjøre treffsikre og avanserte gjetninger om det som ikke er kjent. Informasjonen sendes ned gjennom flere lag av noder som alle gjør delanalyser. Jo flere node-lag, jo dypere er det nevrale nettet. Det siste laget spytter ut en konklusjon – eller en prediksjon, men ingen forklaring. Nevrale nett kalles derfor ofte «sorte bokser».

– En vanlig kritikk av dype nevrale nett er at du på en måte får et svar, men du vet ikke hvorfor svaret er som det er, sier Teigen.

– Så da handler det om å gjøre det nevrale nettverket forklarbart, som er akkurat det vi jobber med nå. Det er jo veldig mye mer nyttig for oss hvis vi kan vite hva som forårsaker forsinkelsen.

Og de siste årene har forklarbarhet fått mye oppmerksomhet. For hva betyr det for samfunnet hvis mer og mer av grunnlaget for beslutninger som tas av banker, rettsvesen og leger er algoritme-konklusjoner vi ikke kan forstå? Vil vi tåle å få avslag på en lånesøknad uten å kunne få vite hvorfor, hvis algoritmene banken tar i bruk jevnt over sørger for at færre lån blir misligholdt? Vil det i praksis da være algoritmene som styrer oss, i stedet for motsatt?

AI-strategisk

Den belgiske teknologi-filosofen Mark Coeckelbergh er tydelig på at dette ikke er noe vi kan tolerere.

«Folk har rett på å vite hvorfor en avgjørelse som påvirker dem ble tatt. En avgjørelse som ikke kan forklares er urettferdig», skrev han i en artikkel i år. «Forklarbarhet er en moralsk plikt».

Og dette synspunktet er ikke Coeckelbergh alene om. I 2017 vedtok for eksempel Europaparlamentet en resolusjon som anbefalte at grunnlaget for AI-avgjørelser må kunne forklares og være forståelig for mennesker. De anbefaler også at avanserte systemer blir utstyrt med en «sort boks» – ikke ulik den man finner i fly – til å loggføre algoritmens logiske prosesser. En sort boks for en sort boks, altså.

Regjeringen jobber nå med en egen AI-strategi. Teknologirådet er blant de som tidligere har kommet med forslag til hva denne burde inneholde. Blant annet står det: «Norske myndigheter bør lovfeste en rett til forklaring, og unngå å bruke beslutningssystemer som ikke gir en god nok forklaring».

AI-doktoren

Er dette i det hele tatt realistiske krav å stille?

– Da er det masse av de tingene som finnes på radiologi, for eksempel – det med å kjenne igjen kreftsvulster – som du bare kan kaste. Fordi man ikke vet hvordan det funker, sier Olden, mens balanseballen han sitter på knaker.

– Men de klarer å finne kreftsvulster med høyere presisjon enn leger.

– Ja, altså, hvis du skal ha en forklaring krever du på en måte at det skal være enkelt å skjønne, skyter Teigen inn.

– Og i noen tilfeller er det sånn at nesten ti tusen faktorer kan være inne i bildet. Og da er det ikke kompatibelt med at et menneske kan forstå det lenger.

Hvis det i praksis stopper folk fra å få livreddende kreftbehandling kan det bli vanskelig å forsvare Coeckelberghs krav om forklarbarhet som en moralsk plikt.

«Weapons of Math Destruction»?

Arbeidet til Domos-teamet her på StartupLab virker egentlig ikke særlig umoralsk – til tross for at de ikke alltid vet hvorfor algoritmene de bruker til å analysere nettverkstilkoblinger treffer konklusjonene de gjør.

For det er ikke sånn at algoritmene herjer fritt og uten tilsyn. Det er heller ikke sånn at de slenger ut befalinger som følges blindt enten de virker fornuftige eller ikke – en fryktet AI-konsekvens som allerede har utøvet skade i USA.

Noen av disse er for eksempel beskrevet av Cathy O’Neil i boka «Weapons of Math Destruction». Her forteller hun hvordan ledere og beslutningstagere i både det offentlige og private har brukt dårlig gjennomtenkte AI-analyser som magiske «quick fixes» når de står ovenfor vanskelige avgjørelser.

«Analysen er outsourcet til kodere og statistikere, og som regel lar de maskinene snakke for seg», skriver hun.

For enkeltmennesker har effektene vært katastrofale. Lærere har mistet jobben, folk med lite penger låses i fattigdomsfeller, straffedømte får ulik behandling og de som allerede er privilegerte får tilgang til enda flere privilegier.

Det er flere grunner til dette. Et av hovedproblemene er imidlertid partiskhet – eller «bias» — i dataene.

Data bestemmer alt

Når AI-algoritmer generaliserer fra det kjente til det ukjente har dette to konsekvenser. For det første tar ikke algoritmene hensyn til hvordan mønstrene har oppstått – som for eksempel gjennom generasjoner med urettferdighet og undertrykking. For det andre risikerer de å ikke ta hensyn til avvikene som faller utenfor det generelle.

AI-algoritmer kan altså stappe oss inn i rigide kategorier vi kanskje ikke passer inn i og vanskelig kan unnslippe. Utvikling og trender fryses. Dette er en høy pris å betale, selv om samfunnet skulle bli veldig mye mer effektivt.

I tillegg er gode resultater også helt avhengig av at dataene faktisk representerer virkeligheten – fremfor bare en del av den. Og ifølge Teigen og Olden går det omhyggelig arbeid med på å passe på at informasjonen algoritmene blir matet med er den de trenger for å gi gode svar.

– På studiet får du et datasett som du skal lage en algoritme for å få best mulig resultat. Men i virkeligheten bruker du kanskje 90 prosent av tiden på å få tak i datasettet og verifisere og skjønne at det er bra. Det går egentlig lite tid på å sitte og tweake algoritmer, sier Olden.

– Du blir aldri bedre enn dataen du har. Datagrunnlaget bestemmer alt.

Domene-kunnskapen

Denne prosessen tar heller ikke nødvendigvis slutt. Datainnsamlingen og kategoriseringen er nøye styrt og må følges opp kontinuerlig.

– Hva er neste steg, hvordan kan systemet forbedres, kan man bruke en annen algoritme eller stille andre spørsmål? Mennesker er nødvendig for å forbedre metodene og tolke hvordan de fungerer, sier Teigen.

– Det er vi som må sette roadmappen og finne ut hvordan vi skal jobbe fremover.

For å få et godt datagrunnlag er en også avhengig av at utviklere som Teigen og Olden har god oversikt over feltet – eller domenet – de jobber med. For Domos begrenser dette seg til trådløse nettverk.

– Vi må kunne masse om domenet for å kunne stille fornuftige spørsmål som en maskinlæringsalgoritme kan løse. For eksempel for spill er det bare forsinkelser som er viktig, men når du ser på Netflix er ikke det viktig i det hele tatt, sier Olden.

– Uten domenekunnskapen risikerer man å optimalisere for feil ting som kanskje hadde vært ødeleggende, ikke sant? Vi må vite hva som er bra og hva slags informasjon vi har. Vi må skjønne problemet skikkelig selv.

Begrensningene

Det å skjønne problemet skikkelig er åpenbart vanskelig nok når det kommer til trådløse nettverk. Da virker det egentlig ganske innlysende at resultatet vil bli dårlig hvis man bruker AI-algoritmer for å bestemme om man skal prøveløslatte straffedømte eller si opp lærere for elever med dårlige testresultater. Disse domenene er det tross alt ingen som skjønner skikkelig.

– Noen ting kan vi ikke vite. Om du og naboen din er på samme åpne frekvens kan vi ikke si om naboen din vil begynne å strømme Youtube om et minutt. Likevel kan nettleverandøren spørre om vi kan si noe om når det skjer, sier Teigen.

– Men vi kan jo ikke det, fordi det er data som rett og slett ikke finnes.

Sett fra dette perspektivet virker kanskje O’Neils kritikk mot «kodere og statistikere» litt urettferdig. Olden og Teigen virker jo ganske åpne om de relativt store begrensningene som fortsatt preger AI-feltet. Det er også grunn til å lure på hvorfor ledere og beslutningstagere så villig tyr til overforenklede løsninger til det vi vet er utrolig kompliserte spørsmål.

Ikke så AI som antatt

Problemer med datasett setter altså klare begrensninger for muligheten til å få «gud-lignende» oversikt over verden. Men at informasjon fra forskjellige kilder samles inn og analyseres er noe som skjer i stor skala, da gjerne med Facebook og Google i spissen.

Et scenario det av og til spekuleres på er tilblivelsen av en AI-«superorganisme». Med tentakler og forgreninger i alle dingser koblet til Internett kan den gi en nesten total oversikt over alt som skjer i verden rundt oss. Særlig får dette oppmerksomhet nå når IoT endelig begynner å ta av.

Men skal vi tro Teigen og Olden – og med tanke på hvor krevende det enda er å gjøre AI-analyser på relativt begrensede domener – er sannsynligvis ikke dette noe som kommer til å manifestere seg helt enda.

– Man kan jo bygge videre på hverandres algoritmer og sånne ting, men jeg er ikke redd for at den prosessen skal komme ut av kontroll på noe vis, sier Teigen.

– Ingenting går av seg selv. Det er mange timers jobb for å sette det sammen og prøve å finne noe fornuftig i det, legger Olden til.

– Jeg tror ofte at hvis man ser det fra utsiden så tenker man at ting er mer automatisert enn det egentlig er. Men det er en debatt som det er verdt å ta – datadeling og aggregatorer av data som sitter å gjør analyse.

Stille ved fronten

Det er imidlertid kanskje ikke den debatten som er viktigst. I stedet for å fokusere på hvordan man skal regulere og kontrollere AI-teknologi som er for god, virker det som man burde passe på at folk i uvitenhet tar i bruk teknolog som er for dårlig.

Tverrfaglig kunnskap, god kommunikasjon, åpenhet og ærlighet. Etter en halv dag hos Domos på StartupLab sitter man igjen med inntrykket av at det er dette vi trenger hvis vi ikke vil at teknologien skal bære oss av sted i helt feil retning. Ikke akkurat revolusjonerende funn, men det forklarer hvorfor livet på revolusjonens frontlinje også tas ganske med ro.

Det er også kanskje litt kjedelig – og en anelse skuffende – etter å ha spekulert i og uroet seg over slutten på menneskeheten, AI-Armageddon og kolonialiseringen av verdensrommet.

På den annen side. I spekulasjonene om vi står ovenfor en ny AI-dreven geologisk periode påpeker Lovelock at det faktisk bare er 300 år siden den industrielle revolusjonen kom skikkelig i gang. Egentlig tok det da ikke så mange generasjoner før den endret hele verden.

Med tanke på hvor mye raskere utviklingen går nå og hvor mye lengre vi kan forvente å leve er det kanskje ikke helt urealistisk å tro at vår generasjon etter hvert kan finne oss selv i ganske andre omgivelser enn de vi ble født inn i.

Har du forslag til en hype som "Hypometeret" bør se nærmere på, send det til redaksjonen@shifter.no.