stefanfisherhoyrem.com
Sterri vs. Strümke
I fredagens Morgenbladet skriver Aksel Braanen Sterri en litt hårsår respons på Inga Strümkes kritikk av tankesmia der han er fagsjef, og deres finansieringskilder. Her er noen av mine tanker, avsnitt for avsnitt.
> ** _“I_**** _forrige ukes Morgenbladet_**** _trekker Inga Strümke opp en klar demarkasjonslinje mellom vitenskap og tomme spekulasjoner. Langsikts advarsler om at vi innen det neste tiåret vil kunne få svært kapable og_**** _farlige KI-systemer_**** _, avfeier hun som uvitenskapelig futurisme. Det høres ut som Strümke oppfordrer til faglig ydmykhet, men det å blankt avfeie alvorlig risiko fra avanserte KI-systemer, er et uttrykk for hybris, ikke ydmykhet.”_**
Det er en tvetydighet her jeg syns gjennomsyrer mange av Sterris tekster om KI, i alle fall som jeg har vært borti. Han skriver om “ _svært kapable_ ” KI-systemer. Det adjektivet kan forstås på ulike måter, og Sterri gjør det ikke alltid så klart hva han legger i det. Det gjør det vanskelig å få helt tak på hva han egentlig sier, og dermed ettergå det.
Å si at systemene er “ _svært kapable_ ” kan bety (1) at systemene er så avanserte at mennesker kan bruke dem til veldig mange ting. Eller det kan bety (2) at systemene utvikler nye evner som systemene selv kan begynne å bruke på egen hånd, uten menneskelig innblanding. (1) er ukontroversielt. Alle er enige om at dagens KI-systemer er svært avanserte og at mennesker (stater, organisasjoner, enkeltpersoner) allerede bruker dem til mye forskjellig, på godt og vondt. (2) er kontroversielt. Det forutsetter _ikke_ , som man lett kan få inntrykk av, at systemene har fått “bevissthet”. Men det forutsetter at de, hvis de utvikles videre i den retningen de er allerede er på vei, kan få evnen til å gjøre visse operasjoner som man ellers ikke forventer fra datamaskiner.
Jeg kommer tilbake til hvorfor (2) er mer kontroversielt enn det kan se ut til ved første øyekast. Poenget her og nå er inntrykket mitt av at Sterris tekster om KI er konsekvent uklare på om han egentlig snakker om (1) eller (2). Jeg ville bare nevne det, for det gjør noe med hvordan man kan møte det han påstår. Man får følelsen av at han når som helst kan vri seg unna og si han mente noe annet.
> **_“Synet står nemlig i klar motsetning til noen av verdens aller fremste KI-eksperter. Nobelprisvinner Geoffrey Hinton og Yoshua Bengio advarer begge mot katastrofale konsekvenser fra avansert KI.”_**
Dette er en såkalt appell til autoritet, som egentlig er litt overraskende i denne sammenhengen, i og med at det er Strümke som i utgangspunktet kommer fra samme fagfelt som Hinton og Bengio, mens det samme ikke gjelder filosofen Sterri. Likevel henviser han ofte til Hinton og Bengio, og omtaler dem omtrent som om de var Paulus og Peter, mens Strümke ser ut til å måtte legitimere sin egen deltakelse i samtalen. Tankevekkende.
Jeg for min del kan godt forstå hun ikke nevner Hinton. Jeg tenker en ganske enkel kritikk av ham er at han forutsetter at såkalte “nevrale nettverk” i komputerende maskiner er løst basert på hvordan biologiske nevrale nettverk fungerer. Derfor, tror han, er det en viss mulighet for at de maskinelle nettverkene, når de blir mer _avanserte_ og _kapable_ , vil utvikle det samme og kanskje høyere nivå intelligens som de tilsvarende biologiske nettverkene i hjernene våre. Dette er i så fall noe vi må fokusere på, for det kan bli farlig.
Det er mange måter å kritisere dette på, ikke minst ved å bestride premisset om at biologiske og maskinelle “nevrale nettverk” er like, og derfor kan gjøre det samme. Biologiske nevroner kan nemlig gjøre flere typer operasjoner enn de elektriske transistorene i datamaskinenes nettverk.
I en tidligere bloggpost har jeg prøvd å beskrive hvordan nevroner gjør to forskjellige typer operasjoner. Den ene typen, som vi kan kalle _narrative operasjoner_gjør at vi kan forestille oss andres perspektiver og motivasjoner, spekulere om årsaksrekker, og gjette kontrafaktisk hva som _kunne_ ha skjedd dersom noe i verden var annerledes. Den andre typen, som vi kan kalle _komputerende operasjoner_ , gjør at vi kan gjenkjenne mønstre, lagre informasjon fra omgivelsene via sansene, og beregne sannsynligvis korrekte løsninger ved hjelp av logiske utregninger.
Datamaskiner, og de språkmodellene vi i dag kaller KI, kan utføre én av disse typene – _komputerende operasjoner_ – og de kan gjøre det mye bedre enn hjernen. De kan lagre flere og mer komplekse data, med mye høyere presisjon, prosessere dem med logiske regneregler, og gjenkjenne mer avanserte mønstre enn vår hjerne kan. Hjernen er egentlig dårlig til å utføre komputerende operasjoner; den er ikke primært utviklet for det. Men at maskiner kan gjøre _en_ av typene operasjoner som nevroner kan gjøre, betyr ikke at de kan gjøre _alt_ nevroner kan. Komputerende maskiner kan kun komputere; de kan ikke gjøre narrative operasjoner.
Grunnen til dette er at nevroner og transistorer er laget av forskjellig materiale og har ulike energikilder. Komputerende maskiner har transistorer som sender elektroniske signaler på felles strømkrets. Nevroner er til sammenligning selvdrevne, hver enkelt med sin mitokondriske energigenerator, og fri til å lage spontane nye koblinger med hverandre hvor og når som helst. Koblingene mellom dem – synapsene – er ikke elektroniske, men fysiske, og har en bestemt retning. Dette er det biologiske grunnlaget for at vi kan forestille oss lange årsaksrekker, serier med handlinger og hendelser, planlegge og spontant endre planer. Alt dette bunner i fysiske mekanismer, og utgjør forskjellen mellom transistorer og biologiske nevroner.
Disse fysiske forskjellene setter en absolutt ramme for mulighetene for komputerende KI i all fremtid. Kanskje vi vil klare å utvikle en annen form for KI, en som ikke er komputerende, men som er i stand til å tenke kontrafaktisk eller spekulere i årsakssammenhenger, initiere spontane handlinger, eller generere originale planer i ambivalente omgivelser med lite informasjon, osv. Det er ikke umulig at det kan skje. Men ingen investerer penger i det per i dag. Og inntil det skjer er det absolutt ingen fysisk mulighet for at maskiner som komputerer skal kunne gjøre alle de tilsvarende operasjonene som biologiske nevroner gjør.
Dette er ikke noe Strümke har snakket om, så vidt meg bekjent, men det forteller litt om hvor Hinton står. Selv om han har vært viktig for den teknologiske nyvinningen maskinelle “nevrale nettverk” en gang var, har han også vært med å grunnlegge paradigmet som ser statistiske språkmodeller som en vei til å gjenskape en menneskelignende “intelligens”. Og der sier biologien ganske enkelt nei.
Da blir det også nærliggende å kritisere Hinton rent forskningsetisk, siden han vier så mye tid til å spekulere om fysisk umulige fremtidsscenarioer, heller enn å reflektere kritisk om sitt eget ansvar og sin egen rolle i den rådende KI-diskursen.
Slik jeg leser det er det altså ikke at Strümke ikke vil forholde seg til Hinton som ekspert. Det er mer at Hinton ikke har vist noen nevneverdig interesse for de problemstillingene Strümke, jeg vil si med rette, mener er viktigere enn sci-fi. Ved å ignorere problemene KI skaper og forsterker her og nå – for klimaet, for mennesker, for demokratier, og så videre – og heller fokusere på imaginære problemer i en imaginær fremtid, har Hinton meldt seg ut av de etiske diskusjonene Strümke og mange andre forsøker å løfte frem.
> ** _“Bengio er verdens mest siterte forsker og forfatter av_**** _International AI Safety Report_**** _. Rapporten gir et betydelig empirisk og vitenskapelig grunnlag for hypotesen om at vi raskt kan få ekstremt kapable og farlige KI-systemer.”_**
Bare for å ha sagt det: Det å være blant verdens mest siterte forskere trenger ikke bety annet enn at mange har måttet forholde seg til noe man har skrevet. Å være mye sitert trenger ikke nødvendigvis bety at man har mer rett, det kan like gjerne bety at man har mange kritikere. Også arge motstanderes siteringer teller nemlig med i statistikken. Det indikerer relativ posisjon i et slags marked, ikke sannhetsgehalt.
Men rapporten Bengio har skrevet er et godt eksempel på hvordan det rådende paradigmet han har vært med å etablere slår sammen de to vidt forskjellige nevrale operasjonene jeg nevnte ovenfor, uten å ta hensyn til forskjellen mellom nevroner og transistorer.
I seksjonen som omhandler såkalte “loss of control”-scenarier (katastrofer som kan inntreffe i en fremtid der KI løper ustoppelig løpsk), lister rapporten opp flere egenskaper KI-systemer må utvikle for at slik scenarier skal kunne inntreffe. Blant disse er å “utvikle og gjennomføre planer”, en “evne til å forestille seg folks overbevisninger, motiver og tankesett”, å kunne “bli klar over at den testes”, eller at språkmodellen kan tilpasse seg uventede hindringer underveis i en prosess uten å miste av syne sine egne langsiktige mål. I biologien er dette, som vi har sett, evner og ferdigheter som bunner i de nevrale mekanismene vi kan kalle “narrative operasjoner”.
Men når den samme rapporten senere lister opp tre “drivere” for potensiell fremgang og utvikling innen KI som skal føre til at maskinene utvikler disse evnene, er det nettopp infrastruktur for komputering, effektivisering av prosessering, og økende kapasitet for datamengde og -kvalitet som nevnes. Kort sagt: mer av det samme, mer komputasjon, mer algoritmer, mer data. Men fordi mer komputerende operasjoner ikke kan føre til mer narrative operasjoner, er dette en feil antakelse. Og denne antakelsen ligger til grunn for mye av rapporten. Den ligger skjult under det tvetydige begrepet “kapabilitet” på en måte Sterri og Langsikt viderefører i sine offentlige notater og anbefalinger.
> ** _“Å kreve at beslutningstagere skal stole mer på hennes vurdering enn ekspertene som grunnla forskningsparadigmet som moderne KI utvikles innenfor, faller på sin egen urimelighet.”_**
Nå har strengt tatt ikke Strümke noen gang vært i posisjon til å “kreve” at noen skal stole mer på henne enn på andre eksperter på samme fagfelt, så det er et underlig ordvalg.
Uansett, det interessante her er den ubevisste innrømmelsen av at Strümke faktisk har et poeng: KI defineres og utvikles i dag innenfor et gitt paradigme som ble etablert ganske langt tilbake i tid, og som er sentrert om språkmodeller. Man kan lese Strümkes tekst som en kritikk av dette paradigmet. Det å påpeke at paradigmet kan være begrensende og kanskje feilslått, og å gi eksempler på hvorfor man mener det, er ikke noe som “faller på sin egen urimelighet”. Det er faglig velfundert uenighet fremført av en fagperson på feltet.
I motsetning til Strümke, som, igjen, altså er forsker på feltet, har Sterri bundet seg til masten i det etablerte paradigmet, og satser på at språkmodeller snart vil gi datamaskiner ikke-komputerende evner. Han håper det kanskje ikke, men analysene hans forutsetter at det kan skje med en viss sannsynlighet. For meg virker det som Strümke klarer å se det etablerte paradigmets iboende begrensninger tydeligere, og at det er helt legitimt at hun ber de ivrigste entusiastene roe seg litt ned.
> ** _“Strümke er heller ingen troverdig kilde på hvordan de ledende KI-modellene vil utvikle seg. Så sent som i fjor skrev hun i Aftenposten at_**** _språkmodeller er en hype_**** _som bare fremstår som lovende fordi vi tilskriver bevissthet til systemer som kan kommunisere med oss.”_**
Her skal Sterri prøve å sette inn støtet mot en KI-forsker som har påpekt hvordan KI, slik det fremstilles i det rådende språkmodell-paradigmet, tillegges en haug med egenskaper språkmodeller ikke faktisk har. Og grunnen til at hun ikke bør lyttes til er at utviklingen allerede har gått lenger enn hun spådde.
OK, da gleder vi oss til å se eksempler på hvor feil hun har tatt. Fyr løs!
> **_“Ett år etter ser vi at de samme modellene_**** _løser uløste matematiske problemer_**** _…”_**
Sterri lenker til en populærvitenskapelig artikkel i _Scientific American_ som beskriver hvordan matematikere har brukt språkmodeller i utvidede litteratursøk, og slik klart å samle flere allerede eksisterende løsninger på Erdős liste over matematiske problemer fortere enn de ellers ville klart. Det er _ikke_ at språkmodellene “løser” disse problemene. Det er hovedsakelig at man ved hjelp av dem kan saumfare nettet for å oppdage løsninger folk allerede har utarbeidet, men som er bortglemt eller ikke publisert i tidsskrifter. Av og til _kan_ det skje at modellen frembringer en eller annen kombinasjon matematikeren ikke har tenkt på eller vært klar over. Men, påpeker noen som er intervjuet i artikkelen, de aller fleste “løsningene” folk finner ved hjelp av språkmodellene, er nonsens, og egentlig mest i veien for seriøst arbeid.
Å henvise til denne artikkelen, og prosjektet den beskriver, for å underbygge en påstand om at “ _de samme modellene løser uløste matematiske problemer_ ” er veldig frimodig bruk av kildematerialet.
De fleste KI-eksperter er uansett enige om at generelle KI-modeller (eller “de samme modellene”, som Sterri kaller dem) ikke kan løse matematiske problemer som krever ny innsikt. Dette kan man lese om i Yoshua Bengios _International AI Safety Report_ fra 2025 (se tabell 1.4 i rapporten), som Sterri nettopp henviste til, og ellers lener seg så tungt på.
> **_“…og skriver_**** _nær 100 prosent av koden_**** _i de ledende KI-selskapene…”_**
I Sterris eksempel nummer to på at Strümke er upålitelig når det gjelder hva språkmodeller kan få til, viser han til en Fortune-artikkel som sammenfatter påstander som har kommet fra ganske ulike hold. Når jeg prøver å ettergå disse påstandene er det mye i den artikkelen som må modereres.
Én av personene som siteres er Microsofts CEO Satya Nadella, som i følge artikkelen Sterri lenker til har sagt at omtrent 30% av koden i selskapet nå skrives av KI. I følge Fortune-artikkelen, altså. Men etter en dobbeltsjekk viser det seg at det ikke helt var det Nadella faktisk sa i den opprinnelige konteksten (se det på YouTube, ca. 45:00-45:08). Der sa han at _“kanskje 20-30% av koden i noen av våre prosjekter er, sannsynligvis, skrevet av software”._
Kanskje. 20-30%. I noen prosjekter. Sannsynligvis.
Ganske langt unna Sterris påstand om “nær 100%”.
Da er CEO i Anthropic, Dario Adomei, mye mer fremoverlent på sine ansattes vegne. Artikkelen siterer ham på påstanden _“Jeg har ingeniører ved Anthropic som sier ‘jeg skriver ikke kode lengre, jeg bare lar modellen skrive koden, og jeg redigerer den’._ Denne påstanden fremførte han opprinnelig foran en forsamling i Davos, før han erklærte: _“Vi er kanskje 12 måneder unna at modellen gjør det meste, kanskje alt, som dataingeniører gjør.”_ Dette var i januar i år.
Artikkelen forteller at denne vidløftige påstanden fra en CEO som altså snakket om sitt eget selskaps fortreffelighet foran verdens rikeste potensielle investorer, understøttes av en X-post fra en av hans egne ansatte, Boris Cherny. Én ansatt, altså, ikke flere ansatte. Cherny påsto her at han personlig ikke lengre koder selv – ja, at han til og med ikke trenger redigere det modellen koder for ham. Han legger imidlertid til et litt selvmotsigende forbehold om at modellen fremdeles gjør mange feil og skriver mye overflødig kode, men han bekjenner stor tro på at dette vil bedre seg over tid.
Artikkelen nevner i tillegg en annen anonym X-bruker som visstnok jobber i et stort tek-selskap og lar en språkmodell gjøre det meste av kodingen for seg. Dette er litt vanskelig å få bekreftet så lenge vedkommende er anonym.
En CEO som presenterer selskapet sitt for potensielle investorer basert på en SoMe-post fra sin ansatte sjefsingeniør, og en anonym X-bruker, som alle legger inn flere forbehold enn det som blir gjengitt i Fortune-artiklene Sterri lenker til, som igjen legger inn flere forbehold enn Sterri til slutt gjør. Mer grunnlag gir han oss ikke for sin påstand om at KI “skriver nær 100% av koden i de ledende KI-selskapene”. For meg blir det litt tynt.
> **_“Modellene er allerede på full fart inn i forskningen, som Tore Wig_**** _har beskrevet godt_**** _i denne avisen.”_**
Tredje eksempel Sterri presenterer på at Strümke tar feil når hun setter begrensninger for hva språkmodeller kan brukes til, er en overraskende begeistret tekst Tore Wig skrev i Morgenbladet om hvordan han “bruker KI” i forskningen sin, at han syns den produserer like godt arbeid som stipendiatene han veileder, og hvordan han tror alt vil se annerledes ut i fremtiden. Wig fikk et nøkternt og subtilt irettesettende svar fra sjefsforsker Thomas M. Surowiec og postdoktor Adrian Kirkeby ved Simula Research Laboratory, som høflig minnet både Wig og andre lesere om at man lett kan bli imponert over ting man ikke har greie på, på samme måte som man ikke blir like lett imponert når man er på eget ekspertiseområde.
Nå kan Sterri godt ha lest dette svaret, og fremdeles påstå at KI er på “full fart inn i forskningen” uten at det egentlig sier noe om hvor nyttige språkmodeller egentlig er til noe som helst, for det er i seg selv en ganske innholdsløs påstand.
Men han gir det altså som et eksempel på at Inga Strümke er upålitelig når hun advarer mot overdreven tro på KI-bransjens mantra om at språkmodeller snart kan løse enhver oppgave. Og er det noe man merker i forskningssektoren der KI altså “er på full fart inn”, så er det, som forskerne fra Simula Research Laboratory vennlig påpeker, hvor mye ressurser som kreves bare for å finne ut hva disse modellene egentlig skal kunne brukes til. For dét er ikke særlig åpenbart.
Jeg må innrømme at de tre eksemplene Sterri gir så langt ikke har overbevist meg om at utviklingen går særlig annerledes enn Strümke har skissert. Men han har mer på lager.
> ** _“En mer subtil form for hybris kommer til uttrykk i viljen til å avfeie fremtidsscenarioer som usannsynlige. Det er uklokt gitt hvor mye som har skjedd på få år. Filmen_ Her _fra 2013 viser en hypotetisk fremtid der mennesker snakker med og blir forelsket i sjarmerende og intelligente KI-systemer. I dag lever vi i den virkeligheten. Det bør mane til ydmykhet over hvor radikalt annerledes verden kan se ut om ti år.”_**
Filmen _Her_ fra 2013 forteller historien om en middelaldrende mann som er emosjonelt ute av stand til å prosessere et krevende samlivsbrudd. Han skaffer seg et avansert dataoperativsystem for å få en “virtuell assistent”, og overbeviser gradvis seg selv om at dette systemet utvikler noe som ligner menneskelig bevissthet og emosjon.
Det er godt mulig noen av oss lever i en slik virkelighet, der vår interaksjon med teknologi kommer i veien for ekte mellommenneskelige relasjoner. Akkurat dét var nok heller ikke så ukjent da filmen kom ut i 2013, da sosiale medier som Facebook virkelig hadde begynt å ta plass i folks liv. Men det er litt spesielt å tolke _Her_ som en spådom om at datamaskiner skal kunne bli intelligente en dag, heller enn en kritisk og dypt humanistisk samtidskommentar.
Det Sterri egentlig gjør her, er å snike inn en påstand om at datamaskiner i dag faktisk _er_ intelligente og emosjonelle, _fordi_ noen gjennom projisering (som for all del oppleves virkelig for dem det gjelder) _lar seg overbevise om_ at programvaren er intelligent og emosjonell. Det er å snu både film og virkelighet på hodet.
Man kunne like gjerne manet til ydmykhet overfor at mange – de siste tiårene spesielt mange fra teknologifeltene – har kommet med feilslåtte spådommer om radikalt annerledes verdener like rundt hjørnet. Hybrisen er ikke nødvendigvis hos Strümke her.
Men jeg vil ikke være urettferdig. Å bruke den filmen som eksempel er kanskje et bomskudd, og ikke selve poenget Sterri ville ha frem. Han vil si noe om at vi ikke kan vite hva fremtiden vil bringe, men at vi må forberede oss på flere tenkelige scenarier. Det er mye som er mulig, og som _kan_ skje, også ting som aldri har skjedd tidligere. Det er jo greit nok.
> **_“Vitenskapshistorien er full av tilbakeviste påstander om hendelser som forskere mente var umulig eller futurisme. I 1933 kalte Ernest Rutherford, mannen som selv hadde splittet atomet, ideen om å utvinne energi fra atomkjerner for «moonshine». Dagen etter leste Leo Szilard om uttalelsen i avisen og fikk ideen om en kjernefysisk kjedereaksjon mens han ventet på grønt lys i et London-veikryss. Tolv år senere falt atombomben over Hiroshima. I møte med en ukjent fremtid bør en ikke være skråsikker på hverken det en tror vil skje, eller det en tror ikke vil skje.”_**
Det _er_ sant at vitenskapshistorien er full av slike tilbakeviste påstander. Min favoritt er alle de høye herrer som rundt 1903 erklærte at flymaskiner var en logisk og matematisk umulighet, kun få uker før Wright-brødrene lyktes med å fly. Så hva er forskjellen mellom dette og det Sterri sier?
Jo, forskjellen ligger i hvilke rammer som ligger fast. Vitenskapelig og teknologisk innovasjon, det å lykkes med å gjøre noe som aldri før har blitt gjort, skjer fremdeles innenfor en ramme av de eksisterende naturlovene. Dette er forskjellen på kreativitet og magisk tenkning. Magisk tenkning er å fantasere om å endre rammene for hva som er mulig i den virkelige verden; kreativitet er evnen til å oppdage ikke ennå realiserte muligheter innenfor de rammene virkeligheten setter.
Vi kommer ikke til å våkne en dag og oppdage at naturlovene har endret seg radikalt. Komputering kommer ikke til å bli noe mer enn komputering, og maskiner som kun kan komputere kommer ikke til å kunne gjøre noe mer enn å komputere. Det betyr ikke at vi aldri vil kunne lage maskiner som faktisk replikerer det biologiske nevroner gjør. Det kan godt skje. Men å tro at det kan skje gjennom dagens komputerende maskiner og språkmodell-paradigmet, er litt som å tro at man gjennom alkymi kan lage gull av gråstein: en besnærende fortelling for alkymientusiaster, men i strid med naturlovene.
Sterris dramatiske avslutning på anekdoten om atombomben i Hiroshima gjorde meg først usikker på hva han mener er lærdommen her. Tenker Sterri at man kunne stoppet utviklingen av atombomben, om man bare hadde sett for seg en fremtid der den var en realitet? Hvilken forskjell gjør det for befolkningen i Hiroshima?
Men så tenkte jeg at Sterri kanskje forestiller seg Langsikt som noen som makter å se for seg et slags fremtidig KI-Hiroshima, og som ønsker å forberede beslutningstakere på at katastrofen kanskje kommer –med mindre vi investerer mer politisk, økonomisk og juridisk i nettopp teknologien som kommer til å skape katastrofen. KI – årsaken til og løsningen på alle fremtidens problemer.
Jeg ville for min del tro atombomben og den kollektive historiske erfaringen fra de påfølgende årene med opp- og nedrustning like gjerne kunne være en påminnelse om at det er _mulig_ å endre en teknologisk utvikling som ser determinert ut, og at etikerens rolle også bør være å bidra til å _snu_ en farlig utvikling, ikke å forberede seg på naturstridige problemer i imaginære fremtidige verdener.
For øvrig er vitenskapshistorien også full av tilbakeviste påstander om mystiske intelligente egenskaper i maskiner, som til nå alltid har vist seg å være narrespill og salgstriks.
> ** _“Betyr det at vi famler i blinde? Nei. Om vi benytter oss av ulike kunnskapskilder og anvender beslutningsrammeverk ment for å håndtere usikkerhet, kan vi bli mer beredt på det som kommer. En slik triangulering har gjort det mulig for oss å forutse flere av utviklingstrekkene de siste årene. For eksempel har vi, siden vi etablerte Langsikt i 2023, advart beslutningstagere om_**** _den agentiske revolusjonen_**** _som nå er på trappene.”_**
Først må jeg si at når jeg leser Bendigos rapport og de av Langsikts notater som Sterri lenker til ved siden av hverandre, så er det ikke først og fremst Langsikts evne til å triangulere ulike kunnskapskilder og analysemetoder som slår meg, men snarere en helt framifrå evne til å sammenfatte og oversette deler av engelskspråklige rapporter til relativt lettlest norsk.
Sterri gir ett eksempel på at Langsikt har klart å “forutse flere av utviklingstrekkene de siste årene”: En powerpoint-presentasjon (lenket) som kolleger fra Langsikt har gitt til ikke navngitte “beslutningstagere”. Selve presentasjonen forutser ikke så mye, annet enn at den projiserer en like rask og uforstyrret utvikling på alle punkter de neste ti år som vi har sett de ti foregående. Hvor realistisk den analysen er, er det vanskelig å mene noe om. De fleste kildehenvisninger i presentasjonen er til allerede nevnte Hinton, Bengio og diverse CEO’er i KI-selskaper.
Mer interessant er det at “beslutningstagerne” Langsikts utsendte presenterte dette til, viser seg å være Høyres ekspertutvalg for kunstig intelligens, nedsatt i 2023. Og kan du gjette hvem som satt i det utvalget? Jo, der satt KI-forsker Inga Strümke.
Så når Sterri skal gi et eksempel på hvor mye bedre enn Inga Strümke han og Langsikt er til å forutse utviklingen av KI og språkmodeller, så henviser han til at kollegene hans har presentert et sammendrag av tek-selskapenes egne prediksjoner til viktige personer som… Inga Strümke.
> **_“Et stridsspørsmål er om en skal lytte til KI-selskapene når en forsøker å forstå teknologiutviklingen. Strümke advarer mot å låne retorikken fra selskapene som tjener penger på oppblåste forventninger om teknologiens fremtid. Jeg er langt på vei enig med Strümke at vi må ta utsagn fra selskapene med en klype salt. Open AI-sjef Sam Altman er åpenbart ingen uavhengig eller etterrettelig kilde. Skal du forstå hvor teknologien er på vei, kan du likevel ikke ignorere all informasjon som kommer fra dem som er de fremste driverne av utviklingen.”_**
En av metodene som har gitt Langsikt denne evnen til å spå så treff-(eventuelt selv-)sikkert om utviklingen av KI-produkter, er altså å ta for god fisk det meste produsentene selv sier om produktet sitt. Ikke kjempegod fisk, riktignok, men god nok for Langsikt, som lojalt svelger unna “med en klype salt”.
Tenk så fint det hadde vært om det faktisk kom pålitelig og etterprøvbar informasjon fra selskapene som er de fremste driverne av KI-utviklingen! Tenk om de for eksempel ville dele noe av denne påståtte imponerende KI-kodingen åpent med oss. Tenk om de ville dele informasjon om hvor vann- og energikrevende datasentrene deres er. Tenk om de hadde vist oss hvilke data modellene er trent på. Det kunne virkelig hjulpet oss å forstå hva denne teknologien er, og hvilket potensiale den har, på godt og vondt.
Men det gjør de ikke. De vil ikke. De villeder, skjuler og lyver.
Den lille informasjonen som kommer fra disse selskapene, og som fagsjef Sterri ikke helt vil ignorere som faktagrunnlag for sine analyser, er informasjon vi må anta er skreddersydd av kommunikasjonsavdelinger for å generere interesse fra potensielle kunder og investorer.
Det er derfor vi, som Strümke understreker, rett og slett må vente på hva den uavhengige forskningen sier om de teknologiske produktene disse selskapene selger. Selskapene selv tilbyr ingen troverdige eller etterprøvbare data eller analyser av produktene de selger. Det kunne de gjort. I stedet overlater de det til eksterne forskere, som må kave seg gjennom en jungel av desinformasjon og salgspitcher før de kan komme til en slags substans de kan forske på.
For Sterri er selskapenes påstander om produktene sine et slags halvveis faktagrunnlag. For andre av oss er de samme påstandene mest interessante som informasjon om selskapenes salgsstrategier og syn på egen rolle i verden.
> ** _“Jobben til den som prøver å danne seg en best mulig forståelse av utviklingen og dens faremomenter, må innebære å vekte innsideinformasjonen fra selskapenes ansatte med utenforblikket til uavhengige eksperter. I denne krevende, men nødvendige, øvelsen hjelper det å ha teknisk kompetanse, men slik kompetanse må suppleres med innsikter fra andre fagfelt, som økonomi, statsvitenskap og filosofi, for å nevne noen.”_**
Å slå ulike perspektiver sammen for å oppnå bedre forståelse høres klokt ut. Fin oppfordring.
> **_“Å uttale seg om teknologiutviklingen som ikke-teknolog diskvalifiserer en ikke fra å komme med gode analyser. Det burde Strümke være enig i, hun som uttaler seg hyppig om hva som er fornuftige forretningsstrategier, god lovgivning og hvilke samfunnskonsekvenser KI vil få, med sin bakgrunn i fysikk og maskinlæring.”_**
Sterri selv har, i det siste som utdannet filosof med ekspertise på etikk, gjort seg bemerket med kontroversielle meninger om langt flere temaer enn dette (jeg nevner etter hukommelsen): formueskattens fortreffeligheter, abort av fostre med Downs syndrom, strømstøtteordningen, rasebegrepet, religion, finansiering av doktorgrader, det teologiske fakultets eksistensberettigelse, surrogati, aktiv dødshjelp, sosialdemokratiet, flyktningpolitikk og skoleverk. Og sikkert mye mer, og ikke noe galt i det.
Det er bare litt påfallende at noen med et slikt resumé kommer med små sarkastiske stikk til en annen forsker som de siste par årene har vært villig til å svare på ting hun blir spurt om i kraft av sin KI-ekspertise i en tid der KI har fått en tendens til å bli omtalt som relevant i enhver sammenheng - en tendens Sterri ikke akkurat har lagt seg i selen for å dempe. Mitt inntrykk av Sterri de siste 15 år, før han ble fagsjef, er at han har kommet med mange av sine offentlige ytringer uten at noen spurte ham først.
> ** _“Jeg vil advare norske beslutningstagere mot å følge Strümke i å forkaste seriøse framtidsscenarier som useriøs futurisme. De har et ansvar for å sikre den norske befolkningen mot alle store trusler – selv de truslene frittalende norske KI-forskere ikke forstår seg på.”_**
Det får man si. En direkte advarsel til norske beslutningstakere om å ikke lytte til KI-forsker Inga Strümke. Det var ikke småtteri, særlig etter den oppløftende appellen om hvor viktig det er å lytte til ekspertise fra flere fagfelt. Alle fagpersoner, fra alle fagfelt, har noe å bidra med i diskusjoner om KI, bare ikke den frittalende Inga Strümke fra fagfeltet KI.
Det er notert.
Jeg lurer på om disse “beslutningstagerne” Sterri henvender seg til inkluderer den forrige “beslutningstageren” han henviste til for et par avsnitt siden, ekspertutvalgets medlem Inga Strümke. Hun får i så fall en vanskelig oppgave med å ansvarsfullt se bort fra sine egne upålitelige anbefalinger.
For å rekapitulere litt her: Det grunnleggende men underkommuniserte premisset i Sterris analyser og anbefalinger er at datamaskiner muligens kan begynne å utføre operasjoner som krever noe annet enn komputering, som å manipulere oss eller planlegge hendelser og handlinger. Slike operasjoner kan utføres av biologiske nevroner, men at transistorer skulle gjøre det ville være i strid med naturlovene slik vi kjenner dem. Mye av analysen hans hviler tungt på dette lite troverdige premisset, skjult under en tåke av tvetydighet skapt ved å kalle systemene “svært kapable”.
Et lite tankeeksperiment for å illustrere: Hvis noen, i en hypotetisk fremtid, skulle klare å fremstille gull av gråstein, ville det utvilsomt få store konsekvenser for verdensøkonomien, i alle fall på kort sikt. Men det betyr ikke at vi skal ta det alvorlig som et mulig eller sannsynlig scenario, og investere masse penger i gråsteinforskning, fordi alkymi-entusiaster sier vi må skynde oss å gi dem penger. Gråstein kan ikke bli gull, derfor er ikke alkymi en trussel for verdensøkonomien i noen potensiell fremtid overhodet, uansett.
På samme måte kan man vite at maskiner som kun komputerer aldri vil kunne utføre ikke-komputerende operasjoner, og at språkmodellene disse maskinene kjører derfor aldri på egen hånd vil kunne generere autonome spontane handlinger, velge å manipulere oss, eller på noen måte planlegge å ta over verden.
For meg virker det fornuftig å ikke blande slike fantasi-scenarier med det som finnes av reelle trusler fra KI-utviklingen. Og jeg syns det er helt i orden at Strümke, eller andre frittalende “beslutningstagere”, insisterer på at tvetydig spekulasjon om trusler i en imaginær verden der naturlovene ikke gjelder, aldri bør prioriteres over reelle trusler i virkeligheten her og nå.
