KI i praktisk utviklingsarbeid

I prognoseprosjektet er noen av kontrollkravene faglige: en prognose kan bare bruke informasjon som ville vært kjent da den ble laget, og ingen variabel kan falle bort uten at det blir synlig. Arkitekturomleggingen i fase II gjennomførte jeg med kodeagenter på én måned.

Arbeidet har en fast struktur: varige prosjektinstrukser med omfang, begrensninger og beviskrav, overleveringer mellom kjøringene og én integrator som slår sammen endringene.

Omleggingen med kodeagenter startet fra en altfor omfattende plan. Den ville gitt en god kjernearkitektur for en stor aktør som selger prognoser som tjeneste, med mye infrastruktur kodebasen vår ikke trengte.

Jeg oppdaget det forholdsvis tidlig og stoppet implementeringen. Med den delvis implementerte koden som utgangspunkt planla jeg på nytt, utformet en strengt avgrenset minimumsversjon (MVP) og implementerte den fullt ut.

I budsjettarbeidet brukte jeg KI-assistenter i utvikling, refaktorering og feilsøking. Et forslag måtte vurderes mot etablerte formler, makroer og arbeidsflyt. Ryddig kode var ikke nok hvis en beregning eller en kjent Excel-atferd endret seg.

Jeg har i om lag tre år vært registrert som KI-superbruker ved Oslo universitetssykehus. I rollen svarer jeg på tekniske spørsmål om KI i en Teams-kanal.

Strict LLM Composer er et system jeg har bygget for tekst som må holde seg til dokumenterte fakta. Varige kildefakta holdes adskilt fra oppgavekrav og nye utkast. Modellene kan formulere tekst, men ikke skape en grad, et resultat eller et ansvar som kildene ikke bærer.

Jeg kontrollerer fakta og ferdige utkast og godkjenner selv alt som tas i bruk. Dette er et personlig prosjekt, ikke en leveranse til sykehuset.

Jeg har brukt språkmodeller mye siden GPT-3. I dag bruker jeg modeller og kodeagenter fra flere leverandører hver dag, med mer enn en milliard token i måneden.

En kort faglig avklaring trenger lite struktur. Når arbeidet berører flere filer eller beregninger, avgrenser jeg hva som kan endres, hvilke kilder som gjelder og hvilke sammenhenger som må bevares. Modellene kan undersøke, foreslå, skrive og kontrollere. Jeg avgjør om svaret gjelder riktig problem, om forutsetningene holder og om resultatet kan brukes.

Eksemplene viser ulike kontrollbehov, ikke én fast prosess for alle oppgaver.