Lyfter AI-risker vid upphandling

När Paulina Svensson fördjupade sig i AI-juridik och upptäckte hon en kunskapslucka när det gäller rättssäkerhetsfrågan vid användning av AI inom offentlig upphandling.

– Jag ville därför undersöka de spänningar som uppstår, säger Paulina Svensson som i dag arbetar som jurist på advokatfirman dNovo i Göteborg.

I sin magisteruppsats från Göteborgs universitet gör hon en djupdykning i ämnet. Ett centralt begrepp i uppsatsen är ”algoritmisk bias”, alltså att AI-system kan reproducera eller förstärka tidigare snedvridningar eftersom systemen tränas på historiska data.

Om tidigare upphandlingar innehållit omedvetna mönster eller skevheter riskerar AI-system att fortsätta premiera vissa leverantörer eller missgynna andra. Detta kan hota principerna om likabehandling och icke-diskriminering i LOU.

En annan slutsats gäller den så kallade ”black box-problematiken”. Att många AI-system är svåra att förstå och förklara även för användarna själva.  

För upphandlare blir detta problematiskt eftersom beslut måste kunna motiveras och granskas, särskilt vid överprövningar.

Om en myndighet inte kan förklara varför ett AI-system kommit fram till ett visst resultat riskerar transparensen och rättssäkerheten att försvagas.

Uppsatsen visar också att det inte är säkert att AI-förordningen fullt ut fångar upp riskerna med användning av AI inom offentlig upphandling.

Paulina Svensson konstaterar att AI-system som används i upphandlingsprocesser inte självklart kommer att klassas som ”högrisksystem”, trots att konsekvenserna kan bli stora för företag och offentliga beslut.

För att hantera AI och upphandling måste upphandlande organisationer bland annat förstå hur systemen fungerar, kontrollera kvaliteten på träningsdata, säkerställa mänsklig kontroll, dokumentera AI-stödda beslut och bygga upp kompetens kring juridik, teknik och etik samtidigt.

Paulina Svensson betonar att rättssäkerhet inte bara handlar om att följa regler formellt, utan också om att besluten uppfattas som rimliga, transparenta och rättvisa. Det innebär bland annat att offentlig sektor bör väga AI:s effektiviseringsmöjligheter mot krav på insyn, förklarbarhet och likabehandling.

Var det något i resultaten som förvånade dig?
– Det som kanske förvånade mig mest var att frågan fortfarande är så pass outforskad. Jag blev också förvånad över hur snabbt utvecklingen redan går, trots att den juridiska diskussionen fortfarande i många avseenden befinner sig i ett relativt tidigt skede.

Anser du att upphandlare har för stor tilltro till AI?
– Jag tror att upphandlare vill förstå riskerna med AI, men att tekniken ofta beskrivs väldigt lösningsorienterat. Problemet uppstår om man börjar se AI som helt neutralt utan att förstå hur systemen fungerar och vilka risker som finns. Därför tror jag att det viktigaste framåt är att använda AI med rätt kompetens och samtidigt bygga en större förståelse för hur AI används på ett ansvarsfullt sätt inom offentlig upphandling, säger Paulina Svensson.