När Paulina Svensson fördjupade sig i AI-juridik och upptäckte hon en kunskapslucka när det gäller rättssäkerhetsfrågan vid användning av AI inom offentlig upphandling.
– Jag ville därför undersöka de spänningar som uppstår, säger Paulina Svensson som i dag arbetar som jurist på advokatfirman dNovo i Göteborg.
I sin magisteruppsats från Göteborgs universitet gör hon en djupdykning i ämnet. Ett centralt begrepp i uppsatsen är ”algoritmisk bias”, alltså att AI-system kan reproducera eller förstärka tidigare snedvridningar eftersom systemen tränas på historiska data.
Om tidigare upphandlingar innehållit omedvetna mönster eller skevheter riskerar AI-system att fortsätta premiera vissa leverantörer eller missgynna andra. Detta kan hota principerna om likabehandling och icke-diskriminering i LOU.
En annan slutsats gäller den så kallade ”black box-problematiken”. Att många AI-system är svåra att förstå och förklara även för användarna själva.
För upphandlare blir detta problematiskt eftersom beslut måste kunna motiveras och granskas, särskilt vid överprövningar.
Om en myndighet inte kan förklara varför ett AI-system kommit fram till ett visst resultat riskerar transparensen och rättssäkerheten att försvagas.
Uppsatsen visar också att det inte är säkert att AI-förordningen fullt ut fångar upp riskerna med användning av AI inom offentlig upphandling.
Paulina Svensson konstaterar att AI-system som används i upphandlingsprocesser inte självklart kommer att klassas som ”högrisksystem”, trots att konsekvenserna kan bli stora för företag och offentliga beslut.
För att hantera AI och upphandling måste upphandlande organisationer bland annat förstå hur systemen fungerar, kontrollera kvaliteten på träningsdata, säkerställa mänsklig kontroll, dokumentera AI-stödda beslut och bygga upp kompetens kring juridik, teknik och etik samtidigt.
Paulina Svensson betonar att rättssäkerhet inte bara handlar om att följa regler formellt, utan också om att besluten uppfattas som rimliga, transparenta och rättvisa. Det innebär bland annat att offentlig sektor bör väga AI:s effektiviseringsmöjligheter mot krav på insyn, förklarbarhet och likabehandling.
Var det något i resultaten som förvånade dig?
– Det som kanske förvånade mig mest var att frågan fortfarande är så pass outforskad. Jag blev också förvånad över hur snabbt utvecklingen redan går, trots att den juridiska diskussionen fortfarande i många avseenden befinner sig i ett relativt tidigt skede.
Anser du att upphandlare har för stor tilltro till AI?
– Jag tror att upphandlare vill förstå riskerna med AI, men att tekniken ofta beskrivs väldigt lösningsorienterat. Problemet uppstår om man börjar se AI som helt neutralt utan att förstå hur systemen fungerar och vilka risker som finns. Därför tror jag att det viktigaste framåt är att använda AI med rätt kompetens och samtidigt bygga en större förståelse för hur AI används på ett ansvarsfullt sätt inom offentlig upphandling, säger Paulina Svensson.
LXV
AI, dvs Artificiell Idioti, utgör det perfekta verktyget för maktelitens fria utövning av samhällets sociala manipulation och är därmed det största direkta hotet mot demokratin!
Gör gärna en egen forskning kring Google’s ”Selfish Ledger” så kommer man förhoppningsvis fatta vad som är LLM chatbotarnas främsta syfte… https://fortune.com/2018/05/17/google-selfish-ledger-video/
Som en gammal axiom säger – om något erbjuds gratis, då är det du som är slutprodukten!
småföretagare
Säg att om man som leverantör har ett sekretessavtal med en kund. Till och med om leverantören söker på sin egen produkt som kan vara skyddad. Då hamnar den i de öppna AI-systemen och sekretessavtalen är brutna! Så en innovatör kan inte ens söka på sin egen produkt utan att den plötsligt är offentlig och ev IP-skydd faller. Det måste offentliga upphandlare vara medvetna om speciellt om upphandlingen avser nya innovationer
Roland Sjögren
AI är inte problemet i sig – det är kvaliteten på underlagen och processerna som AI tränas på.
Om gamla upphandlingar innehåller otydliga krav, incumbent-anpassningar eller bristande proportionalitet finns risken att AI reproducerar samma mönster. Samtidigt kan AI, rätt använt, också hjälpa oss att upptäcka just sådana brister.
Det viktiga framåt blir därför inte om offentlig sektor använder AI eller inte – utan hur AI används, hur resultaten granskas och att människan fortsatt ansvarar för transparens, likabehandling och rättssäkerhet enligt LOU.