När en bank idag bedömer din kreditvärdighet är det sällan en människa som fattar beslutet. Det är en modell, tränad på historiska data, som väger hundratals variabler mot varandra i en process du inte kan granska och knappt kan överklaga. Detsamma gäller allt fler beslut som påverkar din vardag: hyresvärdens prövning, försäkringsbolagets riskbedömning, myndighetens prioritering av ditt ärende.
Problemet är inte att algoritmerna är dåliga på att räkna. Problemet är att de är tränade på ett förflutet som innehåller alla de orättvisor vi helst vill ha bort. En modell som lärt sig av historiska utlåningsbeslut har också lärt sig av historisk diskriminering — och reproducerar den, effektivt och i stor skala.
EU:s AI-förordning, som trädde i kraft 2024, reglerar de högsta riskkategorierna. Men implementeringen är ojämn och tillsynen underfinansierad. I praktiken är det fortfarande möjligt att fatta juridiskt bindande beslut om människors liv baserat på system som ingen utanför bolaget förstår.
Det är inte en teknisk fråga. Det är en fråga om makt — och om vem som ska ha rätten att ställa den till svars.