Etiska dilemman i vår tid 3: Vilka blir vi när våra val är färdigprogrammerade?

När algoritmer avgör hur en självkörande bil ska agera, så låser vi etiken i dåtiden. Skribenten och ingenjören Christina Gratorp funderar över den tekniska utvecklingens betydelse för människan.

Lyssna på alla avsnitt i Sveriges Radios app.

ESSÄ: Detta är en text där skribenten reflekterar över ett ämne eller ett verk. Åsikter som uttrycks är skribentens egna. Ursprunglingen publicerad den 15 oktober 2019.

Vem är det som kör egentligen? frågar Musse Pigg sina medresenärer i Walt Disneys kortfilm Mickey’s Trailer från 1938. Det är ju jag som kör, svarar Janne Långben med sitt sorgfria höhö, medan bilens övergivna förarsäte gapar tomt genom husvagnens vindruta. Varje gång jag läser om utvecklingen av självkörande bilar hör jag den frasen som ett eko i min skalle. Vem är ansvarig om ingen håller i ratten, och vad innebär etik när tekniken fattar besluten åt oss? När vi bara följer protokollet.

Ur ett samhälleligt perspektiv tycks protokollet utgöra en modern dygd. I effektiviseringens namn förlitar vi oss i allt större utsträckning på algoritmiserade beslut, i dag realiserade i datorprogram, där socialarbetaren, handläggaren eller juristen enkelt kan trycka på en knapp för att få fram ett beslut för sitt ärende. Vem får bostadsbidrag, hemtjänst eller böter? Besluten finns i ökande grad inkodade i programvaror utvecklade av tekniker, långt ifrån de verksamheter som utgör vårt sociala skyddsnät och de institutioner som vårt gemensamma samhälle vilar på.

Om den globala trenden håller i sig innebär det att inrättningar som socialkontoret och åklagarmyndigheten på sikt inte behöver befolkas av socionomer och jurister utan kan reduceras till platser där någon trycker på en knapp. Möjligheten att tolka lagar och regelverk utifrån nya samhälleliga villkor försvinner – morgondagens beslut baseras på gårdagens föreställningar.

För det är just vad ett algoritmiserat beslut innebär. Till skillnad från tekniska hjälpmedel som ett räkneprogram eller en vädersimulator, är program som används för att svara på hur vi ska agera något som binder oss till ett beteende. Om vi med teknikens hjälp kan förutspå vilken dag det kommer regna bestämmer det ingenting åt oss. För bonden kan regnet vara välkommet, för semesterfiraren troligtvis inte. Datorprogrammet Compas däremot, som används i domstolar i USA för att förutsäga vem som med stor sannolikhet kommer att bli en återfallsförbrytare, fungerar determinerande. Det knyter inte bara en individs öde till andras beteenden i en redan passerad dåtid, utan avskaffar också medmänniskans blick på individen som just sin egen. För den åtalade vars livsöde står på spel innebär det både att kategoriseras utifrån föreställningar om grupptillhörighet, som klass, kön och etnicitet, och samtidigt att berövas synen på sin domare som en egen, etisk instans.

Överfört på en större del av samhället är frågan vilka vi blir för varandra om vi inte längre kan betrakta våra medmänniskor som etiska aktörer. Vem är det jag möter om det inte är hon själv som agerar och vad gör det med min syn på henne? Och vad innebär det i sin tur för min egen förmåga att handla etiskt att betrakta min nästa som förutbestämd? Den moderna byråkratins målrationella tänkande – att bara utföra de uppgifter vi åläggs – var enligt sociologen Zygmunt Bauman en förutsättning för andra världskrigets terror.

Försvaret för de algoritmiserade besluten utgår ofta från argument om rättssäkerhet och likabehandling. Genom att eliminera den så kallade mänskliga faktorn ska inga fördomar slingra sig in, ingen behandlas orättvist. Den juridiska lagen upphöjs till naturvetenskap och ges samma status som gravitationen eller ljusets konstanta hastighet – som om lagens ursprung var en objektiv kunskapskälla, i sig fri från fördomar och statisk över tid.

I själva verket har det visat sig att det som på pappret kan verka rättssäkert i praktiken ofta fått motsatt effekt. Datorprogrammet Compas har till exempel visat sig dra slutsatser i linje med rasistiska fördomar, vilket både beror på programkodens design och på den statistik som används.

Men att se etiskt på sin omvärld är att värja sig mot tron att allt går att reducera till fakta. Kunskap är att äta, men människan får aldrig förbrukas som vetenskap; vi får inte göra den Andre till det Samma genom att tugga och svälja henne. Vår syn på detta andra som inte får objektifieras – kategoriseras, katalogiseras, kartläggas – är enligt moralfilosofen Emmanuel Lévinas avgörande för vår möjlighet att tänka bortom det totalitära. ”Att möta en annan människa är att hållas vaken av en gåta” säger han, och pekar på att det oförutbestämda också bär möjlighetens frö. Kanske mot helt nya samhällsordningar, kanske mot en hjälpande hand i en stund då man minst förväntar sig en. Kanske kan man kalla det en tillåtelse att frångå protokollet.

Men kan inte ett automatiserat beteendet vid sidan av argument om effektivitet och ekonomisk vinning också vara av godo? För att ställa frågan på sin spets kan den självkörande bilen statuera exempel. Dessa skulle, sägs det, kunna rädda tusentals liv.

Det amerikanska lärosätet MIT – Massachusetts Institute of Technology – har ett interaktivt test på sin hemsida. Testet heter Moral Machine och går ut på att jag som användare utifrån ett visst antal situationer ska avgöra hur en självkörande bil bör agera. Jag startar testet. Ett blått fordon och några röda människofigurer dyker upp. Det är inte utan obehag som jag tvingas peka och klicka på vem av dem som måste dö. I scen efter scen väljer jag sedan mellan gångtrafikanter, passagerare och djur.

När testet är klart inser jag att det i varje scen funnits mer information än vad jag först trodde. Av sammanfattningen framgår inte bara hur många passagerare och gångtrafikanter jag dödat, utan också hur många män, kvinnor, vältränade, överviktiga och personer som beskrivs ha högt respektive lågt socialt värde som jag låtit stryka med.

Detta är den verklighet programmeraren ställs inför. Utan denna kategoriserande verksamhet går det helt enkelt inte att skapa ett program. Etikens fråga sliter sig från nuet och forslas bakåt till en annan beslutsfattande instans. Ett sätt att se det är att framtiden blir låst – där kan helt enkelt inte ny information påverka situationen. Det jag möter i trafiken är en kunskap producerad i en svunnen tid – en redan uppäten bit av världen.

Men om det räddar liv?

På ett filosofiskt plan ställer frågan i stort en föreställning om ett utfall mot ett avsägande av oss själva som aktörer med etisk agens. För att ekvationen om etik ska gå ihop måste dock framtiden vara obestridligt ny, vilket bara kan ske om den också samtidigt är o-förutbestämd. Lévinas liknar ett nu där allt hopp om förnyelse har gått förlorat med ett tillstånd av sömnlöshet: där råder förvisso vakenhet men det är ”alltid samma nu eller samma förflutna som varar.” Vakenheten blir dröm, en o-personlig medvetenhet.

I fallet med den självkörande bilen är det kanske rättvisare att inte ställa den mot en bil med chaufför, utan mot ett samhälle där vi strävar bort från bilism. Inspirerade av en annan moralfilosof, Immanuel Kant, skulle vi också kunna grubbla över intentionen med resan. Kan man kalla en maskin moralisk utan att samtidigt betrakta den struktur den opererar i? Är ett samhälle uppbyggt kring förbestämda beslut en plats där etiken är möjlig? Frågan om vem som kör verkar inte räcka till. Vi måste också fråga oss: vart är vi på väg?

Christina Gratorp, skribent och ingenjör