Judicial Bias Teil 3: Sind Algorithmen die faireren Richter_innen?

von | 19. 10. 2018

Der Einsatz mathematischer Methoden in der Rechtsprechung geht bis in die 1920er Jahre zurück. Diese Methoden werden hauptsächlich zur Einschätzung des Risikos einer erneuten Straftat eingesetzt und schlossen bis in die frühen 1970er explizit Angaben zu ethnischem und religiösem Hintergrund des/der Angeklagten in die Berechnung mit ein. Aktuelle Algorithmen berücksichtigen Ethnie und Religion nicht mehr explizit, vielmehr werden sie als Möglichkeit gesehen die Rechtsprechung objektiver und fairer zu gestalten.

 

Der COMPAS Algorithmus

Ein Algorithmus der flächendeckend in den USA eingesetzt wird ist COMPAS. Dieser gibt basierend auf einen Fragebogen, die Wahrscheinlichkeit mit der ein_e Angeklagte_r erneut straffällig wird an. Allerdings zeigt sich, dass COMPAS abhängig von der Ethnie unterschiedliche Fehler macht. So werden Afroamerikaner_innen häufiger mit einem zu hohen Risiko einer erneuten Straffälligkeit eingeschätzt. Bei Weißen kommt es hingegen öfter zu der fälschlichen Annahme eines niedrigen Wiederbetätigungsrisikos. Dieser Umstand wird von Kritikern als Beweis dafür gesehen, dass der Algorithmus menschliche Vorurteile reproduziert.

Eine neuere Studie (Dressel & Farid, 2018) verglich die Vorhersagen von COMPAS mit jenen von 400 zufällig ausgewählten Personen. Die juristisch nicht ausgebildeten Personen waren mit 63% richtiger Vorhersagen dabei genau so zuverlässig wie der Algorithmus. Wieder entbrannte eine Diskussion, wobei die Studienautor_innen ihr Ergebnis als Hinweis für die Ineffektivität des Algorithmus, die Herstellerfirma von einer Bestätigung der Effektivität von COMPAS im Sinne der Inter-rater-reliabilität sprachen. Im Zuge der Kontroverse um COMPAS wurde ebenfalls argumentiert, dass bei solch komplexen Sachverhalten, wie der Gefahr einer erneuten Straffälligkeit, eine Treffgenauigkeit von rund 65% die höchste zu erwartende Genauigkeit darstellt.

 

Algorithmen als Kinder unserer Gesellschaft

Die Diskussion um COMPAS verdeutlicht die Uneinigkeit von Experten über die Effektivität und Fairness solcher Algorithmen. Ein Grund dafür ist die schwierige Definition von Fairness im mathematischen Sinne.

In den Sozialwissenschaften gilt z.B. ein IQ-Test als fair, wenn er keinen systematischen Unterschied zwischen Ethnien, Geschlecht und sozialer Herkunft macht. Bei einem fairen IQ-Test darf sich somit der Mittelwert aller Frauen nicht signifikant von jenem aller Männer unterscheiden. Jedoch bedeutet nicht jeder Unterschied zwischen Gruppen, dass der jeweilige Test unfair ist. Spiegelt der Gruppenunterschied bei den Testergebnissen einen real vorkommenden Unterschied wider, gilt der Test weiterhin als fair.

Im Falle der USA, ist es für eine_n Afroamerikaner_in sechsmal so wahrscheinlich ins Gefängnis zu kommen wie für einen Weißen. Afroamerikaner_innen kommen häufiger aus prekären Familienverhältnissen, haben schlechtere Chancen eine höhere Ausbildung zu erlangen und eine gut bezahlte Arbeit zu finden. Da all diese Faktoren in die Berechnung von COMPAS miteinfließen, verwundert es nicht, dass die Ergebnisse einen deutlichen Unterschied zwischen den Ethnien zeigen. Der Algorithmus könnte somit lediglich die Auswirkungen von strukturellem Rassismus und gesellschaftlicher Benachteiligung reproduzieren.

 

Ohne faire Gesellschaft keine fairen Algorithmen?

In einer von Ungleichheit geprägten Gesellschaft scheint es also sehr schwierig, Instrumente zu entwickeln, die diese Ungleichheit nicht reproduzieren. Ein wichtiger Punkt um Algorithmen fairer zu gestalten, ist in erster Linie deren Validierung durch unabhängige Forschung. Dies ist allerdings unerwartet schwierig, da die meisten Algorithmen von gewinnorientierten Firmen entwickelt und deren genaue Arbeitsweise häufig nicht öffentlich zugänglich gemacht wird.

Eine weitere Möglichkeit ist die andere Gewichtung der unterschiedlichen Faktoren, die in die Berechnung des Endergebnisses einfließen. Vergangene Straftaten sind in den meisten Fällen der am stärksten gewichtete Faktor und es ist, statistisch gesehen, für Afroamerikaner_innen deutlich wahrscheinlicher, bereits Straftaten begangen zu haben. Auch Faktoren wie Familienstand und Wohnort benachteiligen Afroamerikaner_innen. Persönlichkeitsmerkmale hingegen zeigen einen geringen systematischen Unterschied zwischen Ethnien, aber eine hohe Vorhersagefähigkeit für erneute Straftaten. Daher empfehlen Jennifer Skeem und Christopher Lowenkamp (2016), sozioökonomische Faktoren geringer zu gewichten und vermehrt Persönlichkeitsfaktoren in die Berechnung einfließen zu lassen.

Abschließend muss der Vision eines völlig objektiven Gerichtsalgorithmus noch ein weiter Weg prognostiziert werden. Der kombinierte Einsatz von Anti-Bias-Trainings und genau evaluierten quantitativen Methoden, scheint für die nähere Zukunft die beste Möglichkeit zu sein, um impliziten Vorurteilen im Gerichtssaal zu begegnen.

 

Implicit Bias Toolkit der ABA

Die American Bar Association (ABA), die Vereinigung von Rechtsanwälten, Richtern und Studenten der Rechtswissenschaften in den Vereinigten Staaten, hat auf ihrer Website Videos und einen Implicit Bias Toolkit veröffentlicht. Dieses Material enthält Informationen über die Auswirkungen von Biases, Tipps zu Reduzierung und eine umfassende Auflistung von Links zu Studien, Websites und Artikel zum Thema.  

 

Weiterführendes:

  • ABA – American Bar Association (2016). ABA Diversity and Inclusion 360 Commission Implicit Bias Bibliography. https://www.americanbar.org/groups/diversity/resources/implicit-bias/
  • Dressel, J., & Farid, H. (2018). The accuracy, fairness, and limits of predicting recidivism. Science Advances, 4(1), eaao5580. https://doi.org/10.1126/sciadv.aao5580
  • Skeem, J. L., & Lowenkamp, C. T. (2016). Risk, Race, and Recidivism: Predictive Bias and Disparate Impact. Criminology, 54(4), 680–712. https://doi.org/10.1111/1745-9125.12123
  • https://epic.org/algorithmic-transparency/crim-justice/

 

WordPress Cookie Plugin von Real Cookie Banner