Wenn Maschinen Menschen bewerten: Algorithmische Entscheidungen in der Praxis

Im US-Justizsystem spielen algorithmische Entscheidungen bereits eine Rolle – sie werden beispielsweise für die Prognose der Rückfallwahrscheinlichkeit von Straftätern eingesetzt. CC-BY 2.0 Emmanuel Huybrechts (Originalbild zugeschnitten)

Für die Bertelsmann Stiftung hat Konrad Lischka einen umfassenden Überblick über Anwendungsfälle algorithmischer Entscheidungsfindungsverfahren verfasst. Das Arbeitspapier setzt sich mit insgesamt neun Einsatzfeldern auseinander, von gerichtlichen Rückfallprognosen über Bewerbervorauswahlen und Kreditvergaben bis zu Predictive Policing. Neben deskriptiven Elementen beleuchtet das Papier aus der Perspektive der Teilhabegerechtigkeit Chancen und Risiken.

Zusammenfassend wirbt das Papier für einen genauen Blick auf den Einsatzkontext und die Gestaltung der Entscheidungsverfahren und benennt Fehlerquellen sowie teilhabekritische Spannungsfelder. Außerdem betont es die Notwendigkeit einer öffentlichen Nachvollziehbarkeit des Einsatzes von Algorithmic Decision Making (ADM):

Die Analyse der Chancen, Risiken und gesellschaftlichen Folgen war nur möglich, weil unabhängige Dritte die Güte der maschinellen Entscheidungen prüfen konnten. Institutionen wie das Recherchebüro Propublica (…), der US-Rechnungshof (…) oder die Schülervertretungsorganisation Droits des lycéens (…) haben Zeit und Geld in Datenbeschaffung, Datenauswertung und juristische Auseinandersetzung investiert, um Erklärbarkeit und Nachvollziehbarkeit der jeweils eingesetzten Algorithmen herzustellen. Von solchen Institutionen hängt derzeit ab, ob eine gesellschaftliche Debatte über die Wirkung bestimmter ADM-Prozesse überhaupt möglich ist. Das muss sich ändern. Denn Überprüfbarkeit und Nachvollziehbarkeit algorithmischer Entscheidungen sind eine unverzichtbare Erkenntnisgrundlage für einen lösungsorientierten gesellschaftlichen Diskurs mit dem Ziel, dass ADM-Prozesse für mehr Teilhabe gestaltet werden und maschinelle Entscheidungen den Menschen dienen.

Deine Spende für digitale Freiheitsrechte

Wir berichten über aktuelle netzpolitische Entwicklungen, decken Skandale auf und stoßen Debatten an. Dabei sind wir vollkommen unabhängig. Denn unser Kampf für digitale Freiheitsrechte finanziert sich zu fast 100 Prozent aus den Spenden unserer Leser:innen.

7 Ergänzungen

  1. Beim sogenannten “Algorithmic Decision Making” handelt es sich um pure Ideologie.

    Will man algorithmisch, also formallogisch über Menschen sprechen, so muss man bereits innerhalb einer Theorie argumentieren. Beschränkt man sich auf naturwissenschaftliche Aspekte des Menschen, so lässt sich das innerhalb naturwissenschaftlicher Theorie machen.

    Spricht man jedoch über psychologische oder soziale Aspekte des Menschen, so werden dessen Absichten und Handlungen bereits gedeutet. Die Vorauswahl einer solchen Deutung ist notwendig, um das formallogisch – und damit algorithmisch zu tun. Sprich: algorithmisch auf Menschen hinsichtlich den ihnen unterstellten Absichten oder Handlungen zu schliessen, ist zwingend immer ideologisch. Deutungen sind für gewöhnlich nicht entscheidbar.

    Bei der Bertelsmann-Stiftung handelt es sich um den führenden neoliberalen Think Tank in Deutschland. Sie verbreitet federführend die (im übrigen rechtsextreme) marktradikal-neoliberale Ideologie.

    Es wäre dringend anzuraten, Ergüsse ausgerechnet dieses Think Tanks besonders kritisch zu hinterfragen. Die marktradikal-neoliberale Ideologie führt zu Refeudalisierung und Entdemokratisierung der Gesellschaft. Da passt ADM über Menschen sehr gut, es negiert ja ebenfalls den Pluralismus.

    Eine pluralistische Gesellschaft, die dem humanistischen Menschenbild anhängt, muss ADM deshalb ablehnen.

    1. Eine kritische Auseinandersetzung mit dem Paper finde ich gut und wichtig. Meine persönliche Herangehensweise sähe auch anders aus, als Vorteile und Nachteile gegenüberzustellen, weil es manche*n womöglich zu einer eindimensionalen Abwägung vermeintlich gleichgewichtigtiger Faktoren verleiten könnte. Deinen Hinweis auf die behavioristische Logik des ADM finde ich richtig und nirgends so gut beschrieben wie in den Texten von Felix Stalder (z.B. in diesem Gastbeitrag bei uns im Blog oder noch besser, weil ausführlicher, im Buch „Kultur der Digitalität“). Lesenswert und hilfreich finde ich das Arbeitspapier mit den Fallstudien aber allemal. Wenn du eine ebenfalls lesenswerte Replik darauf schreibst, verbreite ich gerne auch sie über unsere „Linkschleuder“.

      1. Imn Gegensatz zu Stalder “brauchen” wir keine Algorithmen, sondern die algorithmische Bewertung menschlichen Handelns ist nicht nur ideologisch, sondern auch höchst gefährlich. Das Thema lässt sich auch nicht weglächeln.

        Die Bertelsmannstiftung ist der Kern des deutschen neoliberalen Machtapparates. Längst hat sie nicht nur die Medienlandschaft im Griff, sondern sie hat auch direkt Ministerien infiltriert, und schreibt dort die Gesetzesvorlagen.

        Bei der algorithmischen Bewertung geht es darum, Handeln normativ zu sehen, d.h. festzulegen, was erwünschtes und “unverdächtiges” Handeln ist, sowie eben auch was unerwünschtes oder “verdächtiges”. Das schliesst mit ein, dass gegen unerwünschtes oder “verdächtiges” Handeln dann vorgegangen wird, wie wir aus den Minority-Report-Diskussionen in der sogenannten “Prävention” wissen – die selbst ein Verbrechen darstellt, und keine Verbrechen verhindert mit ihrer Totalüberwachung.

        Insofern ist ein Papier über die Vollautomatisierung des Überwachungs- und Unterdrückungsapparates – vulgo: “Algorithmic Decision Making” – und das auch noch vom Kernzentrum der Macht herausgegeben, keinesfalls hilfreich, sondern höchstens brandgefährlich. Das letzte, was Deutschland und Europa heute brauchen, ist noch mehr “Governance”, sondern ganz im Gegenteil, wir brauchen endlich wieder mehr Pluralismus, Subsidiarität und Mitbestimmung.

        Falls es an Dir vorbeigegangen sein sollte: sonst fliegt uns die EU demnächst um die Ohren.

  2. Für mich sind die Risiken (Missbrauch),
    deutlich höher einzuschätzen,
    als der Nutzen.

    Proletarier steht auf und
    verteidigt endlich eure Freiheit!

Dieser Artikel ist älter als ein Jahr, daher sind die Ergänzungen geschlossen.