Datenwahrsagerei mit echten Folgen: Schützen kann uns nur ein neues Recht

Hält ein Unternehmen Daten über uns vor, kann es diese nahezu beliebig interpretieren und Informationen daraus ableiten. Diese Erkenntnisse bergen vielleicht die größten Risiken, sind aber kaum rechtlich geschützt. Ein Forschungsteam aus Oxford fordert deshalb ein Recht darauf, wie wir gesehen werden.

„KI-Orakel“: Schlussfolgerungen und Vorhersagen über uns sind oft nicht intuitiv nachvollziehbar und kaum verifizierbar, beeinflussen unser Leben aber trotzdem. – Gemeinfrei-ähnlich freigegeben durch unsplash.com Melanie Magdalena

Über unsere (Online-)Identität haben wir längst die Kontrolle verloren: Das eigene User-Profil bei Facebook oder Instagram soll zwar den Anschein von Gestaltungsfreiheit und Selbstbestimmung erwecken. Aber wie wir von Facebook, Instagram sowie zahlreichen Datenanalysefirmen und ihren Kund*innen – ob Werbeindustrie oder Scoring-Unternehmen wie die SCHUFA – gesehen werden, bestimmen wir in Zeiten von „Big Data“ längst nicht mehr selbst.

Die Informationen, die Datenanalyseunternehmen über uns halten, sind nicht darauf begrenzt, wie wir uns selbst in unseren Online-Profilen präsentieren. Genauso wenig beschränken sie sich darauf, was die Firmen durch ständiges Tracken und Überwachen über unser Online-Verhalten wissen. Neben diesen „Rohdaten“, die in Verbindung mit unserem tatsächlichen Verhalten stehen, sind Datenanalysefirmen aktiv daran beteiligt, ihre Profile über uns weiter auszuschmücken und zu verfeinern. Von den bereits vorhandenen Daten werden weitere Attribute abgeleitet, oft mit Hilfe von Künstlicher Intelligenz. Die abgeleiteten Daten werden je nach Kontext auch Scores, Schlussfolgerungen oder Inferenzen genannt.

Die Praxis, weitere Informationen aus Daten abzuleiten, birgt viele Risiken im Hinblick auf unsere informationelle Selbstbestimmung, Identität, Reputation und Autonomie. Doch das europäische Datenschutzrecht schützt diese abgeleiteten Daten nur unzureichend, kritisieren Sandra Wachter und Brent Mittelstadt. Die beiden forschen am Oxford Internet Institute zu Datenethik und Internetregulierung. In einer kürzlich veröffentlichten Arbeit zeigen sie auf, dass die seit einigen Monaten gültige Datenschutzgrundverordnung (DSGVO) lediglich auf die eingespeisten Daten abzielt, nicht auf die Ergebnisse ihrer Analyse. Gerade in Zeiten automatisierter Entscheidungsfindungen brauchen wir ein Recht darauf, wie wir gesehen werden, argumentieren die beiden.

Rohdaten vs. abgeleitete Daten

Wie uns Unternehmen einschätzen, ist heute zum großen Teil statistische Interpretation: Die Informationen, über die sie verfügen, gehen deutlich über die gesammelten Rohdaten hinaus. Auf Basis unseres Online-Kaufverhaltens sagen Firmen beispielsweise vorher, wie kreditwürdig wir sind. Von unseren Tweets kann auf unsere psychische Gesundheit rückgeschlossen werden. Seiten, denen wir auf Facebook folgen, dienen als Indikatoren für die eigene Persönlichkeit und viele andere Attribute. Auch physische Bewegungen wie Maus-, Hand- oder Augenbewegungen können heutzutage getrackt werden und verraten mehr über uns als wir denken.

Welche Informationen aus Daten abgeleitet werden, ist oft nicht mehr intuitiv nachvollziehbar, geschweige denn zutreffend. Dass die inferierten Informationen nicht in allen Fällen stimmen, ist für die Unternehmen nicht so wichtig. Statistische Genauigkeiten reichen aus, um aus den Daten Profit zu schlagen. Was die Unternehmen glauben, über uns zu wissen, kann richtig sein oder falsch: Die eigene Identität und Reputation sowie die eigenen Chancen im Leben bestimmen die abgeleiteten Informationen trotzdem maßgeblich. Denn gerade sie sind vielfach Grundlage automatisierter Entscheidungsfindungen.

Das birgt viele Risiken: Zum Beispiel, wenn Stellenanzeigen einigen Menschen gezielt vorenthalten werden. Wenn Personen keinen Zugang zu Sozialleistungen erhalten oder nicht an der Universität angenommen werden. Oder wenn Banken jemandem einen Kredit verwehren, weil er oder sie als „nicht vertrauenswürdig“ eingestuft worden ist, ohne es zu wissen und ohne Einfluss nehmen zu können. Die Daten, auf Basis derer solche wichtigen Entscheidungen getroffen werden, haben auf den ersten Blick oft nichts mit diesen Entscheidungen zu tun.

Europäische Rechtslage

Aufgrund des großen Risikos sollten solche abgeleiteten Daten – Wachter und Mittelstadt nennen sie Inferenzen – besonders gut reguliert werden. Doch deren legaler Status ist umstritten. Inferenzen sind lediglich „Economy Class“-Daten und am wenigsten geschützt, schreiben die beiden Forscher*innen.

Im europäischen Datenschutzrecht hängt viel davon ab, ob Inferenzen als personenbezogene Daten angesehen werden oder nicht. Die Rechtsprechung des Europäischen Gerichtshofs (EuGH) ist in dieser wichtigen Frage allerdings nicht einheitlich: In einem Urteil wurden Inferenzen als personenbezogene Daten angesehen, in einem anderen nicht. Doch selbst in dem Urteil (C‑434/16), in dem Inferenzen als personenbezogene Daten anerkannt wurden, hat der EuGH betont, dass bei dieser Art von Daten nicht automatisch alle Rechte angewendet werden können, die normalerweise mit diesem Status einhergehen. Wesentliche Datenrechte, beispielsweise das Auskunftsrecht oder das Berichtigungsrecht nach DSGVO, kommen bei Inferenzen also nicht automatisch zum Zug.

Die Begründung des EuGH: Das Datenschutzrecht ziele nicht darauf ab, Bewertungen und Meinungen zu berichtigen. Die Person, die ihr Datenschutzrecht geltend macht, habe schließlich nicht die Kompetenz, diese inferierten Bewertungen und Meinungen über sich selbst auf Richtigkeit zu prüfen. Dies müsse eine richterliche Instanz entscheiden. Sandra Wachter bemerkte in einem Gespräch mit netzpolitik.org jedoch, dass es in der Privatautonomie in der Regel keine rechtlichen Regelungen darüber gibt, wie Entscheidungen getroffen werden müssen und auch keine darüber, wie Entscheidungen angefochten werden können:

Wenn ich einen Immigrationsantrag gestellt habe und dieser abgelehnt wird, kann ich mich an die nächsthöhere Instanz wenden und die Entscheidung anfechten. Da gibt es ein Prozedere, das ich durchfechten muss und alles ist festgelegt. Wenn mich aber Google als jemand bewertet, die bipolar ist, gibt es keine rechtliche Regelung, wie ich das anfechten könnte oder keine rechtliche Regelung, die Google oder Facebook befolgen müssten, um die Bewertung zu machen. Selbst wenn ich es anfechten könnte, würde ich den Fall nicht gewinnen, weil Google gegen keine Regel verstoßen hat – weil es keine Regeln gibt.

Input vs. Output

Die Rechtsprechung des EuGH zeigt, dass das europäische Datenschutzrecht nicht dazu gedacht ist, die Richtigkeit oder Genauigkeit von Entscheidungen oder Entscheidungsfindungsprozessen basierend auf persönlichen Daten sicherzustellen oder ihre Transparenz zu gewährleisten. Es soll primär dazu dienen zu prüfen, ob die Verarbeitung persönlicher Daten für gewisse Zwecke legitim ist. Vorgesehen sind dazu Möglichkeiten, die verarbeiteten Daten einzusehen, zu korrigieren oder zu löschen. Der Fokus liegt also auf den eingespeisten Daten, nicht darauf, was mit diesen geschieht:

Die Standardherangehensweise im europäischen Datenschutzrecht zum Schutz der Privatsphäre von Individuen ist es, Personen Überblick und Kontrolle darüber zu geben, wie persönliche Daten gesammelt und prozessiert werden. In anderen Worten ist das Datenschutzrecht in erster Linie auf Mechanismen fokussiert, die die „Input-Seite“ der Datenverarbeitung managen (…) die wenigen Mechanismen im europäischen Datenschutzrecht, die auf die „Output-Seite“ – darunter abgeleitete Daten, Profile und Entscheidungen – abzielen, sind viel schwächer. (Eigene Übersetzung)

Doch gerade in Zeiten von Big Data und Künstlicher Intelligenz sollte die Output-Perspektive mehr in den Vordergrund rücken. Es muss endlich anerkannt werden, dass das Recht auf Privatsphäre mehr ist als nur Datenschutz – es geht um Identität, Reputation, Autonomie und informationelle Selbstbestimmung, schreibt Sandra Wachter in einem Artikel zum Thema. Um diese weiteren Rechte sicherzustellen, hat sie gemeinsam mit Brent Mittelstadt ein „Recht auf angemessene Inferenzen“ konzipiert, also praktisch ein Recht darauf, wie wir gesehen werden.

Ein Recht auf angemessene Inferenzen

Dieses Recht würde es für Unternehmen erforderlich machen, vorab zu rechtfertigen, ob ihr Verfahren zur Generierung von Inferenzen angemessen ist. Sie müssten darlegen, warum ihre Daten eine relevante Grundlage für die gewünschte Inferenz sind und warum diese Inferenz für ihre Zwecke relevant ist. Die verwendeten Daten und Methoden müssten fortan akkurat, erprobt und verlässlich sein. Außerdem müsste eine auf Basis der Inferenz gefällte Entscheidung nachträglich anfechtbar sein. Mit so einem „Recht auf angemessene Inferenzen“ würde zudem einhergehen, dass ein besserer Umgang mit Rechten zu geistigem Eigentum oder Geschäftsgeheimnissen gefunden wird, die KI-Transparenz entgegenstehen.

Als Inspiration für das „Recht auf angemessene Inferenzen“ hat übrigens auch das deutsche Recht gedient, das beispielsweise Regelungen darüber enthält, welche Datentypen für Kredit-Scoring verwendet werden dürfen (§31 BDSG). Das Scoring alleine auf Basis von Postleitzahlen ist nicht erlaubt, da erkannt wurde, dass diese als Proxy für andere Informationen dienen können. Solche Vorkehrungen gilt es zu übernehmen und auszubauen.

Erklärungen sind nicht genug

Das „Recht auf angemessene Inferenzen“ ist die logische Ergänzung der Idee von „kontrafaktischen Erklärungen“, die Wachter und Mittelstadt in einem früheren Bericht ausgeführt haben. Dort, wo automatisierte Entscheidungen sich negativ auf das Leben von Personen auswirken – zum Beispiel, wenn ein Darlehen abgelehnt wird – sollen Firmen erklären, warum eine Entscheidung negativ ausgefallen ist und welche Parameter oder Daten dazu geführt haben. Zudem soll aufgezeigt werden, was sich mindestens ändern müsste, damit die Entscheidung anders ausfällt.

Um die Unternehmen nach der Entscheidung zur Verantwortung zu ziehen, soll also ein minimaler Einblick in die ansonsten intransparente „Black Box“ gegeben werden, wobei die Wahrung der Geschäftsgeheimnisse gewährleistet bleibt. Dieser Ansatz wurde bereits von Google zitiert und im „What-If Tool“ umgesetzt. Sandra Wachter sieht darin einen „ganz fantastischen ersten Schritt, um Transparenz und Verantwortung zu schaffen und Erklärungen für Prozesse zu geben, die einfach verständlich sind und Menschen die Informationen geben, die sie wirklich wollen.“

Mit diesem Schritt ist aber längst nicht alles getan. Eine Erklärung heißt schließlich noch nicht, dass eine Entscheidung gut, richtig oder gerechtfertigt war. Sie schlägt auch nicht Alarm, wenn die Datenbasis fehlerhaft war. Das „Recht auf angemessen Inferenzen“ setzt deshalb bereits an, bevor die Entscheidung überhaupt gefallen ist. Es stellt die viel umfassendere Frage danach, wann eine Entscheidung überhaupt gerechtfertigt und legitim ist: Sind die Daten zuverlässig und relevant? Ist die Methode zuverlässig und getestet? Stimmt das Vorgehen mit ethischen Grundsätzen und Werten überein? Ob Google auch bereit wäre, all das freiwillig umzusetzen, sei mal dahingestellt. Klarheit kann letztlich nur eine wasserdichte gesetzliche Regelung schaffen.

Deine Spende für digitale Freiheitsrechte

Wir berichten über aktuelle netzpolitische Entwicklungen, decken Skandale auf und stoßen Debatten an. Dabei sind wir vollkommen unabhängig. Denn unser Kampf für digitale Freiheitsrechte finanziert sich zu fast 100 Prozent aus den Spenden unserer Leser:innen.

7 Ergänzungen

  1. Microsoft ist derzeit dabei zum Thema KI einiges an Fahrt aufzunehmen – von ihnen lese ich dazu grade das (kostenlose) Buch „The Future Computed“ (search „the future computed pdf“) vom MS Justiziar Brad Smith.
    Ich finde es bisher als eines der besten Bücher zu dem Thema, da es weder „YAY KI löst alle Probleme und ihr stellt euch alle bloß an“ noch „KI wird uns alle umbringen, ausspionieren etc.“ als Position einnimmt. Eher ist das Thema: KI wird aktuell entwickelt und wir als Gesellschaft müssen dafür sorgen, dass es auf die richtige Weise geschieht und daraus entsprechende Practices und Gesetzte ableiten.
    Eine der großen Punkte ist, dass die KI-Entwicklung verantwortungsvoll geschehen muss und alle Beteiligten dafür sorgen müssen, dass die Werte „Fairness“, „Reliability & Safety“, „Privacy & Security“, „Inclusiveness“, „Transparency“ und „Accountability“ berücksichtigt werden.
    In dem Buch wird auch das Thema der Inferenz-Problematik dieses Artikels aufgegriffen – und wie damit umgegangen werden sollte. Beispielsweise, dass der Mensch aus der „Rechnung“ nicht entfernt werden kann und es entsprechende fachliche Bewertungen durch Menschen benötigt.

  2. Ein Ehepaar führt eine Bäckerei und entscheidet sich, für einen bestimmten Kunden das Catering nicht zu übernehmen, weil sie kein gutes Gefühl haben und denken, dass er vielleicht nicht zahlt oder Scherereien macht. Das im Artikel geforderte Gesetz würde dann vorschreiben, dass sie dem Kunden auf Verlangen darlegen müssen, auf welcher Informationsbasis sie mit welcher Methodik und mit welchem Algorithmus entschieden haben, ihn nicht beliefern zu wollen (oder Vorkasse zu verlangen). Warum wird immer über Google gesprochen, aber nie, welches die Implikationen für normale Firmen sind? In der Schweiz arbeiten 30% der Menschen in Betrieben mit weniger als 10 Mitarbeitenden. Merkt Ihr denn nicht, dass solche gesetzlichen Totschläger die Grosskonzerne immer grösser machen, welche solche abstrusen bürokratischen Leistungen problemlos erbringen können, und die Kleinbetriebe erwürgen?

  3. „Auch physische Bewegungen wie Maus-, Hand- oder Augenbewegungen können heutzutage getrackt werden und verraten mehr über uns als wir denken.“

    Das ist so krank und nimmt teilweise Züge an die ich mir in meinen dunkelsten Träumen nicht ausmalen kann. Ich habe echt das traurige Gefühl das wir uns der ganzen totalüberwachungs Geschichte nicht entziehen werden können. Weil die große Masse, einfach nicht den Blick darauf, es sie nicht genug interessiert oder einfach mit anderen Dingen beschäftigt ist. Sollte der Punkt erreicht sein werde ich versuchen mich so gut es geht abzukapslen. Internet ist dann für mich gestorben. Es geht und ist super umständlich weil mein auf die ganzen tollen Vorteile verzichten muss, doch unsere Vorfahren kamen auch ohne aus. Das Problem ist nur das damals gab es auch keine andere Möglichkeit, als ohne auszukommen. ;/

  4. Das Daten-Problem wird sich am Ende nur auf eine Art menschenfreundlich regeln lassen:

    Menschen erhalten eine Art Copyright auf die Daten, die sie willentlich oder unwillentlich erzeugen.

    Motto: „Ich bin ein einmaliges Gesamtkunstwerk und die Daten, die ich während der Performance Leben erzeuge sind Teil dieses Kunstwerks und dürfen ohne Genehmigung der Kunstwerk-Künstler Personalunion nicht verwendet werden.“

    (Ausnahmen für Behörden und bei Personen des öffentlichen Lebens denkbar)

    1. Das mag ich. Für mehr Lebenskunst in der datenpolitik. Gegen die Erzählung, dass wir alle, zu leider unterschiedlichen Graden, Risiken sind :)

Dieser Artikel ist älter als ein Jahr, daher sind die Ergänzungen geschlossen.