Überwachung

Zeynep Tufekci: „Wir erschaffen eine Dystopie, nur damit Leute mehr Werbung anklicken“

In einem Vortrag erklärt die Techno-Soziologin Zeynep Tufekci, wie eine digitale Überwachungsstruktur mit riesigem Missbrauchspotential entsteht, die ursprünglich nur effektiver Werbung dienen sollte. Sie nennt Beispiele für Manipulation und spricht Dinge an, die sich dringend ändern müssen.

Zeynep Tufekci bei ihrem Vortrag im September Alle Rechte vorbehalten TED Conferences, LLC

In ihrem TED-Talk „We’re building a dystopia just to make people click on ads“ spricht die Soziologin Zeynep Tufekci über die Risiken künstlicher Intelligenz. Diese lägen jedoch weniger in autonomen Robotern, wie Hollywood sie etwa mit dem „Terminator“ darstellt, sondern in den Algorithmen der großen Internetkonzerne, die längst real sind. Die Algorithmen, die beispielsweise Google, Facebook, Amazon oder ihre chinesischen Pendants Tencent und Alibaba entwickeln und einsetzen, seien nicht nur um einiges subtiler, sondern lenkten schon jetzt die Aufmerksamkeit der Internetnutzer und böten ein riesiges Missbrauchspotential.


Netzpolitik.org ist unabhängig, werbefrei und fast vollständig durch unsere Leserinnen und Leser finanziert.

Künstliche Intelligenz hat in den letzten Jahren riesige Fortschritte gemacht, beispielsweise können Algorithmen mit dem entsprechenden Datensatz Erdbeben voraussagen oder bei der Suche nach neuen medizinischen Wirkstoffen helfen. Doch vor diesem großen Potential warnt Tufekci, wenn es um den Einsatz von selbstlernenden Algorithmen in der Werbeindustrie geht, mit denen global gesehen allein auf Facebook mehr als eine Milliarde Menschen ständig in Kontakt kommen.

Besser und schneller als jede menschliche Analyse können die Algorithmen auf Grundlage der gigantischen Datenmengen – Facebook-Posts, -Likes und -Fotos, Chat-Verläufen, aufgerufenen Websites, Standorten und vielem mehr – Individuen durchleuchten und mit hoher Erfolgsquote einschätzen, ob jemand als potentieller Käufer eines Produkts in Frage kommt oder nicht.

Ein Flug nach Vegas für manische Spieler?

Problematisch hierbei sei aber vor allem die mangelnde Transparenz: Nach welchen Merkmalen die Programme Menschen sortieren, sei für die Betroffenen und selbst für die Programmierer nicht mehr ersichtlich. Zudem halten Google, Facebook und Co. ihre Algorithmen streng geheim. Auch die Kategorien, nach denen Werbung auf die Zielgruppe zugeschnitten wird, seien viel komplexer geworden. Während man in der analogen Welt noch Flyer an bestimmte Altersgruppen oder in festgelegten Wohngebieten verteilte, könnten Algorithmen bereits psychische Störungen wie Bipolarität erkennen und, wie Tufekci betont, diese Daten missbrauchen. So könnten etwa Menschen, die kurz vor einer manischen Phase stehen, als besonders zugänglich für einen Ausflug nach Las Vegas erkannt werden und entsprechende Werbebotschaften erhalten. Das mag abwegig klingen, doch australische Journalisten berichteten Anfang des Jahres auf Grundlage interner Facebook-Dokumente, dass die Plattform ihre Datenberge gezielt nach emotional verletzlichen Jugendlichen mit niedrigem Selbstwertgefühl durchsucht und so eine leicht missbrauchbare Werbezielgruppe findet.

Radikalisierung als Nebeneffekt

Doch nicht nur um die Kaufkraft, sondern vor allem um die Aufmerksamkeit würde geworben, wie die Techno-Soziologin am Beispiel von Youtube deutlich macht. Dass das Autoplay-Feature immer neue Videos vorschlägt, um die Aufmerksamkeit der Zuschauer möglichst lange zu binden, liege nahe. Perfide an der Vorgehensweise der Algorithmen sei jedoch, dass die Vorschläge tendenziell immer ein wenig extremer als das zuvor gesehene Video seien. Wer Videos über Vegetarismus sehe, würde thematisch zum Veganismus gelotst. Das Gleiche funktioniere jedoch auch im politischen Kontext: Wer bei einer Wahlveranstaltung für Donald Trump anfinge, käme nach kurzer Zeit bei rassistischen Botschaften an, wer bei Hillary Clinton beginne, würde bei linken Verschwörungstheorien landen.

Youtube versucht die Aufmerksamkeit der Nutzer möglichst lange zu binden und setzt dafür auf immer stärkere Reize (Symbolbild) CC-BY 2.0 Porsche Brosseau

Die Maxime der Algorithmen läge nun natürlich nicht darin, Menschen langsam zu radikalisieren, sondern die Nutzer möglichst lange zu unterhalten, um Zeit zur Einblendung von Werbung zu gewinnen. Zudem war es bis vor kurzem noch für Werbetreibende möglich, Gruppen wie Antisemiten exklusiv mit Werbung zu erreichen. Algorithmen hatten nicht nur selbstständig Menschen in dieser Kategorie gesammelt, sondern halfen sogar dabei, solchen Inhalten potenziell aufgeschlossene Menschen zu finden und die Zielgruppe somit zu erweitern, wie eine Recherche von ProPublica ergab. Mittlerweile hat Facebook zumindest die Kategorie mit dieser Zielgruppe entfernt, doch die über 29.000 automatisch erstellten Kategorien halten sicher noch einige Überraschungen bereit.

Facebook kann beeinflussen, wer zur Wahl geht

Sogar die Wahlen selbst können von Facebook beeinflusst werden, wie auch Jonathan Zittrain, Professor für Recht und Computerwissenschaft in Harvard, schon 2014 für die Vereinigten Staaten untersuchte. Wie? Den entscheidenden Unterschied, ob jemand wählen ging oder nicht, machte für viele eine einzelne Aufforderung auf Facebook, wie Tufekci erklärt:

Manchen Leuten wurde „Heute ist Wahltag“ gezeigt, die einfachere Variante, manchen Leuten wurde eine minimal veränderte Variante gezeigt, in der auch Profilbilder von Freunden gezeigt wurden, die bereits auf „Ich habe gewählt“ geklickt haben. Diese Bilder waren die einzige Veränderung und ein einmaliges Zeigen dieser [zweiten] Nachricht führte zu 340.000 zusätzlichen Wählern, wie eine Studie ergab und die Wählerverzeichnisse bestätigten. 2012 wurde das Experiment wiederholt und diesmal führte die gezeigte Nachricht zu 270.000 zusätzlichen Wählern. Die Präsidentschaftswahl 2016 wurde, um die Zahlen ins Verhältnis zu setzen, von ungefähr 100.000 Stimmen entschieden. Facebook kann zudem sehr einfach ableiten, welche politischen Einstellungen man hat, selbst, wenn man diese niemals auf der Seite angegeben hat. Was wäre, wenn eine Plattform mit einer so großen Macht sich entscheiden würde, die Unterstützer eines Kandidaten zum Wählen zu drängen und die eines anderen nicht? Wie, wenn überhaupt, würden wir das bemerken? (eigene Übersetzung)

Vor ähnlichen Manipulationen sind übrigens auch die Wähler in Deutschland nicht gefeit, wo Parteien zunehmend auf Microtargeting setzen. Mit sogenannten Dark Posts ist es beispielsweise möglich, (Wahl)werbung auf Facebook zu schalten, die nur für eine ausgewählte Zielgruppe sichtbar ist. So warb die bayrische CSU mit einem Porträt von Seehofer und dem Spruch „Wir wollen keine Republik, in der linke Kräfte und der Multikulturalismus die Vorherrschaft haben.“ – auf russisch, und nur für diejenigen sichtbar, die auf Facebook mit dem russischen Fernsehsender RT in Verbindung stehen.

Zunehmend informieren sich Bürger und Bürgerinnen auf dem eigenen Bildschirm, auf dem automatisch ganz andere Beiträge als beim Sitznachbarn auftauchen können. Die gemeinsame Informationsgrundlage geht verloren (Symboldbild) CC-BY-NC 2.0 Nicolas Nova

Was also harmlos mit aufdringlicher Onlinewerbung angefangen habe, resümiert Tufekci, führe jetzt dazu, dass wir „als Öffentlichkeit und Bürger nicht länger wissen, ob wir die gleichen Informationen sehen oder was jeder andere sieht. Ohne eine gemeinsame Informationsgrundlage wird, Schritt für Schritt, jede öffentliche Debatte unmöglich.“

Der Traum jedes Autokraten

Dass die Ergebnisse der Algorithmen immer auf Wahrscheinlichkeiten beruhen, erweist sich dann als Problem, wenn autoritäre Staaten sie in der Strafverfolgung einsetzen, etwa in China oder Russland. Tufekci mutmaßt, dass „die Mächtigen kaum der Versuchung dieser Technologien widerstehen, nur weil es ein paar false positives gibt“.

In einer Welt, die zunehmend autoritärer wird, müssen die entstehenden Strukturen besonders kritisch betrachtet werden. Auch die Big-Data-Forscherin Kate Crawford wandte sich Anfang des Jahres angesichts der Wahl Donald Trumps in einem offenen Brief an die Technologiegiganten im Silicon Valley.

Die notwendigen Datenspuren, um eine Dissidentenliste zu erschaffen, bestehen bereits – öffentlich und bleibend. Getätigte Kommentare, die vergänglich erschienen, werden die Zukunft heimsuchen. Unsere Suchanfragen, Posts und Hashtags werden die brutalsten Informanten sein. Und ihr arbeitet bereits an weiteren Werkzeugen. Techniken des maschinellen Lernens werden getestet in der Verbrechensvorhersage, in der Strafjustiz und beim Nachverfolgen von Flüchtlingsbewegungen in der Welt. Was werdet ihr tun, wenn ihr aufgefordert werdet, eure Gesichtserkennungsanwendung so zu modifizieren, dass sie verwendet werden kann, um undokumentierte Personen zu identifizieren und zu inhaftieren? Oder wenn dein Community-Mapping-Tool von einer Sicherheitsfirma aufgekauft wird, die Aktivisten erfasst?

Arbeitsweise und Anreize der Plattformen überdenken

Zeynep Tufekcis Sorge geht in eine ähnliche Richtung. Die besondere Tragik liege darin, dass die entstehende Überwachungsinfrastruktur lediglich aus dem einfachen Grund aufgebaut worden wäre, weil man Leute dazu bringen wollte, auf Werbung zu klicken. Der offene Terror in Orwells 1984 sei demnach die falsche Dystopie.

„Wenn die Mächtigen diese Algorithmen nutzen, um uns still zu beobachten, uns zu beurteilen und in die eine oder andere Richtung anstoßen, die Unruhestifter und Rebellen vorherzusagen, Überzeugungsstrategien im großen Maßstab anzuwenden und jeden einzelnen mit seinen persönlichen, individuellen Schwächen und Verletzlichkeiten zu manipulieren, und wenn sie das durch unsere privaten Bildschirme tun, so dass wir gar nicht wissen, was unsere Mitbürger und Nachbarn sehen, dann wird uns der Autoritarismus wie ein Spinnennetz umschließen und wir könnten noch nicht einmal wissen, dass wir darin sind.“

Tufekcis Verbesserungsansatz ist so radikal wie berechtigt: Nicht weniger als die gesamte Arbeitsweise unserer digitalen Technologien müsse verändert werden. Über die Entwicklungsweise, (finanzielle) Anreize, mangelnde Transparenz der proprietären Algorithmen bis zu den rücksichtslos gesammelten Daten müsse sich alles ändern. „Wir brauchen eine digitale Wirtschaft, in der unsere Daten und unsere Aufmerksamkeit nicht für den höchstbietenden autoritären Machthaber oder Demagogen zum Verkauf stehen.“ Wenn man die Macht der neuen Technologien ernst nimmt, dürfe man die Diskussion über die angesprochenen Probleme nicht länger aufschieben.

Den Vortrag als Podcast findet ihr auch hier zum Download.

Weitersagen und Unterstützen. Danke!
39 Kommentare
  1. Twitter, Google, Facebook & Co. sind effektive Herrschaftsinstrumente. Sie sind Profit-orientiert und nicht demokratisch. Dass sie auch Staaten und Gemeinschaften schädigen kann man an Steuervermeidung erkennen und daran, dass sie Zielgruppen spezifisch sind.

    Sie sind alles, nur eben nicht sozial.

  2. Okay: Diagnose erstellt, Therapie unklar.

    Ich stimme zu; aber was kann man tun?
    Auf persönlicher Ebene ist es vielleicht noch relativ einfach: Soziale Medien meiden oder nur sparsam nützen (aber wenn die Peer Group dort ist, ist das ggf. gar nicht einfach…)
    Auf allgemeiner, gesellschaftlicher Ebene ist das schwierig zu regulieren… was wären dann sinnvolle Herangehensweisen?

    1. > Diagnose erstellt, Therapie unklar.

      Der Verführung widerstehen. Ist wie mit dem Suff. Man muss sich die Sucht eingestehen und aufhören mit Rechtfertigungen.

      Wahre Freunde machen Facebook, Whatsapp & Co. nicht zu einer Vorbedingung für Freundschaft. Auf die anderen kann man locker verzichten, für die ist man nichts anderes als billiges Entertainment.

      1. Ja, schon klar, auf persönlicher Ebene macht das Sinn, wie z. B. persönlicher Verzicht aufs Auto, um Luftqualität zu erhöhen. (Nur Vgl., bitte keine Seitendiskussion über Autos… ;-) )

        Aber die Frage ist, was wir als Allgemeinheit / Gesellschaft machen, um FB & Co. zu „regulieren“. Das ganze Microtargeting und der Verlust des öffentlichen Diskurses sind durchaus bedrohend für die Demokratie.

        Radikaler Ansatz: So wie Email ein offener Ansatz ist (also mehrere Anbieter können Email als Dienst anbieten), so müsste ein soziales Netzwerk „offen“ werden für weitere Anbieter. (Kenne tech. Details nicht: Ist Diaspora vergleichbar?)

        Begründung: Wenn eine Struktur nicht mehr „klein“ ist, sondern ein Monopol wird, dann wird sie reguliert oder verstaatlicht. Das hat durchaus Sinn und wird an anderen Stellen auch gemacht (in beide Richtungen Monopol Multipol [leider oft: Oligopol]): Telekommarkt, Stromanbieter, Stromgroßhandelsmarkt, Bahnverkehr.
        (Nein, das ist nicht Kommunismus et al., sondern Liberalismus im Sinne von: Märkte verhindern am besten Zwänge durch Monopole.)

        FB könnte z. B. wählen zwischen a) regulierten Preisen (für Ads) oder b) offene Schnittstellen. Andernfalls: Angebot illegal in Deutschland. (Klar, die Nutzer verliert man so nicht, aber die Werbekunden…)

        Any other ideas?

        Erstaunlich, dass niemand in der Politik mal kreativ in diesem Punkt denkt…

  3. Das Ausschnüffeln und Sammeln hat es schon gegeben, als es noch Papier und Bleistift gab. Es ist daher kein technisches Problem sondern ein rein menschliches Problem und hat auch mit einer „Digitalisierung“ nichts zu tun. Daher ist es auch nur mit erzieherischen Mitteln zu lösen.

    Man muss den Leuten immer wieder vorbeten, was vernünftig und was unvernüftig ist, Und darauf hoffen, dass die Menschen endlich mal vernünftig werden. Was ein ziemlich ambitioniert-utopisches Ziel ist.

  4. Früher ™ gab es eine Einheitsbreimatrix für alle, heute bekommt jeder seine eigene.

    Wo ist da das Problem?

    Niemand wird, heute wie damals, daran gehindert seinen eigenen Kopf zu benutzen.
    Sapere aude, incipe.

    Mangelnde Diskursfähigkeit?
    Das liegt an den Menschen selbst,
    nicht an dem Rahmen.

    Hand aufs Herz.
    Wie viele Kommentare werden bei NP gefiltert, ohne das es einen Grund gäbe?
    Also natürlich ausser dem Grund „Ist mir zu weit von meiner Weltsicht, will ich nicht sehen“?
    Was ja Diskursunfähigkeit per se ist.

    Tl:dr
    Das Problem sind nicht die anderen,
    das Problem ist man selbst.

    1. „Niemand wird, heute wie damals, daran gehindert seinen eigenen Kopf zu benutzen.“

      Träumst Du?
      Wenn jemand „damals“ seinen eigenen Kopf benutzt hat und zu der Erkenntnis gelangte, es gäbe keinen Gott, war das ein fast sicherer Weg in den Folterkeller.
      Heutzutage läuft es subtiler ab und es gibt andere Dogmen.

      Die, die der Meinung sind, sie seien nicht manipulierbar, sind oft diejenigen, die am leichtesten manipuliert werden können.

      Wo das Problem sei, fragst Du?
      Angst ist das Problem, denn „Angst fressen Seele auf“. Und mit Ängsten arbeiten die herrschenden Eliten heutzutage wesentlich rigoroser als damals. Inzwischen kann aber dank digitaler Tele-Infrastruktur quasi permanent Propaganda ‚gefunkt‘ werden.

      Hitlers ‚Volksempfänger‘ waren schon ausserordentlich wirksam. Der Fernseher war wirksamer. Aber was ‚wir‘ mit dem Internet zur Zeit haben, lässt sich nur noch durch einen direkten Draht in unseren Kopf toppen (Implantate).

      „Niemand wird gehindert“ ist einfach nur Blabla.

      1. Ähhh … nein …
        Ich kann dir zu vielen Themen Quellen nennen, welche fast gegensätzliche Standpunkte einnehmen.
        Und wo ich sie nicht nennen kann gibt es sie auch, das Thema interessiert mich nur nicht.
        Was man aus diesen Quellen in sein Weltbild einbaut ist jedem freigestellt.
        Welche Quellen man konsumiert auch.

        Angst ist eine Fiktion.
        Eine Emotion die sich einstellt in der Befürchtung eines Ereignisses das noch nicht eingetretten ist.
        Das sollte einen nicht hindern das Maul aufzumachen oder das Denken einzustellen, sondern genau im Gegenteil.
        Gerade bei Angst muss man den Mund aufmachen. Wenn man Recht hat zeigt sich der befürchtete Gegner, man kann mit ihm umgehen und die Angst löst sich. Oder man hat unrecht und sammelt eben diese Erfahrung, was die Ängste der Zukunft schmälert.

        Tl:dr
        Angst ist eine Fiktion die schwindet,
        wenn man sich ihr stellt.

  5. Sehr interessanter Talk und danke für den Artikel. Es passt ins Bild, dass Bedenken lieber auf später verschoben werden sollen um Datenschätze zu heben. Eine Datenkrake von deutschem Format – das fehlt noch.
    Das Thema ist so aktuell wie nie… natürlich sind Manipulationsversuche so alt wie die Menschheit aber noch nie waren einzelne Konzerne derart mächtig. Ironischerweise ist Künstliche Intelligenz im Moment auch der einzige Hoffnungsschimmer am Horizont. Oder glaubt irgendjemand ernsthaft, dass Menschen die Vernichtung des Planeten stoppen werden? Selbst wenn sie es wollten – kein politisches System ließe es in notwendiger Geschwindigkeit zu; die wirtschaftlichen Interessen sind zu stark mit der Politik verwoben.

        1. Was meine ich nicht ernst? Ich habe den Cliqz Bot schon in Server Logs gesehen und spätestens mit der Ghostery Übernahme dürften sie genug Datenmasse haben, um was zu entwickeln und dann potentiell etwas zu bewegen. Grundschule halt.

          Ist ein „Staatsbrowser“ mit AusweisApp-Auth wirklich gedanklich so weit weg? Was müsste passieren, um der Bevölkerung ein solches Konzept verkaufen zu können?

          https://www.ausweisapp.bund.de/ausweisapp2-home/

          1. Puh, hast Du mich abgehängt. Grundschule für was? Staatsbrowser mit AusweisApp, wo schon keiner die eID des Ausweises nutzt??

          2. Cliqz gehört dem Vernehmen nach der Bertelsmann-Gruppe UND er ist in „ausgewählten“ deutschen Firefox-Browsern (das sind die ab Version 56.0.2). In der Tat nutzt diese Version zunächst Cliqz und wenn der nichts findet geht es weiter zu Google. Das läßt sich nicht ändern. Zu erkennen ist er daran, dass oben die Suche fehlt. Ich hatte das Teil. Es war garnicht so trivial es gegen einen normalen US-Firefox auszutauschen. Wobei Firefox mit der Version 57 sowieso auf die Hinterbank rutscht, weil sowas wie noscript und ublock origin nicht zu haben sind. Da ist man mit Googles Chrome tatsächlich besser beraten.

          3. Korrektur: Nicht Bertelsmann, sondern Burda Verlag. Da hatte sich Mozilla eingekauft. Nachzulesen bei Wiki Burda Verlag, auch gern auf englisch, der Text ist etwas weniger wohlwollend formuliert, als auf deutsch.

          4. Bertelsmann macht Politik mit seiner Stiftung.
            Burka mit Boulevard.

            Einen Wettermoderator und einen Bundespräsidenten haben die bereits abgesägt – am Rechtsstaat vorbei, falls das einem entfallen sein sollte.

            Mit „Cliqz“ führt man sicher nur Ehrenwertes im Schilde…

    1. Gibt schon einige Datenkraken in der BRD.
      – Krankenkassen
      – Deutsche Post
      – Payback-Punkte-Anbieter
      – Diverse Behörden / Bürgerbüros
      – ADAC
      – Deutsche Telekom
      – Autohersteller

      ..
      .

        1. @Lady Gaga
          Ist bereits vernetzt,die Fäden laufen bei den Geheimdiensten zusammen.
          Siehe auch UKUSA Vereinbarung mit tertiären Partnern, mit BND als Trittbrettfahrer und der russische FSB als Schwarzfahrer sind die Profiteure.
          Die israelischen Nachrichten/Geheimdienste Aman und Mossad als Anhang nicht zu vergessen.
          Rundum Überwachung ist Realität.

      1. @Constanze: Ist nicht jede KI mal in die Grundschule gegangen? Ich war bei einem Moses selbst auch schon mal Grundschullehrer und habe ihn mit ein paar multilingualen Text-Korpora angelernt. :)

        Fakenews News, jeder Hack ein Russ… Das Internet ist zu frei, das macht alles zu kompliziert, irgendwann müssen wir unseren Verstand halt wieder an Qualitäts Lizenzmedien wie Burda abgeben, sonst radikalisieren wir uns doch bloß.

        Etwas strategische Spannung, eine kleine russischstämmige Kritis und schon hat niemand vor eine digitale EU Brandmauer zu bauen, wir leben ja schliesslich nicht in einer deutschen, demokratischen Republik, oder?

        1. Und noch ein Nachtrag @ Constanze: Stell Dir mal ein Internet vor, in dem Du zwar eine IP zugewiesen bekommst, diese aber nur dazu dient Dir die Möglichkeit zu eröffnen mittels eines Zertifikates auf Deinem ePerso einen VPN Tunnel aufzubauen, der es Dir dann erst ermöglicht das Internet (ausgenommen an der virtuellen Schengengrenze weggefiltertes Zeug und Traffic von Programmen, die nicht staats-autoritativ gewhitelistet sind) authentifiziert zu nutzen.

          Da fühlte man sich dann doch gleich viel sicherer im Netz, oder?

      2. Da ist schon was dran. Aber keiner der erwähnten Läden hält (glücklicherweise) die Hoheit über alle Informationstöpfe. Wenn Google bspw. 50% Deines Internetverkehrs kennt, dann ist das eine andere Nummer. Und an denen komme ich kaum vorbei. Abgesehen von Krankenkassen und Behörden kann ich bei den von Dir genannten ja glücklicherweise noch einige vermeiden.

  6. Muffelt arg nach Russophobie. Im TED-Talk wird Russland gar nicht erwähnt, sondern China. Und das naheliegendste Beispiel strafbehördlicher Aktionen in Richtung Gesichtserkennung wäre die BRD selber. Oder schon vergessen, was am Hauptbahnhof in Berlin los war vor kurzem?

    Wenn 2 von 2 Beispielen russlandkritisch sind, braucht man sich nicht zu wundern, wenn der Bias auffällt.

    Netter Versuch, Arne, aber Deine Propaganda zieht nicht.

  7. Der Vortrag und Artikel machen klar wie sich kommerzielle- und Machtinteressen zusammen mit den Mitteln von IT und Internet geradezu zwangsläufig zur Dystrophie entwickeln. Eigentlich sind wir schon mitten drin in dieser Entwicklung. Der einzig wirksame Schritt wäre eine massive Entflechtung. Politisch ist hier weder ein Wille noch das Vorhandensein einer gangbare Strategie auszumachen. Wäre vielleicht ein gutes Thema für einen Kongress: „Wie die kommende Dystrophie noch verhindern werden kann“.

  8. Also an einer Stelle musste ich wirklich kurz lachen: „Dass die Ergebnisse der Algorithmen immer auf Wahrscheinlichkeiten beruhen, erweist sich dann als Problem, wenn autoritäre Staaten sie in der Strafverfolgung einsetzen, etwa in Russland. “

    „Predictive Policing“-Systeme werden in mehreren Städten in Deutschland, der Schweiz, den USA und UK eingesetzt bzw. erprobt. Das Problem sind doch nicht die Autokratien, von denen erwartet man nichts anderes. Das Problem scheint mir vielmehr, dass sich dieser Stuss jetzt auch in den vorgeblichen Rechtsstaaten durchsetzt. Statt necessitas probandi incumbit ei qui agit demnächst nur noch probabilitas.

    1. „Predictive Policing“-Systeme werden in mehreren Städten in Deutschland, der Schweiz, den USA und UK eingesetzt bzw. erprobt. Das Problem sind doch nicht die Autokratien, von denen erwartet man nichts anderes. Das Problem scheint mir vielmehr, dass sich dieser Stuss jetzt auch in den vorgeblichen Rechtsstaaten durchsetzt. Statt necessitas probandi incumbit ei qui agit demnächst nur noch probabilitas.

      Berechtigter Einwand, da stimme ich Dir zu. In den „vorgeblichen Rechtsstaaten“ verliert man aber nicht so schnell seinen Job oder kommt ins Gefängnis, wenn man auf einer Oppositionsdemo gesichtet wird.

      1. Das meine ich auch nicht. In kaputten Regimen wie Russland oder der Türkei kannst du auch ins Gefängnis kommen, ohne dass dir klar ist, warum. Die Straftatbestände sind schwammig oder undefiniert (Terror einself) , die Verfahren intransparent und die Ergebnisse unanfechtbar. Mit Predictive Policing oder ähnlichen AI-System halten all diese Merkmale dysfunktionaler Strafverfolgung auch bei uns Einzug. Deswegen ist das auch kein Problem (zumindest kein neues) in Russland, sondern in unseren Rechtsstaaten, die durch solche Methoden unterspült werden (z.B. der Bestimmtheitsgrundsatz, Art. 103 GG).

  9. Der Talk ist vollkommen albern. Leider versteht die gute Frau nicht mal im Ansatz wie AI funktioniert bzw. wie der Stand der Dinge ist. Diese dauernde Betonen von „selbst die Entwickler wissen nicht, was da passiert“ ist absoluter Bullshit. Jeder dieser Algorithmen hat Basisannahmen und Datenelemente, die VORHER deklariert sind. Wenn alle die nach Vegas fliegen sich dadurch auszeichnen, dass sie zB braune Haare haben, dann WEISS das der Algorithmus nur, wenn EIN MENSCH vorher dieses Datenelement definiert hat, es Muss irgendwo als hair=colourXY auftauchen, erfasst und DEFINIERT sein. Damit spiegeln diese Algorithmen in einem hohen Masse self fulfilling prophecies ab, die SEHR viel über die Schöpfer und deren ideologischen Grundannahmen bzw,. Lebensentwürfe aussagen, als über den Kunden. Da wissen sie nämlich NIE GRÜNDE sondern immer nur Korrelationen also gehäufte Vorkommnisse auf der Zeitachse.

    Hier findet imgrunde eine Machtverschiebung statt auf BASIS der im Algorithmus ursprünglich definiert Grundparameter die aber IMMER eine Weltsicht darstellen. ECHTE Soziologen haben dafür längst einen Begriff: Californian Ideaology. Frau Tufekci hat leider gar nichts. Weder eine schlüssige soziologische Theorie NOCH versteht sie die Materie über die sie da eine HALBE Stunde fabuliert. Letztens lief auf Deutschlandfunk ein Doppelfeature zu Facebook und Zuckerberg wo die Ideologie und soziologischen Theorien beleuchtet wurden und dafür bedurfte es keiner halbgaren „neulich sah ich dieses und jenes Video und anschließend zeigte mir Youtube nur noch solche Videos und Entwickler verstehen das auch nicht. SCARY!!“ Echt jetzt? Derart unqualifiziertes Blabla erweist der Sache nur einen Bärendienst, da jeder halbwegs gute PR_Profi der Giganten diese Dame mit ihren Nichtargumenten und Gefühlsannahmen sofort auseinandernimmt und jeden Punkt in einen Vorteil für den Kunden ummünzt.

    1. Nett, dass Sie neben Ihrem Lehrstuhl für AI noch Zeit finden für ein leidenschaftlich-bewegtes Bashing.

      Die Komplexität der zugrunde liegenden Strukturen nimmt Auswüchse an, die für den Menschen nicht mehr begreifbar sind.

      „Scary“ wird es für uns alle dann, wenn die Computerentscheidung zum Primat politischer und wirtschaftlicher Ordnung wird.

      Denn nur die vollkommene Automation – so scheint es – kann den Menschen befreien und optimal verwalten.

      Die Umkehr dieser Entwicklung ins Gegenteil wird der Fall sein. Ob die Welt dann regiert wird von einem zum Bewusstsein gefundenen Supercomputer oder von einer kleinen elitären Minderheit Computer-Nerds, die Kontrolle erlangt haben, ist nebensächlich für die Betroffenen.

      Wir erleben diese algorithmisierte Unfreiheit bereits in der Welt des Kapitals:
      Wenn im Rahmen eines Checkout-Prozesses der Scoring-Dienstleister der großen Player wie Ebay, Amazon, Paypal und Co Ihnen ein erhöhtes Zahlungsausfallrisiko attribuiert, können Sie am wirtschaftlichen und sozialen Leben nur noch eingeschränkt teilnehmen. Für den Mitarbeiter sind die AI-basierten Entscheidungen bereits Gesetz, eine Blackbox sowieso, und Sie als Einzelfallschicksal unbedeutend.

      1. Da die Frau aber nicht versteht, was da passiert und WIE es passiert, kann sie keine Gegenmaßnahmen entwickeln. Es bleibt folgendloser Sermon. Nicht mehr und nicht weniger wollte ich damit sagen. Und nein ich bin nicht in der Forschung habe aber täglich in der beruflichen Praxis mit AI zu tun. Und eines können Sie wissen: die Leute wissen genau was sie tun. Und das ein einzelner Entwickler das mal nicht im ganzen versteht, ist vollkommen normal und der Modus operandi in einer arbeitsteiligen Welt.

        1. Was denn nun? Alles „absoluter Bullshit“ oder doch „…normal und der Modus operandi in einer arbeitsteiligen Welt.“ ? Wie auch immer, es ändert doch nichts an der Kernaussage. Im Ernst. Der Talk geht knapp 23 Minuten. In dieser Zeit hat sie gezielt Pointen gesetzt und eine gute Grundlage für eine Diskussion geschaffen. Mehr möchte sie mit diesem Talk doch nicht erreichen, geschweige denn „…Gegenmaßnahmen entwickeln“.

          1. Ist doch nicht so schwer zu verstehen. Die Gute redet mit ein PAAR Entwicklern, die nicht wissen, was konkret passiert und schließt daraus, dass INSGESAMT niemand weiß, was da passiert, dass wir quasi schon Sklaven der Algorithmen sind. DAS ist der Bullshit. NORMAL ist, dass EINZELNE das GANZE nicht überblicken. Habe noch zwei weitere Vorträge von ihr auf Youtube angesehen – leider auch nicht besser.

            NOCHMAL: Sie schafft FALSCHE Grundladen, weil sie mit diesem sinnlosen Gelaber Leuten FALSCH Angst macht und so angreifbaren Quatsch redet, dass Leute aus der Branche ihr JEDERZEIT den Wind aus den Segeln nehmen können. Sie hätte sich als Soziologin auf die Aspekte Macht, Struktur, Gesellschaft etc. konzentrieren können. Aber sie versucht über AI zu reden und redet von „ich sehe Video Kategorie A und danach kommt plötzlich in einer automatischen Playlist nur noch Kategorie A“. Das ist KEINE AI sondern ganz simples if this than that. Aber wenn sie dieses „Hausfrauen“ Beispiel schon wählt, könnte sie daran entlang mal Framing etc. aus soziologischer Perspektive beleuchten. Macht sie aber auch nicht.

        2. Du scheinst ja Einblicke in Youtube’s proprietären Code zu haben – ich könnte Dir jedenfalls nicht sagen auf Basis welchen Algorithmus‘ die Vorschläge für die Videos entstehen und ob das jetzt in die Kategorie der Künstlichen Intelligenz fällt oder nicht. Im Übrigen sagt sie auch nicht, dass die Entwickler nicht wissen was passiert, sondern dass „wir“ es nicht wissen. Genausowenig erkenne ich, dass sie „falsche Grundlagen“ schafft. Ihr Ausgangsthese ist: „What we need to fear most is not what Artificial Intelligence will do to us on its own but how the people in power will use artificial intelligence to control us and to manipulate us in novel, sometimes hidden, subtle and unexpected ways.“ Weiter merkt sie an, dass soziale Netzwerke eine Architektur zur Beeinflussung bereitstellen, die Milliarden Menschen erreicht, aber im Gegensatz zu herkömmlicher Werbung die Möglichkeit bietet jeden Einzelnen direkt anzusprechen. Über die Dinge können wir gerne diskutieren. Oder Du kannst Dich weiter darüber ereifern, dass sie vielleicht nicht mit genügend Entwicklern gesprochen hat oder Dir ihr Auftreten zu hausfrauenhaft ist…

  10. einfach den herdentrieb/kadavergehorsam/gruppen- und familienzwang ablegen, dann kann man die gesellschaftlichen abhängigkeiten auf ein mindestmaß reduzieren und sich so dem sozialdarwinismus/manipulation entziehen

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.