Facebook durchleuchtet die geistige Gesundheit seiner Nutzer

Der Internetkonzern hat ein automatisiertes Frühwarnsystem für Nutzer geschaffen, die traurige und depressive Statusmeldungen schreiben. Facebook will damit Selbstmorde verhindern, sorgt aber für Bedenken wegen mangelnder Transparenz und möglichem Missbrauch des Systems.

Facebook lässt Algorithmen nach Nutzern mit düsteren Gedanken fahnden. – Gemeinfrei-ähnlich freigegeben durch unsplash.com Alex Wigan

Facebook setzt seit einigen Wochen systematisch künstliche Intelligenz ein, um die mentale Stabilität seiner Nutzer zu kontrollieren. Der kalifornische Internetkonzern kündigte im November des Vorjahres an, die Technologie künftig überall auf der Welt zu verwenden, um damit Selbstmorde von Nutzern zu verhindern. Ausnahme ist bisher Europa, wo Facebook Datenschutzbedenken fürchtet.

Nach eigenen Angaben hat Facebook bereits im ersten Monat des Einsatzes der Technologie mehr als hundert Mal Rettungskräfte in möglichen Selbstmordfällen verständigt und den Helfern die Standortdaten der Nutzer bekanntgegeben. Ausgelöst wird das Warnsystem durch Nutzer-Posts, die bestimmte Schlüsselwörter wie „traurig“ enthalten. Ein neuronales Netzwerk analysiert den Wortkontext und die Reaktionen anderer Nutzer, etwa Fragen wie „Kann ich helfen“ oder „Geht es dir gut?“ und erstelle einen Gefahrenwert. In als dringlich eingestuften Fällen gibt das automatisierte System die Kommentare an menschliche Mitarbeiter des Community-Operations-Teams von Facebook weiter, die über die Kontaktaufnahme mit den Behörden entscheiden, wie das Unternehmen in einem Blogeintrag schildert. Handelt es sich nicht um einen Notfall, werden dem Nutzer Selbsthilfe-Materialien und Kontaktadressen angezeigt.

Aus dem Selbstmord-Frühwarnsystem ist kein Ausstieg möglich. Sogar im gewohnt technologiefreundlichen Silicon Valley sorgen die Möglichkeiten der eingesetzten Technologie für besorgte Töne. So schreibt etwa die Nachrichtenseite TechCrunch: „Die Vorstellung, dass Facebook proaktiv die Inhalte seiner Nutzer scannt, könnte dystopische Ängste über andere Einsatzmöglichkeiten der Technologie auslösen.“ Das Unternehmen selbst betont, der Nutzen der Technologie sei größer als die Gefahr. Gruselige und böswillige Einsatzmöglichkeiten von künstlicher Intelligenz seien ein Risiko, darum finde Facebook es wichtig, schon heute eine Abwägung über die Nützlichkeit automatisierter Systeme zu treffen, schrieb der Facebook-Sicherheitsbeauftrage Alex Stamos auf Twitter.

Wer hat Zugriff auf die Daten?

Schon eine Statusmeldung kann die Sorgenwächter von Facebook alarmieren - Public Domain Screenshot

Bedenken gibt es nicht nur wegen dem Einsatz automatisierter Systeme, sondern auch wegen Facebooks wenig transparentem Zugang zu der durchaus komplexen Frage, wie psychische Gesundheit sich eigentlich messen lässt. Der Internetkonzern habe bisher keine Unterlagen zur Treffgenauigkeit und potentiellen Risiken des Systems veröffentlicht, die etwa die Möglichkeit behandeln, bei der Verhinderung von Suiziden unabsichtlich eine gegenteilige Wirkung auszulösen, heißt es in einem Bericht der New York Times.

Unklar sei auch, wer alles Zugang zu Informationen über den Gesundheitszustand der Nutzer habe und ob eine Zuschreibung als „suizidgefährdet“ für immer mit einem einzelnen Nutzer verknüpft bleibe, sagte der Rechtswissenschafter Frank Pasquale, der zu datengestützten Gesundheitssystemen forscht. Ein Unternehmenssprecher erwiderte, Facebook lösche die algorithmisch erstellten Einschätzungen nach 30 Tagen. Fälle, in denen die Behörden eingeschaltet wurden, seien in einem separaten System gespeichert und nicht mit den Nutzerdaten verknüpft.

Während das System in Europa nicht zum Einsatz kommt, steht Facebook auch hierzulande wegen eines tragischen Todesfalles in der Kritik. Nach dem Tod einer 15-Jährigen in einem Berliner U-Bahnhof im Jahr 2012 klagten die Eltern den Internetkonzern auf die Herausgabe der Chatprotokolle des Mädchens. Sie wollten so herausfinden, was ihre Tochter zu einem möglichen Suizid bewogen haben könnte. Facebook verweigert aber bisher die Herausgabe der Daten, der Fall soll nun vor dem Bundesgerichtshof verhandelt werden.

Mit seinem Selbstmord-Frühwarnsystem schaltet sich Facebook direkt in die psyschische Gesundheit seiner Nutzer ein. Im Dezember hatte das Unternehmen unter Berufung auf eine Studie eingeräumt, dass viel passive Nutzung seines sozialen Netzwerkes das Wohlbefinden der Nutzer verschlechtere. Konzernchef Mark Zuckerberg kündigte wenig später an, den Facebook-Algorithmus anzupassen, um mehr „bedeutungsvollen sozialen Austausch“ zwischen Nutzern statt passiver Informationsaufnahme zu erzeugen.

Mit den Ankündigungen wehrt sich das Unternehmen gegen Kritik, es trage durch seine Plattform zur gesellschaftlichen Spaltung und sozialer Isolation bei. Allerdings eröffnet die angekündigte Neuausrichtung für Facebook auch Möglichkeiten: Denn die Haupteinnahmequelle des Internetkonzerns ist auf Nutzer zugeschnittene Werbung. Soziale Beziehungen und auch psychisches Befinden sind wohl äußerst hilfreich dabei, Werbebotschaften per Microtargeting auf eine Zielgruppe zuzuschneiden.

Deine Spende für digitale Freiheitsrechte

Wir berichten über aktuelle netzpolitische Entwicklungen, decken Skandale auf und stoßen Debatten an. Dabei sind wir vollkommen unabhängig. Denn unser Kampf für digitale Freiheitsrechte finanziert sich zu fast 100 Prozent aus den Spenden unserer Leser:innen.

19 Ergänzungen

  1. Hochgradiger Quatsch.
    Wer sich wirklich selber umbringen will schafft das auch.
    Hatte drei Fälle im Freundeskreis.
    Bis zum Schluss war da nichts erkennbar und das obwohl ich nach dem Ersten sehr sensibilisiert bin und auf Auffälligkeiten achte.
    Die spielen teilweise erstklassiges Theater und geben jeden der die beobachtet genau die Antworten die die hören wollen. In dem einen Fall hat der sogar erstklassige Psychiater als der eingewiesen war dazu gebracht in wieder rauszulassen.

    1. Facebook befragt dich aber nicht, sondern beobachtet dich permanent. Das ist viel aufschlussreicher.
      Klar kann ich Facebook auch ständig Theater vorspielen wenn ich es drauf anlege, aber warum dann noch benutzen?

      1. In wie fern ist das aufschlussreicher?
        Liked jemand der Selbstmord begehen will Heckler & Koch, Seil- und Rasierklingenfirmen?
        Ich sehe das wie Murmeltier. Die können sich erstklassig verstellen und deshalb müssen das Profis überprüfen und nicht Facebook. Selbst die Profis, mit jahrelanger Berufserfahrung können danebenliegen. Ein ich habe einen schlechten Tag gehabt oder alles Scheiße heute usw, selbst über einen längeren Zeitraum ist nicht mal ein Indiz für ernste Suizidabsichten. Manche sind einfach Misanthropen und Hypochonder.
        Gleichzeitig maßt sich der Konzern eine ganze Menge an, über so was quasi selbstherrlich zu entscheiden. Bei false positive werden die doch die entstehenden Kosten nicht übernehmen wollen.
        Jemand wird aufgrund der Algorithmen einkassiert und zwei Wochen stationär beobachtet, die Folge er verliert seine Job. Dabei hatte er erst eine Grippe, dann einen Blechschaden und später hat er sich ein Bein gebrochen. An Selbstmord hat er nie gedacht (nach dem Jobverlust kann sich das aber ändern) nur nie explizit auf Facebook ausgeführt warum er sich gerade nicht gut fühlt. Was er ja auch nicht muss (zumindest bisher).
        Auch ist das der erste Schritt zu einer Persönlichkeitslenkung durch einen Konzern der ein angepasstes Verhalten in seinem Sinne erzwingt.
        Mal ganz davon abgesehen, wer wirklich explizit mitteilt das er Suizidabsichten hat meint es in der Regel nicht Ernst. Der will Aufmerksamkeit. Da die Posts bei Facebook im Regelfall an Follower gehen die den Poster und dessen Lebensumstände oft persönlich kennen, das dann zur Kenntnis nehmen, sind die erheblich besser qualifiziert als Facebook da die richtigen Schlussfolgerungen zu ziehen.
        Facebook will einfach einen einigermaßen legitim erscheinenden Grund, um seine teilweise ungesetzlichen Datensammlungen zu begründen und auszuweiten. Wir wollen doch nur euer Bestes (wollen die auch, unser Geld) wir schützen euer Leben. Milke wurde damals für so einen Blödsinn zurecht ausgelacht. Der wollte allerdings kein Geld.

  2. Gruselig…..
    Das soll Facebook doch bitte Fachkräften überlassen.
    So wie es jetzt läuft ist es schon heftig genug. Wer will bitte eine Psychoanalyse a la socialmedia….

    1. Reichlich naiv, dieser Kommentar. Gruselig? Wer freiwillig die Geisterbahn betritt und es dann gruselig findet, dem kann ich nur sagen: gut beoabachtet. Facebook soll ….
      … heftig genug? Heftig finde ich Leute, die in einen Gebirgsbach steigen und dann das Wasser saukalt finden und sich drüber aufregen. Wer ist reingestiegen? Ist doch lange bekannt was Facebook macht. Wer will eine Psychoanalyse von socialmedia? Du, Schlaukopf. Sonst wärst du nicht bei Facebook, analog in der Geisterbahn, analog im Gebirgsbach.
      Wach auf! Werde politisch aktiv, finanziere Netzpolitik.org, tu was.
      Gute Besserung

  3. Ob es Leute gibt, die wegen Facebook und ähnlichen tollen Dingen vereinsamt sind?

    Potential hat die Geschichte insofern, als daß es wieder schön die Grenzen von „KI“ aufzeigen kann.
    Man stelle sich vor, in Gegenden, wo noch jeder jeden kennt, wird z.B. die friedliche Feuerwehr oder ein anderer Notfalldienst zu jemandem geschickt. Wie lange dauert das, bis jeder meint zu wissen, daß sich da jemand selbst entleiben wollte. Dabei ist es unerheblich, ob es blinder Alarm war oder nicht.
    Das sich anschließende blöde Gewäsch kann dann womöglich tatsächlich in den Suizid treiben.
    Stress mit Arbeitgebern, Versicherungen, Banken… nochn Sargnagel.

    Meine persönliche Statistik sagt, daß Leute die deutliche Signale geben, das genau tun, um am Selbstmord vorbeizukommen.
    Die, die das „durchziehen“, geben keine Signale, die deutlich genug sind. Das erkennt man dann hinterher. Das hat dann mit „Ehrgefühl“, Peinlichkeiten und Scham zu tun.
    Das sind genau die Dinge, die auch den Rechnern verborgen bleiben.

    Insgesamt ganz schön anmaßend, was die Nerds da rumbasteln.
    Da aber ganz groß „KI“ dransteht, kann man das ja auch locker als leeres Werbegewäsch abtun. Wer daran glauben möchte, der darf Fratzenbuch auch gern noch seine Selbstmordabsichten mitteilen. Toll, wenns zwischen Bildern vom Mittagessen und Katzenvideos dann wenigstens auffällt.
    Ich würde mich allerdings höchstwahrscheinlich gestört fühlen und das Gute am Selbstmord ist ja, daß man hinterher nicht viel zu bereuen hat. Sagt zumindest mein Atheismus.

    1. Für den Verfassungsschutz, der von der Politik den Auftrag erhält, eine investigativ ermittelnde Person präventiv und zu ihrem Wohle, aus dem Verkehr zu ziehen!

      Ein paar Tage geschlossene und du weist, das du einen Fehler gemacht hast!
      Da wieder heraus zu kommen, ein Kunststück!

  4. Wer ließe es sich entgehen über eine so riesigen Menge an differenzierten Daten alle möglichen Auswertungen laufen zu lassen? Das ist doch spannend.
    Ich könnte mir keine besseres Spiel-, Test-, Optimierungs- und Verifizierungsfeld für meine Echtzeit-Analyse-Werkzeuge vorstellen.
    Optimal auch immer für den Wirk-Test von sublimen Injektionsmethoden zur Massen- oder Gruppenmanipulation.
    Interessant für jeden Soziologen.
    Wäre das ganze blos nicht so grenzenlos unethisch und gefährlich. Das fällt dann für unsere Folgegenerationen unter „scheiße gelaufen“. Und für die grad 17 bis 40-jährigen unter „warum habt ihr das blos zugelassen?“. Oder unter facebook, twitter, whatever „fuck off“. Besser, vielleicht, das letztere.

  5. Ab 18 ist es komplett egal, da kannste dich umbringen, so gerne du willst. Nur für die Teens gelten andere Regeln. Und die tummeln sich am liebsten da, wo sie glauben, dass die Erwachsenen sind. Und sie haben richtig Geld zum Ausgeben für jedwedigen Trash. Nette Zielgruppe, nur halt extrem suizidal.

  6. „[…] die Möglichkeit […], bei der Verhinderung von Suiziden unabsichtlich eine gegenteilige Wirkung auszulösen […]“
    Dieser Teilsatz ist der wahre Knackpunkt. Wir erinnern uns: Es gibt Länder wie beispielsweise die USA, wo die Polizei in solchen Fällen mit gezogener Waffe vorfährt. Wenn dann der nichtsahnende Hausbewohner ebenfalls im Besitz einer Waffe ist, kann die Situation sehr schnell brenzlig werden und letztendlich zu Toten führen… auf andere Weise als erwartet.
    So geschehen hier:
    https://www.theguardian.com/us-news/2018/feb/12/stephen-mader-west-virginia-police-officer-settles-lawsuit

  7. Das FaceBook-Pyramidenspiel. ‚The only winning move is not to play.‘

    Kein Account, keine Verknüpfung, keine Empfehlung.

  8. Ich bin da bei ‚Depressiver‘. Um nix anderes geht es. Facebook verdient nach eigener Aussage ausschließlich über Werbung:

    We generate substantially all of our revenue from selling advertising placements to marketers. Our ads enable marketers to reach people based on a variety
    of factors including age, gender, location, interests, and behaviors. Marketers purchase ads that can appear in multiple places including on Facebook, Instagram,
    Messenger, and third-party applications and website. (1)

    Hauptzweck ist also kaum das Verhindern von Selbstmorden, sondern, im besten Fall vielleicht noch eine größere Anziehungskraft auf Nutzer auszuüben oder aber eben das erlangte Wissen direkt an Werbekunden zu verkaufen.
    Dass die Funktion in Europa erstmal nicht angewendet wird zeigt wie wichtig der hiesige Datenschutz ist. Das GDPR wird von Facebook logischerweise als Risikofaktor für ihr Geschäftsmodell geführt:

    Any number of factors could potentially negatively affect user retention, growth, and engagement, including if […] there is decreased engagement or acceptance of product features on our service, or decreased acceptance of our terms of service, as part of changes
    that may be implemented in connection with the General Data Protection Regulation (GDPR) in Europe. (1)

    Mangels Transparenz kann natürlich eh keiner kontrollieren, ob die ML Algorithmen nicht doch einfach angewendet werden.

    (1) 2018 Annual Report bei https://investor.fb.com/financials/?section=secfilings

  9. Wirklich gruselig wird es dann, wenn Daten und Algorithmen eines Tages über Klappse oder nicht Klappse entscheiden dürfen.
    Oder über Strafmaß, Medikamentation, etc.

    Dazu ein Filmtipp mit Sandra Bullock als Nerd:

    The Net (1995) – nicht mehr ganz auf dem Stand der Technik :)
    h**ps://w w w . imdb.com/title/tt0113957/

  10. Facebook durchleuchtet die geistige Gesundheit seiner Nutzer…

    …und macht vor Schreck die Plattform dicht.

  11. Facebook durchleuchtet die geistige Gesundheit seiner Nutzer ..

    da wird es nicht viel zu tun haben…

  12. viele junge Menschen dürfen ja heutzutage nur wie einfache Automaten kurze Sprüchlein aufschreiben
    – „duchleuchtet ‚die‘ geistige Gesundheit“ (muss aus Verarmung Ausrufezeichen hinter die Selbst-Prophezeiung setzen)
    – „ein Beispiel von so was“ (ohne Chance das was in eigenen Worten zu nennen)
    – „Wirklich gruselig “ (der junge Mensch darf keinen Kommentar zum Text abgeben, sondern muss einen Filmtipp mit Sandra Bullock anstatt eines eigenen Kommentars abgeben.
    – „Minority Report lässt grüßen :(“ der junge Automat kann nicht eigenständig grüßen, sondern benötigt die Hilfe eines externen Reports
    -“ Wir erinnern uns: “ der junge Mensch darf noch nichts alleine schreiben
    -„Fratzenbuch“: der junge Mensch ist stolz ein Wort auswendig gelernt zu haben

    natürlich ist es lukrativer einfach Fragmentfetzen zu ‚kommentieren‘ und Ausrufezeichen als einfache Betäubungszeichen anzuhängen, aber die fehlende geistige Gesundheit eigenständig(!) einen Sachverhalt ohne die Hilfe einfacher Markennennung zu analysieren und auch mögliche Vergleiche zu erarbeiten, ist bei der Fragment-Generation wohl nicht zu erwarten.

    Den Mut KONKRETE Fragen zu stellen und diese KONKRET zu hinterfragen dürfte kaum jemand de Generation haben:
    ist es sinnvoll wenn kommerzielle Anbieter, die praktisch vom Betrieb Signale von Menschen wahrnehmen können,diese auch zur Suizid-Prävention verwenden?
    soll ein Kneipenwirt (u.U.ähnliche Konstellation) etwas unternehmen?
    ein kommerzieller Arbeitgeber?
    die Spielhalle?
    selbst ein kommerzieller Busbetrieb kann u.U. ‚Signale‘ mitbekommen. Ob diese nun besser/genauer sind als andere wird vermutlich keiner voraussagen können, aber die Missgunst/Angst ein kommerzieller Anbieter könnte Suizide verhindern ist schon arg heftig.

    Die Fertig-Info-Generation, die das Erbschaftsurteil nur als Fertigprodukt konsumieren kann und sich nicht eigenständig informieren kann WAS bei einem Erbfall vererbt wird (ein einfacher Satz: „vererbt wird ein Vermögen“, keine persönlichen Eheansprüche, keine persönlichen Arztgespräche …. keine Tagebucheinträge, aber – sofern das Buch selbst Eigentum des Erblassers war und nicht einem Dritten gehört – das Tagebuch selbst)
    Die Gier gegen ein Grundrecht („Das Briefgeheimnis sowie das Post- und Fernmeldegeheimnis sind unverletzlich.“) zugunsten einer Erbengemeinschaft anzukämpfen treibt teilweise seltsame Blüten wenn sich Facebook „aber“ verweigert das Grundgesetz zu brechen.

Dieser Artikel ist älter als ein Jahr, daher sind die Ergänzungen geschlossen.