Wie Online-Desinformationsnetze funktionieren: Vier Fälle, ein Muster

Das Video zeigte einen jungen Jungen in einem schwarzen T-Shirt, der scheinbar in einer Blutlache lag. Über ihm eine Kamera und ein Mann, der Anweisungen rief. Um ihn herum Männer mit Kippa und Männer in grünen Uniformen, die an die der israelischen Armee erinnerten. Geteilt auf X von einem verifizierten Nutzer mit der Bildunterschrift „Video, das zeigt, wie Israel versucht, falsche Aufnahmen von Todesfällen zu erstellen“, erreichte es laut Guardian etwa 2m Aufrufe. Der Clip war ein Hinter-den-Kulissen-Schuss aus dem palästinensischen Kurzfilm Empty Place. Er schien ursprünglich auf TikTok aufgetaucht zu sein, bevor er auf X migrierte. Der Nutzer hinter dem Beitrag räumte später ein, dass der Clip möglicherweise aus dem Zusammenhang gerissen wurde.

Dieser einzelne Fall, im Oktober 2023 vom Guardian berichtet, ist ein nützliches Exemplar, da jede Phase dokumentiert ist.

Desinformationsnetze sind nicht nur ein Ding. Sie sind eine Reihe wiederholbarer Mechanismen: Rohmaterial finden, das umkontextualisiert werden kann, es durch Konten mit Reichweite drücken, die Verteilung dem Ranking der Plattform überlassen und darauf vertrauen, dass Korrekturen spät kommen und sich schlecht verbreiten. Das Dossier hinter dieser Analyse umfasst vier verschiedene Operationen in vier Ländern, die mit vier unterschiedlichen Motiven laufen. Die Mechanismen überlappen sich mehr als die Politik.

Wiederverwendetes Material, neu beschriftet

Ein weiteres Video, das ebenfalls auf TikTok begann und dort nun nicht mehr verfügbar ist, behauptete, hochrangige israelische Generale zu zeigen, die von Hamas gefangen genommen wurden. Es sammelte 2m Aufrufe auf X. Ursprünglich wurde es von dem offiziellen YouTube-Kanal des aserbaidschanischen Staatssicherheitsdienstes veröffentlicht und zeigte festgenommene ehemalige Führer der abtrünnigen Regierung von Berg-Karabach. Ein manipuliertes Dokument, das suggerierte, Joe Biden habe 8bn an Unterstützung an Israel geleistet, wurde auf X 400.000 Mal aufgerufen. Es war eine bearbeitete Version von Bidens Juli-Memo zur Ankündigung von 400m Unterstützung für die Ukraine. Ein solches Dokument gibt es auf der Website des Weißen Hauses oder in sozialen Medien nicht. Das Weiße Haus bestätigte NBC, dass das Dokument gefälscht war.

Keines davon erforderte technische Raffinesse. Es erforderte ein Publikum, das darauf vorbereitet war, die Behauptung zu glauben, und eine Plattform, die sie weitergeben würde.

Russland ist ein langjähriger Übeltäter bei der Verbreitung von Desinformation auf X und scheint den Konflikt ausgenutzt zu haben. Am Montag twitterte der ehemalige russische Präsident Dmitri Medwedew, stellvertretender Vorsitzender des russischen Sicherheitsrates: „Nato-Freunde, ihr habt es wirklich geschafft, oder? Die Waffen, die dem Nazi-Regime in der Ukraine übergeben wurden, werden nun aktiv gegen Israel eingesetzt.“ Ein Video, das scheinbar Hamas beim Dank an die Ukraine für Waffendeals zeigte, wurde von einem X-Konto gepostet, das mit der Söldnergruppe Wagner verbunden ist, mehr als 300.000 Mal aufgerufen und von rechtsextremen US-Konten verstärkt. Im Februar berichtete der Inspektorgeneral des Pentagons, es gäbe bis dato keine Hinweise darauf, dass Waffen und Hilfe an die Ukraine an Drittparteien weitergeleitet wurden. Die ukrainische Geheimpolizei beschuldigte Russland diese Woche, westliche „Trophäen“-Waffen von ukrainischen Schlachtfeldern an Hamas zu liefern, um die Unterstützung für Kiew zu untergraben. Eliot Higgins von Bellingcat wies auf ein gefälschtes BBC-Video hin, das eine Bellingcat-Ermittlung zum Schmuggel ukrainischer Waffen an Hamas zeigte, das von russischen Social-Media-Nutzern gepusht wurde, wobei er sagte, es sei unklar, ob dies eine staatliche Kampagne oder eine Graswurzel-Bemühung war.

Wenn die Lüge den Bildschirm verlässt

Im Juli 2024 wurden drei junge Mädchen bei einem Messerangriff in Southport im Vereinigten Königreich getötet. Innerhalb weniger Stunden gewann falsche Information über den Namen, die Religion und den Migrationsstatus des Angreifers erhebliche Aufmerksamkeit, was zu tagelangen gewalttätigen Unruhen im ganzen Land führte. Hannah Rose, Analystin für Hass und Extremismus beim Institute for Strategic Dialogue, sagte gegenüber CNBC, dass ein Beitrag auf X den Täter fälschlicherweise als „Ali al-Shakati“ benannte, angeblich ein Migrant muslimischen Glaubens, und dass der falsche Name bis 15 Uhr am nächsten Tag allein auf X über 30.000 Erwähnungen hatte.

Laut der Analyse von ISD hielten andere falsche Behauptungen, der Angreifer stehe auf einer Überwachungsliste der Geheimdienste, sei 2023 in einem kleinen Boot in das Vereinigte Königreich gekommen und sei lokalen psychischen Diensten bekannt. Die Polizei widerlegte die Behauptungen am Tag nach ihrem Auftauchen und sagte, der Verdächtige sei in Großbritannien geboren. Bis dahin hatte die Erzählung Schwung.

Joe Ondrak, Forschungs- und Technikleiter für das Vereinigte Königreich bei Logically, sagte gegenüber CNBC, die falschen Berichte dienten als „eine Art, bestehende Vorurteile, Voreingenommenheit und Spekulationen zu rationalisieren und zu verstärken, bevor irgendeine Art von etablierter Wahrheit herauskommen konnte“. Er beschrieb das Material als „Katzenminze“ für anti-migrationspolitische Gruppen: „Es ist wirklich genau das Richtige, um eine viel wütendere Reaktion hervorzurufen, als sie wahrscheinlich gewesen wäre, wenn die Desinformation nicht zirkuliert wäre.“

Die Verteilung ist genauso wichtig wie die Behauptung. Rose sagte, Konten mit Hunderttausenden von Followern und die bezahlten blauen Häkchen auf X hätten die falschen Informationen geteilt, die dann von den Plattformalgorithmen an andere Nutzer gepusht wurden. Wenn Nutzer „Southport“ auf TikTok suchten, wurde der falsche Name des Angreifers von der Plattform selbst im Abschnitt „Anderes Gesuchtes“ gefördert, einschließlich acht Stunden, nachdem die Polizei die Information als falsch bestätigt hatte. ISD stellte ein ähnliches algorithmisches Verhalten auf X fest, wo der falsche Name Trending war. Die Behauptungen erreichten auch Telegram, das laut Ondrak Narrativen konsolidiert und mehr Menschen mit „härteren Überzeugungen“ konfrontiert. Telegram leugnete, bei der Verbreitung von Fehlinformationen geholfen zu haben, und sagte, Moderatoren überwachten die Situation und entfernten Kanäle und Beiträge, die zu Gewalt aufriefen, was seinen Nutzungsbedingungen nicht entspricht. Einige Konten, die zur Teilnahme an Protesten aufriefen, ließen sich laut Logically auf die extreme Rechte zurückführen, einschließlich einiger, die mit der 2016 unter dem Terrorismusgesetz des Vereinigten Königreichs als terroristische Organisation eingestuften Gruppe National Action verbunden waren.

Die größte bekannte Operation

Die Skala ändert das Bild. Eine CNN-Prüfung von Gerichtsakten und öffentlichen Offenlegungen durch soziale Medienunternehmen ergab, dass die chinesische Regierung die weltweit größte bekannte Online-Desinformationsoperation aufgebaut hat und sie verwendet, um US-Bürger, Politiker und Unternehmen zu belästigen, wobei sie Ziele mit Gewalt bedroht. Das Netzwerk, bekannt als „Spamouflage“ oder „Dragonbridge“, betreibt Hunderttausende von Konten auf jeder großen Social-Media-Plattform. Das US-Außenministerium beschreibt die Taktiken als Teil eines breiteren, mehrstelligen Milliarden-Dollar-Vorhabens, die globale Informationsumgebung zu formen und Kritiker Peking zum Schweigen zu bringen, ein Vorhaben, das laut dem Ministerium unter Präsident Xi Jinping erweitert wurde.

Opfer beschrieben eine Lawine von zehntausenden von Posts, die sie als Verräter, Hunde und rassistische und homophobe Beleidigungen bezeichneten. Einige sprachen mit Strafverfolgungsbehörden, einschließlich des FBI, aber es wurde wenig unternommen, berichtete CNN. Plattformen haben Tausende von Konten abgeschaltet, die diese Opfer ins Visier nahmen, aber werden von neuen, täglich erscheinenden Konten überholt. Meta sagte im August, es habe im zweiten Quartal 2023 allein ein Cluster von fast 8.000 Konten entfernt, die der Gruppe zugeschrieben wurden. Google sagte CNN, es habe in den letzten Jahren mehr als 100.000 verbundene Konten abgeschaltet. X hat laut Unternehmensblogs Hunderttausende von „staatlich unterstützten“ oder „staatlich verbundenen“ chinesischen Konten blockiert.

Private Forscher haben das Netzwerk seit seiner Entdeckung vor mehr als vier Jahren verfolgt. Erst in den letzten Monaten haben Bundesstaatsanwälte und Meta öffentlich geschlossen, dass die Operation Verbindungen zur chinesischen Polizei hat. Abgeordneter Mike Gallagher, Vorsitzender des Sonderausschusses des Repräsentantenhauses zur CCP, sagte gegenüber CNN: „Wir könnten denken, dass dies auf bestimmte Chaträume oder diese oder jene Plattform beschränkt ist, aber es expandiert quer durch die Bank. Und es ist nur eine Frage der Zeit, bevor es diesem durchschnittlichen US-Bürger passiert, der gerade nicht denkt, dass es sein Problem ist.“

Chen Pokong, ein in New York ansässiger Aktivist, sah Trolle, die im Januar 2021 ein Anti-Kommunismus-Zoom-Event, das er organisiert hatte, stört. Sie verspotteten Teilnehmer und drohten, dass ein Opfer „elend sterben“ würde. Seine Verdächtigungen darüber, wer dahintersteckte, festigten sich, als das Justizministerium Anfang dieses Jahres mehr als 30 chinesische Beamte wegen einer weitreichenden Desinformationsoperation anklagte, die Dissidenten in den USA, einschließlich Personen in diesem Zoom-Meeting, ins Visier nahm.

Was die Publikumssagen

Öffentliche Sorge ist nicht marginal. Eine von Unesco in Auftrag gegebene Ipsos-Umfrage unter 8.000 Menschen in 16 Ländern, die nationale Wahlen abhalten werden und insgesamt 2.500.000.000 Wähler haben, ergab, dass 85% sich Sorgen über den Einfluss von Online-Desinformation machen und 87% sagten, sie habe bereits eine große Wirkung auf das nationale politische Leben gehabt. 56% der Internetnutzer bekamen ihre Nachrichten hauptsächlich aus sozialen Medien, mehr als vom Fernsehen (44%) oder Medienwebsites (29%). Das Vertrauen in soziale Medien lag bei 50%, gegenüber 66% für Fernsehen, 63% für Radio und 57% für Medienwebsites und Apps. In allen 16 Ländern sagten 68%, soziale Medien seien der Ort, an dem Fake News am weitesten verbreitet seien, vor Messaging-Apps mit 38%.

Audrey Azoulay, Generaldirektorin von Unesco, sagte Reportern, dass Falschinformation und Hassrede online, beschleunigt und verstärkt durch Plattformen, „erhebliche Risiken für den sozialen Zusammenhalt, Frieden und Stabilität“ darstellten. Regulierung sei dringend nötig, sagte sie, „um den Zugang zu Informationen zu schützen ... und gleichzeitig die Meinungsfreiheit und die Menschenrechte zu schützen“. Der Bauplan von Unesco basiert auf sieben Prinzipien, abgeleitet aus dem, was es als beispiellose Konsultation mit mehr als 10.000 Beiträgen aus 134 Ländern über 18 Monate bezeichnet. Guilherme Canela de Souza Godoi, Unescos Sektionschef für Meinungsfreiheit, sagte, mehr als 50 Länder regulierten bereits soziale Medien, oft nicht im Einklang mit internationalen Normen für Pressefreiheit und Menschenrechte. Unesco plant eine Weltkonferenz der Regulierer in 2024.

Regulierung hat ihre eigene Argumentation. Senator Sheldon Whitehouse hat die Aufhebung des Abschnitts 230 des Communications Decency Act und dessen Ersetzung durch eine engere Version gefordert, die die „Offenlegung von Desinformationsspendern“ erzwingen würde, laut Reclaim The Net. Whitehouse argumentiert, dass Haftungsrisiken Unternehmen dazu zwingen könnten, gegen Fehlinformationen vorzugehen, selbst auf Kosten der Interaktion. Kritiker erwidern, dass die meisten Desinformation am Ende geschützter Rede enden würde.

Keine dieser Debatten ändert die operative Arithmetik. Die Berichterstattung des Guardian auf X stellt fest, dass Musk den Trust and Safety Council der Plattform nach seiner Übernahme 2022 aufgelöst hat; das Unternehmen sagte, es plane, das Team umzuorganisieren, aber die Pläne bleiben unklar. X führte Community Notes ein, ein crowdsourced Moderationsprogramm, das viel der Last auf Nutzer statt auf angestellte Moderatoren verlagert. Die Union of Concerned Scientists zitierte das Center for Countering Digital Hate und berichtete, dass X „nach einer Woche seit unserer Meldung weiterhin fast 86% einer Reihe von 300 hassvollen Posts hostet“. Die Forscherin Abbie Richards stellte fest, dass Tweets zur Klimaleugnung von einem Durchschnitt von 30.000 pro Woche zwischen Dezember 2021 und Juli 2022 auf fast 110.000 pro Woche nach Juli 2022 stiegen.

Das Muster in allen vier Fällen ist dasselbe. Eine Behauptung wird hergestellt oder recycelt, durch Konten mit Reichweite gesät, von Systemen nach oben gerankt, die auf Interaktion abgestimmt sind, und nach dem Schaden korrigiert. Die Korrektur, wie der Southport-Fall zeigte, kann innerhalb eines Tages eintreffen. Der Aufstand fand trotzdem statt.