Wie Online-Desinformationsnetzwerke arbeiten: von den Southport-Krawallen bis zu Black-PR-Agenturen

Am 29. Juli 2024 wurden bei einem Tanzkurs in Southport im Nordwesten Englands drei Kinder getötet. Innerhalb von Stunden kursierten in den sozialen Medien falsche Behauptungen über Name, Religion und Migrationsstatus des Angreifers. Bis 15 Uhr des folgenden Tages kam ein falscher Name allein auf X auf mehr als 30.000 Erwähnungen. Das sagte Hannah Rose vom Institute for Strategic Dialogue gegenüber CNBC.

So funktioniert ein modernes Desinformationsnetzwerk: ein reales Ereignis, eine schnelle und falsche Erzählung, algorithmische Verstärkung und Folgen außerhalb des Netzes. Die Polizei widerlegte die Behauptungen am Tag nach ihrem Auftauchen und erklärte, der Verdächtige sei in Großbritannien geboren. Zu diesem Zeitpunkt hatte die Erzählung bereits Zugkraft gewonnen.

Was ein Desinformationsnetzwerk tatsächlich ist

Der Begriff deckt viel ab. Am einen Ende stehen lose verbundene Konten, die sich auf eine Eilmeldung stürzen. Am anderen stehen kommerzielle Operationen, die Manipulation als Dienstleistung verkaufen, oft Black PR genannt.

BuzzFeed News wertete Plattform-Sperrungen und Untersuchungen von Sicherheitsfirmen aus. Das Ergebnis: Seit 2011 wurden mindestens 27 Online-Informationsoperationen teilweise oder vollständig PR- oder Marketingfirmen zugeschrieben. Neunzehn davon fanden allein 2019 statt. Die Auswertung entstand in Partnerschaft mit dem Reporter, einem investigativen Nachrichtenportal in Taiwan.

Nathaniel Gleicher, Facebooks Leiter für Cybersicherheitspolitik, sagte gegenüber BuzzFeed News, die "Professionalisierung der Täuschung" sei eine wachsende Bedrohung. "Der weitere Begriff der Täuschung und der Einflussoperationen existiert seit einiger Zeit, aber in den vergangenen Jahren haben wir gesehen, dass Unternehmen entstehen, die ihr Geschäftsmodell im Grunde auf Täuschung aufbauen", sagte er.

Ein Beispiel: die Archimedes Group, eine israelische Firma, die Netzwerke aus Hunderten von Facebook-Seiten, Konten und Gruppen aufbaute. Ihre Website versprach, "jedes Werkzeug zu nutzen und jeden Vorteil zu ergreifen, um die Realität nach den Wünschen unserer Kunden zu verändern". In Mali betrieb sie eine gefälschte Faktencheck-Seite, die angeblich von lokalen Studenten geführt wurde. In Tunesien betrieb sie eine Seite mit dem Titel "Stop a la Desinformation et aux Mensonges". In Nigeria betrieb sie Seiten sowohl für als auch gegen denselben Politiker, den ehemaligen Vizepräsidenten Atiku Abubakar.

Die Pipeline: sammeln, umschreiben, veröffentlichen, verstärken

Peng Kuan Chin, 32 Jahre alt und in Taichung in Taiwan ansässig, zeigte dem Reporter, wie sein System arbeitete. Server durchsuchten das Netz nach chinesischen Artikeln und Beiträgen, ordneten Wörter und Sätze zu neuem Text um und veröffentlichten das Ergebnis auf einer Reihe von Websites, die er kontrollierte. Tausende gefälschte Social-Media-Konten trugen es in Feeds, Messaging-Apps und Suchergebnisse.

"Ich habe das entwickelt, um die öffentliche Meinung zu manipulieren", sagte Peng dem Reporter. Automatisierung und künstliche Intelligenz "können schnell Verkehr und Aufmerksamkeit erzeugen, viel schneller als Menschen".

Seine Kunden waren Unternehmen, Marken, politische Parteien und Kandidaten in Asien. "Kunden haben Geld, und es ist mir egal, was sie kaufen", sagte er.

Nicht jede Operation setzt auf eigene Software. In der Ukraine beschäftigte die PR-Firma Pragmatico Dutzende junger, digital versierter Menschen. Sie veröffentlichten auf gefälschten Facebook-Konten positive Kommentare über Kunden. In Polen betrieb Cat@Net Netzwerke gefälschter Twitter-Konten. Diese wurden von zu Hause arbeitenden Menschen mit Behinderungen bedient. Die Agentur stellte sie ein, weil sie ihnen Löhne unter dem Marktniveau zahlen konnte, während sie staatliche Zuschüsse erhielten. Recherchen von Investigate Europe ergaben zudem, dass Cat@Net Arbeiten für Art-Media ausführte, eine der bekanntesten PR-Agenturen Polens. Art-Media bestritt die Zusammenarbeit mit Cat@Net.

Cindy Otis, ehemalige CIA-Offizierin und Autorin von True or False: A CIA Analyst's Guide to Spotting Fake News, sagte gegenüber BuzzFeed News, Informationsoperationen von Nationalstaaten wie Russland und Iran lieferten "ein Drehbuch für Einzelpersonen und Gruppen, die finanziell motiviert sind", in diesen Bereich einzusteigen.

Wie sich die Southport-Erzählung verbreitete

Der Fall Southport brauchte keinen bezahlten Auftragnehmer. Er brauchte eine Plattform, ein Publikum und eine Geschichte, die zu dem passte, was Teile dieses Publikums ohnehin glaubten.

Joe Ondrak, Leiter Forschung und Technik für Großbritannien bei Logically, sagte gegenüber CNBC, die falschen Behauptungen seien "Katzenminze" für einwanderungsfeindliche Gruppen gewesen. "Es ist wirklich genau das Richtige, um eine viel wütendere Reaktion hervorzurufen, als es sie wahrscheinlich gegeben hätte, wäre die Desinformation nicht verbreitet worden", sagte er.

Ondrak fügte hinzu, die Berichte hätten als "Mittel gedient, um bereits bestehende Vorurteile, Voreingenommenheit und Spekulation zu rationalisieren und zu verstärken, bevor irgendeine Art gesicherter Wahrheit an die Öffentlichkeit gelangen konnte".

Die Verstärkung erledigte einen Großteil der Arbeit. Rose sagte, Konten mit Hunderttausenden Followern und bezahlten blauen Haken hätten die falschen Informationen geteilt, die Plattformalgorithmen dann anderen Nutzern zuspielten. "Wenn man zum Beispiel auf TikTok nach 'Southport' suchte, wurde im Bereich 'Others Searched For', der ähnliche Inhalte empfiehlt, der falsche Name des Angreifers von der Plattform selbst beworben, auch noch 8 Stunden, nachdem die Polizei bestätigt hatte, dass diese Information falsch war", sagte sie.

Die Analyse des ISD ergab, dass Algorithmen auf X ähnlich arbeiteten, wo der falsche Name als Trendthema erschien. Falsche Behauptungen erreichten auch Telegram, das laut Ondrak Erzählungen bündelt und mehr Menschen "härteren Überzeugungen" aussetzt. Telegram teilte CNBC mit, nicht zur Verbreitung von Falschinformationen beizutragen. Moderatoren beobachteten die Lage und entfernten Kanäle und Beiträge, die zu Gewalt aufriefen.

Die Zahlen wurden groß. Ein Bericht des Wissenschafts-, Innovations- und Technologieausschusses des Unterhauses von Juli 2025 stellte fest, dass falsche oder unbegründete Behauptungen über den Angreifer von Southport zwischen dem 29. Juli und dem 9. August 2024 155.000.000 Impressionen auf X erreichten. In den sozialen Medien insgesamt wurde der falsche Name 420.000 Mal gesehen, bei einer möglichen Reichweite von 1.700.000.000 Menschen, hieß es in dem Bericht. Er wurde direkt durch algorithmische Werkzeuge beworben und erschien in X' Funktion "Trending in the UK" und TikToks "Others searched for".

Wenn das Netzwerk den Bildschirm verlässt

Rechtsextreme Gruppen organisierten einwanderungs- und islamfeindliche Proteste, darunter eine Kundgebung bei der geplanten Mahnwache für die getöteten Mädchen. Die Unruhen eskalierten zu tagelangen Krawallen. Moscheen, Einwanderungszentren und Hotels, in denen Asylsuchende untergebracht waren, wurden angegriffen.

Zumindest ein Teil der Konten, die zur Teilnahme an den Protesten aufriefen, ließ sich laut einer Analyse von Logically bis zur extremen Rechten zurückverfolgen, darunter einige mit Verbindungen zu National Action, einer verbotenen rechtsextremen Gruppe, die 2016 nach dem britischen Terrorism Act als terroristische Organisation eingestuft wurde. Ondrak merkte zudem an, dass viele Gruppen, die zuvor falsche Informationen über den Angriff verbreitet hatten, begonnen hätten, diese zurückzunehmen und von einer Falschmeldung zu sprechen.

X-Eigentümer Elon Musk mischte sich während der Krawalle ein und machte kontroverse Äußerungen über die gewalttätigen Demonstrationen. Der britische Justizminister forderte ihn auf, "sich verantwortungsvoll zu verhalten". TikTok und X reagierten nicht sofort auf die Bitte von CNBC um eine Stellungnahme.

Am Mittwoch nach dem schlimmsten Teil der Gewalt versammelten sich Tausende Gegner von Rassismus in Städten und Gemeinden in ganz Großbritannien und übertrafen die jüngsten einwanderungsfeindlichen Proteste bei weitem.

Das Problem mit dem Regelwerk

Großbritannien hat einen Online Safety Act, doch seine Fähigkeit, diese Art von Inhalten zu erfassen, ist umstritten. Das Gesetz erhielt im Oktober 2023 die königliche Zustimmung. Teile, die von sozialen Medien verlangen, Nutzer vor illegalen Inhalten zu schützen, traten am 17. März 2025 in Kraft.

Bei einer Anhörung des Wissenschafts-, Innovations- und Technologieausschusses am 29. April sagte Baroness Jones of Whitchurch, Ministerin im DSIT sowie im Ministerium für Wirtschaft und Handel, Fehl- und Desinformation seien vom Gesetz erfasst. Mark Bunting, Direktor für die Umsetzung der Online-Sicherheitsstrategie bei Ofcom, sagte, die vorherige Regierung habe rechtmäßiges Material, das für Erwachsene schädlich sein könnte, aus dem Anwendungsbereich des Gesetzes entfernt, darunter Formen von Fehlinformationen. Er fügte hinzu, es gebe "einen kleinen Vorbehalt": Das Gesetz führte einen Straftatbestand der falschen Kommunikation mit Schädigungsabsicht ein, wenn Unternehmen vernünftige Gründe haben, auf eine Absicht zu schließen.

Ausschussvorsitzende Chi Onwurah wies darauf hin, dass Absicht sehr schwer zu beweisen ist. Sie sagte, es gebe keine Pflichten für Ofcom, gegen Fehlinformationen vorzugehen, selbst wenn Codes sie behandeln. "Das scheint ein zentrales Problem zu sein", sagte sie.

Talitha Rowland, Direktorin für Sicherheit und Online-Schaden im DSIT, sagte dem Ausschuss, "Fehl- und Desinformation ist nicht eine Sache". Sie könne illegal sein, ausländische Einflussnahme, Inhalte, die zu Hass oder Gewalt anstacheln, oder Inhalte unterhalb der Illegalitätsschwelle, die für Kinder dennoch schädlich sind.

Bis Juli war der Bericht des Ausschusses deutlicher. Er stellte fest, das Gesetz gehe die algorithmische Verstärkung von "legalem, aber schädlichem Inhalt" nicht an und lasse die Öffentlichkeit anfällig für eine Wiederholung des vergangenen Sommers. "Es ist klar, dass der Online Safety Act einfach nicht ausreicht", sagte Onwurah. Der Ausschuss drängte die Regierung, fünf Prinzipien für die künftige Regulierung anzunehmen, vom Schutz der freien Meinungsäußerung bis zur Verantwortung der Plattformen für Inhalte, die sie online stellen.

Noch eine Feinheit: Die Werkzeuge zur Verbreitung dieses Materials verändern sich. Grokipedia, im Oktober 2025 von Musk gestartet, nutzt KI, um Inhalte mit wenig menschlicher Aufsicht zu sammeln und umzuwandeln, schrieb Andrew Orlowski in UnHerd. Erste Berichte zur Version 0.1 vermerkten KI-generierte Falschheiten und abwertende Passagen, die "im Namen der Genauigkeit" eingefügt wurden. Orlowski argumentiert, große Sprachmodelle "sind statistische Wortvervollständigungsmaschinen, die halluzinieren, und diese Halluzinationen sind endemisch".