Anatomie der Postgres-Suchmaschine: Verlage bauen für die Zeit nach der Suche um
PlanetScale hat am 27. September eine technische Anatomie der Volltextsuche in Postgres veröffentlicht. Am selben Wochenende beschrieb Digiday, wie Verlage für eine Zeit nach der Suche umbauen, während die Empfehlungen aus der Suche weiter zurückgehen.

Der Beitrag erschien am 27. September um 01:39 UTC. Der Engineering-Blog von PlanetScale veröffentlichte "Anatomy of a (Postgres) Search Engine" und erklärte darin, wie invertierte Indizes, Termwörterbücher und Postings-Listen die zeilenweisen Scans ersetzen, die Abfragen wie LIKE '%postgres%' teuer machen. Der Zeitpunkt ist für das Mediengeschäft kein Zufall, auch wenn der Beitrag das Verlagswesen mit keinem Wort erwähnt.
Suchtraffic ist das, was Verlage zu ersetzen oder neu aufzubauen versuchen. Die Infrastrukturdebatte ist eine Ebene tiefer gerückt. Der Text von PlanetScale erinnert daran, dass die Maschinerie hinter der Suche keine Magie ist. Ein B-Tree-Index sortiert die Werte einer Spalte in einer totalen Ordnung und findet einen exakten Wert, einen Bereich oder ein Präfix. Inhalte in der Mitte einer Zeichenkette findet er nicht. Diese Aufgabe übernimmt ein invertierter Index, der jedes einzelne Wort eines Textfelds den Dokumenten zuordnet, die es enthalten.
Der Beitrag ist detailliert genug, um für Ingenieure nützlich zu sein, und konkret genug, um überprüfbar zu sein. PlanetScale beschreibt ein Termwörterbuch, das jeden Begriff über alle Dokumente hinweg den Postings-Listen zuordnet. Das Wörterbuch liegt auf der Festplatte als B-Tree oder als eine andere lexikografisch sortierte Struktur. Wildcard- und Fuzzy-Abfragen durchsuchen dieses Wörterbuch teilweise oder ganz: g* schlägt sowohl gonna als auch give nach, während u~2 jeden Begriff innerhalb von zwei Zeichenänderungen nachschlägt, im Beispiel des Beitrags also you und up.
Warum die Leitungen für Verlage zählen
Postings-Listen sind fast immer sortiert und komprimiert. PlanetScale rechnet ein Beispiel vor: Ein Index mit 300.000 Dokumenten, von denen 100.000 das Wort "who" enthalten, bräuchte 19 Bit pro Posting, wenn jede ID wörtlich gespeichert würde. Der durchschnittliche Abstand zwischen aufeinanderfolgenden sortierten IDs beträgt jedoch drei, was in zwei Bit passt. Dichte Listen lassen sich stattdessen als Bitmaps speichern, ein Bit pro Dokument. Vereinigung und Schnittmenge sortierter Listen laufen in einem einzigen O(n)-Durchgang. Bitmap-Operationen können Vektorbefehle nutzen und 128, 256 oder sogar 512 Bit auf einmal verodern oder verunden.
Das ist dieselbe Art von Problem, mit der Verlage jetzt auf der Konsumseite konfrontiert sind. Am 28. September veröffentlichte Digiday eine Zusammenfassung seines Publishing Summit, die beschreibt, wie Verlage für die Zeit nach der Suche umbauen. Am selben Morgen brachte cxotoday.com einen Beitrag, der argumentiert, unabhängige Medien würden von Google und anderen KI-Giganten ausgebremst. Keines der beiden Medien wird im PlanetScale-Beitrag genannt, und der technische Blog behandelt Empfehlungstraffic überhaupt nicht. Der Zusammenhang ist strukturell: Die Suche wird auf beiden Seiten der Abfrage neu gebaut.
Die Zahlen, die in der Medienfachpresse kursieren, sind nicht sanft. Zu den jüngsten Schlagzeilen im Dossier gehört ein Rückgang der Google-Search-Empfehlungen für Verlage um 40 Prozent im Jahresvergleich, datiert auf den 24. September. Ein separater Bericht verzeichnet rückläufigen Suchmaschinen-Traffic im gesamten Web, wobei einige kleine Websites einen Rückgang von 60 Prozent sehen. Diese Werte stammen aus einer Zusammenstellung von Schlagzeilen und nicht aus den Primärquellen. Sie sind also als Richtung zu verstehen. Die Richtung ist eindeutig.
Auch die Open-Source-Alternativen bewegen sich
Luxir, eine am 22. September veröffentlichte Open-Source-Hybridsuchmaschine, wirbt mit derselben Ökonomie. Die Website verspricht Volltext-, Vektor- und Facettensuche mit Analysen aus einer Engine. Dazu kommen ein Work-Stealing-Scheduler, der Indizierung, Zusammenführung und Abfrageausführung über alle Kerne verteilt, asynchroner Netzwerk-IO und SIMD-Pfade für Postings-Dekodierung, Scoring und Vektorabstand. Facettenzählungen sind laut Projekt standardmäßig exakt. Top-k-Anfragen schneiden mit Block-Max-Grenzen ab, wenn der Aufrufer keine vollständige Gesamtsumme verlangt.
Die Luxir-Seite ist eine Produktseite, kein Benchmark-Papier, und ihre Leistungsangaben sind selbst berichtet. Dasselbe gilt für den PlanetScale-Beitrag, der von einem Unternehmen veröffentlicht wird, das eine Postgres-kompatible Datenbank verkauft. Beide sind nützlich als Beschreibungen der Architektur und als Absichtserklärungen. Keine der beiden sollte als unabhängige Messung gelesen werden.
An anderer Stelle im Dossier bietet ein arXiv-Papier vom 22. September von Jochen Madler bei Sitefire, "SlopShape: Identifying AI-Generated Commercial Web Content", einen strukturellen Detektor für KI-geschriebene Werbetexte. Das Papier berichtet von 2.250 menschlichen Blogbeiträgen vor ChatGPT aus 268 Unternehmensdomains gegenüber 11.250 KI-Spiegeln von fünf Frontier-Modellen. Erkannt wurden sie mit 98,0 Macro-F1 bei zurückgehaltenen Unternehmen allein anhand von 187 strukturellen Merkmalen. Die Zuordnung zum richtigen Quellmodell lag bei 79,3 Prozent gegenüber einer Zufallsrate von 16,7 Prozent. Das Kappa zwischen menschlichen Bewertern lag bei 0,928, das zwischen Mensch und Modell bei 0,946. Das Papier ist eine v2, überarbeitet am 17. September.
Das ist aus demselben Grund wichtig wie die Suchinfrastruktur. Wenn ein großer Teil der kommerziellen Webinhalte maschinell erzeugt ist, in einer ordentlichen, sich selbst verratenden Form, dann verändert sich der Korpus, den Suchmaschinen indexieren, zur gleichen Zeit wie die Maschinen selbst. Verlage, die für eine Zeit nach der Suche umbauen, konkurrieren nicht nur um einen Platz auf einer Ergebnisseite. Sie konkurrieren um einen Platz in einem Korpus, der zunehmend zurückschreibt.
Zwei kleinere Einträge im Dossier weisen in dieselbe Richtung. ParkourNote, ein von einem Einzelentwickler gebauter Recherche-Arbeitsbereich, am 28. September veröffentlicht, importiert Aufsätze, Bücher, Webseiten und Videos, transkribiert und übersetzt sie und stellt die Bibliothek Claude, ChatGPT oder Codex über einen MCP-Server bereit. GPU-font, ebenfalls am 28. September veröffentlicht, betreibt ein kleines neuronales Netz via WebGPU im Browser, um Schriften aus einem Bild zuzuordnen. Beides sind Einzelprojekte, keine Plattformverschiebungen. Beide sind aber Beispiele für dasselbe Muster: mehr Fähigkeit, weniger Server, weniger Mittelsmänner.
Für Verlage bleibt die praktische Frage dieselbe. Die Empfehlungen aus der Suche gehen zurück, die technischen Kosten für den Bau eines Suchprodukts sinken mit ihnen, und die Menge synthetischer Inhalte, die um dieselben Indexplätze konkurriert, steigt. Der Beitrag von PlanetScale erklärt, wie der Index ein Wort findet. Er erklärt nicht, wer gefunden wird.
Quellen
5- 01Anatomy of a (Postgres) Search EngineEN
- 02Luxir: Open-source hybrid search engineEN
- 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
- 04Show HN: ParkourNoteEN
- 05Show HN: GPU-fontEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.