Anatomie der Postgres-Suche: Verleger bauen für die Zeit nach der Suche um

Der Beitrag erschien am 27. September um 01:39 UTC. Auf dem Engineering-Blog von PlanetScale ging "Anatomy of a (Postgres) Search Engine" online. Der Text erklärt, wie invertierte Indizes, Wortverzeichnisse und Postings-Listen die zeilenweisen Scans ersetzen, die Anfragen wie LIKE '%postgres%' teuer machen. Der Zeitpunkt ist für das Medienbusiness nicht zufällig, auch wenn der Beitrag das Verlagswesen nie erwähnt.

Such-Traffic ist das, was Verleger ersetzen oder neu aufbauen wollen. Die Infrastrukturdebatte ist dabei eine Ebene tiefer gerückt. Der Text von PlanetScale erinnert daran, dass die Technik hinter der Suche keine Magie ist. Ein B-Tree-Index sortiert die Werte einer Spalte in einer Totalordnung und findet exakte Werte, Bereiche oder Präfixe. Inhalte in der Mitte eines Strings kann er nicht matchen. Diese Aufgabe übernimmt ein invertierter Index. Er ordnet jedes einzelne Wort in einem Textfeld den Dokumenten zu, die es enthalten.

Der Beitrag ist detailliert genug für Ingenieure und spezifisch genug, um überprüfbar zu sein. PlanetScale beschreibt ein Wortverzeichnis, das jeden Begriff über alle Dokumente hinweg auf Postings-Listen abbildet. Das Verzeichnis liegt auf der Festplatte als B-Tree oder eine andere lexikographisch sortierte Struktur. Wildcard- und Fuzzy-Anfragen scannen einen Teil oder das gesamte Verzeichnis. g* schlägt sowohl gonna als auch give nach. u~2 sucht jeden Begriff innerhalb von zwei Zeichen-Änderungen. Im Beispiel des Beitrags bedeutet das you und up.

Warum die Technik für Verleger relevant ist

Postings-Listen sind fast immer sortiert und komprimiert. PlanetScale rechnet ein Beispiel durch: Ein Index mit 300.000 Dokumenten, von denen 100.000 das Wort "who" enthalten, bräuchte 19 Bits pro Posting, wenn jede ID wörtlich gespeichert wäre. Der durchschnittliche Abstand zwischen aufeinanderfolgenden sortierten IDs beträgt jedoch drei. Das passt in zwei Bits. Dichte Listen werden stattdessen oft als Bitmaps gespeichert, ein Bit pro Dokument. Vereinigung und Schnittmenge sortierter Listen laufen in einem einzigen O(n)-Durchlauf ab. Bitmap-Operationen nutzen Vektoranweisungen, um 128, 256 oder sogar 512 Bits gleichzeitig zu verknüpfen (OR oder AND).

Das ist dieselbe Klasse von Problemen, vor der Verleger jetzt auf der Konsumentenseite stehen. Am 28. September veröffentlichte Digiday eine Zusammenfassung seines Publishing Summit. Sie beschreibt, wie Verleger für die Post-Search-Ära neu aufbauen. Am selben Morgen erschien ein Text auf cxotoday.com. Er argumentiert, dass unabhängige Medien von Google und anderen AI-Riesen gedrosselt werden. Weder Medium wird im PlanetScale-Beitrag genannt, noch befasst sich der technische Blog mit Referral-Traffic. Die Verbindung ist strukturell: Die Suche wird auf beiden Seiten der Abfrage neu aufgebaut.

Die Zahlen in der medienfachlichen Presse sind nicht sanft. Zu den kürzlich getrackten Schlagzeilen im Dossier gehören ein Rückgang der Google-Such-Referrals für Verleger um 40% im Vorjahresvergleich, datiert auf den 24. September. Ein separater Bericht meldet sinkenden Such-Traffic im gesamten Web, wobei einige kleine Websites einen Rückgang von 60% verzeichnen. Diese Zahlen stammen aus Schlagzeilen-Aggregationen, nicht aus Primärquellen. Sie sind als richtungsweisend zu betrachten. Die Richtung ist konsistent.

Auch die Open-Source-Alternativen sind in Bewegung

Luxir, eine Open-Source-Hybridsuchmaschine, die am 22. September veröffentlicht wurde, wirbt mit derselben Ökonomie. Die Website verspricht Volltext-, Vektor- und Facetten-Suche mit Analytics aus einer einzigen Engine. Ein Work-Stealing-Scheduler teilt Indexierung, Merging und Abfrageausführung über alle Kerne hinweg. Dazu kommen asynchroner Netzwerk-IO und SIMD-Pfade für Postings-Decode, Scoring und Vektorabstand. Facetten-Zahlen sind laut Projekt standardmäßig exakt. Top-k-Anfragen werden mit Block-Max-Grenzwerten beschnitten, wenn der Aufrufer keine exhaustive Summe anfordert.

Die Luxir-Seite ist eine Produktseite, kein Benchmark-Papier. Die Leistungsansprüche sind selbstgemeldet. Das gilt auch für den PlanetScale-Beitrag, der von einem Unternehmen veröffentlicht wurde, das eine Postgres-kompatible Datenbank verkauft. Beide Texte sind nützlich als Architektur-Beschreibung und als Absichtserklärung. Keiner sollte als unabhängige Messung gelesen werden.

Anderswo im Dossier bietet ein arXiv-Papier vom 22. September einen strukturellen Detektor für KI-geschriebenen Marketing-Text. Autor ist Jochen Madler bei Sitefire. Der Titel lautet "SlopShape: Identifying AI-Generated Commercial Web Content". Das Papier berichtet über 2.250 vor-ChatGPT menschliche Blogbeiträge von 268 Firmendomains. Im Vergleich dazu stehen 11.250 KI-Spiegel von fünf Frontier-Modellen. Die Detektion erreicht 98.0 macro-F1 auf gehaltenen Unternehmen, allein aus 187 strukturellen Merkmalen. Die Zuordnung zum richtigen Quellmodell liegt bei 79.3%, gegenüber einer Zufallsrate von 16.7%. Human-human-Kappa betrug 0.928, human-model 0.946. Das Papier ist eine v2, überarbeitet am 17. September.

Das ist aus demselben Grund relevant wie die Suchinfrastruktur. Wenn ein großer Teil des kommerziellen Webinhalts maschinell generiert ist, in einer ordentlichen, sich selbst anzeigenden Form, ändert sich das Korpus, das Suchmaschinen indexieren, zur gleichen Zeit wie die Maschinen. Verleger, die für eine Post-Search-Ära neu aufbauen, konkurrieren nicht nur um Platzierung auf einer Ergebniseite. Sie konkurrieren um Platzierung in einem Korpus, das zunehmend zurück schreibt.

Zwei kleinere Einträge im Dossier weisen in dieselbe Richtung. ParkourNote ist eine von einer Einzelperson gebaute Forschungsarbeitsumgebung, die am 28. September gepostet wurde. Sie importiert Papiere, Bücher, Webseiten und Videos, transkribiert und übersetzt sie. Die Bibliothek wird über einen MCP-Server für Claude, ChatGPT oder Codex bereitgestellt. GPU-font, ebenfalls am 28. September gepostet, führt ein kleines neuronales Netz im Browser über WebGPU aus. Es matcht Schriftarten aus einem Bild. Beide sind individuelle Projekte, keine Plattform-Veränderungen. Sie sind auch beide Beispiele desselben Musters: mehr Fähigkeit, weniger Server, weniger Intermediäre.

Für Verleger bleibt die praktische Frage unverändert. Such-Referrals sinken. Die technischen Kosten für den Bau eines Suchprodukts sinken mit ihnen. Das Volumen synthetischer Inhalte, die um dieselben Index-Slots konkurrieren, steigt. Der Beitrag von PlanetScale erklärt, wie der Index ein Wort findet. Er erklärt nicht, wer gefunden wird.