Suchmaschinen-Traffic und Verlage: Was die neuesten Open-Source-Suchwerkzeuge zeigen
Am 27. September veröffentlichte PlanetScale eine technische Analyse dazu, wie Volltextsuchmaschinen funktionieren. Das erinnert daran, dass die Maschinerie, die entscheidet, welchen Seiten Verlage ihren Traffic verdanken, vom Index her neu gebaut wird. Der Beitrag erschien am selben Tag, an dem zwei kleinere Suchprojekte auf Hacker News noch Aufmerksamkeit bekamen. Eines davon war nur 7,5 Stunden vor diesem Text eingereicht worden.

Am 27. September veröffentlichte PlanetScale eine lange technische Erklärung mit dem Titel „Anatomy of a (Postgres) Search Engine“. Es geht darin nicht um Verlage. Es geht um invertierte Indizes, Termwörterbücher und Postings-Listen, also um die Datenstrukturen, mit denen eine Suchmaschine ein Dokument über die darin enthaltenen Wörter findet, statt jede Zeile zu durchsuchen.
Der Zeitpunkt ist trotzdem wichtig. Während die Empfehlungen aus der Google-Suche für viele Verlage weiter sinken, ist die Frage, wer den Index kontrolliert, zu einer Medienfrage geworden und nicht mehr nur zu einer Frage der Technik. Der PlanetScale-Beitrag erklärt, wie ein Volltextindex jeden Begriff den Dokumenten zuordnet, die ihn enthalten. Das Unternehmen schreibt, ein klassischer B-Tree-Index finde schnell einen Namen, eine Preisspanne oder ein Erstellungsdatum, sei aber „nutzlos, um Inhalte mitten in einer Zeichenkette zu treffen“. Genau dafür ist ein invertierter Index da: Er speichert ein Termwörterbuch und Postings-Listen, oft komprimiert mit Gap-Encoding oder Bitmaps. PlanetScale nutzt den Beitrag, um TIN vorzustellen, seinen Volltextindex für Postgres. Ein tieferer Blick soll in einem eigenen Artikel folgen.
Der Such-Stack öffnet sich
Zwei weitere Projekte im Dossier weisen in dieselbe Richtung. Luxir, eine Open-Source-Suchmaschine für hybride Suche, beschreibt sich auf der eigenen Startseite als gebaut für „the most search per core, per gigabyte, and per dollar“. Sie verbindet Volltext-, Vektor- und Facettensuche in einer Engine, mit einer HTTP/JSON-API auf Port 9400, BM25-Ranking mit Block-Max-Pruning und exakten Facettenzahlen. Luxirs Seite erschien am 22. September, sechs Tage vor diesem Artikel.
PlanetScale und Luxir verkaufen beide Effizienz. Der PlanetScale-Beitrag merkt an, Postings-Listen seien „fast immer sortiert und dann komprimiert“, und dichte Listen ließen sich als Bitmaps speichern, bei denen ein einzelnes Bit markiert, ob ein Dokument einen Begriff enthält. Luxir argumentiert ähnlich: unveränderliche, speichergemappte Segmente, SIMD-Dekodierung, ein Work-Stealing-Scheduler und kein Garbage Collector. „In der Cloud zahlt man Ineffizienz für immer“, heißt es auf Luxirs Startseite. Das ist eine Aussage des Anbieters, kein unabhängiger Benchmark, aber es ist dasselbe Argument.
„Ein B-Tree ist nutzlos, um Inhalte mitten in einer Zeichenkette zu treffen. Dafür gibt es Volltextsuchindizes.“ PlanetScale, 27. September
Der Bezug zu Verlagen ist indirekt, und das sollte man genau sagen. Keine dieser Quellen nennt eine Zahl für Google-Empfehlungen oder für den Traffic eines Verlags. Sie zeigen, dass die Bausteine der Suche, invertierte Indizes, Vektor-Ranking, Facettierung, zunehmend als Open Source oder als Erweiterung für Allzweckdatenbanken verfügbar sind. Für einen Verlag bringt das keinen verlorenen Suchtraffic zurück. Es bedeutet aber, dass die Kosten für eine eigene Sitesuche oder ein Nischen-Suchprodukt weiter fallen.
Ältere Signale, weiter im Hintergrund
Die übrigen neueren Einträge im Dossier liegen weiter vom Medienthema entfernt. Ein Whitepaper von Wiley vom 24. September behandelt den Bau von Umspannwerksausgängen und Luftkabelsystemen, gesponsert von Hendrix by Marmon Utility. Ein am 14. September eingereichtes und am 17. September überarbeitetes arXiv-Paper mit dem Titel „SlopShape“ beschreibt ein Instrument mit 214 Merkmalen, das KI-generierte kommerzielle Webinhalte allein an strukturellen Signaturen erkennt. Es meldet 98,0 Macro-F1 auf zurückgehaltenen Unternehmen gegenüber 11.250 KI-Spiegeln aus fünf Frontier-Modellen. Ein GitHub-Repository vom 22. September veröffentlicht optimierte Laufzeiten für drei Vision-Language-Action-Modelle auf NVIDIA Jetson AGX Thor, mit Latenzwerten für ABC-VLA, MolmoAct2 und pi0.5.
Das SlopShape-Paper hat den offensichtlichsten Bezug zum Publizieren. Sein Autor Jochen Madler von Sitefire schreibt, KI-Detektoren auf Wortebene seien bei Umformulierungen anfällig, strukturelle Merkmale hielten besser: 98,1 Macro-F1, wenn jeder KI-Beitrag von seinem eigenen Modell umformuliert wird. Das Paper sagt, KI-Beiträge „teilten eine ordentliche, sich selbst ankündigende Form“, während menschliche Beiträge „seltene strukturelle Konfigurationen besetzen“. Es ordnet 79,3 % der KI-Beiträge dem richtigen Quellmodell zu, bei einer Zufallsrate von 16,7 %. Das Paper ist ein Preprint, und der Autor nennt eine Verbindung zu einem kommerziellen Anbieter, Sitefire.
Zusammengelesen beschreiben diese Quellen ein Such- und Inhaltsökosystem, das aktiv umgebaut wird. PlanetScale dehnt Postgres nach unten in die Suche aus. Luxir bietet eine Open-Source-Alternative, die auf Dichte gebaut ist. SlopShape versucht, die KI-Inhalte zu messen, die die entstehenden Indizes füllen. Und das Wiley-Whitepaper erinnert daran, dass der größte Teil des Dossiers gar nicht von Medien handelt, was selbst ein Signal dafür ist, wohin die technische Energie geht.
Die ehrliche Lücke: Das Dossier enthält keine neue Messung des Suchtraffics von Verlagen, keine Aussage von Google und keinen namentlich genannten Verlag, der einen Rückgang meldet. Die jüngste datierbare Entwicklung ist PlanetScales Beitrag vom 27. September. Alles über Verluste bei Empfehlungen ist Kontext von außerhalb dieses Dossiers und sollte auch so behandelt werden.
Quellen
6- 01Anatomy of a (Postgres) Search EngineEN
- 02Luxir: Open-source hybrid search engineEN
- 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
- 04Engineering the Substation Exit for Reliability, Capacity, and ExpansionEN
- 05Show HN: Optimized runtimes for three VLAs on Jetson ThorEN
- 06Show HN: ParkourNoteEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.