Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Postgres, Luxir und SlopShape: Der Suchindex wird neu gebaut, während der Traffic der Verlage fällt

PlanetScale hat am 27. September eine ausführliche technische Erklärung zur Volltextsuche in Postgres veröffentlicht. Sie ist der jüngste Beitrag aus einer Woche voller Suchinfrastruktur-Meldungen, und sie erscheint zu einem Zeitpunkt, an dem Verlage über stark sinkende Suchverweise berichten.

Medien & InternetAnalyseKatrin HoffmannVeröffentlicht: 28. September 20266 Min. LesezeitQuellen 5
Postgres, Luxir und SlopShape: Der Suchindex wird neu gebaut, während der Traffic der Verlage fällt

Die jüngste Entwicklung im Suchindex kam diese Woche nicht von einer Suchmaschine. Am 27. September veröffentlichte PlanetScale „Anatomy of a (Postgres) Search Engine“, eine technische Erklärung dazu, wie invertierte Indizes in Postgres funktionieren und wie sie sich von den b-trees unterscheiden, zu denen die meisten Entwickler zuerst greifen.

Der Text von PlanetScale erinnert daran, dass Suche inzwischen eine Datenbankfunktion ist und nicht mehr nur eine Produktkategorie. „Ein b-tree ist nutzlos, wenn man Inhalte in der Mitte einer Zeichenkette finden will“, schreibt das Unternehmen und zeigt dann das Muster, das Entwickler aufgeben sollen: eine Abfrage, die jede Zeile einer Tabelle mit einem LIKE und führendem Platzhalter prüft. Die Alternative, ein invertierter Index mit einem Eintrag pro einzelnem Wort eines Feldes, ist laut dem Beitrag die Methode, mit der „im Grunde alle Volltextsuchmaschinen“ Dokumente finden. Es ist ein kleiner Architekturpunkt mit großen Folgen dafür, wie schnell eine Datenbank eine Frage beantworten kann. Die Erklärung bleibt bei der Mechanik ungewöhnlich konkret. Ein invertierter Index hat ein Termwörterbuch und Postings-Listen, dazu können Positions- und Häufigkeitsdaten kommen. Postings-Listen sind sortiert und werden komprimiert: PlanetScale nennt das Beispiel eines Index mit 300.000 Dokumenten, von denen 100.000 das Wort „who“ enthalten. Würde man jede ID einzeln speichern, bräuchte ein Posting 19 Bit, doch der durchschnittliche Abstand zwischen aufeinanderfolgenden IDs beträgt drei und passt in zwei Bit. Dichte Listen können weiter gehen und eine Bitmap speichern, was sich lohnt, sobald etwa die Hälfte aller Dokumente einen Term enthält. Das ist ein Komprimierungsdetail, aber es erklärt, warum Suche über große Korpora überhaupt bezahlbar ist und warum die Abfrage-Engine die Vereinigung oder Schnittmenge zweier Postings-Listen in einem einzigen O(n)-Durchlauf bilden kann. PlanetScale merkt außerdem an, dass Vektorbefehle auf neueren CPUs 128, 256 oder sogar 512 Bit in einem Befehl mit OR oder AND verknüpfen können, wenn die Listen als Bitmaps vorliegen.

Luxir bewirbt Vollspektrum-Suche als eine Engine

Fünf Tage zuvor, am 22. September, veröffentlichte ein separates Projekt namens Luxir seine eigene Ankündigung: eine Open-Source-Engine, die Volltext-, Vektor- und Facettensuche mit Analytik in einer Anfrage verbindet. Die Website von Luxir argumentiert mit Kosten statt mit Funktionen und schreibt, die Engine sei „auf die meiste Suche pro Kern, pro Gigabyte und pro Dollar ausgelegt“, und Cloud-Kunden „zahlen die Ineffizienz für immer“.

Die Angaben zur Architektur sind konkret. Ein Work-Stealing-Scheduler verteilt Indizierung, Zusammenführung und Abfrageausführung über die Kerne, Netzwerk-IO läuft asynchron, damit ein langsamer Client keinen Kern blockiert, und Segmente sind unveränderlich und speichergemappt, sodass sie aus dem Page-Cache gelesen werden. Dekodierung der Postings, Scoring und Vektorabstand laufen über SIMD-Pfade, bei Top-k-Anfragen kommt Block-Max-Pruning hinzu. Luxir bezieht außerdem Position zu Zählwerten, was jeden betrifft, der eine Suchoberfläche baut. Facettenzahlen sind „standardmäßig immer exakt“, so das Projekt, und Gesamttrefferzahlen sind exakt, wenn die Anfrage sie verlangt, und werden sonst beschnitten. Abfragen, Facetten und Metriken laufen im selben Durchlauf über dieselbe Indexsicht, sodass ein Roundtrip Dokumente, Seitenspalten-Zahlen und Kopfzeilen-Werte zusammen liefert.

Beide Beiträge beschreiben Leitungen, die die meisten Nutzer nie sehen. Aber auf dieser Ebene entscheidet sich die Ökonomie der Suche, und die ändert sich schnell.

Ein Detektor, der Struktur liest, nicht Vokabular

Am selben Tag wie der Start von Luxir zielte ein Paper auf arXiv auf den Inhalt, der diese Indizes füllt. „SlopShape: Identifying AI-Generated Commercial Web Content“, am 14. September eingereicht und am 17. September überarbeitet, fragt, ob sich KI-generierter Text an strukturellen Signaturen erkennen lässt, also daran, wie Informationen präsentiert werden, in welcher Reihenfolge, mit welchen Belegen und in welcher Stimme. Der Autor, Jochen Madler von Sitefire, wiederholte die Arbeit StoryScope von Russell et al. an kommerziellen Inhalten: 2.250 menschliche Blogbeiträge von vor ChatGPT aus 268 Unternehmensdomains, verglichen mit 11.250 KI-Spiegelungen aus fünf Frontier-Modellen. Ein Instrument mit 214 Merkmalen, angewendet von einem LLM und geprüft in einer menschlichen Gold-Annotation mit einem Mensch-Mensch-Kappa von 0,928 und einem Mensch-Modell-Kappa von 0,946, erkannte KI-Beiträge allein anhand seiner 187 strukturellen Merkmale mit 98,0 Macro-F1 bei zurückgehaltenen Unternehmen. Wurde jeder KI-Beitrag mit seinem eigenen Modell umformuliert, blieb der Wert mit 98,1 unverändert.

Das Paper erhebt auch Anspruch auf Zuordnung. KI-Beiträge teilen „eine aufgeräumte, sich selbst ankündigende Form“, 79,3 Prozent werden dem richtigen Quellmodell zugeordnet, bei einer Zufallsrate von 16,7 Prozent, und menschliche Beiträge besetzen seltene strukturelle Konfigurationen. Pipeline, Instrument, Prompts und Code sind veröffentlicht.

Das Ergebnis ist für die Suche wichtig, weil Ranking-Systeme und KI-Antwortmaschinen genau Struktur verarbeiten. Wenn kommerzielle Webinhalte eine erkennbare Form haben, wird das Korpus, das Suchmaschinen indexieren, gleichförmiger, während die Werkzeuge zum Indexieren schneller und billiger werden.

Bezahlen tun die Verlage

Die Schlagzeilen im Umfeld der Meldungen zeigen in die andere Richtung. Zur jüngsten Berichterstattung im Dossier gehört ein Bericht vom 24. September, wonach der Rückgang bei Google Search für Verlage im Jahresvergleich auf 40 Prozent zugenommen hat, und ein separater Beitrag vom 16. September, wonach Google Search Profile Badges die Traffic-Krise der Verlage offenlegen. Ältere Beiträge beschreiben sinkenden Suchmaschinen-Traffic im gesamten Web, wobei einige kleine Websites einen Rückgang um 60 Prozent verzeichnen, und Google-KI-Suche, die kleine Verlage bedroht, weil konversationelle KI den Website-Traffic senkt. Einige dieser Daten liegen außerhalb der letzten Woche und sind deshalb Hintergrund, keine Nachricht. Sie setzen aber den Rahmen für die technischen Veröffentlichungen oben: Die Kosten für den Aufbau eines Suchindex sinken weiter, und der Traffic, den dieser Index an Verlage zurückschickt, sinkt mit.

Zwei weitere Dossier-Einträge zeigen, wie breit das Feld geworden ist. Am 26. September öffnete CleanTechnica die Einreichungen für seinen eigenen Buchverlag und bietet Autoren einen Weg zur Veröffentlichung für eine Vorabgebühr von 3.000 bis 5.000 Dollar plus einen Prozentanteil pro verkauftem Buch, mit einem Google Hangout am 30. September. Am 24. September veröffentlichte der Engineering-Content-Hub von Wiley ein Whitepaper, gesponsert von Hendrix by Marmon Utility, über den Bau von Schaltanlagen-Ausgängen, das argumentiert, dass die Zuverlässigkeit auf den ersten Spannen aus einer Station besonders zählt, weil ein einzelner kontaktbedingter Fehler dort viele Stromkreise gleichzeitig unterbrechen kann.

Beides ist auf den ersten Blick keine Suchgeschichte. Aber beides sind kommerzielle Inhalte für ein bestimmtes Publikum, produziert unter dem Namen eines Sponsors oder der Marke eines Verlags, also dieselbe Kategorie, die das SlopShape-Paper zu klassifizieren versucht. Die Behauptung des Papers ist, dass solche Inhalte eine Form haben: eine bestimmte Reihenfolge, eine bestimmte Art von Belegen, eine bestimmte Stimme. Wenn das stimmt, muss die nächste Generation von Suchmaschinen entscheiden, was sie damit macht.

Vorerst bewegt sich die Infrastrukturseite schneller als die Regelseite. PlanetScale liefert TIN aus, seinen Volltextsuchindex für Postgres, und kündigt einen tieferen Artikel zu Funktionen, Leistung und Implementierung an. Luxir ist herunterladbar, mit einer HTTP/JSON-API auf Port 9.400 und einem Datenverzeichnis für die Persistenz. Das arXiv-Paper ist öffentlich, mit Code und Artefakten.

Was keines davon klärt, ist die Frage, wohin die Leser gehen. Suchmaschinen werden besser darin, Dokumente zu finden, und Verlage berichten, dass weniger Menschen bei ihnen ankommen. Diese Lücke ist die Geschichte, die die Werkzeuge noch nicht beantwortet haben.

Kommentare 0

Quellen

5
  1. 01Anatomy of a (Postgres) Search EngineEN
  2. 02Luxir: Open-source hybrid search engineEN
  3. 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
  4. 04Publish Your Book Through CleanTechnica PressEN
  5. 05Engineering the Substation Exit for Reliability, Capacity, and ExpansionEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.