Anatomia wyszukiwarki w Postgresie, gdy wydawcy przebudowują się po erze wyszukiwarek
PlanetScale opublikował 27 września techniczną anatomię wyszukiwania pełnotekstowego w Postgresie. W ten sam weekend Digiday opisał w podsumowaniu, jak wydawcy przebudowują się na erę po wyszukiwarkach, bo ruch z wyszukiwarek wciąż spada.

Wpis pojawił się 27 września o 01:39 UTC. Blog inżynierski PlanetScale opublikował tekst „Anatomy of a (Postgres) Search Engine”, w którym krok po kroku pokazuje, jak indeksy odwrócone, słowniki terminów i listy wystąpień zastępują skanowanie wiersz po wierszu, przez które zapytania typu LIKE '%postgres%' są drogie. Zbieżność z branżą medialną nie jest przypadkowa, choć wpis nigdy nie wspomina o wydawcach.
Ruch z wyszukiwarek to właśnie to, co wydawcy próbują zastąpić albo odbudować, a rozmowa o infrastrukturze zeszła o warstwę niżej. Tekst PlanetScale przypomina, że maszyneria stojąca za wyszukiwaniem nie jest magią. Indeks b-drzewa porządkuje wartości kolumny w porządku całkowitym i potrafi znaleźć dokładną wartość, zakres albo prefiks. Nie dopasuje treści w środku ciągu znaków. To zadanie należy do indeksu odwróconego, który przypisuje każde słowo z pola tekstowego do dokumentów, w których ono występuje.
Wpis jest na tyle szczegółowy, żeby przydać się inżynierom, i na tyle konkretny, żeby dało się go sprawdzić. PlanetScale opisuje słownik terminów, który mapuje każde słowo ze wszystkich dokumentów na listy wystąpień, przy czym słownik leży na dysku jako b-drzewo albo inna struktura posortowana leksykograficznie. Zapytania z symbolami wieloznacznymi i zapytania rozmyte mogą przeskanować część albo cały słownik: g* znajduje zarówno gonna, jak i give, a u~2 szuka każdego terminu odległego o dwie edycje znaków, co w przykładzie z wpisu oznacza you i up.
Dlaczego ta hydraulika obchodzi wydawców
Listy wystąpień są niemal zawsze posortowane i skompresowane. PlanetScale podaje policzony przykład: indeks z 300 000 dokumentów, z których 100 000 zawiera słowo „who”, zająłby 19 bitów na wystąpienie, gdyby każdy identyfikator zapisać dosłownie, ale średnia odległość między kolejnymi posortowanymi identyfikatorami wynosi trzy, a to mieści się w dwóch bitach. Gęste listy można trzymać jako bitmapy, po jednym bicie na dokument. Suma i przecięcie posortowanych list przechodzą w jednym przebiegu O(n), a operacje na bitmapach mogą korzystać z instrukcji wektorowych i łączyć operacją OR lub AND 128, 256 albo nawet 512 bitów naraz.
To ta sama klasa problemu, z którą wydawcy mierzą się teraz po stronie odbioru. 28 września Digiday opublikował podsumowanie swojego Publishing Summit, w którym opisuje, jak wydawcy przebudowują się na erę po wyszukiwarkach. Tego samego ranka cxotoday.com zamieścił tekst dowodzący, że niezależne media są dławione przez Google i innych gigantów AI. Żadna z tych redakcji nie pojawia się we wpisie PlanetScale, a blog techniczny w ogóle nie zajmuje się ruchem polecanym. Związek jest strukturalny: wyszukiwanie jest przebudowywane po obu stronach zapytania.
Liczby krążące w prasie branżowej nie są łagodne. Wśród nagłówków śledzonych w dossier są: spadek poleceń z Google Search u wydawców o 40% rok do roku, datowany na 24 września, oraz osobny raport o spadku ruchu z wyszukiwarek w całej sieci, przy czym niektóre małe strony tracą 60%. Te dane pochodzą z agregacji nagłówków, a nie ze źródeł pierwotnych, więc traktujmy je jako kierunkowe. Kierunek jest spójny.
Alternatywy open source też się ruszają
Luxir, hybrydowa wyszukiwarka open source opublikowana 22 września, sprzedaje się na tej samej ekonomice. Jej strona obiecuje wyszukiwanie pełnotekstowe, wektorowe i fasetowe z analityką w jednym silniku, z harmonogramem work-stealing, który rozdziela indeksowanie, scalanie i wykonanie zapytań na wszystkie rdzenie, asynchroniczne IO sieciowe oraz ścieżki SIMD do dekodowania list wystąpień, punktowania i odległości wektorowej. Liczniki faset są domyślnie dokładne, twierdzi projekt, a zapytania o top-k przycinają z ograniczeniami block-max, gdy wywołujący nie prosi o wyczerpującą sumę.
Strona Luxira to witryna produktu, nie praca benchmarkowa, a deklaracje wydajności pochodzą od samego projektu. Tak samo jest z wpisem PlanetScale, który wydała firma sprzedająca bazę zgodną z Postgresem. Oba teksty są przydatne jako opisy architektury i jako deklaracje zamiarów. Żadnego nie należy czytać jako niezależnego pomiaru.
W innym miejscu dossier jest praca z arXiv z 22 września autorstwa Jochena Madlera z Sitefire, „SlopShape: Identifying AI-Generated Commercial Web Content”, która proponuje strukturalny detektor tekstów marketingowych pisanych przez AI. Praca zestawia 2 250 ludzkich wpisów blogowych sprzed ChatGPT z 268 domen firmowych z 11 250 lustrami wygenerowanymi przez pięć modeli frontier, wykrywanymi z 98,0 macro-F1 na firmach z próby testowej na podstawie samych 187 cech strukturalnych, z przypisaniem do właściwego modelu źródłowego na poziomie 79,3% przy losowym trafieniu 16,7%. Zgodność kappa między ludźmi wyniosła 0,928, a między człowiekiem i modelem 0,946. To wersja v2, poprawiona 17 września.
Ma to znaczenie z tego samego powodu co infrastruktura wyszukiwania. Jeśli duża część komercyjnych treści w sieci powstaje maszynowo, w schludnym, samoogłaszającym się kształcie, to korpus indeksowany przez wyszukiwarki zmienia się równolegle z samymi wyszukiwarkami. Wydawcy przebudowujący się na erę po wyszukiwarkach nie konkurują już tylko o miejsce na stronie wyników. Konkurują o miejsce w korpusie, który coraz częściej pisze z powrotem.
Dwa mniejsze pozycje w dossier wskazują w tę samą stronę. ParkourNote, samodzielnie zbudowany warsztat badawczy opublikowany 28 września, importuje artykuły, książki, strony i filmy, transkrybuje je i tłumaczy, a bibliotekę udostępnia Claude'owi, ChatGPT albo Codexowi przez serwer MCP. GPU-font, również z 28 września, uruchamia małą sieć neuronową w przeglądarce przez WebGPU, żeby dopasować czcionkę ze zdjęcia. To projekty jednostek, nie zmiany platform. Oba pokazują jednak ten sam wzorzec: więcej możliwości, mniej serwera, mniej pośredników.
Dla wydawców pytanie praktyczne się nie zmienia. Polecenia z wyszukiwarek spadają, techniczny koszt zbudowania produktu wyszukiwania spada razem z nimi, a wolumen treści syntetycznych konkurujących o te same miejsca w indeksie rośnie. Wpis PlanetScale wyjaśnia, jak indeks znajduje słowo. Nie wyjaśnia, kto zostanie znaleziony.
Źródła
5- 01Anatomy of a (Postgres) Search EngineEN
- 02Luxir: Open-source hybrid search engineEN
- 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
- 04Show HN: ParkourNoteEN
- 05Show HN: GPU-fontEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.