Postgres, Luxir i SlopShape: stos wyszukiwania jest przebudowywany, gdy ruch do wydawców spada
27 września PlanetScale opublikował szczegółowe wyjaśnienie techniczne wyszukiwania pełnotekstowego w Postgresie. To najnowsza pozycja w tygodniu premier infrastruktury wyszukiwania, który wypada w momencie, gdy wydawcy raportują gwałtowne spadki poleceń z wyszukiwarek.

Najnowszy ruch w stosie wyszukiwania w tym tygodniu nie wyszedł od żadnej wyszukiwarki. 27 września PlanetScale opublikował tekst „Anatomy of a (Postgres) Search Engine”, techniczne wyjaśnienie, jak działają indeksy odwrotne w Postgresie i czym różnią się od drzew b, po które programiści sięgają najpierw.
Publikacja PlanetScale przypomina, że wyszukiwanie jest dziś funkcją bazy danych, a nie tylko kategorią produktów. „Drzewo b nie nadaje się do dopasowywania treści w środku ciągu znaków” – pisze firma, po czym pokazuje wzorzec, którego programiści mają przestać używać: zapytanie sprawdzające każdy wiersz tabeli przez LIKE z dzikim znakiem na początku. Alternatywą jest indeks odwrotny z kluczem dla każdego słowa w polu. Według tekstu tak właśnie „zasadniczo wszystkie wyszukiwarki pełnotekstowe” lokalizują dokumenty. To drobny szczegół architektury o dużych skutkach dla tego, jak szybko baza odpowiada na pytanie. Wyjaśnienie jest niezwykle konkretne, jeśli chodzi o mechanikę. Indeks odwrotny ma słownik terminów i listy wystąpień, a na wierzchu może dokładać dane o pozycji i częstotliwości. Listy wystąpień są sortowane, a potem kompresowane. PlanetScale podaje przykład indeksu z 300 000 dokumentów, z których 100 000 zawiera słowo „who”. Zapisanie każdego identyfikatora dosłownie zajęłoby 19 bitów na wystąpienie, ale średni odstęp między kolejnymi identyfikatorami wynosi trzy, co mieści się w dwóch bitach. Gęste listy mogą pójść dalej i przechowywać bitmapę, która staje się optymalna, gdy mniej więcej połowa wszystkich dokumentów zawiera dany termin. To szczegół kompresji, ale tłumaczy, dlaczego wyszukiwanie po dużych zbiorach jest w ogóle opłacalne i dlaczego silnik zapytań może wziąć sumę lub przecięcie dwóch list wystąpień w jednym przebiegu O(n). PlanetScale zauważa też, że instrukcje wektorowe w nowszych procesorach potrafią wykonać OR lub AND na 128, 256, a nawet 512 bitach w jednej instrukcji, gdy listy są przechowywane jako bitmapy.
Luxir reklamuje wyszukiwanie pełnego spektrum w jednym silniku
Pięć dni wcześniej, 22 września, osobny projekt o nazwie Luxir opublikował własną propozycję: otwarty silnik, który łączy wyszukiwanie pełnotekstowe, wektorowe i fasetowe z analityką w jednym zapytaniu. Strona Luxir stawia sprawę w kategoriach kosztu, nie funkcji. Silnik jest „zaprojektowany tak, by dawać najwięcej wyszukiwania na rdzeń, na gigabajt i na dolara”, a klienci chmury „płacą za nieefektywność bez końca”.
Twierdzenia o architekturze są konkretne. Harmonogram z podkradaniem pracy dzieli indeksowanie, scalanie i wykonywanie zapytań między rdzenie, a wejście i wyjście sieciowe jest asynchroniczne, żeby wolny klient nie trzymał rdzenia. Segmenty są niezmienne i mapowane w pamięć, więc czyta się je z pamięci podręcznej stron. Dekodowanie list wystąpień, punktacja i odległość wektorowa działają na ścieżkach SIMD, z przycinaniem block-max dla zapytań o najlepsze k wyniki. Luxir zajmuje też stanowisko w sprawie liczników, które ma znaczenie dla każdego, kto buduje interfejs wyszukiwania. Liczniki faset są „zawsze dokładne domyślnie”, podaje projekt, a łączna liczba wyników jest dokładna, gdy zapytanie tego wymaga, i przycinana, gdy nie. Zapytania, fasety i metryki przechodzą w tym samym przebiegu po tym samym widoku indeksu, więc jedna rundka zwraca razem dokumenty, liczby z panelu bocznego i liczby w nagłówku.
Oba teksty opisują instalację, której większość użytkowników nigdy nie widzi. Ale to właśnie ta warstwa rozstrzyga o ekonomii wyszukiwania, a ta zmienia się szybko.
Detektor, który czyta strukturę, nie słownictwo
W dniu premiery Luxir praca na arXiv wzięła na cel treści, które wypełniają takie indeksy. „SlopShape: Identifying AI-Generated Commercial Web Content”, złożona 14 września i poprawiona 17 września, pyta, czy tekst wygenerowany przez AI da się rozpoznać po sygnaturach strukturalnych, czyli po tym, jak informacja jest podana, w jakiej kolejności, z jakim dowodem i jakim głosem. Autor, Jochen Madler z Sitefire, powtórzył pracę StoryScope Russella i współpracowników na treściach komercyjnych: 2 250 ludzkich wpisów blogowych sprzed ChatGPT z 268 domen firmowych przeciwko 11 250 lustrom AI z pięciu modeli czołówki. Narzędzie z 214 cechami, zastosowane przez LLM i zweryfikowane w sesji złotej anotacji z kappa człowiek-człowiek 0,928 i kappa człowiek-model 0,946, wykrywało wpisy AI na podstawie samych 187 cech strukturalnych z wynikiem 98,0 macro-F1 na firmach spoza zbioru treningowego. Przeformułowanie każdego wpisu AI jego własnym modelem nie zmieniło wyniku, który pozostał na 98,1.
Praca twierdzi też, że potrafi przypisać autorstwo. Wpisy AI mają „schludny, samozdradzający się kształt”, 79,3 procent przypisano do właściwego modelu źródłowego przy poziomie przypadku 16,7 procent, a wpisy ludzkie zajmują rzadkie konfiguracje strukturalne. Pipeline, narzędzie, prompty i kod są udostępnione.
Ten wynik ma znaczenie dla wyszukiwania, bo struktura jest dokładnie tym, co konsumują systemy rankingowe i silniki odpowiedzi AI. Jeśli komercyjne treści w sieci mają wykrywalny kształt, to zbiór, który indeksują wyszukiwarki, staje się bardziej jednorodny w tym samym czasie, gdy narzędzia do jego indeksowania stają się szybsze i tańsze.
Płacą za to wydawcy
Otaczające nagłówki w dossier wskazują w drugą stronę. Wśród materiałów są doniesienia, że spadek ruchu z wyszukiwarki Google pogłębił się do 40 procent rok do roku dla wydawców, z 24 września, oraz osobna pozycja, że plakietki profilu w Google Search ujawniają kryzys ruchu wydawców, z 16 września. Starsze materiały opisują spadki ruchu z wyszukiwarek w całej sieci, z częścią małych stron tracących 60 procent, a także to, że wyszukiwanie AI w Google zagraża małym wydawcom, bo konwersacyjna AI odcina ruch na stronach. Część tych dat wypada poza ostatnim tygodniem, więc to tło, nie news. Ale wyznaczają ramę dla opisanych wyżej premier technicznych: koszt zbudowania indeksu wyszukiwania stale spada, a ruch, który ten indeks odsyła wydawcom, spada razem z nim.
Dwie inne pozycje z dossier pokazują, jak szerokie stało się pole. 26 września CleanTechnica otworzyła nabór do własnego ramienia wydawniczego, oferując autorom drogę do publikacji za opłatą z góry od 3 000 do 5 000 dolarów plus procent od każdej sprzedanej książki, z Google Hangout zaplanowanym na 30 września. 24 września centrum treści inżynierskich Wiley opublikowało white paper, sponsorowany przez Hendrix by Marmon Utility, o budowie wyjść ze stacji elektroenergetycznych. Argumentuje w nim, że niezawodność na pierwszych przęsłach wychodzących ze stacji ma nietypową wagę, bo pojedyncze uszkodzenie stykowe w tym miejscu może przerwać wiele obwodów naraz.
Żadna z tych pozycji nie jest z pozoru historią o wyszukiwaniu. Ale obie są treściami komercyjnymi skierowanymi do konkretnej publiczności, powstałymi pod nazwą sponsora albo marką wydawcy, czyli w tej samej kategorii, którą próbuje klasyfikować praca SlopShape. Teza pracy jest taka, że takie treści mają kształt: określony porządek, określony rodzaj dowodu, określony głos. Jeśli to się utrzyma, następna generacja wyszukiwarek będzie musiała zdecydować, co z tym zrobić.
Na razie strona infrastruktury porusza się szybciej niż strona polityki. PlanetScale udostępnia TIN, swój indeks wyszukiwania pełnotekstowego dla Postgresa, i zapowiada głębszy artykuł o jego funkcjach, wydajności i implementacji. Luxir można pobrać, ma API HTTP/JSON na porcie 9 400 i katalog danych do trwałego przechowywania. Praca na arXiv jest publiczna, z dołączonym kodem i artefaktami.
Żadna z tych premier nie rozstrzyga, dokąd trafiają czytelnicy. Wyszukiwarki coraz lepiej znajdują dokumenty, a wydawcy donoszą, że dociera do nich coraz mniej ludzi. Tej luki narzędzia na razie nie zasypały.
Źródła
5- 01Anatomy of a (Postgres) Search EngineEN
- 02Luxir: Open-source hybrid search engineEN
- 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
- 04Publish Your Book Through CleanTechnica PressEN
- 05Engineering the Substation Exit for Reliability, Capacity, and ExpansionEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.