Ruch z wyszukiwarek i wydawcy: co ujawniają najnowsze otwarte narzędzia wyszukiwania
27 września PlanetScale opublikował techniczny tekst o tym, jak działają wyszukiwarki pełnotekstowe. To przypomnienie, że maszyneria decydująca o tym, skąd wydawcy dostają ruch, jest przebudowywana od samego indeksu. Wpis ukazał się tego samego dnia, gdy dwa mniejsze projekty wyszukiwania wciąż zbierały uwagę na Hacker News. Jeden z nich zgłoszono zaledwie 7,5 godziny przed napisaniem tego tekstu.

27 września PlanetScale opublikował długie techniczne wyjaśnienie zatytułowane "Anatomy of a (Postgres) Search Engine". Nie chodzi w nim o wydawców, tylko o indeksy odwrócone, słowniki terminów i listy wystąpień, czyli struktury danych, które pozwalają wyszukiwarce znaleźć dokument po słowach w nim zawartych, a nie przez przeglądanie każdego wiersza.
Ale czas publikacji ma znaczenie. Gdy ruch z wyszukiwarki Google spada u wielu wydawców, pytanie o to, kto kontroluje indeks, stało się pytaniem o biznes medialny, nie tylko o inżynierię. PlanetScale opisuje, jak indeks pełnotekstowy przypisuje każdemu terminowi dokumenty, które go zawierają. Firma twierdzi, że standardowy indeks b-drzewa szybko znajdzie nazwisko, przedział cenowy albo datę utworzenia, ale jest "bezużyteczny do dopasowywania treści w środku ciągu znaków". To zadanie dla indeksu odwróconego, który przechowuje słownik terminów i listy wystąpień, często kompresowane kodowaniem przerw albo bitmapami. PlanetScale wykorzystuje ten tekst, żeby przedstawić TIN, swój indeks wyszukiwania pełnotekstowego dla Postgresa. Głębsze omówienie obiecuje w osobnym artykule.
Stos wyszukiwania się otwiera
Dwa inne projekty z dossier wskazują w tę samą stronę. Luxir, otwarty silnik wyszukiwania hybrydowego, opisuje się na stronie domowej jako zbudowany dla "największej liczby wyszukiwań na rdzeń, na gigabajt i na dolara". Łączy wyszukiwanie pełnotekstowe, wektorowe i fasetowe w jednym silniku, z API HTTP/JSON na porcie 9 400, rankingiem BM25 z block-max pruning i dokładnymi licznikami faset. Strona Luxira ukazała się 22 września, sześć dni przed tym artykułem.
PlanetScale i Luxir sprzedają wydajność. Wpis PlanetScale zauważa, że listy wystąpień są "prawie zawsze sortowane, a potem kompresowane", i że gęste listy można przechowywać jako bitmapy, gdzie jeden bit oznacza, czy dokument zawiera termin. Luxir przekonuje podobnie: niezmienne segmenty mapowane w pamięci, dekodowanie SIMD, scheduler z podkradaniem pracy i brak garbage collectora. "W chmurze za nieefektywność płacisz bez końca" głosi strona Luxira. To twierdzenie dostawcy, nie niezależny benchmark, ale argument jest ten sam.
"B-drzewo jest bezużyteczne do dopasowywania treści w środku ciągu znaków. Tu wchodzą indeksy wyszukiwania pełnotekstowego." PlanetScale, 27 września
Związek z wydawcami jest pośredni i warto to powiedzieć precyzyjnie. Żadne z tych źródeł nie podaje liczby dla ruchu z Google ani dla ruchu jakiegokolwiek wydawcy. Pokazują, że elementy składowe wyszukiwania, indeksy odwrócone, ranking wektorowy i fasety, są coraz częściej dostępne jako otwarte oprogramowanie albo dodatki do baz ogólnego przeznaczenia. Wydawcy to nie odzyskuje utraconego ruchu z wyszukiwarek. Oznacza jednak, że koszt własnej wyszukiwarki na stronie albo niszowego produktu wyszukiwania w pionie stale spada.
Starsze sygnały wciąż w tle
Pozostałe świeże pozycje z dossier są dalej od tematyki medialnej. Biała księga Wiley z 24 września opisuje budowę wyjść ze stacji elektroenergetycznych i systemy kabli napowietrznych, a sponsoruje ją Hendrix by Marmon Utility. Praca na arXiv zgłoszona 14 września i zrewidowana 17 września, "SlopShape", opisuje narzędzie z 214 cechami, które rozpoznaje wygenerowane przez AI komercyjne treści internetowe po samych sygnaturach strukturalnych. Na firmach odłożonych na bok raportuje 98,0 macro-F1 wobec 11 250 luster AI z pięciu modeli frontier. Repozytorium GitHub z 22 września publikuje zoptymalizowane środowiska uruchomieniowe dla trzech modeli vision-language-action na NVIDIA Jetson AGX Thor, z danymi o opóźnieniach dla ABC-VLA, MolmoAct2 i pi0.5.
To praca SlopShape jest najbardziej związana z publikowaniem. Jej autor, Jochen Madler z Sitefire, pisze, że detektory AI działające na poziomie słów są kruche przy przeformułowaniu, a cechy strukturalne trzymają się lepiej: 98,1 macro-F1, gdy każdy wpis AI zostanie przeformułowany przez własny model. Praca twierdzi, że wpisy AI "mają schludny, samo-ujawniający się kształt", a wpisy ludzkie "zajmują rzadkie konfiguracje strukturalne". Przypisuje 79,3% wpisów AI właściwemu modelowi źródłowemu przy losowym trafieniu na poziomie 16,7%. To preprint, a autor ujawnia powiązanie z komercyjnym dostawcą, firmą Sitefire.
Czytane razem, te źródła opisują ekosystem wyszukiwania i treści w trakcie przebudowy. PlanetScale rozciąga Postgresa w dół, w stronę wyszukiwania. Luxir proponuje otwartą alternatywę zbudowaną pod gęstość. SlopShape próbuje mierzyć treści AI, które wypełniają powstałe indeksy. A biała księga Wiley przypomina, że większość dossier wcale nie dotyczy mediów, co samo w sobie mówi coś o tym, gdzie idzie techniczna energia.
Uczciwa luka: dossier nie zawiera świeżego pomiaru ruchu wydawców z wyszukiwarek, żadnego oświadczenia Google ani nazwanego wydawcy, który raportuje spadek. Najnowszym dającym się datować wydarzeniem jest wpis PlanetScale z 27 września. Wszystko o stratach w poleceniach to kontekst spoza tego dossier i tak trzeba to traktować.
Źródła
6- 01Anatomy of a (Postgres) Search EngineEN
- 02Luxir: Open-source hybrid search engineEN
- 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
- 04Engineering the Substation Exit for Reliability, Capacity, and ExpansionEN
- 05Show HN: Optimized runtimes for three VLAs on Jetson ThorEN
- 06Show HN: ParkourNoteEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.