Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Ruch z wyszukiwarek i wydawcy: co ujawniają najnowsze otwarte narzędzia wyszukiwania

27 września PlanetScale opublikował techniczny tekst o tym, jak działają wyszukiwarki pełnotekstowe. To przypomnienie, że maszyneria decydująca o tym, skąd wydawcy dostają ruch, jest przebudowywana od samego indeksu. Wpis ukazał się tego samego dnia, gdy dwa mniejsze projekty wyszukiwania wciąż zbierały uwagę na Hacker News. Jeden z nich zgłoszono zaledwie 7,5 godziny przed napisaniem tego tekstu.

Media i internetWyjaśnienieMarta ZielińskaOpublikowano: 28 września 20264 min czytaniaŹródła 6
Ruch z wyszukiwarek i wydawcy: co ujawniają najnowsze otwarte narzędzia wyszukiwania

27 września PlanetScale opublikował długie techniczne wyjaśnienie zatytułowane "Anatomy of a (Postgres) Search Engine". Nie chodzi w nim o wydawców, tylko o indeksy odwrócone, słowniki terminów i listy wystąpień, czyli struktury danych, które pozwalają wyszukiwarce znaleźć dokument po słowach w nim zawartych, a nie przez przeglądanie każdego wiersza.

Ale czas publikacji ma znaczenie. Gdy ruch z wyszukiwarki Google spada u wielu wydawców, pytanie o to, kto kontroluje indeks, stało się pytaniem o biznes medialny, nie tylko o inżynierię. PlanetScale opisuje, jak indeks pełnotekstowy przypisuje każdemu terminowi dokumenty, które go zawierają. Firma twierdzi, że standardowy indeks b-drzewa szybko znajdzie nazwisko, przedział cenowy albo datę utworzenia, ale jest "bezużyteczny do dopasowywania treści w środku ciągu znaków". To zadanie dla indeksu odwróconego, który przechowuje słownik terminów i listy wystąpień, często kompresowane kodowaniem przerw albo bitmapami. PlanetScale wykorzystuje ten tekst, żeby przedstawić TIN, swój indeks wyszukiwania pełnotekstowego dla Postgresa. Głębsze omówienie obiecuje w osobnym artykule.

Stos wyszukiwania się otwiera

Dwa inne projekty z dossier wskazują w tę samą stronę. Luxir, otwarty silnik wyszukiwania hybrydowego, opisuje się na stronie domowej jako zbudowany dla "największej liczby wyszukiwań na rdzeń, na gigabajt i na dolara". Łączy wyszukiwanie pełnotekstowe, wektorowe i fasetowe w jednym silniku, z API HTTP/JSON na porcie 9 400, rankingiem BM25 z block-max pruning i dokładnymi licznikami faset. Strona Luxira ukazała się 22 września, sześć dni przed tym artykułem.

PlanetScale i Luxir sprzedają wydajność. Wpis PlanetScale zauważa, że listy wystąpień są "prawie zawsze sortowane, a potem kompresowane", i że gęste listy można przechowywać jako bitmapy, gdzie jeden bit oznacza, czy dokument zawiera termin. Luxir przekonuje podobnie: niezmienne segmenty mapowane w pamięci, dekodowanie SIMD, scheduler z podkradaniem pracy i brak garbage collectora. "W chmurze za nieefektywność płacisz bez końca" głosi strona Luxira. To twierdzenie dostawcy, nie niezależny benchmark, ale argument jest ten sam.

"B-drzewo jest bezużyteczne do dopasowywania treści w środku ciągu znaków. Tu wchodzą indeksy wyszukiwania pełnotekstowego." PlanetScale, 27 września

Związek z wydawcami jest pośredni i warto to powiedzieć precyzyjnie. Żadne z tych źródeł nie podaje liczby dla ruchu z Google ani dla ruchu jakiegokolwiek wydawcy. Pokazują, że elementy składowe wyszukiwania, indeksy odwrócone, ranking wektorowy i fasety, są coraz częściej dostępne jako otwarte oprogramowanie albo dodatki do baz ogólnego przeznaczenia. Wydawcy to nie odzyskuje utraconego ruchu z wyszukiwarek. Oznacza jednak, że koszt własnej wyszukiwarki na stronie albo niszowego produktu wyszukiwania w pionie stale spada.

Starsze sygnały wciąż w tle

Pozostałe świeże pozycje z dossier są dalej od tematyki medialnej. Biała księga Wiley z 24 września opisuje budowę wyjść ze stacji elektroenergetycznych i systemy kabli napowietrznych, a sponsoruje ją Hendrix by Marmon Utility. Praca na arXiv zgłoszona 14 września i zrewidowana 17 września, "SlopShape", opisuje narzędzie z 214 cechami, które rozpoznaje wygenerowane przez AI komercyjne treści internetowe po samych sygnaturach strukturalnych. Na firmach odłożonych na bok raportuje 98,0 macro-F1 wobec 11 250 luster AI z pięciu modeli frontier. Repozytorium GitHub z 22 września publikuje zoptymalizowane środowiska uruchomieniowe dla trzech modeli vision-language-action na NVIDIA Jetson AGX Thor, z danymi o opóźnieniach dla ABC-VLA, MolmoAct2 i pi0.5.

To praca SlopShape jest najbardziej związana z publikowaniem. Jej autor, Jochen Madler z Sitefire, pisze, że detektory AI działające na poziomie słów są kruche przy przeformułowaniu, a cechy strukturalne trzymają się lepiej: 98,1 macro-F1, gdy każdy wpis AI zostanie przeformułowany przez własny model. Praca twierdzi, że wpisy AI "mają schludny, samo-ujawniający się kształt", a wpisy ludzkie "zajmują rzadkie konfiguracje strukturalne". Przypisuje 79,3% wpisów AI właściwemu modelowi źródłowemu przy losowym trafieniu na poziomie 16,7%. To preprint, a autor ujawnia powiązanie z komercyjnym dostawcą, firmą Sitefire.

Czytane razem, te źródła opisują ekosystem wyszukiwania i treści w trakcie przebudowy. PlanetScale rozciąga Postgresa w dół, w stronę wyszukiwania. Luxir proponuje otwartą alternatywę zbudowaną pod gęstość. SlopShape próbuje mierzyć treści AI, które wypełniają powstałe indeksy. A biała księga Wiley przypomina, że większość dossier wcale nie dotyczy mediów, co samo w sobie mówi coś o tym, gdzie idzie techniczna energia.

Uczciwa luka: dossier nie zawiera świeżego pomiaru ruchu wydawców z wyszukiwarek, żadnego oświadczenia Google ani nazwanego wydawcy, który raportuje spadek. Najnowszym dającym się datować wydarzeniem jest wpis PlanetScale z 27 września. Wszystko o stratach w poleceniach to kontekst spoza tego dossier i tak trzeba to traktować.

Komentarze 0

Źródła

6
  1. 01Anatomy of a (Postgres) Search EngineEN
  2. 02Luxir: Open-source hybrid search engineEN
  3. 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
  4. 04Engineering the Substation Exit for Reliability, Capacity, and ExpansionEN
  5. 05Show HN: Optimized runtimes for three VLAs on Jetson ThorEN
  6. 06Show HN: ParkourNoteEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.