Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Traffico dai motori di ricerca ed editori: cosa rivelano i nuovi strumenti open source

Il 27 settembre PlanetScale ha pubblicato un'analisi tecnica sul funzionamento dei motori di ricerca full-text. È un promemoria: la macchina che decide da quali pagine gli editori ricevono traffico viene ricostruita a partire dall'indice. Il post è uscito lo stesso giorno in cui due progetti di ricerca più piccoli attiravano ancora l'attenzione su Hacker News. Uno era stato inviato appena 7,5 ore prima della stesura di questo articolo.

Media e internetSpiegatoChiara RomanoPubblicato: 28 settembre 20264 min di letturaFonti 6
Traffico dai motori di ricerca ed editori: cosa rivelano i nuovi strumenti open source

Il 27 settembre PlanetScale ha pubblicato un lungo approfondimento tecnico intitolato "Anatomy of a (Postgres) Search Engine". Non parla di editori. Parla di indici invertiti, dizionari dei termini e liste di posting: le strutture dati che permettono a un motore di ricerca di trovare un documento dalle parole che contiene, invece di scansionare ogni riga.

Il momento, però, conta. Mentre i referral da Google continuano a calare per molti editori, la domanda su chi controlla l'indice è diventata una questione di business editoriale, non solo di ingegneria. Il post di PlanetScale spiega come un indice full-text associ ogni termine ai documenti che lo contengono. L'azienda sostiene che un normale indice b-tree trova in fretta un nome, una fascia di prezzo o una data di creazione, ma è "inutile per trovare contenuti nel mezzo di una stringa". È il compito di un indice invertito, che memorizza un dizionario dei termini e liste di posting, spesso compresse con gap encoding o bitmap. PlanetScale usa l'articolo per presentare TIN, il suo indice di ricerca full-text per Postgres. Un approfondimento è promesso in un articolo separato.

Lo stack di ricerca si apre

Altri due progetti nel dossier vanno nella stessa direzione. Luxir, un motore di ricerca ibrido open source, si descrive nella sua homepage come costruito per "la massima ricerca per core, per gigabyte e per dollaro". Combina ricerca full-text, vettoriale e a faccette in un unico motore, con un'API HTTP/JSON sulla porta 9.400, ranking BM25 con block-max pruning e conteggi esatti delle faccette. La pagina di Luxir è stata pubblicata il 22 settembre, sei giorni prima di questo articolo.

Sia PlanetScale sia Luxir vendono efficienza. Il post di PlanetScale osserva che le liste di posting sono "quasi sempre ordinate, poi compresse", e che le liste dense possono essere memorizzate come bitmap, dove un singolo bit indica se un documento contiene un termine. Luxir propone un argomento simile: segmenti immutabili mappati in memoria, decodifica SIMD, uno scheduler work-stealing e nessun garbage collector. "Nel cloud, paghi l'inefficienza per sempre", dice la homepage di Luxir. È un'affermazione commerciale, non un benchmark indipendente, ma l'argomento è lo stesso.

"Un b-tree è inutile per trovare contenuti nel mezzo di una stringa. È qui che entrano in gioco gli indici di ricerca full-text." PlanetScale, 27 settembre

Il punto di vista dell'editore è indiretto, e vale la pena essere precisi. Nessuna di queste fonti contiene un numero sui referral da Google, né sul traffico di un qualsiasi editore. Quello che mostrano è che i mattoni della ricerca (indici invertiti, ranking vettoriale, faccette) sono sempre più disponibili come open source o come componenti aggiuntivi di database generici. Per un editore questo non ripristina il traffico di ricerca perduto. Significa però che il costo di gestire la ricerca interna del proprio sito, o un prodotto di ricerca verticale di nicchia, continua a scendere.

Segnali più vecchi, sempre sullo sfondo

Gli altri elementi recenti del dossier sono più lontani dal settore media. Un white paper di Wiley pubblicato il 24 settembre tratta la costruzione delle uscite delle sottostazioni e i sistemi di cavi aerei, sponsorizzato da Hendrix by Marmon Utility. Un articolo arXiv inviato il 14 settembre e rivisto il 17 settembre, "SlopShape", descrive uno strumento con 214 caratteristiche che identifica i contenuti web commerciali generati dall'AI dalle sole firme strutturali. Riporta 98,0 di macro-F1 su aziende tenute fuori dal campione, contro 11.250 specchi AI di cinque modelli di frontiera. Un repository GitHub del 22 settembre pubblica runtime ottimizzati per tre modelli vision-language-action su NVIDIA Jetson AGX Thor, con cifre di latenza per ABC-VLA, MolmoAct2 e pi0.5.

Il paper SlopShape è quello con un'evidente vicinanza all'editoria. Il suo autore, Jochen Madler di Sitefire, scrive che i rilevatori AI a livello di parola sono fragili quando il testo viene riformulato, e che le caratteristiche strutturali tengono meglio: 98,1 di macro-F1 quando ogni post AI è riformulato dal suo stesso modello. Il paper afferma che i post AI "condividono una forma ordinata e auto-dichiarata", e che i post umani "occupano rare configurazioni strutturali". Attribuisce il 79,3% dei post AI al modello di origine corretto, contro un tasso casuale del 16,7%. Il paper è un preprint e l'autore dichiara un'affiliazione con un fornitore commerciale, Sitefire.

Letti insieme, questi materiali descrivono un ecosistema di ricerca e contenuti in piena ricostruzione. PlanetScale estende Postgres verso il basso, nella ricerca. Luxir offre un'alternativa open source costruita per la densità. SlopShape cerca di misurare i contenuti AI che riempiono gli indici risultanti. E il white paper di Wiley ricorda che la maggior parte del dossier non riguarda affatto i media, il che è di per sé un segnale di dove sta andando l'energia tecnica.

Il vuoto onesto: il dossier non contiene alcuna misurazione recente del traffico di ricerca degli editori, nessuna dichiarazione di Google e nessun editore nominato che riporti un calo. Lo sviluppo databile più recente è il post di PlanetScale del 27 settembre. Qualunque affermazione sulle perdite di referral è un contesto esterno a questo dossier, e va trattata come tale.

Commenti 0

Fonti

6
  1. 01Anatomy of a (Postgres) Search EngineEN
  2. 02Luxir: Open-source hybrid search engineEN
  3. 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
  4. 04Engineering the Substation Exit for Reliability, Capacity, and ExpansionEN
  5. 05Show HN: Optimized runtimes for three VLAs on Jetson ThorEN
  6. 06Show HN: ParkourNoteEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.