Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

PlanetScale spiega come funziona un motore di ricerca Postgres mentre gli editori si riorganizzano per il traffico post-ricerca

Il 27 settembre PlanetScale ha pubblicato un'analisi tecnica dei motori di ricerca full-text su Postgres. Lo stesso fine settimana un riepilogo di Digiday descriveva editori al lavoro per l'era post-ricerca, mentre i referral dai motori di ricerca continuano a calare.

Media e internetAnalisiGiulia FerrariPubblicato: 28 settembre 20265 min di letturaFonti 5
PlanetScale spiega come funziona un motore di ricerca Postgres mentre gli editori si riorganizzano per il traffico post-ricerca

Il post è uscito alle 01:39 UTC del 27 settembre. Il blog di ingegneria di PlanetScale ha pubblicato "Anatomy of a (Postgres) Search Engine", una guida che spiega come gli indici invertiti, i dizionari dei termini e le liste di posting sostituiscano le scansioni riga per riga che rendono costose le query LIKE '%postgres%'. Il tempismo non è casuale per il settore dei media, anche se il post non parla mai di editoria.

Il traffico da ricerca è ciò che gli editori stanno cercando di sostituire o ricostruire, e il discorso sull'infrastruttura si è spostato di un livello più in basso. Il pezzo di PlanetScale ricorda che il meccanismo dietro la ricerca non è magia. Un indice b-tree ordina i valori di una colonna in un ordine totale e sa trovare un valore esatto, un intervallo o un prefisso. Non riesce a trovare contenuto nel mezzo di una stringa. Quel compito spetta a un indice invertito, che associa ogni singola parola di un campo di testo ai documenti che la contengono.

Il post è abbastanza dettagliato da essere utile agli ingegneri e abbastanza preciso da poter essere verificato. PlanetScale descrive un dizionario dei termini che associa ogni termine presente in tutti i documenti alle liste di posting, con il dizionario salvato su disco come b-tree o come un'altra struttura ordinata lessicograficamente. Le query con wildcard e quelle fuzzy possono scansionare in parte o del tutto quel dizionario: g* trova sia gonna sia give, mentre u~2 trova ogni termine entro due modifiche di carattere, che nell'esempio del post significa you e up.

Perché l'idraulica conta per gli editori

Le liste di posting sono quasi sempre ordinate e compresse. PlanetScale porta un esempio concreto: un indice con 300.000 documenti, di cui 100.000 contengono la parola "who", richiederebbe 19 bit per posting se ogni ID fosse memorizzato alla lettera, ma il divario medio tra ID successivi nell'ordine è tre, che sta in due bit. Le liste dense possono invece essere salvate come bitmap, un bit per documento. L'unione e l'intersezione di liste ordinate richiedono una sola passata O(n), e le operazioni sulle bitmap possono usare istruzioni vettoriali per fare OR o AND su 128, 256 o persino 512 bit alla volta.

È la stessa classe di problema che gli editori affrontano ora dal lato del consumo. Il 28 settembre Digiday ha pubblicato un riepilogo del suo Publishing Summit che descrive come gli editori si stiano riorganizzando per l'era post-ricerca. La stessa mattina, cxotoday.com ha pubblicato un pezzo secondo cui i media indipendenti vengono limitati da Google e da altri giganti dell'AI. Nessuna delle due testate è citata nel post di PlanetScale, e il blog tecnico non affronta affatto il tema del traffico di referral. Il legame è strutturale: la ricerca viene ricostruita su entrambi i lati della query.

I numeri che circolano nella stampa di settore non sono teneri. Tra i titoli recenti seguiti nel dossier ci sono un calo del 40% anno su anno dei referral da Google Search per gli editori, datato 24 settembre, e un rapporto separato sul traffico dai motori di ricerca in calo su tutto il web, con alcuni piccoli siti che registrano un -60%. Quelle cifre vengono dall'aggregazione di titoli e non dalle fonti primarie, quindi vanno lette come indicazione di direzione. La direzione è coerente.

Anche le alternative open source si muovono

Luxir, un motore di ricerca ibrido open source pubblicato il 22 settembre, punta sulla stessa economia. Il suo sito dichiara ricerca full-text, vettoriale e a faccette con analisi da un solo motore, con uno scheduler work-stealing che condivide indicizzazione, merging ed esecuzione delle query su tutti i core, IO di rete asincrono e percorsi SIMD per la decodifica dei posting, lo scoring e la distanza vettoriale. Secondo il progetto, i conteggi delle faccette sono esatti per impostazione predefinita, e le richieste top-k potano con limiti block-max quando chi chiama non chiede un totale esaustivo.

La pagina di Luxir è un sito di prodotto, non un paper con benchmark, e le sue prestazioni dichiarate sono auto-riferite. Lo stesso vale per il post di PlanetScale, pubblicato da un'azienda che vende un database compatibile con Postgres. Entrambi sono utili come descrizioni di architettura e come dichiarazioni di intenti. Nessuno dei due va letto come una misurazione indipendente.

Altrove nel dossier, un paper arXiv del 22 settembre di Jochen Madler di Sitefire, "SlopShape: Identifying AI-Generated Commercial Web Content", propone un rilevatore strutturale per i testi marketing scritti dall'AI. Il paper confronta 2.250 post di blog umani precedenti a ChatGPT, provenienti da 268 domini aziendali, con 11.250 copie generate da cinque modelli di frontiera. Il rilevamento raggiunge un macro-F1 di 98,0 su aziende tenute fuori dall'addestramento, usando solo 187 caratteristiche strutturali, con attribuzione al modello sorgente corretto nel 79,3% dei casi contro una probabilità del 16,7%. Il kappa tra umani è 0,928 e quello tra umano e modello 0,946. Il paper è una v2, rivista il 17 settembre.

La cosa conta per lo stesso motivo dell'infrastruttura di ricerca. Se una quota ampia del contenuto commerciale sul web è generata da macchine, con una forma ordinata e auto-dichiarata, allora il corpus che i motori di ricerca indicizzano cambia nello stesso momento in cui cambiano i motori. Gli editori che si riorganizzano per l'era post-ricerca non competono solo per un posto in una pagina di risultati. Competono per un posto in un corpus che scrive sempre più spesso anche lui.

Due elementi più piccoli nel dossier vanno nella stessa direzione. ParkourNote, uno spazio di lavoro per la ricerca costruito da una sola persona e pubblicato il 28 settembre, importa paper, libri, pagine web e video, li trascrive e li traduce, ed espone la libreria a Claude, ChatGPT o Codex tramite un server MCP. GPU-font, anch'esso pubblicato il 28 settembre, esegue una piccola rete neurale nel browser via WebGPU per riconoscere i font da un'immagine. Sono entrambi progetti individuali, non svolte di piattaforma. Sono anche entrambi esempi dello stesso schema: più capacità, meno server, meno intermediari.

Per gli editori la domanda pratica non cambia. I referral da ricerca calano, il costo tecnico di costruire un prodotto di ricerca cala insieme a loro, e il volume di contenuti sintetici che compete per gli stessi posti nell'indice cresce. Il post di PlanetScale spiega come l'indice trova una parola. Non spiega chi viene trovato.

Commenti 0

Fonti

5
  1. 01Anatomy of a (Postgres) Search EngineEN
  2. 02Luxir: Open-source hybrid search engineEN
  3. 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
  4. 04Show HN: ParkourNoteEN
  5. 05Show HN: GPU-fontEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Giulia Ferrari

Giulia Ferrari

IA, modelli e tecnologie

Giulia Ferrari scrive di tecnologia, IA e modelli e media e internet per FLASH24, partendo da dataset pubblici, preprint e registri di versioni dei modelli. Controlla ogni numero confrontando benchmark dichiarati e risultati riproducibili, e scarta le stime senza fonte. Segue le audizioni in calendario, parla con ricercatori e ingegneri, e mette a confronto release e changelog prima di pubblicare. Fuori dalla redazione smonta stampanti 3D, recupera vecchi computer e studia come i modelli imparano dai rifiuti del web. Non pubblica un dato se non può ricostruirne il percorso.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.