Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Postgres, Luxir e SlopShape: la ricerca si ricostruisce mentre il traffico degli editori cala

Il 27 settembre PlanetScale ha pubblicato un approfondimento tecnico sulla ricerca full-text in Postgres, l'ultimo di una settimana di annunci infrastrutturali che arriva mentre gli editori segnalano forti cali nei referral dai motori di ricerca.

Media e internetAnalisiChiara RomanoPubblicato: 28 settembre 20266 min di letturaFonti 5
Postgres, Luxir e SlopShape: la ricerca si ricostruisce mentre il traffico degli editori cala

La novità più recente nello stack della ricerca, questa settimana, non viene da un motore di ricerca. Il 27 settembre PlanetScale ha pubblicato "Anatomy of a (Postgres) Search Engine", un approfondimento tecnico su come funzionano gli indici invertiti dentro Postgres e su come si distinguono dai b-tree a cui la maggior parte degli sviluppatori ricorre per prima cosa.

Il testo di PlanetScale ricorda che la ricerca ormai è una funzione del database, non solo una categoria di prodotto. "Un b-tree è inutile per trovare contenuto nel mezzo di una stringa", scrive l'azienda, prima di mostrare lo schema che vuole convincere gli sviluppatori ad abbandonare: una query che controlla ogni riga di una tabella con un LIKE e un carattere jolly iniziale. L'alternativa, un indice invertito indicizzato per ogni singola parola di un campo, è il modo in cui "praticamente tutti i motori di ricerca full-text" individuano i documenti, secondo il post. È un dettaglio architetturale piccolo, con conseguenze grandi sulla velocità con cui un database risponde a una domanda. L'approfondimento è insolitamente concreto sul meccanismo. Un indice invertito ha un dizionario dei termini e delle posting list, e può aggiungere sopra dati posizionali e di frequenza. Le posting list vengono ordinate e poi compresse: PlanetScale fa l'esempio di un indice con 300.000 documenti, 100.000 dei quali contengono la parola "who". Salvare ogni ID per esteso richiederebbe 19 bit per posting, ma la distanza media tra ID successivi è tre, che sta in due bit. Le liste dense possono spingersi oltre e memorizzare una bitmap, che diventa ottimale quando circa metà dei documenti contiene un termine. È un dettaglio di compressione, ma spiega perché la ricerca su grandi corpora sia sostenibile e perché il motore di query possa fare l'unione o l'intersezione di due posting list in un solo passaggio O(n). PlanetScale nota anche che le istruzioni vettoriali delle CPU recenti possono fare OR o AND su 128, 256 o persino 512 bit in una sola istruzione, quando le liste sono memorizzate come bitmap.

Luxir propone la ricerca a spettro completo in un unico motore

Cinque giorni prima, il 22 settembre, un altro progetto chiamato Luxir ha pubblicato la propria proposta: un motore open source che unisce ricerca full-text, vettoriale e a faccette con l'analytics in una sola richiesta. Il sito di Luxir imposta l'argomento sui costi più che sulle funzioni, dicendo di essere "progettato per il massimo della ricerca per core, per gigabyte e per dollaro", e che i clienti cloud "pagano l'inefficienza per sempre".

Le dichiarazioni sull'architettura sono precise. Uno scheduler work-stealing condivide indicizzazione, merging ed esecuzione delle query tra i core, il network IO è asincrono così un client lento non occupa un core, e i segmenti sono immutabili e mappati in memoria così vengono letti dalla page cache. La decodifica delle posting, lo scoring e la distanza vettoriale passano su percorsi SIMD, con block-max pruning per le richieste top-k. Luxir prende anche posizione sui conteggi, cosa che conta per chi costruisce una interfaccia di ricerca. I conteggi delle faccette sono "sempre esatti per impostazione predefinita", dice il progetto, e i conteggi totali dei risultati sono esatti quando la richiesta li chiede e potati quando non li chiede. Query, faccette e metriche girano nello stesso passaggio sulla stessa vista dell'indice, così un solo round trip restituisce documenti, conteggi della barra laterale e numeri di intestazione insieme.

Entrambi i post descrivono impianti che la maggior parte degli utenti non vede mai. Ma sono lo strato in cui si decide l'economia della ricerca, e quell'economia sta cambiando in fretta.

Un rilevatore che legge la struttura, non il lessico

Lo stesso giorno del lancio di Luxir, un articolo su arXiv ha preso di mira il contenuto che riempie questi indici. "SlopShape: Identifying AI-Generated Commercial Web Content", inviato il 14 settembre e rivisto il 17 settembre, si chiede se il testo generato dall'AI si possa identificare dalle firme strutturali, cioè da come l'informazione è presentata, in che ordine, con quali prove e con quale voce. L'autore, Jochen Madler di Sitefire, ha replicato il lavoro StoryScope di Russell et al. sul contenuto commerciale: 2.250 post di blog umani precedenti a ChatGPT da 268 domini aziendali, contro 11.250 speculari generati dall'AI da cinque modelli di frontiera. Uno strumento a 214 caratteristiche, applicato da un LLM e validato in una sessione di annotazione umana con kappa uomo-uomo di 0,928 e kappa uomo-modello di 0,946, ha individuato i post AI dalle sole 187 caratteristiche strutturali con un macro-F1 del 98,0 su aziende tenute fuori. Riformulare ogni post AI con il suo stesso modello ha lasciato il punteggio invariato a 98,1.

L'articolo rivendica anche l'attribuzione. I post AI condividono "una forma ordinata e auto-dichiarata", il 79,3 per cento è attribuito al modello di origine corretto contro un tasso casuale del 16,7 per cento, e i post umani occupano configurazioni strutturali rare. La pipeline, lo strumento, i prompt e il codice sono rilasciati.

Il risultato conta per la ricerca perché la struttura è esattamente ciò che consumano i sistemi di ranking e i motori di risposta basati su AI. Se il contenuto commerciale del web ha una forma rilevabile, allora il corpus che i motori di ricerca indicizzano sta diventando più uniforme proprio mentre gli strumenti per indicizzarlo diventano più veloci ed economici.

Gli editori sono quelli che pagano

I titoli che circondano il dossier puntano nella direzione opposta. La copertura recente citata nel dossier include un rapporto secondo cui il calo della ricerca Google si è inasprito al 40 per cento anno su anno per gli editori, datato 24 settembre, e un altro elemento secondo cui i Google Search Profile Badges espongono la crisi del traffico degli editori, datato 16 settembre. Voci più vecchie descrivono il traffico dai motori di ricerca in calo su tutto il web, con alcuni piccoli siti che registrano un calo del 60 per cento, e la ricerca AI di Google che minaccia i piccoli editori mentre l'AI conversazionale taglia il traffico ai siti. Alcune di quelle date stanno fuori dall'ultima settimana, quindi sono sfondo e non notizia. Ma impostano la cornice per i rilasci tecnici di cui sopra: il costo di costruire un indice di ricerca continua a scendere, e il traffico che quell'indice rimanda agli editori scende insieme.

Altri due elementi del dossier mostrano quanto ampio sia diventato il campo. Il 26 settembre CleanTechnica ha aperto le candidature per la propria divisione editoriale, offrendo agli autori una via alla pubblicazione per una quota anticipata da 3.000 a 5.000 dollari più una percentuale su ogni libro venduto, con un Google Hangout fissato per il 30 settembre. Il 24 settembre, l'hub di contenuti tecnici di Wiley ha pubblicato un white paper, sponsorizzato da Hendrix by Marmon Utility, sulla costruzione delle uscite in sottostazione, sostenendo che l'affidabilità nei primi tratti fuori da una stazione ha un peso insolito perché un singolo guasto dovuto a un contatto lì può interrompere molti circuiti in una volta.

Nessuno dei due è una storia di ricerca, a prima vista. Ma entrambi sono contenuti commerciali rivolti a un pubblico specifico, prodotti sotto il nome di uno sponsor o il marchio di un editore, cioè la stessa categoria che l'articolo SlopShape prova a classificare. La tesi dell'articolo è che questo contenuto ha una forma: un certo ordine, un certo tipo di prove, una certa voce. Se regge, la prossima generazione di motori di ricerca dovrà decidere cosa farne.

Per ora, il lato infrastruttura si muove più in fretta del lato politiche. PlanetScale sta distribuendo TIN, il suo indice di ricerca full-text per Postgres, e annuncia un articolo più approfondito su funzioni, prestazioni e implementazione. Luxir è scaricabile, con un'API HTTP/JSON sulla porta 9.400 e una directory dati per la persistenza. L'articolo su arXiv è pubblico, con codice e artefatti allegati.

Nessuno di loro risolve dove vadano i lettori. I motori di ricerca stanno diventando più bravi a trovare documenti, e gli editori riferiscono che meno persone arrivano fino a loro. Quel divario è la storia a cui gli strumenti non hanno ancora risposto.

Commenti 0

Fonti

5
  1. 01Anatomy of a (Postgres) Search EngineEN
  2. 02Luxir: Open-source hybrid search engineEN
  3. 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
  4. 04Publish Your Book Through CleanTechnica PressEN
  5. 05Engineering the Substation Exit for Reliability, Capacity, and ExpansionEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.