Aurora Query, la breccia nel Titan di un sedicenne e la migrazione a Kafka
Il 30 settembre AWS ha permesso ad Aurora PostgreSQL di interrogare direttamente i dati Apache Iceberg e Parquet. È una delle diverse novità nell'infrastruttura dati che questa settimana riguardano i team di analisi sportiva.

Le organizzazioni sportive si appoggiano alla stessa infrastruttura di tutti gli altri. Vale a dire object store pieni di Parquet, un warehouse, un database transazionale e una coda per la sincronizzazione. Tre storie pubblicate nelle ultime 72 ore raccontano di questa impalcatura smontata e rimontata. Le novità incidono su quanto in fretta una società, un campionato o un'emittente riescono a trasformare una partita in un numero.
Aurora aggiunge DuckDB e lo step ETL sparisce
Il 30 settembre AWS ha annunciato che Aurora PostgreSQL può ora interrogare i dati operativi insieme a quelli salvati nei formati Apache Iceberg e Parquet. Usa le applicazioni e gli strumenti PostgreSQL esistenti, senza pipeline di estrazione, trasformazione e caricamento né duplicazione dei dati. I clienti creano tabelle esterne PostgreSQL che rimandano a dati Iceberg o Parquet su Amazon S3, Amazon S3 Tables o AWS Glue Data Catalog. Aurora esegue queste query tramite il motore di DuckDB, incorporato in PostgreSQL, secondo il post What's New di AWS. La funzione è disponibile in generale su Aurora PostgreSQL 17.11 e 18.6 e versioni successive in tutte le regioni commerciali AWS e GovCloud (US), senza costi aggiuntivi.
Per uno stack di analisi sportiva è la differenza tra un batch notturno e una query che gira mentre la partita è ancora in corso.
Elimina anche un modo di fallire ben noto. "Accedervi ha di solito richiesto pipeline che copiano i dati dal data lake in Aurora, facendo salire i costi e il lavoro di ingegneria man mano che gli schemi cambiano", ha scritto AWS. AWS precisa che funzionano anche i cataloghi esterni compatibili con Iceberg REST Catalog federati tramite Glue Data Catalog. I carichi sensibili alla latenza possono materializzare i dati Iceberg o Parquet in tabelle native Aurora PostgreSQL con SQL standard, senza pipeline ETL.
Quantum e Kafka: la migrazione che nessuno vuole fare due volte
Il 30 settembre il fornitore di object storage Tigris ha spiegato perché ha spostato il lavoro asincrono fuori da FoundationDB, l'unico database che usa, e su Kafka. Il post è schietto sui compromessi. Somiglia molto ai carichi di dati sportivi, dove un flusso di tracciamento non deve perdere un evento perché un worker è morto.
Tigris aveva implementato il paper QuiCK, il sistema di accodamento che Apple usa per CloudKit, sopra FoundationDB. Funzionava, ma la pianificazione richiedeva molte scritture e scansioni, in competizione con le richieste degli utenti. Ogni attività richiedeva più scritture per essere completata. I nuovi ingegneri dovevano imparare codice personalizzato che non aveva un'implementazione standard.
L'obiezione dell'azienda a Kafka merita di essere citata per esteso. È l'obiezione che riconosceranno quasi tutti i team di dati sportivi. "Vi è mai capitato di sentirvi come un sacchetto di plastica che vaga nel vento ma non riesce più a ripartire per la pura follia di passare mesi a permutare flag della JVM per strappare un sussurro di prestazioni e non avere i server costantemente in fiamme?", chiede il post di Tigris. Poi ammette che la migrazione non è stata uno scambio pulito: le code restano in FoundationDB, mentre attività come la garbage collection sono passate a Kafka. "Abbiamo spostato attività asincrone come la garbage collection su Kafka, possiamo ridurre il carico di lettura e scrittura su FDB e tagliare una buona parte di quel fastidioso codice personalizzato", si legge nel post.
Chiunque gestisca un flusso di dati sportivi in tempo reale con il pattern database-come-coda dovrebbe leggerlo.
17.300 miliardi di righe, un sedicenne e una firma che manca
La storia sui dati più letta della settimana non è il lancio di un prodotto. Il 30 settembre The Register ha riferito che un ricercatore di sicurezza sedicenne di nome Faav ha trovato un difetto di autenticazione nel servizio di analisi interno di Microsoft, Titan. Ha ottenuto l'accesso da amministratore ed eseguito SQL senza credenziali valide. Il database raggiunto conteneva circa 17.300.000.000.000 di righe archiviate.
Titan è riservato ai dipendenti Microsoft tramite la sua interfaccia web. Faav, lavorando con un hackbot basato su AI che ha costruito e chiamato Antares, ha raggiunto l'API di Titan attraverso un host di Azure Cloud Services. Titan non controllava la firma su un token di login. Microsoft ha poi bloccato l'API e pagato una bug bounty da 5.000 dollari. "Erano le 2 di notte", ha scritto Faav in un blog sui risultati. "Volevo urlare, o almeno dire qualcosa ad alta voce, ma i miei genitori dormivano. Così sono rimasto seduto a fissare 17.333.335.124.315 e a ricontrollare i calcoli."
The Register nota che Faav ha riscritto il suo post su richiesta di Microsoft. Ha tagliato sezioni e numeri e riformulato l'impatto prima della pubblicazione. La dichiarazione di Microsoft a Faav, riportata nello stesso articolo, dice: "La loro segnalazione e la divulgazione coordinata della vulnerabilità ci hanno aiutato a proteggere meglio i nostri clienti rafforzando i nostri servizi."
Per le organizzazioni sportive il dato rilevante non è il numero di righe. È la lezione che Faav ne ha tratto: "Titan validava il contenuto del JWT (tenant, audience, app ID, utente) ma non verificava mai la firma, la parte più importante di qualsiasi controllo di autenticazione." Ogni piattaforma di analisi che raccoglie dati di atleti, sanitari o tifosi si basa sullo stesso controllo del token. Lo stesso errore non si annuncerebbe da solo.
Chi possiede la pipeline e chi può guardarci dentro
Altre tre storie di questa settimana mostrano che lo strato di governance intorno ai dati sportivi sta diventando più difficile, non più semplice. Il 29 settembre The Guardian ha riferito che il segretario alla Salute degli Stati Uniti Robert F Kennedy Jr ha illustrato piani per collegare dati medici e di stile di vita e interrogarli con l'AI. Ha citato Medicaid come "un veicolo davvero utile" con "centinaia di milioni di vite lì dentro". La medicina sportiva e i dati dei wearable stanno accanto a quella pipeline. Valgono le stesse domande su consenso e uso secondario.
The Guardian ha anche riferito il 30 settembre che oltre 44.000 persone hanno presentato obiezioni legali ai sensi dell'articolo 21 del GDPR britannico. Le obiezioni riguardano la Federated Data Platform di NHS England, alimentata da Palantir, che tratta i loro dati personali. Louis Mosley, vicepresidente esecutivo di Palantir per Regno Unito ed Europa, ha accusato i critici di "sindrome di Palantir". L'azienda sostiene che il suo software ha aiutato i trust a registrare 117.000 interventi in più e una riduzione del 14,3% nei ritardi di dimissione per i pazienti di lunga degenza.
Lo stesso giorno 404 Media ha riferito che l'Office of National Drug Control Policy della Casa Bianca usa il programma di sovvenzioni HIDTA. Raccoglie i dati dei lettori di targhe locali da Flock, Axon e altri fornitori su server federali. In alcuni casi li inoltra al National License Plate Reader Program della DEA. Jeramie Scott dell'Electronic Privacy Information Center ha detto a 404 Media: "Se siete arrabbiati per Flock, dovreste essere arrabbiati per questo."
Il 30 settembre NL Times ha riferito che la maggior parte dei data center europei tiene segreto il proprio impatto ambientale. Meno di un quarto delle strutture olandesi più grandi pubblica i dati su elettricità e acqua potabile. Un obbligo della direttiva europea sull'efficienza energetica è in vigore da tre anni. I data center dello sport sono soggetti allo stesso vuoto di rendicontazione.
Che cosa se ne ricava
La direzione tecnica è chiara. I motori di query si spostano dove i dati già risiedono. Le code si separano dai database. I fornitori stessi stanno dismettendo la copia ETL che i team di analisi sportiva hanno costruito per un decennio. La direzione della governance è più confusa: più dati collegati, più obiezioni presentate, più infrastruttura di base non divulgata.
Le due tendenze si incontrano nello stesso punto. Una società che può interrogare il proprio lake da Aurora in pochi secondi detiene anche dati che regolatori, attivisti e attaccanti ora trattano come un bersaglio. Questa settimana la pipeline è diventata più veloce. Le discussioni su di essa non sono diventate più semplici.
Fonti
7- 01Aurora PostgreSQL now supports querying of Apache Iceberg and Parquet dataEN
- 02We used a database as a message queue. Now we use Kafka.EN
- 0316-year-old found Microsoft bug, got admin access to databases with 17.3 trillion rowsEN
- 04RFK Jr outlines expansive vision for collecting US health data at Maha eventEN
- 05More than 44,000 file legal objections to Palantir NHS platform handling their dataEN
- 06How Cities Are Forced to Funnel License Plate Data to a Massive Federal Surveillance ProgramEN
- 07Most data centers refusing to say how much water, electricity they useEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.