Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Aurora Query, la faille Titan d'un ado de 16 ans et la migration vers Kafka

Le 30 septembre, AWS a permis à Aurora PostgreSQL d'interroger directement des données Apache Iceberg et Parquet. C'est l'un des changements d'infrastructure de données qui touchent cette semaine les équipes d'analyse sportive.

SportActualitéAntoine GirardPublié le: 30 septembre 20266 min de lectureSources 7
Aurora Query, la faille Titan d'un ado de 16 ans et la migration vers Kafka

Les organisations sportives s'appuient sur la même infrastructure que tout le monde. Autrement dit, des stockages objet remplis de Parquet, un entrepôt, une base transactionnelle et une file d'attente pour la synchronisation. Trois articles publiés ces dernières 72 heures décrivent cette tuyauterie qu'on démonte et qu'on remonte. Ces changements pèsent sur la vitesse à laquelle un club, une ligue ou un diffuseur transforme un match en chiffre.

Aurora intègre DuckDB, et l'étape ETL disparaît

AWS a annoncé le 30 septembre qu'Aurora PostgreSQL peut désormais interroger des données opérationnelles en même temps que des données stockées aux formats Apache Iceberg et Parquet. Les applications et outils PostgreSQL existants fonctionnent sans pipeline d'extraction, de transformation et de chargement, ni duplication de données. Les clients créent des tables étrangères PostgreSQL qui pointent vers des données Iceberg ou Parquet dans Amazon S3, Amazon S3 Tables ou le catalogue de données AWS Glue. Aurora exécute ces requêtes via le moteur de DuckDB, intégré à PostgreSQL, selon la note What's New d'AWS. La fonctionnalité est disponible en général sur Aurora PostgreSQL 17.11 et 18.6 et versions supérieures, dans toutes les régions commerciales et GovCloud (US) d'AWS, sans surcoût.

Pour une pile d'analyse sportive, c'est la différence entre un traitement par lots nocturne et une requête lancée pendant que le match se joue encore.

Cela supprime aussi un mode de panne connu. « Y accéder exigeait généralement des pipelines qui copiaient les données de votre lac de données vers Aurora, ce qui faisait grimper les coûts et le travail d'ingénierie à mesure que les schémas évoluaient », écrit AWS. AWS précise que les catalogues externes compatibles REST Catalog d'Iceberg, fédérés via le catalogue de données Glue, fonctionnent aussi. Les charges sensibles à la latence peuvent matérialiser des données Iceberg ou Parquet dans des tables natives Aurora PostgreSQL avec du SQL standard, sans pipeline ETL.

Quantum et Kafka : la migration que personne ne veut faire deux fois

Le fournisseur de stockage objet Tigris a expliqué le 30 septembre pourquoi il a déplacé ses tâches asynchrones hors de FoundationDB, la seule base de données qu'il utilise, vers Kafka. L'article ne cache pas les compromis. Il correspond de près aux charges de données sportives, où un flux de suivi ne doit pas perdre un événement parce qu'un worker est mort.

Tigris avait implémenté l'article QuiCK, le système de files d'attente qu'Apple utilise pour CloudKit, au-dessus de FoundationDB. Cela fonctionnait, mais la planification demandait beaucoup d'écritures et de lectures, en concurrence avec les requêtes des utilisateurs. Chaque tâche exigeait plusieurs écritures pour aboutir. Les nouveaux ingénieurs devaient apprendre du code maison sans implémentation standard.

L'objection de l'entreprise à Kafka mérite d'être citée longuement. C'est celle que reconnaîtront la plupart des équipes de données sportives. « Avez-vous déjà eu l'impression d'être un sac plastique porté par le vent, incapable de repartir à cause de la folie pure qu'il y a à passer des mois à permuter des flags JVM pour arracher l'équivalent d'un spectre de performance et éviter que vos serveurs prennent feu en permanence ? » demande l'article de Tigris. Il admet ensuite que la migration n'a pas été un simple échange : les files d'attente restent dans FoundationDB, tandis que des tâches comme le ramasse-miettes sont passées à Kafka. « Nous avons déplacé des tâches asynchrones comme le ramasse-miettes vers Kafka, nous pouvons réduire la charge de lecture et d'écriture sur FDB et nous débarrasser d'une bonne partie de ce satané code maison », indique l'article.

Quiconque fait tourner un flux de données sportives en direct sur un schéma base-de-données-comme-file d'attente devrait le lire.

17 300 000 000 000 de lignes, un ado de 16 ans et une signature manquante

L'article data le plus lu de la semaine n'est pas un lancement de produit. The Register a rapporté le 30 septembre qu'un chercheur en sécurité de 16 ans nommé Faav a trouvé une faille d'authentification dans Titan, le service d'analyse interne de Microsoft. Il a obtenu un accès administrateur et exécuté du SQL sans identifiants valides. La base qu'il a atteinte contenait environ 17 300 000 000 000 de lignes stockées.

Titan est réservé aux employés de Microsoft via son interface web. Faav, avec un robot de hacking assisté par IA qu'il a construit et baptisé Antares, a atteint l'API de Titan via un hôte Azure Cloud Services. Titan ne vérifiait pas la signature d'un jeton de connexion. Microsoft a depuis verrouillé l'API et versé une prime de 5 000 dollars. « Il était 2 heures du matin », écrit Faav dans un blog consacré à ses trouvailles. « Je voulais crier, ou au moins dire quelque chose à voix haute, mais mes parents dormaient. Alors je suis resté assis à fixer 17 333 335 124 315 et j'ai refait le calcul. »

The Register note que Faav a réécrit son billet à la demande de Microsoft. Il a retiré des passages et des chiffres et reformulé l'impact avant publication. La déclaration de Microsoft à Faav, citée dans le même article, dit : « Leur signalement et leur divulgation coordonnée de vulnérabilité nous ont aidés à mieux protéger nos clients en renforçant nos services. »

Pour les organisations sportives, la conclusion utile n'est pas le nombre de lignes. C'est la leçon que tire Faav : « Titan validait le contenu du JWT (locataire, audience, ID d'application, utilisateur) mais ne vérifiait jamais la signature, la partie la plus importante de tout contrôle d'authentification. » Toute plateforme d'analyse qui ingère des données d'athlètes, médicales ou de supporters repose sur le même contrôle de jeton. La même défaillance ne se signalerait pas d'elle-même.

À qui appartient le pipeline, et qui a le droit d'y regarder

Trois autres articles de la semaine montrent que la couche de gouvernance autour des données sportives devient plus difficile, pas plus simple. The Guardian a rapporté le 29 septembre que le secrétaire américain à la Santé, Robert F Kennedy Jr, a exposé des projets pour relier données médicales et données de mode de vie et les interroger avec l'IA. Il a cité Medicaid comme « un véhicule vraiment utile » avec « des centaines de millions de vies dedans ». La médecine du sport et les données de capteurs portables sont voisines de ce pipeline. Les mêmes questions de consentement et de réutilisation secondaire s'appliquent.

The Guardian a aussi rapporté le 30 septembre que plus de 44 000 personnes ont déposé des objections légales au titre de l'article 21 du RGPD britannique. Ces objections visent la Federated Data Platform du NHS England, propulsée par Palantir, qui traite leurs informations personnelles. Louis Mosley, vice-président exécutif de Palantir pour le Royaume-Uni et l'Europe, a accusé les critiques de « syndrome de dérangement Palantir ». L'entreprise affirme que son logiciel a aidé les trusts à enregistrer 117 000 opérations supplémentaires et une baisse de 14,3 % des retards de sortie pour les patients en séjour long.

Le même jour, 404 Media a rapporté que l'Office of National Drug Control Policy de la Maison-Blanche utilise le programme de subventions HIDTA. Il remonte des données locales de lecteurs de plaques d'immatriculation de Flock, Axon et d'autres fournisseurs vers des serveurs fédéraux. Dans certains cas, il les transmet au National License Plate Reader Program de la DEA. Jeramie Scott, de l'Electronic Privacy Information Center, a déclaré à 404 Media : « Si Flock vous met en colère, alors ceci devrait vous mettre en colère. »

NL Times a rapporté le 30 septembre que la plupart des centres de données européens gardent leur impact environnemental secret. Moins d'un quart des grandes installations néerlandaises publient des chiffres sur l'électricité et l'eau potable. Une obligation de la directive européenne sur l'efficacité énergétique est en vigueur depuis trois ans. Les centres de données du sport sont soumis au même angle mort déclaratif.

Ce que tout cela donne

La direction technique est claire. Les moteurs de requête se déplacent là où les données se trouvent déjà. Les files d'attente se séparent des bases de données. Les fournisseurs eux-mêmes abandonnent la copie ETL que les équipes d'analyse sportive construisent depuis dix ans. La direction de la gouvernance est plus confuse : plus de données reliées, plus d'objections déposées, plus d'infrastructure sous-jacente non divulguée.

Les deux tendances se rejoignent au même endroit. Un club capable d'interroger son lac depuis Aurora en quelques secondes détient aussi des données que régulateurs, militants et attaquants traitent désormais comme une cible. Le pipeline est allé plus vite cette semaine. Les débats autour n'ont pas gagné en simplicité.

Commentaires 0

Sources

7
  1. 01Aurora PostgreSQL now supports querying of Apache Iceberg and Parquet dataEN
  2. 02We used a database as a message queue. Now we use Kafka.EN
  3. 0316-year-old found Microsoft bug, got admin access to databases with 17.3 trillion rowsEN
  4. 04RFK Jr outlines expansive vision for collecting US health data at Maha eventEN
  5. 05More than 44,000 file legal objections to Palantir NHS platform handling their dataEN
  6. 06How Cities Are Forced to Funnel License Plate Data to a Massive Federal Surveillance ProgramEN
  7. 07Most data centers refusing to say how much water, electricity they useEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Antoine Girard

Antoine Girard

Sport, auto et voyages

Antoine Girard suit le sport, l'automobile et les voyages pour FLASH24, en s'appuyant sur les dépêches d'agences, les communiqués officiels et les données chronométrées, sans reprendre une information sans source. Il vérifie les temps, les classements et les fiches techniques en croisant au moins deux documents, et recalcule lui-même les écarts et les consommations annoncées. Il interroge mécaniciens, organisateurs et constructeurs, et attend les salons et les lancements de modèles pour comparer les chiffres sur place. Cette même exigence le suit en privé, où il roule en voiture électrique, démonte et remonte des moteurs dans son garage et traverse l'Europe en train. Il ne publie pas un chiffre qu'il n'a pas pu contrôler.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.