Aurora Query, der Titan-Einbruch eines 16-Jährigen und die Kafka-Migration
Am 30. September hat AWS Aurora PostgreSQL so erweitert, dass die Datenbank Apache-Iceberg- und Parquet-Daten direkt abfragt. Es ist eine von mehreren Änderungen an der Dateninfrastruktur, die diese Woche Sportanalytics-Teams betreffen.

Sportorganisationen verlassen sich auf dieselbe Infrastruktur wie alle anderen. Das heißt: Objektspeicher voller Parquet-Dateien, ein Warehouse, eine transaktionale Datenbank und eine Queue für die Synchronisierung. Drei Geschichten aus den letzten 72 Stunden beschreiben, wie diese Leitungen auseinandergenommen und neu zusammengesetzt werden. Die Änderungen bestimmen, wie schnell ein Verein, eine Liga oder ein Sender aus einem Spiel eine Zahl machen kann.
Aurora bekommt DuckDB, und der ETL-Schritt verschwindet
AWS hat am 30. September angekündigt, dass Aurora PostgreSQL jetzt Betriebsdaten zusammen mit Daten in Apache-Iceberg- und Parquet-Formaten abfragen kann. Bestehende PostgreSQL-Anwendungen und -Werkzeuge funktionieren weiter, ohne Extract-Transform-Load-Pipelines oder Datenvervielfältigung. Kunden legen PostgreSQL-Fremdtabellen an, die auf Iceberg- oder Parquet-Daten in Amazon S3, Amazon S3 Tables oder im AWS Glue Data Catalog verweisen. Aurora führt diese Abfragen über die DuckDB-Engine aus, die in PostgreSQL eingebettet ist, so der AWS-What's-New-Beitrag. Die Funktion ist allgemein verfügbar auf Aurora PostgreSQL 17.11 und 18.6 und höher in allen kommerziellen AWS-Regionen und GovCloud (US) Regions, ohne zusätzliche Kosten.
Für einen Sportanalytics-Stack ist das der Unterschied zwischen einem nächtlichen Batch und einer Abfrage, die läuft, während das Spiel noch läuft.
Es beseitigt außerdem eine bekannte Fehlerquelle. "Accessing it has typically required pipelines that copy data from your data lake into Aurora, driving up costs and engineering work as schemas evolve", schrieb AWS. AWS zufolge funktionieren auch externe, Iceberg-REST-Catalog-kompatible Kataloge, die über den Glue Data Catalog föderiert werden. Latenzempfindliche Workloads können Iceberg- oder Parquet-Daten mit Standard-SQL in native Aurora-PostgreSQL-Tabellen materialisieren, ohne ETL-Pipeline.
Quantum und Kafka: die Migration, die niemand zweimal machen will
Der Objektspeicher-Anbieter Tigris hat am 30. September beschrieben, warum er asynchrone Arbeit aus FoundationDB, der einzigen von ihm genutzten Datenbank, heraus und auf Kafka verlagert hat. Der Beitrag ist offen über die Kompromisse. Er passt gut zu Sportdaten-Workloads, bei denen ein Tracking-Feed kein Ereignis verlieren darf, weil ein Worker ausgefallen ist.
Tigris hatte das QuiCK-Paper umgesetzt, das Queuing-System, das Apple für CloudKit verwendet, und zwar auf Basis von FoundationDB. Es funktionierte, aber die Planung erforderte viele Schreib- und Scanvorgänge, die mit Benutzeranfragen konkurrierten. Jede Aufgabe brauchte mehrere Schreibvorgänge, um abgeschlossen zu werden. Neue Ingenieure mussten eigenen Code lernen, für den es keine Standardimplementierung gab.
Der Einwand des Unternehmens gegen Kafka verdient ein längeres Zitat. Es ist der Einwand, den die meisten Sportdaten-Teams wiedererkennen werden. "Have you ever felt like a plastic bag drifting through the wind but unable to start again because of the sheer madness that comes with spending months permuting JVM flags to try to eke out a spectre's worth of performance so that your servers aren't constantly on fire?", fragt der Tigris-Beitrag. Dann räumt er ein, dass die Migration kein sauberer Tausch war: Queues bleiben in FoundationDB, während Aufgaben wie Garbage Collection zu Kafka wanderten. "We moved asynchronous tasks like garbage collection to Kafka, we can reduce the read and write load on FDB and shave off a good amount of that pesky custom code", heißt es in dem Beitrag.
Wer einen Live-Sportdaten-Feed nach dem Muster Datenbank-als-Queue betreibt, sollte ihn lesen.
17,3 Billionen Zeilen, ein 16-Jähriger und eine fehlende Signatur
Die meistgelesene Daten-Geschichte der Woche ist kein Produktlaunch. The Register berichtete am 30. September, dass ein 16-jähriger Sicherheitsforscher namens Faav eine Authentifizierungslücke in Microsofts internem Analysedienst Titan fand. Er erhielt Administratorzugriff und führte SQL ohne gültige Anmeldedaten aus. Die Datenbank, zu der er gelangte, enthielt schätzungsweise 17.300.000.000.000 gespeicherte Zeilen.
Titan ist über seine Weboberfläche auf Microsoft-Mitarbeiter beschränkt. Faav erreichte die Titan-API über einen Azure-Cloud-Services-Host, mit einem selbstgebauten KI-Hackbot namens Antares. Titan prüfte die Signatur eines Login-Tokens nicht. Microsoft hat die API inzwischen abgesichert und ein Bug-Bounty von 5.000 Dollar gezahlt. "It was 2 AM", schrieb Faav in einem Blogbeitrag über die Funde. "I wanted to yell, or at least say something out loud, but my parents were asleep. So I just sat there staring at 17.333.335.124.315 and checked the math again."
The Register merkt an, dass Faav seinen Blogbeitrag auf Bitte von Microsoft überarbeitete. Er strich Abschnitte und Zahlen und formulierte die Auswirkungen vor der Veröffentlichung neu. Microsofts Erklärung an Faav, im selben Artikel wiedergegeben, lautet: "Their submission and coordinated vulnerability disclosure helped us to better protect our customers by hardening our services."
Für Sportorganisationen ist der relevante Befund nicht die Zeilenzahl. Es ist die Lehre, die Faav zog: "Titan validated the contents of the JWT (tenant, audience, app ID, user) but never verified the signature, the most important part of any authentication check." Jede Analyseplattform, die Athleten-, Medizin- oder Fan-Daten aufnimmt, verlässt sich auf dieselbe Token-Prüfung. Derselbe Fehler würde sich nicht ankündigen.
Wem die Pipeline gehört und wer hineinsehen darf
Drei weitere Geschichten dieser Woche zeigen, dass die Governance-Schicht um Sportdaten schwieriger wird, nicht einfacher. The Guardian berichtete am 29. September, dass der US-Gesundheitsminister Robert F Kennedy Jr Pläne vorstellte, Medizin- und Lebensstildaten zu verknüpfen und mit KI zu durchsuchen. Er nannte Medicaid "a really useful vehicle" mit "hundreds of millions of lives in there". Sportmedizin und Wearable-Daten liegen neben dieser Pipeline. Dieselben Fragen zu Einwilligung und Sekundärnutzung gelten.
The Guardian berichtete außerdem am 30. September, dass mehr als 44.000 Menschen nach Artikel 21 der UK GDPR rechtliche Widersprüche eingelegt haben. Die Widersprüche betreffen die von Palantir betriebene Federated Data Platform von NHS England, die ihre persönlichen Informationen verarbeitet. Palantirs Executive Vice President für Großbritannien und Europa, Louis Mosley, hat Kritiker des "Palantir derangement syndrome" bezichtigt. Das Unternehmen sagt, seine Software habe Trusts geholfen, 117.000 zusätzliche Operationen zu erfassen und Entlassungsverzögerungen bei Langzeitpatienten um 14,3% zu senken.
Am selben Tag berichtete 404 Media, dass das Office of National Drug Control Policy des Weißen Hauses das HIDTA-Förderprogramm nutzt. Es zieht lokale Kennzeichenleser-Daten von Flock, Axon und anderen Anbietern auf föderale Server. In einigen Fällen leitet es sie an das National License Plate Reader Program der DEA weiter. Jeramie Scott vom Electronic Privacy Information Center sagte zu 404 Media: "If you're pissed about Flock then you should be pissed about this."
NL Times berichtete am 30. September, dass die meisten europäischen Rechenzentren ihre Umweltauswirkungen geheim halten. Weniger als ein Viertel der größeren niederländischen Einrichtungen veröffentlicht Strom- und Trinkwasserzahlen. Eine Verpflichtung aus der europäischen Energieeffizienzrichtlinie gilt seit drei Jahren. Die Rechenzentren des Sports unterliegen derselben Berichtslücke.
Was das zusammengenommen bedeutet
Die technische Richtung ist klar. Abfrage-Engines wandern dorthin, wo die Daten bereits liegen. Queues werden von Datenbanken getrennt. Die Anbieter selbst verabschieden sich von der ETL-Kopie, die Sportanalytics-Teams ein Jahrzehnt lang gebaut haben. Die Governance-Richtung ist unübersichtlicher: mehr verknüpfte Daten, mehr eingelegte Widersprüche, mehr nicht offengelegte Infrastruktur darunter.
Die beiden Trends treffen am selben Punkt zusammen. Ein Verein, der seinen Lake in Sekunden von Aurora aus abfragen kann, hält auch Daten, die Regulierer, Aktivisten und Angreifer inzwischen als Ziel behandeln. Die Pipeline ist diese Woche schneller geworden. Die Debatten darüber sind nicht einfacher geworden.
Quellen
7- 01Aurora PostgreSQL now supports querying of Apache Iceberg and Parquet dataEN
- 02We used a database as a message queue. Now we use Kafka.EN
- 0316-year-old found Microsoft bug, got admin access to databases with 17.3 trillion rowsEN
- 04RFK Jr outlines expansive vision for collecting US health data at Maha eventEN
- 05More than 44,000 file legal objections to Palantir NHS platform handling their dataEN
- 06How Cities Are Forced to Funnel License Plate Data to a Massive Federal Surveillance ProgramEN
- 07Most data centers refusing to say how much water, electricity they useEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.