Aurora Query, włamanie 16-latka do Titana i migracja na Kafkę
30 września AWS pozwolił, by Aurora PostgreSQL odpytywała dane Apache Iceberg i Parquet bezpośrednio. To jedna z kilku zmian w infrastrukturze danych, które w tym tygodniu dotknęły zespoły analityki sportowej.

Organizacje sportowe korzystają z tej samej infrastruktury co wszyscy inni. Mają więc magazyny obiektowe pełne plików Parquet, hurtownię, bazę transakcyjną i kolejkę do synchronizacji. Trzy teksty opublikowane w ciągu ostatnich 72 godzin opisują, jak te rury zostały rozkręcone i złożone na nowo. Zmiany wpływają na to, jak szybko klub, liga albo nadawca zamieni mecz w liczbę.
Aurora dodaje DuckDB i etap ETL znika
AWS ogłosił 30 września, że Aurora PostgreSQL może teraz odpytywać dane operacyjne obok danych zapisanych w formatach Apache Iceberg i Parquet. Wykorzystuje do tego istniejące aplikacje i narzędzia PostgreSQL, bez potoków extract, transform i load oraz bez duplikowania danych. Klienci tworzą tabele zewnętrzne PostgreSQL, które wskazują dane Iceberg lub Parquet w Amazon S3, Amazon S3 Tables albo AWS Glue Data Catalog. Zapytania Aurora wykonuje przez silnik DuckDB osadzony w PostgreSQL, podaje wpis AWS What's New. Funkcja jest ogólnie dostępna w Aurora PostgreSQL 17.11 i 18.6 oraz nowszych we wszystkich komercyjnych regionach AWS i w GovCloud (US), bez dodatkowych opłat.
Dla stosu analityki sportowej to różnica między nocnym batchem a zapytaniem, które leci, gdy mecz jeszcze trwa.
Znika też znany tryb awarii. "Accessing it has typically required pipelines that copy data from your data lake into Aurora, driving up costs and engineering work as schemas evolve", napisał AWS. Firma podaje, że działają również zewnętrzne katalogi zgodne z Iceberg REST Catalog, sfederowane przez Glue Data Catalog. Obciążenia wrażliwe na opóźnienia mogą zmaterializować dane Iceberg lub Parquet w natywnych tabelach Aurora PostgreSQL standardowym SQL, bez potoku ETL.
Quantum i Kafka: migracja, której nikt nie chce robić dwa razy
Dostawca pamięci obiektowej Tigris opisał 30 września, dlaczego przeniósł zadania asynchroniczne z FoundationDB, jedynej bazy, której używa, na Kafkę. Wpis mówi otwarcie o kompromisach. Pasuje do obciążeń danych sportowych, gdzie strumień śledzenia nie może zgubić zdarzenia, bo padł proces roboczy.
Tigris zaimplementował pracę QuiCK, system kolejek, którego Apple używa w CloudKit, na FoundationDB. Działało, ale planowanie wymagało wielu zapisów i skanów, które konkurowały z żądaniami użytkowników. Każde zadanie potrzebowało kilku zapisów, żeby się zakończyć. Nowi inżynierowie musieli uczyć się własnego kodu, który nie miał standardowej implementacji.
Zastrzeżenie firmy wobec Kafki warto przytoczyć w całości. To samo zastrzeżenie rozpozna większość zespołów danych sportowych. "Have you ever felt like a plastic bag drifting through the wind but unable to start again because of the sheer madness that comes with spending months permuting JVM flags to try to eke out a spectre's worth of performance so that your servers aren't constantly on fire?", pyta wpis Tigrisa. Potem przyznaje, że migracja nie była czystą wymianą: kolejki zostały w FoundationDB, a zadania takie jak odśmiecanie pamięci przeniosły się na Kafkę. "We moved asynchronous tasks like garbage collection to Kafka, we can reduce the read and write load on FDB and shave off a good amount of that pesky custom code", głosi tekst.
Kto prowadzi strumień danych sportowych na wzorcu baza jako kolejka, powinien to przeczytać.
17,3 biliona wierszy, 16-latek i brakująca sygnatura
Najczęściej czytaną historią tygodnia nie jest premiera produktu. The Register poinformował 30 września, że 16-letni badacz bezpieczeństwa o imieniu Faav znalazł błąd uwierzytelniania w wewnętrznej usłudze analitycznej Microsoftu o nazwie Titan. Uzyskał dostęp administratora i uruchamiał SQL bez ważnych poświadczeń. Baza, do której dotarł, zawierała szacunkowo 17,3 biliona zapisanych wierszy.
Titan jest dostępny tylko dla pracowników Microsoftu przez interfejs webowy. Faav, pracując z zbudowanym przez siebie botem hakerskim o nazwie Antares, dotarł do API Titana przez host Azure Cloud Services. Titan nie sprawdził sygnatury tokenu logowania. Microsoft zablokował od tego czasu API i wypłacił 5 000 dolarów nagrody za błąd. "It was 2 AM", napisał Faav we wpisie o odkryciu. "I wanted to yell, or at least say something out loud, but my parents were asleep. So I just sat there staring at 17 333 335 124 315 and checked the math again."
The Register odnotowuje, że Faav przepisał swój wpis na prośbę Microsoftu. Wyciął fragmenty i liczby, a opis skutków przeformułował przed publikacją. Oświadczenie Microsoftu dla Faava, przytoczone w tym samym tekście, brzmi: "Their submission and coordinated vulnerability disclosure helped us to better protect our customers by hardening our services."
Dla organizacji sportowych istotny nie jest rozmiar bazy. Istotny jest wniosek Faava: "Titan validated the contents of the JWT (tenant, audience, app ID, user) but never verified the signature, the most important part of any authentication check." Każda platforma analityczna, która przyjmuje dane zawodników, medyczne albo kibiców, opiera się na tym samym sprawdzeniu tokenu. Ta sama awaria nie dałaby o sobie znać.
Kto jest właścicielem potoku i kto może zajrzeć do środka
Trzy inne teksty z tego tygodnia pokazują, że warstwa zarządzania wokół danych sportowych staje się trudniejsza, nie łatwiejsza. The Guardian poinformował 29 września, że amerykański sekretarz zdrowia Robert F Kennedy Jr przedstawił plany połączenia danych medycznych i dotyczących stylu życia oraz przeszukiwania ich za pomocą AI. Wskazał Medicaid jako "a really useful vehicle" z "hundreds of millions of lives in there". Medycyna sportowa i dane z noszonych urządzeń leżą tuż obok tego potoku. Te same pytania o zgodę i wtórne wykorzystanie pozostają aktualne.
The Guardian podał też 30 września, że ponad 44 000 osób złożyło sprzeciwy prawne na podstawie artykułu 21 unijnego RODO w wersji brytyjskiej. Sprzeciwy dotyczą tego, jak NHS England przetwarza ich dane osobowe w Federated Data Platform opartej na Palantirze. Wiceprezes Palantira na Wielką Brytanię i Europę, Louis Mosley, oskarżył krytyków o "Palantir derangement syndrome". Firma twierdzi, że jej oprogramowanie pomogło trustom odnotować 117 000 dodatkowych operacji i 14,3% mniej opóźnień w wypisach pacjentów długoterminowych.
Tego samego dnia 404 Media poinformowało, że Biuro Polityki Krajowej ds. Kontroli Narkotyków Białego Domu korzysta z programu grantowego HIDTA. Ściąga lokalne dane z czytników tablic rejestracyjnych od Flock, Axon i innych dostawców na serwery federalne. W niektórych przypadkach przekazuje je do Narodowego Programu Czytników Tablic Rejestracyjnych DEA. Jeramie Scott z Electronic Privacy Information Center powiedział 404 Media: "If you're pissed about Flock then you should be pissed about this."
NL Times poinformował 30 września, że większość europejskich centrów danych trzyma swój wpływ na środowisko w tajemnicy. Mniej niż jedna czwarta większych holenderskich obiektów publikuje dane o zużyciu prądu i wody pitnej. Obowiązek z unijnej dyrektywy o efektywności energetycznej działa od trzech lat. Centra danych sportu podlegają tej samej luce w raportowaniu.
Co z tego wynika
Kierunek techniczny jest jasny. Silniki zapytań przenoszą się tam, gdzie już leżą dane. Kolejki odłączają się od baz. Sami dostawcy wycofują kopię ETL, którą zespoły analityki sportowej budowały przez dekadę. Kierunek zarządzania jest bardziej chaotyczny: więcej danych połączonych, więcej sprzeciwów, więcej niewyjawionej infrastruktury pod spodem.
Oba trendy spotykają się w jednym miejscu. Klub, który w kilka sekund odpytuje swój magazyn z Aurory, trzyma też dane, które regulatorzy, aktywiści i atakujący traktują teraz jako cel. Potok w tym tygodniu przyspieszył. Spory wokół niego nie stały się prostsze.
Źródła
7- 01Aurora PostgreSQL now supports querying of Apache Iceberg and Parquet dataEN
- 02We used a database as a message queue. Now we use Kafka.EN
- 0316-year-old found Microsoft bug, got admin access to databases with 17.3 trillion rowsEN
- 04RFK Jr outlines expansive vision for collecting US health data at Maha eventEN
- 05More than 44,000 file legal objections to Palantir NHS platform handling their dataEN
- 06How Cities Are Forced to Funnel License Plate Data to a Massive Federal Surveillance ProgramEN
- 07Most data centers refusing to say how much water, electricity they useEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.