Aurora 查询、16 岁少年的 Titan 越权与 Kafka 迁移
9 月 30 日,AWS 让 Aurora PostgreSQL 可以直接查询 Apache Iceberg 和 Parquet 数据。本周影响体育分析团队的几项数据基础设施变动中,这是其中之一。

体育机构和其他人用的是同一套基础设施。里面有装满 Parquet 的对象存储、一个数据仓库、一个事务型数据库,还有一个负责同步的队列。过去 72 小时发布的三篇报道,讲的就是这套管道被拆开、再重新组装。这些变化决定了一家俱乐部、一个联赛或一家转播商能把一场比赛变成数字的速度。
Aurora 接入 DuckDB,ETL 环节消失
AWS 在 9 月 30 日宣布,Aurora PostgreSQL 现在可以把业务数据和存放在 Apache Iceberg、Parquet 格式里的数据放在一起查询。它沿用现有的 PostgreSQL 应用和工具,不需要抽取、转换、加载管道,也不用复制数据。客户可以创建 PostgreSQL 外部表,指向 Amazon S3、Amazon S3 Tables 或 AWS Glue Data Catalog 中的 Iceberg 或 Parquet 数据。根据 AWS 的 What's New 文章,Aurora 通过嵌入 PostgreSQL 的 DuckDB 引擎执行这些查询。该能力已在 Aurora PostgreSQL 17.11 和 18.6 及以上版本全面可用,覆盖所有 AWS 商业区域和 GovCloud (US) 区域,不额外收费。
对一套体育分析系统来说,这决定了是每晚跑一次批处理,还是在比赛还在进行时就能查。
它还消掉了一个已知的故障点。AWS 写道:“访问这些数据通常需要管道,把数据从数据湖复制进 Aurora,随着 schema 演进,成本和工程量都会上升。”AWS 表示,通过 Glue Data Catalog 联邦的外部 Iceberg REST Catalog 兼容目录同样可用。对延迟敏感的工作负载,可以用标准 SQL 把 Iceberg 或 Parquet 数据物化成 Aurora PostgreSQL 原生表,不需要 ETL 管道。
Quantum 与 Kafka:谁都不想搬两次的迁移
对象存储厂商 Tigris 在 9 月 30 日讲了它为什么把异步任务从 FoundationDB(它唯一使用的数据库)搬到 Kafka 上。这篇文章对取舍说得很直接。它和体育数据的工作负载高度相似:一条追踪数据流不能因为某个 worker 挂了就丢事件。
Tigris 曾在 FoundationDB 之上实现了 QuiCK 论文里的方案,也就是 Apple 用于 CloudKit 的排队系统。它能跑,但调度需要大量写入和扫描,会跟用户请求抢资源。每个任务要多次写入才能完成。新来的工程师还得学一套没有标准实现的定制代码。
这家公司对 Kafka 的抵触值得整段引用。这也是大多数体育数据团队会认出的那种抵触。Tigris 的文章写道:“你有没有觉得自己像一个在风里飘的塑料袋,却再也起不来,就因为要花几个月排列组合 JVM 参数,想榨出一点幽灵般的性能,好让服务器别一直着火,这种疯狂实在让人受不了?”文章随后承认,这次迁移并不是干净利落的替换:队列仍然留在 FoundationDB,而垃圾回收这类任务搬到了 Kafka。文章说:“我们把垃圾回收这类异步任务搬到 Kafka,就能减少 FDB 上的读写负载,也能砍掉不少烦人的定制代码。”
任何用“数据库当队列”跑实时体育数据流的人,都该读一读。
17.3 万亿行、一个 16 岁少年,和一个缺失的签名
本周阅读量最高的数据新闻不是产品发布。The Register 在 9 月 30 日报道,一名 16 岁的安全研究员 Faav 在微软内部分析服务 Titan 中发现了一个身份验证漏洞。他在没有有效凭证的情况下拿到了管理员权限,并执行了 SQL。他进入的数据库估计存有 17.3 万亿行数据。
Titan 通过网页界面只对微软员工开放。Faav 借助他自己写的 AI 黑客机器人 Antares,通过一台 Azure Cloud Services 主机访问到了 Titan 的 API。Titan 没有校验登录令牌的签名。微软此后锁定了该 API,并支付了 5000 美元的漏洞赏金。Faav 在一篇记录发现的博客中写道:“当时是凌晨 2 点。我想大喊,至少说出声来,但父母都睡了。我就坐在那儿盯着 17,333,335,124,315,又把数算了一遍。”
The Register 指出,Faav 应微软要求重写了那篇博客。他在发表前删掉了部分段落和数字,并改写了影响描述。同一篇报道里引用了微软给 Faav 的声明:“他们的提交和协同漏洞披露帮助我们加固服务,更好地保护了客户。”
对体育机构来说,关键发现不是行数。是 Faav 得出的那条教训:“Titan 校验了 JWT 的内容(租户、受众、应用 ID、用户),却从未验证签名,而签名是任何身份验证检查中最重要的部分。”每一个接收运动员、医疗或球迷数据的分析平台,都依赖同样的令牌校验。同样的故障不会自己声张。
管道归谁所有,谁又能看到里面
本周还有三条新闻说明,体育数据周边的治理层正变得更难,而不是更容易。《卫报》9 月 29 日报道,美国卫生部长 Robert F Kennedy Jr 公布了把医疗和生活方式数据连接起来、再用 AI 搜索的计划。他把 Medicaid 称为“一个非常有用的载体”,“里面有数亿人的数据”。运动医学和可穿戴设备数据就挨着这条管道。关于同意和二次使用的问题同样适用。
《卫报》还在 9 月 30 日报道,已有超过 44000 人依据英国 GDPR 第 21 条提出法律反对。反对针对的是 NHS England 由 Palantir 提供支持的 Federated Data Platform 处理他们的个人信息。Palantir 英国和欧洲执行副总裁 Louis Mosley 指责批评者患上了“Palantir 妄想症”。公司表示,其软件帮助信托机构多完成了 117000 台手术,长期住院患者的出院延误减少了 14.3%。
同一天,404 Media 报道,白宫国家毒品控制政策办公室利用 HIDTA 拨款项目,把 Flock、Axon 等厂商的地方车牌识别数据拉到联邦服务器上。某些情况下,还会转给 DEA 的 National License Plate Reader Program。电子隐私信息中心的 Jeramie Scott 对 404 Media 说:“如果你对 Flock 感到愤怒,那你也应该对这件事感到愤怒。”
NL Times 在 9 月 30 日报道,大多数欧洲数据中心对自身的环境影响保密。荷兰较大的数据中心里,公布用电和饮用水数据的不到四分之一。欧盟《能源效率指令》规定的义务已经生效三年。体育行业的数据中心同样处在这个报告缺口里。
合起来看
技术方向是清楚的。查询引擎正在往数据所在的地方移动。队列正从数据库里分出来。厂商自己在淘汰体育分析团队建了十年的 ETL 复制。治理方向则更乱:更多数据被连接,更多人提出反对,更多底层基础设施不对外披露。
两个趋势在同一个地方交汇。一家俱乐部能在几秒内从 Aurora 查询自己的数据湖,同时也持有监管机构、活动人士和攻击者如今视为目标的数据。这周管道变快了。围绕它的争论没有变简单。
资料来源
7- 01Aurora PostgreSQL now supports querying of Apache Iceberg and Parquet dataEN
- 02We used a database as a message queue. Now we use Kafka.EN
- 0316-year-old found Microsoft bug, got admin access to databases with 17.3 trillion rowsEN
- 04RFK Jr outlines expansive vision for collecting US health data at Maha eventEN
- 05More than 44,000 file legal objections to Palantir NHS platform handling their dataEN
- 06How Cities Are Forced to Funnel License Plate Data to a Massive Federal Surveillance ProgramEN
- 07Most data centers refusing to say how much water, electricity they useEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。