跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

Aurora 查询、16 岁少年的 Titan 越权与 Kafka 迁移

9 月 30 日,AWS 让 Aurora PostgreSQL 可以直接查询 Apache Iceberg 和 Parquet 数据。本周影响体育分析团队的几项数据基础设施变动中,这是其中之一。

体育新闻赵建国发布: 2026年9月30日6 分钟阅读资料来源 7
Aurora 查询、16 岁少年的 Titan 越权与 Kafka 迁移

体育机构和其他人用的是同一套基础设施。里面有装满 Parquet 的对象存储、一个数据仓库、一个事务型数据库,还有一个负责同步的队列。过去 72 小时发布的三篇报道,讲的就是这套管道被拆开、再重新组装。这些变化决定了一家俱乐部、一个联赛或一家转播商能把一场比赛变成数字的速度。

Aurora 接入 DuckDB,ETL 环节消失

AWS 在 9 月 30 日宣布,Aurora PostgreSQL 现在可以把业务数据和存放在 Apache Iceberg、Parquet 格式里的数据放在一起查询。它沿用现有的 PostgreSQL 应用和工具,不需要抽取、转换、加载管道,也不用复制数据。客户可以创建 PostgreSQL 外部表,指向 Amazon S3、Amazon S3 Tables 或 AWS Glue Data Catalog 中的 Iceberg 或 Parquet 数据。根据 AWS 的 What's New 文章,Aurora 通过嵌入 PostgreSQL 的 DuckDB 引擎执行这些查询。该能力已在 Aurora PostgreSQL 17.11 和 18.6 及以上版本全面可用,覆盖所有 AWS 商业区域和 GovCloud (US) 区域,不额外收费。

对一套体育分析系统来说,这决定了是每晚跑一次批处理,还是在比赛还在进行时就能查。

它还消掉了一个已知的故障点。AWS 写道:“访问这些数据通常需要管道,把数据从数据湖复制进 Aurora,随着 schema 演进,成本和工程量都会上升。”AWS 表示,通过 Glue Data Catalog 联邦的外部 Iceberg REST Catalog 兼容目录同样可用。对延迟敏感的工作负载,可以用标准 SQL 把 Iceberg 或 Parquet 数据物化成 Aurora PostgreSQL 原生表,不需要 ETL 管道。

Quantum 与 Kafka:谁都不想搬两次的迁移

对象存储厂商 Tigris 在 9 月 30 日讲了它为什么把异步任务从 FoundationDB(它唯一使用的数据库)搬到 Kafka 上。这篇文章对取舍说得很直接。它和体育数据的工作负载高度相似:一条追踪数据流不能因为某个 worker 挂了就丢事件。

Tigris 曾在 FoundationDB 之上实现了 QuiCK 论文里的方案,也就是 Apple 用于 CloudKit 的排队系统。它能跑,但调度需要大量写入和扫描,会跟用户请求抢资源。每个任务要多次写入才能完成。新来的工程师还得学一套没有标准实现的定制代码。

这家公司对 Kafka 的抵触值得整段引用。这也是大多数体育数据团队会认出的那种抵触。Tigris 的文章写道:“你有没有觉得自己像一个在风里飘的塑料袋,却再也起不来,就因为要花几个月排列组合 JVM 参数,想榨出一点幽灵般的性能,好让服务器别一直着火,这种疯狂实在让人受不了?”文章随后承认,这次迁移并不是干净利落的替换:队列仍然留在 FoundationDB,而垃圾回收这类任务搬到了 Kafka。文章说:“我们把垃圾回收这类异步任务搬到 Kafka,就能减少 FDB 上的读写负载,也能砍掉不少烦人的定制代码。”

任何用“数据库当队列”跑实时体育数据流的人,都该读一读。

17.3 万亿行、一个 16 岁少年,和一个缺失的签名

本周阅读量最高的数据新闻不是产品发布。The Register 在 9 月 30 日报道,一名 16 岁的安全研究员 Faav 在微软内部分析服务 Titan 中发现了一个身份验证漏洞。他在没有有效凭证的情况下拿到了管理员权限,并执行了 SQL。他进入的数据库估计存有 17.3 万亿行数据。

Titan 通过网页界面只对微软员工开放。Faav 借助他自己写的 AI 黑客机器人 Antares,通过一台 Azure Cloud Services 主机访问到了 Titan 的 API。Titan 没有校验登录令牌的签名。微软此后锁定了该 API,并支付了 5000 美元的漏洞赏金。Faav 在一篇记录发现的博客中写道:“当时是凌晨 2 点。我想大喊,至少说出声来,但父母都睡了。我就坐在那儿盯着 17,333,335,124,315,又把数算了一遍。”

The Register 指出,Faav 应微软要求重写了那篇博客。他在发表前删掉了部分段落和数字,并改写了影响描述。同一篇报道里引用了微软给 Faav 的声明:“他们的提交和协同漏洞披露帮助我们加固服务,更好地保护了客户。”

对体育机构来说,关键发现不是行数。是 Faav 得出的那条教训:“Titan 校验了 JWT 的内容(租户、受众、应用 ID、用户),却从未验证签名,而签名是任何身份验证检查中最重要的部分。”每一个接收运动员、医疗或球迷数据的分析平台,都依赖同样的令牌校验。同样的故障不会自己声张。

管道归谁所有,谁又能看到里面

本周还有三条新闻说明,体育数据周边的治理层正变得更难,而不是更容易。《卫报》9 月 29 日报道,美国卫生部长 Robert F Kennedy Jr 公布了把医疗和生活方式数据连接起来、再用 AI 搜索的计划。他把 Medicaid 称为“一个非常有用的载体”,“里面有数亿人的数据”。运动医学和可穿戴设备数据就挨着这条管道。关于同意和二次使用的问题同样适用。

《卫报》还在 9 月 30 日报道,已有超过 44000 人依据英国 GDPR 第 21 条提出法律反对。反对针对的是 NHS England 由 Palantir 提供支持的 Federated Data Platform 处理他们的个人信息。Palantir 英国和欧洲执行副总裁 Louis Mosley 指责批评者患上了“Palantir 妄想症”。公司表示,其软件帮助信托机构多完成了 117000 台手术,长期住院患者的出院延误减少了 14.3%。

同一天,404 Media 报道,白宫国家毒品控制政策办公室利用 HIDTA 拨款项目,把 Flock、Axon 等厂商的地方车牌识别数据拉到联邦服务器上。某些情况下,还会转给 DEA 的 National License Plate Reader Program。电子隐私信息中心的 Jeramie Scott 对 404 Media 说:“如果你对 Flock 感到愤怒,那你也应该对这件事感到愤怒。”

NL Times 在 9 月 30 日报道,大多数欧洲数据中心对自身的环境影响保密。荷兰较大的数据中心里,公布用电和饮用水数据的不到四分之一。欧盟《能源效率指令》规定的义务已经生效三年。体育行业的数据中心同样处在这个报告缺口里。

合起来看

技术方向是清楚的。查询引擎正在往数据所在的地方移动。队列正从数据库里分出来。厂商自己在淘汰体育分析团队建了十年的 ETL 复制。治理方向则更乱:更多数据被连接,更多人提出反对,更多底层基础设施不对外披露。

两个趋势在同一个地方交汇。一家俱乐部能在几秒内从 Aurora 查询自己的数据湖,同时也持有监管机构、活动人士和攻击者如今视为目标的数据。这周管道变快了。围绕它的争论没有变简单。

评论 0

资料来源

7
  1. 01Aurora PostgreSQL now supports querying of Apache Iceberg and Parquet dataEN
  2. 02We used a database as a message queue. Now we use Kafka.EN
  3. 0316-year-old found Microsoft bug, got admin access to databases with 17.3 trillion rowsEN
  4. 04RFK Jr outlines expansive vision for collecting US health data at Maha eventEN
  5. 05More than 44,000 file legal objections to Palantir NHS platform handling their dataEN
  6. 06How Cities Are Forced to Funnel License Plate Data to a Massive Federal Surveillance ProgramEN
  7. 07Most data centers refusing to say how much water, electricity they useEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

赵建国

赵建国

体育、汽车与旅行

赵建国负责FLASH24的体育、汽车与旅行报道,主要从赛事官方数据、厂商技术公告和铁路运营时刻表提取信息,关注成绩、参数和行程的实际变化。在体育稿件中,他逐项核对比分、犯规次数和球员出场时间,并与联赛官网记录比对;汽车报道则对照工信部油耗与实测里程,不采用单一来源数据。他定期联系车队技师和4S店维修顾问,也等待欧冠抽签和日内瓦车展的日程,同时比较不同欧洲铁路通票的价格与换乘次数。业余时间他骑电动车、在车库做修理,并收集欧洲铁路线资料,这些习惯直接帮助他判断车辆故障描述和跨境线路的可行性。他坚持不发布未经二次核实的数字,宁可推迟发稿。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。