跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

Postgres、Luxir 与 SlopShape:出版商流量下滑之际,搜索技术栈正在重建

9月27日,PlanetScale 发布了一篇关于 Postgres 全文搜索的深度技术解析。这是搜索基础设施一周密集发布中的最新一项,而与此同时,出版商报告搜索推荐流量大幅下滑。

媒体与互联网分析王雅琴发布: 2026年9月28日6 分钟阅读资料来源 5
Postgres、Luxir 与 SlopShape:出版商流量下滑之际,搜索技术栈正在重建

本周搜索技术栈的最新进展,并非来自某家搜索引擎公司。9月27日,PlanetScale 发布了《Anatomy of a (Postgres) Search Engine》,详细解释 Postgres 内部倒排索引的工作方式,以及它与大多数开发者首先想到的 b-tree 有何不同。

PlanetScale 这篇文章提醒人们,搜索如今已是数据库的一项功能,而不只是一个产品类别。文章写道:“b-tree 无法匹配字符串中间的内容。”随后展示了它希望开发者停止使用的写法:用前导通配符 LIKE 逐行检查表中的每一行。文章称,按字段中每个单词建立倒排索引,才是“几乎所有全文搜索引擎”定位文档的方式。这个架构细节看似不大,却直接决定数据库能以多快速度回答查询。文章对底层机制的描述异常具体。倒排索引包含词项词典和倒排列表,还可能附加位置和词频数据。倒排列表先排序再压缩:PlanetScale 举例说,一个索引有 30万 篇文档,其中 10万 篇包含单词“who”。如果逐字存储每个 ID,每个倒排项需要 19 位,但相邻 ID 的平均间隔是 3,两位就够。稠密列表还可以进一步改用位图,当大约一半文档都包含某个词项时,位图就是最优选择。这属于压缩细节,却解释了为什么大规模语料上的搜索负担得起,也解释了为什么查询引擎能在一次 O(n) 遍历中完成两个倒排列表的并集或交集。PlanetScale 还提到,当列表以位图存储时,近年 CPU 上的向量指令可以在一条指令里对 128、256 甚至 512 位执行 OR 或 AND。

Luxir 主张用一个引擎做全谱系搜索

五天前的9月22日,另一个名为 Luxir 的项目发布了自己的方案:一个开源引擎,在一次请求中同时完成全文搜索、向量搜索、分面搜索和分析。Luxir 的网站从成本而非功能角度立论,称其“为每核、每 GB、每美元的最大搜索量而设计”,并称云客户“会永远为低效付费”。

其架构主张相当具体。工作窃取调度器让索引、合并和查询执行在多个核心间共享,网络 IO 是异步的,慢客户端不会占住核心,段不可变且以内存映射方式读取,因此直接从页缓存取数据。倒排解码、打分和向量距离计算走 SIMD 路径,对 top-k 请求使用 block-max 剪枝。Luxir 还在计数上给出了对做搜索界面的人很重要的立场。项目称分面计数“默认始终精确”,结果总数在请求要求时精确,不要求时则剪枝。查询、分面和指标在同一份索引视图上同一次遍历完成,因此一次往返就能同时返回文档、侧栏计数和头部数字。

两篇文章讲的都是多数用户看不到的底层管道。但正是这一层决定了搜索的经济账,而这笔账正在快速变化。

一个读取结构而非词汇的检测器

就在 Luxir 发布当天,arXiv 上的一篇论文把矛头指向填充这些索引的内容。《SlopShape: Identifying AI-Generated Commercial Web Content》于9月14日提交、9月17日修订,追问能否从结构特征识别 AI 生成文本,也就是信息以什么顺序呈现、用什么证据、以什么口吻。作者是 Sitefire 的 Jochen Madler,他复现了 Russell 等人针对商业内容的 StoryScope 工作:2,250 篇来自 268 个公司域名的 ChatGPT 之前人类博客文章,对照来自五个前沿模型的 11,250 篇 AI 镜像文章。一个 214 项特征的测量工具由 LLM 执行,并在人工金标注环节验证,人与人的 kappa 为 0.928,人与模型的 kappa 为 0.946;仅凭 187 项结构特征,该工具在留出公司上检测 AI 文章的宏观 F1 达到 98.0。用各自模型对每篇 AI 文章改写后,分数仍为 98.1。

论文还声称能归因。AI 文章共享“一种整齐、自我宣告的形状”,79.3% 被归到正确的源模型,随机水平为 16.7%,而人类文章占据罕见的结构配置。其流水线、测量工具、提示词和代码均已公开。

这个结果对搜索很重要,因为排序系统和 AI 问答引擎消费的正是结构。如果商业网络内容有可检测的形状,那么搜索引擎索引的语料正变得越来越统一,而索引工具同时变得更快、更便宜。

买单的是出版商

材料中周边的新闻标题指向另一面。材料引用的近期报道包括9月24日的一条消息,称出版商的 Google 搜索流量同比降幅扩大到 40%,以及9月16日的一条消息,称 Google Search Profile Badges 暴露了出版商的流量危机。更早的条目描述全网搜索引擎流量下滑,一些小网站跌幅达 60%,Google AI 搜索威胁小出版商,对话式 AI 削减网站流量。其中一些日期不在过去一周内,因此属于背景而非新闻。但它们为上述技术发布定下了框架:建搜索索引的成本持续下降,而索引回送给出版商的流量也随之持续下降。

材料中的另外两条则显示这个领域已经有多宽。9月26日,CleanTechnica 为其自有图书出版业务开放投稿,向作者提供出版渠道,前期费用为 3000 至 5000 美元,外加每本售出图书的一定比例,并定于9月30日举行 Google Hangout。9月24日,Wiley 的工程内容中心发布了一份白皮书,由 Hendrix by Marmon Utility 赞助,主题是变电站出线建设,论点是一座变电站最初几档出线的可靠性格外重要,因为那里一次接触驱动的故障就可能同时中断多条线路。

这两条表面上都不是搜索新闻。但两者都是面向特定受众的商业内容,以赞助商名义或出版商品牌生产,而这正是 SlopShape 论文试图分类的同一类内容。论文的主张是,这类内容有形状:特定的顺序、特定类型的证据、特定的口吻。如果这一点成立,下一代搜索引擎就必须决定拿它怎么办。

眼下,基础设施一侧跑得比政策一侧快。PlanetScale 正在发布 TIN,即其面向 Postgres 的全文搜索索引,并称将有一篇更深入的文章介绍其功能、性能和实现。Luxir 可以下载,9400 端口提供 HTTP/JSON API,并有用于持久化的数据目录。arXiv 论文已公开,附带代码和工件。

这些都没有回答的是读者去了哪里。搜索引擎越来越擅长找到文档,而出版商报告抵达他们网站的人越来越少。这个缺口,是工具层尚未回答的问题。

评论 0

资料来源

5
  1. 01Anatomy of a (Postgres) Search EngineEN
  2. 02Luxir: Open-source hybrid search engineEN
  3. 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
  4. 04Publish Your Book Through CleanTechnica PressEN
  5. 05Engineering the Substation Exit for Reliability, Capacity, and ExpansionEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。