Postgres、Luxir 与 SlopShape:出版商流量下滑之际,搜索技术栈正在重建
9月27日,PlanetScale 发布了一篇关于 Postgres 全文搜索的深度技术解析。这是搜索基础设施一周密集发布中的最新一项,而与此同时,出版商报告搜索推荐流量大幅下滑。

本周搜索技术栈的最新进展,并非来自某家搜索引擎公司。9月27日,PlanetScale 发布了《Anatomy of a (Postgres) Search Engine》,详细解释 Postgres 内部倒排索引的工作方式,以及它与大多数开发者首先想到的 b-tree 有何不同。
PlanetScale 这篇文章提醒人们,搜索如今已是数据库的一项功能,而不只是一个产品类别。文章写道:“b-tree 无法匹配字符串中间的内容。”随后展示了它希望开发者停止使用的写法:用前导通配符 LIKE 逐行检查表中的每一行。文章称,按字段中每个单词建立倒排索引,才是“几乎所有全文搜索引擎”定位文档的方式。这个架构细节看似不大,却直接决定数据库能以多快速度回答查询。文章对底层机制的描述异常具体。倒排索引包含词项词典和倒排列表,还可能附加位置和词频数据。倒排列表先排序再压缩:PlanetScale 举例说,一个索引有 30万 篇文档,其中 10万 篇包含单词“who”。如果逐字存储每个 ID,每个倒排项需要 19 位,但相邻 ID 的平均间隔是 3,两位就够。稠密列表还可以进一步改用位图,当大约一半文档都包含某个词项时,位图就是最优选择。这属于压缩细节,却解释了为什么大规模语料上的搜索负担得起,也解释了为什么查询引擎能在一次 O(n) 遍历中完成两个倒排列表的并集或交集。PlanetScale 还提到,当列表以位图存储时,近年 CPU 上的向量指令可以在一条指令里对 128、256 甚至 512 位执行 OR 或 AND。
Luxir 主张用一个引擎做全谱系搜索
五天前的9月22日,另一个名为 Luxir 的项目发布了自己的方案:一个开源引擎,在一次请求中同时完成全文搜索、向量搜索、分面搜索和分析。Luxir 的网站从成本而非功能角度立论,称其“为每核、每 GB、每美元的最大搜索量而设计”,并称云客户“会永远为低效付费”。
其架构主张相当具体。工作窃取调度器让索引、合并和查询执行在多个核心间共享,网络 IO 是异步的,慢客户端不会占住核心,段不可变且以内存映射方式读取,因此直接从页缓存取数据。倒排解码、打分和向量距离计算走 SIMD 路径,对 top-k 请求使用 block-max 剪枝。Luxir 还在计数上给出了对做搜索界面的人很重要的立场。项目称分面计数“默认始终精确”,结果总数在请求要求时精确,不要求时则剪枝。查询、分面和指标在同一份索引视图上同一次遍历完成,因此一次往返就能同时返回文档、侧栏计数和头部数字。
两篇文章讲的都是多数用户看不到的底层管道。但正是这一层决定了搜索的经济账,而这笔账正在快速变化。
一个读取结构而非词汇的检测器
就在 Luxir 发布当天,arXiv 上的一篇论文把矛头指向填充这些索引的内容。《SlopShape: Identifying AI-Generated Commercial Web Content》于9月14日提交、9月17日修订,追问能否从结构特征识别 AI 生成文本,也就是信息以什么顺序呈现、用什么证据、以什么口吻。作者是 Sitefire 的 Jochen Madler,他复现了 Russell 等人针对商业内容的 StoryScope 工作:2,250 篇来自 268 个公司域名的 ChatGPT 之前人类博客文章,对照来自五个前沿模型的 11,250 篇 AI 镜像文章。一个 214 项特征的测量工具由 LLM 执行,并在人工金标注环节验证,人与人的 kappa 为 0.928,人与模型的 kappa 为 0.946;仅凭 187 项结构特征,该工具在留出公司上检测 AI 文章的宏观 F1 达到 98.0。用各自模型对每篇 AI 文章改写后,分数仍为 98.1。
论文还声称能归因。AI 文章共享“一种整齐、自我宣告的形状”,79.3% 被归到正确的源模型,随机水平为 16.7%,而人类文章占据罕见的结构配置。其流水线、测量工具、提示词和代码均已公开。
这个结果对搜索很重要,因为排序系统和 AI 问答引擎消费的正是结构。如果商业网络内容有可检测的形状,那么搜索引擎索引的语料正变得越来越统一,而索引工具同时变得更快、更便宜。
买单的是出版商
材料中周边的新闻标题指向另一面。材料引用的近期报道包括9月24日的一条消息,称出版商的 Google 搜索流量同比降幅扩大到 40%,以及9月16日的一条消息,称 Google Search Profile Badges 暴露了出版商的流量危机。更早的条目描述全网搜索引擎流量下滑,一些小网站跌幅达 60%,Google AI 搜索威胁小出版商,对话式 AI 削减网站流量。其中一些日期不在过去一周内,因此属于背景而非新闻。但它们为上述技术发布定下了框架:建搜索索引的成本持续下降,而索引回送给出版商的流量也随之持续下降。
材料中的另外两条则显示这个领域已经有多宽。9月26日,CleanTechnica 为其自有图书出版业务开放投稿,向作者提供出版渠道,前期费用为 3000 至 5000 美元,外加每本售出图书的一定比例,并定于9月30日举行 Google Hangout。9月24日,Wiley 的工程内容中心发布了一份白皮书,由 Hendrix by Marmon Utility 赞助,主题是变电站出线建设,论点是一座变电站最初几档出线的可靠性格外重要,因为那里一次接触驱动的故障就可能同时中断多条线路。
这两条表面上都不是搜索新闻。但两者都是面向特定受众的商业内容,以赞助商名义或出版商品牌生产,而这正是 SlopShape 论文试图分类的同一类内容。论文的主张是,这类内容有形状:特定的顺序、特定类型的证据、特定的口吻。如果这一点成立,下一代搜索引擎就必须决定拿它怎么办。
眼下,基础设施一侧跑得比政策一侧快。PlanetScale 正在发布 TIN,即其面向 Postgres 的全文搜索索引,并称将有一篇更深入的文章介绍其功能、性能和实现。Luxir 可以下载,9400 端口提供 HTTP/JSON API,并有用于持久化的数据目录。arXiv 论文已公开,附带代码和工件。
这些都没有回答的是读者去了哪里。搜索引擎越来越擅长找到文档,而出版商报告抵达他们网站的人越来越少。这个缺口,是工具层尚未回答的问题。
资料来源
5- 01Anatomy of a (Postgres) Search EngineEN
- 02Luxir: Open-source hybrid search engineEN
- 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
- 04Publish Your Book Through CleanTechnica PressEN
- 05Engineering the Substation Exit for Reliability, Capacity, and ExpansionEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。