Postgres全文检索引擎解剖文章发布,出版商为后搜索时代重建流量
PlanetScale于9月27日发布了一篇关于Postgres全文检索引擎的技术解剖文章;同一个周末,Digiday的一篇综述描述了出版商如何在搜索推荐流量持续下滑的情况下,为后搜索时代重建业务。

这篇文章于9月27日01:39 UTC上线。PlanetScale的工程博客发布了《Anatomy of a (Postgres) Search Engine》,讲解倒排索引、词项字典和倒排列表如何取代逐行扫描,正是逐行扫描让 LIKE '%postgres%' 这类查询变得昂贵。这个时间点对媒体行业来说并非巧合,尽管文章本身从未提到出版业。
搜索流量正是出版商试图替换或重建的东西,而基础设施层面的讨论已经下沉了一层。PlanetScale的文章提醒人们,搜索背后的机制并不神秘。b-tree索引按全序排列某一列的值,可以查找精确值、范围或前缀。它无法匹配字符串中间的内容。这个任务交给倒排索引,倒排索引把文本字段中的每个词映射到包含该词的文档。
文章足够详细,对工程师有用;也足够具体,可以核对。PlanetScale描述了一个词项字典,它把所有文档中的每个词项映射到倒排列表,字典以b-tree或其他按字典序排序的结构存储在磁盘上。通配符和模糊查询可能扫描字典的一部分或全部:g* 会同时查到 gonna 和 give,而 u~2 会查找编辑距离在两个字符以内的所有词项,按文章中的例子,这意味着 you 和 up。
为什么这套底层机制对出版商重要
倒排列表几乎总是经过排序和压缩。PlanetScale给了一个实例:一个包含30万篇文档的索引,其中10万篇包含单词“who”,如果每个ID都按字面存储,每个倒排项需要19位,但相邻排序ID之间的平均间隔是3,两个位就够。稠密列表可以改用位图存储,每篇文档一位。有序列表的并集和交集在一次O(n)遍历中完成,位图运算可以使用向量指令,一次对128、256甚至512位做OR或AND。
出版商如今在消费端面对的正是同一类问题。9月28日,Digiday发布了一篇出版峰会的综述,描述出版商如何为后搜索时代重建业务。同一天上午,cxotoday.com 发表文章称独立媒体正被Google和其他AI巨头压制。这两家媒体都没有出现在PlanetScale的文章里,那篇技术博客也完全没有涉及推荐流量。联系是结构性的:查询的两端都在重建搜索。
媒体行业媒体上流传的数字并不温和。档案中追踪的近期标题包括9月24日的一条:出版商的Google搜索推荐流量同比下降40%;另有一篇报道称整个网络的搜索引擎流量都在下滑,一些小网站跌幅达60%。这些数字来自标题聚合,而非原始来源,因此只能当作方向性参考。方向是一致的。
开源替代方案也在推进
9月22日发布的开源混合搜索引擎Luxir,主打的是同一套经济账。其网站声称一个引擎就能提供全文、向量和分面搜索以及分析功能,采用工作窃取调度器,在所有核心之间共享索引、合并和查询执行,支持异步网络IO,并为倒排列表解码、评分和向量距离计算提供SIMD路径。据该项目称,分面计数默认精确;当调用方不要求穷尽总数时,top-k请求会用块最大边界进行剪枝。
Luxir的页面是产品网站,不是基准测试论文,其性能声明属于自报数据。PlanetScale的文章也是如此,它由一家销售Postgres兼容数据库的公司发布。两者作为架构描述和意图声明都有用。两者都不应被当作独立测量。
档案中还有另一项内容:9月22日,Sitefire的Jochen Madler在arXiv发表论文《SlopShape: Identifying AI-Generated Commercial Web Content》,提出一种识别AI生成商业文案的结构化检测器。论文报告称,他们使用来自268个公司域名的2250篇ChatGPT之前的人类博客文章,对照来自五个前沿模型的11250篇AI镜像文章,仅凭187个结构特征就在留出公司上达到98.0的宏F1,对正确源模型的归因准确率为79.3%,而随机概率为16.7%。人类与人类之间的kappa为0.928,人类与模型之间为0.946。该论文是v2版,9月17日修订。
这件事重要的原因与搜索基础设施相同。如果商业网络内容的很大一部分是以整齐、自我暴露的形状机器生成的,那么搜索引擎所索引的语料库就在引擎变化的同时发生变化。为后搜索时代重建的出版商不只是在争夺结果页上的位置。他们还在争夺一个越来越会“写回来”的语料库中的位置。
档案中还有两个较小的条目指向同一方向。ParkourNote是一个单人开发的研究工作区,9月28日发布,可导入论文、书籍、网页和视频,进行转录和翻译,并通过MCP服务器把库暴露给Claude、ChatGPT或Codex。同样在9月28日发布的GPU-font通过WebGPU在浏览器中运行一个小型神经网络,从图像中匹配字体。两者都是个人项目,不是平台级转变。它们也都是同一模式的例子:能力更多,服务器更少,中间商更少。
对出版商来说,实际问题没有改变。搜索推荐流量在下降,构建搜索产品的技术成本随之下降,而争夺同一批索引位置的合成内容数量在上升。PlanetScale的文章解释了索引如何找到一个词。它没有解释谁能被找到。
资料来源
5- 01Anatomy of a (Postgres) Search EngineEN
- 02Luxir: Open-source hybrid search engineEN
- 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
- 04Show HN: ParkourNoteEN
- 05Show HN: GPU-fontEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。