跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

Postgres全文检索引擎解剖文章发布,出版商为后搜索时代重建流量

PlanetScale于9月27日发布了一篇关于Postgres全文检索引擎的技术解剖文章;同一个周末,Digiday的一篇综述描述了出版商如何在搜索推荐流量持续下滑的情况下,为后搜索时代重建业务。

媒体与互联网分析王雅琴发布: 2026年9月28日5 分钟阅读资料来源 5
Postgres全文检索引擎解剖文章发布,出版商为后搜索时代重建流量

这篇文章于9月27日01:39 UTC上线。PlanetScale的工程博客发布了《Anatomy of a (Postgres) Search Engine》,讲解倒排索引、词项字典和倒排列表如何取代逐行扫描,正是逐行扫描让 LIKE '%postgres%' 这类查询变得昂贵。这个时间点对媒体行业来说并非巧合,尽管文章本身从未提到出版业。

搜索流量正是出版商试图替换或重建的东西,而基础设施层面的讨论已经下沉了一层。PlanetScale的文章提醒人们,搜索背后的机制并不神秘。b-tree索引按全序排列某一列的值,可以查找精确值、范围或前缀。它无法匹配字符串中间的内容。这个任务交给倒排索引,倒排索引把文本字段中的每个词映射到包含该词的文档。

文章足够详细,对工程师有用;也足够具体,可以核对。PlanetScale描述了一个词项字典,它把所有文档中的每个词项映射到倒排列表,字典以b-tree或其他按字典序排序的结构存储在磁盘上。通配符和模糊查询可能扫描字典的一部分或全部:g* 会同时查到 gonna 和 give,而 u~2 会查找编辑距离在两个字符以内的所有词项,按文章中的例子,这意味着 you 和 up。

为什么这套底层机制对出版商重要

倒排列表几乎总是经过排序和压缩。PlanetScale给了一个实例:一个包含30万篇文档的索引,其中10万篇包含单词“who”,如果每个ID都按字面存储,每个倒排项需要19位,但相邻排序ID之间的平均间隔是3,两个位就够。稠密列表可以改用位图存储,每篇文档一位。有序列表的并集和交集在一次O(n)遍历中完成,位图运算可以使用向量指令,一次对128、256甚至512位做OR或AND。

出版商如今在消费端面对的正是同一类问题。9月28日,Digiday发布了一篇出版峰会的综述,描述出版商如何为后搜索时代重建业务。同一天上午,cxotoday.com 发表文章称独立媒体正被Google和其他AI巨头压制。这两家媒体都没有出现在PlanetScale的文章里,那篇技术博客也完全没有涉及推荐流量。联系是结构性的:查询的两端都在重建搜索。

媒体行业媒体上流传的数字并不温和。档案中追踪的近期标题包括9月24日的一条:出版商的Google搜索推荐流量同比下降40%;另有一篇报道称整个网络的搜索引擎流量都在下滑,一些小网站跌幅达60%。这些数字来自标题聚合,而非原始来源,因此只能当作方向性参考。方向是一致的。

开源替代方案也在推进

9月22日发布的开源混合搜索引擎Luxir,主打的是同一套经济账。其网站声称一个引擎就能提供全文、向量和分面搜索以及分析功能,采用工作窃取调度器,在所有核心之间共享索引、合并和查询执行,支持异步网络IO,并为倒排列表解码、评分和向量距离计算提供SIMD路径。据该项目称,分面计数默认精确;当调用方不要求穷尽总数时,top-k请求会用块最大边界进行剪枝。

Luxir的页面是产品网站,不是基准测试论文,其性能声明属于自报数据。PlanetScale的文章也是如此,它由一家销售Postgres兼容数据库的公司发布。两者作为架构描述和意图声明都有用。两者都不应被当作独立测量。

档案中还有另一项内容:9月22日,Sitefire的Jochen Madler在arXiv发表论文《SlopShape: Identifying AI-Generated Commercial Web Content》,提出一种识别AI生成商业文案的结构化检测器。论文报告称,他们使用来自268个公司域名的2250篇ChatGPT之前的人类博客文章,对照来自五个前沿模型的11250篇AI镜像文章,仅凭187个结构特征就在留出公司上达到98.0的宏F1,对正确源模型的归因准确率为79.3%,而随机概率为16.7%。人类与人类之间的kappa为0.928,人类与模型之间为0.946。该论文是v2版,9月17日修订。

这件事重要的原因与搜索基础设施相同。如果商业网络内容的很大一部分是以整齐、自我暴露的形状机器生成的,那么搜索引擎所索引的语料库就在引擎变化的同时发生变化。为后搜索时代重建的出版商不只是在争夺结果页上的位置。他们还在争夺一个越来越会“写回来”的语料库中的位置。

档案中还有两个较小的条目指向同一方向。ParkourNote是一个单人开发的研究工作区,9月28日发布,可导入论文、书籍、网页和视频,进行转录和翻译,并通过MCP服务器把库暴露给Claude、ChatGPT或Codex。同样在9月28日发布的GPU-font通过WebGPU在浏览器中运行一个小型神经网络,从图像中匹配字体。两者都是个人项目,不是平台级转变。它们也都是同一模式的例子:能力更多,服务器更少,中间商更少。

对出版商来说,实际问题没有改变。搜索推荐流量在下降,构建搜索产品的技术成本随之下降,而争夺同一批索引位置的合成内容数量在上升。PlanetScale的文章解释了索引如何找到一个词。它没有解释谁能被找到。

评论 0

资料来源

5
  1. 01Anatomy of a (Postgres) Search EngineEN
  2. 02Luxir: Open-source hybrid search engineEN
  3. 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
  4. 04Show HN: ParkourNoteEN
  5. 05Show HN: GPU-fontEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。