跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

搜索引擎流量与出版商:最新开源搜索工具揭示了什么

9月27日,PlanetScale发布了一篇技术长文,讲全文搜索引擎如何运作。决定出版商能从哪些页面获得流量的那套机制,正从索引这一层被重新搭建。文章上线同一天,Hacker News上还有两个较小的搜索项目在吸引关注,其中一个的提交时间距本文写作仅7.5小时。

媒体与互联网解释林晓雯发布: 2026年9月28日4 分钟阅读资料来源 6
搜索引擎流量与出版商:最新开源搜索工具揭示了什么

9月27日,PlanetScale发布了一篇题为《Anatomy of a (Postgres) Search Engine》的技术长文。文章与出版商无关,讲的是倒排索引、词项词典和倒排列表。搜索引擎靠这些数据结构按文档内部的词找到文档,不必逐行扫描。

但发布时间值得注意。谷歌搜索推荐流量对许多出版商持续下滑,谁掌控索引已经不只是工程问题,而成了媒体生意的问题。PlanetScale的文章梳理了全文索引如何把每个词项映射到包含它的文档。该公司称,标准的b-tree索引能快速找到名字、价格区间或创建日期,但“对匹配字符串中间的内容毫无用处”。这是倒排索引的工作:它存储词项词典和倒排列表,通常用间隔编码或位图压缩。PlanetScale借这篇文章介绍TIN,即其为Postgres打造的全文搜索索引,并承诺在另一篇文章里深入展开。

搜索技术栈正在开放

材料里的另外两个项目指向同一方向。开源混合搜索引擎Luxir在主页上称自己是为“每个核心、每GB、每美元最多的搜索量”而建。它把全文、向量和分面搜索合进一个引擎,HTTP/JSON API监听9400端口,BM25排序带块最大值剪枝,分面计数精确。Luxir的页面发布于9月22日,比本文早六天。

PlanetScale和Luxir卖的都是效率。PlanetScale的文章指出,倒排列表“几乎总是先排序、再压缩”,稠密列表可以存成位图,用一位标记某个文档是否包含某个词项。Luxir的说法类似:不可变、内存映射的段,SIMD解码,工作窃取调度器,没有垃圾回收器。Luxir主页写道:“在云上,你为低效永远付费。”这是厂商说法,不是独立基准测试,但论证方式相同。

“b-tree对匹配字符串中间的内容毫无用处。全文搜索索引就是干这个的。”PlanetScale,9月27日

与出版商的关系是间接的,这一点需要说准确。这些来源都没有给出谷歌推荐流量的数字,也没有任何出版商的流量数据。它们说明的是,搜索的基本构件,倒排索引、向量排序、分面,正越来越多地以开源形式出现,或作为通用数据库的附加组件提供。对出版商来说,这不会找回失去的搜索流量,但意味着自建站内搜索、或做一个垂直搜索产品的成本在持续下降。

更早的信号,仍是背景

材料里其他近期条目离媒体话题更远。Wiley在9月24日发布的白皮书讲变电站出口施工和架空电缆系统,由Hendrix by Marmon Utility赞助。arXiv上9月14日提交、9月17日修订的论文《SlopShape》介绍一种有214个特征的仪器,仅凭结构特征就能识别AI生成的商业网页内容,在留出公司上的宏F1为98.0,对照的是来自五个前沿模型的11250个AI镜像。9月22日的一个GitHub仓库发布了三个视觉语言动作模型在NVIDIA Jetson AGX Thor上的优化运行时,并给出ABC-VLA、MolmoAct2和pi0.5的延迟数据。

与出版业明显相邻的是SlopShape那篇论文。作者、Sitefire的Jochen Madler写道,词级AI检测器在改写面前很脆弱,结构特征更稳:当每条AI帖子都被其自身模型改写后,宏F1仍有98.1。论文称AI帖子“共享一种整齐、自我暴露的形状”,而人类帖子“占据罕见的结构配置”。它把79.3%的AI帖子归到正确的来源模型,随机命中率为16.7%。这是预印本,作者披露与商业厂商Sitefire存在隶属关系。

把这几份材料放在一起看,它们描述的是一个正在被重建的搜索与内容生态。PlanetScale把Postgres向下延伸进搜索。Luxir提供一个为密度而建的开源替代品。SlopShape试图测量填满这些索引的AI内容。而Wiley白皮书提醒人们,材料里大部分内容根本与媒体无关,这本身就是技术能量流向何处的信号。

诚实的缺口:材料里没有出版商搜索流量的最新测量,没有谷歌的表态,也没有具名出版商报告下滑。最近一个有日期的进展是PlanetScale 9月27日的文章。任何关于推荐流量损失的说法都来自本材料之外的背景,应当照此对待。

评论 0

资料来源

6
  1. 01Anatomy of a (Postgres) Search EngineEN
  2. 02Luxir: Open-source hybrid search engineEN
  3. 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
  4. 04Engineering the Substation Exit for Reliability, Capacity, and ExpansionEN
  5. 05Show HN: Optimized runtimes for three VLAs on Jetson ThorEN
  6. 06Show HN: ParkourNoteEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。