搜索引擎流量与出版商:最新开源搜索工具揭示了什么
9月27日,PlanetScale发布了一篇技术长文,讲全文搜索引擎如何运作。决定出版商能从哪些页面获得流量的那套机制,正从索引这一层被重新搭建。文章上线同一天,Hacker News上还有两个较小的搜索项目在吸引关注,其中一个的提交时间距本文写作仅7.5小时。

9月27日,PlanetScale发布了一篇题为《Anatomy of a (Postgres) Search Engine》的技术长文。文章与出版商无关,讲的是倒排索引、词项词典和倒排列表。搜索引擎靠这些数据结构按文档内部的词找到文档,不必逐行扫描。
但发布时间值得注意。谷歌搜索推荐流量对许多出版商持续下滑,谁掌控索引已经不只是工程问题,而成了媒体生意的问题。PlanetScale的文章梳理了全文索引如何把每个词项映射到包含它的文档。该公司称,标准的b-tree索引能快速找到名字、价格区间或创建日期,但“对匹配字符串中间的内容毫无用处”。这是倒排索引的工作:它存储词项词典和倒排列表,通常用间隔编码或位图压缩。PlanetScale借这篇文章介绍TIN,即其为Postgres打造的全文搜索索引,并承诺在另一篇文章里深入展开。
搜索技术栈正在开放
材料里的另外两个项目指向同一方向。开源混合搜索引擎Luxir在主页上称自己是为“每个核心、每GB、每美元最多的搜索量”而建。它把全文、向量和分面搜索合进一个引擎,HTTP/JSON API监听9400端口,BM25排序带块最大值剪枝,分面计数精确。Luxir的页面发布于9月22日,比本文早六天。
PlanetScale和Luxir卖的都是效率。PlanetScale的文章指出,倒排列表“几乎总是先排序、再压缩”,稠密列表可以存成位图,用一位标记某个文档是否包含某个词项。Luxir的说法类似:不可变、内存映射的段,SIMD解码,工作窃取调度器,没有垃圾回收器。Luxir主页写道:“在云上,你为低效永远付费。”这是厂商说法,不是独立基准测试,但论证方式相同。
“b-tree对匹配字符串中间的内容毫无用处。全文搜索索引就是干这个的。”PlanetScale,9月27日
与出版商的关系是间接的,这一点需要说准确。这些来源都没有给出谷歌推荐流量的数字,也没有任何出版商的流量数据。它们说明的是,搜索的基本构件,倒排索引、向量排序、分面,正越来越多地以开源形式出现,或作为通用数据库的附加组件提供。对出版商来说,这不会找回失去的搜索流量,但意味着自建站内搜索、或做一个垂直搜索产品的成本在持续下降。
更早的信号,仍是背景
材料里其他近期条目离媒体话题更远。Wiley在9月24日发布的白皮书讲变电站出口施工和架空电缆系统,由Hendrix by Marmon Utility赞助。arXiv上9月14日提交、9月17日修订的论文《SlopShape》介绍一种有214个特征的仪器,仅凭结构特征就能识别AI生成的商业网页内容,在留出公司上的宏F1为98.0,对照的是来自五个前沿模型的11250个AI镜像。9月22日的一个GitHub仓库发布了三个视觉语言动作模型在NVIDIA Jetson AGX Thor上的优化运行时,并给出ABC-VLA、MolmoAct2和pi0.5的延迟数据。
与出版业明显相邻的是SlopShape那篇论文。作者、Sitefire的Jochen Madler写道,词级AI检测器在改写面前很脆弱,结构特征更稳:当每条AI帖子都被其自身模型改写后,宏F1仍有98.1。论文称AI帖子“共享一种整齐、自我暴露的形状”,而人类帖子“占据罕见的结构配置”。它把79.3%的AI帖子归到正确的来源模型,随机命中率为16.7%。这是预印本,作者披露与商业厂商Sitefire存在隶属关系。
把这几份材料放在一起看,它们描述的是一个正在被重建的搜索与内容生态。PlanetScale把Postgres向下延伸进搜索。Luxir提供一个为密度而建的开源替代品。SlopShape试图测量填满这些索引的AI内容。而Wiley白皮书提醒人们,材料里大部分内容根本与媒体无关,这本身就是技术能量流向何处的信号。
诚实的缺口:材料里没有出版商搜索流量的最新测量,没有谷歌的表态,也没有具名出版商报告下滑。最近一个有日期的进展是PlanetScale 9月27日的文章。任何关于推荐流量损失的说法都来自本材料之外的背景,应当照此对待。
资料来源
6- 01Anatomy of a (Postgres) Search EngineEN
- 02Luxir: Open-source hybrid search engineEN
- 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
- 04Engineering the Substation Exit for Reliability, Capacity, and ExpansionEN
- 05Show HN: Optimized runtimes for three VLAs on Jetson ThorEN
- 06Show HN: ParkourNoteEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。