Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

L'anatomie du moteur de recherche Postgres paraît alors que les éditeurs se reconstruisent pour l'après-recherche

PlanetScale a publié le 27 septembre une anatomie technique des moteurs de recherche plein texte de Postgres. Le même week-end, une synthèse de Digiday décrivait des éditeurs qui se reconstruisent pour une ère d'après-recherche, tandis que le trafic venu des moteurs continue de reculer.

Médias & internetAnalyseSophie LeclercPublié le: 28 septembre 20265 min de lectureSources 5
L'anatomie du moteur de recherche Postgres paraît alors que les éditeurs se reconstruisent pour l'après-recherche

La publication est parue le 27 septembre à 01:39 UTC. Le blog d'ingénierie de PlanetScale a mis en ligne « Anatomy of a (Postgres) Search Engine ». Le texte explique comment les index inversés, les dictionnaires de termes et les listes d'occurrences remplacent les parcours ligne par ligne qui rendent coûteuses les requêtes LIKE '%postgres%'. Le calendrier compte pour le secteur des médias, même si l'article ne parle jamais d'édition.

Les éditeurs cherchent à remplacer ou à reconstruire leur trafic de recherche, et la discussion sur l'infrastructure est descendue d'un cran. Le texte de PlanetScale rappelle que la mécanique derrière la recherche n'a rien de magique. Un index b-tree trie les valeurs d'une colonne selon un ordre total. Il trouve une valeur exacte, une plage ou un préfixe. Il ne sait pas repérer un contenu au milieu d'une chaîne. Ce travail revient à un index inversé, qui associe chaque mot d'un champ texte aux documents qui le contiennent.

L'article est assez détaillé pour des ingénieurs et assez précis pour être vérifié. PlanetScale décrit un dictionnaire de termes qui relie chaque terme de tous les documents à des listes d'occurrences. Le dictionnaire réside sur disque sous forme de b-tree ou d'une autre structure triée lexicographiquement. Les requêtes à joker et floues peuvent parcourir une partie ou la totalité de ce dictionnaire. g* retrouve à la fois gonna et give. u~2 retrouve tous les termes à deux caractères d'écart, ce qui, dans l'exemple de l'article, donne you et up.

Pourquoi la plomberie compte pour les éditeurs

Les listes d'occurrences sont presque toujours triées et compressées. PlanetScale donne un exemple chiffré. Un index de 300 000 documents, dont 100 000 contiennent le mot « who », prendrait 19 bits par occurrence si chaque identifiant était stocké tel quel. Or l'écart moyen entre identifiants triés successifs est de trois, ce qui tient sur deux bits. Les listes denses peuvent être stockées en bitmaps, un bit par document. L'union et l'intersection de listes triées se font en une seule passe O(n). Les opérations sur bitmaps peuvent utiliser des instructions vectorielles pour faire un OR ou un AND sur 128, 256 ou même 512 bits à la fois.

Les éditeurs affrontent désormais la même catégorie de problème du côté de la consommation. Le 28 septembre, Digiday a publié une synthèse de son Publishing Summit. Le texte décrivait comment les éditeurs se reconstruisent pour l'ère d'après-recherche. Le même matin, cxotoday.com publiait un article affirmant que les médias indépendants subissent un étranglement de la part de Google et d'autres géants de l'IA. Aucun de ces deux médias n'est cité dans l'article de PlanetScale, et le blog technique n'aborde pas du tout le trafic de renvoi. Le lien est structurel : la recherche se reconstruit des deux côtés de la requête.

Les chiffres de la presse spécialisée ne sont pas tendres. Les gros titres récents mentionnent un recul de 40% sur un an des renvois de Google Search pour les éditeurs, daté du 24 septembre. Un autre rapport décrit une baisse du trafic des moteurs de recherche sur le web, certains petits sites enregistrant une chute de 60%. Ces chiffres viennent d'une agrégation de titres et non des sources primaires, il faut donc les lire comme une tendance. La direction est cohérente.

Les alternatives open source bougent aussi

Luxir, un moteur de recherche hybride open source publié le 22 septembre, se vend sur la même économie. Son site revendique la recherche plein texte, vectorielle et à facettes avec analytique depuis un seul moteur. Il cite un ordonnanceur à vol de travail qui répartit l'indexation, la fusion et l'exécution des requêtes sur tous les cœurs, des entrées-sorties réseau asynchrones et des chemins SIMD pour le décodage des occurrences, le scoring et la distance vectorielle. Les comptages de facettes sont exacts par défaut, selon le projet. Les requêtes top-k élaguent avec des bornes block-max quand l'appelant ne demande pas un total exhaustif.

La page de Luxir est un site produit, pas un article de benchmark, et ses performances sont auto-déclarées. Il en va de même pour l'article de PlanetScale, publié par une entreprise qui vend une base de données compatible Postgres. Les deux sont utiles comme descriptions d'architecture et comme déclarations d'intention. Aucun ne doit être lu comme une mesure indépendante.

Un article arXiv du 22 septembre signé Jochen Madler, de Sitefire, propose un détecteur structurel pour les textes marketing écrits par IA. L'article s'intitule « SlopShape: Identifying AI-Generated Commercial Web Content ». Il compare 2 250 billets de blog humains d'avant ChatGPT, issus de 268 domaines d'entreprise, à 11 250 miroirs générés par cinq modèles de pointe. Le détecteur atteint 98.0 de macro-F1 sur des entreprises tenues à l'écart, à partir de 187 traits structurels seulement. Il attribue le contenu au bon modèle source dans 79.3% des cas, contre 16.7% au hasard. Le kappa humain-humain est de 0.928 et le kappa humain-modèle de 0.946. L'article est une v2, révisée le 17 septembre.

Cela compte pour la même raison que l'infrastructure de recherche. Une grande part du contenu web commercial pourrait être générée par machine, sous une forme nette et qui s'annonce elle-même. Si c'est le cas, le corpus que les moteurs indexent change en même temps que les moteurs. Les éditeurs qui se reconstruisent pour l'après-recherche ne se battent pas seulement pour une place dans une page de résultats. Ils se battent pour une place dans un corpus qui écrit de plus en plus en retour.

Deux projets plus modestes vont dans le même sens. ParkourNote, un espace de travail de recherche construit par une seule personne et publié le 28 septembre, importe articles, livres, pages web et vidéos. Il les transcrit et les traduit, et expose la bibliothèque à Claude, ChatGPT ou Codex via un serveur MCP. GPU-font, également publié le 28 septembre, fait tourner un petit réseau de neurones dans le navigateur via WebGPU pour retrouver des polices à partir d'une image. Ce sont deux projets individuels, pas des basculements de plateforme. Tous deux illustrent le même schéma : plus de capacité, moins de serveur, moins d'intermédiaires.

Pour les éditeurs, la question pratique ne change pas. Les renvois de recherche baissent, et le coût technique de construction d'un produit de recherche baisse avec eux. Le volume de contenu synthétique qui concourt pour les mêmes places d'index augmente. L'article de PlanetScale explique comment l'index trouve un mot. Il n'explique pas qui sera trouvé.

Commentaires 0

Sources

5
  1. 01Anatomy of a (Postgres) Search EngineEN
  2. 02Luxir: Open-source hybrid search engineEN
  3. 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
  4. 04Show HN: ParkourNoteEN
  5. 05Show HN: GPU-fontEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.