Postgres, Luxir et SlopShape : la pile de recherche se reconstruit pendant que le trafic des éditeurs chute
PlanetScale a publié le 27 septembre une explication technique détaillée sur la recherche plein texte dans Postgres, le dernier élément d'une semaine de sorties d'infrastructures de recherche, au moment où les éditeurs signalent des chutes brutales de leurs renvois depuis les moteurs.

La nouveauté de la semaine dans la pile de recherche ne vient pas d'un moteur de recherche. Le 27 septembre, PlanetScale a publié « Anatomy of a (Postgres) Search Engine », une explication technique sur le fonctionnement des index inversés dans Postgres et sur ce qui les distingue des b-arbres que la plupart des développeurs utilisent en premier réflexe.
Le texte de PlanetScale rappelle que la recherche est désormais une fonction de base de données, pas seulement une catégorie de produit. « Un b-arbre ne sert à rien pour trouver un contenu au milieu d'une chaîne », écrit l'entreprise, avant de montrer le schéma qu'elle veut voir disparaître : une requête qui parcourt chaque ligne d'une table avec un LIKE à joker en tête. L'alternative, un index inversé construit sur chaque mot d'un champ, est la méthode que « pratiquement tous les moteurs de recherche plein texte » utilisent pour localiser des documents, selon l'article. Le point d'architecture paraît mince, mais ses conséquences sur la vitesse à laquelle une base répond à une question sont grandes. L'explication entre dans le détail de la mécanique. Un index inversé comporte un dictionnaire de termes et des listes d'occurrences, auxquelles peuvent s'ajouter des données de position et de fréquence. Les listes d'occurrences sont triées puis compressées : PlanetScale prend l'exemple d'un index de 300 000 documents, dont 100 000 contiennent le mot « who ». Stocker chaque identifiant tel quel demanderait 19 bits par occurrence, mais l'écart moyen entre deux identifiants successifs est de trois, ce qui tient sur deux bits. Les listes denses peuvent aller plus loin et stocker un bitmap, qui devient optimal quand environ la moitié des documents contiennent un terme. C'est un détail de compression, mais il explique pourquoi la recherche sur de grands corpus reste abordable, et pourquoi le moteur de requêtes peut faire l'union ou l'intersection de deux listes d'occurrences en une seule passe en O(n). PlanetScale note aussi que les instructions vectorielles des processeurs récents peuvent faire un OR ou un AND sur 128, 256 ou même 512 bits en une instruction quand les listes sont stockées sous forme de bitmaps.
Luxir présente une recherche tous spectres dans un seul moteur
Cinq jours plus tôt, le 22 septembre, un autre projet, Luxir, a publié son propre argumentaire : un moteur open source qui réunit recherche plein texte, vectorielle et à facettes avec de l'analytique en une seule requête. Le site de Luxir pose le débat en termes de coûts plutôt que de fonctionnalités : le moteur est « conçu pour le maximum de recherche par cœur, par gigaoctet et par dollar », et les clients cloud « paient l'inefficacité pour toujours ».
Les promesses d'architecture sont précises. Un ordonnanceur à vol de travail répartit l'indexation, la fusion et l'exécution des requêtes entre les cœurs, les entrées-sorties réseau sont asynchrones pour qu'un client lent ne bloque pas un cœur, et les segments sont immuables et projetés en mémoire afin d'être lus depuis le cache de pages. Le décodage des occurrences, le calcul des scores et la distance vectorielle passent par des chemins SIMD, avec élagage block-max pour les requêtes top-k. Luxir prend aussi position sur les comptages, ce qui compte pour quiconque construit une interface de recherche. Les comptages de facettes sont « toujours exacts par défaut », affirme le projet, et le total de résultats est exact quand la requête le demande, élagué sinon. Requêtes, facettes et métriques s'exécutent dans la même passe sur la même vue d'index, si bien qu'un seul aller-retour renvoie ensemble les documents, les comptages de la barre latérale et les chiffres d'en-tête.
Les deux articles décrivent une plomberie que la plupart des utilisateurs ne voient jamais. C'est pourtant la couche où se décide l'économie de la recherche, et cette économie change vite.
Un détecteur qui lit la structure, pas le vocabulaire
Le jour même du lancement de Luxir, un article sur arXiv s'est attaqué au contenu qui remplit ces index. « SlopShape: Identifying AI-Generated Commercial Web Content », soumis le 14 septembre et révisé le 17 septembre, pose la question de savoir si un texte généré par IA peut être identifié à partir de signatures structurelles, c'est-à-dire la manière dont l'information est présentée, dans quel ordre, avec quelles preuves et sur quel ton. L'auteur, Jochen Madler de Sitefire, a répliqué les travaux StoryScope de Russell et al. sur du contenu commercial : 2 250 billets de blog humains d'avant ChatGPT issus de 268 domaines d'entreprises, contre 11 250 répliques générées par cinq modèles de frontière. Un instrument de 214 variables, appliqué par un LLM et validé lors d'une session d'annotation humaine avec un kappa humain-humain de 0,928 et un kappa humain-modèle de 0,946, a détecté les billets IA à partir de ses seules 187 variables structurelles avec un macro-F1 de 98,0 sur des entreprises tenues à l'écart. Reformuler chaque billet IA avec son propre modèle a laissé le score inchangé, à 98,1.
L'article revendique aussi l'attribution. Les billets IA partagent « une forme nette, qui s'annonce d'elle-même » : 79,3 pour cent sont attribués au bon modèle source, contre un taux de hasard de 16,7 pour cent, et les billets humains occupent des configurations structurelles rares. Le pipeline, l'instrument, les prompts et le code sont publiés.
Ce résultat compte pour la recherche, car la structure est précisément ce que consomment les systèmes de classement et les moteurs de réponse par IA. Si le contenu web commercial a une forme détectable, alors le corpus que les moteurs indexent devient plus uniforme au moment même où les outils pour l'indexer deviennent plus rapides et moins chers.
Ce sont les éditeurs qui paient
Les gros titres qui entourent le dossier pointent dans l'autre sens. La couverture récente citée dans le dossier inclut un rapport selon lequel le recul de la recherche Google s'est aggravé jusqu'à 40 pour cent d'une année sur l'autre pour les éditeurs, daté du 24 septembre, et un autre élément affirmant que les badges de profil Google Search exposent la crise du trafic des éditeurs, daté du 16 septembre. Des éléments plus anciens décrivent un trafic venu des moteurs en baisse sur le web, certains petits sites subissant une chute de 60 pour cent, et la recherche IA de Google menaçant les petits éditeurs à mesure que l'IA conversationnelle réduit le trafic vers les sites. Certaines de ces dates sortent de la dernière semaine : ce sont des éléments de contexte, pas des nouvelles. Elles fixent néanmoins le cadre des sorties techniques ci-dessus : le coût de construction d'un index de recherche ne cesse de baisser, et le trafic que cet index renvoie aux éditeurs baisse avec lui.
Deux autres éléments du dossier montrent l'étendue du terrain. Le 26 septembre, CleanTechnica a ouvert les soumissions pour sa propre branche d'édition de livres, offrant aux auteurs une voie de publication contre des frais initiaux de 3 000 à 5 000 dollars plus un pourcentage sur chaque livre vendu, avec un Google Hangout prévu le 30 septembre. Le 24 septembre, le hub de contenu technique de Wiley a publié un livre blanc, sponsorisé par Hendrix by Marmon Utility, sur la construction des sorties de poste, en soutenant que la fiabilité des premières portées hors d'un poste pèse d'un poids inhabituel, car un seul défaut de contact à cet endroit peut interrompre plusieurs circuits à la fois.
Aucun des deux n'est un sujet de recherche à première vue. Mais tous deux sont du contenu commercial visant un public précis, produit sous le nom d'un sponsor ou sous la marque d'un éditeur, soit exactement la catégorie que l'article SlopShape cherche à classer. La thèse de l'article est que ce contenu a une forme : un ordre particulier, un type de preuve particulier, un ton particulier. Si elle tient, la prochaine génération de moteurs de recherche devra décider quoi en faire.
Pour l'instant, le versant infrastructure avance plus vite que le versant politique. PlanetScale livre TIN, son index de recherche plein texte pour Postgres, et annonce un article plus poussé à venir sur ses fonctionnalités, ses performances et son implémentation. Luxir est téléchargeable, avec une API HTTP/JSON sur le port 9 400 et un répertoire de données pour la persistance. L'article arXiv est public, avec le code et les artefacts joints.
Aucun d'eux ne tranche la question de savoir où vont les lecteurs. Les moteurs de recherche trouvent de mieux en mieux les documents, et les éditeurs rapportent que moins de gens arrivent jusqu'à eux. Cet écart est l'histoire à laquelle l'outillage n'a pas encore répondu.
Sources
5- 01Anatomy of a (Postgres) Search EngineEN
- 02Luxir: Open-source hybrid search engineEN
- 03SlopShape: Identifying AI-Generated Commercial Web ContentEN
- 04Publish Your Book Through CleanTechnica PressEN
- 05Engineering the Substation Exit for Reliability, Capacity, and ExpansionEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.