← blog.bulgarelli.dev · Articles

Même parfait, mon outil de récupération de code coûtait plus cher que grep

Brice Bulgarelli · 11 novembre 2026 · version longue : le papier

L'idée de départ vient du fait que j'ai beaucoup observé les agents rédiger un plan pour implémenter un fix ou une nouvelle feature, et j'ai été surpris par le fait qu'il n'existe pas vraiment d'outil généralisé pour récupérer un "flow" de code.

Dans l'esprit où le dev agentique prend le pas sur l'ensemble de nos processus, il me semblait qu'il y avait un trou à combler de ce côté et que personne ne proposait un outil structurel déterministe qui permet de dérouler une callstack cross-langage, et mesurer les impacts de façon statique sur une base de données / sur des appels APIs externes.

Avant tout, l'esprit de l'outil reste orienté Web, mais les notions ici peuvent être facilement transposées.

1. Le faux départ

Je me suis donc lancé sur le développement d'un outil appelé "Seam" qui avait pour but de réduire au maximum les tours effectués par les agents. Au bout d'un mois et demi de développement, j'ai pu atteindre un résultat correct sur quelques exemples.

J'ai donc lancé les mesures sur un repository exemple open source : Keycloak. Résultat : 2,7x moins d'appels aux outils, et... 18 % d'augmentation des coûts...

2. Mais pourquoi ?!

Bon, "Seam" est un échec. Est-ce que l'implémentation est en cause ? Je me suis mis à creuser, car passer 2 mois au total sur un projet et simplement s'arrêter à un "Bon, ça ne marche pas" est extrêmement frustrant.

Le réel outcome est peut-être en fait différent, relativement indépendant de la "qualité" de l'outil.

3. L'outil parfait, sans jugement sémantique

Puis je me suis mis à fabriquer une version "idéale" de l'outil, exempte de jugement sémantique (ce détail est important).

En fait, il faut savoir que cet outil parfait a provoqué les mêmes résultats.

Voilà les résultats en incluant les appels après le marqueur de fin de trace de callback :

grep Seam outil parfait
appels d'outils 22,4 14,4 20,8
coût 1,00x 1,36–1,42x 1,13–1,26x

Concrètement, la réduction de tours s'applique, mais bien moins que prévu... Ce qui nous amène au premier problème inhérent aux outils de récupération de code :

#1 L'agent re-vérifie toujours

Peu importe ce que je mets dans le prompt : après le marqueur "DONE", la calltrace est complètement terminée. Il n'y a aucune raison de continuer. Et pourtant... Et pourtant l'agent continue à réaliser des appels ! Il y a d'ailleurs deux phases principales dans le comportement de l'agent :

Le plancher de vérification

#2 Les coûts réels viennent du cache-write sur les premiers tours

Il y a une autre variable à laquelle l'outil idéal sans sémantique ne peut échapper : l'output de l'outil étant plus important (c'est un compromis entre volume de payload et nombre de tours...), le cache-write explose bien plus rapidement.

L'inversion de l'amortissement

1,00 $ par million de tokens par tour à 20 tours, et jusqu'à 10,50 $ à 1 tour...

La règle empirique : pour que l'outil soit rentable, il faudrait que chaque token qu'un outil ajoute permette d'économiser 20 tokens de relecture. Sauf que Seam économise 5,7 tokens de relecture par token ajouté (donc 3,5x trop peu pour atteindre les 20).

4. L'outil parfait, avec jugement sémantique, réduit à sa réponse "cœur"

Prenons une approche encore plus drastique : on va réduire la réponse de l'outil parfait à son strict minimum (donc on filtre la calltrace à son minimum pour n'exposer que le chemin cherché). On expose donc la réponse directe, en un seul appel, ce qui fait un total de payload de ~500 tokens.

Résultat : 0,45x le prix de grep en moyenne, moins cher sur tous les rounds. Sauf que tout n'est pas si rose : le plancher de vérification est toujours là, et environ 10 appels supplémentaires ont été faits par les agents après avoir eu la réponse finale. Et ces vérifications rendent le gain imprévisible : sur un round où l'agent a vérifié 25 fois, le coût est remonté au niveau de grep (0,99x).

Bref : on est en droit de se poser la question sur la possibilité même d'existence d'un tel outil...

5. Conclusion et limites

À noter que cette étude a été faite sur un seul repository et une seule tâche, avec 5 rounds sur chaque bras sur Opus, et 3 rounds sur Sonnet (grep et outil idéal seulement). Il est fort possible que le résultat varie en choisissant d'autres repositories et d'autres tâches. Mais le calcul et le système de coût se généralisent : une étude de juillet 2026 (arXiv 2607.12161) montre la direction opposée : la compression de tokens amène à une augmentation de la facture finale.

6. À vos tests

Seam, le dispositif de benchmark et les scripts d'analyse ont été écrits avec Claude Code sous ma direction ; ce texte est de ma main, relu et corrigé avec Claude.