Vérifier un agent IA avant de le payer : ce que j'ai appris en construisant l'annuaire qui manquait

Un fournisseur vous dit que son agent IA traite vos factures avec 98 % de précision. Comment vérifiez-vous ? Aujourd'hui, la réponse honnête est : vous ne vérifiez pas. Vous croyez la page produit, vous croyez la démo, et vous découvrez le vrai chiffre trois mois après la signature. C'est ce trou-là que j'ai passé mes vendredis à combler, sur un projet parallèle appelé Agent Reputation. Ce que j'y ai appris se transpose directement à l'achat d'un outil IA par une PME — et bien avant que les machines aient besoin de se faire confiance entre elles.

J'avais posé le décor il y a quelques semaines dans quand les agents IA se rencontreront : les protocoles pour que des agents se parlent, s'outillent et se paient existent déjà. Il manque l'annuaire, l'identité et la responsabilité juridique. J'ai attaqué l'annuaire, parce que c'est le seul des trois qu'un indépendant peut construire seul.

Ce que c'est, concrètement

agentreputation.dev recense aujourd'hui plus de 16 000 agents et serveurs MCP, collectés sur plusieurs registres publics. Par-dessus cet index, le service produit un dossier de preuves — ce que l'agent déclare, ce qu'on observe de son travail, ce qui reste incertain — et une note de décision pour une mission précise. Le brief coûte 0,50 USDC et arrive sous 24 heures.

Deux choses que je dis franchement, parce qu'elles comptent pour juger le reste. Premièrement, ce n'est pas une place de marché : je ne vends aucun agent, et personne ne me paie pour être bien noté. Deuxièmement, c'est un MVP : à ce stade, l'analyse qui produit le brief est faite à la main, pas par une usine automatisée. Le jour où je prétendrai le contraire, vous aurez le droit de me demander la preuve.

La première leçon : « déclaré » et « observé » ne sont pas la même colonne

C'est la découverte qui a structuré tout le reste. Quand vous agrégez 16 000 fiches, vous vous rendez compte que l'écrasante majorité de ce qu'on appelle « réputation » est en fait de l'auto-déclaration recopiée. Un agent dit ce qu'il sait faire. Un annuaire recopie. Un deuxième annuaire recopie le premier. Au bout de la chaîne, la même phrase écrite par le vendeur apparaît à quatre endroits différents — et l'acheteur, lui, la lit comme quatre confirmations indépendantes.

Donc la règle de construction est devenue : ne jamais fondre les sources dans un score unique. Un chiffre agrégé cache d'où il vient. Ce qui a de la valeur, c'est la séparation : voici ce que le vendeur affirme, voici ce qu'on a effectivement observé, voici ce qu'on n'a pas pu vérifier. Les trois colonnes doivent rester visibles jusqu'au bout.

Un score unique est confortable à lire et impossible à contester. C'est exactement ce qui devrait vous inquiéter.

La deuxième leçon : l'absence de preuve est une information

Le réflexe, quand une donnée manque, est de la remplacer par une estimation. C'est le pire choix possible dans un dossier destiné à une décision d'achat. Si je n'ai pas d'historique d'exécution pour un agent, écrire « performance probablement correcte » invente une confiance qui n'existe pas. Écrire « aucune exécution observée » a l'air moins utile — mais c'est vrai, et ça change la décision.

Pour une PME, la version pratique tient en une question à poser au fournisseur : « sur quoi repose ce chiffre ? » Une réponse solide ressemble à « sur 4 200 documents traités chez trois clients entre janvier et mai, mesuré comme ceci ». Une réponse faible ressemble à « sur nos benchmarks internes ». Et une réponse absente est, elle aussi, une réponse.

La troisième leçon : la fraîcheur périme en silence

Un dossier de preuves vieillit sans prévenir. Un agent excellent en mars peut avoir changé de modèle, de propriétaire ou de politique de données en juillet, et rien dans la fiche ne clignote. C'est le problème le plus difficile que j'ai rencontré, et je ne l'ai pas complètement résolu : la seule chose honnête à faire, à ce stade, est de dater chaque élément et de laisser le lecteur juger de sa péremption.

Là aussi, la transposition est immédiate. Une référence client qui date de deux ans sur un marché où le prix des modèles a été divisé par douze en onze mois ne dit presque rien de ce que le fournisseur sait faire aujourd'hui. Demandez la date. Toujours.

La checklist que j'utilise avant de brancher un outil IA chez un client

Elle sort directement de ce travail, et elle tient en six questions. Elle ne demande aucune compétence technique — seulement de la constance à les poser.

1. Qu'a fait cet outil, chez qui, quand ? Pas ce qu'il sait faire : ce qu'il a fait. Avec des dates.
2. Qui répond si ça casse ? Une société, un numéro d'entreprise, un contrat. Un compte GitHub n'est pas un responsable.
3. Où partent les données, et sous quel droit ? La question n'est pas « est-ce sécurisé » mais « quelle juridiction ». J'ai détaillé le raisonnement dans IA, RGPD et souveraineté des données.
4. Que se passe-t-il si le fournisseur ferme ? Vous devez pouvoir récupérer vos automatisations et les faire tourner ailleurs. C'est une des raisons pour lesquelles je construis sur n8n plutôt que sur une boîte noire louée au mois.
5. Le chiffre annoncé, il est mesuré comment ? Voir plus haut.
6. Qu'est-ce qui n'est pas couvert ? Un fournisseur qui n'a aucune limite à énoncer ne connaît pas son produit, ou ne vous le dit pas.

Pourquoi ce projet vit à côté de mon travail avec les PME

Parce que c'est le même problème à deux échéances différentes. Dans deux ou trois ans, ce sont des logiciels qui achèteront des services à d'autres logiciels, et il faudra bien qu'ils puissent vérifier à qui ils parlent. Aujourd'hui, ce sont des dirigeants qui achètent des outils IA sur la foi d'une page produit — et ils n'ont pas plus d'outils de vérification que les machines n'en auront demain.

Construire l'un me rend meilleur sur l'autre. C'est aussi simple que ça. Et ça explique pourquoi, quand j'arrive chez un client, la première demi-journée sert à comprendre son métier et à peser ce qu'il utilise déjà — pas à installer quoi que ce soit.

Si vous êtes en train d'évaluer un outil IA et que la checklist ci-dessus vous laisse trois questions sans réponse, appelez : 0491 505 505 ou info@simplifiez.ai. Un avis extérieur de vingt minutes coûte moins cher qu'un abonnement annuel signé trop vite.