La vraie question que se posent les dirigeants n'est pas ce qu'un agent sait faire. C'est ce qui arrive la première fois qu'il se trompe avec assurance, à trois heures du matin.

La frontière est la réversibilité, pas la difficulté

On est tenté de trier le travail selon sa difficulté et de supposer que les parties difficiles exigent un humain. C'est le mauvais axe. Beaucoup de travail difficile s'automatise sans risque, parce qu'une erreur se voit immédiatement et coûte une reprise. Beaucoup de travail trivial ne s'automatise pas, parce qu'une erreur y est silencieuse et définitive.

Le test utile est le coût d'annulation. Si annuler exige un appel à une contrepartie, une correction déposée auprès d'un régulateur ou des excuses à un client, une personne approuve d'abord. Si annuler consiste à réappuyer sur le bouton, l'agent peut en être responsable.

Trois catégories qui restent toujours humaines

  • Tout ce qui déplace de l'argent ou change qui contrôle un actif. Le coût d'annulation n'est pas le montant, c'est la relation et la trace écrite.
  • Tout ce qui crée une obligation légale ou contractuelle, y compris l'envoi d'un document qu'une personne raisonnable lirait comme un engagement.
  • Tout ce qui ne s'annule pas du tout : une suppression, une déclaration publique, un dépôt réglementaire, un message à quelqu'un qui sait désormais quelque chose.

Une approbation ne vaut que si elle lie exactement ce qui a été montré

C'est là que la plupart des implantations échouent discrètement. On montre un résumé à une personne, elle approuve, et le système exécute ensuite à partir de données récupérées après coup. L'approbation et l'action sont devenues deux choses différentes, et la piste d'audit affirme qu'un humain a approuvé quelque chose qui n'a jamais eu lieu.

Le comportement correct est que l'approbation se rattache à un contenu précis et figé. Si quoi que ce soit change entre l'approbation et l'exécution, le système ne s'adapte pas. Il s'arrête et redemande. Cette contrainte est gênante environ une fois par mois, et c'est toute la raison pour laquelle la trace a de la valeur.

Le système doit pouvoir refuser

Un agent qui ne peut pas compléter une vérification requise a deux options : deviner, ou s'arrêter. La plupart des systèmes sont construits pour deviner, parce que s'arrêter ressemble à un échec en démonstration. En environnement réglementé, s'arrêter est la fonctionnalité. Un traitement qui s'interrompt en nommant la vérification qu'il n'a pas pu compléter fait son travail ; celui qui continue sur une preuve partielle a discrètement transféré le risque sur la personne qui signe le dossier.

C'est aussi la réponse honnête à la question que les dirigeants posent sur l'IA et les effectifs. Le jugement ne disparaît pas, ni la personne qui l'exerce. Ce qui disparaît, c'est la préparation : la collecte, les recoupements, l'assemblage du dossier qui consommait les heures précédant la décision. La décision elle-même reste exactement là où elle était.