Scoring IA avec Jev, 2 211 décisions pour 16 centimes

Mis à jour le 8 octobre 2026

Le scoring IA, c'est confier à un modèle une décision fermée sur un prospect : est-il dans la cible, sa réponse ouvre-t-elle une porte, ce post mérite-t-il un commentaire. Sur 2 211 décisions de ce type prises en dix jours dans notre back office, la facture a été de 0,16 $. Le modèle qui les a prises n'écrit pas une ligne de texte. Il renvoie des probabilités.

Pendant longtemps, on faisait l'inverse. Chaque oui ou non partait chez Claude Sonnet, un modèle brillant, à qui on demandait de jouer à pile ou face. Jordane, qui a construit notre back office, a passé une journée à tout mesurer sur nos données réelles. Cet article raconte ce qu'on avait, pourquoi c'était faux, ce qu'on utilise maintenant, et les trois règles qu'on aurait aimé connaître plus tôt. Tous les chiffres viennent de nos logs de production.

Le scoring IA attribue automatiquement une note ou une probabilité à un prospect, une entreprise ou un message, pour décider quoi en faire. Dans les CRM, c'est souvent un score de 0 à 100 calculé sur l'historique, comme le lead scoring par IA de HubSpot (documentation HubSpot). Dans un back office de prospection, c'est surtout des milliers de petites décisions par jour.

Chez Hacquisition, le back office lit tout pour nous. Il repère les prospects, note les entreprises, fait tourner les campagnes LinkedIn et email, lit les réponses, le fil LinkedIn, les fils Reddit. Concrètement, ça donne des questions de ce genre, posées des milliers de fois.

Aucune de ces questions n'appelle un texte. Elles appellent un oui, un non, ou un niveau. Sauf qu'on les envoyait toutes à un modèle fait pour écrire. Bref, on payait un poète pour lancer une pièce.

Le setup classique. Vous avez probablement le même. Pour les réponses à nos campagnes, le prompt ressemblait à ça : « Voici la conversation. Renvoie un JSON avec le sentiment, l'intention, l'urgence, un score de priorité de 1 à 10, les objections, la prochaine action et trois réponses suggérées. » Chaque réponse y passait. Un message d'absence, un « merci, pas maintenant », un « désinscrivez-moi » : tout recevait le traitement complet, pour environ 3 cents et 1,3 seconde par message. (Capture des logs de coût à ajouter ici.)

Bon, ça marchait. Ça avait aussi trois problèmes qu'on ne voulait pas voir.

Parce qu'un LLM génère le chiffre comme il génère un mot : il produit la suite la plus plausible, pas une mesure. Une étude présentée à ICLR 2024 a demandé à plusieurs modèles d'exprimer leur confiance en toutes lettres : ils sont nettement trop sûrs d'eux, avec une erreur de calibration moyenne supérieure à 0,37 pour GPT-3, GPT-3.5 et Vicuna (Xiong et al., ICLR 2024).

Le plus ironique, c'est que la calibration existe sous le capot. Quand on lit directement les probabilités d'un grand modèle sur des questions vrai/faux ou à choix multiples, elles sont plutôt bien calibrées (Kadavath et al., Anthropic, 2022). C'est le chiffre écrit en toutes lettres qui la perd. Un modèle qui renvoie des probabilités au lieu d'un texte vous donne précisément ce qui se perd en route.

Le deuxième problème, c'est la stabilité. Des chercheurs ont rejoué huit tâches classiques dix fois sur cinq LLM réglés pour être déterministes. Aucun n'a donné une précision stable sur toutes les tâches, avec des écarts allant jusqu'à 15 % d'un passage à l'autre (Atil et al., 2024). Nos 74 % d'accord de Sonnet avec lui-même, c'est la même chose vue depuis un back office.

Jev est un modèle de décision conçu par TypeSafe et accessible via OpenRouter. Il ne s'appelle pas comme un LLM classique : il a son propre point d'accès, /api/alpha/decisions. Vous n'écrivez pas de prompt, vous posez des questions. Vous envoyez un état (la conversation, le post, l'entreprise) et une liste de questions fermées, il renvoie des probabilités. Jamais de texte, jamais de raisonnement (documentation Jev sur OpenRouter).

Voilà un vrai appel, tel qu'il part de notre back office. L'état contient l'échange, la question porte une consigne et des critères pour le oui et pour le non.

{
  "model": "typesafe/jev-latest",
  "state": "NOUS : Un appel de 15 minutes la semaine prochaine, ça aurait du sens ?\nPROSPECT : Pas maintenant, on est en plein budget. Relancez-moi en janvier.",
  "questions": {
    "relance": {
      "type": "noul",
      "instructions": "La porte est-elle encore ouverte pour une relance plus tard ?",
      "criteria": {
        "true": "intérêt, question, « pas maintenant » poli, renvoi vers un collègue",
        "false": "non ferme, demande d'arrêt, hors sujet, nous vend quelque chose"
      }
    }
  }
}

{ "answers": { "relance": { "noul": 0.91 } }, "usage": { "cost": 0.00007 } }

Au moment de nos tests, l'entrée coûtait 0,042 $ par million de tokens, et la sortie était gratuite (il n'y en a pas). Latence médiane autour de 400 ms. Et avant que vous me demandiez : non, personne chez TypeSafe ne nous a payés pour écrire ça.

On n'a pas changé de modèle parce qu'il était nouveau. Avant de toucher à la production, Jordane a passé une journée à tester Jev sur 7 cas d'usage réels, avec nos données de production en lecture seule, contre Sonnet, et contre nos humains quand on avait des étiquettes humaines. (Capture du tableau de bench à ajouter ici.)

Jev n'est pas magique. Quand la décision demande beaucoup de contexte nuancé (cette entreprise colle-t-elle à ce client, avec ce pitch ?), il est faible au milieu. Sur le sourcing, Sonnet reste le juge. Pour choisir 1 à 3 secteurs parmi 165 options, Sonnet encore.

Notre premier essai sur le tri des réponses copiait l'ancien prompt : « Classe l'intention : très intéressé, intéressé, curieux, objection, pas intéressé. » Accord avec Sonnet : 57 %. Mauvais. Puis on s'est demandé ce que notre boîte de réception faisait vraiment de cette réponse. Elle se fiche de savoir si un prospect est « curieux » ou « intéressé ». Elle veut savoir une chose : on répond, ou pas ?

Alors on a posé exactement cette question à Jev : « La porte est-elle encore ouverte ? » Accord avec nos humains : 95 %. Rappel : 100 %, pas une seule porte ouverte perdue. Essayez vous-même ci-dessous, en basculant entre les deux façons de demander.

La règle métier tient maintenant en une ligne que n'importe qui dans l'équipe peut lire :

Même modèle, mêmes données. La seule chose qui a changé, c'est la question. Posez celle sur laquelle vous allez agir, pas celle qui fait joli dans un dashboard. Si vous cherchez quels signaux méritent cette question, notre article sur les 7 signaux d'un prospect chaud en liste plusieurs.

C'est le vrai superpouvoir. Les probabilités de Jev sont calibrées : quand il dit 0,02, ce n'est (presque) jamais un oui. Quand il dit 0,95, ce n'est (presque) jamais un non. Un modèle calibré, c'est un modèle dont les 80 % se réalisent environ 80 fois sur 100, une propriété qui ne va pas de soi pour un réseau de neurones (Guo et al., ICML 2017).

Le milieu, entre 0,4 et 0,6, est bruité. Mais souvenez-vous : Sonnet aussi est bruité là. Personne n'est bon dans la zone grise, parce que la zone grise est grise. Du coup, on a arrêté de demander à Jev d'être juge partout. On lui demande de dégager les cas évidents, et on garde le modèle cher pour les cas durs.

Vous voyez l'idée ? Un filtre qui ne se trompe que dans un sens, c'est un filtre qu'on peut laisser tourner sans le surveiller. (Capture du rapport de tri hors campagne à ajouter ici.)

C'est l'architecture qu'on a maintenant, et honnêtement, on aurait dû la faire dès le premier jour. Chaque réponse passe d'abord par Jev. Si la porte est fermée, la conversation est classée avec une raison (budget, timing, mauvaise personne) et aucun texte n'est généré, parce qu'aucun texte n'est nécessaire. Si la porte est ouverte, Sonnet arrive et rédige les réponses suggérées. Ça concerne à peu près la moitié des conversations.

Même idée partout ailleurs. Le rédacteur n'écrit que quand il y a quelque chose qui mérite d'être écrit.

La plupart des cartes n'ont jamais besoin d'un rédacteur. Et comme la porte coûte presque rien, elle voit tout. C'est le même principe que dans notre agent IA de prospection LinkedIn : chaque brique fait un seul métier.

2 211 décisions Jev en production. Facture totale : 16 centimes. Si chacune avait coûté autant qu'une réponse traitée par l'ancien prompt (environ 3 cents), on serait autour de 66 $. Le graphique ci-dessous met les deux côte à côte : une case jaune, c'est toute la facture Jev.

Soyons clairs sur l'argent. En valeur absolue, notre facture LLM récurrente n'était pas énorme : on est une agence, pas une banque. Les économies sont réelles (sur le sourcing, le bench prédit environ 40 $ économisés par campagne de prospection), mais ce n'est pas le sujet principal.

Une probabilité a un dernier cadeau. Comme la décision, c'est « probabilité + seuil », le seuil devient un réglage, plus une constante qu'on devine. Chaque fois que quelqu'un de l'équipe corrige une étiquette dans la boîte de réception, on stocke la réponse humaine à côté de la décision IA qu'elle corrige. Chaque semaine, un petit job rejoue toutes ces corrections contre tous les seuils possibles. Aucun appel au modèle : les probabilités sont déjà stockées.

Et il est prudent exprès. Déplacez le seuil ci-dessous pour voir les garde-fous s'allumer, ou bloquer.

Commencez par faire l'inventaire, pas par changer de modèle. Six étapes, dans cet ordre.

Si vous débutez avec l'IA dans votre prospection, commencez plutôt par notre guide de la prospection IA, qui fait le tri entre les cas d'usage rentables et le reste.

Je sais ce que vous pensez si vous faites du machine learning : « vos échantillons sont petits ». Oui. Entre 3 et 74 cas positifs selon le cas d'usage, et la référence est souvent Sonnet, pas un humain. Ce n'est pas un article scientifique, c'est notre back office. Les chiffres sont vrais, et c'est la méthode qu'on vous invite à voler.

Côté réglementation, une précision qui revient souvent dans les recherches sur le « scoring IA » : l'AI Act européen interdit la notation sociale, c'est-à-dire classer des personnes sur leur comportement social pour les traiter défavorablement ailleurs (règlement (UE) 2024/1689, article 5). Trier des réponses commerciales ou des entreprises dans une cible n'en relève pas. Le RGPD, lui, s'applique toujours aux données de vos prospects, comme pour toute campagne de cold emailing.

Bref. Un bon LLM est un rédacteur. Quand vous lui demandez de décider, il vous rend un beau paragraphe qui finit par « ça dépend ». Un modèle de décision vous rend 0,91 et se rendort. Donnez à chacun le métier pour lequel il a été fait. Et si vous testez ça sur votre propre stack, écrivez-nous ce que vous trouvez : on mettra l'article à jour avec vos retours.