Solveurs et IA : comment le poker a changé depuis Libratus

Un solveur poker est un logiciel qui calcule, pour une situation donnée, la stratégie qu’aucun adversaire ne peut exploiter : la fameuse stratégie d’équilibre. Depuis que Libratus a battu quatre professionnels en 2017, ces calculs sont sortis des laboratoires pour s’installer sur l’ordinateur de n’importe quel joueur régulier. Le jeu en a été transformé, des tailles de mise jusqu’à la façon d’étudier.

Janvier 2017 : Libratus contre quatre spécialistes du heads-up

Du 11 au 31 janvier 2017, au Rivers Casino de Pittsburgh, Carnegie Mellon organise le défi « Brains vs. Artificial Intelligence ». En face du programme Libratus, conçu par Tuomas Sandholm et Noam Brown : Dong Kim, Jason Les, Jimmy Chou et Daniel McAulay, quatre joueurs de heads-up No Limit Hold’em de haut niveau. Au programme, 120 000 mains en 20 jours, avec des mains « miroirs » jouées dans une autre salle pour gommer la chance de distribution.

Le résultat ne laisse aucun doute. Libratus termine avec 1 766 250 dollars de jetons d’avance, soit 14,7 grosses blindes pour 100 mains. Les quatre humains finissent tous perdants, Dong Kim limitant la casse à environ 85 000 dollars de jetons. Deux ans plus tôt, dans le même casino, son prédécesseur Claudico avait terminé derrière les humains.

Comment ces programmes « pensent »

Libratus s’appuie sur une variante de la minimisation du regret contrefactuel (CFR). Le principe : le programme joue des milliards de parties contre lui-même et, à chaque décision, mesure ce qu’il aurait gagné en choisissant une autre action. Il renforce les options qu’il « regrette » de ne pas avoir jouées. À force d’itérations, la stratégie converge vers un équilibre de Nash : une manière de jouer qui ne perd pas d’argent, quoi que fasse l’adversaire.

Deux idées ont fait la différence face aux pros. La première tient à la résolution en cours de main : au lieu de se contenter d’une stratégie précalculée et approximative, Libratus recalcule finement les fins de coup. La seconde est l’autocorrection : chaque nuit, le programme repérait les tailles de mise que les humains utilisaient pour le tester et comblait ces trous. Le calcul a mobilisé plus de 15 millions d’heures-cœur de supercalculateur pendant le développement.

Les autres jalons : Cepheus, DeepStack, Pluribus

• Cepheus (2015) : des chercheurs de l’Alberta annoncent dans Science que leur stratégie de heads-up Limit Hold’em est si proche de l’optimum qu’aucun humain ne peut la battre sur la durée.
• DeepStack (2017) : la même équipe d’Alberta bat un groupe de professionnels en heads-up No Limit avec une autre approche, fondée sur des réseaux de neurones qui estiment la valeur des situations.
• Pluribus (2019) : Carnegie Mellon et Facebook franchissent l’étape des parties à six joueurs. Sur 10 000 mains, le programme bat une sélection de professionnels assis cinq par cinq, dont Darren Elias et Chris Ferguson dans un format à part. Son entraînement a pris huit jours sur un serveur de 64 cœurs, pour moins de 150 dollars de calcul dans le cloud.

Ce dernier chiffre a marqué les esprits : battre des pros à six ne demande plus un supercalculateur. C’est aussi ce qui explique la vigilance des salles face aux robots.

Cinq habitudes bousculées par le GTO

Le vocabulaire a suivi : on parle de GTO (game theory optimal) pour désigner la stratégie d’équilibre, et d’exploitation pour les écarts volontaires face à un adversaire précis. Plusieurs habitudes ont basculé en quelques années :

• Des ouvertures plus petites. Les relances préflop à 3 ou 4 blinds ont laissé place à des open raise de 2 à 2,5 blinds en ligne.
• Des continuation bets minuscules. Sur les boards secs, le solveur mise souvent un tiers du pot, voire moins, avec presque toute sa range.
• Des overbets. Miser plus que le pot à la turn ou à la river, autrefois exotique, est devenu une arme courante avec une range polarisée.
• Des stratégies mixtes. La même main peut être misée 60 % du temps et checkée 40 % du temps. L’idée de « la bonne action » unique a reculé.
• La défense de la grosse blind. Les calculs ont montré qu’on se couchait beaucoup trop souvent face à une petite relance, compte tenu de la cote du pot.

Solveurs grand public : comment on s’en sert

Les solveurs commerciaux comme PioSolver sont apparus au milieu des années 2010, suivis par des plateformes en ligne comme GTO Wizard, qui proposent des solutions précalculées consultables en quelques secondes et des modes d’entraînement. L’usage type se fait hors session : on reprend une main jouée, on reconstitue la situation, on compare sa décision avec celle de l’équilibre et on mesure l’écart en EV. Combiné à un tracker, cela permet de cibler les spots les plus coûteux plutôt que de tout étudier au hasard.

Un solveur reste un outil d’étude. Personne ne mémorise des milliers de fréquences ; l’objectif est d’en tirer des principes simples : quels boards favorisent l’ouvreur, quelles mains servent de bluff, quand grossir la mise.

Aides en temps réel : interdites en ligne

Consulter un solveur ou un tableau de ranges pendant une main, ce qu’on appelle RTA (real-time assistance), est interdit par les conditions des salles françaises, qui ferment les comptes concernés et peuvent confisquer les gains. Les opérateurs analysent les profils de jeu pour détecter les stratégies trop proches de l’équilibre et les temps de décision suspects. Le règlement exact sur les HUD et les logiciels autorisés varie d’une salle à l’autre : il faut le vérifier avant d’installer quoi que ce soit.