Une nouvelle avancée dans le milieu de l’intelligence artificielle, les IA Deepstack et Libratus ont battu les meilleurs joueurs de poker du monde lors de tournois se déroulant sur plusieurs semaines.
En 1997, Deep Blue battait le champion d’échecs Garry Kasparov. Puis récemment en 2016, AlphaGo battait un des meilleurs joueurs de go au monde.
Le Go était le dernier obstacle pour les programmeurs en ce qui concerne les jeux qui impliquent une symétrie de l’information, c’est à dire des jeux qui partent du principe que tous les joueurs ou machines partagent la même information de l’état du jeu en cours. Mais pour ce qui est du poker, c’est une autre histoire, on parle de système d’information imparfaite. Les joueurs n’ont pas accès aux informations détenues par d’autres joueurs, ce qui ajoute une complexité supplémentaire avec par exemple des paramètres de bluff et autres.
Une pour toi et une pour toi...
En 2015, quatre des meilleurs joueurs de poker du monde ont affronté Claudico, une IA développée dans les locaux de la Canergie Mellon University (CMU). A la fin du tournoi, trois de joueurs humains ont été meilleurs que le programme. L’université est donc revenue prendre sa revanche cette année.
Pour permettre aux programmes d’IA de battre des professionnels du jeu en prenant en compte toutes ces variables, les scientifiques expliquent que généralement l’algorithme soutenant les IA raisonne globalement en prenant en compte le jeu entier pour produire une stratégie complète avant de jouer. La solution a été de décomposer le jeu de poker en « heads-up no-limit Texas Hold’em », ce qui veut dire en langage courant un poker Texas Hold’em (deux cartes en main et cinq cartes face visible commune à tous les joueurs) en face à face sans limite de mise. Ce qui donne tout de même lieu à plus de 10160 possibilités pour chaque main en jeu.
Entre le 7 Novembre et le 12 Décembre 2016, les chercheurs de l’université d’Alberta (Canada) et de deux universités tchèques, Charles et Polytechnique de Prague ont opposé leur programme Deepstack à 33 des meilleurs joueurs de poker de la Fédération Internationale de Poker. Chaque joueur devait jouer 3 000 matchs. Sur un total de 44 852 matchs disputés, 11 ont atteint les 3 000 matchs. Deepstack remporta 10 matchs sur 11. Plus d’infos ici. Accrochez-vous c’est technique.
Et le 11 Janvier 2017, dans un casino de Pittsburgh, la nouvelle IA de la CMU baptisée Libratus a affronté quatre des meilleurs joueurs de poker au monde sous sa forme expliquée plus haut. Après 120 000 mains (parties) et pendant 20 jours, Libratus a dominé la partie et ce jusqu’à la fin du tournoi, avec un total d’1,766,250 $ de monnaie virtuelle.
Oh la belle tour
Ils témoignent qu’après chaque tentative d’établir une stratégie, le programme était capable le lendemain d’apprendre de ses erreurs et de corriger chaque faiblesse qu’ils avaient découvert dans le programme. Ce que les créateurs du programme confirment :
« Typiquement, les chercheurs développent des algorithmes qui tentent d’exploiter les faiblesses de l’adversaire. Alors qu’ici, l’amélioration quotidienne est apportée par l’algorithme de correction des faiblesses dans sa propre stratégie. A la fin de la journée, un méta-algorithme analysait les faiblesses que les pros avaient identifiées et exploitées, puis va prioriser les faiblesses et patcher les trois premières en utilisant le supercalculateur « Bridges », de l’université de Pittsburgh, chaque nuit. ».
Un des joueurs suggéra une option originale
Mais les créateurs ne s’arrêtent pas au poker, pour eux « Libratus peut être un outil dans beaucoup de situations où les humains ne peuvent pas connaître tous les faits. »
Sources (français et anglais) :
- Deeptack.ai
- CMU website
- Developpez.com
- Wired.com
- MIT Technologyreview.com
- Engadget.com