智游城

标题: 【学习笔记】pluribus是如何玩牌的 [打印本页]

作者: figowu 时间: 2019-7-19 20:48
标题: 【学习笔记】pluribus是如何玩牌的
hi，相信关注扑克的朋友最近一定关注到一条新闻，卡内基梅隆大学研发的德扑AI pluribus战胜了人类顶尖的职业玩家，他们的研究人员在科学杂志公开发表了论文，并公开了1W手牌该AI的游戏数据，我一直关注这个，今天找了很久，发现有玩家将手牌格式转换成了pt4可用的格式，于是打算学习一下AI是怎么玩的。

由于格式的转化问题，国外玩家转化过来的记录显示pluribus的1W手牌最终战绩是水下的，但是这并不重要。pluribus的机制应该是和pokersnowie一样，通过自我复制不停的对比得到最优化的结果。

这个帖子是针对这1W手牌来进行学习的，看看有哪些可以借鉴的地方。
由于可以公开看到6名玩家的底牌，所以除了AI，也会学习这些人类玩家是如何玩的，所以学习时间会更长一些，我将花1天的时间，期间会在这个帖子里更新一些pluribus玩的一些有讨论价值的牌。

作者: figowu 时间: 2019-7-19 21:04
本帖最后由 figowu 于 2019-7-19 21:08 编辑

由于只有1W手牌的数据样本，所以各项基本数据并没有偏离太多，我们先从它的翻前范围开始。
这是pluribus EP RFI的range：
[attach]8715[/attach]

比我想象中的范围要相对松一些，它游戏了ATo 以及K6-K9s 所有的AX同色等更多的同色牌型。
我个人采用的是PDNV的范围，大致是这样的
[attach]8716[/attach]
没有买monkeysolver 6max的范围，不知道AI的这个范围相较于GTO的范围放宽了多少。

作者: figowu 时间: 2019-7-19 21:33
本帖最后由 figowu 于 2019-7-19 22:02 编辑

EP的一些牌谱：

1）KJS call 3bet VS BB
[attach]8717[/attach]
F、T的行动没问题，river这个1.5X的超池下注让我有些惊讶。
这里到底是价值下注还是咋呼？
如果这里是for value，正常情况下没理由overbet，尽管对手手里没有什么同花的组合，可以value到的是一些带黑桃的77-qq中等口袋对子，超池下注对手手中不带黑桃的可能很难去防守，pluribus这里如果是价值下注，那它同样需要放进一些咋呼牌型到这个牌面，但是这里的组合并不多。
如果是bluff的话，它完全把有足够好的摊牌价值并在没有blocker的情况下转成了咋呼。
在我的理解中，这里可能会做一个1/3-1/2的薄价值下注。

2）AKo call 3bet VS BB

[attach]8718[/attach]
T 上在IP用带同花的gutter+high card继续跟住对手的barrel，曾经在highstakesdb上看见很多高额玩家也这么玩，但是中低级别这里turn上是很标准的fold。
3）low pair call 3bet VS btn
[attach]8719[/attach]
讲道理，在这个Hotspot上，oop Turn上的overbet确实很漂亮。

4）ATs call 3bet VS SB
[attach]8720[/attach]

flop c/r 还是很可以的，IP的top range有ak 66 77 整体上要比oop多一些,而且这里是一个Hotspot，对手只能用KX+以上以及少数的89s带后门花的牌来跟住防守。但是这里展示的牌力有些极限

作者: rahj 时间: 2019-7-19 22:24
转一下HM格式吧
另外筹码量还是要说明一下的

作者: figowu 时间: 2019-7-19 22:27
5） SRPs AQo vs BB
[attach]8721[/attach]

flop在很干燥的牌面打满pot，turn上用阻挡了后门花的tptk 过牌，河牌的跟住有些勉强吧。可能很多人类玩家在turn会继续下注。

正常的理解下，像74qr这种干燥的牌面，aggressioner通过会下一个小注，可以融合更多的范围进来。但是我今年高频的用solver之后，发现这里其实是可以做高频率的大尺寸下注的，这类Hotspot在SRPs中对手能抵抗的牌实在很少，可以更高频率的剥削对手。

作者: figowu 时间: 2019-7-19 22:31

rahj 发表于 2019-7-19 22:24
转一下HM格式吧
另外筹码量还是要说明一下的

不太会格式转化哦。

这里每局都是100BB的标准局，媒体的宣传里并没有强调筹码的深度，AI即便能碾压人类玩家，目前也是在100BB的标准局里，深筹码的复杂运算暂时应该还不行

作者: figowu 时间: 2019-7-19 22:33
花了1个多小时的时间大致浏览了EP的游戏情况，pluribus在EP的4bet里放进了很多bluff，除了几手牌，大多是正常游戏的情况。

作者: pongba 时间: 2019-7-20 09:23
有意思啊，谢谢费工夫把牌例抠出来，那篇paper我也看了，从paper本身没看出什么特别的地方，看下牌例看看

作者: pongba 时间: 2019-7-20 09:34
KJ v KK那手牌pro打的是什么鬼。turn和rv有花吗，我色盲看不出来啊

作者: lililili11 时间: 2019-7-20 09:54

pongba 发表于 2019-7-20 09:23
有意思啊，谢谢费工夫把牌例抠出来，那篇paper我也看了，从paper本身没看出什么特别的地方，看下牌例看看 ...

请教一个问题：
我也看了那篇论文，其中只介绍了大致的思路，没有给出具体的实现过程。
如果要参照那篇论文，写出一个类似的程序出来，难度会有多大？

作者: lililili11 时间: 2019-7-20 10:15
KJ vs KK 那手牌，flop有听花，河牌出花了。

这手牌Pluribus overbet的理由很粗暴：根据实践一万亿次的经验总结，这里值得打大一些。
其实我们也可以理解的，拿一个TPGK，只赚两个1/3的注，那也太少了。

作者: figowu 时间: 2019-7-21 12:21
看完了，并没有特别多惊艳的地方，我不清楚为什么这次媒体会这么多的报道。
有几条line还是不错的，比如1pot-》1/4pot-》1.5Xpot 还是可以学习到一些东西的，但是这些很难再国内平台用的上，PS的中低级别能用上的机会也不是特别多，但是还是能看到一些优秀的表现。

相反，有些所谓的Pro的表现让人很失望。

作者: figowu 时间: 2019-7-21 12:23

lililili11 发表于 2019-7-20 10:15
KJ vs KK 那手牌，flop有听花，河牌出花了。

这手牌Pluribus overbet的理由很粗暴：根据实践一万亿次的经 ...

嗯。不过从机器的角度，它肯定会在这条line上放入一些bluff的牌来达到整体的平衡，但是这些combo好像不是太多哦

作者: pks_three 时间: 2019-7-22 09:08
你这个牌谱和范围是怎么获得的哇，可以参考参考嘛

作者: 全力以赴!!! 时间: 2019-7-22 09:28
感谢楼主分享，搬好小板凳，认真学习中

作者: danchuz 时间: 2019-7-22 09:57
很久没玩了，看到AI进步那么快被吓到了

作者: rahj 时间: 2019-7-22 10:05

pks_three 发表于 2019-7-22 09:08
你这个牌谱和范围是怎么获得的哇，可以参考参考嘛

发了论文,自然网站上有支撑材料对吧,网上有好事者做了转换器可以导入pt4
然后范围在pt4里看,你再弄个pt4牌谱的hm转换器,也能导出到hm里看

作者: pks_three 时间: 2019-7-22 11:44

rahj 发表于 2019-7-22 10:05
发了论文,自然网站上有支撑材料对吧,网上有好事者做了转换器可以导入pt4
然后范围在pt4里看,你再弄个pt4 ...

我看到了可以下载pt4的文档格式，但是因为我没有pt4软件，去yutube看了几下，表示很感兴趣啊，这个应该是整理出的精华部分了

作者: figowu 时间: 2019-7-22 13:17

pks_three 发表于 2019-7-22 09:08
你这个牌谱和范围是怎么获得的哇，可以参考参考嘛

研究小组论文：https://science.sciencemag.org/content/early/2019/07/10/science.aay2400pt4格式转换原作者：http://kevinwang.us/lets-analyze-pluribuss-hands/

作者只转换了pt4格式的，如果用其他软件的朋友可以自己尝试着转换。

我也想用h2n做复盘，但是不会转换 pt4很多数据不知道在哪里找。

作者: figowu 时间: 2019-7-22 13:19
还有很多不错的牌谱懒得传了，等空闲了用pio跑一下。
最让我感兴趣的是AI在SB的策略，可惜pt4不熟，不知道怎么调数据。

作者: rahj 时间: 2019-7-22 13:21

figowu 发表于 2019-7-22 13:17
研究小组论文：https://science.sciencemag.org/content/early/2019/07/10/science.aay2400pt4格式转换原 ...

别轻易尝试,除非你做好数据库备份
需要手动清空,然后通过GameHistory.dat文件导入到HM2里

作者: pongba 时间: 2019-7-24 06:26

lililili11 发表于 2019-7-20 09:54
请教一个问题：
我也看了那篇论文，其中只介绍了大致的思路，没有给出具体的实现过程。
如果要参照那篇论 ...

不好说，等开源看看吧

作者: lililili11 时间: 2019-7-24 12:45

pongba 发表于 2019-7-24 06:26
不好说，等开源看看吧

Noam Brown 在一篇文章里提到，说不会开源，理由是保护扑克社区。

不过我觉得更有可能是因为他自己开公司卖这类AI服务的，如果开源了有可能暴露他自己的一些核心技术。

作者: eastflag 时间: 2019-7-25 06:51
谢谢啦，看了挺有意思的

作者: rahj 时间: 2019-8-27 09:21

figowu 发表于 2019-7-22 13:19
还有很多不错的牌谱懒得传了，等空闲了用pio跑一下。
最让我感兴趣的是AI在SB的策略，可惜pt4不熟，不知道 ...

https://pluribus-poker-ai.com/2019/07/30/how-pluribus-the-poker-ai-opens-from-the-small-blind/

作者: rahj 时间: 2019-8-27 20:17
导入HM2的已经搞定，修改py文件一个小地方就可以了，手改也就不到20分钟
至于导入H2N，需要修改的地方就比较多了，只能修改py文件，把$挨个加到数字上去
手改那几乎是不可能完成的任务

作者: rahj 时间: 2019-8-27 20:18
导入HM2的已经搞定，修改py文件一个小地方就可以了，手改也就不到20分钟
至于导入H2N，需要修改的地方就比较多了，只能修改py文件，把$挨个加到数字上去
手改那几乎是不可能完成的任务

作者: rahj 时间: 2019-8-28 23:08
此外，Eddie打的挺扎实的，不知道是哪位pro
可惜这批数据没有LLinusLLove的

作者: figowu 时间: 2019-8-28 23:41

rahj 发表于 2019-8-28 23:08
此外，Eddie打的挺扎实的，不知道是哪位pro
可惜这批数据没有LLinusLLove的

好像有一个是Linus的，说是人类玩家打的水准和结果都是最好的，没有什么意外

作者: rahj 时间: 2019-8-29 00:03
Linus是5 bots 1pro里面结果最好的，但是并没有玩5 pros 1 bot的游戏，所以他没拿奖金

作者: pongba 时间: 2019-8-30 06:59
其实真正考验AI做的能不能“beat pro”的标准不应该是5 pros 1 bot或者5 bots 1 pro，而应该是1 bot 1 pro 4 fishes，看看是bot还是pro bb/100hands高。

作者: figowu 时间: 2019-8-30 12:54

pongba 发表于 2019-8-30 06:59
其实真正考验AI做的能不能“beat pro”的标准不应该是5 pros 1 bot或者5 bots 1 pro，而应该是1 bot 1 pro ...

是的，中国话说乱拳打死老师傅，在真实的情况下不知道AI会咋样。
不过有一点人类永远比不了，AI没有情绪变化、

作者: 原来如此 时间: 2019-8-30 13:43

其实真正考验AI做的能不能“beat pro”的标准不应该是5 pros 1 bot或者5 bots 1 pro，而应该是1 bot 1 pro 4 fishes，看看是bot还是pro bb/100hands高。

我非常认同，因为我的pokersnowie机器人在王的低级别里被狂扁

作者: 原来如此 时间: 2019-8-30 13:47
准确的说是盈利情况大大低于预期。

作者: rahj 时间: 2019-9-12 17:17

figowu 发表于 2019-8-28 23:41
好像有一个是Linus的，说是人类玩家打的水准和结果都是最好的，没有什么意外
...

据说他是用软件打的,被人举报了

作者: benny_xmy 时间: 2019-10-4 15:20

rahj 发表于 2019-9-12 17:17
据说他是用软件打的,被人举报了

只有输的人才会找各种借口，赢的人都是运气和作弊

作者: benny_xmy 时间: 2019-10-4 17:30
本帖最后由 benny_xmy 于 2019-10-4 17:36 编辑

figowu 发表于 2019-7-22 13:17
研究小组论文：https://science.sciencemag.org/content/early/2019/07/10/science.aay2400pt4格式转换原 ...

哇，没想到论坛里居然还真的有人关注这件事，查到了Kevin这篇Blog=。=连当年第一代Libratus在Pittsburgh当地都没多大关注，rivers的老头们还是自顾自的坐着图个乐子=。=：https://www.cmu.edu/news/stories/archives/2017/december/ai-inner-workings.html

作者: benny_xmy 时间: 2019-10-4 17:32
本帖最后由 benny_xmy 于 2019-10-4 17:33 编辑

lililili11 发表于 2019-7-24 12:45
Noam Brown 在一篇文章里提到，说不会开源，理由是保护扑克社区。

不过我觉得更有可能是因为他自己开公 ...

同感，举个例子：Noam去的FB对吧，Noam的第一代Poker AI叫Libratus对吧，FB即将要发行的数字货币叫啥来着，Libra对吧？另，CMU和FB应该是最不缺SDE的几个地方了=。=

作者: Jimihandrix 时间: 2019-10-10 18:51

figowu 发表于 2019-8-28 23:41
好像有一个是Linus的，说是人类玩家打的水准和结果都是最好的，没有什么意外
...

2+2上有一个帖子，说LL是机器人

作者: figowu 时间: 2019-10-10 19:15

Jimihandrix 发表于 2019-10-10 18:51
2+2上有一个帖子，说LL是机器人

finding equlibarium 还有一些其他的主播也发了一些分析视频，ll用辅助的可能性应该不会太大，但毫无疑问他精通GTO并且会根据不同的情况作出调整。

作者: benny_xmy 时间: 2019-10-11 00:05

figowu 发表于 2019-10-10 19:15
finding equlibarium 还有一些其他的主播也发了一些分析视频，ll用辅助的可能性应该不会太大，但毫无疑 ...

Finding equlibarium is THE best YouTuber who is not only trying to find the equilibarium, but explain the result of PIO in a narraive way as well. I guess he will also run for his own poker traing website after the subscripstions of his channel going beyond 100,000. Definetly my favourite YouTuber.

作者: rahj 时间: 2019-10-12 13:11

benny_xmy 发表于 2019-10-4 15:20
只有输的人才会找各种借口，赢的人都是运气和作弊

又玩逻辑操作,输得人会找这类借口,不等于赢的人不会做合理质疑

作者: benny_xmy 时间: 2019-10-12 13:22

rahj 发表于 2019-10-12 13:11
又玩逻辑操作,输得人会找这类借口,不等于赢的人不会做合理质疑

你可以质疑，你可以摆证据，但以“据说”散播就有点不大负责任吧

作者: rahj 时间: 2019-10-12 15:30
本帖最后由 rahj 于 2019-10-12 15:39 编辑

benny_xmy 发表于 2019-10-12 13:22
你可以质疑，你可以摆证据，但以“据说”散播就有点不大负责任吧

我可以理解你的想法,只是我向来对聪明人要求更高一些,我知道你研究GTO的缘故也会特别看好ll,但是你的理由不正确,容易误导,所以我才特别指出来
我自己的看法:ll是个高手,对GTO研究的很深,比赛也打的很好,从动机上似乎没有必要,但是2+2上投诉的id给出的理由(时间tell)也并非空穴来风
至于我用据说,那是假定看这个帖子的人会上2+2,就不用给链接了
其实本来可以不回,但是最近牌界Postle的事弄得鸡飞狗跳,从被看好一直到被爆料,虽然没有必要强行关联两者,但是打牌和生活就是这样;
至于我还是不信ll是机器人,而世事难料,所以不能也不敢说绝对

作者: will_ls 时间: 2019-11-19 13:46
谢谢楼主的分享，挺好的

欢迎光临智游城 (http://zhiyoucheng.co/)