从人工智能“冷扑大师”跟大家聊聊GTO

先来说说冷扑大师的背景，很多关注德州扑克的朋友们应该都比较了解，下面是一段节选的新闻：

“德州扑克人机大战最终结果是AI冷扑大师Libratus碾压了国内6位顶级高手，在5天每天10小时的战斗中，AI冷扑大师Libratus与国内6位顶级高手共计打了36000手牌，冷扑大师共计赢得了792327记分牌获得最终胜利，也顺便带走了200万人民币的奖励。


792327记分牌看起来很多是不是？其实记分牌只是一个记分用的数据，没有任何实际意义，因为这次比赛采用的形式是1VS1单挑，盲注结构为50/100。只要调整盲注结构，最终记分牌数会随之变化，比如将盲注结构调整为1/2，那么最终冷扑大师将赢得15846.54记分牌，这样的数据看起来就不那么吸引眼球了。


在德州扑克里MTT，SNG等比赛型玩家最终所看的数据是投资回报率（ROI），假如你在Pokerstars上打了一年的MTT，总计花掉10000美金的报名费，最终获得11500美金的总奖金，那么你打德州扑克比赛的投资回报率为15%，当然这只是假如，国内各路MTT大神在Pokerstars上的投资回报率还没见过10%以上的；现金玩家看中的是每一百手牌最终盈利多少个大盲BB/100，当你持续每一百手牌盈利10个大盲以上，那你已经是战胜了这个级别，完全可以考虑升级了。


冷扑大师Libratus在50/100的盲注结构中打了36000手牌，最终盈利792327记分牌，我们可以算出冷扑大师Libratus每一百手牌的盈利为22个大盲，一般来说10BB/100就是碾压了，22BB/100已经是神一样的存在了，完全无法战胜了。大家也不要因此觉得国内选手比较弱或是否能够代表国内顶尖德州扑克的水平，在前不久美国的AI大战中，美国的4位顶尖高手，最终结果是每一百手牌输给AI14个大盲14BB/100，当面对的是世界级顶级HU高手时，AI同样是碾压一样的存在。


当我们在谈论德州扑克的时候很多情况下都会谈到马脚，眼神，微表情，思维层级，心理上的博弈，手部的动作，呼吸的节奏，喉结的蠕动，甚至是脖子筋脉跳动的频率等等；我们在现场比赛中总能遇到戴着帽子，口罩，墨镜，耳机，围脖把自己包裹的严严实实的选手，但在AI面前这些全都不重要，AI用数学，算法，计算，概率，策略就已经完胜人类了。


AI在德州扑克领域中战胜了人类之后只会把人类越抛越远，人类已经没有赶超的可能，AI全面超越人类或许不再是传说。”


冷扑大师正是基于GTO开发，从整个过程来看，目前冷扑大师只是一个初级版本。人类玩家在面对冷扑大师的时候，只有招架之功，毫无还手之力。
中国龙之队的六位玩家在国内的话应该属于非常不错的水平了，但是他们在现金单挑方面还属于业余玩家。从整个过程来看，他们犯的很多错误都曾经在我们身上出现过，1.不管是翻牌前还是翻牌后，并没有构建一个平衡的范围。2.打牌缺少逻辑性，很多时候你做出的一个动作都不知道是为什么。3.缺少整体性，对筹码以及每条街的打法没有一个大局观。4.会犯很多尝试性的错误，比如强牌尽可能造大底池，中等牌，要进行控池等。
而冷扑大师在这几方面表现就值得大家好好去学习了。冷扑大师初级版本只是采用了不败策略，我们知道真正最大收益的策略是剥削策略，对人类并没有做出很大的调整，只是将人类看做自己而已。人类玩家的诈唬频率远远低于纳什均衡所需要的频率的，这一点是冷扑大师并没有写进程序中的。人类玩家在河牌进行超底池下注的时候，诈唬的频率是超不过20%的。

冷扑大师与国外4位职业单挑玩家的牌局视频有能提供的朋友，也非常希望能够发给我。

接下来，我就通过对战的牌局慢慢聊起。

论坛里的好帖子。
我曾经看过国内顶级玩家与国外顶级玩家对抗大师的视频，尽管对HU研究不够，但是可以明显看出这些国内顶级的玩家是需要打引号的

请问一下 这是你和Libratus打的么？

落寞书生 发表于 2019-4-9 20:02

河牌花到，大师怎么打的？

落寞书生 发表于 2019-4-6 23:07
翻牌标准xr是什么意思？过牌加注？

是过牌加注。

举个浅显的例子，BTN VS BB
xyz翻牌面，BTN cbet 100% 1/3
BB需要考虑强迫自己去满足MDF吗？不需要
因为没有任何证据证明BTN只是用eq低的牌去cbet，如果有证据她这么做，可以频繁XR剥削
这里BTN用正常开池范围游戏，有范围优势，频繁的增加底池大小天经地义
因此只要没有他打反向扑克的铁证，BB防守不考虑MDF
翻牌前守盲的情况也类似，比赛中的情况校长也有过阐述
原则上就是MDF只适用于toy game，河牌封顶范围vs 极化范围，极化范围或者几乎极化范围的下注（不包括加注）

核心就是两个浸没成本（如果只算两个人的话）
底池100，A先投入99，B再用100去赢199，希望对方弃牌率高于1/3就能自动盈利
其实A只要弃牌超10%我就给他个大写的服字，q
所以这是个视角问题，从A的视角看，下注1块钱想让我弃牌，1/298个底池，我但凡能平分底池也绝对不弃牌
从B的视角看，假设B全都是用eq严格为0的牌去下注，那的确也需要1/3的弃牌e
所以MDF就是在toy game里用用，基本没啥实用价值，要严格说，用的越多越错，因为上面这关都没过
即便用在下注范围构建上也是个典型的伪命题，又不是机器人没有足够的手牌样本可以遍历
即便不满足MDF也未必被剥削，有时候恰恰还能更好的剥削对方

落寞书生 发表于 2019-4-7 19:49
6#3bet底池 关于尺度与策略整体性

翻牌前双方的动作都是非常标准。K5s也是一手可以抵抗的3bet范围，虽然有 ...

6#3bet底池 关于尺度与策略整体性

翻牌前双方的动作都是非常标准。K5s也是一手可以抵抗的3bet范围，虽然有位置，但是需要非常好的翻牌后技术优势才能发挥出它的价值。K5s 有位置跟注对手的3bet紧的范围应该也有40%+的EP ，面对松的3bet EP50%+所以这里跟注是比较标准的打法，当然也可以偶尔用这手牌进行一个4bet，毕竟有一张K的阻隔牌。


翻牌圈是小数点牌面，对JJ来说是非常理想的。这里JJ有4个选择：过牌跟注，过牌加注，下小注，下大注。有朋友回帖问某手牌的打法，如果处理等等。其实我们应该脱离某手牌的限制，站在范围的角度来思考问题，解决问题。在853的翻牌面上，我们的3bet范围大部分是miss的，而对手的跟注3bet范围强牌的范围非常窄，大部分也是miss的。所以我们3bet的范围在这个翻牌圈上做持续下注的范围是非常宽的。而JJ 是所有进行持续下注范围里面非常强的范围了。所以我们至少80%的时候要进行一个持续下注。翻牌圈并不是非常湿润，这里下注1/3pot是比较标准的。如果牌面是983，那么进行一个非常大额的持续下注可能更好。

转牌一张高张，很明显对跟注的冷扑大师来说，大概率是一张白板牌，而对hero来说这里很可能用AQ KQ QJ这样的牌翻牌圈进行持续下注 转牌击中了这张Q。对hero的范围是一张有利的牌，也很可能用AJ KJ这样的牌继续进行第二条街的诈唬。希望对手能够弃牌5x 3x 以及一些弱的听牌。

冷扑大师在转牌形成了后门同花听牌。这里面对对手的再次进攻，全下还是跟注？如果全下，比我们强的成手牌，如8x及其以上的牌大部分是要跟注的，而我们这里全下唯一的好处就是让对手的翻牌圈的听花付出代价，对手需要33.75%的底池赔率跟注，只是听花将会很难跟注。而跟注呢，我们在河牌将会有26张出牌对我们有利，所有的梅花 红桃 K 5 以及8都可能利用牌面诈唬对手，或者成牌打到对手所有的价值。

爱打牌的上班族 发表于 2019-4-3 22:52
另外有个疑惑，有没有一种3bet后，前位在k77面反主动下注吓唬的打法？

几乎没有，很容易被对手缠打，你并不能扮演逻辑上的强牌。