有人有兴趣聊聊AlphaGo、机器学习、以及它对扑克的影响吗？

如果上面的问题解决了，下面就是如果指定入池率的选手open，我们在什么样的flop call之后turn上raise对手fold的概率大于

call和reraise的概率，我相信数据分析+现场状况肯定比仅仅是凭经验做判断强

RichZhu 发表于 2016-2-4 01:46
扑克沦陷给AI没关系哈，反正扑克是人跟人的对局。

国际象棋沦陷快20年了，人类仍然兴致勃勃地玩，高手仍 ...

不太理解老大讲的这句话 -- “我觉得扑克机器战胜人类对扑克整体水平的影响要远小于国象和围棋的影响。”

另外机器牌手战胜人类，大家都跟机器人学习，这个影响会非常大吧？

虽然扑克AI直接走GTO算法行不通，机器的高效自学会让决策非常接近GTO。这应该算是一个比较有趣的地方吧，我们按GTO的算法求解，得不出GTO的答案；让机器自学，完全没有跟机器设定任何GTO关联，最后却能得到非常接近以至于实战上感觉不到差别的GTO应用。

完全赞同上面这一段!
另外我对这一场比赛的看法是如果AlphaGo输是不要紧的，它将会有更多的数据输入，然后可以24/7进行自学修改调整，再来下一场比赛。

ticoarm 发表于 2016-2-5 16:05
先感谢一下老大的祝福, 我一定好好学牌, 我想我一定会在bay101打出成绩.
对于何时机器人能够击败一流选 ...

新春快乐！

确实，这次AlphaGo横空出世，震惊了几乎所有关注围棋AI的人。机器围棋这么多年一直进展缓慢而且有很强的“可预测性”，然后，out of nowhere, AlphaGo就出来了，不但一下子成为最牛的围棋AI，而且在让4子或更多的情况下，把其它所有顶尖的围棋机器打得完全没有招架之力，这个跳跃实在太大了。

更牛的是，所有这一切都是在硬件几乎没有变化的情况下做到的，完全是算法上的突破，这也是为什么AlphaGo被认为是人工智能的一个里程碑。确实，人类之前都过多把注意力放在计算能力的提高上了，而靠计算能力的提高对围棋这样复杂的游戏，水平提升是非常缓慢的。 就是这个AlphaGo本身，使用分布式的AlphaGo（1202个CPU，176GPU）跟单机式的AlphaGo（48CPU，8GPU）对下，胜率也就是78%，可见计算能力要提高很多，机器水平才会提高一丁点，这也是为什么几乎所有专业人士认为计算机战胜职业棋手要等到下一代计算机的出现。

回到扑克机器，比较专业的研究也就是近几年的事情，落后围棋机器的研究实在太多了。即便这样，很多商业研究的软件也已经到了在网络中低级别盈利的程度。而这些软件，基本上都有明显的漏洞，非常不完善。

就说去年人机大战的那个Claudico程序吧，人类牌手进池的时候都会有个小的raise，因为他们发现程序在应对随机的小加注方面漏洞明显，另外程序还会出现在一个很小底池下超级大注的违反基本常识的打法。显然这些程序在基本算法方面还有很大的漏洞，而AlphaGo这样的算法是不会有这累问题的，这是为什么我觉得google要是研究扑克机器，半年就足以打败人类。

但是，“打败人类”这个说法要特别小心。在围棋上，没什么好说的，就是人跟程序下，赢了就是赢了，输了就是输了。在扑克上，我们大概只能指的是人跟机器的heads up比赛，任何超出这个范围的定义，要复杂和有争议得多了。再说下去太长了，先到这里，后面回复另外一个帖子的时候可能会展说。

lililili11 发表于 2016-2-1 13:05
扑克室不会允许私人用，但是他们自己可能投放机器人，如果机器人能打赢reg的话。这要看他们在"用户体验"和" ...

这.....听着有些可怕。

noworry 发表于 2016-2-6 00:50
不太理解老大讲的这句话 -- “我觉得扑克机器战胜人类对扑克整体水平的影响要远小于国象和围棋的影响。” ...

大家都跟机器人学习，影响肯定是会有的，但究竟影响多大，恐怕不会像很多人认为的那么大。

我们看一下国际象棋，过去这些年，随便找个击败人类最优秀牌手的程序不是难事，但有多少人成为国际象棋大师？人类跟计算机学也不是一件容易的事情，这个我在前面那篇关于GTO的帖子中说过。

就是人跟人学，都不是很容易的事情。我在那篇关于AK争论的帖子中说过：“如果Phil Ivey出书，出视频，毫无保留给出他所有知道的，难道扑克届就会瞬间出现成千上万的Ivey？”

与围棋象棋相比，扑克更多的是一个策略性游戏。简单学习机器在这里fold，那里raise或者面对这个对手这里下注多少，面对另外一个对手同样条件又该下注多少，是没有多少效果的。度过了最初的ABC阶段，你必须理解一套具体打法的背后思路，才会真的对你有帮助。相比之下，围棋有很大比例的技巧训练，比如大量的定式和局部死活，这些部分的人机训练，效率很高。

另外一点，就是当围棋机器战胜人类的时候，这个机器已经非常接近这个游戏的“正解”了。职业围棋手，对对方的错误是非常敏感的，而自身水平发挥也波动很小，加上围棋是一个完全信息的游戏，围棋程序必须要很接近正解才可能击败人类。相比之下，扑克牌手很难快速抓到机器的弱点，除非是算法本身有明显漏洞，而扑克牌手的水平发挥的波动和错误是大量的，常常是明显的。所以当扑克机器击败人类的时候，可以想象它离“正解”比围棋远，比国际象棋更远，所以它本身打法的参考价值就要打折扣。

最为重要的还是围棋这些游戏规则导致的人机学习过程的相对“单一性”。围棋的目标是非常单纯的，就是最终比对手围的地多，而国际象棋的终极目标就是消灭对方的王。请注意，围棋比终局的时候谁围的地多，并不需要考虑赢家比输家多围多少，这是为什么AlphaGo在领先的情况下可能下得非常猥琐，因为只要算清楚一条路确定能赢，就不必考虑其它计算，从而进行安全运作。如果像有些赌棋那样计算具体输赢的目数，就会复杂得多了。

相比之下，扑克就没有这样简单的目标了。除非一些特定形式的比赛，你很少会只考虑输赢的几率而不考虑输赢的大小。而这个输赢大小的考虑，会让人机学习一下子变得极为复杂，或者说学习效率变得很低。

我在“漫谈现场与网络扑克的差异”里面关于打鱼说过这样一段话：打鱼不但是扑克游戏的原动力，也是扑克理论与实践的本质与核心！扑克游戏不是在追求假设对手在打法正确下如何应对，而是在寻找如何在对手出现错误的时候最大利益化。扑克难的地方不在于对正确打法的正确应对，难的是在不断变化中捕捉到对手偏离正确打法，并给出相应的最佳应对。求解并及时应用对手偏离正确打法时的最佳应对要远比对手正确打法下的正确应对复杂，一个是一维静态的，一个是多维动态的。

5年前写这一段，是为了给“打鱼”正名。当时有一些所谓的高手习惯于高傲地说：你那一套也就只能打鱼。想必过来的人还记得这些吧，就如同这两年高手一开口，必然GTO一样。

巧的是，扑克的人机学习，比较具有围棋人机学习特点的部分，恰恰就是GTO相关部分，也就是我前面指的一维静态，尽管这一部分也只能学习一些特定条件下的处理。

简单说，人的大脑就不像学围棋和国象那样适合学习扑克的机器打法。国际象棋AI的影响尚且如此，能指望扑克AI对扑克技战术影响到什么程度？人类学习扑克的学习曲线在最初部分上升很快，然后就是漫长的缓慢提高过程。前面那部分的训练用不着特别强大的扑克机器，而后面的那部分，再强大的扑克机器也帮助有限，主要还是靠牌手自己对扑克的思考，理解和执行。

不要叹息。这实际上是一件值得庆幸的事，否则扑克很快就会消亡了。

amandag 发表于 2016-2-5 21:49
个人有编程的能力，最近在思考一些牌例的时候想用编程来模拟和对手交手的各种action，结果发现自己很多牌原 ...

这个思路很多人尝试过但成效不大。主要的问题是，如果数据不做大量假设和简化，求解的计算量太大以至于不可行；如果做了这些简化，结果的指导意义就会大打折扣，对实战未必有帮助。

就是人跟人学，都不是很容易的事情。我在那篇关于AK争论的帖子中说过：“如果Phil Ivey出书，出视频，毫无保留给出他所有知道的，难道扑克届就会瞬间出现成千上万的Ivey？”

与围棋象棋相比，扑克更多的是一个策略性游戏。简单学习机器在这里fold，那里raise或者面对这个对手这里下注多少，面对另外一个对手同样条件又该下注多少，是没有多少效果的。度过了最初的ABC阶段，你必须理解一套具体打法的背后思路，才会真的对你有帮助。相比之下，围棋有很大比例的技巧训练，比如大量的定式和局部死活，这些部分的人机训练，效率很高。

说得好。

AlphaGo跟李世石的人机大战确定于3月9日、10日、12日、13日和15日在首尔举行，奖金为100万美元。国外的朋友可以在YouTube观看直播。