皮皮网

1.MCTS方法在强化学习和组合优化中的调研
2.什么是自博弈系统?
3.AlphaZero登上《科学》封面：一个算法“通杀”三大棋，完整论文首次发布
4.世界上最强的象棋软件
5.阿尔法元之五子棋源码解读(AlphaZero-Gomoku)
6.零、01_AlphaZero家族简介

MCTS方法在强化学习和组合优化中的调研

       MCTS是一种古老的解决对抗搜索的方法。与Min-max 搜索不同，其可以做单智能体的任务。

       年，真假包包溯源码John von Neumann的minimax定理提出了关于对手树搜索的方法，这成为了计算机科学和人工智能决策制定的基石。

       其思路为，如果树的层数较浅，我们可以穷举计算每个节点的输赢概率，可以使用minmax算法，从叶子节点开始看，本方回合选择max，对方回合选择min，从而在博弈论中达到纳什均衡点。

       流程如上图所示。当然，我们可以使用alpha-beta对这个搜索树剪枝。

       但如果每一层的搜索空间都很大，这种方法就极其低效了，以围棋为例，围棋每一步的所有可能选择都作为树的节点，第零层只有1个根节点，第1层就有种下子可能和节点，第2层有种下子可能和节点，这是一颗非常大的树。如果我们只有有限次评价次数，minimax方法就是不可行的（往往只能跑2-3层，太浅了）

       年代，Monte Carlo方法形成，这个方法由于在摩纳哥的蒙特卡洛赌场被发明而得名。其思想类似于世纪的谱丰投针。

       这种方法可以用到树搜索上。以围棋为例，围棋的每一步所有可能选择都作为树的节点，第零层只有1个根节点，第1层就有种下子可能和节点，第2层有种下子可能和节点，但是如果我们不断地尝试随机选择往下模拟5步，拿有限的尝试次数给当前层的每个动作算个期望，我们就可以选择相对最优的动作。

       值得注意的是，这种方法可以应用到单人游戏上，在线阅读linux源码所以在model-free强化学习中，也有这样的蒙特卡洛方法。

       蒙特卡罗强化学习(Monte Carlo reinforcement learning)：指在不清楚 MDP 状态转移概率的情况下，直接从经历完整的状态序列 (episode) 来估计状态的真实价值，并认为某状态的价值等于在多个状态序列中以该状态算得到的所有return 的平均，记为期望值。

       年，Kocsis和Szepesvári将此观点形式化进UCT算法。UCT=MCTS+UCB。UCB是在多臂老虎机问题中的不确定性估计方法。这种方法的思路是蒙特卡洛方法的动作选择之间具有不确定性，基于选择次数可以估计一个确定性值，以辅助价值评估。

       UCT算法为，在原有的基础上，拓展作为确定性上界。t是选择这个动作的次数，T是当前状态的选择动作总次数。最后根据这个公式来选择给定状态的动作。这个确定性上界的推导是Chernoff-Hoeffding Bound定理得出的。

       其实确定性上界有很多，由于推导过程认为选择次数会足够多。这个上界满足的是。后续很多工作只是把这一项当作了启发式，给第二项加了个系数。

       这样，MCTS的过程就进化为了以下四个步骤。

       再重新回到根节点，重复上述过程。

       我们可以发现，这里的Simulation过程如果搜不到结束状态，对当前状态估值就是一个很重要的学问。我们将利用过往经验训练的神经网络对其估价就是一个可信的优秀方法。

       Alphago Lee：接下来我会讲一下这个基本的方法之后于深度学习的结合，分别是在围棋和组合优化。MCTS的组合优化应用大概也是Alphago的功劳。

       这是第一篇Alphago文章。

       总的来说，这篇工作一共使用了3种技术：监督学习，强化学习和MCTS（UCT）。

       下图展示了两个训练阶段。

       这里的监督学习输入是状态的表示，我不会下围棋，抓取php网站源码所以不清楚这里的capture是什么。总体来说就是一个 * * 的张量。

       训练了两个类似的网络，只是大小不同。loss是CE loss。这些数据都是来自于一个数据集KGS，大小为,。

       相比于上来就强化学习，这样相当于训练baseline，会更加稳定。

       这个学完的效果是不好的。文章拿这个网络不加蒙特卡洛搜索对比了其他方法，只能赢%-%的对局。

       强化学习的目的有两个。一是继续学习：数据集过小了，和minst差不多大（,），胜率太低了。二是获得估值：监督学习就好比分类，在输入棋盘后只会学习输出最优答案，而不是每个位置的胜率。

       继续学习

       获得估值

       在提升策略网络性能的同时，RL另外训练了一个价值网络来估计棋盘的胜率 loss是MSE。输出由动作概率变为一个标量值，用来表示状态s的胜率。注意到胜率其实就是上文中的reward对动作序列的期望。

       这之后的MCTS是一个独立的步骤，文章先评价了每个方法的效果。

       正如上文提到，MCTS分为四个步骤，最终会得到一个训练好的MCTS。这个过程网络都是fixed的。

       Alphago的MCTS流程如下。

       上文提到这个最大确定上界u可以很灵活，对照前文表示方法，这里的[公式]。

       值得强调的是，最终Alphago在运行时选择动作的依据不是Q，而是u。

       这是最终的结果。看得出超过了所有人类高手和已有方法。

       这页很有意思。

       可以看出设备很足……

       Alphazero

       一年后，原班人马提出了升级版，popular war编程源码motivation是原有的监督学习数据会导致容易陷入局部最优而且不优雅。

       两者最大的不同是，本文仅仅使用self-play强化学习，从随机play开始，不用任何监督学习。

       作者的意思是，rollout只是网络不行的一个替代解决方案。这里的U有一个微调，改回了原始版本[公式]。

       注意，这里不是一个神经网络，而是一组，Alphazero维护的神经网络为[公式]，两者分别是根据奖励和选择次数（u）策略梯度更新和根据奖励MSE更新，最终加权估计这个Q。也就是说，在Alphazero中，不需要一套额外的计数器去记录Q和u了。在训练时，这两个函数被记录去训练两个网络，在训练完成后，整个决策就会完全根据网络输出，[公式]代替argmax Q+U选择动作。

       这篇文章的潜能更高当然train得更慢。

       组合优化：

       后续有很多文章致力于用MCTS做TSP，基本思想也是建模成四个流程模仿Alphago。

       众所周知，强化学习组合优化一般是两种思路，一个是一位一位得输出解，这个过程是端到端的，称为Learn to construct。

       Learn to Construct methods

       对于end-to-end的L2C思路，年就有一位学者发表了论文Application of monte-carlo tree search to traveling salesman problem，但这篇文章怎么也搜不到了。

       后来年有这样一篇文章。

       这篇文章里，蒙特卡洛树搜索被建模为每层选解。以TSP为例，第一层就是个选择，第二层是个...

       依然是四个阶段。

       选择动作如下式子。

       在提前训练这个网络的时候也是reward拟合剩下的半部分，用的打旋软件源码是值函数逼近 训练方法（L2 loss + 正则化，但是没有搞target network）。

       他这里介绍的reward有一处错误，[公式]应该是[公式]，下边是训练方法。

       这里的随机选择我不理解，我的理解是这样学习网络的价值就不大了。文章结果比不过不加MCTS。这个directly use也有点不规范……

       这篇文章还有升级版，采用了类似的奖励设置，投稿ICLR获得了的分数，叫做：

       这篇文章就是按照Alphazero的思路搞出来两个网络，拟合v和[公式]，然后险胜S2V-DQN的原始方法。

       这两篇文章和所有在这个角度的文章最大的贡献应当是证明了，基于构造（L2C）的组合优化蒙特卡洛方法不可行。我的理解是，这个方法是根据对弈产生的，其奖励的和自然可以代表胜率。两者都把这个最关键的奖励设置为人为构造的新东西。构造排名得分是个不错的想法，但是这样转化根据结果看不是一个好的转化方法，导致这套理论就无法发挥作用。

       Openreview的意见认为，这种方法发展到大规模会比较好。传统的端到端学习基本只能拟合值函数或者policy之一，Alphazero框架需要同时拟合两者，这需要一定的创新。

       Learn to Improve methods

       这个方向是比较成功的，有一篇AAAI的文章。这个方向上的第一篇文章是：

       但是被ICLR拒了。这个方法完全是AAAI文章的一部分（也是同一个课题组搞得）。本文使用的提升算子为k-opt。这篇文章不是learning-based的，而是一种启发式，每次重新跑一遍MCTS，所以被拒了。

       这个MCTS的结构就比较特别了，后边会提到。同样是四个阶段。

       k-opt的动作选择可以用一个序列表示[公式]代表。对应删除边[公式]，连接[公式]在选择时我们认为一个TSP序列是有向环路，所以我们只需要选择k个不同的a即可。在每次选择一个b后，对于一个n个结点的图下一个点是这样决定的，还是用T代表当前层总访问次数[公式]这里就看出来了，这其实是一个算子迭代树，这里的MCTS也不是为了快速求解而是辅助启发式的。

       result：

       最后这篇文章是AAAI，我曾经做过一个论文复盘 论文复盘：Generalize a Small Pre-trained Model to Arbitrarily Large TSP Instances-AAAI大规模tsp监督学习方法。他就是在这个操作前监督学习train了小网络并且拼接得到热图来生成初始解。

       但是读了前一篇文章我对这个结果就有点不解了...

       总结一下：MCTS是一个解决游戏问题很好的方法，取自MAB，但是对于优化问题有一定的限制。MCTS的核心是rollout和simulation时用到的UCB评价，前者来自于赌场经验，后者来自于MAB的理论。这两个单独的构建分别在RL方法里被发展成了两个分支，这说明了这两个点对于强化学习的重要性。例如DDPG也是一个价值网络和一个策略网络，这两个部件可以对应到之前讲到的基线估计方法TD3、SAC和curiosity好奇心。

什么是自博弈系统?

       GGzero项目旨在开发一款中国象棋引擎，应用谷歌DeepMind公司提出的alpha-zero深度强化学习算法。目前，这是世界上首款达到商业引擎水平的显卡加速象棋引擎。GGzero改编自国象Leela-Zero，并且是免费使用的。

       项目目标是构建一个强大的UCT象棋AI，遵循与AlphaZero相同的技巧，即在Mastering Chess and Shogi一书中描述的自我学习与一般强化学习算法相结合的方式。

       由于需要大量计算，项目将采用分布式方式进行。这个过程涉及使用Stockfish的棋盘布局表示和移动生成技术，而不会继承Stockfish的任何启发式方法或先验知识。

AlphaZero登上《科学》封面：一个算法“通杀”三大棋，完整论文首次发布

       《科学》杂志封面登载AlphaZero，展示单一算法征服三大棋类的惊人成果。经过完整同行审议的AlphaZero论文首次公开发表，详述了算法如何在没有先验知识、仅知基本规则的情况下，迅速学习并成为史上最强大的棋类人工智能。《科学》杂志对其解决多个复杂问题的单一算法给予了高度评价，认为这是创建通用机器学习系统、解决实际问题的重要一步。DeepMind宣称，AlphaZero已经学会三种复杂棋类游戏，并可能掌握任何完美信息博弈游戏，这为创建通用学习系统提供了信心。

       AlphaZero在棋艺上展现出的卓越性能，颠覆了传统算法。它不再依赖于人类设定的功能和权重，而是采用了深度神经网络、通用强化学习算法和通用树搜索算法。AlphaZero通过自我博弈的强化学习训练深度神经网络，从随机初始化的参数开始，逐渐学习调整参数，从而更聪明地选择有利于赢棋的走法。

       与国际象棋、将棋相比，围棋的对弈结局仅有输赢两种，而国际象棋和将棋则有平局。AlphaZero与下围棋的AlphaGo Zero使用相同架构的卷积网络，其超参数通过贝叶斯优化调整。训练过程需要大量硬件支持，DeepMind投入个一代TPU和个二代TPU以生成自我对弈游戏和神经网络训练。

       AlphaZero下棋时采用蒙特卡洛树搜索算法，选择最有利的落子位置，仅搜索其中一小部分可能的排布，这使得搜索效率大大提高。经过全面训练的系统与国际象棋、将棋、围棋领域的最强AI进行比赛，AlphaGo均取得胜利，展示了其独特的、非传统的、具有创造力和动态的棋路。

       AlphaZero的棋艺风格独特，不拘泥于传统套路，展现出动态、开放的特点，与人类棋手卡斯帕罗夫的风格有相似之处。棋手们赞赏AlphaZero在游戏中的策略和直觉，认为它在面对没有具体和可计算解决方案的位置时，能够体现出“感觉”、“洞察”或“直觉”。这种能力在其他传统国际象棋程序中是难以找到的。

       AlphaZero不仅仅是一个棋类高手，它代表了AI研究中的一项重大挑战：系统需要具备在略微修改任务后仍能成功解决的能力。AlphaZero能够掌握多种复杂游戏，为创建能够解决各种现实问题的智能系统提供了重要步骤。其创造性见解，加上DeepMind在其他项目中取得的鼓舞人心的结果，为创建通用学习系统提供了信心。

世界上最强的象棋软件

       什么是象棋软件？

       象棋软件是通过计算机程序模拟象棋游戏的棋手，它可以与人类棋手对战，也可以与其他计算机程序对抗。

       强的象棋软件是谁？

       迄今为止，AlphaGo系列是出名的人工智能象棋软件之一。AlphaGo系列包括了AlphaGo、AlphaGo Zero和AlphaZero等版本。其中，AlphaGo Zero是迄今为止强的人工智能象棋软件之一。

       AlphaGo Zero的特点是什么？

       AlphaGo Zero的特点在于它不是通过模拟已有棋谱的历史数据来训练，而是通过自我学习和自我对弈来逐步提升自己的水平。与其他象棋软件不同，AlphaGo Zero没有预设的启发式方法来指导它的决策，它仅依靠自己的学习能力来发现有效的策略。这种能力是由深度神经网络和蒙特卡罗搜索树的集成实现的。

       AlphaGo Zero的对弈记录

       AlphaGo Zero与其他计算机程序的对弈记录令人惊叹。在一系列的比赛中，它几乎毫不费力地战胜了人类世界和其他当前强的计算机程序，证明了它是目前为止强的象棋软件之一。

       AlphaGo的意义

       AlphaGo系列的出现让人们意识到了人工智能技术的巨大潜力，也展示了其在实际应用中的强大表现。它在人工智能领域的发展与应用上起到了积极的推动作用，为科学技术的发展带来了新的想象空间。

       未来的发展趋势

       未来，人工智能技术的应用将越来越广泛，象棋软件将会变得更加强大和智能化。越来越多的人们会将其作为娱乐工具和学习工具，同时也会被用在更广泛的领域，如自动驾驶、医疗诊断和机器人等方面。尽管如此，人类仍将继续保持着对于人工智能技术发展的控制，确保其在道德和伦理上符合人类的价值观和基本规范。

       结语

       尽管AlphaGo、AlphaGo Zero和AlphaZero等人工智能象棋软件的出现和表现非常出色，但是人工智能技术的发展依旧具有不确定性和变量性。我们应该适时关注其发展动态和应用方向，并积极思考和实践将其用于服务人类社会和促进人类的发展的途径。

阿尔法元之五子棋源码解读(AlphaZero-Gomoku)

       阿尔法元在五子棋领域的源码解析揭示了强化学习在简单游戏中的深度应用。相较于围棋，五子棋虽简单，但其源码分析同样能让我们深入理解强化学习的原理。AlphaZero，最初凭借阿尔法狗的深度学习技术，后在没有人类干预的情况下，通过三天自学围棋并超越前辈，展现了人工智能的新里程碑。

       本文着重探讨AlphaZero在五子棋上的具体应用，源码可在GitHub上获取，路径公开。理解该项目的前提是对强化学习有一定基础，如马尔可夫决策过程和蒙特卡洛方法。项目主要包含策略价值网络、蒙特卡洛树搜索算法和训练脚本，它们共同构建了强化学习与深度学习的交互过程。

       项目的架构包括游戏处理、MCTS算法实现、策略价值网络训练以及人机对战脚本。Game.py定义了棋盘和游戏逻辑，mcts_alphaZero.py与mcts_pure.py则是MCTS玩家的实现，分别对应AlphaZero和纯MCTS版本。policy_value_net.py负责网络模型，根据不同框架实现，如Tensorflow或Pytorch。train.py则实现了AlphaZero的训练流程，通过模拟对弈和数据增强来优化网络。

       运行项目，你可以通过human_play.py与预训练的AI对战，感受强化学习的力量。源码剖析中，human_play.py脚本的核心是创建棋盘、玩家，并通过循环进行人机对弈，直到游戏结束。

零、_AlphaZero家族简介

       AlphaZero家族鸟瞰图揭示了这一系列算法在围棋领域的惊人成就。家族的核心成员AlphaZero以其卓越的棋力和独特的发展轨迹，吸引了全球科技与游戏界的广泛关注。

       Muzero动机的引入，是基于AlphaZero的成功经验，旨在进一步优化算法，提升在复杂决策环境中的表现。它基于强化学习的框架，旨在通过自我对弈学习来实现智能决策，而无需任何人类棋谱作为指导，这一创新使得Muzero在多领域应用中展现出巨大的潜力。

       Muzero原理的探索，主要聚焦于如何通过环境的深度模仿学习，构建出能够预测和优化未来状态的智能体。它通过深度神经网络与强化学习相结合，实现对复杂环境的智能决策，显著提高了在棋类游戏和其他策略性游戏中的人工智能表现。

       AlphaZero家族的发展历程，从最初的AlphaZero横空出世，到Muzero的创新性推出，不仅展示了人工智能技术在棋类游戏领域的突破，也为未来在更多复杂决策场景中的应用奠定了坚实基础。这一系列的进展，不仅丰富了人工智能领域的理论研究，也为未来的智能系统设计提供了宝贵的参考。

       总结而言，AlphaZero家族的发展不仅展现了人工智能技术在棋类游戏领域的惊人成就，更揭示了其在复杂决策环境中的应用潜力。未来，随着技术的不断进步，AlphaZero家族有望在更多领域展现出其独特优势，引领人工智能技术的创新与发展。

第五代alphago的名字叫什么

       AlphaZero。第五代alphago的名字叫AlphaZero。AlphaZero一般指AlphaGoZero。AlphaGoZero是谷歌下属公司Deepmind的围棋程序。从空白状态学起，在无任何人类输入的条件下，AlphaGoZero能够迅速自学围棋，并以：0的战绩击败AlphaGo等。