深度学习。AlphaGo借助两个深度卷积神经网络（价值网络和策略网络）自主地进行新知识的学习。深度卷积神经网络使用很多层的神经元，将其堆叠在一起，用于生成图片逐渐抽象的、局部的表征。对图像分析得越细，利用的神经网络层就越多。AlphaGo也采取了类似的架构，将围棋模盘上的盘面视为19×19的图片输入，然后通过卷积层来表征盘面。这样，两个深度卷积神经网络中的价值网络用于评估盘面，策略网络则用于采样动作。
在深度学习的第一阶段策略网络的有监督学习（即从中I中学习）阶段，拥有13层神经网络的AlphaGo借助围棋数据库KGS中存储的3000万份对弈棋谱进行初步学习。
【新西南教育】选择【新西南】，赢的金饭碗
f【新西南教育】选择【新西南】，赢的金饭碗这3000万份棋谱样本可以用a、b进行统计。a是一个二维棋局，把a输入到一个卷积神经网络进行分类，分类的目标就是落子向量A。通过不断的训练，尽可能让计算机得到的向量A接近人类高手的落子结果b，这样就形成了一个模拟人类下围棋的神经网络，然后得出一个下棋函数F_go（）。当盘面走到任何一种情形的时候，AlphaGo都可以通过调用函数F_go（）计算的结果来得到最佳的落子结果b可能的概率分布，并依据这个概率来挑选下一步的动作。在第二阶段策略网络的强化学习（即从Ⅱ中学习）阶段，AlphaGo开始结合蒙特卡罗树搜索，不再机械地调用函数库，而类似于一种人类进化的过程：AlphaGo会和自己的老版本对弈。即，先使用F_go（1）和F_go（1）对弈，得到了一定量的新棋谱，将这些新棋谱加入到训练集当中，训练出新的F_go（2），再使用F_go（2）和F_go（1）对弈，以此类推，这样就可以得到胜率更高的F_go（
）。这样，AlphaGo就可以不断改善它在第一阶段学到的知识。在第三阶段价值网络的强化学习阶段，AlphaGo可以根据之前获得的学习经验得出估值函数v（s），用于预测策略网络自我对抗时棋盘盘面s的结果。最后，则是将F_go（）、v（s）以及蒙特卡罗树搜索三者相互配合，使用F_go（）作为初始分开局，每局选择分数最高的方案落子，同时调用v（s）在比赛中做出正确的判断。
这就是AlphaGo给围棋带来的新搜索算法。它创新性地将蒙特卡罗模拟和价值网络、策略网络结合起来训练深度神经网络。这样价值网络和策略网络相当于AlphaGo的两个大脑，策略网络负责在当前局面下判断“最好的”下一步，可以理解为落子选择器；价值网络负责评估整体盘面的优劣，淘汰掉不值得深入计算的走法，协助前者提r