深度学习为什么依赖于超大的计算能力？
编者按：在图像、语音识别、自然语言处理、强化学习等许多技术领域中，深度学习已经被证明是非常有效的，并且在某些问题上已经达到甚至超越了人类的水平。然而，深度学习对于计算能力有着很大的依赖，除了改变模型和算法，是否可以从系统的层面来优化深度学习计算，进而改善计算资源的使用效率？本文中，来自微软亚洲研究院异构计算组资深研究员伍鸣与大家分享他对深度学习计算优化的一些看法。
深度学习在近几年里取得了巨大的进步，它已经或者是有望成功地被应用在我们许多生活场景中，比如自动驾驶、安防、翻译、医疗等等。可以说，计算机的计算和通信能力的大幅提升是促使深度学习成功的重要因素。深度学习为什么依赖于超大的计算能力？首先，深度学习本质上是基于统计的科学，所以大规模的样本数据对于深度学习的效果是至关重要的。其次，更大规模和更复杂的神经网络模型已经被证明非常有效，并在产品中有广泛的使用，这同时也产生了对计算能力的更大要求和消耗。举个例子，具有8层神经元的AlexNet网络2012年在ImageNet数据集上取得16的错误率，该网络的一次迭代运行大约需要14GFLOP的计算量。而微软提出的使用152层神经元的残差网络（ResNet）于2015年在该数据集上取得35的错误率，其一次迭代的计算量大约是226GFLOP，是AlexNet的16倍。在当今的生产环境中，图像、语音以及自然语言处理相关的模型，例如人脸识别、语音转文字、机器翻译等，即使给予相当多的计算资源，很多仍需要几周的时间才能完成训练。再次，深度学习模型是迅速迭代的。在AI领域，每年学术界和工业界都会提出大量的新模型。对每一个实际的问题，开发者需要不断尝试不同的模型和算法，甚至对于同一种模型算法，也需要去反复调试超参数以获得最好的预测效果。可想而知，如果模型的每次训练都要几周的时间，那么寻找最优模型的过程会非常漫长和痛苦。
f另外，模型的线上推理具有更加极致的性能要求。线上的服务具有硬性的服务等级协议（SLA），所以在实际部署大型模型时，需要手工重新优化在深度学习框架（如Te
sorFlow）上已经训练好的模型，导致大量额外工程开销的产生。由此可见，进一步优化深度学习计算对于深度学习的快速发展和成功应用起着至关重要的作用。深度学习计算优化的挑战和机会目前，优化深度学习的计算存在以下几个主要的挑战：1）单机单计算单元（如GPU）的资源限制往往不能满足对大规模数据和模型的处r