传统的Q-learning的动作空间是离散的，有限数目的，比如上下左右四个动作。但是很多场景下，动作都是连续的，比如方向盘的转动角度，机器臂的转动角度等。有三个方法解决：第一个方法是随机sample N个动作，看哪个能获得最大的Q值；第二个办法是梯度下降来解决优化问题，但是计算量会很大，并且容易陷入局部最优。

设计一个网络让优化问题变得简单，其实就是如何构建一个神经网络，又能输出动作，也能输出Q值，而且动作对应的Q值最大。

基本的idea就是引入Advantage，也就是每一个动作在特定状态下的优劣。我们不是要选最优的动作吗？其实就是要选Advantage最大的动作。Q,A(Advantage)和V(Value)的关系如下：

如果我们能够限制A小于等于0，并且选择的动作对应的A为0，那么此时选择的这个动作的Q值是最大的。要做到这点，一种简单的想法就是让：

并且P为正，这个时候当a=x即选择的动作时为0。

A的矩阵表示为：

其中x是状态，u是动作， [公式] 是神经网络的输出动作。令 [公式] ，即：

即 [公式] ，要满足这个要求，P必须为正定矩阵。作者构造了一个对角线元素都是正数的下三角阵L，然后再利用L构造P。

具体过程如下：

另外还有一种方法是使用Actor-critic方法：

参考文献：

https://www.bilibili.com/video/av24724071/?p=5
https://www.cnblogs.com/wangxiaocvpr/p/5664795.html

本文转载自Alex-zhai知乎账号。

原文链接：https://zhuanlan.zhihu.com/p/73309906

创作场景

李宏毅深度强化学习课程：Q-learning for Continuous Actions