2026强化学习奖励设计：三种常见坑怎么改

训练了一晚上，回合得分还是接近0，或者分数很高却到不了终点——做强化学习类项目时，这往往不是算法本身坏了，而是奖励设计出了问题。本文只讲新手设计奖励时最常见的三种坑：只在终点给分、奖励有漏洞被钻空子、惩罚过重。示例用一张网格地图上的小车找终点，数值一律标示意，不对应任何赛事平台的具体地图或接口。

奖励记录表先写四行

动手改参数前，先在本子上写四行：终点奖励写了多少；过程奖励（靠近终点、拾取道具等）写了多少；惩罚（撞墙、越界、超时）写了多少；每走一步的代价（每步扣一点分）写了多少。四行都空着的，先补数字再训练。把这一页拍下来，后面每次改动另起一列，方便对比。

示意起点：终点+100；每靠近一格+1；撞墙−5；每步−0.1。后面的改动都相对这组数来谈。

坑A：只在终点给分，学不动

现象：训练很多回合，得分一直在0附近晃，智能体像无头苍蝇。原因：在走到终点之前，环境几乎不给正反馈，随机探索很难碰巧走到终点，也就学不到往哪走。

改法：加一点过程奖励，例如曼哈顿距离每缩小1格给小额正分（示意+1），同时保留终点大奖励。不要一次把过程奖励加得比终点还大，否则智能体可能在中途刷近距离分而不冲终点。

改完后看两类数：最近若干回合的平均得分是否离开0附近；到达终点的回合比例是否上升。只看单次回合的运气分，容易误判。

坑B：有漏洞，原地转圈刷分

现象：曲线上分数很高，回看回放却发现小车在原地打转或反复进出同一格。原因：某条奖励可以在不到终点的情况下反复拿到，钻空子比完成任务更划算。

改法：检查过程奖励是否可被无限重复领取。常见修法包括：同一格的靠近奖励只计一次；对原地踏步、来回抖动加小额惩罚；提高到达终点相对其他行为的收益差。每次只改一类规则，改完看回放，确认高分是否对应真正到达。

若回放里出现“分数涨、位置不动”，优先怀疑漏洞，而不是先加大网络或加长训练。

坑C：惩罚太重，不敢动

现象：智能体停在出生点附近，几乎不探索。原因：撞墙、越界惩罚过大，试错一次亏很多，策略变成少动少错。

改法：把撞墙惩罚降到与单步代价同一量级（示意从−50降到−2），让探索失败不至于毁掉整局。若地图障碍多，可先在无障碍的小地图上确认敢动了，再加回障碍。

一次只改一个数，并记结果

把奖励表复制一列，只改其中一个数字，跑固定回合数（示意200回合），记下：平均得分、到达终点比例、有没有刷分回放。不要同时改终点分、撞墙罚和步代价，否则说不清是哪一项起了作用。

记录表示意表头：日期｜改动项｜旧值｜新值｜平均分｜到达比例｜回放备注。连续三五轮下来，就能看出哪一种坑在自己的环境里更常见。

三种坑可以对照着看：学不动就查过程奖励；分高却没到终点就查漏洞；不敢动就查惩罚量级。奖励设计改明白了，再谈网络结构和学习率，通常更省时间。家长若只看屏幕上的分，不妨改问一句：今天的高分，回放里真的到终点了吗？

和“调学习率”怎么排顺序

很多新手一看到分低，就先拧学习率。更稳的顺序是：先排除奖励三种坑，再看状态是否归一、动作空间是否合理，学习率放在后面动。示意做法是固定随机种子跑两轮对照，一轮只改奖励，一轮只改学习率，看到达比例哪一轮升得更清楚。

把奖励记录表和训练曲线截图一起放进作品文件夹，过一周仍能说清当时改了什么。家长若参与，可负责按表朗读旧值新值，孩子负责看回放下结论。