2026训练曲线乱动：用近20回合均值看趋势

示意对话：“昨天单回合200分，今天30分，是不是学坏了？”不一定。强化学习里，每一回合的得分常被探索随机性、地图出生点、偶发撞墙放大，单点高低很难说明趋势。本文只讲一件事：用最近N回合的平均值（示意N=20）看是不是在进步，并把每次改参数标在图上。

为什么单回合不可靠

同一策略下，示意序列可能是：180、40、160、50、170……平均其实不低，但肉眼会被40和50吓到，忍不住改学习率或奖励。改早了，等于在噪声上做决策。

先把每回合得分按顺序记成一列：回合号｜得分｜备注（是否改过奖励或学习率）。有平台导出日志就导入表格；没有就每10回合手记一次关键值，再在固定间隔做完整导出。

移动平均怎么算

在表格里新增一列“近20回合平均”。从第20回合起，对最近20个得分取平均；第21回合则对第2到第21回合取平均，以此类推。N可按总回合数调整：总长只有50回合时，N=20可能过平滑；总长上千回合时，N=20或50都常见。文中20是示意，可按总长改，不是固定死的取值。

公式示意：第t回合的移动平均 =（得分t−N+1 + … + 得分t）/ N。表格软件用一列向下拖即可，不必手算。

画两条线

横轴回合号，纵轴得分。细线或散点画原始得分，粗线画移动平均。原始线负责显示波动，平均线负责显示趋势。只盯原始线，容易一会儿高兴一会儿改参数。

若同时有“到达终点比例”这一列，也可以再画一条比例曲线，和得分平均对照：有时得分被惩罚项压低，但到达比例其实在升。

每次改动标在横轴上

例如在第120回合改了撞墙惩罚，就在x=120画一条竖虚线，图例写“降低撞墙惩罚”。之后看平均线是继续上、走平，还是掉下去。若同时改了两个参数，竖线旁写两件事，事后就分不清因果，所以仍建议一次改一项。

什么时候可以考虑停训

参考规则（示意）：移动平均线连续若干段（如连续50回合的窗口）不再上升，且到达终点比例也走平，可以先存盘停一停，去看回放、写说明，而不是无限加回合。若平均线仍在缓慢上升，再给一段时间往往比反复拧参数更有效。

和奖励设计配合时：先确认奖励没有明显漏洞，再谈曲线走平是不是该停。曲线再平滑，奖励若在鼓励转圈，平均分高也可能没有完成任务。

把原始分、移动平均、改动竖线放进作品附件，被问到“你怎么知道训练有效”时，可以直接指图，而不是只说“我感觉变强了”。

和实验数据平均的差别

实验里对重复测量取平均，多是为了压测量误差；训练曲线里取移动平均，多是为了压策略探索带来的回合噪声。两者都用平均，目的不同。不要把“近20回合平均升高”直接写成“模型准确率升高”——若你的任务指标是到达终点，请并列报告到达比例。

示意汇报句：“第80至150回合，近20回合平均得分从约35升到约90，到达比例从约0.1升到约0.6；第120回合降低撞墙惩罚后平均线继续上升（数据为示意）。”

若表格软件不熟，也可每20回合用手算一次平均分，点在坐标纸上连线，效果同样能支撑“是否在进步”的判断。