【启发】情绪向量在后训练阶段的变化轨迹，启发了一个新的训练监控指标体系：目前评估 RLHF 效果主要看 benchmark 分数，但情绪向量的分布变化可能是更敏感的「副作用探测器」——比如，如果某轮 RLHF 意外地使「恐惧」向量激活阈值降低，可能预示着模型在高压场景下更容易产生顺从性偏差。情绪向量或许可以成为训练过程中的「生理指标」。

论文研究了情绪向量在后训练（RLHF/RLAIF）阶段的变化，这个切入点极有洞察力：后训练本质上是对模型「性格」的塑造，而情绪向量的变化正是这种性格塑造的内部痕迹。这意味着未来的对齐工作可以直接监控情绪向量的分布，将「情绪健康指标」纳入训练目标——从 RLHF 走向 RLEF（基于情绪反馈的强化学习）。

MAPPING SOCIAL CHOICE THEORY TO RLHF Jessica Dai and Eve Fleisig ICLR Workshop on Reliable and Responsible Foundation Models 2024

Nice overview of how social choice theory has been connected to RLHF and AI alignment ideas.