2 Matching Annotations
  1. Last 7 days
    1. Emotion vector activations across post-training

      【启发】情绪向量在后训练阶段的变化轨迹,启发了一个新的训练监控指标体系:目前评估 RLHF 效果主要看 benchmark 分数,但情绪向量的分布变化可能是更敏感的「副作用探测器」——比如,如果某轮 RLHF 意外地使「恐惧」向量激活阈值降低,可能预示着模型在高压场景下更容易产生顺从性偏差。情绪向量或许可以成为训练过程中的「生理指标」。

    2. Emotion vector activations across post-training

      论文研究了情绪向量在后训练(RLHF/RLAIF)阶段的变化,这个切入点极有洞察力:后训练本质上是对模型「性格」的塑造,而情绪向量的变化正是这种性格塑造的内部痕迹。这意味着未来的对齐工作可以直接监控情绪向量的分布,将「情绪健康指标」纳入训练目标——从 RLHF 走向 RLEF(基于情绪反馈的强化学习)。