4 Matching Annotations
  1. Last 7 days
    1. we apply a staleness weight $w \left(\right. d_{t} \left.\right)$ that downweights tokens according to their age $d_{t}$ and drops them entirely once a threshold is exceeded

      ①数字:引入了指数衰减的陈旧度权重w(dt)。②金句:根据Token年龄降权并按阈值彻底丢弃。③非共识:传统RL常对整条轨迹统一计算优势,而此处针对长序列中早期生成Token的“过时”特性进行细粒度降权,是解决异步长序列采样偏离策略分布的精妙设计。

  2. Jun 2026
    1. The number of model parameters $N$ needed to fit a dataset of size $D$ also scales as a power law.

      模型参数数量与数据量之间也存在幂律关系,这是缩放定律的核心概念之一。初学者常孤立地考虑模型大小或数据量,而忽视它们之间的相互依赖关系。理解这一关系有助于更有效地分配计算资源。

  3. Apr 2026
    1. That’s up 20x in six weeks. This idea, called tokenmaxxing, is the deliberate practice of maximizing token consumption.

      引入了“tokenmaxxing”这一核心概念,将AI生产力提升的本质定义为“最大化token消耗”。这打破了传统节省算力的思维,反直觉地认为用尽全力消耗token才能榨取AI的最大价值,本质上是在探讨如何将电力最高效地转化为智力劳动。

    1. A wire becomes a transmission line. A bend becomes a reflector. Two parallel traces become coupled antennas. The geometry is the circuit.

      这一论断深刻揭示了射频设计的核心本质。在低频下,拓扑连接是关键;但在射频领域,物理几何形状直接决定了电磁行为。这打破了传统电路设计的直觉,指明了为什么传统基于拓扑的思路在射频领域会失效,物理结构本身就是电路的逻辑。