1 Matching Annotations
  1. Last 7 days
    1. once context goes above 200k tokens, Luna summarizes the context into a long-term and short-term memory

      这是一个务实的记忆管理方案,但也暴露了当前LLM的核心局限。Luna需要在200k token的上下文窗口内维持一个运营中的实体店——所有员工沟通、订单历史、财务状态、供应商关系都压缩在这个窗口里。当窗口满了,就必须决定什么值得保留。这个压缩-重注入的循环,本质上是人工设计的遗忘机制——它直接决定了Luna能记住什么,进而决定它会犯什么错。