1 Matching Annotations
  1. Jun 2026
    1. realism improved from an 11.6% win rate to 49.5%, near the 50% chance level

      对于智能体工具调用场景,OpenAI用另一个LLM来模拟工具响应(而非真实执行工具调用),并给这个模拟LLM提供了原始轨迹、代码仓库状态、历史工具调用对等额外上下文。结果:模拟轨迹的真实性从11.6%的胜率(完全不像真实)提升到49.5%(几乎与真实不可区分)。这说明工具调用的模拟保真度是可以工程化解决的,关键在于给模拟器足够的上下文。这对于未来把Deployment Simulation扩展到更复杂的智能体场景至关重要。