1 Matching Annotations
  1. Last 7 days
  2. arxiv.org arxiv.org
    https://arxiv.org/abs/2604.05091
    1
    1. fxp007 16 Apr 2026
      MegaTrain also enables 7B model training with 512k token context on a single GH200.

      令人惊讶的是：该系统单块GH200 GPU就能支持7B模型进行512k token的上下文训练，这远超当前主流模型的上下文长度限制。这种超长上下文能力可能彻底改变大模型处理长文档、代码库或书籍的方式。

      surprising context-length model-capabilities
    Visit annotations in context

    Tags

    Annotators

    URL

    arxiv.org/abs/2604.05091