IT之家 · 智能时代T2·86 分
阶跃 Step 5 Preview 开源:600B MoE 架构支持百万上下文,专为长程 Agent 任务优化
原标题:阶跃 Step 5 Preview 大模型权重开放,支持 100 万 token 上下文窗口
- Step 5 Preview 采用 600B 总参数/27B 激活参数的稀疏 MoE 架构,平衡了性能与推理成本。
- 通过 Sparse GQA 和 8 token 块级索引技术,将百万上下文的注意力计算开销降至原来的 1/8。
- 针对长程 Agent 任务,引入上下文压缩至端到端策略训练的强化学习方法,提升状态整理能力。