Agentic AI、具身智能、强化学习框架、端侧大模型……来QCon上海站,感受AI的未来! 了解详情
写点什么

Llama 4 Scout 与 Maverick 现已在 Amazon Bedrock 和 SageMaker JumpStart 上线

  • 2025-05-21
    北京
  • 本文字数:777 字

    阅读完需:约 3 分钟

大小:383.32K时长:02:10
Llama 4 Scout与Maverick现已在Amazon Bedrock和SageMaker JumpStart上线

AWS 近日宣布,Meta 的最新基础模型 Llama 4 Scout 与 Llama 4 Maverick 已在 Amazon Bedrock 和 AWS SageMaker JumpStart 上线。两款模型均具备多模态能力,并采用混合专家(MoE)架构。

 

Meta 于去年四月发布的这两款模型分别包含 170 亿个活跃参数,分布在 16 个(Scout)和 128 个(Maverick)专家网络中。其中 Llama 4 Scout 针对单块英伟达 H100 GPU 通用任务进行了优化;而据 Meta 称,Llama 4 Maverick 在推理与编码能力方面表现突出,优于同类竞品。亚马逊特别强调了 MoE 架构在降低计算成本方面的价值:

 

得益于 Meta 首次采用更为高效的混合专家架构,该技术仅激活模型中与任务最相关的部分,客户能以更高计算效率进行模型训练和推理,在提升性能的同时降低成本。"

 

虽然 Llama 4 Scout 理论上支持 1000 万 token 的上下文窗口,但当前亚马逊 Bedrock 的限制为 350 万 token(官方表示将很快扩展);Llama 4 Maverick 则最高支持 100 万 token。相较于 Llama 3 系列 12.8 万 token 的上下文长度,两款模型均有显著提升。

 

在亚马逊 SageMaker JumpStart 平台,用户可根据需求通过 SageMaker Studio 或亚马逊 SageMaker Python SDK 调用新模型。两款模型默认使用配备英伟达 H100 Tensor Core GPU 的 ml.p5.48xlarge 实例,也可选择搭载英伟达 H200 Tensor Core GPU 的 ml.p5en.48xlarge 实例。Llama 4 Scout 还支持采用英伟达 L40S Tensor Core GPU 的 ml.g6e.48xlarge 实例类型。

 

在 AWS 之外,Llama 4 系列模型现已在 Databricks、GroqCloud、Lambda.ai、Cerebras Inference Cloud 等云平台上线,也可在 Hugging Face 平台使用

 

除 Scout 和 Maverick 外,Llama 4 家族还有第三款模型 Behemoth,该模型的 2880 亿活跃参数分布在 16 个专家网络中。Meta 表示当前还处于预览阶段的 Behemoth 是“最具智能的蒸馏教师模型”,Scout 与 Maverick 均是由其训练而来。

2025-05-21 14:007196

评论

发布
暂无评论
发现更多内容
Llama 4 Scout与Maverick现已在Amazon Bedrock和SageMaker JumpStart上线_架构_Sergio De Simone_InfoQ精选文章