
AWS 近日宣布,Meta 的最新基础模型 Llama 4 Scout 与 Llama 4 Maverick 已在 Amazon Bedrock 和 AWS SageMaker JumpStart 上线。两款模型均具备多模态能力,并采用混合专家(MoE)架构。
Meta 于去年四月发布的这两款模型分别包含 170 亿个活跃参数,分布在 16 个(Scout)和 128 个(Maverick)专家网络中。其中 Llama 4 Scout 针对单块英伟达 H100 GPU 通用任务进行了优化;而据 Meta 称,Llama 4 Maverick 在推理与编码能力方面表现突出,优于同类竞品。亚马逊特别强调了 MoE 架构在降低计算成本方面的价值:
得益于 Meta 首次采用更为高效的混合专家架构,该技术仅激活模型中与任务最相关的部分,客户能以更高计算效率进行模型训练和推理,在提升性能的同时降低成本。"
虽然 Llama 4 Scout 理论上支持 1000 万 token 的上下文窗口,但当前亚马逊 Bedrock 的限制为 350 万 token(官方表示将很快扩展);Llama 4 Maverick 则最高支持 100 万 token。相较于 Llama 3 系列 12.8 万 token 的上下文长度,两款模型均有显著提升。
在亚马逊 SageMaker JumpStart 平台,用户可根据需求通过 SageMaker Studio 或亚马逊 SageMaker Python SDK 调用新模型。两款模型默认使用配备英伟达 H100 Tensor Core GPU 的 ml.p5.48xlarge
实例,也可选择搭载英伟达 H200 Tensor Core GPU 的 ml.p5en.48xlarge
实例。Llama 4 Scout 还支持采用英伟达 L40S Tensor Core GPU 的 ml.g6e.48xlarge
实例类型。
在 AWS 之外,Llama 4 系列模型现已在 Databricks、GroqCloud、Lambda.ai、Cerebras Inference Cloud 等云平台上线,也可在 Hugging Face 平台使用。
除 Scout 和 Maverick 外,Llama 4 家族还有第三款模型 Behemoth,该模型的 2880 亿活跃参数分布在 16 个专家网络中。Meta 表示当前还处于预览阶段的 Behemoth 是“最具智能的蒸馏教师模型”,Scout 与 Maverick 均是由其训练而来。
评论