Meta 开源 Muse Spark Open:816B 多模态 MoE 模型
Meta 发布开源权重模型 Muse Spark Open,采用混合专家架构,总参数约 816B、每 token 激活约 42B,上下文窗口最高 100 万 token,可输入文本、图像、音频和视频并输出文本。
该模型面向智能体编码训练,能读取代码库、编写和调试代码并调用工具,同时可处理截图、语音和录屏。模型提供 BF16 与 NVFP4 两种 checkpoint,BF16 约 1.5 TB,NVFP4 面向 NVIDIA Blackwell GPU;官方给出 transformers、llama.cpp、SGLang、vLLM、MLX 的部署配方,以及用 TRL 在 64 张 H100 上微调 LoRA 的示例。
Meta 开源 816B 多模态 MoE 模型,给出量化、部署与微调配方,可据此评估本地与云端落地成本。