智东西· 李水青·· 6 小时前精选AI 评分78
百度开源文心5.5 Flash Base：280B总参数、14B激活，称拿下同尺寸SOTA
280B总参数、14B激活！百度开源文心5.5 Flash Base，拿下同尺寸SOTA
AI 导读
百度发布并开源文心5.5 Flash Base（ERNIE-5.5-Flash-Base），采用稀疏MoE架构，总参数280B、每token激活14B，在33.5T tokens上从零预训练，微调与推理支持1M tokens上下文。
推荐理由
原文拆解了文心5.5 Flash Base在注意力、MoE路由和未来token预测上的三处改造，可了解同尺寸基座如何把效率写进预训练。
来源：智东西 · zhidx.com