跳到正文
智东西· 李水青·· 5 小时前AI 评分72

百度开源文心5.5 Flash Base:280B总参数、14B激活,称同尺寸SOTA

280B总参数、14B激活!百度开源文心5.5 Flash Base,拿下同尺寸SOTA

AI 导读

百度发布并开源文心5.5 Flash Base(ERNIE-5.5-Flash-Base),采用稀疏MoE架构,总参数280B、每token激活14B,在33.5T tokens上从零预训练,微调与推理支持1M tokens上下文。

来源:智东西 · zhidx.com