IT之家·· 6 小时前AI 评分72
百度文心开源发布 ERNIE 5.5 Flash Base 基座模型,总参数 280B
百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型,总参数 280B
AI 导读
百度文心于 11 月 5 日发布并开源 ERNIE-5.5-Flash-Base,开放 ERNIE 5.5 Flash 预训练终点权重。该模型为稀疏 MoE 语言模型,总参数 280B、每 token 激活 14B,在 33.5T tokens 上从零完成预训练,最长训练上下文 128K,微调与推理支持 1M tokens 上下文。
来源:IT之家 · ithome.com