跳到正文
IT之家·· 3 小时前AI 评分58

商汤开源 SenseNova Loop-9B-Preview,宣称媲美 27B 参数模型

商汤开源 SenseNova Loop-9B-Preview,宣称媲美 27B 参数大小模型

AI 导读

商汤科技 10 月 30 日宣布开源日日新 SenseNova Loop-9B-Preview,官方称其在仅 9B 参数下媲美 27B 参数模型。该模型采用 Looped Transformer 架构,保留首尾各 4 层原始解码器模块,将中间层改为参数共享的循环计算模块,并引入 mHC 多路残差连接增强特征交互。

来源:IT之家 · ithome.com