雷峰网·· 1 天前AI 评分38
严骏驰团队在 CNCC 2026 介绍 JTok 与 xHC 两条 Transformer 架构改进思路
Transformer 架构还能咋改？严骏驰团队提供两条思路 | CNCC 2026
AI 导读
上海交通大学严骏驰团队在 CNCC 2026 报告《大模型新架构探索：JTok & xHC》中介绍两项 Transformer 改进：JTok 为 token 引入可学习参数表，以查表和逐元素运算扩展容量；xHC 将残差流扩展至十六路，采用稠密读取、稀疏写回。
来源：雷峰网 · leiphone.com