严骏驰团队提出JTok与xHC两种Transformer扩展方法

上海交通大学严骏驰团队在 CNCC 2026 报告《大模型新架构探索：JTok & xHC》中介绍两项 Transformer 架构改进：JTok 为 token 引入可学习参数表，通过查表和逐元素运算扩展容量；xHC 将残差流扩展至十六路，采用稠密读取、稀疏写回。 据该报告，达到同样损失时，JTok-M 所需训练算力约为底座的 65%，即节省约 35%，但其工程实现中推理延迟增加约 7%；xHC 相对标准 Transformer 节省约 33% 训练算力，相对 mHC 节省约 16%，完成算子融合等优化后，相比 mHC 吞吐性能额外开销约 1.3%。

AI 根据报道生成 · 6 小时前更新