~/AI HARDWARE/cambricon-completes-day-0-adaptation-for-sensenova-loop-9b-model

寒武纪完成商汤 SenseNova Loop-9B 模型 Day 0 适配

寒武纪官方宣布已在其 MLU 平台上通过 vllm_mlu 完成对商汤科技新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。此次集成成功打通了该新型循环计算架构模型在 MLU 平台上的推理链路。 这一进展突显了国内 AI 硬件对非标准、显存高效的循环架构日益增长的生态支持。通过实现 Day 0 适配,硬件平台能够快速支持用于复杂推理、代码和多模态任务的前沿模型。 该适配涉及将 32 个物理解码层通过静态循环展开转换为 56 个顺序计算层、针对注意力及多模态模块进行 MLU 算子映射,并利用 Triton Kernel 对 mHC 路由计算进行优化以减少调度开销。

## KIẾN THỨC NỀN

寒武纪 MLU 是寒武纪公司开发的人工智能加速芯片系列,利用如 vllm_mlu 等专用软件插件来运行大语言模型。SenseNova Loop-9B 是商汤科技开发的一款开源多模态语言模型,它通过循环结构复用模型层参数,在极低显存需求下扩展计算深度。

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#AI Hardware#LLM Inference#Cambricon#SenseNova#vLLM

$ subscribe --daily

寒武纪完成商汤 SenseNova Loop-9B 模型 Day 0 适配 | Daily News