CUDA关系库的调用，也不错快速替换为相应的MUSA加快库。点击收听本新闻听新闻

快科技11月5日音书狠狠射快播，近日，摩尔线程上线了谎言语模子高速推理框架开源技俩vLLM的MUSA移植版块，为缔造者提供基于摩尔线程全功能GPU进行开源技俩MUSA移植的模范。

天上人间av

摩尔线程暗意，正勤勉围绕自主研发的斡旋系统架构GPU、MUSA软件平台，构建完善好用的MUSA诈欺生态。

vLLM是一个高效且易用的大模子推理和职业框架，赞成鼎新的PagedAttention内存解决、连络批处理肯求、CUDA/HIP图的快速模子执行、CUDA中枢优化、散布式推理赞成等，可权臣提高谎言语模子（LLM）的推感性能。

当今，动漫英文vLLM已在各式谎言语模子中取得庸碌诈欺，成为业界常用的开源大模子推理框架。

摩尔线程基于vLLM v0.4.2版块，进行了移植适配，使之赞成摩尔线程GPU后端Device，并王人备开源，缔造者不错二次缔造、升级vLLM到社区更新版块等。

值得一提的是，收成于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性，通过MUSIFY代码自动调养器用，用户不错快捷地将原有的CUDA代码迁徙到MUSA平台，竣事替代。

同期，CUDA关系库的调用，也不错快速替换为相应的MUSA加快库，如算子库muDNN、汇集通讯库MCCL、线性代数库muBLAS等。

摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容，大幅栽植了诈欺移植的恶果，裁汰了缔造周期，还提供MUSIFY自动代码移植器用等一系列实用器用和剧本。

摩尔线程vLLM-MUSA开源地址：

https://github.com/MooreThreads/vLLM_musa