frozenleaves/vllm-ascend
1
0
Fork 0
mirror of https://github.com/vllm-project/vllm-ascend.git synced 2025-10-20 05:33:51 +08:00
Code Issues Packages Projects Releases Wiki Activity
Files
main
vllm-ascend/README.zh.md
wangxiyuan ba19dd3183 Revert PTA upgrade PR (#3352) 
we notice that torch npu 0919 doesn't work. This PR revert related
change which rely on 0919 version.
Revert PR: #3295  #3205  #3102 

Related: #3353

- vLLM version: v0.11.0
2025-10-10 14:09:53 +08:00

6.1 KiB
Raw Permalink Blame History

vllm-ascend

vLLM Ascend Plugin

| 关于昇腾 | 官方文档 | #sig-ascend | 用户论坛 | 社区例会 |

English | 中文

最新消息 🔥

  • [2025/09] 我们发布了新的正式版本 v0.9.1! 请按照官方指南开始在Ascend上部署大型专家并行 (EP)。
  • [2025/08] 我们与vLLM和腾讯合作举办了vLLM北京Meetup，！请在这里找到演讲材料。
  • [2025/06] 用户案例现已上线！展示了LLaMA-Factory/verl/TRL/GPUStack等用户案例，展示了vLLM Ascend如何帮助昇腾用户在模型微调、评估、强化学习 (RL) 以及部署等场景中提升体验。
  • [2025/06] 贡献者页面现已上线！所有的贡献都值得被记录，感谢所有的贡献者。
  • [2025/05] 我们发布了首个正式版本 v0.7.3！我们与 vLLM 社区合作发布了一篇博客文章，分享了我们的实践：Introducing vLLM Hardware Plugin, Best Practice from Ascend NPU。
  • [2025/03] 我们和vLLM团队举办了vLLM Beijing Meetup! 你可以在这里找到演讲材料.
  • [2025/02] vLLM社区正式创建了vllm-project/vllm-ascend仓库，让vLLM可以无缝运行在Ascend NPU。
  • [2024/12] 我们正在与 vLLM 社区合作，以支持 [RFC]: Hardware pluggable.

总览

vLLM 昇腾插件 (vllm-ascend) 是一个由社区维护的让vLLM在Ascend NPU无缝运行的后端插件。

此插件是 vLLM 社区中支持昇腾后端的推荐方式。它遵循[RFC]: Hardware pluggable所述原则：通过解耦的方式提供了vLLM对Ascend NPU的支持。

使用 vLLM 昇腾插件，可以让类Transformer、混合专家(MOE)、嵌入、多模态等流行的大语言模型在 Ascend NPU 上无缝运行。

准备

  • 硬件：Atlas 800I A2 Inference系列、Atlas A2 Training系列、Atlas 800I A3 Inference系列、Atlas A3 Training系列、Atlas 300I Duo（实验性支持）
  • 操作系统：Linux
  • 软件：
    • Python >= 3.9, < 3.12
    • CANN >= 8.2.rc1 (Ascend HDK 版本参考这里)
    • PyTorch >= 2.7.1, torch-npu >= 2.7.1.dev20250724
    • vLLM (与vllm-ascend版本一致)

开始使用

推荐您使用以下版本快速开始使用：

Version Release type Doc
v0.11.0rc0 最新RC版本 请查看快速开始和安装指南了解更多
v0.9.1 最新正式/稳定版本 快速开始 and 安装指南了解更多

贡献

请参考 CONTRIBUTING 文档了解更多关于开发环境搭建、功能测试以及 PR 提交规范的信息。

我们欢迎并重视任何形式的贡献与合作：

  • 请通过Issue来告知我们您遇到的任何Bug。
  • 请通过用户论坛来交流使用问题和寻求帮助。

分支策略

vllm-ascend有主干分支和开发分支。

  • main: 主干分支，与vLLM的主干分支对应，并通过昇腾CI持续进行质量看护。
  • vX.Y.Z-dev: 开发分支，随vLLM部分新版本发布而创建，比如v0.7.3-dev是vllm-asend针对vLLM v0.7.3版本的开发分支。

下面是维护中的分支：

分支 状态 备注
main Maintained 基于vLLM main分支和vLLM最新版本（v0.11.0）CI看护
v0.7.1-dev Unmaintained 只允许文档修复
v0.7.3-dev Maintained 基于vLLM v0.7.3版本CI看护, 只允许Bug修复，不会再发布新版本
v0.9.1-dev Maintained 基于vLLM v0.9.1版本CI看护
rfc/feature-name Maintained 为协作创建的特性分支

请参阅版本策略了解更多详细信息。

社区例会

许可证

Apache 许可证 2.0，如 LICENSE 文件中所示。