vLLM 安装指南GPU/CPU 多平台支持、预编译 Wheel 与源码构建全流程【免费下载链接】vllmA high-throughput and memory-efficient inference and serving engine for LLMs项目地址: https://gitcode.com/GitHub_Trending/vl/vllm本篇基于 vLLM 官方安装文档整理覆盖 NVIDIA CUDA、AMD ROCm、Intel XPU、Apple Silicon 与 x86/ARM/IBM Z 等 CPU 平台的完整安装路径包括预编译 wheel 安装、源码构建含免编译的 Python-only 模式以及 Docker 镜像部署并结合仓库源码说明安装变量与平台识别机制帮助你在不同硬件上快速搭起可用的 vLLM 推理环境。1. vLLM 支持的平台总览vLLM 支持以下硬件平台来源安装文档入口大类平台说明GPUNVIDIA CUDA内置预编译 C 与 CUDA 12.9 二进制GPUAMD ROCm预编译 wheel 支持 ROCm 7.0 / 7.2.1GPUIntel XPUIntel Data Center GPU / ARC GPUPython 3.12 强制要求GPUApple Silicon通过社区维护的硬件插件 vLLM-MetalMLX Metal 后端CPUIntel/AMD x86需要avx512f推荐或avx2功能受限CPUARM AArch64支持 ARM64 架构服务器CPUApple Silicon实验性支持仅 FP32/FP16需从源码构建CPUIBM Z (s390x)支持 IBM 大型机平台通用要求GPU 路线Linux 系统Python 3.10 – 3.13CPU 路线Python 3.10 – 3.13vLLM 不原生支持 Windows可通过 WSL 使用或使用社区维护的 Windows 分支。各平台的细节文档位于 GPU 安装页 与 CPU 安装页其内容由同目录下的*.inc.md片段如 CUDA 片段、ROCm 片段、x86 片段拼装而成。2. 硬件插件主仓库之外的第三方硬件vLLM 支持位于主仓库之外的第三方硬件插件其机制遵循 硬件插件 RFCplugin_system。典型例子是 Apple Silicon GPU 路线仓库本身不包含 Metal 计算后端而是由社区维护的 vLLM-Metal 插件包提供基于 MLX通过 Apple Metal 框架实现原生 GPU 加速。该插件配合 Hugging Face 上mlx-community组织的 MLX 优化模型含 4-bit/8-bit 量化版本使用例如mlx-community/Qwen2.5-0.5B-Instruct-4bit。安装 vLLM-Metal 后即可获得基于 Metal 的原生 GPU 加速针对 Apple Silicon 优化的 MLX 计算后端OpenAI 兼容 API 服务启动方式摘自 Apple Silicon GPU 片段# 激活 vLLM-Metal 环境 source ~/.venv-vllm-metal/bin/activate # 启动 OpenAI 兼容 API 服务 vllm serve服务启动后可通过vllm chat交互、curl http://localhost:8000/v1/chat/completions发起请求或使用 OpenAI SDK 以base_urlhttp://localhost:8000/v1连接。完整的硬件兼容列表以 vLLM 官网为准如需新增硬件可通过 Slack 或邮件联系项目方。3. 创建 Python 环境所有平台通用官方推荐使用uv快速 Python 环境管理器创建虚拟环境见 环境初始化片段uv venv --python 3.12 --seed --managed-python source .venv/bin/activate注意各平台的 Python 版本约束差异CUDA3.10 – 3.13 均可ROCm 预编译 wheel 仅支持 Python 3.12。若使用 3.11/3.13安装器会静默回退到 PyPI 上的 CUDA wheel在 AMD GPU 上运行时会报libcudart.so: cannot open shared object file之类错误XPU 仅支持 Python 3.12因为vllm-xpu-kernels的 wheel 是针对 3.12 打包的。4. NVIDIA CUDA GPU 安装4.1 前提条件GPU 计算能力 7.5 及以上T4、RTX 20xx、A100、L4、H100、B200 等Linux 系统Blackwell 架构B200、GB200要求 CUDA ≥ 12.8。vLLM 会编译大量 CUDA kernel编译结果与其他 CUDA 版本、PyTorch 版本存在二进制不兼容风险即使是相同 PyTorch 版本的不同构建配置因此强烈建议在全新的环境中安装。若环境中的 CUDA 版本不同或要复用现有 PyTorch 安装则必须从源码构建。另需注意通过conda安装的 PyTorch 会静态链接 NCCL 库可能干扰 vLLM 对 NCCL 的使用这也是推荐独立环境的原因之一。4.2 预编译 wheel 安装最简安装命令wheel 内置 CUDA 12.9 编译的 C/CUDA 二进制uv pip install vllm --torch-backendauto--torch-backendauto或UV_TORCH_BACKENDauto让 uv 根据本机 CUDA 驱动版本自动选择合适的 PyTorch 索引要指定后端可写--torch-backendcu130。若行为异常先执行uv self update升级 uv。等价的 pip 方式显式指定 cu129pip install vllm --extra-index-url https://download.pytorch.org/whl/cu129官方默认以 CUDA 12.9 公开版 PyTorch 编译二进制同时也提供 CUDA 12.8、13.0 变体可按下述方式从 Release 直接安装指定 CUDA 版本的 wheelexport VLLM_VERSION$(curl -s https://api.github.com/repos/vllm-project/vllm/releases/latest | jq -r .tag_name | sed s/^v//) export CUDA_VERSION130 # 或 128 等其他变体 export CPU_ARCH$(uname -m) # x86_64 或 aarch64 uv pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}cu${CUDA_VERSION}-cp38-abi3-manylinux_2_28_${CPU_ARCH}.whl --extra-index-url https://download.pytorch.org/whl/cu${CUDA_VERSION}4.3 安装最新开发版Nightly wheelvLLM 自v0.5.3起为main分支的每个 commit 构建 wheel托管在 nightly 索引变体目录包括默认变体CUDA 12.9、cu130与cpuuv pip install -U vllm \ --torch-backendauto \ --extra-index-url https://wheels.vllm.ai/nightly也可以用 commit hash 安装历史版本便于二分定位行为变化或性能回退export VLLM_COMMIT72d9c316d3f6ede485146fe5aabd4e61dbc59069 uv pip install vllm \ --torch-backendauto \ --extra-index-url https://wheels.vllm.ai/${VLLM_COMMIT}pip 限制用pip从 nightly 索引安装不受支持因为pip会合并--extra-index-url与默认索引的包并只选最新版本难以安装早于发布版的开发版而uv会给额外索引更高的优先级。如坚持用pip需直接给出完整 wheel 文件 URL。4.4 源码构建Python-only 模式免编译如果只修改 Python 代码可用预编译库做可编辑安装改代码后即时生效git clone https://github.com/vllm-project/vllm.git cd vllm VLLM_USE_PRECOMPILED1 uv pip install --editable . --torch-backendauto该流程会查找当前分支 → 定位main上对应的 base commit → 下载该 commit 的预编译 wheel → 使用其编译产物与vllm-rs二进制。两个注意事项改动 C/kernel 代码后不能再用此模式会报缺库或未定义符号rebase 开发分支后建议卸载并重新执行该命令。如需单独重编 Rust 前端vllm-rs可运行./build_rust.sh # release 构建 ./build_rust.sh --debug # 开发期更快的 debug 构建控制 Python-only 构建的环境变量VLLM_PRECOMPILED_WHEEL_LOCATION指定要用的 wheel 的 URL 或本地路径跳过所有自动查找逻辑VLLM_PRECOMPILED_WHEEL_COMMIT覆盖下载 wheel 的 commit hash取nightly表示使用main上最近一个已构建的 commitVLLM_PRECOMPILED_WHEEL_VARIANT指定变体子目录cu129、cu130、cpu缺省时按系统 CUDA 版本来自 PyTorch 或 nvidia-smi自动探测也可用VLLM_MAIN_CUDA_VERSION覆盖。如果报 wheel not found通常是 base commit 刚合入、预编译 wheel 尚未就绪可等待约一小时重试或设置VLLM_PRECOMPILED_WHEEL_COMMITnightly自动选取最近已构建的 commit。4.5 完整源码构建含编译编译器要求GCC/G ≥ 11.3PyTorch 的 C20 头文件与 GCC 10 或低于 11.3 的 GCC 不兼容。Ubuntu 22.04 上可sudo apt-get install -y gcc-11 g-11 sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-11 110 \ --slave /usr/bin/g g /usr/bin/g-11然后构建安装耗时数分钟git clone https://github.com/vllm-project/vllm.git cd vllm uv pip install -e . --torch-backendauto几个重要的构建细节架构/PTX 策略vLLM 按源文件粒度归一化 CUDA 架构以优化构建时间和 wheel 体积TORCH_CUDA_ARCH_LIST中全局的PTX请求如8.0PTX对通用扩展目标无效PTX 只为内部特定 kernel 生成ccache 加速安装 ccache 后构建系统会自动使用配合pip install -e .时需CCACHE_NOHASHDIRtrue pip install --no-build-isolation -e .因为 pip 每次构建使用随机名目录导致 ccache 无法识别相同文件。sccache 可进一步利用远端缓存SCCACHE_BUCKETvllm-build-sccache SCCACHE_REGIONus-west-2 SCCACHE_S3_NO_CREDENTIALS1并建议SCCACHE_IDLE_TIMEOUT0复用现有 PyTorch例如要基于 PyTorch nightly 或自定义构建编译时git clone https://github.com/vllm-project/vllm.git cd vllm python use_existing_torch.py uv pip install -r requirements/build/cuda.txt uv pip install --no-build-isolation -e .仓库根目录的 use_existing_torch.py 即为此流程的辅助脚本。若环境完全由 uv 管理也可借助 uv 对特定包禁用构建隔离的机制直接uv pip install -e .本地 cutlass设置VLLM_CUTLASS_SRC_DIR/path/to/cutlass可让构建使用本地 cutlass 源码而非从上游拉取限制编译并发export MAX_JOBS6控制同时编译任务数在 WSL 上默认仅分配 50% 内存可用MAX_JOBS1避免 OOM构建排障可改用 NVIDIA PyTorch Docker 镜像docker run --gpus all -it --rm --ipchost nvcr.io/nvidia/pytorch:23.10-py3或不使用 Docker 而完整安装 CUDA Toolkit 并设置CUDA_HOME与PATH用nvcc --version验证非 Linux 开发构建vLLM 只能在 Linux 完整运行但为了开发便利可在 macOS 等其他系统上以VLLM_TARGET_DEVICEempty uv pip install -e .安装二进制不编译、不可运行。4.6 Docker 部署CUDA官方镜像vllm/vllm-openai可直接运行 OpenAI 兼容服务docker run --runtime nvidia --gpus all \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env HF_TOKEN$HF_TOKEN \ -p 8000:8000 \ --ipchost \ vllm/vllm-openai:latest \ --model Qwen/Qwen3-0.6B镜像标签后追加任意 engine-args 即可。要点--ipchost或--shm-size用于共享内存PyTorch 张量并行依赖进程间共享内存镜像出于许可考虑不含可选依赖如audio需要时可在基础镜像上追加一层RUN uv pip install --system vllm[audio]与基础镜像一致的版本若新模型只在 Transformers 的main分支可用可在镜像上追加githttps://github.com/huggingface/transformers.git安装开发版。旧 CUDA 驱动兼容镜像内置 CUDA 兼容库允许在驱动版本低于镜像内 CUDA Toolkit 版本的系统上运行仅限部分专业/数据中心 GPU。CUDA 13 镜像下兼容模式支持 R535/R570 主机驱动。启用方式docker run --runtime nvidia --gpus all \ -v ~/.cache/huggingface:/root/.cache/huggingface \ -p 8000:8000 \ --env HF_TOKENsecret \ --env VLLM_ENABLE_CUDA_COMPATIBILITY1 \ vllm/vllm-openai args...从源码构建镜像docker/Dockerfile# 可选--build-arg max_jobs8 --build-arg nvcc_threads2 DOCKER_BUILDKIT1 docker build . \ --target vllm-openai \ --tag vllm/vllm-openai \ --file docker/Dockerfile默认构建所有 GPU 架构若只针对当前 GPU可加--build-arg torch_cuda_arch_list交由 PyTorch 选择未改动 C/CUDA 代码时可用--build-arg VLLM_USE_PRECOMPILED1下载预编译 wheel 大幅缩短构建时间--build-arg VLLM_PRECOMPILED_WHEEL_COMMITcommit_hash可指定 commitaarch64 镜像Grace-Hopper / Grace-Blackwell加--platform linux/arm64GB300 建议 CUDA 13。在 x86 主机上交叉构建 ARM 镜像需先注册 QEMU 静态处理器docker run --rm --privileged multiarch/qemu-user-static --reset -p yes。5. AMD ROCm GPU 安装5.1 支持范围与 wheel 变体vLLM 支持 ROCm 6.3 及以上预编译 wheel 目前提供 ROCm 7.0 与 ROCm 7.2.1 两个变体来源ROCm 安装片段ROCm 变体PythonROCm 版本glibc 要求可用版本rocm7003.127.0≥ 2.350.14.0 – 0.18.0rocm7213.127.2.1≥ 2.35指定 commit 之后的 nightly支持的 GPUMI200sgfx90a、MI300gfx942、MI350gfx950需 ROCm 7.0、Radeon RX 7900 系列gfx1100/1101、RX 9000 系列gfx1200/1201、Ryzen AI MAX / AI 300 系列gfx1151/1150需 ROCm 7.0.2。5.2 安装命令最新稳定版ROCm 7.0、Python 3.12、glibc ≥ 2.35uv pip install vllm --extra-index-url https://wheels.vllm.ai/rocm/ --upgrade自动探测当前可用变体与版本export VLLM_ROCM_VARIANT$(curl -s https://wheels.vllm.ai/rocm/vllm | grep -oP rocm\d | head -1) export VLLM_VERSION$(curl -s https://wheels.vllm.ai/rocm/vllm | grep -oP vllm-\K[0-9.] | head -1)安装指定版本 变体uv pip install vllm0.18.0 --extra-index-url https://wheels.vllm.ai/rocm/0.18.0/rocm700nightly 与按 commit 安装同理索引换成https://wheels.vllm.ai/rocm/nightly/${VLLM_ROCM_VARIANT}或https://wheels.vllm.ai/rocm/${VLLM_COMMIT}/${VLLM_ROCM_VARIANT}nightly 需加--pre与--index-strategy unsafe-best-match首个支持 nightly 的变体是 ROCm 7.2.1。同样注意pip从自定义索引安装的局限必须写精确版本号加变体如pip install vllm0.18.0rocm700 --extra-index-url ...。5.3 源码构建要点Python-only 模式VLLM_USE_PRECOMPILED1 python3 setup.py develop流程为查找分支 → 定位 base commit → 探测环境 ROCm 版本并选择匹配 wheel 变体 → 下载预编译 wheel → 复用其编译产物与vllm-rs二进制。变体可用VLLM_PRECOMPILED_WHEEL_VARIANT如rocm700/rocm721指定显式指定必须与环境探测结果一致完整构建安装 ROCm 与匹配的 PyTorch建议从rocm/pytorch:rocm7.0_ubuntu22.04_py3.10_pytorch_release_2.8.0之类的镜像起步→ 安装 ROCm 版 Triton已验证的分支见 docker/Dockerfile.rocm_base→ 可选安装 ROCm 版 flash-attention 与 AITER → 可选安装 MORIEP/PD 分离用→ 构建 vLLMpip install --upgrade pip pip install /opt/rocm/share/amd_smi pip install --upgrade numba scipy huggingface-hub[cli] setuptools_scm pip install -r requirements/rocm.txt # 单一架构如 MI300构建更快推荐 export PYTORCH_ROCM_ARCHgfx942 # 多架构export PYTORCH_ROCM_ARCHgfx90a;gfx942 python3 setup.py develop注意 ROCm 路线下pip install .目前不可用须走python3 setup.py develop耗时约 5–10 分钟。PyTorch 的 ROCm 版本最好与 ROCm 驱动版本一致。5.4 Docker 部署ROCm官方镜像为vllm/vllm-openai-rocmlatest为稳定版nightly为开发分支预览版docker run --rm \ --group-addvideo \ --cap-addSYS_PTRACE \ --security-opt seccompunconfined \ --device /dev/kfd \ --device /dev/dri \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env HF_TOKEN$HF_TOKEN \ -p 8000:8000 \ --ipchost \ vllm/vllm-openai-rocm:tag \ --model Qwen/Qwen3-0.6B/dev/kfd、/dev/dri设备与SYS_PTRACE是 ROCm 运行所必需。AMD 早期的rocm/vllm/rocm/vllm-dev镜像已弃用请迁移到官方镜像。源码构建使用 docker/Dockerfile.rocm默认 ROCm 7.0可选项BASE_IMAGE基础镜像与ARG_PYTORCH_ROCM_ARCHgfx 架构覆盖。6. Intel XPU GPU 安装支持 Intel Data Center GPU 与 Intel ARC GPU依赖vllm-xpu-kernels包提供 XPU 平台所需全部自定义 kernel其 wheel 为 Python 3.12 专属nightly 安装需同时给出 vLLM XPU 索引与 PyTorch XPU 索引uv pip install vllm \ --extra-index-url https://wheels.vllm.ai/nightly/xpu \ --extra-index-url https://download.pytorch.org/whl/xpu \ --index-strategy unsafe-best-match源码构建先装好 Intel GPU 驱动自 vllm-xpu-kernels v0.1.10 起建议升级 compute runtime 至 26.18git clone https://github.com/vllm-project/vllm.git cd vllm pip install --upgrade pip pip install -v -r requirements/xpu.txt VLLM_TARGET_DEVICExpu pip install --no-build-isolation -e . -v一个值得注意的细节requirements/xpu.txt固定了triton3.7.2xpu这个兼容 shim托管在 XPU wheel 索引上透明解析为真正的 Intel 实现triton-xpu。原因是部分传递依赖如xgrammar无条件要求名为triton的发行版若不处理会解析到 PyPI 上 NVIDIA 专属的 triton在 XPU 上引发正确性或运行期问题——无需手动卸载/重装。Docker 方面官方镜像vllm/vllm-openai-xpulatest自 v0.26.0 提供另有nightly需要--device /dev/dri、--privileged与--ipchost功能上 XPU 支持张量并行流水线并行为 beta单节点、mp 后端例如vllm serve facebook/opt-13b \ --dtypebfloat16 \ --max_model_len1024 \ --distributed-executor-backendmp \ --pipeline-parallel-size2 \ -tp8分布式后端torch 2.8 使用 torch-ccltorch ≥ 2.8 使用内置的 xccl。7. CPU 平台安装7.1 平台要求Intel/AMD x86LinuxCPU flags 需avx512f推荐或avx2功能受限可用lscpu检查支持 FP32、FP16、BF16 数据类型AMD 处理器至少需第 4 代Zen 4/Genoa支持 AVX512Apple Silicon实验性支持仅支持 FP32/FP16无预编译 wheel需从源码构建macOS 上VLLM_TARGET_DEVICE自动置为cpu量化支持AWQx86/s390x、GPTQx86/s390x、compressed-tensor INT8 W8A8仅 x86/s390x。7.2 预编译 wheelx86AVX512/AVX2 的 x86 预编译 wheel 自 0.17.0 起提供来源CPU 安装页、x86 片段export VLLM_VERSION$(curl -s https://api.github.com/repos/vllm-project/vllm/releases/latest | jq -r .tag_name | sed s/^v//) uv pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}cpu-cp38-abi3-manylinux_2_34_x86_64.whl --torch-backend cpunightly 与按 commit 安装使用索引https://wheels.vllm.ai/nightly/cpu/https://wheels.vllm.ai/${VLLM_COMMIT}/cpu注意索引 URL 必须带cpu变体子目录并加--torch-backend cpu --index-strategy first-index。关键步骤——设置LD_PRELOADwheel 安装的 CPU 版使用前须将 Intel OpenMP 加入LD_PRELOADsudo find / -iname *libiomp5.so IOMP_PATH... export LD_PRELOAD$IOMP_PATH:$LD_PRELOAD7.3 源码构建x86安装编译器推荐 gcc/g ≥ 12.3.0sudo apt-get update -y sudo apt-get install -y gcc-12 g-12 libnuma-dev sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-12 10 --slave /usr/bin/g g /usr/bin/g-12安装依赖并构建git clone https://github.com/vllm-project/vllm.git vllm_source cd vllm_source uv pip install -r requirements/build/cpu.txt --torch-backend cpu --index-strategy unsafe-best-match uv pip install -r requirements/cpu.txt --torch-backend cpu --index-strategy unsafe-best-match VLLM_TARGET_DEVICEcpu uv pip install . --no-build-isolation开发模式用VLLM_TARGET_DEVICEcpu python3 setup.py develop构建可移植 wheel 用VLLM_TARGET_DEVICEcpu uv build --wheel --no-build-isolation后安装dist/*.whl。源码构建还需将 TCMalloclibtcmalloc-minimal4与 Intel OpenMP 一起加入LD_PRELOAD。排障提示NumPy ≥ 2.0 报错则降级到numpy2.0CMake 误检 CUDA 时加CMAKE_DISABLE_FIND_PACKAGE_CUDAON。免编译的 Python-only 构建CPU 版同样适用需先有预编译 wheelVLLM_USE_PRECOMPILED1 VLLM_PRECOMPILED_WHEEL_VARIANTcpu VLLM_TARGET_DEVICEcpu uv pip install --editable .7.4 平台识别机制源码佐证从 setup.py 的源码结构可以看出安装目标平台的判定逻辑在 macOS 上若未显式设置VLLM_TARGET_DEVICE会自动回落为cpu并打印告警在 Linux 上未设置时则按环境自动探测——检测到 ROCm 置为rocm、检测到 Intel GPU 置为xpu、有 CUDA 置为cuda、否则cpu。这也解释了 CPU 构建为何要显式导出VLLM_TARGET_DEVICEcpu避免在装有 GPU 的机器上被自动探测为 cuda。VLLM_USE_PRECOMPILED则在 setup.py 中映射为USE_PRECOMPILED_EXTENSIONS且隐含启用预编译 Rust 前端。运行时的平台分发由 vllm/platforms 目录中的各平台模块实现cuda.py、rocm.py、xpu.py、tpu.py、cpu.py以及zen_cpu.pyAMD Zen 专用子类入口 vllm/platforms/__init__.py 负责按硬件选择。7.5 CPU 运行时关键环境变量变量作用默认值VLLM_CPU_KVCACHE_SPACEKV Cache 大小单位 GiB越大可并行请求越多0VLLM_CPU_OMP_THREADS_BINDOpenMP 线程绑核CPU id 列表、auto或nobind继承OMP_NUM_THREADS。如0-31表示 32 线程绑定 0–31 核0-31|32-63表示两个 TP rank 各 32 线程autoVLLM_CPU_NUM_OF_RESERVED_CPU每 rank 保留给非 OpenMP 用途的 CPU 数仅在 bind 为auto时生效未设置时world_size1不保留、world_size1每 rank 保留 1 核NoneCPU_VISIBLE_MEMORY_NODES限定可见 NUMA 内存节点类似CUDA_VISIBLE_DEVICES仅在 auto 绑定时生效—VLLM_ZENTORCH_WEIGHT_PREPACKAMD Zen 专用模型加载时将线性权重预打包为 ZenDNN 分块布局消除推理期布局转换开销1启动服务示例32 物理核平台预留 1 核给服务框架export VLLM_CPU_KVCACHE_SPACE40 export VLLM_CPU_OMP_THREADS_BIND0-30 vllm serve facebook/opt-125m --dtypebfloat16或使用自动绑核export VLLM_CPU_KVCACHE_SPACE40 export VLLM_CPU_NUM_OF_RESERVED_CPU1 vllm serve facebook/opt-125m --dtypebfloat16性能调优要点--block-size建议取 32 的倍数默认 128--max-num-batched-tokens默认离线4096*world_size、在线2048*world_size主要影响首 token 时延--max-num-seqs默认离线256*world_size、在线128*world_size主要影响输出吞吐CPU 路线推荐 DPTPPP 组合使用以利用多 socket 与内存节点。7.6 Docker 部署CPU拉取官方 CPU 镜像docker pull vllm/vllm-openai-cpu:latest-x86_64 # 或指定版本 docker pull vllm/vllm-openai-cpu:v${VLLM_VERSION}-x86_64运行注意 NUMA 相关优化需要 SYS_NICE 能力与放开 seccompdocker run --rm \ --security-opt seccompunconfined \ --cap-add SYS_NICE \ --shm-size4g \ -p 8000:8000 \ -e VLLM_CPU_KVCACHE_SPACEKV cache space \ vllm-cpu-env \ meta-llama/Llama-3.2-1B-Instruct \ --dtypebfloat16 \ other vLLM OpenAI server arguments在容器/K8s 中若出现get_mempolicy: Operation not permitted告警是默认 seccomp/capabilities 拦截了 NUMA 系统调用get_mempolicy、migrate_pages功能不受影响但 NUMA 内存绑定/迁移优化失效。K8s 等价配置securityContext: seccompProfile: type: Unconfined capabilities: add: - SYS_NICE源码构建使用 docker/Dockerfile.cpu--target vllm-openaiAMD Zen 主机可构建--target vllm-openai-zen镜像在默认镜像基础上追加zentorch使ZenCpuPlatform自动激活。7.7 AMD Zen CPU 优化vLLM 在 AMD Zen 4 / Zen 5 上会自动选择ZenCpuPlatformCpuPlatform的子类对应 vllm/platforms/zen_cpu.py将线性层派发到 ZenDNN 优化 kernel。选择条件需同时满足vLLM 构建为 CPU 版、/proc/cpuinfo报告AuthenticAMD且带avx512、import zentorch成功否则回落到默认CpuPlatformoneDNN/sgl-kernel 路径。安装方式拉取与 release 匹配的zentorchexport VLLM_VERSION$(curl -s https://api.github.com/repos/vllm-project/vllm/releases/latest | jq -r .tag_name | sed s/^v//) uv pip install vllm[zen] --extra-index-url https://wheels.vllm.ai/${VLLM_VERSION}/cpu --index-strategy first-index --torch-backend cpu无需任何额外 flag启动日志中可看到平台选择行以确认生效vllm serve Qwen/Qwen3-0.6B 21 | grep AMD Zen CPU detected with zentorch installed用VLLM_LOGGING_LEVELDEBUG并 grepCPU unquantized GEMM dispatch可看每个线性层绑定到哪个后端。注意float16在ZenCpuPlatform上不受支持仅接受bfloat16与float32声明为 float16 的模型会在加载时自动降级为 bfloat16降级告警来自vllm/config/model.pyVLLM_ZENTORCH_WEIGHT_PREPACK默认1启用权重预打包置0关闭。8. 安装方式选择小结场景推荐方式普通 GPU/CPU 用户、要最新稳定版官方预编译 wheeluv pip install vllm注意 ROCm 选 Python 3.12、CPU 带cpu变体索引生产部署、环境隔离要求高官方 Docker 镜像vllm/vllm-openai、-rocm、-xpu、-cpu各变体只改 Python 代码的贡献者VLLM_USE_PRECOMPILED1的 Python-only 可编辑安装改 C/CUDA/HIP kernel完整源码构建CUDA 需 GCC ≥ 11.3CPU 需 GCC ≥ 12.3 与 libnuma配合 ccache/sccache 加速调试特定 commit / 二分回归按 commit hash 的 nightly 索引安装 wheel无论哪条路线请遵守各平台的版本约束Python 版本、CUDA/ROCm/驱动版本、glibc 要求安装完成后用最小模型如Qwen/Qwen3-0.6B或facebook/opt-125m验证vllm serve或离线推理可用。更多功能与硬件的兼容性矩阵见 Feature x HardwareCPU 平台已验证模型清单见 Supported Models on CPU。【免费下载链接】vllmA high-throughput and memory-efficient inference and serving engine for LLMs项目地址: https://gitcode.com/GitHub_Trending/vl/vllm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考