vLLM加速BU-30B-A3B-Preview：提升10倍推理速度的配置与优化技巧

BU-30B-A3B-Preview是一款具备SoTA Browser Use能力的轻量级模型，可在单GPU上部署运行。它基于Qwen/Qwen3-VL-30B-A3B-Instruct构建，拥有300亿总参数（其中30亿为活跃参数的MoE架构）和32768 tokens的上下文长度，能提供全面的浏览功能以及卓越的DOM理解和视觉推理能力。而借助vLLM，这款模型的推理速度可获得显著提升，达到10倍的加速效果。

快速安装vLLM环境

要使用vLLM加速BU-30B-A3B-Preview模型，首先需要确保安装vllm >= 0.12.0版本。打开终端，执行以下命令进行安装或升级：

pip install vllm --upgrade

基础启动命令与参数配置

完成vLLM的安装后，就可以通过简单的命令启动服务。一个基础的启动命令如下：

vllm serve browser-use/bu-30b-a3b-preview \ --max-model-len 32768 \ --host 0.0.0.0 \ --port 8000

这条命令会在本地创建一个与OpenAI兼容的端点，其中--max-model-len 32768参数的设置与模型32768 tokens的上下文长度相匹配，确保模型能充分发挥其处理长文本的能力。

提升推理速度的关键优化技巧

合理设置温度和Top-P参数

在调用模型时，合理设置温度（temperature）和Top-P参数可以在保证输出质量的同时提升推理速度。例如：

llm = ChatOpenAI( base_url='http://localhost:8000/v1', model='browser-use/bu-30b-a3b-preview', temperature=0.6, top_p=0.95, dont_force_structured_output=True, # 禁用结构化输出以加速 )

其中，dont_force_structured_output=True通过禁用结构化输出，能有效加快推理速度。

利用vLLM的高效推理特性

vLLM采用了PagedAttention技术，这一技术能够高效管理KV缓存，减少内存占用并提高吞吐量，从而大幅提升BU-30B-A3B-Preview模型的推理速度。在使用vLLM启动服务时，无需额外配置，PagedAttention技术会自动生效。

本地调用vLLM加速模型的示例代码

成功启动vLLM服务后，可以通过以下Python代码调用加速后的BU-30B-A3B-Preview模型：

from dotenv import load_dotenv from browser_use import Agent, ChatOpenAI load_dotenv() llm = ChatOpenAI( base_url='http://localhost:8000/v1', model='browser-use/bu-30b-a3b-preview', temperature=0.6, top_p=0.95, dont_force_structured_output=True, # 加速推理 ) agent = Agent( task='Find the number of stars of browser-use and stagehand. Tell me which one has more stars :)', llm=llm, ) agent.run_sync()

模型部署与使用的注意事项

• 硬件要求：虽然BU-30B-A3B-Preview可在单GPU上部署，但为了获得更流畅的推理体验，建议使用显存较大的GPU，如NVIDIA A100等。
• 版本兼容性：务必确保vLLM的版本不低于0.12.0，以保证与模型的兼容性和最佳的加速效果。
• 网络环境：在安装vLLM和拉取模型时，需要稳定的网络环境，以避免因网络问题导致安装或拉取失败。

通过以上配置和优化技巧，你可以充分利用vLLM的强大能力，将BU-30B-A3B-Preview模型的推理速度提升10倍，从而更高效地进行浏览器相关的任务处理和应用开发。如果你想进一步了解模型的详细信息，可以查看项目中的README.md文件。