• 人工智能
• 多模态
• 大模型
• 计算机视觉
• 医疗健康
• 基础模型

Hulu-Med-7B 是浙大 ZJU-AI4H 团队开源的 70 亿参数医疗对话大模型。它基于 Qwen2.5-7B 构建，在 1670 万条医疗数据上训练，不仅擅长医学文本问答（Clinical Dialogue / Medical Text Reasoning），还能理解 2D 医学影像、3D CT 体积和手术视频。本文是一份面向新手的完整教程，教你快速本地部署 Hulu-Med-7B，并用 3 行核心代码跑通第一次医学问答。

一、Hulu-Med-7B 是什么？先看懂这 4 个关键信息

在动手之前，先快速了解这个医疗大模型的"家底"：

模型架构名为HulumedQwen2ForCausalLM，由视觉编码器（SigLIP 系）、多模态投影层和 Qwen2 语言模型三部分组成，定义见 modeling_hulumed_qwen2.py 与 configuration_hulumed_qwen2.py。

🎯为什么选它做医疗问答：

• 📚医学专业能力强：在 MedXQA、PubMedQA、MedQA 等医疗文本基准上位列开源医疗模型第一梯队（详见 README.md 中的 Performance 章节）
• 🧠支持"思考模式"：可让模型先推理再作答，类似 CoT
• 💡Transformers 原生兼容：直接用AutoModelForCausalLM加载，无需额外框架
• 🆓完全透明开源：数据、训练代码、权重全部公开

二、一键部署：最快安装方法

环境准备

推荐 Python 3.10 + CUDA GPU（7B bfloat16 大约需要 16GB+ 显存，显存不足时可自动 CPU offload）。

pip install torch transformers==4.51.2 accelerate==1.7.0

⚠️ 版本提示：仓库锁定的 transformers 版本为4.51.2（见 config.json 中transformers_version字段），建议保持一致以避免自定义代码加载报错。

获取模型权重

git clone https://gitcode.com/hf_mirrors/ZJU-AI4H/Hulu-Med-7B

模型权重被切分为 4 个分片（model-00001-of-00004.safetensors等），加载时会自动合并，分片索引见 model.safetensors.index.json。

三、核心 3 行代码：跑通医疗文本问答

这是全文最重要的部分。理解这 3 行，你就掌握了调用 Hulu-Med-7B 的完整流程：

# ① 加载医疗大模型（trust_remote_code=True 是加载自定义模型代码的关键） model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, torch_dtype="bfloat16", device_map="auto") # ② 加载处理器（封装了对话模板、图像/3D/视频预处理） processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True) # ③ 输入对话 → 生成 → 解码出医疗问答答案 outputs = processor.batch_decode(model.generate(**processor(conversation, return_tensors="pt", add_generation_prompt=True)), skip_special_tokens=True, use_think=False)

下面是补全上下文后的完整可运行示例（纯文本医疗问答）：

from transformers import AutoModelForCausalLM, AutoProcessor import torch model_path = "./Hulu-Med-7B" # 本地路径或 "ZJU-AI4H/Hulu-Med-7B" model = AutoModelForCausalLM.from_pretrained( model_path, trust_remote_code=True, torch_dtype="bfloat16", device_map="auto", ) processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True) # 组织医疗对话（content 是列表，便于后续混入图像/视频） conversation = [ {"role": "user", "content": [ {"type": "text", "text": "孩子发烧 38.5 度，在家应该怎么护理？"} ]} ] inputs = processor(conversation=conversation, return_tensors="pt", add_generation_prompt=True) inputs = {k: v.to(model.device) if isinstance(v, torch.Tensor) else v for k, v in inputs.items()} with torch.inference_mode(): out = model.generate(**inputs, modals=["text"], max_new_tokens=1024, temperature=0.7, pad_token_id=processor.tokenizer.eos_token_id) print(processor.batch_decode(out, skip_special_tokens=True, use_think=False)[0].strip())

✅ 运行后即可得到模型针对该医疗场景的结构化回答。

四、调优攻略：3 个决定医疗问答质量的参数

1.use_think：开关模型的"思考模式"

这是 Hulu-Med 处理器独有的参数（实现在 processing_hulumed.py）：

• use_think=False（默认）：自动剥离 `

• 人工智能
• 多模态
• 大模型
• 计算机视觉
• 医疗健康
• 基础模型