• 微调
• 大模型
• AI 应用

本文以 H2O LLM Studio 官方文档 Key terms 为核心，系统讲解项目文档中反复出现的 18 个关键术语——语言模型、Transformer、Attention、Embedding、Tokenization、Fine-tuning、GPU 部署等。读完后，你不仅能准确理解每个术语的含义，还能在 H2O LLM Studio 的配置类、模型加载与生成逻辑源码中找到这些术语的实际落点，把"术语表"变成可操作的调优地图。

一、语言模型的基本构件：从 Language Model 到 Transformer

H2O LLM Studio 的全部实验对象都是大语言模型（Large Language Model, LLM），因此理解其底层构件是使用该项目的前提。

Language Model（语言模型）

语言模型（Language Model）是能理解并生成人类语言的 AI 系统，它基于给定词序列中的模式和上下文进行预测与文本生成。在 H2O LLM Studio 中，"语言模型"是贯穿所有问题类型（problem type）的核心对象：项目内置了text_causal_language_modeling_config、text_causal_classification_modeling_config、text_causal_regression_modeling_config、text_sequence_to_sequence_modeling_config、text_dpo_modeling_config五类问题配置，定义见 config.py。

Transformer 与 Attention

Transformer是一种专为处理文本等序列数据设计的神经网络架构，它依靠注意力机制学习词元（token）之间的上下文关系。当前主流 LLM 几乎都基于 Transformer 架构，H2O LLM Studio 直接构建在 Hugging Facetransformers生态之上，模型加载统一通过AutoConfig/AutoModel完成，见 modeling_utils.py 中的create_nlp_backbone函数。

Attention（注意力机制）让模型聚焦于输入数据中与当前任务相关的特定部分，从而增强其理解能力与性能。这个术语在 H2O LLM Studio 中有非常具体的实现入口：因果语言建模配置提供了attention_implementation超参数，可在auto、eager、sdpa三种取值中选择，定义见 text_causal_language_modeling_config.py：

• Auto：根据系统可用性自动选择实现；
• Eager：使用 PyTorch 中原生的 vanilla attention 实现；
• SDPA：使用 PyTorch 的 scaled dot product attention，在硬件与输入支持时自动选择优化内核。

官方 tooltip 文档 attention-implementation 给出了相同说明。在源码中，当该值不是auto时会被写入attn_implementation参数传给AutoConfig，最终由 Transformers 库决定具体内核，见 modeling_utils.py。加载完成后，实际生效的注意力实现还会被记录到日志（Attention implementation: ...），便于排查性能问题，见 modeling_utils.py。

Embedding（词向量嵌入）

Embedding指把词或 token 映射到数值向量空间的数学表示，使模型能基于上下文与词间关系来理解和处理语言。在 H2O LLM Studio 源码中，embedding 层有一个非常具体的操作：当 tokenizer 的词汇表长度超过模型配置的vocab_size时，框架会调用backbone.resize_token_embeddings(...)扩容 embedding 矩阵，见 modeling_utils.py。这说明 embedding 层的大小必须与 tokenizer 严格对齐——这也是后文讲 Tokenization 时需要注意的一点。

Encoders and Decoders（编码器与解码器）

编码器与解码器是 NLP 中 sequence-to-sequence（seq2seq）模型的关键部件：编码器把输入数据压缩为固定大小的表示，解码器基于该表示生成输出序列。H2O LLM Studio 的问题类型中明确区分了这两种结构：因果语言模型（decoder-only，自回归生成）对应text_causal_language_modeling_config，而完整的 seq2seq 架构对应 text_sequence_to_sequence_modeling_config.py 与 text_sequence_to_sequence_modeling_model.py。官方文档 Key terms 中的这段定义，解释了为什么"摘要（Summarization）"类任务天然适合 seq2seq 问题类型。

Pre-training（预训练）

预训练（Pre-training）是机器学习模型训练的初始阶段：先在大规模数据集上学习通用特征，之后再针对具体任务做微调。对应到代码，H2O LLM Studio 的架构配置中pretrained: bool = True（见 text_causal_language_modeling_config.py），即默认加载已经预训练好的权重；create_nlp_backbone中通过model_class.from_pretrained(...)完成这一加载，见 modeling_utils.py。用户几乎从不从零开始训练，而是站在预训练模型的肩膀上做 Fine-tuning。

GPT（Generative Pre-trained Transformer）

GPT是 "Generative Pre-trained Transformer"（生成式预训练 Transformer）的缩写，指一类利用 Transformer 架构、基于海量训练数据理解并生成类人文本的语言模型。从源码结构看，GPT 风格的 decoder-only 因果语言模型正是 H2O LLM Studio 的主力路径：默认骨干模型h2oai/h2o-danube3-500m-base即是一个小型 GPT 风格模型，定义见 text_causal_language_modeling_config.py。

二、从文本到 token：Tokenization 与 Text Generation

Tokenization（分词）

Tokenization（分词）是把文本切分为更小的单元（通常是词或短语级 token），以便在 NLP 系统中逐单元分析或处理的过程。Tokenizer 是语言模型的前端：H2O LLM Studio 中每个问题配置都带有tokenizer设置块，并提供tokenizer_kwargs超参数（JSON 字符串），默认值为{"use_fast": true, "add_prefix_space": false}，见 text_causal_language_modeling_config.py。官方 tooltip 明确提醒：该参数"只有在清楚自己在做什么时才应修改"，用于适配特定用例或模型，见 tokenizer-kwargs。

实践要点：token 切分方式直接影响max_length（因果 LM 默认 512，见 config）的预算分配，也会影响 embedding 层是否需要扩容（前文resize_token_embeddings的触发条件）。tokenizer 的实际构建逻辑位于 text_utils.py 的get_tokenizer中。

Text generation（文本生成）

文本生成（Text Generation）指基于从现有文本数据学到的模式，用机器学习/AI 算法生成句子或段落等书面内容的过程。在 H2O LLM Studio 中，生成行为由"预测（Prediction）"配置块控制，set_generation_config会把do_sample、temperature、top_k、top_p等参数写入模型的generation_config；当不开采样时，这些采样参数会被显式置为None，见 modeling_utils.py。项目还提供命令行生成工具 prompt.py：加载实验检查点后，通过--temperature、--top_p等参数直接控制生成行为，是验证微调模型生成质量的最小路径。相关 tooltip 可参考 temperature、top-p、top-k。

In-context learning（上下文学习）与 Few-shot learning（少样本学习）

In-context learning（上下文学习）指模型在不更新参数的前提下，通过利用输入中新信息的上下文来改进适应、提升准确性的过程。它是现代 LLM 提示设计的基石：在 prompt 中给出指令与示例，模型即可"照着做"。

Few-shot learning（少样本学习）指模型仅凭极少量标注数据即可学习并在新数据上做出准确预测的技术。与 in-context learning 的关系是：few-shot 提示（在 prompt 中嵌入几个示例）是 in-context learning 的典型形态。在 H2O LLM Studio 的数据集视角下，这两个概念体现在"prompt 列"的设计上：数据集配置要求指定prompt_column、answer_column、可选的system_column等键，定义见 config.py，其中 system/prompt 列正是承载指令与示例（in-context 上下文）的位置。

Summarization（摘要）

Summarization（摘要）是把较长的文本压缩为更短、连贯且保留核心信息的版本的过程。它是 seq2seq 架构（Encoder-Decoder）的经典应用，也属于文本生成范畴；使用 H2O LLM Studio 做摘要类微调时，可优先选择text_sequence_to_sequence_modeling_config问题类型，或直接用因果 LM 在"长文 prompt + 摘要 answer"的数据上训练。

三、Prompt Engineering 与 Agents：让模型按预期工作

Prompt Engineering（提示工程）

Prompt engineering（提示工程）是精心构造精确、有效的输入查询，以引导语言模型生成期望输出或响应的技术。它不需要任何训练，是 LLM 应用成本最低的优化手段。H2O LLM Studio 仓库中本身就内置了多份可直接参考的提示模板：

• prompts/general.txt：通用问答提示；
• prompts/rag.txt：检索增强生成（RAG）场景提示；
• prompts/mt-bench/general.txt 与 prompts/mt-bench/question.jsonl：MT-Bench 评测相关提示与问题集。

结合 prompt.py 的交互式生成脚本，可以针对同一模型快速对比不同提示措辞与采样参数（temperature/top_p）下的输出差异——这正是提示工程的实操闭环。

Agents（智能体）

Agents（智能体）指与数据交互或在系统内执行任务的软件实体或组件。LLM 时代的 Agent 通常以大语言模型为"大脑"，配合工具调用与记忆来完成多步任务。H2O LLM Studio 本身聚焦于模型训练与微调而非 Agent 编排，理解这一术语有助于把握上游生态：微调出的领域模型，正是各类 Agent 系统中可替换的推理内核。

四、Fine-tuning（微调）：术语在源码中的完整落地

Fine-tuning（微调）指利用特定数据对预训练模型进行再调整与优化，以提升其在目标任务上的性能。它是 H2O LLM Studio 的核心使命——整个项目就是一个"no-code 微调框架"。微调相关术语在代码中高度可追溯：

• 实验入口：每个实验围绕llm_backbone（LLM 骨干）构建，它是"最重要的设置"，因为它决定了预训练权重来源；可从小模型快速验证开始，也可以输入任意 Hugging Face 模型名，默认候选列表（含 Danube、Llama、Mistral、Gemma 等）定义在 config.py，tooltip 见 llm-backbone。
• LoRA 等高效微调参数：因果 LM 配置默认开启lora: bool = True，并暴露lora_r（默认 4）、lora_alpha（默认 16）、lora_dropout（默认 0.05）、use_rslora、lora_target_modules、lora_unfreeze_layers等参数，取值范围与网格搜索值见 text_causal_language_modeling_config.py。源码中，这些参数最终组装成 PEFT 的LoraConfig并通过get_peft_model挂到骨干模型上，见 modeling_utils.py；启用 LoRA 时框架会先把全部基础参数冻结（param.requires_grad = False），再解冻目标模块与lora_unfreeze_layers指定的层，见 modeling_utils.py。
• 完整超参数清单：所有可调超参数及其说明集中在实验设置文档 experiment-settings 中，GUI 中每个超参数旁都附有 tooltip（tooltip 源文件位于 documentation/docs/tooltips/experiments/ 目录），这正对应 concepts 文档中"超参数（Hyperparameters）"的定义。
• 配套概念文档：LoRA、Quantization、8-bit 训练、BLEU、Perplexity 等更深入的术语解释在 concepts.md 中有专门章节，与本文互为补充。

Quantization 与 8-bit/4-bit 训练（backbone_dtype）

微调大模型的最大瓶颈是显存，量化正是为此而生：把 32 位浮点权重转换为 int8/int4 等低精度表示。H2O LLM Studio 通过backbone_dtype超参数实现，默认值为int4，可选float32、bfloat16、float16、int8、int4，定义见 text_causal_language_modeling_config.py，tooltip 见 backbone-dtype。

源码层面的关键约束在create_nlp_backbone中非常清晰：

• int8：使用BitsAndBytesConfig(load_in_8bit=True, llm_int8_threshold=0.0)，并强制pretrained = True、计算精度用 float16；
• int4：使用BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.float16)；
• 两者都必须有 GPU（len(cfg.environment.gpus)非空）：若在没有 GPU 时选择 int4/int8，框架会告警"Quantization is not supported on CPU"并自动回退为float32，见 modeling_utils.py。

这条链路解释了 concepts 中"8-bit 低内存占用训练"一节所说的：以 8 位整数替代 32 位浮点存储参数，从而在有限显存硬件上训练更大模型。

五、GPU Deployment（GPU 部署）

GPU deployment（GPU 部署）指利用图形处理器（GPU）执行并加速机器学习模型推理或训练中的计算，以提升速度与效率。H2O LLM Studio 中该术语直接对应gpus超参数：默认值取机器上全部可见 CUDA 设备（tuple(str(x) for x in range(torch.cuda.device_count()))），下拉选项按"GPU #1/2/..."生成，见 text_causal_language_modeling_config.py。

围绕 GPU 部署，源码中还有两处值得注意的实现细节：

1. 显存约束与回退：gpus的数量决定能否启用量化（上文 int4/int8 分支）、是否启用 mixed precision（默认开启，mixed_precision_dtype默认bfloat16，见 config）。
2. OOM 检测：gpu_utils.py 提供了is_cuda_out_of_memory、is_out_of_cpu_memory、is_cudnn_snafu等异常判断函数，用于在训练过程中识别 CUDA 显存耗尽、CPU 内存不足等 GPU 部署典型故障——当遇到CUDA out of memory报错时，优先下调batch_size、max_length或降低精度，正是 GPU 部署调优的标准动作。

六、LLM 评测与生态术语：ELO 与 Vector Store

ELO

ELO是一种用于评估与排序语言模型在文本理解与处理能力上表现的算法/方法，源自国际象棋评级体系。在 LLM 应用评测中，常用 ELO 分对比不同模型（或同一模型不同微调版本）的对战式打分。理解这一术语的价值在于：当你用 MT-Bench 类数据（如 prompts/mt-bench/question.jsonl）评测微调模型时，ELO 分就是横向比较模型优劣的常用标尺。

Vector Store（向量库）

Vector Store（向量库）存储文本的数值表示（即 embedding），供语言模型快速访问，是 RAG（检索增强生成）架构的检索端组件。需要说明的是：从当前仓库的源码结构看，H2O LLM Studio 本身聚焦训练与微调流程，仓库内并没有向量库的实现代码；这一术语属于其周边 LLM 应用生态（如 RAG、知识库问答）的组成部分，仓库中的 prompts/rag.txt 提示模板则暗示了它与下游 RAG 应用的衔接关系。

七、术语速查表：概念与仓库位置的映射

八、延伸阅读

• 配套概念文档：LLM、参数与超参数、LoRA、Quantization、BLEU、Perplexity
• 实验设置（所有超参数详解）：experiment-settings
• 实验创建流程：create-an-experiment
• 完整 YAML 示例：example_oasst2.yaml

掌握这份术语地图后，你可以按"先读懂概念（本文与 concepts）→ 再配置实验（backbone、LoRA、dtype、gpus）→ 最后用 prompt.py 与实验界面验证生成效果"的路径，在 H2O LLM Studio 中独立完成从数据导入到模型微调、评测与部署的完整闭环。

• 微调
• 大模型
• AI 应用