预训练模型使用技巧：参数冻结与分层微调
预训练模型已成为自然语言处理任务的基础工具，但如何高效使用它却常让人困惑。核心技巧在于参数冻结与分层微调：前者保留预训练特征，后者按需调整层级，从而在有限资源下提升模型性能。
参数冻结：保留预训练模型的通用知识
参数冻结是指在微调过程中，固定预训练模型的大部分权重，仅更新最后几层或特定层。这避免了灾难性遗忘，让模型保留在大型语料库中学到的语言规律。例如，使用BERT进行情感分类时，冻结底层Transformer层，只微调分类头，既能降低计算成本，又能保持通用语义理解。
实际操作中，冻结可通过设置优化器参数实现。以PyTorch为例：for param in model.bert.parameters(): param.requires_grad = False。注意，冻结层数需根据任务复杂度调整：简单任务（如文本分类）可冻结80%层，复杂任务（如命名实体识别）则冻结50%以下。
分层微调：按需激活不同层级的预训练特征
分层微调允许对不同层设置不同的学习率或更新策略。预训练模型底层捕捉通用语法（如词性、句法），高层聚焦语义（如主题、情感）。因此，底层可保持冻结或使用低学习率，高层则全量微调。例如，在GPT-2的对话生成任务中，底层使用0.0001学习率，顶层使用0.0005，可让模型保留流畅性同时适应特定对话风格。
实现时需注意层索引。例如，在Hugging Face的Transformers库中，可逐层遍历：for i, layer in enumerate(model.transformer.h): if i < 6: layer.requires_grad = False。分层微调特别适合小样本场景，能防止过拟合。
预训练模型使用技巧：动态调整冻结策略
渐进式解冻：从冻结到全微调的平滑过渡
渐进式解冻结合了参数冻结与分层微调。初始阶段冻结所有层，仅训练分类头；随后逐步释放底层，最后全层微调。这避免了早期更新破坏预训练特征。以ResNet-50在图像分类中的迁移为例，前5个epoch冻结全部，之后每2个epoch解冻一个残差块。
在文本任务中，可设置epoch阈值：前10%训练周期冻结全部，中间60%解冻顶层1/3层，最后30%全层微调。这种策略尤其适用于长文本摘要生成——底层通用语言模式被保留，顶层适应摘要风格。
实战中的预训练模型微调建议
资源受限场景的参数冻结策略
当GPU内存不足时，可完全冻结预训练模型，仅训练线性分类层。例如，在Kaggle竞赛中，使用DistilBERT（轻量版BERT）并冻结全部Transformer层，仅微调分类头，准确率仍能达到90%以上。注意，若任务领域与预训练数据差异大（如医疗文本），需适当解冻底层。
多任务学习中的分层微调
对于多任务模型（如共享底层的文本分类+情感分析），可将底层冻结，为每个任务独立微调顶层。这降低了参数总量，同时保持共享表示。例如，在MT-DNN模型中，底层12层共享，顶层分别微调，任务间干扰减少15%。
结尾
参数冻结与分层微调是预训练模型落地的关键技巧。冻结保留通用知识，分层按需调整特征，二者结合能有效应对资源限制与任务多样性。实际应用中，需根据数据量、任务复杂度动态调整策略：小数据优先冻结，大数据尝试全微调。掌握这些方法，可让预训练模型在各类NLP任务中发挥最大效能。