机器学习实战技巧：用迁移学习处理小样本数据
机器学习实战技巧：用迁移学习处理小样本数据
在机器学习项目中，小样本数据是新手最常遇到的“拦路虎”——标注数据稀缺、训练成本高、模型容易过拟合。迁移学习通过利用预训练模型的知识，能显著降低对原始数据量的依赖。本文精选了8个高频问题，从原理到代码实践，帮你快速掌握迁移学习在小样本场景下的核心技巧。
1. 什么是迁移学习？为什么它能解决小样本问题？
迁移学习是指将在一个大型数据集（如ImageNet）上预训练好的模型，应用到新的、数据量较小的任务上。其核心思想是：预训练模型已经学到了通用的特征（如边缘、纹理、形状），这些特征对小样本任务同样有效。例如，在猫狗识别中，预训练模型已经知道“眼睛”和“毛发”的特征，你只需用少量新图片微调最后几层，就能快速识别特定品种。这避免了从零训练所需的数千张图片，大幅降低了过拟合风险。
2. 迁移学习有哪些常见方式？哪种最适合我的场景？
主要有三种方式：特征提取（冻结预训练模型的所有层，只训练新分类器）、微调（解冻部分高层，用新数据更新权重）和联合训练（同时更新新旧数据）。如果新数据非常少（<100张），推荐特征提取，因为微调容易导致过拟合；如果数据中等（100-1000张），可微调最后2-3层；如果数据分布差异大（如从自然图像切换到医学图像），建议解冻更多层。用PyTorch实现时，设置model.requires_grad = False即可冻结层。
3. 如何选择预训练模型？必须用ImageNet吗？
不一定。ImageNet（1000类自然图像）是通用选择，但优先选与目标任务相似的预训练模型。例如：处理医学X光片，可用CheXNet（基于胸部X光预训练）；处理卫星图像，可用ResNet-50在遥感数据集上预训练的版本。如果找不到领域专用模型，就用ImageNet版本，但需要确保输入尺寸匹配（如224x224）。注意：模型越深（如ResNet-152）未必越好，小样本下轻量模型（如MobileNet）更抗过拟合。
4. 小样本数据下，数据增强应该怎么做？
数据增强是迁移学习的“放大器”。常用技巧包括：几何变换（随机旋转±15°、水平翻转、裁剪）、颜色抖动（调整亮度/对比度）、混合增强（Mixup：按比例混合两张图片）。举例：如果只有50张猫图，通过随机旋转和翻转可虚拟生成200张。注意：增强强度要适中，过度扭曲会破坏特征（例如医学图像避免旋转90°）。在PyTorch中，用torchvision.transforms.Compose组合多个变换即可。
5. 微调时，学习率应该怎么设置？
核心原则：预训练层用小学习率，新分类层用大学习率。推荐初始学习率为1e-4到1e-3，并配合学习率衰减。具体做法：将模型分为“预训练部分”和“新头部”，设置不同的参数组。例如：optimizer = torch.optim.Adam([{'params': base_model.parameters(), 'lr': 1e-5}, {'params': classifier.parameters(), 'lr': 1e-3}])。如果发现loss震荡，立即降低学习率（除以10）。另外，使用余弦退火调度器（CosineAnnealingLR）能自动调整，避免手动调参。
6. 如果新数据和预训练数据差异很大（如自然图像→医学图像），怎么办？
此时直接微调可能失败。建议：先冻结所有层，只训练新分类器，观察loss是否下降；如果下降缓慢，再逐步解冻最后2-3个卷积块。另一种方法是领域自适应：用少量新数据对预训练模型进行“预热”，例如先用无监督对比学习（如SimCLR）在目标数据上训练编码器，再迁移。如果资源允许，可考虑用目标领域数据对预训练模型进行全量微调，但需要更多数据（至少500-1000张）。
7. 迁移学习容易过拟合，如何监控和避免？
过拟合表现为训练集准确率高但验证集低。避免方法：早停法（Early Stopping：验证集loss连续5个epoch不下降就停止）；Dropout（在分类器层加0.5的dropout率）；权重衰减（L2正则化，系数0.0001-0.001）。此外，使用交叉验证（如5折）评估模型稳定性。如果数据极少（<50张），可考虑使用半监督学习：用预训练模型对未标注数据生成伪标签，再与真实数据混合训练。
8. 能否举一个完整的实战代码示例？
以PyTorch为例，用ResNet-18对100张猫狗图片分类：
import torchvision.models as models
model = models.resnet18(pretrained=True)
# 冻结所有层
for param in model.parameters():
param.requires_grad = False
# 替换全连接层
model.fc = nn.Linear(512, 2)
# 只训练新层
optimizer = optim.Adam(model.fc.parameters(), lr=0.001)
# 训练10个epoch，配合数据增强
注意：加载预训练权重时，若模型结构不同需调整最后一层。推荐使用torch.hub加载更现代的模型（如EfficientNet），它们在小样本下表现更好。
总结：迁移学习的核心是“站在巨人肩膀上”——善用预训练模型的通用特征，结合数据增强和分阶段微调，就能用少量数据获得不错效果。记住三个关键点：冻结底层、分层学习率、早停法。当数据量从100张增加到1000张时，逐步解冻更多层，并考虑使用更深的模型。现在，你可以从Kaggle小样本竞赛开始练习，比如“狗品种识别”或“植物病害分类”。