TensorRT 量化后的模型精度损失与部署策略

huangyhg

将 ResNet50 模型从 FP32 量化到 INT8，精度损失超出预期，不知道如何控制。

【模型信息】
- 网络：ResNet50（缺陷分类，2 类）
- 训练集：5000 张图像
- 训练精度：99.2%

【量化结果】
- FP32 → FP16：精度 99.0%（损失 0.2%，可接受）
- FP32 → INT8：精度 96.8%（损失 2.4%，超标！）

【尝试过的方法】
1. Post-Training Quantization (PTQ)：直接量化，效果差
2. Quantization-Aware Training (QAT)：精度恢复到 98.5%，但训练时间长

【疑问】
INT8 量化中，精度损失的根源是什么（激活值分布 vs 权重分布）？
QAT 是否是工业部署的唯一可靠方案？
有没有更高效的 QAT 训练策略（课程学习、渐进式量化）？