深度学习模型在边缘设备上的推理延迟优化有哪些实战技巧？

huangyhg

将训练好的 ResNet50 缺陷检测模型部署到边缘设备（Jetson AGX），延迟始终无法达标。

【模型信息】
- 网络：ResNet50（改进版，输入 512x512）
- 训练精度：99.2%
- 参数量：25.6M

【部署环境】
- 设备：Jetson AGX Xavier（32 TOPS INT8）
- TensorRT 优化：已应用
- 量化：FP16

【实测延迟】
- FP32：45ms/帧
- FP16：22ms/帧
- INT8：12ms/帧（精度下降到 98.1%）

【疑问】
12ms 延迟勉强达标，但 INT8 精度损失 1% 是否可接受？
模型剪枝（Pruning）和知识蒸馏（Distillation）哪个对延迟优化效果更显著？
Jetson AGX 的 32 TOPS 算力，ResNet50 实际能用到多少？