常见情形
- 显卡买了、模型装了，利用率不高，并发一上来就排队。
- 不知道该用多大的模型、要不要量化，怕量化后精度掉。
- 出了问题没人会调，只能等外部远程。
调什么
- 01
选型
用业务样例对比几种规模的模型，看精度和成本，选够用的。
- 02
量化
在精度可接受范围内压显存；用业务样例实测量化前后的差异。
- 03
推理加速
调推理框架和参数，优化首字延迟和每秒吞吐。
- 04
显卡利用率和并发
优化批处理、显存分配和多卡调度，减少请求排队。
- 05
压测
按真实请求长度和并发压测，摸清承载上限。
常见问题
显卡不够怎么办？
先用业务样例看能否用小一点的模型或量化；确需扩容时按压测数据规划。
数据会出机房吗？
不会。调优在企业自有环境里做，业务样例留在企业。
调完以后模型升级了怎么办？
用同一套业务样例复测，前后对比。