evalscope/docs/zh/user_guides/stress_test/index.md

281 B
Raw Permalink Blame History

模型推理性能压测

一个大语言模型的压力测试工具可以自定义以支持各种数据集格式和不同的API协议格式默认支持OpenAI API格式。

:::{toctree} :maxdepth: 2

quick_start.md parameters.md examples.md speed_benchmark.md custom.md :::