TensorRT-LLM

NVIDIA 推出的用于加速大语言模型推理的高性能开源框架