产品标签: codellamacuda-kernelsdeepspeedfastertransformerinternlmllamallama2llama3llmllm-inferenceturbomind

产品概述: LMDeploy 是一个用于压缩、部署和服务大型语言模型（LLMs）的工具包。