首页 › 答案 › 题库 › 知到智慧树 › 未分类

大模型后端框架中，vLLM、SGLang等较之Transformers提高了推理速度，但牺牲了一些兼容性。

大模型后端框架中，vLLM、SGLang等较之Transformers提高了推理速度，但牺牲了一些兼容性。
A、正确
B、错误
正确答案：A
标签：兼容性 框架 模型
上一条：下面哪个后端软件使得在CPU下进行大模型推理成为可能？
下一条：大模型需提供键值检索服务，所以其架构后端需提供KV缓存功能。