首页 › 答案 › 题库 › 知到智慧树 › 未分类

大模型需提供键值检索服务，所以其架构后端需提供KV缓存功能。

大模型需提供键值检索服务，所以其架构后端需提供KV缓存功能。
A、正确
B、错误
正确答案：B

标签：缓存架构模型

上一条：大模型后端框架中，vLLM、SGLang等较之Transformers提高了推理速度，但牺牲了一些兼容性。

下一条：采用LMStudio部署本地大模型，可从魔搭社区等网络平台下载各种大模型进行部署。