首页
›
答案
›
题库
›
知到智慧树
›
未分类
下面哪个后端软件使得在CPU下进行大模型推理成为可能?
下面哪个后端软件使得在CPU下进行大模型推理成为可能?
A.Transformers
B.GGML
C.DeepSpeed
D.SGLang
正确答案:B
下面哪项不是大模型服务前端提供的功能?
A、WebUl服务界面
B、本地图形化服务界面
C、API调用
D、请求负载均衡
正确答案:D
标签:
模型
界面
功能
上一条:
参数高效学习技术只需微调少数参数即可将大模型有效泛化到下游任务
下一条:
大模型后端框架中,vLLM、SGLang等较之Transformers提高了推理速度,但牺牲了一些兼容性。